JP2006084401A - 画像処理方法及び画像処理装置並びに画像処理プログラム - Google Patents

Abstract

【課題】 限られたチャンネル数でありながら、急峻な輝線を有する元の輝線スペクトルを反映した分光波形に忠実なスペクトル画像データを作成できるようにする。
【解決手段】 画像処理方法において、スペクトル画像データに含まれる副光源による光量成分の比を表す光源比率を求める光源比率算出ステップと、光源比率をスペクトル画像データに乗じて副光源の光量成分に相当する第１副光源スペクトルデータを求める副光源スペクトル抽出ステップと、予め用意された副光源の光に対する分光スペクトルデータから、第１副光源スペクトルデータに近似させた第２副光源スペクトルデータを求める副光源スペクトル近似ステップと、スペクトル画像データから第１光源スペクトルデータを除去するとともに、第２副光源スペクトルデータを加算する副光源スペクトル置換ステップとを有する。
【選択図】 図１

Description

本発明は、主光源に加え、輝線スペクトルを有する副光源の光が少なくとも一部に照射される被写体からスペクトル画像データを形成する画像処理方法及び画像処理装置並びに画像処理プログラムに関する。

撮影シーンでは、図１５に示すように、一つの被写体１に対して主光源３からの光に加えて、副光源５からの光が照射されることがある。この場合、主光源３によって主に照射される被写体１の部位Ｐ１と、副光源５によって照射される部位Ｐ２からの分光反射率は異なるものとなる。このような状況下で撮影すると、撮影システムによっては、副光源の照射されたＰ２の領域に肉眼では視認されない変色が生じることがある。このように、変色のない忠実な画像を再現する撮影システムをシミュレーション技術を用いて設計する場合には、主光源３及び副光源５の分光特性を正確に反映したスペクトル画像データを提供し得るシステムの構築が重要である。

従来より、撮影波長領域を複数チャンネルに分割し、同一被写体をチャンネル毎に撮影した複数のスペクトル画像として得ることのできるマルチバンドカメラ７が利用されている。マルチバンドカメラ７は、複数の分光透過率特性を持つフィルタとＣＣＤカメラからなり、被写体１からの反射光を、チャンネル毎に異なる一定の分光透過率特性を有する分光フィルタに通過させ、撮像素子の受光面に結像させることで、多チャンネル画像データが得られ、その画像データの計算処理により画素毎に分光反射率を有するスペクトル画像を得ることができる。このようなマルチバンドカメラを用いて得られるスペクトル画像は、デジタルスチルカメラ（ＤＳＣ）やＴＶカメラ、ビデオカメラ、銀塩撮影感光材料などの分光感度設計に広く用いられている。この種のマルチバンドカメラは、例えば特許文献１に記載されたものがある。

特開２００１−９９７１０号公報

上記従来のマルチバンドカメラは、装置の複雑さ・画像処理の負荷を考慮し、実用機としては６〜１６種類程度のフィルタ（チャンネル）を用いた装置が利用されている。このため、シャープなバンド（波長帯域）設定に限界があった。これに対し、チャンネル数を増やせば、分光分解能も向上するが、さらに装置が複雑になるとともに、画像処理の負荷も増大し実用が困難となる。その一方で、限られた数のフィルタでは、蛍光灯など急峻な輝線を含むようなシーン撮影の場合、元の分光特性が撮影段階で波長方向に平均化された光量として保存されるため、元の輝線情報が欠落したものとなる。即ち、図１６に前述のＰ２における分光反射率特性を示すように、本来急峻であるはずの副光源からの部位Ｐ２における反射率が、個々のフィルタの分解能が低いことによって図１４（ａ）のような分光特性が鈍化したものとなっていた。
撮影システムの分光感度設計において、室内撮影、夜景撮影時での各種光源の分光感度による色補正方法は重要な課題である。この目的のために、上記のような限られたチャンネル数のマルチバンドカメラによって作成されたスペクトル画像を適用すると、蛍光灯のような輝線スペクトルを有する光源については、既に急峻な分光特性領域が欠落しているため、シミュレーション計算に大きな誤差の生じる問題を包含していた。

本発明は上記状況に鑑みてなされたもので、限られたチャンネル数でありながら、輝線スペクトルを有する副光源の光が部分的に含まれる場合であっても、急峻な輝線を有する元の輝線スペクトル（副光源の分光特性）を反映した、分光波形に忠実なスペクトル画像データを作成できる画像処理方法及び画像処理装置並びに画像処理プログラムを提供し、変色のない忠実な画像の再現を可能とする撮像システムの分光感度設計に適した画像データを取得することを目的とする。

上記目的を達成するための本発明に係る請求項１記載の画像処理方法は、輝線スペクトルを有する副光源の光が少なくとも一部に含まれる被写体に対し、撮影波長帯域を複数のバンド帯域に分割して撮影し、得られる各バンド帯域のスペクトルデータを合成してスペクトル画像データを形成する画像処理方法であって、前記スペクトル画像データに対する該スペクトル画像データに含まれる前記副光源による光量成分の比を表す光源比率を求める光源比率算出ステップと、前記光源比率を前記スペクトル画像データに乗じて前記副光源の光量成分に相当する第１副光源スペクトルデータを求める副光源スペクトル抽出ステップと、予め用意された前記副光源の光に対する分光スペクトルデータから、前記第１副光源スペクトルデータに近似させた第２副光源スペクトルデータを求める副光源スペクトル近似ステップと、前記スペクトル画像データから前記第１光源スペクトルデータを除去するとともに、前記第２副光源スペクトルデータを加算する副光源スペクトル置換ステップとを有することを特徴とする。

この画像処理方法では、スペクトル画像データを作成するに際し、副光源の光源比率が求められ、この光源比率から副光源の光量成分に相当する第１副光源スペクトルデータが求められる。そして、副光源の光に対する分光スペクトルデータから第１副光源スペクトルデータに近似させた第２副光源スペクトルデータが求められ、スペクトル画像データから第１光源スペクトルデータが除去されて、第２副光源スペクトルデータが加算される。これにより、輝線スペクトルを有する副光源の光が部分的に含まれる場合であっても、急峻な輝線を有する元の輝線スペクトルを反映した、分光波形に忠実なスペクトル画像データが作成可能となる。

請求項２記載の画像処理方法は、前記光源比率算出ステップが、輝線スペクトルを含む１つのバンド帯域と、該バンド帯域を含む前後２〜４つのバンド帯域の分光特性を加算した広帯域バンドから受光量を求めることを特徴とする。

この画像処理方法では、１つのバンド帯域と、このバンド帯域を含む前後２〜４つのバンド帯域の分光特性を加算した広帯域バンドとの受光量から補正画像が作成可能となり、この補正画像により各画素についての光源比率が求められる。

請求項３記載の画像処理方法は、輝線スペクトルを含む１つのバンド帯域が波長半値幅で４０ｎｍ以下、前記広帯域バンドとして合成されたバンド帯域の半値幅が狭波長バンド帯域の１．５倍以上であることを特徴とする。

この画像処理方法では、輝線スペクトルを含む１つのバンド帯域が波長半値幅で４０ｎｍ以下となり、分光特性の分解能が高まり、かつ広帯域バンドとして合成されたバンド帯域の半値幅が狭波長バンド帯域の１．５倍以上となることで、広帯域バンドから偏りの少ない光源比率が求められる。

請求項４記載の画像処理方法は、前記光源比率算出ステップが、複数のバンド帯域の分光特性を平均した受光量から前記光源比率を求めることを特徴とする。

この画像処理方法では、複数のバンド帯域の分光特性の平均した受光量から、平均（中央値）の光源比率が求められ、光源比率に偏りがなくなる。

請求項５記載の画像処理方法は、前記副光源スペクトル近似ステップが、前記第１副光源スペクトルデータに対し、波長に対する積分光量の一致する前記第２副光源スペクトルデータを求めることを特徴とする。

この画像処理方法では、第２副光源スペクトルデータが、第１副光源スペクトルデータの積分光量と一致するもので求められる。

請求項６記載の画像処理方法は、前記副光源スペクトル近似ステップが、波長毎の光量差のＲＭＳ（差の二乗和の平均値の平方根の値）を最小にする副光源スペクトルを有する副光源を選択することを特徴とする。

この画像処理方法では、複数種類の副光源の分光特性が既知であるとき、その中から、波長毎の光量差のＲＭＳが最小となる副光源スペクトルを有する副光源が選択される。

請求項７記載の画像処理装置は、撮影波長帯域を複数のバンド帯域に分割して撮影し、得られる各バンド帯域のスペクトルデータを合成してスペクトル画像データを形成する画像処理装置であって、スペクトル画像データに対する該スペクトル画像データに含まれる前記副光源による光量成分の比を表す光源比率を求める光源比率算出手段と、前記光源比率を前記スペクトル画像データに乗じて前記副光源の光量成分に相当する第１副光源スペクトルデータを求める副光源スペクトル抽出手段と、予め用意された前記副光源の光に対する分光スペクトルデータから、前記第１副光源スペクトルデータに近似させた第２副光源スペクトルデータを求める副光源スペクトル近似手段と、前記スペクトル画像データから前記第１光源スペクトルデータを除去するとともに、前記第２副光源スペクトルデータを加算する副光源スペクトル置換手段とを有することを特徴とする。

この画像処理装置では、撮影波長帯域が複数のバンド帯域に分割されて撮影され、各バンド帯域のスペクトルデータを合成するに際し、鈍化した第１副光源スペクトルデータに代えて、副光源の輝線スペクトルを復活させた第２副光源スペクトルデータが使用され、急峻な輝線を有する元の輝線スペクトルが反映されることになる。

請求項８記載の画像処理プログラムは、請求項１〜請求項６のいずれか１項に記載された画像処理方法の手順を、コンピュータに実行させることを特徴とする。

この画像処理プログラムでは、請求項１〜請求項６のいずれか１項に記載された画像処理方法の手順がソース・プログラムとしてコンピュータに入力され、その手順がオブジェクト・プログラムに変換されて演算実行される。

本発明に係る画像処理方法によれば、限られたチャンネル数（実用的には６〜１６チャンネル）の固体撮像素子（マルチバンドカメラ）で撮影した画像からスペクトル画像データを作成するに際し、副光源の光源比率を求め、光源比率をスペクトル画像データに乗じて副光源の光量成分に相当する第１副光源スペクトルデータを求め、副光源の光に対する分光スペクトルデータから第１副光源スペクトルデータに近似させた第２副光源スペクトルデータを求め、スペクトル画像データから第１光源スペクトルデータを除去するとともに、第２副光源スペクトルデータを加算するので、急峻な輝線を有する元の輝線スペクトルを反映した、分光波形に忠実なスペクトル画像データを作成できる。従って、これにより得られたスペクトル画像データを撮像システムの分光感度設計や、部分的な色被り補正処理手法の開発に利用することで、輝線スペクトルを含む蛍光灯のような光源の影響を受けにくい撮像システムの分光感度設計のシミュレーションが可能となる。

本発明に係る画像処理装置によれば、副光源の光源比率を求める光源比率算出手段と、副光源の光量成分に相当する第１副光源スペクトルデータを求める副光源スペクトル抽出手段と、予め用意された分光スペクトルデータから第１副光源スペクトルデータに近似させた第２副光源スペクトルデータを求める副光源スペクトル近似手段と、スペクトル画像データから第１光源スペクトルデータを除去するとともに、第２副光源スペクトルデータを加算する副光源スペクトル置換手段とを備えたので、撮影波長帯域を複数のバンド帯域に分割して撮影し、得られる各バンド帯域のスペクトルデータを合成するに際し、鈍化した第１副光源スペクトルデータに代えて、副光源の輝線スペクトルを復活させた第２副光源スペクトルデータを使用することで、急峻な輝線を有する元の輝線スペクトルを反映した、分光波形に忠実なスペクトル画像データを作成することができる。

本発明に係る画像処理プログラムによれば、請求項１〜請求項６のいずれか１項に記載された画像処理方法の手順を、コンピュータに実行させるので、他の装置を用いることなく、コンピュータの動作を発明の画像処理手順に規定して、分光波形に忠実なスペクトル画像データを作成することができる。

以下、本発明に係る画像処理方法及び画像処理装置並びに画像処理プログラムの好適な実施の形態を図面を参照して説明する。
図１は本発明に係る画像処理方法及び画像処理装置の説明図、図２は図１に示したマルチバンドカメラに用いられている１６種類の色分解フィルタの分光透過率特性の説明図、図３はマルチバンドカメラと１次元ＬＵＴの構成を（ａ）、一つの１次元ＬＵＴを（ｂ）に示した説明図である。
本実施の形態による画像処理方法の実施には図１に示す画像処理装置１００が用いられる。画像処理装置１００は、太陽光、ストロボ、又は白熱灯などである主光源３と、蛍光灯である副光源５からの光が照射される撮影セットである被写体１を撮影する。

画像処理装置１００は、マルチバンドカメラ２１と、ＣＰＵを備えた制御部（コンピュータ）２３とに大別して構成される。マルチバンドカメラ２１は、レンズなどの撮像用光学系と、ＣＣＤなどの撮像素子２０と、これらの制御を行う制御系並びに被写体１側に置かれた分光フィルタ２５などからなる。本実施の形態では、モータで回転する円盤上に、複数の干渉フィルタ２５ａ，２５ｂ，２５ｃ，２５ｄ・・・を円周方向に配設したターレット式の分光フィルタ２５が使用される。図２に使用されるフィルタの分光透過率の例を示す。なお、マルチバンドカメラ２１には、分光フィルタ２５に代えて液晶チューナブルフィルタが用いられてもよい。

この分光フィルタ２５によって入射光の波長を切り替えて、撮像（撮影）を行うことで、複数チャンネルの画像データが得られる。これら複数チャンネルの画像データは、図３（ａ）に示すような予め用意されたチャンネル毎の１次元ルックアップテーブル（以下、「１ＤＬＵＴ」を参照し相対光量値に変換される。各１ＤＬＵＴは、図３（ｂ）に示すように、分光フィルタの中心波長と相対光量との相関情報のテーブルである。

制御部２３には、マルチバンドカメラ２１からのスペクトル画像データを一旦記憶して制御部２３へ送る画像メモリ２７と、操作部２９と、内部メモリ３１と、画像データ出力部３３とが、信号の送受を可能に接続されている。ここで、制御部２３は、内部メモリ３１に格納された画像処理プログラムによって処理動作が規定される。

画像処理プログラムは、８１チャンネルのスペクトル画像生成手段と、光源比率算出手段と、副光源スペクトル抽出手段と、副光源スペクトル近似手段と、副光源スペクトル置換手段とを有する。光源比率算出手段は、複数チャンネルの画像データに対し、この画像データに含まれる副光源５による光量成分の比を表す光源比率を求める演算処理を行う。副光源スペクトル抽出手段は、光源比率をスペクトル画像データに乗じて副光源５の光量成分に相当する第１副光源スペクトルデータを求める演算処理を行う。

副光源スペクトル近似手段は、予め用意された副光源の光に対する分光スペクトルデータから、第１副光源スペクトルデータに近似させた第２副光源スペクトルデータを求める演算処理を行う。副光源スペクトル置換手段は、スペクトル画像データから第１光源スペクトルデータを除去するとともに、第２副光源スペクトルデータを加算する演算処理を行う。画像処理装置１００では、マルチバンドカメラ２１から得られたスペクトル画像データを、画像処理プログラムによって制御部２３の処理動作を規定することで、副光源５の分光特性を反映したスペクトル画像データを作成する。

次に、上記の画像処理装置１００を用いた画像処理方法について説明する。
図４は撮影対象の一例を示す図、図５乃至図６は本発明に係る画像処理方法の手順を表すフローチャートである。

まず、撮影に先立って、マルチバンドカメラの各チャンネルに対する校正テーブルを作成する。撮影対象としては、例えば、図４に示すようなグレースケール３５やマクベスチャート３６、硫酸バリウム製の基準白色板３７等を含むものが挙げられる。
チャンネル毎のＣＣＤの受光量を校正するために、図４に示すようなグレーステップを主光源３のみで照明して撮影し、各濃度のステップの信号量と、分光放射計（（株）トプコンＳＲ−３）で測定した分光エネルギー値からのフィルタの中心波長における基準白色板に対する相対光量との間で、１ＤＬＵＴ（図３（ｂ））を作成する。

次いで、所望の撮影対象をそれぞれのチャンネルに対して撮影を行う。
本実施の形態では、蛍光灯のように輝線スペクトルを有する副光源５の影響が少なくなるような分光感度設計、又は好ましくない色再現部位の色修正手法を検討する場合等に好適に用いられる正確なスペクトル画像データを作成する例について記載する。
このような目的に用いるための撮影シーンとして、主光源３（太陽光、ストロボ、白熱灯など）で照明された部分の一部に、他の副光源５（蛍光灯など輝線スペクトルを有する）で照明された部分を含むようにする。
この撮影対象を、マルチバンドカメラ２１の各ｃｈで撮影する（ステップ１１：以下、「Ｓｌｌ」と略記する。）。

そして、得られる複数枚の撮影画像を各チャンネル用の１ＤＬＵＴで校正する（Ｓ１２）。校正後の１６チャンネル撮影画像から、補間法により、３８０ｎｍ〜７８０ｎｍで５ｍｍ間隔、計８１チャンネルのスペクトル画像を作成する。その一画素に対する分光特性が図７に示すようになる（Ｓ１３）。
図７のＳＰ１で示されるスペクトル曲線は、撮影した画像の一画素分に相当する分光特性である。ここで求められた各画素のスペクトル曲線が前述のように（段落［００３３］参照）、分光放射計で計測された分光特性と異なる場合、又は、既知の分光特性と異なる場合には、各画素のスペクトル曲線に次のようにして補正を加えることがある。即ち、スペクトル曲線に対してコンボリューション又はデコンボリューション処理（例えば特開２００１―３５２５５９号公報参照）を行うことによって、スペクトル曲線の曲率を平滑化又は先鋭化することにより彩度を独立に色調整する。

図８に上記補正処理を視覚的に表すグラフを示した。図８（ａ）は、元のスペクトル曲線Ｓｐ₀に対して、コンボリューション処理を行ったスペクトル曲線Ｓｐ₁は、スペクトルの曲率が平滑化され、彩度が落ち、デコンボリューション処理を行なったスペクトル曲線Ｓｐ₂は、スペクトルの曲率が先鋭化され、彩度が向上する。

また、図８（ｂ）に示すように、スペクトル曲線Ｓｐ₀を波長方向に平行移動（シフト）することにより色相を独立に色調整する。ここで、色相を独立に色調整とは、色相以外の色属性には実質的に影響を与えずに、色相について色調整をすることができる。

さらに、図８（ｃ）に示すように、スペクトル曲線Ｓｐ₀に所定の係数を乗ずることにより、明度を独立に色調整する。これも明度以外の色属性には実質的に影響を与えることなく、明度について色調整することができる。

このようにして色調整されたスペクトル画像データは、明度、色相、彩度という各色属性について影響を与えることなく、独立に色調整される。従って、この校正によれば、元の被写体のスペクトルの特性を失わないで、容易にかつ正確な色再現が可能となる。

次いで、画像内における主光源と副光源との混合比率（主光源比率）について測定する。
図９は複数のバンド帯域から補正バンド帯域を得る説明図、図１０は主光源比率を求める手順を示すフローチャートである。
まず、図９に示す蛍光灯の輝線波長（５４５ｎｍ）に最も近い波長に分光特性を持つチャンネルでの受光量（Ｇ２）と、その前後を含む３チャンネルの分光感度を合算した分光感度での受光量（Ｇ１）を求める（Ｓ１４）。
このように、輝線スペクトルを含む１つのバンド帯域と、このバンド帯域を含む前後２つ（或いは前後２〜４つ）のバンド帯域の分光特性を加算した広帯域バンドから受光量を求めることで、１つのバンド帯域と、このバンド帯域を含む前後のバンド帯域の分光特性を加算した広帯域バンドとの受光量から、各画素に対する光源比率が求められる。

この場合、輝線スペクトルを含む１つのバンド帯域は波長半値幅で４０ｎｍ以下、広帯域バンドとして合成されたバンド帯域の半値幅は狭波長バンド帯域の１．５倍以上であることが好ましい。これにより、分光特性の分解能が高まり、広帯域バンドから偏りの少ない光源比率が求められる。また、波長５４５ｎｍに代えて、他の蛍光灯の輝線波長（例えば４３５ｎｍ）を用いてもよく、或いは両者を共に用いることでもよい。

ここで、各画素に対する主光源比率を求めるステップ１５を具体的に説明する。主光源３のみでグレーを撮影したときにＧ１＝Ｇ２となるよう光量補正を行った後、撮影時にＧ２／Ｇ１の光量比から、全画素のＧ２／Ｇ１が異同が判断され（Ｓ２１）、全画素でＧ２／Ｇ１が同じであれば、主光源比率が１００％で設定される（Ｓ２２）。

一方、いずれかの画素においてＧ２／Ｇ１が異なる場合には、Ｇ２／Ｇ１の最小値、例えば、この値が０．６であった場合、この値を基準値（＝１）とし（Ｓ２３）、この基準値に対するＧ２／Ｇ１の値の比である相対値ｆを求める（Ｓ２４）。相対値ｆは、Ｇ２／Ｇ１の値をＧ２／Ｇ１の最小値で除算することで求める。このときの相対値を図１１に示してある。図に示すように、Ｇ２／Ｇ１が最小の画素を相対値１とされ、その他の画素には相対値１以上の値が付与される。

相対値ｆを求めた後、以下の式（１）を用いて、各画素から得られる撮像信号に基づく画像に写り込む複数光源からの光のうち、蛍光灯からの光の割合を示す混合比ｘ（推定値）を算出する。

混合比ｘ＝（相対値ｆ−相対値ｆｍｉｎ）
／（相対値ｆｍａｘ−相対値ｆｍｉｎ）…（１）

ここで、相対値ｆｍｉｎは、全画素における相対値ｆの最小値、相対値ｆｍａｘは、全画素における相対値ｆの最大値である。
混合比とは、ある画素に入射する光のうち、副光源である蛍光灯からの光の光量の割合のことを言う。混合比ｘの値が大きい程、蛍光灯からの光が多く含まれていることを意味する。

式（１）は、次のような考えで考案されたものである。
ここで、図１１に混合比と相対値との関数を表す相関図を示した。
混合比が増加すると、Ｇ２／Ｇ１の比も増加し、相対値ｆも増加するため、混合比ｘは図１１に示すように、相対値ｆの１次関数４０としてみなすことができる。但し、混合比ｘは未知数であるため、関数４０の式を求めるためには、相対値ｆがいくつのときに混合比ｘが最小値をとり、相対値ｆがいくつのときに混合比ｘが最大値をとるかを推測する必要がある。Ｓ２３では、各画素における相対値ｆが求まるので、相対値ｆが最大になる画素は、上記Ｇ２／Ｇ１も最大になっており、蛍光灯からの光の量が最も多いと推測することができ、蛍光灯からの光の量が最も多いということは、その画素における混合比ｘは１であるとみなすことができる。一方、相対値ｆが最小になる画素は、上記Ｇ２／Ｇ１も最小になっており、蛍光灯からの光の量が最も少ないと推測することができ、蛍光灯からの光の量が最も少ないということは、その画素における混合比ｘは０であるとみなすことができる。こういった考えに基づき、ｆｍｉｎの値をとる画素を混合比ｘ＝０、ｆｍａｘの値をとる画素を混合比ｘ＝１として、関数４０を作成している。関数４０は以下の式（２）で示される。

ｆ＝（ｆｍａｘ−ｆｍｉｎ）ｘ＋ｆｍｉｎ
＝（ｆｍａｘ−１）ｘ＋１ …（２）

この式（２）から上記式（１）が求まる。これにより、主光源比率を求めることができる（Ｓ２５）。なお、ここでは、ｆｍａｘの値をとる画素を混合比ｘ＝１とみなしているが、実際、混合比ｘ＝１となるような状況は、例えば、被写体１として蛍光灯が画像内入っている場合等である。もし、被写体１に蛍光灯が入っていない場合には、実際に混合比ｘ＝１となる画素はあまり存在しないと考えられる。このため、ｆｍａｘの値をとる画素を混合比ｘ＝１とみなすのではなく、ｘ＝１以下の値とみなして上記式（１）、（２）を作成しても良い。例えば、撮影前、被写体１に蛍光灯が入っている場合には、ユーザが、ｘの最大値を１に設定し、被写体１に蛍光灯が入っていない場合には、ユーザが、ｘの最大値を０．６〜０．８の間に設定できるようにする。この場合、上記設定された数値に従って、例えば図１１に示す１次関数４１を作成して、各画素における混合比ｘを算出すれば良い。このようにすることで、撮影シーンによっては、より正確な混合比の推定が可能となる。複数のバンド帯域の分光特性を平均した受光量から光源比率を求めることで、平均（中央値）の光源比率が求められ、光源比率に偏りがなくなる。

以上のようにして各画素に対する主光源比率を求めた（Ｓ１５）後、以下の（３）式に基づいてスペクトル画像（ＳＰ１）の各画素に、この主光源比率を乗じて主光源３のみによるスペクトル画像（ＳＰ２）を算出する（Ｓ１６）。
主光源のみの撮像信号値 ＝ 撮像信号値×（１−ｘ） …（３）
次いで、ＳＰ１とＳＰ２との差である図７に示す差分スペクトル（ΔＳＰ）を求める（Ｓ１７）。

そして、差分スペクトル（ΔＳＰ）の各波長積分値が既知の副光源５の分光特性の各波長積分値に一致するように副光源５の分光特性ｓｐｌ（λ）に係数ｋを乗じ、図１２に示すＳＰ３を得る（Ｓ１８）。図１２は急峻な輝線を有する副光源の分光特性ｓｐｌ（λ）に係数ｋを乗じた結果を示すグラフである。即ち、ＳＰ３は、下記式（４）により、波長に対する積分光量の一致する光源スペクトルデータとして求められる。

次いで、図１３に示すように、ＳＰ２とＳＰ３を加算して目的のスペクトル画像（ＳＰ４）を得る（Ｓ１９）。図１３は急峻な輝線を有する元の輝線スペクトルを反映した分光特性を表す光量・波長相関図である。即ち、スペクトル画像データからΔＳＰ（第１光源スペクトルデータ）を除去するとともに、ＳＰ３（第２副光源スペクトルデータ）を加算する副光源スペクトルの置換処理を行う。

この時、蛍光灯種が判らない場合でも、候補となる蛍光灯群の分光特性ｓｐｌ（λ）を当てはめ、例えば、図１４に既知である複数の光源における輝線スペクトルを（ａ）〜（ｄ）で示すように、複数の副光源の中から、下記の式（５）により、その差の波長方向のＲＭＳが最小になる係数ｋと蛍光灯種を選ぶことで、合成された分光特性を推定することができる。

次に、上記画像処理方法の検証を兼ねて行った実施例について説明する。
１）スタジオに主照明光源で照明された評価シーンのセットを組み、そのシーンの片側から部分的に白色蛍光灯の照明が当たるようにした撮影セットを作り、マルチバンドカメラで撮影した（写真セット１）。

２）セット中央には光量補正ＬＵＴ作成用グレーステップを設置し、分光波形推定用に図４に示すマクベスチャートを設置した。

３）手法の検証のため、次いで白色蛍光灯のみ消灯してマルチバンドカメラで撮影した（写真セット２）。

４）分光放射計（（株）トプコン製分光放射計ＳＲ−３）を用いてマルチバンドカメラと同位置からグレーステップと硫酸バリウム製の規準白色板、マクベスチャートの分光輝度を測定した。グレーステップの測定値からは、マルチバンドカメラの各チャンネルの中心波長での基準白色板を基準とした相対輝度を求め、２）で撮影した各チャンネルの画像からグレーステップの各段の出力値を読み取り、相対輝度との間で光量補正用１ＤＬＵＴを作成した。

５）撮影対象をマルチバンドカメラで撮影した１６チャンネル画像を、３）で作成した光量補正１ＤＬＵＴで補正後、３８０〜７８０ｎｍで半波長間隔５ｎｍの８１チャンネルの図７に示すスペクトル画像（ＳＰ１）を作成した。この時、マクベスチャートのグレーを含む２４色の分光波形が分光放射計で測定した分光波形との差のＲＭＳが最も小さくなるよう波長方向のシフトと波長圧縮又は伸長により補正した。

６）１６チャンネルの画像から、図９に示すように、蛍光灯の輝線（５４５ｎｍ）を含むチャンネルの画像（画像１）と、そのチャンネルと前後のチャンネル計３チャンネルの積算値画像（画像２）を作成した。画像１と画像２の基準白板の出力値が同値になるよう補正画像を作成後各画素について主光源比率を求めた。

７）４）のスペクトル画像データ（ＳＰ１）と、そのデータに主光源比率をかけたスペクトルとの差スペクトル画像（ＳＰ２）を求めた。差分スペクトルと、１）で用いた分光特性が既知の第２の光源が波長方向のＲＭＳで最小となる光量（ＳＰ３）とを算出した。ＳＰ１とＳＰ３を加算し、目的のスペクトル画像（ＳＰ４）を得た。

上記の画像処理方法によれば、限られたチャンネル数（実用的には６〜１６チャンネル）のマルチバンドカメラ２１で撮影した画像からスペクトル画像データを作成するに際し、副光源５の光源比率を求め、光源比率をスペクトル画像データに乗じて副光源５の光量成分に相当する第１副光源スペクトルデータを求め、副光源５の光に対する分光スペクトルデータから第１副光源スペクトルデータに近似させた第２副光源スペクトルデータを求め、スペクトル画像データから第１光源スペクトルデータを除去するとともに、第２副光源スペクトルデータを加算するので、急峻な輝線を有する元の輝線スペクトルを反映した、分光波形に忠実なスペクトル画像データを作成できる。これにより得られたスペクトル画像データを撮像システムの分光感度設計や、部分的な色被り補正処理手法の開発に利用することで、限られたチャンネル数でありながら、それ以上の分解感度特性で撮影したのと同等のスペクトル画像データが得られることになり、例えば蛍光灯のような狭幅の波長成分の光量を測定可能にして、変色のない忠実な画像の再現を可能にすることができる。

画像処理装置１００によれば、副光源５の光源比率を求める光源比率算出手段と、副光源の光量成分に相当する第１副光源スペクトルデータを求める副光源スペクトル抽出手段と、予め用意された分光スペクトルデータから第１副光源スペクトルデータに近似させた第２副光源スペクトルデータを求める副光源スペクトル近似手段と、スペクトル画像データから第１光源スペクトルデータを除去するとともに、第２副光源スペクトルデータを加算する副光源スペクトル置換手段とを備えたので、撮影波長帯域を複数のバンド帯域に分割して撮影し、得られる各バンド帯域のスペクトルデータを合成するに際し、鈍化した第１副光源スペクトルデータに代えて、副光源５の輝線スペクトルを復活させた第２副光源スペクトルデータを使用することで、急峻な輝線を有する元の輝線スペクトルを反映した、分光波形に忠実なスペクトル画像データを作成することができる。

また、上記処理をコンピュータ上で実行させる画像処理プログラムによれば、画像処理方法の手順を、コンピュータである制御部２３に実行させることで、分光波形に忠実なスペクトル画像データを作成することができる。

本発明に係る画像処理方法及び画像処理装置の説明図である。 図１に示したマルチバンドカメラに使用している１６種類の分光フィルタの分光透過率特性の説明図である。 マルチバンドカメラと１次元ＬＵＴの構成を（ａ）、一つの１次元ＬＵＴを（ｂ）に示した説明図である。 撮影対象の一例を示す図である。 本発明に係る画像処理方法の手順を表すフローチャート（その１）である。 本発明に係る画像処理方法の手順を表すフローチャート（その２）である。 校正後の８１チャンネルのスペクトル画像データの一画素に対する分光特性を示す波長・光量相関図である。 異なる補正処理（ａ）〜（ｃ）を視覚的に表した説明図である。 複数のバンド帯域から補正バンド帯域を得る説明図である。 本発明に係る画像処理方法の手順を表すフローチャートである。 混合比と相対値との関数を表す相関図である。 副光源の分光特性を表す波長・光量相関図である。 急峻な輝線を有する元の輝線スペクトルを反映した分光特性を表す波長・光量相関図である。 既知である複数の副光源における輝線スペクトルを（ａ）〜（ｄ）で表した説明図である。 従来のマルチバンドカメラを用いた撮影シーンの説明図である。 主光源と副光源が照射される被写体部位の分光反射率を表す説明図である。

符号の説明

１ 被写体
３ 主光源
５ 副光源
２１ マルチバンドカメラ
２０ 撮像素子
２３ 制御部（コンピュータ）
２５ 分光フィルタ
２７ 画像メモリ
３１ 内部メモリ
３３ 画像データ出力部
１００ 画像処理装置
ＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４ スペクトル画像データ
ｔ１〜ｔ１６ バンド帯域

Claims (8)

1. 輝線スペクトルを有する副光源の光が少なくとも一部に含まれる被写体に対し、撮影波長帯域を複数のバンド帯域に分割して撮影し、得られる各バンド帯域のスペクトルデータを合成してスペクトル画像データを形成する画像処理方法であって、
   前記スペクトル画像データに対する該スペクトル画像データに含まれる前記副光源による光量成分の比を表す光源比率を求める光源比率算出ステップと、
   前記光源比率を前記スペクトル画像データに乗じて前記副光源の光量成分に相当する第１副光源スペクトルデータを求める副光源スペクトル抽出ステップと、
   予め用意された前記副光源の光に対する分光スペクトルデータから、前記第１副光源スペクトルデータに近似させた第２副光源スペクトルデータを求める副光源スペクトル近似ステップと、
   前記スペクトル画像データから前記第１光源スペクトルデータを除去するとともに、前記第２副光源スペクトルデータを加算する副光源スペクトル置換ステップとを有することを特徴とする画像処理方法。
2. 前記光源比率算出ステップが、輝線スペクトルを含む１つのバンド帯域と、該バンド帯域を含む前後２〜４つのバンド帯域の分光特性を加算した広帯域バンドから受光量を求めることを特徴とする請求項１記載の画像処理方法。
3. 輝線スペクトルを含む１つのバンド帯域が波長半値幅で４０ｎｍ以下、前記広帯域バンドとして合成されたバンド帯域の半値幅が狭波長バンド帯域の１．５倍以上であることを特徴とする請求項２記載の画像処理方法。
4. 前記光源比率算出ステップが、複数のバンド帯域の分光特性を平均した受光量から前記光源比率を求めることを特徴とする請求項２記載の画像処理方法。
5. 前記副光源スペクトル近似ステップが、前記第１副光源スペクトルデータに対し、波長に対する積分光量の一致する前記第２副光源スペクトルデータを求めることを特徴とする請求項に記載の画像処理方法。
6. 前記副光源スペクトル近似ステップが、波長毎の光量差のＲＭＳ（差の二乗和の平均値の平方根の値）を最小にする副光源スペクトルを有する副光源を選択することを特徴とする請求項１記載の画像処理方法。
7. 撮影波長帯域を複数のバンド帯域に分割して撮影し、得られる各バンド帯域のスペクトルデータを合成してスペクトル画像データを形成する画像処理装置であって、
   スペクトル画像データに対する該スペクトル画像データに含まれる前記副光源による光量成分の比を表す光源比率を求める光源比率算出手段と、
   前記光源比率を前記スペクトル画像データに乗じて前記副光源の光量成分に相当する第１副光源スペクトルデータを求める副光源スペクトル抽出手段と、
   予め用意された前記副光源の光に対する分光スペクトルデータから、前記第１副光源スペクトルデータに近似させた第２副光源スペクトルデータを求める副光源スペクトル近似手段と、
   前記スペクトル画像データから前記第１光源スペクトルデータを除去するとともに、前記第２副光源スペクトルデータを加算する副光源スペクトル置換手段とを有することを特徴とする画像処理装置。
8. 請求項１〜請求項６のいずれか１項に記載された画像処理方法の手順を、コンピュータに実行させるための画像処理プログラム。

Images