JP2009188807A - 撮像方法および撮像システム - Google Patents
撮像方法および撮像システム Download PDFInfo
- Publication number
- JP2009188807A JP2009188807A JP2008027615A JP2008027615A JP2009188807A JP 2009188807 A JP2009188807 A JP 2009188807A JP 2008027615 A JP2008027615 A JP 2008027615A JP 2008027615 A JP2008027615 A JP 2008027615A JP 2009188807 A JP2009188807 A JP 2009188807A
- Authority
- JP
- Japan
- Prior art keywords
- color
- imaging
- data
- subject
- spectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Spectrometry And Color Measurement (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】撮像装置の色域を外れる場合であっても、被写体の色を正確に再現可能な撮像方法および撮像システムを提供する。
【解決手段】被写体OBJにより青味の強い照明光を照射すると、各サンプル点は、xy色度座標において全体的に青の方向(xy色度座標上で左下方向)に色シフトする。すなわち、照明環境を変えることで、図2(a)において色域外に存在していたサンプル点(相対的に純度の高い黄色であった点)は、より純度の低い黄色に色シフトするので、撮像装置で撮像可能な色域内に納まる。その結果、被写体OBJの色全体を撮像装置の撮像可能な色域内において撮像できるので、被写体OBJの分光反射率を正確に推定した上で,図2(a)の色域外の色を再現することができる。
【選択図】図2
【解決手段】被写体OBJにより青味の強い照明光を照射すると、各サンプル点は、xy色度座標において全体的に青の方向(xy色度座標上で左下方向)に色シフトする。すなわち、照明環境を変えることで、図2(a)において色域外に存在していたサンプル点(相対的に純度の高い黄色であった点)は、より純度の低い黄色に色シフトするので、撮像装置で撮像可能な色域内に納まる。その結果、被写体OBJの色全体を撮像装置の撮像可能な色域内において撮像できるので、被写体OBJの分光反射率を正確に推定した上で,図2(a)の色域外の色を再現することができる。
【選択図】図2
Description
本発明は、被写体の分光反射率を考慮した撮像方法および撮像システムに関し、特に撮像装置における撮像可能な色域を考慮して撮像を行なう技術に関するものである。
近年、様々な環境下において撮像された被写体の色を、表示装置や印刷装置などの出力装置において、正確に再現するための技術が提案されている。
代表的な技術として、被写体の分光反射率に基づくカラーマネジメント技術が知られている。この技術は、被写体の色をスペクトルとして扱うことで実現され、被写体における照明環境にかかわらず正確な色再現が可能となる。このような被写体の分光反射率に基づいた色再現については、非特許文献1にその原理的な処理が開示されている。
ところで、被写体の分光反射率は、ある照明環境下で分光測色器などを用いて測定するのが一般的である。これは、被写体を撮像装置で撮像する場合には、被写体から光が放射(すなわち、被写体で照明光が反射)されている必要があり、全く照明光が照射されていない状態では被写体の色を判断することができないからである。また、撮像装置で撮像された撮像データから被写体の分光反射率を推定する場合には、当該撮像時に被写体に照射されていた照明環境を正確に特定する必要がある。
特開2000−046648号公報(特許文献1)には、被写体の分光反射率を推定するとともに、照明光を変更した場合のシミュレーション画像を生成する構成が開示されている。
特開2000−046648号公報
三宅洋一編、「分光画像処理入門」、財団法人東京大学出版会、2006年2月24日
ところで、一般的な撮像装置は、光の三原色に基づくR(赤),G(緑),B(青)といった分光感度が互いに異なる複数の撮像素子(代表的に、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor))で構成される。このような撮像装置で撮像可能な色域は、搭載されている各撮像素子の分光感度やダイナミックレンジなどによって定まる。このような撮像装置を用いて、色域外にある色を撮像した場合、最も近い色域内の色として誤検出(クリッピング)されることになる。
このように撮像装置から、誤検出された撮像データが出力される場合には、正確に被写体の色再現を行なうことができない。したがって従来の方法では、撮像装置で撮像可能な色域を外れる色を有する被写体については、正確に色再現できないという問題があった。
そこで、この発明は、かかる課題を解決するためになされたものであり、その目的は、撮像装置の色域を外れる場合であっても、被写体の色を正確に再現可能な撮像方法および撮像システムを提供することである。
この発明のある局面に従う撮像方法は、撮像装置を用いて、特定の波長特性をもつ照明光が照射される被写体を撮像することで、第1撮像データを取得するステップと、第1撮像データに対して、照明光の波長特性を用いて被写体の色を推定した色情報を生成するステップと、色情報に基づいて被写体を撮像したデータを再生成するステップとを含む。
好ましくは、色情報を生成するステップは、照明光の分光放射輝度を第1分光放射輝度として取得するステップと、第1分光放射輝度および第1撮像データを用いて被写体の分光反射率を推定した上で、分光反射率および第1分光放射輝度を用いて被写体の色を示す第1色空間上の第1色データを生成するステップと、1色データが装置で撮像可能な色域内に存在していたか否かを評価するステップと、1色データが可能な色域内に存在していなかったと評価された場合に、特定の主波長をもつ照明光を被写体に向けて照射するステップと、照明光の照射中に被写体を再度撮影し、第2撮像データを取得するステップと、照明光の照射中に被写体に照射される光の分光放射輝度を第2分光放射輝度として取得するステップとを含む。再生成するステップは、第2分光放射輝度および第2撮像データを用いて被写体の分光反射率を推定した上で、および第1分光放射輝度を用いて被写体の色を示す第1色空間上の第1色データを再生成するステップを含む。
さらに好ましくは、評価するステップは、第1色データが第1色空間上のいずれの位置で色域外になっているかに基づいて、1色データが可能な色域内に納まるように照明光を決定するステップを含む。
好ましくは、1色データを第2色空間上の第2色データに変換して画像データとして出力するステップをさらに含む。
さらに好ましくは、第1色空間はXYZ表色系であり、第2色空間はRGB表色系である。
この発明の別の局面に従う撮像システムは、撮像素子の各出力値からなる撮像データを出力する撮像装置と、被写体に向けて主波長が互いに異なる複数の照明光を選択的に照射可能な照明装置と、被写体に照射される光の分光放射輝度を取得する分光放射輝度取得手段と、分光放射輝度およびデータを用いて被写体の分光反射率を推定した上で、分光反射率を用いて被写体の色を示す第1色空間上の第1色データを生成する第1色変換手段と、1色データが装置で撮像可能な色域内に存在していたか否かを評価する評価手段とを含む。評価手段は、1色データが可能な色域内に存在していなかったと評価された場合に、照明装置から特定の照明光を被写体に向けて照射させる。
好ましくは、評価手段は、1色データが第1色空間上のいずれの位置で色域外になっているかを評価し、当該位置に応じて1色データが可能な色域内に納まるように、特定の照明光を選択する。
好ましくは、第1色変換手段は、被写体の撮像時に適用すべき第1照明環境が評価手段によって第2照明環境に切換えられた場合に、第2照明環境において取得される分光放射輝度を用いて分光反射率を推定し、さらに分光反射率および第1照明環境において取得された分光放射輝度を用いて第1色データを生成する。
好ましくは、第1色変換手段で変換後の第1色データを第2色空間上の第2色データに変換して画像データとして出力する第2色変換手段をさらに含む。
さらに好ましくは、第1色空間はXYZ表色系であり、前記第2色空間はRGB表色系である。
この発明によれば、撮像装置の色域を外れる場合であっても、被写体の色を正確に再現できる。
この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
<全体構成>
図1は、この発明の実施の形態に従う撮像システム1の概略構成図である。
図1は、この発明の実施の形態に従う撮像システム1の概略構成図である。
図1を参照して、撮像システム1は、被写体OBJを撮像し、この撮像した撮像データに所定の画像処理(主として、色再現処理)を行なった上で画像データ(以下「色再現データ」という。)を出力する。より具体的には、撮像システム1は、画像処理装置100と、撮像装置200と、分光放射輝度計300と、照明装置400とを含む。なお、画像処理装置100から出力される色再現データは、代表的に表示装置(ディスプレイ)や印刷装置(プリンタ)などの図示しない出力装置へ出力される。あるいは、図示しない記憶装置などに格納されるように構成してもよい。
撮像装置200は、被写体OBJを撮像し、この被写体OBJに応じた撮像データを出力する。代表的に、撮像装置200は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子で構成されており、行列状に形成される各画素の位置に対応した撮像データを出力する。より具体的には、各画素に対応付けて、分光感度が互いに異なる複数の撮像素子が配置されており、各画素に対応付けられた複数の撮像素子の各出力値(輝度値)を一体とした撮像データが出力される。このように各画素に対応付けられた分光感度が互いに異なる撮像素子の数は、バンド数とも称される。本実施の形態では、一例として、それぞれの分光感度が主としてR(赤),G(緑),B(青)である3バンドの撮像装置200を用いる場合について説明する。なお、原理的には、カラー画像を撮像するためには、3バンド以上であればよく、後述する色域を大きくするためには、バンド数は多い方が好ましい。
上述のように、撮像装置200が出力する撮像データは、R,G,Bの各輝度値(代表的に、それぞれが12ビット:0〜4095階調)の3次元の色情報となる。すなわち、撮像装置200が出力する撮像データは、RGB表色系として規定される。以下、撮像装置200における各画素に対応する撮像素子の番号(バンド番号)をi(i=1,2,3)とし、画素の2次元座標を(m,n)として、撮像装置200から出力される画像データをgi(m,n)と表わす。すなわち、
g1(m,n)=座標(m,n)におけるRの撮像素子で検出された輝度値
g2(m,n)=座標(m,n)におけるGの撮像素子で検出された輝度値
g3(m,n)=座標(m,n)におけるBの撮像素子で検出された輝度値
となる。以下の説明では、撮像装置200で撮像された撮像データを総称して「撮像データg」とも記す。
g1(m,n)=座標(m,n)におけるRの撮像素子で検出された輝度値
g2(m,n)=座標(m,n)におけるGの撮像素子で検出された輝度値
g3(m,n)=座標(m,n)におけるBの撮像素子で検出された輝度値
となる。以下の説明では、撮像装置200で撮像された撮像データを総称して「撮像データg」とも記す。
なお、撮像装置200は、動画カメラであってもよいし、静止画カメラであってもよい。すなわち、撮像装置200が動画カメラである場合には、被写体OBJの撮像および撮像データgの出力が所定周期(代表的に、1/30秒)で繰返され、撮像装置200が静止画カメラである場合には、ユーザなどの操作に応じて撮像および撮像データgの出力が行なわれる。また、撮像装置200は、単板のカメラであってもよいし、三板のカメラであってもよい。
照明装置400は、撮像装置200による被写体OBJの撮像に際して、被写体OBJに対して照明光を照射する。特に、本実施の形態に従う照明装置400は、画像処理装置100からの指令に応じて、被写体OBJに向けて、主波長が互いに異なる複数の照明光を選択的に照射可能に構成される。すなわち、後述するように、被写体OBJを所定の照明環境で撮像した結果、撮像装置200で撮像可能な色域外に被写体OBJの撮像データが存在すると評価された場合には、被写体OBJの撮像データが撮像装置200で撮像可能な色域内に納まるように、照明装置400から被写体OBJに照射される光が切換えられる。
具体的には、照明装置400は、フィルタホイール402と、フィルタホイール402を回転駆動するモータ406と、光源408とを含む。フィルタホイール402には、所定の波長成分を透過させる複数の波長フィルタ(色フィルタ)404が装着されている。そして、画像処理装置100からの指令に応じて、モータ406がフィルタホイール402を回転駆動することで、特定の波長フィルタ404が光源408の光軸上にセットされる。光源408としては、代表的にハロゲンランプもしくはキセノンランプといった演色性の高い光源(標準光源)が用いられる。その結果、光源408から照射される波長成分のうち、選択された波長フィルタ404に対応する主波長の光が被写体OBJに照射されることになる。
後述するように、画像処理装置100では、被写体OBJの撮像データが撮像装置200で撮像可能な色域外に存在する場合に、色空間上のいずれの位置で色域外になっているかを評価し、その評価結果(座標位置)に基づいて、照明装置400から被写体OBJへ照射する光を切換える。ここで、撮像装置200で撮像可能な色域は、撮像装置200を構成する撮像素子の分光感度に応じて定まるので、フィルタホイール402に装着する波長フィルタ(色フィルタ)404の特性は、この撮像素子の分光感度に応じて決定することが好ましい。一例として、本実施の形態に従う照明装置400は、主波長として、それぞれR(赤),G(緑),B(青)の3つの波長フィルタ404を含む。すなわち、照明装置400は、赤味を帯びた照明光、緑味を帯びた照明光、青味を帯びた照明光を切換えて照射可能に構成される。なお、照明装置400からは、このような波長フィルタ404を通過させることなく、標準の照明光として、光源408が発生する光をそのまま照射できるようにしてもよい。
また、上述の波長フィルタ404に代えて、あるいは波長フィルタ404とともに、色温度変換フィルタを用いることでも主波長が互いに異なる複数の照明光を選択的に照射できる。
さらに、上述のように波長フィルタ404を用いる構成に代えて、主発光ピークがそれぞれR(赤),G(緑),B(青)である複数の光源を配置し、これらの光源を選択的に点灯するようにしてもよい。
分光放射輝度計300は、被写体OBJに照射される照明光の分光放射輝度(あるいは、分光放射照度)を測定し、その測定結果を画像処理装置100へ出力する。これは、撮像装置200で撮像される被写体OBJの撮像データは、被写体OBJに照射される照明光が被写体OBJの分光反射率に応じて反射される結果生じるものであり、この被写体OBJの分光反射率を推定してカラーマネジメントを行なうためには、被写体OBJに照射される照明光の分光放射輝度が必要となるからである。
なお、分光放射輝度は、単位投影面積あたり、単位立体角当たりにおける、照明光の波長毎のエネルギー量を意味する。代替的に、単位面積当たりにおける照明光の波長毎のエネルギー量である分光放射照度を用いてもよい。
本実施の形態に従う撮像システム1では、被写体OBJを撮像装置200を用いて撮像するので、実際に照明光の分光放射輝度を測定する場合には、分光放射輝度計300の配置位置などに工夫を要する。すなわち、分光放射輝度計300は、被写体OBJに照射される照明光と実質的に同じ照明光を受光部で受光することで分光放射輝度を測定する。そのため、分光放射輝度計300自体が撮像されると好ましくない場合も多いと想定されるので、分光放射輝度計300は、撮像装置200の撮影範囲外であって、被写体OBJの照明環境と同一の照明環境とみなせる位置に配置することが好ましい。このような配置は、撮像装置200の撮影範囲に比較して、照明装置400の照明光の照射範囲を広くすることでより容易に実現できる。
分光放射輝度計300を被写体OBJに近接した位置に配置できない場合には、被写体OBJに照射される照明光と実質的に同じ照明光が照射される位置に分光反射率が既知である標準白色板を配置し、この標準白色板で反射される光を分光放射輝度計300の受光部で受光するようにしてよい。
分光放射輝度計300は、その受光部として、回折格子およびフォトダイオードアレイなどを含み、フォトダイオードアレイからは、波長毎に放射輝度を示す信号が出力される。受光部には、さらに、分光透過率が既知である乳白色の拡散板(コサインコレクタ、コサインディフューザ、コサインレセプタとも称される)を装着することにより、回折格子に入射する光の空間的な明るさのムラ(濃淡)を低減するとともに、分光放射照度の測定が可能となる。
本実施の形態では、分光放射輝度として、所定の波長幅(代表的に、1ナノメータ幅)でサンプリングした離散値を用いるものとする。したがって、分光放射輝度計300が可視光領域(380〜780ナノメートル)を検出範囲とする場合には、分光放射輝度計300が出力する分光放射輝度Eは、波長λ=380,381,・・・,780の計401個の輝度値を含む401次元のデータとなる。
<画像処理装置の機能構成>
次に、画像処理装置100の機能構成について説明する。画像処理装置100は、分光放射輝度計300で測定された分光放射輝度を用いて被写体OBJの分光反射率を推定し、この推定した分光反射率を用いて、RGB色空間上に規定される画像データgi(m,n)をXYZ表色系の画像データg’XYZ(m,n)に変換し、各画像データg’XYZ(m,n)が撮像装置200で撮像可能な色域内に存在しているか否かを判断する。そして、撮像装置200で撮像可能な色域外にいずれかの画像データg’XYZ(m,n)が存在していれば、照明装置400に指令を与えて、被写体OBJに対する照明環境を切換える。そして、適切な照明環境下で撮像された撮像データgに基づいて、RGB表色系の色再現データを生成して出力する。
次に、画像処理装置100の機能構成について説明する。画像処理装置100は、分光放射輝度計300で測定された分光放射輝度を用いて被写体OBJの分光反射率を推定し、この推定した分光反射率を用いて、RGB色空間上に規定される画像データgi(m,n)をXYZ表色系の画像データg’XYZ(m,n)に変換し、各画像データg’XYZ(m,n)が撮像装置200で撮像可能な色域内に存在しているか否かを判断する。そして、撮像装置200で撮像可能な色域外にいずれかの画像データg’XYZ(m,n)が存在していれば、照明装置400に指令を与えて、被写体OBJに対する照明環境を切換える。そして、適切な照明環境下で撮像された撮像データgに基づいて、RGB表色系の色再現データを生成して出力する。
具体的には、画像処理装置100は、線形補正部102と、色変換部104と、座標変換部106,118と、ガンマ補正部108と、分光反射率推定部110と、評価部112と、評価テーブル114と、一次記憶部116とを含む。
線形補正部102は、撮像装置200から出力される画像データgを線形化するための部位である。一般的に、表示装置では、入力信号レベルと実際に表示される輝度レベルとの間は非線形な関係を有しており、このような非線形性はガンマ特性と称される。このような表示装置における非線形性を打ち消して、人間の視覚に適応した画像が表示装置において表示されるように、撮像装置200からは、表示装置のガンマ特性と逆の非線形性をもつような画像データgが出力されることが多い。このように、画像データgの信号レベルと各撮像素子で検出された輝度レベルとの間が非線形である場合には、後述する画像処理を正確に実行することができないので、線形補正部102がこの画像データgを線形化する。
一般的にガンマ特性および逆ガンマ特性はべき乗の関数として表わすことができるので、線形補正部102は、撮像装置200における逆ガンマ値をγcとすると、以下のような演算式に従って、画像データgi(m,n)を線形化された線形画像データgci(m,n)に変換する。
gci(m,n)=gi(m,n)1/γc
ここで、逆ガンマ値γcは、表示装置のガンマ値γdの逆数に相当する値に設定される。一例として、表示装置のガンマ値γd=2.2であれば、撮像装置200の逆ガンマ値γc=1/γd=1/2.2≒0.45となる。
ここで、逆ガンマ値γcは、表示装置のガンマ値γdの逆数に相当する値に設定される。一例として、表示装置のガンマ値γd=2.2であれば、撮像装置200の逆ガンマ値γc=1/γd=1/2.2≒0.45となる。
なお、撮像装置200から1回の撮像によって出力される画像データgは、撮像装置200の画素数だけ存在するため、たとえば撮像装置200の画素が1920×1080である場合には、画像データgの数は2073600個となる。そのため、上述のような変換式をそのまま実行すると膨大な演算量になってしまう。画像処理装置100の演算処理能力が十分に高い場合には、演算を直接実行してもよいが、演算処理能力に制限がある場合には、ルックアップテーブル(LUT:Look-Up Table)を用いることが有効である。
本実施の形態に従う線形補正部102は、ルックアップテーブル102aを予め格納してり、このルックアップテーブル102aを参照することで、線形化処理を行なう。ルックアップテーブル102aは、入力される画像データgが取り得るすべての信号レベルの各々に対応付けて、上述の変換式の結果を予め格納したデータテーブルである。実際の線形化演算では、ルックアップテーブル102aを参照して、入力された画像データgの信号レベルに対応した変換値を取得すればよいので、演算量を大幅に低減できる。
なお、ルックアップテーブル102aの内容は、逆ガンマ値γcによって異なったものとなるので、逆ガンマ値γcが変更された場合には、ルックアップテーブル102aの内容も変更する必要がある。
なお、撮像装置200から出力される画像データgが線形、すなわち逆ガンマ値γc=1の場合には、線形補正部102を設ける必要はない。
<色再現処理>
次に、色変換部104および分光反射率推定部110によって実行される色再現処理の内容について説明する。
次に、色変換部104および分光反射率推定部110によって実行される色再現処理の内容について説明する。
撮像装置200の2次元座標(m,n)の画素に入射する被写体OBJからの光(スペクトル)は、被写体OBJに照射される照明光の分光放射輝度E(λ)と、被写体OBJの当該画素に対応する位置の分光反射率f(m,n;λ)との積に相当する。そして、各画素に入射した光に応じて対応の撮像素子から出力される線形画像データgcは、これらの各撮像素子の分光感度Si(λ)をさらに乗じた上で、波長領域にわたって光エネルギーを積分したものに相当する。このような関係は、(1)式に示す関係式として表わすことができる。
ここで、ni(m,n)は、各撮像素子に現れる白色ノイズなどによって生じる加法性ノイズであり、撮像装置200の撮像素子やレンズの特性、および周辺環境などに依存する値である。
上述したように、本実施の形態では、所定の波長幅(代表的に、1ナノメータ幅)でサンプリングした分光放射輝度E(λ)を用いるので、(1)式の右辺第1項の積分式を所定の波長幅でサンプリングして得られた離散値の積和演算によって算出する。すなわち、(1)式の右辺第1項の積分式を、各撮像素子の各波長における分光感度を示す行列Sと、各波長における分光放射輝度を示す行列Eと、各波長における分光反射率を示す行列f(m,n)との行列演算により実現する。
代表的に、可視光領域(380〜780ナノメートル)を1ナノメータ幅でサンプリングした場合には、行列Sは、401行×3列の行列となり、行列Eは、401行×1列の行列となり、行列f(m,n)は、1行×401列の行列となる。
ここで、加法性ノイズni(m,n)は、一般的に十分に小さな値であるので、(1)式から無視した上で、被写体OBJの分光反射率f(m,n)を算出することを考える。具体的には、線形画像データgcを用いて、以下の(2)式に従って被写体OBJの分光反射率f(m,n)を算出する。
f(m,n)=W・gc(m,n) ・・・(2)
(2)式において、Wは分光反射率推定行列である。分光反射率推定行列Wは、以下に説明するウィナー推定の手法によって算出される。具体的には、分光反射率推定行列Wは、システム行列Hを以下に示す(3)式と定めた上で、(1)式を変形することで(4)式のように導出される。
(2)式において、Wは分光反射率推定行列である。分光反射率推定行列Wは、以下に説明するウィナー推定の手法によって算出される。具体的には、分光反射率推定行列Wは、システム行列Hを以下に示す(3)式と定めた上で、(1)式を変形することで(4)式のように導出される。
H=S・E ・・・(3)
W=A・Ht・(H・A・Ht)−1 ・・・(4)
但し、Htは、システム行列Hの転置行列である。
W=A・Ht・(H・A・Ht)−1 ・・・(4)
但し、Htは、システム行列Hの転置行列である。
(4)式において、Aは、自己相関行列であり、被写体OBJの分光反射率を推定するための基準となるべきものである。自己相関行列Aは、被写体OBJと同等と考えられる分光反射率の統計データを用いて予め決定することができる。一例として、ISO(International Organization for Standardization)において標準化されている分光反射率のデータベースであるSOCS(Standard Object Color Sample)を参照して、自己相関行列Aを決定することができる。あるいは、被写体OBJの材質などが予め分っている場合には、被写体OBJ自身の分光反射率を別の方法によって予め測定しておき、自己相関行列Aを決定してもよい。上述したように、可視光領域(380〜780ナノメートル)を1ナノメータ幅でサンプリングした場合には、自己相関行列Aは、401行×1列の行列となる。また、ウィナー推定の詳細については、上述の非特許文献1(三宅洋一編、「分光画像処理入門」、財団法人東京大学出版会、2006年2月24日)に詳しいので、こちらを参照されたい。
なお、上述のようなウィナー推定の手法に代えて、主成分分析の手法を用いてもよい。
以上のように、(3)式および(4)式に従って、分光反射率推定行列Wを算出した上で、(2)式に従って、線形画像データgcから被写体OBJの分光反射率を示す行列f(m,n)を算出できる。行列f(m,n)が被写体OBJの色の本質であり、この行列f(m,n)を用いることで、被写体OBJがどのような照明環境下で観測されたものであっても、その色再現を行なうことができる。
以上のように、(3)式および(4)式に従って、分光反射率推定行列Wを算出した上で、(2)式に従って、線形画像データgcから被写体OBJの分光反射率を示す行列f(m,n)を算出できる。行列f(m,n)が被写体OBJの色の本質であり、この行列f(m,n)を用いることで、被写体OBJがどのような照明環境下で観測されたものであっても、その色再現を行なうことができる。
次に、本実施の形態に従う画像処理装置100は、任意の照明環境において観測した場合の被写体OBJの色再現データgdを生成することができる。より具体的には、任意の分光放射輝度E(λ)の条件下で、分光反射率f(m,n;λ)の被写体を観測した場合のXYZ表色系の三刺激値X,Y,Zは、以下に示す(5)式のようになる。
(5)式において、hi(λ)(i=1,2,3)は等色関数であり、人間の視覚感度特性に相当する関数である。この等色関数hi(λ)は国際照明委員会(CIE)によって規定されている。以下、(5)式によって算出される三刺激値X,Y,Zを含む3次元データを画像データg’XYZ(m,n)として表わす。
上述した分光反射率の算出過程と同様に、所定の波長幅(代表的に、1ナノメータ幅)でサンプリングして得られた離散値の積和演算によって算出する。すなわち、(5)式の各積分式を、各波長における等色関数の値を示す行列hと、各波長における分光放射輝度を示す行列Eと、各波長における分光反射率を示す行列f(m,n)(=W・gc(m,n))との行列演算により実現する。代表的に、可視光領域(380〜780ナノメートル)を1ナノメータ幅でサンプリングした場合には、行列hは、401行×3列の行列となり、行列Eは、401行×1列の行列となり、行列f(m,n)は、1行×401列の行列となる。
したがって、所定の照明環境(分光放射輝度E)において観測される被写体OBJの色を示す画像データg’XYZ(m,n)は、(6)式のようになる。
g’XYZ(m,n)=h・E・f(m,n)=h・E・W・gc(m,n) ・・・(6)
ここで、(6)式で用いられる分光放射輝度を示す行列Eは、任意の値に設定することができる。これは、ある照明環境下で被写体OBJを撮像した画像データgに基づいて、異なる任意の照明環境に設定した場合に観察されるであろう当該被写体OBJの色を再現できることを意味する。したがって、ある特定の照明環境下で観察されるであろう被写体OBJの色を再現するにあたって、必ずしもその特定の照明環境下で被写体OBJを撮像する必要はなく、それとは別の照明環境下で撮像した画像データgを用いてもよいことを意味する。言い換えれば、撮像装置200における撮像可能な色域内に納まるように、被写体OBJを撮像さえできれば、任意の照明環境下で観測されるであろう色を正確に再現できる。そこで、本実施の形態に従う撮像システム1は、撮像装置200における撮像可能な色域内に納まるように被写体OBJを撮像することを目的とする。
ここで、(6)式で用いられる分光放射輝度を示す行列Eは、任意の値に設定することができる。これは、ある照明環境下で被写体OBJを撮像した画像データgに基づいて、異なる任意の照明環境に設定した場合に観察されるであろう当該被写体OBJの色を再現できることを意味する。したがって、ある特定の照明環境下で観察されるであろう被写体OBJの色を再現するにあたって、必ずしもその特定の照明環境下で被写体OBJを撮像する必要はなく、それとは別の照明環境下で撮像した画像データgを用いてもよいことを意味する。言い換えれば、撮像装置200における撮像可能な色域内に納まるように、被写体OBJを撮像さえできれば、任意の照明環境下で観測されるであろう色を正確に再現できる。そこで、本実施の形態に従う撮像システム1は、撮像装置200における撮像可能な色域内に納まるように被写体OBJを撮像することを目的とする。
再度、図1を参照して、分光反射率推定部110は、分光放射輝度計300で測定された分光放射輝度Eと、予め格納された撮像装置200の撮像素子の各波長における分光感度を示す行列Sと、予め格納された自己相関行列Aとを用いて、上述(3)式および(4)式の行列演算を実行し、分光反射率推定行列Wを算出する。そして、分光反射率推定部110は、算出した分光反射率推定行列Wを色変換部104へ出力する。
なお、分光反射率推定部110が分光反射率推定行列Wを算出する周期は、撮像装置200における撮像周期と同一であることが望ましいが、分光放射輝度計300による分光放射輝度の測定周期が撮像周期より遅い場合には、分光放射輝度の測定周期で分光反射率推定行列Wを算出してもよい。あるいは、被写体OBJにおける照明環境がほとんど変化しない場合には、分光放射輝度計300から出力される分光放射輝度が変化した場合に限って、分光反射率推定行列Wを算出するようにしてもよい。
色変換部104は、線形補正部102から出力された線形画像データgcと、分光反射率推定部110から出力された分光反射率推定行列Wと、分光放射輝度計300で測定された分光放射輝度Eと、予め格納された各波長における等色関数の値を示す行列hとを用いて、上述(6)式の行列演算を実行し、画像データg’XYZを算出する。
分光放射輝度計300と色変換部104との間には、一次記憶部116が配置されている。この一次記憶部116は、後述するように評価部112が照明装置400からの照明光を切換えた場合に、切換前の分光放射輝度を一次的に記憶しておき、この切換前の分光放射輝度を色変換部104へ出力するためのバッファとして機能する。一次記憶部116の詳細な動作については後述する。
座標変換部106は、色変換部104で生成されたXYZ表色系の画像データg’XYZをRGB表色系の画像データg’RGBに変換して、ガンマ補正部108へ出力する。すなわち、座標変換部106は、画像データg’RGBを色空間の変換を行なった上で出力する。
ガンマ補正部108は、座標変換部106で変換されたRGB表色系の画像データg’RGBは、線形性を維持しているため、表示装置などに出力する場合には、表示装置のガンマ特性を考慮して、予め表示装置のガンマ特性を打ち消すための補正を行なう必要がある。すなわち、ガンマ補正部108は、線形補正部102における変換処理と逆の変換処理を行なう。より具体的には、ガンマ補正部108は、以下のような表示装置のガンマ値γdを用いた演算式に従って、RGB表色系の画像データg’RGB(m,n)を色再現データgdRGB(m,n)に変換する。
gdRGB(m,n)=g’RGB(m,n)γd
ここで、表示装置のガンマ値γdは、一例として「2.2」などに設定される。
ここで、表示装置のガンマ値γdは、一例として「2.2」などに設定される。
本実施の形態に従うガンマ補正部108は、上述の線形補正部102と同様に、ルックアップテーブル(LUT:Look-Up Table)を用いて演算処理を実行する。より具体的には、ガンマ補正部108は、ルックアップテーブル108aを予め格納してり、このルックアップテーブル108aを参照することで、ガンマ補正処理を行なう。ルックアップテーブル108aは、入力される画像データg’RGBが取り得るすべての信号レベルの各々に対応付けて、上述の変換式の結果を予め格納したデータテーブルである。実際の線形化演算では、ルックアップテーブル108aを参照して、入力された画像データg’RGBの信号レベルに対応した変換値を取得すればよいので、演算量を大幅に低減できる。
なお、ルックアップテーブル108aの内容は、ガンマ値γdによって異なったものとなるので、ガンマ値γdが変更された場合には、ルックアップテーブル108aの内容も変更する必要がある。
<色域評価処理>
評価部112は、上述のような色再現データgdの生成過程において、撮像装置200で撮像された画像データgが撮像装置200の撮像可能な色域内で撮像されたものであるか否かを評価する。そして、評価部112は、画像データgが撮像可能な色域外の色を含むと評価された場合には、被写体OBJが発する色が撮像装置200の撮像可能な色域内に納まるように、照明装置400から特定の照明光を照射する。このような色域内であるか否かの評価は、XYZ表色系の色空間で行なう必要があるため、評価部112は、色変換部104から出力される画像データg’XYZに対して評価を行なう。
評価部112は、上述のような色再現データgdの生成過程において、撮像装置200で撮像された画像データgが撮像装置200の撮像可能な色域内で撮像されたものであるか否かを評価する。そして、評価部112は、画像データgが撮像可能な色域外の色を含むと評価された場合には、被写体OBJが発する色が撮像装置200の撮像可能な色域内に納まるように、照明装置400から特定の照明光を照射する。このような色域内であるか否かの評価は、XYZ表色系の色空間で行なう必要があるため、評価部112は、色変換部104から出力される画像データg’XYZに対して評価を行なう。
図2は、図1に示す評価部112における色域評価処理の概略を説明するための図である。
図2に示すように、XYZ表色系の三刺激値X,Y,Zは、(7)式および(8)式に示すような変換式によって得られる2つの変数xおよびyによって規定される二次元座標(以下「xy座標」とも称す。)として表わすことができる。
x=X/(X+Y+Z) ・・・(7)
y=Y/(X+Y+Z) ・・・(8)
また、図2には、XYZ表色系における色度図を示す。この色度図では、中心が白色であり、その外周に向かうほど「純度」が高い色であることを意味する。また、略三角形の各頂点には、主としてB(青),G(緑),R(赤)が位置している。
y=Y/(X+Y+Z) ・・・(8)
また、図2には、XYZ表色系における色度図を示す。この色度図では、中心が白色であり、その外周に向かうほど「純度」が高い色であることを意味する。また、略三角形の各頂点には、主としてB(青),G(緑),R(赤)が位置している。
図2(a)に示すように、R,G,Bの3つの撮像素子からなる撮像装置200の撮像可能な色域は、xy座標において、各撮像素子で検出可能な色(純度)をそれぞれ頂点とする三角形となる。なお、撮像素子の数(バンド数)を増加させた場合には、当該バンド数と同数の多角形となる。
また、図2(a)には、撮像装置200の各画素で撮像された色をサンプル点として例示している。各サンプル点は、上述の色再現処理によって算出される各画素の画像データg’XYZをxy座標上にプロットしたものである。
図2(a)に示すサンプル点のうち、2つのサンプル点の本来の色は、撮像可能な色域外に存在している場合を考える。この場合には、色域外のサンプル点の色は、撮像可能な色域に最も近い色域内の色として誤検出(クリッピング)される。すなわち、撮像可能な色域外に存在している色は、その純度を下げた別の色として検出されることになる。具体的には、図2(a)に示す2つのサンプル点の色は、本来、相対的に純度の高い黄色であったが、より赤味を帯びた色として検出されてしまう。
このように、撮像装置200において画像データgの色情報が誤検出されてしまうと、上述の色再現処理において分光反射率を正確に算出することができない。その結果、正確に色再現を行なうことができない。
ここで、被写体OBJから発する光(色)は、照明環境に応じて変化するので、照明環境を適切に切換えることで、撮像可能な色域外に存在しているサンプル点を撮像可能な色域内に納めることができる。
図2(b)は、図2(a)と同様の被写体OBJをより青味の強い照明環境で撮像した場合のサンプル点を示す図である。図2(b)に示すように、被写体OBJにより青味の強い照明光を照射すると、各サンプル点は、xy座標において全体的に青の方向(xy座標上で左下方向)に移動する。すなわち、照明環境を変えることで、図2(a)において色域外に存在していたサンプル点(すなわち、相対的に純度の高い黄色であった点)は、より純度の低い黄色を放射するようになるので、撮像装置200の撮像可能な色域内に納まる。その結果、被写体OBJの全体を撮像装置200の撮像可能な色域内において撮像できるので、被写体OBJの分光反射率を正確に推定することができる。
さらに、上述の(6)式に示すように、任意の照明環境において観測した場合の色再現データgdを生成できるので、この切換後の照明環境ではなく、本来の照明環境下において撮像されるべきであった色再現データgdを生成することができる。
図2(c)は、図2(b)の照明環境下で撮像された撮像データに基づいて、図2(a)の照明環境下で生成されるべきであった色再現データgdを生成した場合を示す。このような色再現処理を行なうことにより、撮像装置200の撮像可能な色域外にある色であっても、正確に色再現を行なうことができる。
照明装置400からの照明光を適切に切換えるためには、撮像装置200の撮像可能な色域外にある色を特定する必要がある。そこで、本実施の形態に従う評価部112は、xy座標上においていずれの位置で色域外になっているかを評価し、この位置に応じて照明光を選択する。
なお、撮像された画像データgのすべての画素について評価する必要はなく、画像データgに含まれる画素の色情報のうち、当該画像データgを代表する所定数の画素について評価するようにしてもよい。
図3は、図1に示す評価部112における照明光の切換処理の概略を説明するための図である。図3を参照して、xy座標上において、Rの撮像素子によって撮像可能な最大純度の赤色に対応する座標を(x1,y1)とし、Gの撮像素子によって撮像可能な最大純度の緑色に対応する座標を(x2,y2)とし、Bの撮像素子によって撮像可能な最大純度の青色に対応する座標を(x3,y3)とする。
そして、座標(x1,y1)と座標(x2,y2)とを結ぶ直線領域(a)上にサンプル点が存在する場合には、Y(黄)の純度が高いと判断し、このY(黄)の補色であるB(青)の成分を多く含む照明光に切換える。
同様に、座標(x2,y2)と座標(x3,y3)とを結ぶ直線領域(b)上にサンプル点が存在する場合には、C(シアン)の純度が高いと判断し、このC(シアン)の補色であるR(赤)の成分を多く含む照明光に切換える。
同様に、座標(x3,y3)と座標(x1,y1)とを結ぶ直線領域(c)上にサンプル点が存在する場合には、M(マゼンダ)の純度が高いと判断し、このM(マゼンダ)の補色であるG(緑)の成分を多く含む照明光に切換える。
このように、評価部112は、画像データg’の色がxy座標上のいずれの位置で色域外になっているかを評価し、当該位置に応じて照明光を選択する。
再度、図1を参照して、座標変換部118は、色変換部104から順次出力される画像データg’の各成分に対して、上述の(7)式および(8)式に示す変換式に従って座標変換を実行する。そして、座標変換部118は、変換した座標値(x,y)を評価部112へ順次出力する。
評価部112は、座標変換部118から順次出力される座標値(x,y)を、撮像装置200による1回の撮像に相当する数だけ格納し、xy座標上において予め規定された撮像装置200で撮像可能な色域外に存在するものがあるか否かを判断する。なお、このxy座標上において予め規定された撮像装置200で撮像可能な色域は、評価テーブル114に予め格納される。また、撮像装置200で撮像可能な色域は、撮像装置200を構成する撮像素子の特性などに依存するため、撮像装置200の種類または個体毎に実験的もしくはシミュレーションなどによって予め取得される。
さらに、評価部112は、座標変換部118から出力される座標値(x,y)のうち、撮像装置200で撮像可能な色域外に存在するものがある場合には、その座標値(x,y)がいずれの位置で色域外になっているかを評価する。そして、評価部112は、当該位置に応じて、照明装置400に対して照明光の選択指令を出力する。上述したように、具体的には、評価部112は、xy座標上のR,G,Bに対応する各座標を結ぶいずれかの直線領域に座標値(x,y)が存在しているか否かによって判断する。
照明装置400に対して照明光の選択指令を出力した場合には、評価部112は、一次記憶部116に対して、当該時点(照明光の切換前)の分光放射輝度の出力を維持するように指令を与える。これは、切換前の照明環境下(すなわち、本来の照明環境下)において撮像されるべきであった画像データg’が色変換部104から出力されるようにするためである。
すなわち、被写体OBJの撮像時に適用すべき照明環境(分光放射輝度E(1))を異なる照明環境(分光放射輝度E(2))に切換えた場合には、評価部112は、以下の数式に従って画像データg’が算出されるように、一次記憶部116を制御する。
H=S・E(1)
W=A・Ht・(H・A・Ht)−1
g’XYZ(m,n)=h・E(2)・W・gc(m,n)
また、評価部112は、座標変換部118から出力される座標値(x,y)のうち、撮像装置200で撮像可能な色域外に存在するものがない場合において、座標変換部106における座標変換処理を有効化するための指令を与える一方、撮像装置200で撮像可能な色域外に存在するものがある場合には、座標変換部106における座標変換処理を無効化するための指令を与える。これは、撮像装置200で撮像可能な色域外の色を含む画像データに基づいて生成された信頼性の低い色再現データgdが出力されることを防止するためである。
W=A・Ht・(H・A・Ht)−1
g’XYZ(m,n)=h・E(2)・W・gc(m,n)
また、評価部112は、座標変換部118から出力される座標値(x,y)のうち、撮像装置200で撮像可能な色域外に存在するものがない場合において、座標変換部106における座標変換処理を有効化するための指令を与える一方、撮像装置200で撮像可能な色域外に存在するものがある場合には、座標変換部106における座標変換処理を無効化するための指令を与える。これは、撮像装置200で撮像可能な色域外の色を含む画像データに基づいて生成された信頼性の低い色再現データgdが出力されることを防止するためである。
<処理手順>
本実施の形態に従う撮像システム1における処理手順をまとめると、以下のようになる。
本実施の形態に従う撮像システム1における処理手順をまとめると、以下のようになる。
図4は、この発明の実施の形態に従う撮像システム1における全体処理手順を示すフローチャートである。図5は、図4に示す色域評価処理サブルーチンの内容を示すフローチャートである。図6は、図4に示す照明環境切換サブルーチンの内容を示すフローチャートである。なお、以下の説明では、その処理内容をより明確化するために、最初の撮像によって得られたデータなどを上付き添え字(1)を付して表わすとともに、2回目の撮像によって得られたデータなどを上付き添え字(2)を付して表わす。
図1および図4を参照して、まず、撮像装置200が被写体OBJを撮像し、被写体OBJに応じた撮像データg(1)を出力する(ステップS2)。なお、撮像装置200は、ユーザなどの操作に応答して撮像動作を実行する。続いて、分光反射率推定部110が、分光放射輝度計300で測定された分光放射輝度E(1)を取得し(ステップS4)、分光反射率推定行列W(1)を算出する(ステップS6)。
続いて、線形補正部102が、撮像装置200から出力される1つの画素に対応する画像データg(1) i(m,n)を線形化して線形画像データgc(1) i(m,n)を生成する(ステップS8)。そして、色変換部104が、ステップS4において取得された分光放射輝度E(1)と、ステップS6において算出された分光反射率推定行列W(1)と、ステップS8において生成された線形画像データgc(1) i(m,n)とを用いて、画像データg’(1) XYZ(m,n)を算出する(ステップS10)。さらに、撮像データg(1)に含まれるすべての画素についての処理が完了したか否かが判断され(ステップS12)、すべての画素についての処理が完了していなければ(ステップS12においてNO)、ステップS8以降の処理が再度実行される。
これに対して、すべての画素についての処理が完了していれば(ステップS12においてYES)、画像データg’(1) XYZ(m,n)が撮像装置200で撮像可能な色域内に存在しているか否かを評価するために、色域評価処理サブルーチンが実行される(ステップS14)。なお、後述するように、ステップS14の色域評価処理サブルーチンの評価結果は、評価部112などに設けられるメモリ領域に「フラグ」として出力され、フラグ設定がされている場合には、撮像装置200で撮像可能な色域外に画像データg’(1) XYZ(m,n)が存在することを意味する。
この色域評価処理サブルーチンの実行後、評価部112は、いずれかのフラグが設定されているか否か、すなわち撮像装置200で撮像可能な色域外に画像データg’(1) XYZ(m,n)が存在するか否かを判断する(ステップS16)。フラグが設定されている場合(ステップS16においてYESの場合)には、評価部112は、一次記憶部116に現時点の分光放射輝度E(1)を記憶させる(ステップS18)とともに、照明装置400からの照明光を切換えるために、照明環境切換サブルーチンを実行する(ステップS20)。この照明環境切換サブルーチンの実行後、撮像装置200が被写体OBJを再度撮像し、被写体OBJに応じた撮像データg(2)を出力する(ステップS22)。続いて、分光反射率推定部110が、分光放射輝度計300で測定された分光放射輝度E(2)を取得し(ステップS24)、分光反射率推定行列W(2)を算出する(ステップS26)。
続いて、線形補正部102が、撮像装置200から出力される1つの画素に対応する画像データg(2) i(m,n)を線形化して線形画像データgc(2) i(m,n)を生成する(ステップS28)。そして、色変換部104が、ステップS18において一次記憶部116が記憶した分光放射輝度E(1)と、ステップS26において算出された分光反射率推定行列W(2)と、ステップS28において生成された線形画像データgc(2) i(m,n)とを用いて、画像データg’(2) XYZ(m,n)を算出する(ステップS30)。さらに、撮像データg(2)に含まれるすべての画素のついての処理が完了したか否かが判断され(ステップS32)、すべての画素についての処理が完了していなければ(ステップS32においてNO)、ステップS28以降の処理が再度実行される。
これに対して、すべての画素についての処理が完了していれば(ステップS32においてYES)、座標変換部106が、ステップS30で算出された画像データg’(2) XYZ(m,n)をRGB表色系の画像データg’RGB(m,n)に変換し(ステップS34)、続いて、ガンマ補正部108が、画像データg’RGB(m,n)を色再現データgdRGB(m,n)に変換し(ステップS36)、外部出力する。
一方、フラグが設定されていない場合(ステップS16においてNOの場合)には、座標変換部106が、ステップS10で算出された画像データg’(1) XYZ(m,n)をRGB表色系の画像データg’RGB(m,n)に変換し(ステップS38)、続いて、ガンマ補正部108が、画像データg’RGB(m,n)を色再現データgdRGB(m,n)に変換し(ステップS40)、外部出力する。
次に、ステップS14の色域評価処理サブルーチンの内容について説明する。図5を参照して、まず、座標変換部118が画像データg’(1) XYZ(m,n)をxy座標上の座標値(x,y)に変換する(ステップS100)。そして、評価部112は、評価テーブル114から撮像装置200の撮像可能なxy座標上の色域を読出す(ステップS102)。
そして、評価部112は、ステップS100において算出された座標値(x,y)が、図3に示すようなR(赤)に対応する座標(x1,y1)とG(緑)に対応する(x2,y2)とを結ぶ直線領域(a)上に存在するか否かを判断する(ステップS104)。座標値(x,y)が直線領域(a)上に存在する場合(ステップS104においてYESの場合)には、評価部112は、フラグB(青)を設定する(ステップS106)。
座標値(x,y)が直線領域(a)上に存在しない場合(ステップS104においてNOの場合)には、評価部112は、ステップS100において算出された座標値(x,y)が、図3に示すようなG(緑)に対応する座標(x2,y2)とB(青)に対応する(x3,y3)とを結ぶ直線領域(b)上に存在するか否かを判断する(ステップS108)。座標値(x,y)が直線領域(b)上に存在する場合(ステップS108においてYESの場合)には、評価部112は、フラグR(赤)を設定する(ステップS110)。
座標値(x,y)が直線領域(c)上に存在しない場合(ステップS108においてNOの場合)には、評価部112は、ステップS100において算出された座標値(x,y)が、図3に示すようなB(青)に対応する座標(x3,y3)とR(赤)に対応する(x1,y1)とを結ぶ直線領域(c)上に存在するか否かを判断する(ステップS112)。座標値(x,y)が直線領域(c)上に存在する場合(ステップS112においてYESの場合)には、評価部112は、フラグG(緑)を設定する(ステップS114)。
さらに、撮像データg(1)に含まれるすべての画素のついての処理が完了したか否かが判断され(ステップS116)、すべての画素についての処理が完了していなければ(ステップS116においてNO)、ステップS100以降の処理が再度実行される。
これに対して、すべての画素についての処理が完了していれば(ステップS116においてYES)、処理は、図4のステップS16に移行する。
次に、ステップS20の照明環境切換サブルーチンの内容について説明する。図6を参照して、評価部112は、まず、フラグB(青)が設定されているか否かを判断する(ステップS200)。フラグB(青)が設定されている場合(ステップS200においてYESの場合)には、評価部112は、B(青)の成分を多く含む照明光を照明装置400から被写体OBJに向けて放射させる(ステップS202)。
フラグB(青)が設定されていない場合(ステップS200においてNOの場合)には、評価部112は、フラグR(赤)が設定されているか否かを判断する(ステップS204)。フラグR(赤)が設定されている場合(ステップS204においてYESの場合)には、R(赤)の成分を多く含む照明光を照明装置400から被写体OBJに向けて放射させる(ステップS206)。
フラグR(赤)が設定されていない場合(ステップS204においてNOの場合)には、評価部112は、フラグG(緑)が設定されているか否かを判断する(ステップS208)。フラグG(緑)が設定されている場合(ステップS208においてYESの場合)には、G(緑)の成分を多く含む照明光を照明装置400から被写体OBJに向けて放射させる(ステップS210)。
ステップS202,206,210のいずれかの処理が実行された後、処理は、図4のステップS22に移行する。
<本実施形態による作用効果>
この発明の実施の形態によれば、撮像装置で撮像可能な色域を考慮して被写体を撮像する際の照明環境を決定することができる。そのため、撮像装置を用いて被写体の色を正しく撮像できるので、この撮像された撮像データから被写体の分光反射率を正確に推定できる。したがって、被写体を撮像すべき照明環境において被写体の色が撮像装置の撮像可能な色域外に存在している場合であっても、分光反射率を正確に推定した上で、当該撮像すべき照明環境において撮像(観察)されるであろう色を適切に再現することができる。
この発明の実施の形態によれば、撮像装置で撮像可能な色域を考慮して被写体を撮像する際の照明環境を決定することができる。そのため、撮像装置を用いて被写体の色を正しく撮像できるので、この撮像された撮像データから被写体の分光反射率を正確に推定できる。したがって、被写体を撮像すべき照明環境において被写体の色が撮像装置の撮像可能な色域外に存在している場合であっても、分光反射率を正確に推定した上で、当該撮像すべき照明環境において撮像(観察)されるであろう色を適切に再現することができる。
この結果、撮像装置の撮像可能な色域に比較して表示装置の表示可能な色域が広い場合などにおいて、表示装置では、撮像装置の撮像能力を超えた純度の色を表示させることも可能となる。
<変形例>
上述の実施の形態においては、主としてハードウェアで構成された画像処理装置100を用いる構成について例示したが、その全部または一部をソフトウェアで実現してもよい。すなわち、コンピュータを用いて、画像処理装置100における処理を実現してもよい。
上述の実施の形態においては、主としてハードウェアで構成された画像処理装置100を用いる構成について例示したが、その全部または一部をソフトウェアで実現してもよい。すなわち、コンピュータを用いて、画像処理装置100における処理を実現してもよい。
図7は、この発明の実施の形態の変形例に従う画像処理装置100#を実現するコンピュータの概略構成図である。
図7を参照して、コンピュータは、FD(Flexible Disk)駆動装置166およびCD−ROM(Compact Disk-Read Only Memory)駆動装置168を搭載したコンピュータ本体150と、モニタ152と、キーボード154と、マウス156とを含む。
コンピュータ本体150は、相互にバスで接続された、演算装置であるCPU(Central Processing Unit)160と、メモリ162と、記憶装置である固定ディスク164と、通信インターフェース170とをさらに含む。
FD駆動装置166にはFD166aが装着され、CD−ROM駆動装置168にはCD−ROM168aが装着される。本実施の形態の変形例に従う画像処理装置100#は、CPU160がメモリ162などのコンピュータハードウェアを用いて、ソフトウェアを実行することで実現できる。一般的に、このようなソフトウェアは、FD166aやCD−ROM168aなどの記録媒体に格納されて、またはネットワークなどを介して流通する。そして、このようなソフトウェアは、FD駆動装置166やCD−ROM駆動装置168などにより記録媒体から読取られて、または通信インターフェース170にて受信されて、固定ディスク164に格納される。さらに、固定ディスク164からメモリ162に読出されて、CPU160により実行される。
モニタ152は、CPU160が出力する情報を表示するための表示部であって、一例としてLCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)などから構成される。マウス156は、クリックやスライドなどの動作に応じたユーザから指令を受付ける。キーボード154は、入力されるキーに応じたユーザから指令を受付ける。CPU160は、プログラムされた命令を順次実行することで、各種の演算を実施する演算処理部である。メモリ162は、CPU160のプログラム実行に応じて、各種の情報を記憶する。通信インターフェース170は、コンピュータと撮像装置200、分光放射輝度計300、照明装置400(図1)などとの間の通信を確立するための装置であり、CPU160が出力した情報を、例えば電気信号に変換して他の装置へ送出するとともに、他の装置から電気信号を受信してCPU160が利用できる情報に変換する。固定ディスク164は、CPU160が実行するプログラムや予め定められたデータなどを記憶する不揮発性の記憶装置である。また、コンピュータには、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。
さらに、本実施の形態に係るプログラムは、コンピュータのオペレーティングシステム(OS)の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずOSと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。
また、本実施の形態に係るプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。
<その他の形態>
上述の実施の形態においては、分光放射輝度計300が被写体OBJにおける照明環境(分光放射輝度)を直接測定する構成について例示したが、被写体OBJへ照射される照明光が主として照明装置400からの照明光に依存する場合などには、分光放射輝度を直接測定する代わりに、予め測定して分光放射輝度を用いてもよい。すなわち、照明装置400から選択的に照射される各照明光に対応付けて予め分光放射輝度を測定しておき、これらの予め測定された分光放射輝度のうち、照明装置400から放射される照明光の選択に応じて、対応する分光放射輝度を読出すようにしてもよい。
上述の実施の形態においては、分光放射輝度計300が被写体OBJにおける照明環境(分光放射輝度)を直接測定する構成について例示したが、被写体OBJへ照射される照明光が主として照明装置400からの照明光に依存する場合などには、分光放射輝度を直接測定する代わりに、予め測定して分光放射輝度を用いてもよい。すなわち、照明装置400から選択的に照射される各照明光に対応付けて予め分光放射輝度を測定しておき、これらの予め測定された分光放射輝度のうち、照明装置400から放射される照明光の選択に応じて、対応する分光放射輝度を読出すようにしてもよい。
また、照明装置400から照射する照明光は、被写体OBJの撮像データが撮像装置200で撮像可能な色域外に存在する場合い限って照射するようにしてよい。すなわち、通常の撮像時には、所望の照明環境下で被写体OBJを測定するとともに、この照明環境下において、被写体OBJの撮像データが撮像装置200で撮像可能な色域外に存在する場合に、はじめて照明装置400から特定の照明光を照射するような運用としてもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 撮像システム、100,100# 画像処理装置、102 線形補正部、102a,108a ルックアップテーブル(LUT)、104 色変換部、106,118 座標変換部、108 ガンマ補正部、110 分光反射率推定部、112 評価部、114 評価テーブル、116 一次記憶部、150 コンピュータ本体、152 モニタ、154 キーボード、156 マウス、160 CPU、162 メモリ、164 固定ディスク、166 FD駆動装置、168 CD−ROM駆動装置、170 通信インターフェース、200 撮像装置、300 分光放射輝度計、400 照明装置、402 フィルタホイール、404 波長フィルタ、406 モータ、408 光源、OBJ 被写体。
Claims (10)
- 撮像装置を用いて、特定の波長特性をもつ照明光が照射される被写体を撮像することで、第1撮像データを取得するステップと、
前記第1撮像データに対して、前記照明光の波長特性を用いて前記被写体の色を推定した色情報を生成するステップと、
前記色情報に基づいて被写体を撮像したデータを再生成するステップとを備える、撮像方法。 - 前記色情報を生成するステップは、
前記照明光の分光放射輝度を第1分光放射輝度として取得するステップと、
前記第1分光放射輝度および前記第1撮像データを用いて前記被写体の分光反射率を推定した上で、前記分光反射率および前記第1分光放射輝度を用いて前記被写体の色を示す第1色空間上の第1色データを生成するステップと、
前記第1色データが前記撮像装置で撮像可能な色域内に存在していたか否かを評価するステップと、
前記第1色データが前記撮像可能な色域内に存在していなかったと評価された場合に、特定の主波長をもつ照明光を前記被写体に向けて照射するステップと、
前記照明光の照射中に前記被写体を再度撮影し、第2撮像データを取得するステップと、
前記照明光の照射中に前記被写体に照射される光の分光放射輝度を第2分光放射輝度として取得するステップとを含み、
前記再生成するステップは、前記第2分光放射輝度および前記第2撮像データを用いて前記被写体の分光反射率を推定した上で、前記分光反射率および前記第1分光放射輝度を用いて前記被写体の色を示す第1色空間上の第1色データを再生成するステップを含む、請求項1に記載の撮像方法。 - 前記評価するステップは、前記第1色データが前記第1色空間上のいずれの位置で色域外になっているかに基づいて、前記第1色データが前記撮像可能な色域内に納まるように前記照明光を決定するステップを含む、請求項2に記載の撮像方法。
- 前記第1色データを第2色空間上の第2色データに変換して画像データとして出力するステップをさらに備える、請求項2または3に記載の撮像方法。
- 前記第1色空間はXYZ表色系であり、前記第2色空間はRGB表色系である、請求項4に記載の撮像方法。
- 撮像素子の各出力値からなる撮像データを出力する撮像装置と、
前記被写体に向けて主波長が互いに異なる複数の照明光を選択的に照射可能な照明装置と、
前記被写体に照射される光の分光放射輝度を取得する分光放射輝度取得手段と、
前記分光放射輝度および前記撮像データを用いて前記被写体の分光反射率を推定した上で、前記分光反射率を用いて前記被写体の色を示す第1色空間上の第1色データを生成する第1色変換手段と、
前記第1色データが前記撮像装置で撮像可能な色域内に存在していたか否かを評価する評価手段とを備え、
前記評価手段は、前記第1色データが前記撮像可能な色域内に存在していなかったと評価された場合に、前記照明装置から特定の照明光を前記被写体に向けて照射させる、撮像システム。 - 前記評価手段は、前記第1色データが前記第1色空間上のいずれの位置で色域外になっているかを評価し、当該位置に応じて前記第1色データが前記撮像可能な色域内に納まるように、前記特定の照明光を選択する、請求項6に記載の撮像システム。
- 前記第1色変換手段は、前記被写体の撮像時に適用すべき第1照明環境が前記評価手段によって第2照明環境に切換えられた場合に、前記第2照明環境において取得される分光放射輝度を用いて前記分光反射率を推定し、さらに前記分光反射率および前記第1照明環境において取得された分光放射輝度を用いて第1色データを生成する、請求項6または7に記載の撮像システム。
- 前記第1色変換手段で変換後の前記第1色データを第2色空間上の第2色データに変換して画像データとして出力する第2色変換手段をさらに備える、請求項6〜8のいずれか1項に記載の撮像システム。
- 前記第1色空間はXYZ表色系であり、前記第2色空間はRGB表色系である、請求項9に記載の撮像システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008027615A JP2009188807A (ja) | 2008-02-07 | 2008-02-07 | 撮像方法および撮像システム |
PCT/JP2009/051245 WO2009098968A1 (ja) | 2008-02-07 | 2009-01-27 | 撮像方法および撮像システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008027615A JP2009188807A (ja) | 2008-02-07 | 2008-02-07 | 撮像方法および撮像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009188807A true JP2009188807A (ja) | 2009-08-20 |
Family
ID=41071597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008027615A Withdrawn JP2009188807A (ja) | 2008-02-07 | 2008-02-07 | 撮像方法および撮像システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009188807A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009188806A (ja) * | 2008-02-07 | 2009-08-20 | Sharp Corp | 撮像方法および撮像システム |
JP2011259209A (ja) * | 2010-06-09 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、画像処理方法及び画像処理プログラム |
CN113396319A (zh) * | 2019-02-05 | 2021-09-14 | 凸版印刷株式会社 | 颜色转换信息生成方法、颜色转换信息生成***以及程序 |
-
2008
- 2008-02-07 JP JP2008027615A patent/JP2009188807A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009188806A (ja) * | 2008-02-07 | 2009-08-20 | Sharp Corp | 撮像方法および撮像システム |
JP4588076B2 (ja) * | 2008-02-07 | 2010-11-24 | シャープ株式会社 | 撮像方法および撮像システム |
JP2011259209A (ja) * | 2010-06-09 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、画像処理方法及び画像処理プログラム |
CN113396319A (zh) * | 2019-02-05 | 2021-09-14 | 凸版印刷株式会社 | 颜色转换信息生成方法、颜色转换信息生成***以及程序 |
CN113396319B (zh) * | 2019-02-05 | 2024-04-30 | 凸版印刷株式会社 | 颜色转换信息生成方法、颜色转换信息生成***以及程序 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7436997B2 (en) | Light source estimating device, light source estimating method, and imaging device and image processing method | |
US10168215B2 (en) | Color measurement apparatus and color information processing apparatus | |
KR100278642B1 (ko) | 칼라 영상 처리장치 및 방법 | |
JP5257375B2 (ja) | 画像処理装置および画像処理方法 | |
US8525920B2 (en) | Imaging apparatus and signal processing method for checking a photographed image in a multi-band camera immediately | |
JP2006222961A (ja) | 電子画像のエイリアシングを低減する方法 | |
JP2007300253A (ja) | 撮像装置およびその光源推定装置 | |
US7457000B2 (en) | Image input system, conversion matrix calculating method, and computer software product | |
US8238524B2 (en) | Microscope color image pickup apparatus, microscope color image pickup program product, and microscope color image pickup method | |
JP2012154711A (ja) | 分光スペクトル推定装置および学習スペクトル生成方法 | |
US20040141213A1 (en) | System for capturing graphical images using hyperspectral illumination | |
JP2010139324A (ja) | 色ムラ測定方法、および色ムラ測定装置 | |
JP5464982B2 (ja) | 撮像装置および画像処理方法 | |
JP6891304B2 (ja) | 内視鏡システム | |
US10021356B2 (en) | Method and apparatus for wide-band imaging based on narrow-band image data | |
JP2009188807A (ja) | 撮像方法および撮像システム | |
US20130155254A1 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
JP4588076B2 (ja) | 撮像方法および撮像システム | |
JP4174707B2 (ja) | 分光測定システム、色再現システム | |
JP5120936B2 (ja) | 画像処理装置および画像処理方法 | |
JP2009182845A (ja) | 画像処理装置および画像処理方法 | |
WO2009098968A1 (ja) | 撮像方法および撮像システム | |
JP2022006624A (ja) | 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置 | |
WO2019167806A1 (en) | Method for setting colorimetric conversion parameters in a measuring device | |
JP2000337965A (ja) | 撮像系の光源の分光分布測定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110510 |