JP2014089075A - 分光反射率測定システム - Google Patents
分光反射率測定システム Download PDFInfo
- Publication number
- JP2014089075A JP2014089075A JP2012238157A JP2012238157A JP2014089075A JP 2014089075 A JP2014089075 A JP 2014089075A JP 2012238157 A JP2012238157 A JP 2012238157A JP 2012238157 A JP2012238157 A JP 2012238157A JP 2014089075 A JP2014089075 A JP 2014089075A
- Authority
- JP
- Japan
- Prior art keywords
- spectral
- spectral reflectance
- sensor
- pixel
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 158
- 230000035945 sensitivity Effects 0.000 claims abstract description 24
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 238000009826 distribution Methods 0.000 claims abstract description 9
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 5
- 238000002834 transmittance Methods 0.000 abstract description 39
- 238000004364 calculation method Methods 0.000 abstract description 24
- 238000004519 manufacturing process Methods 0.000 abstract description 10
- 230000002040 relaxant effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 238000000151 deposition Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000005304 optical glass Substances 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Spectrometry And Color Measurement (AREA)
Abstract
【解決手段】分光エネルギー分布が既知の複数種類の光を入射させ、センサ上の領域ごとの分光感度特性データをメモリ30に格納し、格納されている分光感度特性データに基づいて各画素の分光透過率測定を画素分光特性演算部34により算出し、算出された分光透過率に基づいて被写体分光反射率演算部36により被写体の分光反射率を算出する。
【選択図】図2
Description
物体の分光反射率を測定することで、可視光領域では照明や表示装置に依存しない精密な色再現を行うことができる。
紫外や赤外領域においては、人間の眼でみたときは違いがわからない物体でも成分の差を検出することが可能となる。
面を測定する場合には、線測定の分光器を用いてスキャンすることで測定していた。
この方式では、細胞などのスペクトルを測定する場合は、被写体自身が動いてしまうために、被写体に対応したスペクトルを正確に測定することができないといった問題があった。
波長可変フィルタでチャンネルを切り替えながら、同一の被写体を撮影手段により撮影した複数の原画像からなるマルチバンド画像を取得し、該マルチバンド画像から被写体のスペクトルを推定するものである。
波長可変フィルタのチャンネル数は、10チャンネル以上としている。
すなわち、波長可変フィルタのチャンネルを切り替えて各バンド画像を得る動作が10回以上必要となり、時間を要することを避けられない。
このため、上述した、被写体自身が動いてしまうために、被写体に対応したスペクトルを正確に測定することができないという問題の解消には至っていない。
プレノプティックカメラでは、メインレンズの絞り付近に空間的に分光透過率の変化するフィルタを配置することで、被検物の二次元の分光反射率をワンショットで測定できることが知られている。
このため、プレノプティックカメラの構成を用いた分光反射率測定装置を具体化しても、分光反射率の計測精度は十分とはいえなかった。
計測精度を上げるためには、製造誤差を極力少なくする必要があるが、そうした場合コスト上昇を避けられない。
本実施形態に係る分光反射率測定システムの具体的構成を説明する前に、図6に基づいて本発明の原理を説明する。
ここでは、分かり易く説明するために、光学系としてのメインレンズ24は単レンズで示し、メインレンズ24の絞り位置Sを単レンズの中心としている。
メインレンズ24の中心には、分光透過率が空間的に連続的に変化するフィルタ26が配置されている。ここでは、分光透過率が空間的に連続的に変化する状態を色の濃淡で表示している。
実際には、レンズ内にフィルタが位置することはない。
例えば、メインレンズ24の光軸に直交する面において、図1中の上下方向、又はこれに直交する方向、あるいは斜めに交差する方向などで連続性を有していればよい。
このようなフィルタは透明基板(光学ガラスなど)に薄膜をくさび状に蒸着することで作製することができる。
すなわち、薄膜の厚みを無段階に変化させることにより、分光透過率も連続的に変化する。
イメージ面6にはセンサとしての受光素子アレイが配置されている。受光素子アレイは複数の受光素子からなる。以下においては、符号6を画像センサとして表記する。
MLA3のマイクロレンズの径と、画像センサ6を構成する各受光素子とは、おおよそ30:1〜10:1の比率の関係にある。
MLA3は、画像センサ6の二次元平面方向に略平行に複数の小レンズが並んだレンズアレイである。
画像センサ6は、メインレンズ24により集光された光情報を電子情報に変換するセンサである。
物体1から発する光のうち、メインレンズ24の開口に入射する光束が分光反射率測定の対象となる。
メインレンズ24に入射した光束は無数の光線の集合であり、それぞれの光線はメインレンズ24の絞りの異なる位置を通過する。
フィルタ26を通過した光線は、MLA3付近で一旦結像するが、その後MLA3により、それぞれセンサの別位置に到達する。
すなわち、センサ面の位置は光線が通過したフィルタ位置に対応するので、物体のある一点の分光反射率を同時に測定することができる。
ここで、「絞り付近」とは、絞り位置を含み、種々の画角の光線が通過できる部位を意味する。
それぞれの小さな円を、ここでは「マクロピクセル」と呼ぶこととする。マクロピクセルを全て集めると1つの画像となる。
各マクロピクセルは、MLA3を構成する各小レンズ(マイクロレンズ)の直下に形成される。マクロピクセルの径とマイクロレンズの径はほぼ同じである。
フィルタ26の下部が短波長、上部が長波長の分光透過率を持つような配置とすると、それに対応するように、マクロピクセルの上部には短波長、下部には長波長の光線が到達する。
各マクロピクセルの行ごとの平均値を算出し、照明の分光強度、レンズの分光透過率、フィルタの分光透過率、受光素子の分光感度を考慮して計算することで分光反射率を求めることができる。
分光反射率測定システム10は、分光感度特性データを取得するための撮像部12と、該撮像部12と電気的に接続され、取得された分光感度特性データを処理して被写体(物体1)の分光反射率を測定する処理ユニット16とから構成されている。
撮像部12は、レンズモジュール18と、カメラ部20とから構成されている。
レンズモジュール18は、鏡筒22と、該鏡筒22内に設けられたメインレンズ24と、フィルタ26と、レンズ28とを有している。
MLA3は、メインレンズ24の光軸と直交する方向に複数のマイクロレンズを配置した構成を有している。
被写体分光反射率算出手段32は、画素分光特性演算部34と、被写体分光反射率演算部36と、制御部38とからなる。
メモリ30は、画像センサ6上の領域ごとの分光感度特性などのデータを保存(格納)しておく不揮発性のメモリである。
被写体分光反射率演算部36は、画素分光特性演算部34で算出された各画素の分光透過率を利用して、被写体の分光反射率を算出する。
制御部38は、処理ユニット16全体の制御を行う。
また、被写体分光反射率算出手段32全体が撮像部12内に組み込まれている構成としてもよい。
まず、製造後の撮像部12に対して、複数の既知の分光エネルギー分布を持つ照明を入射する。
図3に示すように、撮像部12の前面に、撮像部12の絞り面、すなわちメインレンズ24の絞り面と比べて面積が十分に大きい面光源50を配置する。
図3は、キャリブレーション時の面光源50の配置例を示している。
各画素のカメラ応答(=輝度値)を計測することを各面光源に対し1回ずつ繰り返すことにより、画素ごとに6個のカメラ応答が得られる。
表1に、MLA3を透過して画像センサ6の小領域6aに受光したセンサ感度値の例を示す。なお、小領域6aは簡略化のために3x3画素(画素単位)としている。表1において、λは波長を意味する。
すなわち、領域は、入射光がフィルタを通過する領域ごとに分類されている。
本実施形態では6種類としたが、面光源の種類は多ければ多いほど高精度に各画素の分光透過率を算出できることになる。
波長の番号で区別される面光源1、2、3、4、5、6はそれぞれ、400nm、450nm、500nm、550nm、600nm、650nmのみに強いエネルギーを持つ面光源であり、各面光源の強度は等しいものを使用した。
図4は、物体1の分光反射率を求める際の設置例を示している。図4において、符号52は、照明用の光源を示している。
分光反射率の計算方法は、下記のようにモデル化される(参考文献:分光画像処理入門、第4章、東京大学出版会)。
G(x,y) = S^tEr(x,y)+n(x,y) ・・・分光反射率推定モデル式
x,y:画素位置
G:カメラ応答を表すmx1の列ベクトル
r:対象物の分光反射率を表すlx1の列ベクトル
S=[s1,s2,…sm]:lxmの行列で、i番目の列siはi番目のバンドの分光感度特性
E:lxlの対角行列であり、行列の対角成分は、照明の分光エネルギー分布
N:ノイズ
なお、^tは転置行列、カメラ
上記モデルを以下のように変更することで、各画素の分光透過率を算出することができる。
G(x,y) = S^tEr(x,y)+n(x,y) ・・・画素分光透過率推定モデル式
x,y:画素位置
G:カメラ応答を表すmx1の列ベクトル (mは面光源の数)
r:面光源の分光反射率を表すmxlの行列 (lはバンド数)
S:画素(x,y)の各バンドごとの分光感度特性(lx1の列ベクトル)
E:正方行列(図5より照明使用しないため)
N:ノイズ
なお、^tは転置行列、カメラ
実際に、画素(x,y)=(0,0)の分光透過率の算出方法を例として説明する。
算出する画素(0、0)の分光感度特性を、S(0,0)=[s1,s2,s3,s4,s5,s6]とする。
s1,s2,s3,s4,s5,s6は、
それぞれ波長400nm,450nm,500nm,550nm,600nm,650nmの分光感度特性である。
表1より、
G=[245,233,100,60,20,13]^tと設定できる。また、これらのカメラ応答が得られた時の対象物(=面光源)の分光反射率は、各面光源は正規化された光量を持ち、特定波長のみにピークを持つ光源であるので、r=E(正方行列)とおける。
S(0,0)は、頂点(0,0)の分光透過率が400nmで245,240nmで233,・・・650nmで13であることを表している。
この計算を全ての画素に関して行うことにより、各画素の分光透過率を得ることができる。
このようにして、上記分光透過率の算出方法を実行することは、製造後の撮像部12のキャリブレーションを意味する。
これにより、製造時に発生する撮像部12の誤差を補正することができる。
すなわち、本発明は、複数の既知の分光エネルギー分布を持つ照明を入射させて、センサとフィルタを合わせた、すなわちカメラとしての分光透過率を計測し、この結果を各画素の分光感度特性と再定義して利用するものである。
それを避けるため、分光反射率を算出する画素のサンプリングが重要となる。
また、サンプリングを行ったデータの間の画素を線形補間などにより補正することで、メモリへ登録するデータ数を減らす方法が挙げられる。
次の[被写体の分光反射率の算出方法]では、サンプリングされた分光反射率を復元した後に算出を行うものとする。
物体1の分光反射率を求める方法を説明する。
図4より、物体1で反射された環境光が、画像センサ6の小領域6aのみに撮像するように配置されていることがわかる。
よって、m=9として分光反射率推定モデル式を適用することができる。
[S(0,0),S(0,1),S(0,2),S(1,0),S(1,1),S(1,2),S(2,0),S(2,1),S(2,2)]と置く。
また、照明が各波長で同一エネルギー分布を持つとして、Eを正方行列とする。
G=[ V(0,0),V(0,1),V(0,2),V(1,0),V(1,1),V(1,2),V(2,0),V(2,1),V(2,2)]と置ける。
これらを用いてrを解くことにより、物体1の分光反射率を求めることができる。
まず、図4に示すように、物体1を撮像部12から規定の距離離れた位置に設置する(S1)。
次に、撮像部12の図示しない撮影ボタンを押下することにより撮影を行う(S2)。
撮影された画像は画像センサ6で取得され、メモリ30に保存される(S3)。
画素分光特性演算部34では、上記の[各画素の分光透過率の算出方法]にもとづいて計算が行われる。
算出された各画素の分光透過率は、メモリ30に保存される(S5)
被写体分光反射率演算部36では、メモリ30に保存された「撮影画像と各画素の分光透過率」を入力として、物体1の分光反射率を計算する。
計算方法は、上記の[被写体の分光反射率の算出方法]に従う。
3 レンズアレイとしてのマイクロレンズアレイ
6 センサとしての画像センサ
12 撮像部
24 光学系としてのメインレンズ
26 フィルタ
32 被写体分光反射率算出手段
Claims (5)
- 光学系と、
前記光学系により集光された光情報を電子情報に変換するセンサと、
前記光学系の絞り付近に配置され、複数の分光特性を有するフィルタと、
前記光学系と、前記センサとの間に配置され、前記センサの二次元平面方向に略平行に複数のレンズが並んだレンズアレイと、
前記センサ上の領域ごとの分光感度特性データを格納する記憶手段と、
前記記憶手段に格納されている分光感度特性データに基づいて、被写体の分光反射率を算出する被写体分光反射率算出手段と、
を有する分光反射率測定システム。 - 請求項1に記載の分光反射率測定システムにおいて、
前記分光感度特性データは、分光エネルギー分布が既知の複数種類の光を入射させて得られたものであることを特徴とする分光反射率測定システム。 - 請求項2に記載の分光反射率測定システムにおいて、
前記分光エネルギー分布が既知の光は、前記光学系の絞り面よりも面積が大きい面光源から出射したものであることを特徴とする分光反射率測定システム。 - 請求項1〜3のいずれか1つに記載の分光反射率測定システムにおいて、
前記領域は、画素単位であることを特徴とする分光反射率測定システム。 - 請求項1〜3のいずれか1つに記載の分光反射率測定システムにおいて、
前記領域は、入射光が前記フィルタを通過する領域ごとに分類されていることを特徴とする分光反射率測定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012238157A JP2014089075A (ja) | 2012-10-29 | 2012-10-29 | 分光反射率測定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012238157A JP2014089075A (ja) | 2012-10-29 | 2012-10-29 | 分光反射率測定システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014089075A true JP2014089075A (ja) | 2014-05-15 |
Family
ID=50791095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012238157A Pending JP2014089075A (ja) | 2012-10-29 | 2012-10-29 | 分光反射率測定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014089075A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016114148A1 (ja) * | 2015-01-16 | 2016-07-21 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び記録媒体 |
JPWO2018143340A1 (ja) * | 2017-02-02 | 2020-01-09 | パイオニア株式会社 | 分光カメラ、撮像方法、プログラム及び記録媒体 |
CN112304904A (zh) * | 2019-07-15 | 2021-02-02 | 松山湖材料实验室 | 基于滤波阵列的硅片反射率检测方法 |
WO2022176621A1 (ja) * | 2021-02-19 | 2022-08-25 | パナソニックIpマネジメント株式会社 | 撮像システム、および撮像システムによって実行される方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08215182A (ja) * | 1995-02-09 | 1996-08-27 | Morita Mfg Co Ltd | 医療用x線撮影装置 |
JP2001099710A (ja) * | 1999-09-28 | 2001-04-13 | Fuji Photo Film Co Ltd | マルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システム |
US20080266655A1 (en) * | 2005-10-07 | 2008-10-30 | Levoy Marc S | Microscopy Arrangements and Approaches |
WO2012066741A1 (ja) * | 2010-11-16 | 2012-05-24 | 株式会社ニコン | マルチバンドカメラ及びマルチバンド画像撮像方法 |
JP2012150112A (ja) * | 2011-01-17 | 2012-08-09 | Ricoh Co Ltd | インターリーブされた画像によるマルチイメージングシステム |
JP2012185498A (ja) * | 2011-03-04 | 2012-09-27 | Ricoh Co Ltd | 開口符号化多重画像化システムのためのフィルタ・モジュールの設計 |
-
2012
- 2012-10-29 JP JP2012238157A patent/JP2014089075A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08215182A (ja) * | 1995-02-09 | 1996-08-27 | Morita Mfg Co Ltd | 医療用x線撮影装置 |
JP2001099710A (ja) * | 1999-09-28 | 2001-04-13 | Fuji Photo Film Co Ltd | マルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システム |
US20080266655A1 (en) * | 2005-10-07 | 2008-10-30 | Levoy Marc S | Microscopy Arrangements and Approaches |
WO2012066741A1 (ja) * | 2010-11-16 | 2012-05-24 | 株式会社ニコン | マルチバンドカメラ及びマルチバンド画像撮像方法 |
US20130235256A1 (en) * | 2010-11-16 | 2013-09-12 | Kenichi Kodama | Multiband camera, and multiband image capturing method |
EP2642260A1 (en) * | 2010-11-16 | 2013-09-25 | Nikon Corporation | Multiband camera, and multiband image capturing method |
JP2012150112A (ja) * | 2011-01-17 | 2012-08-09 | Ricoh Co Ltd | インターリーブされた画像によるマルチイメージングシステム |
JP2012185498A (ja) * | 2011-03-04 | 2012-09-27 | Ricoh Co Ltd | 開口符号化多重画像化システムのためのフィルタ・モジュールの設計 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016114148A1 (ja) * | 2015-01-16 | 2016-07-21 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び記録媒体 |
JPWO2016114148A1 (ja) * | 2015-01-16 | 2017-10-26 | 日本電気株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10354366B2 (en) | 2015-01-16 | 2019-07-16 | Nec Corporation | Image processing device, image processing method, and recording medium |
JPWO2018143340A1 (ja) * | 2017-02-02 | 2020-01-09 | パイオニア株式会社 | 分光カメラ、撮像方法、プログラム及び記録媒体 |
JP2021063824A (ja) * | 2017-02-02 | 2021-04-22 | パイオニア株式会社 | 分光カメラ、撮像方法、プログラム及び記録媒体 |
JP2022050396A (ja) * | 2017-02-02 | 2022-03-30 | パイオニア株式会社 | 分光カメラ、撮像方法、プログラム及び記録媒体 |
JP7164694B2 (ja) | 2017-02-02 | 2022-11-01 | パイオニア株式会社 | 分光カメラ、撮像方法、プログラム及び記録媒体 |
JP2023010706A (ja) * | 2017-02-02 | 2023-01-20 | パイオニア株式会社 | 分光カメラ、撮像方法、プログラム及び記録媒体 |
CN112304904A (zh) * | 2019-07-15 | 2021-02-02 | 松山湖材料实验室 | 基于滤波阵列的硅片反射率检测方法 |
CN112304904B (zh) * | 2019-07-15 | 2023-11-03 | 松山湖材料实验室 | 基于滤波阵列的硅片反射率检测方法 |
WO2022176621A1 (ja) * | 2021-02-19 | 2022-08-25 | パナソニックIpマネジメント株式会社 | 撮像システム、および撮像システムによって実行される方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9531963B2 (en) | Image capturing device and image capturing system | |
US8842216B2 (en) | Movable pixelated filter array | |
US9638575B2 (en) | Measuring apparatus, measuring system, and measuring method | |
US9307127B2 (en) | Image capturing device and image capturing system | |
US10412286B2 (en) | Multicamera imaging system and method for measuring illumination | |
US20090256927A1 (en) | Image capturing apparatus | |
US10566358B2 (en) | Image sensor and image capturing apparatus | |
KR20130038388A (ko) | 이미지를 기록하기 위한 이미지 기록 장치 및 방법 | |
WO2012147245A1 (ja) | 撮像装置、撮像装置を備える撮像システム、及び撮像方法 | |
JP2010271246A (ja) | 色彩輝度測定装置及び色彩輝度測定方法 | |
CN105319703A (zh) | 分光图像拍摄装置、分光图像拍摄方法 | |
JP2013200296A (ja) | 距離測定装置及び距離測定方法 | |
WO2016140066A1 (ja) | 信号処理装置、信号処理方法、プログラム、電子機器、及び、撮像素子 | |
JP2014089075A (ja) | 分光反射率測定システム | |
US20220299369A1 (en) | System, Method and Apparatus for Wide Wavelength Range Imaging with Focus and Image Correction | |
JP5850648B2 (ja) | 撮像装置 | |
CN110650330A (zh) | 阵列摄像模组测试方法及其标板装置 | |
JP2014215436A (ja) | 撮像装置、その制御方法、および制御プログラム | |
US11889186B2 (en) | Focus detection device, focus detection method, and image capture apparatus | |
CN110174351B (zh) | 颜色测量装置及方法 | |
JP2014194502A (ja) | 撮像装置および撮像システム | |
JP5610005B2 (ja) | 撮像装置 | |
JP2010139624A (ja) | 撮像素子および撮像装置 | |
JP2019114912A (ja) | 画像処理装置および画像処理方法、並びに撮像装置 | |
JP5476702B2 (ja) | 撮像素子および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170403 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170829 |