JP6377768B2 - 分光画像取得装置 - Google Patents

分光画像取得装置 Download PDF

Info

Publication number
JP6377768B2
JP6377768B2 JP2016568203A JP2016568203A JP6377768B2 JP 6377768 B2 JP6377768 B2 JP 6377768B2 JP 2016568203 A JP2016568203 A JP 2016568203A JP 2016568203 A JP2016568203 A JP 2016568203A JP 6377768 B2 JP6377768 B2 JP 6377768B2
Authority
JP
Japan
Prior art keywords
image
line
frame
positional deviation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016568203A
Other languages
English (en)
Other versions
JPWO2016110952A1 (ja
Inventor
原 堀江
原 堀江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016110952A1 publication Critical patent/JPWO2016110952A1/ja
Application granted granted Critical
Publication of JP6377768B2 publication Critical patent/JP6377768B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0232Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using shutters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0243Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows having a through-hole enabling the optical element to fulfil an additional optical function, e.g. a mirror or grating having a throughhole for a light collecting or light injecting optical fiber
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0289Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/04Slit arrangements slit adjustment
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Processing (AREA)

Description

本発明は、分光画像取得装置に関するものである。
副走査方向に配列されたR,G,Bの各ラインセンサおよび白黒のラインセンサを備え、副走査方向に原稿を送りながら、各センサから読み出しタイミングを変えた信号を選択して輝度信号を生成するとともに、生成された各輝度信号と白黒ラインセンサの信号との相関が最も高くなる輝度信号の元となったR,G,Bの信号を位置ずれ補正した信号として出力するスキャナ用の画像処理装置が知られている(例えば、特許文献1参照。)。
特許第5393445号公報
この画像処理装置では、副走査方向に送られる原稿の送り速度ムラに起因する色ズレを抑制することはできるものの、被写体が動くカメラ用の画像処理装置としては、色ズレを抑制することはできない。
本発明は上述した事情に鑑みてなされたものであって、被写体の動きに対応して位置ズレを抑制した分光画像を生成することができる分光画像取得装置を提供することを目的とする。
本発明の一態様は、走査されるライン状の光を、その長さ方向の各位置において波長毎に分光して複数のライン分光画像を取得するライン分光画像取得部と、該ライン分光画像取得部による撮影範囲を含み、前記ライン分光画像よりも少ない色信号を含む2次元のフレーム画像を取得するフレーム画像取得部と、前記ライン分光画像取得部により取得された各前記ライン分光画像と、前記フレーム画像取得部の波長特性とに基づいて、比較画像をライン毎に推定する比較画像推定部と、該比較画像推定部により推定された各前記比較画像と、前記フレーム画像内における対応位置との位置ズレ量を検出するライン分光画像位置ズレ検出部と、該ライン分光画像位置ズレ検出部により検出された位置ズレ量に基づいて、前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる位置ズレ補正部とを備える分光画像取得装置である。
本態様によれば、ライン分光画像取得部により、走査方向に複数のライン分光画像が逐次取得される一方、フレーム画像取得部によりフレーム画像が取得される。各ライン分光画像は、走査によって逐次取得されるために取得時刻が異なるので、相互に位置ズレが発生する。一方、フレーム画像は、ライン分光画像よりも色信号が少ないので、全てのライン分光画像による撮影範囲と同じ撮影範囲をライン分光画像よりも短時間で撮影することができ、画像内におけるズレを抑えることができる。
各ライン分光画像とフレーム画像取得部の波長特性とから、フレーム画像取得部であれば取得されるであろうライン状の比較画像が比較画像取得部により推定され、推定された各比較画像の前記フレーム画像内における対応位置との位置ズレ量がライン分光画像位置ズレ検出部により検出される。そして、位置ズレ補正部が、検出された位置ズレ量に基づいて、前記フレーム画像内の対応位置に、各前記比較画像を生成するために使用された各前記ライン分光画像を当てはめることにより、位置ズレを抑えた分光画像を取得することができる。
すなわち、各ライン分光画像は取得時刻の相違により、被写体が動く場合等には位置ズレを発生するが、ズレが抑えられたフレーム画像を参照して位置ズレを補正するので、位置ズレを抑えた分光画像を容易に取得することができる。
上記態様においては、前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけた他の1以上の前記フレーム画像とを取得し、前記ライン分光画像位置ズレ検出部が、各前記比較画像を推定するために使用された各ライン分光画像と取得時点が最も近接する前記フレーム画像を選択して位置ズレ量を検出し、該ライン分光画像位置ズレ検出部により選択された前記フレーム画像と、基準となる前記フレーム画像との間の位置ズレ量を検出するフレーム画像間位置ズレ検出部を備え、前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と前記フレーム画像間位置ズレ検出部により検出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を生成するために使用された各前記ライン分光画像を当てはめてもよい。
このようにすることで、各比較画像と比較するフレーム画像として、取得時点が最も近接するフレーム画像を選択するので、位置ズレ量が小さくなり、容易に位置ズレ量を検出することができる。そして、基準となるフレーム画像と選択されたフレーム画像との位置ズレ検出は2次元のフレーム画像どうしの比較となるので、より容易に位置ズレ量を検出することができる。
また、上記態様においては、前記フレーム画像取得部が、前記ライン画像取得部による各前記ライン分光画像の取得時点に対応する時点で各前記フレーム画像を取得してもよい。
このようにすることで、ライン分光画像から推定した比較画像と比較するフレーム画像を略同一時刻に取得するので、ライン分光画像位置ズレ検出部により検出する位置ズレ量が小さくなり、位置ズレ量の検出を容易にすることができる。
また、上記態様においては、前記フレーム画像間位置ズレ検出部が、フレーム画像間の位置ズレを局所的に検出してもよい。
このようにすることで、時間経過によって撮影範囲内の被写体が局所的に変化しても、フレーム画像間の位置ズレを精度よく検出して、分光画像を精度よく取得することができる。
また、上記態様においては、前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけて他の1以上の前記フレーム画像とを取得し、前記基準となる前記フレーム画像に対する各前記比較画像の対応位置を検出する際に、基準となる前記フレーム画像および他のいずれかの前記フレーム画像の取得時刻と、各前記比較画像の取得時刻とから、各前記比較画像を推定するために使用された各前記ライン分光画像の取得時刻における前記フレーム画像の、基準となる前記フレーム画像に対する位置ズレ量を算出する位置ズレ量算出部を備え、前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と、前記位置ズレ量算出部により算出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめてもよい。
このようにすることで、比較画像と比較して位置ズレ量を算出するためのフレーム画像の取得枚数を少なくすることができる。
本発明によれば、被写体の動きに対応して位置ズレを抑制した分光画像を生成することができるという効果を奏する。
本発明の第1の実施形態に係る分光画像取得装置を示す全体構成図である。 図1の分光画像取得装置の画像取得部に備えられるライン分光画像取得部を示す拡大図である。 図2のライン分光画像取得部により取得されるライン分光画像を説明する図である。 図1の分光画像取得装置に備えられる画像処理部を示すブロック図である。 図4の画像処理部に備えられる推定値算出部の動作を説明する図である。 図4の画像処理部に備えられる位置ズレ補正部を示すブロック図である。 本発明の第2の実施形態に係る分光画像取得装置において、参照画像とライン分光画像とを同期して取得する場合を説明する図である。 図7の分光画像取得装置の画像処理装置を示すブロック図である。 図1の分光画像取得装置の他の変形例を説明する図である。 図1の分光画像取得装置の他の変形例を説明する図である。 図1の分光画像取得装置の他の変形例を説明する図である。 図11の分光画像取得装置の画像処理装置を示すブロック図である。 図11の分光画像取得装置の参照画像間位置ズレ検出部を示すブロック図である。 図13の参照画像間位置ズレ検出部の他の変形例を示すブロック図である。 図1の分光画像取得装置の他の変形例を説明する図である。
本発明の第1の実施形態に係る分光画像取得装置1について、図面を参照して以下に説明する。
本実施形態に係る分光画像取得装置1は、図1に示されるように、画像取得部2と、画像処理部3とを備えている。
画像取得部2は、被写体からの光を集光する撮像レンズ4と、該撮像レンズ4により集光された被写体からの光を2つの光路L1,L2に分岐する分岐部5と、該分岐部5により分岐された一方の光路L1に配置され、被写体の2次元的な像を撮影して参照画像(フレーム画像)を取得する参照画像取得部(フレーム画像取得部)6と、他方の光路L2に配置され、被写体のライン分光画像を取得するライン分光画像取得部7とを備えている。
分岐部5は、例えば、ハーフミラーである。
参照画像取得部6は、例えば、CCDあるいはCMOSイメージセンサ等のモノクロのエリアセンサを備えている。
ライン分光画像取得部7は、図2に示されるように、他方の光路L2上に、複数列にわたって配置されたスリット8と、該スリット8を列毎に開閉可能に設けられ、開かれたときに被写体からの光を通過させ、閉じられたときに被写体からの光を遮断する複数のシャッタ9と、該シャッタ9を挟んで被写体と反対側に配置され、入射された光を波長ごとに異なる回折方向に射出させる回折格子10と、該回折格子10により回折された光を検出する撮像素子11とを備えている。
そして、ライン分光画像取得部7は、シャッタ9を全て閉じておき、いずれか1つのスリット8を開閉するシャッタ9を開くことにより、被写体からの光の内のライン状の光を通過させるとともに、開くシャッタ9をスリット8の配列方向、すなわち、スリット8の長さ方向(ライン方向)Xに直交する方向に、択一的に順次切り替えるようになっている。これにより、回折格子10に入射されるライン状の光を通過させるスリット8がその配列方向に走査されるようになっている。
ライン分光画像取得部7は、このようにスリット8により走査を行う以外に、特開2012−58037号公報の段落〔0056〕、および図1から図3に開示されているライン状になったミラー等の光の反射体による走査でもよいし、またオプティカルメカニカルスキャナ(OMS)、プッシュブルームスキャナ(PBS)による走査でもよい。
回折格子10は、ライン方向Xに全長にわたって配置され、いずれかのスリット8を通過した光が同一方向(回折格子10の入射面に対して略直交する方向)から入射されるようになっている。回折格子10に入射されたライン状の光は、回折格子10によって、波長に従う方向に回折され、その回折範囲を網羅するように配置されている撮像素子11に入射されるようになっている。
撮像素子11は、ライン方向Xおよび該ライン方向Xに直交する方向に並んだ複数の画素を有している。ライン方向Xに配列された画素の数は、ライン分光画像の空間分解能を決定している。また、ライン方向Xに直交する方向に配列された画素の数は、ライン分光画像の波長分解能を決定している。
したがって、撮像素子11によりライン毎に取得されるライン分光画像は、図3に示されるように、一方向にライン方向Xの輝度配列、他方向に波長方向の輝度配列を示す2次元的な画像となっている。そして、シャッタ9を開く位置を切り替えながら撮影することにより、図3に示されるライン分光画像が複数、順次取得されるようになっている。
ここで、参照画像取得部6のエリアセンサの撮影範囲は、ライン分光画像取得部7のスリット8が走査されることにより撮影される撮影範囲を包含するように設定されている。
画像処理部3は、図4に示されるように、画像取得部2により取得された参照画像および複数のライン分光画像が入力され、位置ズレが補正された分光画像を出力するようになっている。
画像処理部3は、撮影時の光源L(λ)および参照画像取得部6を含むフレーム画像取得部の波長特性T(λ)を記憶する記憶部12を備えている。
これらの波長特性の関係を下式1に示す。
S(λ)=L(λ)T(λ) (1)
ここで、S(λ)は記憶部12に記憶されている波長特性である。
また、画像処理部3は、図4に示されるように、推定値算出部13および比較画像推定部14を備えている。
推定値算出部13は、図5に示されるように、入力されてきた各ライン分光画像のスリット8の長さ方向Xの各位置xにおける波長特性R(λ)(分光反射率)と、波長特性S(λ)(分光感度)とを乗算し、撮影した波長範囲にわたって積分する(下式2参照)ことにより、xにおける推定輝度値V(x)を算出するようになっている。また、比較画像推定部14は、推定値算出部13により算出された全ての位置xにおける推定輝度値からライン状の比較画像を生成するようになっている。
Figure 0006377768
また、画像処理部3は、図4に示されるように、位置ズレ検出部(ライン分光画像位置ズレ検出部)15を備えている。位置ズレ検出部15は、図5に示されるように、比較画像推定部14により推定された比較画像と、参照画像との相関を求めることにより、参照画像中における比較画像の対応位置Yを特定するとともに、ラインの長さ方向Xに沿う位置ズレ量Δxを算出するようになっている。
位置ズレ検出部15における相関演算は、各比較画像と、参照画像内の各ラインとの間で行われ、最も高い相関値を有するラインが対応位置Yとして選択される。そして、選択された対応位置Yの各ラインの参照画像と比較画像との位置ズレ量Δxが算出されるようになっている。
また、画像処理部3は、位置ズレ検出部15により選択された参照画像内の対応位置Yに、同じく位置ズレ検出部15により検出された位置ズレ量Δxだけずらして、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる位置ズレ補正部16を備えている。位置ズレ補正部16は、図6に示されるように、位置補正部17と、フレーム分光画像保持部19と、アドレス生成部18とを備えている。
位置補正部17は、ライン分光画像取得部7により取得されたライン毎のライン分光画像を位置ズレ検出部15により検出された位置ズレ量ΔxだけX方向にずらすようになっている。
フレーム分光画像保持部19は、ライン分光画像取得部7により取得されたライン毎のライン分光画像の周波数バンド数(画素数)分設けられている。また、アドレス生成部18は、位置ズレ検出部15により特定された各ライン分光画像の参照画像内での対応位置Yの情報に基づいて、位置補正部17において補正された各ライン分光画像のフレーム分光画像保持部19でのアドレスを生成し、周波数バンド毎に対応するフレーム分光画像保持部19の対応するアドレスに書き込んで保存するようになっている。これにより、位置ズレが補正されたライン分光画像が生成されるようになっている。
このように構成された本実施形態に係る分光画像取得装置1の作用について説明する。
本実施形態に係る分光画像取得装置1を用いて分光画像を取得するには、撮像レンズ4を被写体に向けて配置し、光源からの光の被写体における反射光を撮像レンズ4によって集光する。
集光された光は分岐部5により2つの光路L1,L2に分岐され、一方の光路L1に配置された参照画像取得部6により参照画像が取得され、他方の光路L2に配置されたライン分光画像取得部7により複数のライン分光画像が取得される。
参照画像取得部6はCCD等のエリアセンサによって構成されているので、各位置における位置ズレのない2次元的なモノクロ画像を一時に取得することができる。
また、ライン分光画像取得部7においては、スリット8を閉じているシャッタ9を択一的に順次開いていくことにより、開かれたスリット8を通過したライン方向Xに延びるライン状の光が回折格子10により波長毎に分光され撮像素子11によってライン分光画像がライン毎に取得される。このとき、スリット8が順次開かれることによって各ライン分光画像の取得時刻にはズレが生じ、被写体が動いている場合等には位置ズレが発生していくことになる。
そこで、画像取得部2により取得された参照画像および複数のライン分光画像が画像処理部3に入力されると、推定値算出部13において、各ライン分光画像のスリット8の長さ方向Xの各位置xにおける波長特性(分光反射率)と、記憶部12に記憶されている波長特性とが乗算され、位置xにおける推定輝度値が算出される。
さらに、画像処理部3の比較画像推定部14においては、推定値算出部13により算出された全ての位置xにおける推定輝度値からライン状の比較画像が構成される。
また、画像処理部3においては、位置ズレ検出部15により、比較画像推定部14により推定された比較画像と参照画像との相関が求められ、参照画像中における比較画像の対応位置Yiが特定されるとともに、ラインの長さ方向Xに沿う位置ズレ量Δxが算出される。
そして、画像処理部3においては、位置ズレ補正部16において、検出された位置ズレ量Δxに基づいて参照画像内の対応位置Yiに、ライン分光画像が当てはめられる。これにより、スリット8を順次切り替えて取得された複数のライン分光画像間に位置ズレが生じていても、一時に取得された参照画像を参照してライン分光画像を位置合わせして行くので、被写体の動きに対応して位置ズレを抑制した分光画像を生成することができるという利点がある。
次に、本発明の第2の実施形態に係る分光画像取得装置について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第1の実施形態に係る分光画像取得装置1と構成を共通とする箇所には同一符号を付して説明を省略する。
本実施形態に係る分光画像取得装置は、図7に示されるように、参照画像取得部6が、ライン分光画像によるライン分光画像を取得タイミングにほぼ同期して参照画像を複数取得する点、および、画像処理部20における画像処理において第1の実施形態に係る分光画像取得装置1と相違している。
画像処理部20は、図8に示されるように、参照画像取得部6により取得された複数の参照画像間の位置ズレ量を検出する参照画像間位置ズレ検出部(フレーム画像間位置ズレ検出部)21をさらに備え、位置ズレ補正部16が、参照画像間の位置ズレ量をも用いて補正するようになっている。
すなわち、ほぼ同時刻に取得された第1の参照画像と第1のライン分光画像とを用いて、第1の実施形態と同様にして第1の位置ズレ量Δx1を検出し、第1のライン分光画像を第1の参照画像の対応位置に保存する。
次に、ほぼ同時刻に取得された第2の参照画像と第2のライン分光画像とを用いて、第1の実施形態と同様にして第2の位置ズレ量Δx1を検出する。第2の参照画像と第2のライン分光画像との取得時刻が完全に一致している場合には、第2の位置ズレ量はゼロとなるので、この処理は、第2のライン分光画像を用いた比較画像と第2の参照画像との相関による対応位置Yiの特定処理となる。
そして、参照画像間位置ズレ検出部21により、第1の参照画像と第2の参照画像との間の第3の位置ズレ量Δx2を検出する。その後、位置ズレ補正部16により、第2の位置ズレ量Δx1と第3の位置ズレ量Δx2とを合わせて位置ズレを補正し、第2のライン分光画像を第1の参照画像の対応位置Yiに保存する。以下、第1の参照画像を基準画像として、これを繰り返すことにより、位置ズレを抑えた分光画像を取得することができる。
すなわち、本実施形態に係る分光画像取得装置によれば、ほぼ同時刻に取得された参照画像とライン分光画像との相関は取りやすく、また、2次元の参照画像どうしの相関も少ない誤差で行うことができるという利点がある。
なお、本実施形態においては、ライン分光画像の取得に同期して参照画像を取得することとしたが、これに代えて、ライン分光画像の取得とは非同期に参照画像を複数取得してもよい。この場合には、図9に示されるように、ライン分光画像位置ズレ検出部15による位置ズレ量の検出は、取得時刻が最も近接している参照画像を選択して行うことにすればよい。
また、参照画像間位置ズレ検出部21が、参照画像内の局所的な位置ズレを検出することにしてもよい。図10に示す例では、第1のライン分光画像と第1の参照画像、第2のライン分光画像と第2の参照画像とがそれぞれ取得時刻が近いので、容易に位置ズレの検出を行うことができる。そして、第1の参照画像と第2の参照画像との間で局所的な位置ズレの検出を行う。
参照画像どうしの局所的な位置ズレは、各参照画像を複数の領域Pに区画して領域P毎に比較することにより行われる。これにより、各ライン分光画像の取得の間に被写体に変位が生じても、基準となる第1の参照画像へのライン分光画像の当てはめを行うための対応位置の特定を容易に行うことができるという利点がある。なお、領域Pは互いに重なるように設定してもよい。
また、参照画像取得部6が、隣接するライン分光画像の取得間隔よりも十分に大きい時間間隔をあけて2以上の参照画像を取得してもよい。
この場合には、ライン分光画像に対して対応する参照画像が取得されていないタイミングが存在する。分光画像取得装置は、図11および図12に示されるように、参照画像が取得されていない第2のライン分光画像のタイミングに仮想第2の参照画像を生成し、生成されたこの仮想参照画像に対して第2のライン分光画像を埋め込むことにより分光画像を生成している。
仮想参照画像を生成するため、図12の参照画像間位置ズレ検出部21は、図13に示されるように、実際に取得した隣接した画像間の位置ズレ量を検出する隣接参照画像間位置ズレ検出部22と、ここで検出された隣接参照画像間の位置ズレ量(Δxref)、ライン分光画像の撮影時刻(tl)および隣接する2つの参照画像の撮影時刻(tref0、tref1)を用いて仮想参照画像を生成する隣接参照画像位置ズレ補間部23とを備えている。隣接参照画像位置ズレ補間部23では、下式により仮想参照画像の位置ズレ量Δx2を求める。
Δx2=Δxref(tl−tref0)/(tref1−tref0)
仮想参照画像を生成した後の処理は、参照画像がライン分光画像と対応して取得されている場合と同じである。
このようにすることで、参照画像の取得枚数を減らすことができる。
また、参照画像取得部6が、ライン分光画像取得部7によるライン分光画像の取得間隔より短い時間間隔で参照画像を取得し、参照画像間位置ズレ検出部21が、隣接して取得された参照画像間の位置ズレ量を検出し、各ライン分光画像に対応する参照画像までの位置ズレ量を合成することにより、その位置ズレ量だけ位置補正した各ライン分光画像を、それらの参照画像における対応位置に当てはめて、位置ズレを抑制した分光画像を取得することができる。
この場合、図14に示されるように、参照画像間位置ズレ検出部21は、隣接した参照画像間のそれぞれの間の位置ズレ量を検出する隣接参照画像間位置ズレ検出部22と、この隣接参照画像間位置ズレ検出部22により検出されたそれぞれの位置ズレ量を加算する隣接参照画像間位置ズレ加算部24とを有している。参照画像間位置ズレ検出部21は、図15に示されるように、隣接するそれぞれの参照画像間の位置ズレ量を検出し、これらを合算することにより基準の参照画像とライン分光画像に対応する参照画像との位置ズレ量を求めている。
また、上記形態においては、位置ズレ検出部15における相関演算は、各比較画像と、参照画像内の各ラインとの間で行われることとしたが、これに代えて、スリット8の走査の情報(例えば、撮影間隔、走査位置等)に基づく参照画像中の予測位置を基準として相関演算を実施することにより、より少ないラインとの相関演算によって最も高い相関値を有するラインを検出することができ、演算処理にかかる時間を短縮することができる。
また、上記実施形態においては、参照画像としてエリアセンサにより取得されたモノクロ画像を例示したが、ライン分光画像よりも高速に取得可能な画像であれば、これに限定されるものではない。例えば、ライン分光画像よりも少ない数の色信号を含む画像であればよい。
1 分光画像取得装置
6 参照画像取得部(フレーム画像取得部)
7 ライン分光画像取得部
8 スリット
14 比較画像推定部
15 位置ズレ検出部(ライン分光画像位置ズレ検出部)
16 位置ズレ補正部
21 参照画像間位置ズレ検出部(フレーム画像間位置ズレ検出部)

Claims (5)

  1. 走査されるライン状の光を、その長さ方向の各位置において波長毎に分光して複数のライン分光画像を取得するライン分光画像取得部と、
    該ライン分光画像取得部による撮影範囲を含み、前記ライン分光画像よりも少ない色信号を含む2次元のフレーム画像を取得するフレーム画像取得部と、
    前記ライン分光画像取得部により取得された各前記ライン分光画像と、前記フレーム画像取得部の波長特性とに基づいて、比較画像をライン毎に推定する比較画像推定部と、
    該比較画像推定部により推定された各前記比較画像と、前記フレーム画像内における対応位置との位置ズレ量を検出するライン分光画像位置ズレ検出部と、
    該ライン分光画像位置ズレ検出部により検出された位置ズレ量に基づいて、前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる位置ズレ補正部とを備える分光画像取得装置。
  2. 前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけた他の1以上の前記フレーム画像とを取得し、
    前記ライン分光画像位置ズレ検出部が、各前記比較画像を推定するために使用された各ライン分光画像と取得時点が最も近接する前記フレーム画像を選択して位置ズレ量を検出し、
    該ライン分光画像位置ズレ検出部により選択された前記フレーム画像と、基準となる前記フレーム画像との間の位置ズレ量を検出するフレーム画像間位置ズレ検出部を備え、
    前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と前記フレーム画像間位置ズレ検出部により検出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を生成するために使用された各前記ライン分光画像を当てはめる請求項1に記載の分光画像取得装置。
  3. 前記フレーム画像取得部が、前記ライン画像取得部による各前記ライン分光画像の取得時点に対応する時点で各前記フレーム画像を取得する請求項2に記載の分光画像取得装置。
  4. 前記フレーム画像間位置ズレ検出部が、フレーム画像間の位置ズレを局所的に検出する請求項2または請求項3に記載の分光画像取得装置。
  5. 前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけて他の1以上の前記フレーム画像とを取得し、
    前記基準となる前記フレーム画像に対する各前記比較画像の対応位置を検出する際に、基準となる前記フレーム画像および他のいずれかの前記フレーム画像の取得時刻と、各前記比較画像の取得時刻とから、各前記比較画像を推定するために使用された各前記ライン分光画像の取得時刻における前記フレーム画像の、基準となる前記フレーム画像に対する位置ズレ量を算出する位置ズレ量算出部を備え、
    前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と、前記位置ズレ量算出部により算出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる請求項1に記載の分光画像取得装置。
JP2016568203A 2015-01-07 2015-01-07 分光画像取得装置 Active JP6377768B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/050242 WO2016110952A1 (ja) 2015-01-07 2015-01-07 分光画像取得装置

Publications (2)

Publication Number Publication Date
JPWO2016110952A1 JPWO2016110952A1 (ja) 2017-11-02
JP6377768B2 true JP6377768B2 (ja) 2018-08-22

Family

ID=56355677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016568203A Active JP6377768B2 (ja) 2015-01-07 2015-01-07 分光画像取得装置

Country Status (4)

Country Link
US (1) US20170299436A1 (ja)
JP (1) JP6377768B2 (ja)
CN (1) CN107110707B (ja)
WO (1) WO2016110952A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469772B2 (en) * 2016-12-27 2019-11-05 Urugus S.A. Hyper-spectral imaging when observed object is still
KR102500640B1 (ko) * 2018-03-02 2023-02-15 제이에프이 스틸 가부시키가이샤 로의 제어 방법
EP3667617A1 (en) * 2018-12-14 2020-06-17 Koninklijke Philips N.V. Imaging system and imaging method
CN109724697B (zh) * 2018-12-25 2020-04-10 中国科学院长春光学精密机械与物理研究所 成像光谱仪的光谱定标方法、装置及电子设备
CN117372515B (zh) * 2023-09-15 2024-06-11 钛玛科(北京)工业科技有限公司 一种自适应纠偏控制***

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0752122B2 (ja) * 1988-06-21 1995-06-05 浜松ホトニクス株式会社 色彩輝度計
DE10238100A1 (de) * 2002-08-21 2004-03-04 Leica Microsystems Heidelberg Gmbh Vorrichtung zur spektralen Selektion und Detektion eines Lichtstrahls und Scanmikroskop
JP4499476B2 (ja) * 2004-05-25 2010-07-07 オリンパス株式会社 分光画像入力装置及びそれを備えた光学装置
TWI280061B (en) * 2005-04-27 2007-04-21 Novatek Microelectronics Corp Image processing method and device thereof
JP2011220932A (ja) * 2010-04-13 2011-11-04 Olympus Corp 撮像装置
JP2012098050A (ja) * 2010-10-29 2012-05-24 Mitaka Koki Co Ltd モニター可能な分光計測装置
DE202012013411U1 (de) * 2011-04-25 2016-11-15 Terra Bella Technologies Inc. Systeme für Overhead-Bild- und Videoanzeige
JP5802516B2 (ja) * 2011-10-20 2015-10-28 株式会社トプコン 画像取得装置
US9593982B2 (en) * 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9341514B2 (en) * 2012-11-15 2016-05-17 Corning Incorporated Hyperspectral imaging systems and methods for imaging a remote object
CN103487145B (zh) * 2013-09-25 2015-04-15 清华大学 多光谱采集***的标定方法及***
JP6327931B2 (ja) * 2014-05-02 2018-05-23 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20170299436A1 (en) 2017-10-19
JPWO2016110952A1 (ja) 2017-11-02
CN107110707B (zh) 2018-08-17
CN107110707A (zh) 2017-08-29
WO2016110952A1 (ja) 2016-07-14

Similar Documents

Publication Publication Date Title
JP6377768B2 (ja) 分光画像取得装置
US8289405B2 (en) Image processing apparatus and method thereof
JP4630174B2 (ja) 動きベクトル検出装置
US8223235B2 (en) Digital imager with dual rolling shutters
KR20180030773A (ko) 어레이 카메라들을 이용한 고속 비디오 캡처 및 심도 추정을 수행하기 위한 시스템 및 방법
US8773529B2 (en) Projector with automatic focusing and illustration procedure
JP2016510108A5 (ja)
WO2017159027A1 (ja) 撮像制御装置、および撮像制御方法、ならびに撮像装置
JP2009080113A (ja) 距離推定方法、距離推定装置、撮像装置およびコンピュータ読み取り可能な媒体
US10742908B2 (en) Method and a device for acquiring an image having two-dimensional spatial resolution and spectral resolution
JP2018163247A5 (ja)
JP4516590B2 (ja) 画像撮像装置及び距離測定方法
JP7501582B2 (ja) 撮像装置
JP7057090B2 (ja) 測距装置および測距方法
JP2019140439A5 (ja)
JP4380665B2 (ja) 画像取込装置並びに画像取込方法
CN114599999A (zh) 移动量估计装置、移动量估计方法、移动量估计程序以及移动量估计***
Brauers et al. Modeling and compensation of geometric distortions of multispectral cameras with optical bandpass filter wheels
JP6136364B2 (ja) デフォーカス量検出装置およびカメラ
JP6372805B2 (ja) 画像処理装置、方法、及びプログラム
JP2024017229A (ja) 検査システムおよび検査方法
JP5836878B2 (ja) 画像処理装置、方法、及びプログラム
JP6094286B2 (ja) 測色装置および画像形成装置
JP7341843B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP2024017231A (ja) 検査システムおよび検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180725

R151 Written notification of patent or utility model registration

Ref document number: 6377768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250