JP2017526910A - 撮像分光法用のコンパクトな多機能システム - Google Patents

撮像分光法用のコンパクトな多機能システム Download PDF

Info

Publication number
JP2017526910A
JP2017526910A JP2017503852A JP2017503852A JP2017526910A JP 2017526910 A JP2017526910 A JP 2017526910A JP 2017503852 A JP2017503852 A JP 2017503852A JP 2017503852 A JP2017503852 A JP 2017503852A JP 2017526910 A JP2017526910 A JP 2017526910A
Authority
JP
Japan
Prior art keywords
sfa
elements
spectral
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017503852A
Other languages
English (en)
Inventor
ヨーセフ・アクトマン
ドラゴス・コンスタンタン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecole Polytechnique Federale de Lausanne EPFL
Original Assignee
Ecole Polytechnique Federale de Lausanne EPFL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecole Polytechnique Federale de Lausanne EPFL filed Critical Ecole Polytechnique Federale de Lausanne EPFL
Publication of JP2017526910A publication Critical patent/JP2017526910A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Studio Devices (AREA)

Abstract

スペクトル撮像データを得るための方法が、空間ベースで物体の画像のスペクトル特性をサンプリングすることによって生成されるサンプルデータセットを受信する工程を少なくとも含み、物体の画像のスペクトル特性をサンプリングすることは、表面を形成するために複数のスペクトルフィルタアレイ（ＳＦＡ）素子をまとめて配置し；複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する特定波長にそれぞれ中心を合わされた１つまたはそれ以上のスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし；表面にわたる複数のＳＦＡ素子すべての均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定することによって、ＳＦＡを提供することを含む。物体の画像のスペクトル特性をサンプリングすることは、複数のＳＦＡ素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光を各画素で記録するように構成された画像センサを提供し、それにより、複数の素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光の１つの強度値を画素毎に生成すること；レンズまたはレンズのグループを通してＳＦＡ上に物体の画像を生成すること；および画像センサのすべての画素に関して、スペクトル面でフィルタされた強度値を記録し、それにより、物体の画像に対応する強度値の２次元アレイを得ることをさらに含む。スペクトル撮像データを得るための方法は、サンプリングされた２次元アレイから、撮像された物体のフル３次元スペクトルデータキューブを再構成する工程をさらに含む。

Description

本発明は、撮像分光法の分野に関し、より正確には、ハイパースペクトル撮像に関する。より具体的には、本発明は、圧縮スペクトル画像獲得および再構成システムを含む。
撮像分光法撮像分光法は、シーンが２つの空間次元および１つのスペクトル次元で光学的にサンプリングされて３次元データキューブを生成する、デジタル検知プロセスである。スペクトル画像は、カラー写真よりもはるかに大量のスペクトル情報を含み、典型的には、画像の個々の画素それぞれに関して、数十または数百の良く定義された狭いスペクトルチャネルを含む。すなわち、スペクトル画像の各空間画素は、撮像された表面のそれぞれの点のスペクトル応答を含む。対照的に、カラー画像は、３つの大まかに定義された赤−緑−青チャネルによって構成される。スペクトル画像は、厳密に測定された放射計測出力によってカラー写真とは区別される：色は知覚に基づき、絶対単位を有さないが、スペクトル放射は物理的尺度であり、その単位は、［Ｗｍ−２μｍ−１ｓｒ−１］である。その結果、スペクトル撮像は、物理的接触の必要性をなくしつつ、物体の化学的および生物学的組成を決定するためにしばしば使用される［１、２］。撮像センサの２次元性質により、３Ｄハイパースペクトル撮像データの獲得は難しい。
２次元センサを用いてスペクトルデータキューブを得るために、ほとんどのスペクトル撮像カメラは、以下の３つの素子を使用する：
１．レンズなどの光学素子：光学シーンを撮像平面上に合焦するため。
２．プリズムまたは回折格子などの分散素子：撮像平面からスペクトル情報を空間的に分散させるため。
３．ＣＣＤまたはＣＭＯＳなどの撮像センサ：分散された光を空間的にサンプリングするため。
スペクトル分散により、空間解像度は損なわれざるを得ない。解像度の損失を克服するために、多くのスペクトル撮像カメラは、以下のようないくつかの走査形式を採用する：
・プッシュブルームまたはラインスキャンカメラは、データキューブの空間スペクトルスライスを捕捉し、撮像センサの２次元を１Ｄスペクトルおよび１Ｄ空間サンプリングとして使用する。プッシュブルームセンサは、ハイパースペクトル画像全体を再構成するための動きを必要とし、それらは空間的な走査を必要とする。
・バンドシーケンシャルカメラは、回転型または同調可能なスペクトルフィルタを使用して、スペクトルデータキューブのスペクトルスライスを捕捉する。それらは、撮像センサの２次元を２Ｄ空間サンプリングとして使用し、様々なスペクトルフィルタを撮像センサの前で順次に適用することによってスペクトル的に走査し、したがってスペクトル走査を必要とする。
・干渉計ベースのスペクトルカメラは、データキューブのインターフェログラムを画像センサ上に順次に捕捉する。インターフェログラムは、干渉計を同調することによって生成され、これは、スペクトル走査と同様のプロセスである。
フレームまたはスナップショットスペクトルカメラは、走査なしでデータキューブ全体を獲得し、解像度をかなり損なう。現況技術のスナップショットカメラは、２Ｄ回折格子または小さなフィルタバンクに基づき、高解像度センサを必要とし、走査型のスペクトルカメラに比べて非常に低い解像度のスペクトルデータキューブを生成する［２］。
圧縮センシング
従来の信号処理は、情報損失なく信号をサンプリングし、次いで再構成するために、信号が、それが含む最高周波数の少なくとも２倍でサンプリングされなければならないことを要求している。この最小のサンプリング周波数は、ナイキスト周波数とも呼ばれる。サンプリングがナイキスト周波数未満で行われる場合、再構成される信号は、情報損失およびアーチファクト、例えばエイリアスを示す。ナイキスト制約の下でフルハイパースペクトルデータキューブを再構成するのに多数の測定値が必要であることが、非圧縮スナップショットスペクトルカメラが低い解像度を有する主な理由の１つである。
信号処理の近年の研究、および計算能力の向上が、圧縮センシングによる信号獲得帯域幅を低減するうえで多くの改善をもたらしている。圧縮センシングの核心には、以下の仮説がある。すなわち、獲得する必要がある信号が、何らかの数学的ベースでスパースである場合、信号を再構成するのに必要とされる測定値の数は、そのスパース性（ｓｐａｒｓｉｔｙ）によって与えられ、したがって、ナイキスト周波数によって決定される測定の数よりもかなり小さいことがある。
圧縮センシング数学モデルを使用した元の信号の効果的な再構成は、根底の信号サンプリング法に対して特定の要件、特に均一性および非周期性（ａｐｅｒｉｏｄｉｃｉｔｙ）を課す。
磁気共鳴撮像（ＭＲＩ）などの用途の分野では、必要とされる測定値の量を１０〜２０分の１に低減する、またはそれに対応する１／１０〜１／２０の圧縮比で低減するように、圧縮センシングが良好に実施される［４］。カラー画像に関しては、この方法が［５］で示唆されているが、実用的な実装は、従来のデモザイクに対する低い情報利得および高い計算コストによって制限されている。カラー写真では、画像が少量のスペクトル情報を有するので、必要な圧縮比は１／３である。
また、複数の科学的実験で、圧縮センシングはスペクトル撮像にも適用されており、１／４〜１／１６の圧縮比を示す［６］［７］。しかし、これらの実験は、約１／５０以上の圧縮比を必要とする実用的なスナップショットスペクトルカメラに必要とされる結果を生み出せなかった。［５］で述べられているカラー撮像法は、以下のような複数の理由から、２Ｄスペクトルサンプリングベースの撮像に直接適用することができない：
・正しい画素毎のスペクトル再構成は、フィルタの最適なスペクトル分布または高次フィルタ応答相殺（ｈｉｇｈｅｒ ｏｒｄｅｒ ｆｉｌｔｅｒ ｒｅｓｐｏｎｓｅ ｃａｎｃｅｌｌａｔｉｏｎ）など、一連の新たな問題を提示する。
・カラーフィルタアレイは、十分なスペクトル分離を提供しない。
・ハイパースペクトル画像再構成に関して、アルゴリズムは、かなり大きいデータセットを、そのサイズの５％未満から再構成する必要があり、カラー撮像での３３％のサブサンプリングレートとは対照的である。
干渉スペクトルフィルタアレイ
スペクトル撮像の非常に厳しい要件により、スペクトルフィルタアレイは、商用のカラーカメラで使用されるカラーアレイよりもはるかに製造が難しい。カラーカメラは通常、色素ベースのフィルタを採用し、そのようなフィルタのスペクトル透過帯域幅は、スペクトル撮像の放射計測による測定のためには広すぎ一定でなさすぎる。また、色素ベースのカラーフィルタアレイで製造することができる異なるフィルタの数は、使用される色素の数によっても制限される。したがって、カラーフィルタのコストは、異なるフィルタの数の増加と共に大幅に増加する。
ファブリペローフィルタなどの干渉フィルタは、色素フィルタとは異なる原理に基づき、撮像分光法に有用な以下のようないくつかの特性を有する：
・精密に同調可能な中心波長：中心波長は、光をそれ自体と干渉させるために使用される反射面間の距離によって与えられる。この距離の変化は、そのスペクトル透過曲線の形状を大幅に変えることなく、フィルタの中心波長を変える；
・中心波長の周りでの対称性：フィルタ透過は、自然な干渉プロセスにより、中心波長に関して局所的に対称である；
・精密に同調可能な帯域幅：フィルタ帯域幅は、光を反射する表面の反射率によって与えられる；
・多数の異なる波長の干渉フィルタの製造コストは、色素ベースのフィルタに関するコストよりもはるかに低い。
それらの特性は、干渉フィルタを撮像分光法のための明白な選択肢にするが、最近まで、干渉フィルタを単一画素のサイズで作成することは実現可能でなかった。したがって、センサ表面全体をカバーする大きな全域フィルタとして、バンドシーケンシャル走査によってスペクトル画像を製造するためにファブリペローフィルタが使用されていた［８］。しかし、小型化およびナノテクノロジーの近年の発達により、個々のフィルタが画素以下の大きさである干渉スペクトルフィルタアレイが開発されている［４］。
干渉フィルタの主な欠点の１つは、それらの２次および高次透過である。フィルタのこれらの高次透過は、光を所望の中心波長で通すだけでなく、その波長の２倍、その波長の３倍などでも通す。また、干渉フィルタは、それらが光を透過する複数の特定波長を含む高次透過により、マルチバンドフィルタとして構成することもできる。ほとんどの場合、高次透過は、望ましくない効果であり、無効化する必要がある。
第１の態様では、本発明は、スペクトル撮像データを得るための方法を提供する。この方法は、空間ベースで物体の画像のスペクトル特性をサンプリングすることによって生成されるサンプルデータセットを受信する工程を少なくとも含み、物体の画像のスペクトル特性をサンプリングすることは、表面を形成するために複数のスペクトルフィルタアレイ（ＳＦＡ）素子をまとめて配置し；複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する特定波長にそれぞれ中心を合わされた１つまたはそれ以上のスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし；表面にわたる複数のＳＦＡ素子すべての均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定することによって、ＳＦＡを提供することを含む。物体の画像のスペクトル特性をサンプリングすることは、複数のＳＦＡ素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光を各画素で記録するように構成された画像センサを提供し、それにより、複数の素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光の１つの強度値を画素毎に生成すること；レンズまたはレンズのグループを通してＳＦＡ上に物体の画像を生成すること；および画像センサのすべての画素に関して、スペクトル面でフィルタされた強度値を記録し、それにより、物体の画像に対応する強度値の２次元アレイを得ることをさらに含む。スペクトル撮像データを得るための方法は、サンプリングされた２次元アレイから、撮像された物体のフル３次元スペクトルデータキューブを再構成する工程をさらに含む。
好ましい実施形態では、再構成する工程は、数学的モデリングおよび計算数値最適化を含む。
さらなる好ましい実施形態では、数学的モデリングおよび計算数値最適化は、ＳＦＡによる透過率測定をなくすことを可能にする機械学習法を含む。
さらなる好ましい実施形態では、数学的モデリングおよび計算数値最適化は、少なくとも、ＳＦＡの透過率測定に基づく凸最適化法を含む。
さらなる好ましい実施形態では、再構成する工程は、ＳＦＡの個々のＳＦＡ素子の測定された透過率を提供すること；個々のＳＦＡ素子の測定された透過率と、画像センサ放射計測較正とから、システム設計行列を作成すること；およびシステム設計行列に基づいて、デコンボリューションまたは非線形スパース再構成法を使用して、サンプリングされていないスペクトル情報を推量することを含む。
さらなる好ましい実施形態では、ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は決定論的であり、それにより、ワンまたはペンローズなどの非周期タイリングを含む。
さらなる好ましい実施形態では、ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、ＳＦＡ表面を反復パターンで埋め、次いで、ＳＦＡ中心波長の測定されるエントロピーが十分に高くなるまで、連続的に、およびランダムにＳＦＡ素子を相互変化させることをさらに含む。
さらなる好ましい実施形態では、ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、均一な分布からＳＦＡ素子をランダムサンプリングすることをさらに含む。
さらなる好ましい実施形態では、ＳＦＡの特定波長のマルチバンド分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、隣接するＳＦＡ素子がスペクトル的に直交するように、マルチバンドＳＦＡ素子をサンプリングすることをさらに含む。
第２の態様では、本発明は、ＳＦＡ設計および後続の応答減算によるスペクトルフィルタアレイ（ＳＦＡ）素子の２次透過相殺のための方法を提供する。この方法は、表面を形成するために複数のＳＦＡ素子をまとめて配置し；複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する中心波長に中心を合わされたスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし；表面にわたって均一であり非周期的であるようにすべての中心波長の分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定することによって、均一におよび非周期的に分布されたスペクトルフィルタアレイ（ＳＦＡ）を設計する工程を少なくとも含む。この方法は、さらに、画像センサの感度範囲内で２次透過を有するＳＦＡ素子を識別する工程と；２次透過を有するＳＦＡ素子に隣接するＳＦＡ素子の中心波長を変えて、２次透過の中心波長に一致させる工程と；変更されなかった、または２次透過を有していないＳＦＡ素子の中心波長を構成し直して、ＳＦＡ中心波長分布の均一性を保つ工程と；画素強度値の２次元アレイで、２次透過を有するＳＦＡ素子に対応する応答から、変更された隣接する素子に対応する応答を減算する工程とをさらに含む。
第３の態様では、本発明は、撮像された物体のリアルタイム単色プレビューを得るための方法であって、該撮像された物体は、本明細書で上述したスペクトル撮像データを得る方法を使用して得られており、リアルタイム単色プレビューを得るための方法は、表面を形成するために複数のＳＦＡ素子をまとめて配置し、複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する中心波長に中心を合わされたスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、表面にわたって均一であり非周期的であるようにすべての中心波長の分布を得るように、表面での複数のＳＦＡ素子の各ＳＦＡ素子の中心波長を設定することによって、均一であり非周期的なスペクトルフィルタアレイ（ＳＦＡ）を設計する工程と；２次元周期選択によって、ＳＦＡ素子の部分集合を生成する工程と；上記の部分集合に属するＳＦＡ素子を、同一の透過率のＳＦＡ素子で置き換える工程と；画素強度値の２次元アレイから、同一の透過率を有する周期的なＳＦＡ素子の部分集合に対応する値の部分集合を使用して、より低い解像度の単色画像を作成する工程とを含む方法を提供する。
第４の態様では、本発明は、撮像された物体のリアルタイム単色プレビューを得るための方法であって、該撮像された物体は、本明細書で上述したスペクトル撮像データを得る方法を使用して得られており、リアルタイム単色プレビューを得るための方法は、表面を形成するために複数のＳＦＡ素子をまとめて配置し、複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する特定波長に中心を合わされた複数のスペクトルバンドをフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、表面での複数のＳＦＡ素子の各ＳＦＡ素子の中心波長を、隣接するＳＦＡ素子がスペクトル的に直交するように設定することによって、均一であり非周期的なスペクトルフィルタアレイ（ＳＦＡ）を設計する工程と；画素強度値の２次元アレイから、ＳＦＡ素子構成に対応する各チャネルを、他のＳＦＡ素子構成が存在する画素位置で、独立して空間的に補間する工程と；高解像度単色画像を作成するために、独立して補間されたチャネルを平均化する工程とを含む方法を提供する。
第５の態様では、本発明は、撮像された物体のスペクトル３Ｄモデルを生成し、撮像されたシーンのスペクトル再構成品質を高めるための方法であって、シーンの複数の画像を撮影する工程であって、各画像は、少なくとも画素強度のアレイを含む工程と；単色プレビューを使用して、画像レジストレーションによって画像を光学的に位置合わせし、それによりシーンの３Ｄモデルを生成する工程と；撮像されたシーン内の同じ点に複数の画素が位置合わせされた場合に、複数の画像のうちの異なる画像に対応する異なる画素強度アレイからの値をグループ化する工程と；グループ化された値に基づいて、異なる位置から取られた、画素強度の複数のアレイに対応するシステム設計行列をモデル化し直す工程と；クロス画像システム設計行列に基づいて、３Ｄモデルのスペクトルテクスチャを再構成する工程とを含む方法を提供する。
第６の態様では、本発明は、メモリデバイスに記憶されたコンピュータプログラムであって、コンピューティングデバイスによって実行されるときに、本明細書で上述したスペクトル撮像データを得るための方法の工程を実施することによって、メモリデバイスから読み出し、２Ｄ空間スペクトルデータセットから３Ｄハイパースペクトル画像を再構成することを可能にするコンピュータプログラムを提供する。
対応するハイパースペクトル画像再構成モジュールは、２Ｄデータセットから３Ｄハイパースペクトル画像を再構成するようにプログラムされたシングルもしくはマルチプロセッサコンピューティングデバイスまたはコンピュータネットワークを含む。ハイパースペクトル画像再構成の根底にあるアルゴリズムフレームワークは、デコンボリューション、非線形スパース再構成、回帰的機械学習法、１組のアプリオリに知られているスペクトルシグネチャへの獲得されたスペクトルサンプルの投影、およびここでの３つの方法の任意の組合せを含むことがある。固定の構成イメージャに基づく、撮像されたシーンの可変空間スペクトル解像度再構成のためのアルゴリズムによる方法も提供される。
好ましい実施形態の説明に鑑みて、また図面を参照して、本発明がより良く理解されよう。
中核的な撮像設計およびプロセスの概略全体図である。 主撮像レンズと撮像センサとの間に取り付けられたスペクトルフィルタアレイアダプタに基づく、２Ｄスペクトルサンプリングイメージャの変形形態を示す図である。 再構成器がイメージャに組み込まれた２Ｄスペクトルサンプリングイメージャの変形形態を示す図である。 空間画像シーンのカラープレビューと、それに対応する、シミュレーションによって計算された、再構成された１００個の帯域スペクトルデータキューブのセンサ読取値およびカラープレビューとを示す図である。対象の４点が、再構成された画像上にマークされる。 図２Ａにマークされた４点それぞれに関して、１００個の帯域でサンプリングされた元の画像シーン（「元」とマークされている）と、再構成されたスペクトルデータキューブ（「再構成」とマークされている）とのスペクトル比較を示す図である。 図２Ａにマークされた４点それぞれに関して、１００個の帯域でサンプリングされた元の画像シーン（「元」とマークされている）と、再構成されたスペクトルデータキューブ（「再構成」とマークされている）とのスペクトル比較を示す図である。 ナノメートル単位での中心波長によって与えられる、均一に分布された非周期的な１２×１２素子のスペクトルフィルタアレイパターンの一例を示す図である。６１個の可能なフィルタを、１０ｎｍのステップで４００〜１０００ｎｍの間の中心波長で考察した。 無視できない２次透過を有する素子が、それらの中心波長の２倍でフィルタする素子のすぐ近くに常に配置される、図３Ａの変形形態を示す図である。これらのフィルタ対は、灰色で強調されている； 非周期的パターンが、非フィルタリング素子または共通のスペクトル透過率を有する素子の周期的パターンと交互配置される、図３Ａの変形形態を示す図である。周期的パターンの素子が、灰色で強調されている； 撮像センサへの光の光路に沿って、スペクトルフィルタアレイの前にはアンチエイリアシングフィルタがあり、後にはカラーフィルタアレイがある、画像フィルタリング構成を示す図である。 ７００ｎｍの中心波長と１００ｎｍの半値全幅とを有するファブリペロースペクトルアレイ素子の連続的なスペクトル透過率および離散されたスペクトル透過率の例示的なプロットを含む図である。 ７００ｎｍの中心波長と１００ｎｍの半値全幅とを有するファブリペロースペクトルアレイ素子の連続的なスペクトル透過率および離散されたスペクトル透過率の例示的なプロットを含む図である。 マルチバンドフィルタリングのために設計された２つのファブリペロースペクトルアレイ素子の透過率の例示的なプロットを示す図である。マルチバンド波長の数と帯域幅の両方の変化が示されている。６つの特定波長で設計された広帯域フィルタ（上）と、５つのマルチバンド波長で設計された狭帯域フィルタ（下）とがプロットされている。
この節では、先行技術に対する提示された解決策の利点を概説し、その後、本発明の以下の３つの主要な側面に関する技術的な詳細に焦点を当てる：
１．カメラ設計および機能；
２．スペクトルフィルタアレイ設計；および
３．再構成器の実施形態および好ましい実装形態
本発明は、多くの点で、先行技術を改善する。空間またはスペクトル走査スペクトル撮像システムに関して、本発明は走査の必要性を克服し、同様の解像度を提供しながら、撮像されたシーンを同時にサンプリングする。本発明の極端に短い光路により、スペクトル分散素子（ｓｐｅｃｔｒａｌｌｙ ｄｉｓｐｅｒｓｉｖｅ ｅｌｅｍｅｎｔ）を必要とするものよりもはるかに小型で軽量のスペクトル画像獲得システムを作製することができる。また、光学および機械部品の複雑さがより低いことにより、分散素子を有するスペクトル撮像システムと比較したときに製造コストが大幅に削減される。現況技術のスナップショットスペクトル獲得システムに関して、本発明は、大幅に高い解像度のスペクトルデータキューブを生成する。本発明は、撮像センサの画素の数を超えない比較的小さい２Ｄ光学サンプルセットからスペクトルデータキューブが再構成されるので、スペクトルデータキューブを獲得するのに必要とされる記憶量を大幅に低減し、一方、フルデータキューブは、センサでの画素の数に、登録されたスペクトルバンドの数を掛けた値と同数の素子を含む。２Ｄサンプルセットと再構成されたハイパースペクトルデータキューブとのサイズ比は、構成に応じて変化することがあるが、典型的には１／１０〜１／２００の間になる。
カメラ
本発明の中核的な実施形態は、２Ｄスペクトルサンプルセット８を生成するために採用される、図１Ａに示される撮像分光法カメラシステムと、前述した２Ｄ光学サンプルセットから完全な３Ｄスペクトルデータキューブを再構成するために利用される計算方法とを含む。より具体的には、カメラは、画像面に対象物１の画像を生成するために使用される光学レンズ５、または１群のレンズを含む。カメラは、物体の画像の様々なスペクトル成分が画像センサに送信されるスペクトルフィルタアレイ（ＳＦＡ）６と、個々のＳＦＡ素子によって送信された光を検出するように構成された画像センサアレイ７とをさらに含む。また、カメラは、アナログ／デジタル信号変換器と記憶媒体９とを含み、記憶媒体９に、得られた２Ｄデータセットが記憶される。
対応するスペクトルデータキューブ再構成モジュール３または再構成器は、シングルもしくはマルチプロセッサコンピューティングデバイス、または２Ｄ光学サンプルセットから３Ｄスペクトル画像を再構成するようにプログラムされたコンピュータネットワークを含む。スペクトル画像再構成の根底にあるアルゴリズムフレームワークは、デコンボリューション、非線形スパース再構成、１組のアプリオリに知られているスペクトルシグネチャへの獲得されたスペクトルサンプルの投影、および本明細書で述べる３つの方法の任意の組合せを含むことがある。
撮像プロセスは、以下のようなものである：
・撮像されたシーンが、レンズによってＳＦＡの平面上に合焦される。
・ＳＦＡの各素子は、その透過曲線に応じて、光の特定の周波数のみがその素子を通過するようにする。
・ＳＦＡによって透過された光が撮像センサに入り、撮像センサは、各画素について、画素によって受信された光の量に比例して電荷を生成する。
・撮像センサでの電荷は、アナログ／デジタル変換器によって離散化およびデジタル化されて、センサ読取値を生成する。
・次いで、センサ読取値が記憶媒体に記憶される。
・再構成器は、記憶媒体からセンサ読取値を受信し、フル３Ｄスペクトル画像を再構成する。
いくつかの実施形態では、本発明のカメラは、図１Ｂに示される交換可能なレンズカメラに基づく。スペクトルフィルタアレイ６および再合焦レンズ１４はアダプタ１３に組み込まれ、アダプタ１３は、交換可能なレンズカメラのレンズ５と撮像センサ７との間に嵌まる。レンズからの画像は、スペクトルフィルタアレイに合焦され、次いで再合焦レンズによって撮像センサに再合焦される。これらの実施形態では、任意の交換可能レンズカラーカメラが、そのようなアダプタ１３を使用することによって本発明の核心となる。
主撮像レンズ５の様々な実施形態は、固定焦点光学レンズまたはレンズグループを含み、他の実施形態は、可変焦点および可変合焦レンズを具備する。
いくつかの実施形態は、カメラに組み込まれた記憶媒体９を想定しており、他の実施形態は記憶媒体を有さず、画像は、獲得およびアナログ／デジタル変換後に、コンピュータまたはコンピュータネットワークに直接送信される。
スペクトルフィルタアレイ
本発明の大抵の実施形態は、均一に分布された非周期的スペクトルフィルタアレイ６（ＳＦＡと呼ぶ）を含み、このアレイ６は、個々のスペクトルフィルタ（素子と呼ぶ）から構成される。そのようなＳＦＡ実施形態の一例が図３Ａに示されており、ここで、各素子は、その中心波長によって表されている。他の実装形態では、図３Ｃに示されるように、ＳＦＡは、その表面の大部分にわたる干渉フィルタの非周期的分布を保ちながら、非フィルタリング素子を含むこともある。好ましい実装形態では、ＳＦＡは、ファブリペローフィルタなどの干渉フィルタから構成される。
均一な非周期的の分布は、以下のようないくつかの方法で得ることができる：
・決定論的に、ワン（Ｗａｎｇ）またはペンローズのタイリングなどの非周期タイリングによって。
・ＳＦＡ表面を反復パターンで埋め、次いで、ＳＦＡ中心波長分布の測定されるエントロピーが十分に高くなるまで、連続的に、およびランダムにＳＦＡ素子を相互変化させることによって。
・均一な分布からＳＦＡ素子をランダムサンプリングすることによって。
本発明のいくつかの実施形態は、干渉スペクトルフィルタの２次および高次透過がいくつかの方法によって無効化されるＳＦＡ設計を含む。
・２次透過相殺のための方法は、図４に示されるように、ＳＦＡ６を既存のカラーフィルタアレイ１１（ベイヤーパターンフィルタアレイなど）の上方に配置し、１次応答のみがカラーフィルタアレイによって透過されるように個々のＳＦＡ素子の透過率を適合させることからなる。
・２次透過相殺のための別の方法は、それらのフィルタがセンサの感度範囲内で２次透過を有する場合、ＳＦＡ素子を、その隣接する素子の１つの２次透過に等しい透過を有するように常に配置することである。図３Ｂに示される設計は、再構成前に、隣接するフィルタに基づいて２次透過を減算することを可能にする。
本発明のいくつかの実施形態は、ＳＦＡの素子として、中心波長ではなくマルチバンド波長透過を用いる干渉フィルタを使用する。これらのマルチバンドフィルタ透過の例が、図６に示されている。これらの実施形態では、素子の空間的であり均一であり非周期的な分布が、マルチバンドフィルタのスペクトル直交性を最大にするように選択される。「フィルタ間のスペクトル直交性」とは、それらのフィルタが同じ波長に異なる応答を示すことを意味する。スペクトル直交性の最大化は、スペクトル的に相関しないフィルタの選択と言い換えられる。
様々な実施形態において、ＳＦＡでの周期的な位置にある素子は、図４および１Ａに示されるのと同じ、スペクトルフィルタアレイ全体にわたる透過率を有する。この周期的素子は、干渉スペクトルフィルタ、色素ベースのカラーフィルタ、または光のすべての波長を透過する非フィルタリング素子でよい。これらの周期的素子の下の画素は、撮像されたシーンのプレビュー画像１５を作成するために使用される。これらの画像は、撮像されたシーンのリアルタイムプレビューとして、または直接、画像レジストレーションおよび画像ベースの３Ｄ再構成において使用することができる。
本発明のいくつかの実施形態はカメラを含み、ここで、異なるフィルタに達する光を均質化するために、図４に示されるように、スペクトルフィルタアレイの前にアンチエイリアシングフィルタ１２が配置される。アンチエイリアシングフィルタは、２×２よりも大きいセンサ素子にわたって延びる複屈折フィルタ、適合された開口絞りを有する合焦ずれ対物レンズ、および／または低彩度（ｄｅｇｒａｄｅｄ）撮像レンズによって構成される。
スペクトルキューブ再構成
本発明の様々な実施形態では、再構成器３は、単一のコンピュータ、プログラマブルシングルもしくはマルチプロセッサ１０デバイス、または、非線形スパース再構成によって、獲得された２次元データセット８からハイパースペクトル画像を再構成するようにプログラムされたコンピュータネットワークである。再構成器は、インターネットを介してアクセス可能であり、クラウドベースの計算サーバ上で実行される仮想機械でもよい。
様々な実施形態は、再構成器を特徴とし、再構成器は、カメラに組み込まれ、２次元の光学サンプルセットを獲得した直後にハイパースペクトル画像を生成する。図１Ｃは、撮像センサ７の上に配置されたＳＦＡ６の上に光を合焦する撮像光学系５から構成されたそのような内蔵カメラを示す。次いで、撮像センサ７からのデータは、記憶媒体９に保存され、複数の処理ユニット１０から構成される再構成器３によってスペクトルデータに変換される。
本発明のハイパースペクトルイメージャ（ｈｙｐｅｒｓｐｅｃｔｒａｌ ｉｍａｇｅｒ）による、撮像されたシーンのサンプリングおよび離散化を表す数学的モデルは、以下の一次方程式によって表される。
Ａｘ＝ｙ （１）
ここで、Ａは、ＳＦＡの個々の素子のスペクトル透過を含むシステム設計行列であり、ｙは、センサ読取値であり、ｘは、撮像されたシーンの空間スペクトル特性に対応するハイパースペクトルデータキューブである。したがって、ベクトルｘおよびｙは、３Ｄハイパースペクトルおよび２Ｄセンサデータセットのシリアル化バージョンである。
ＳＦＡ素子は、連続的な入射光スペクトルをサンプリングするが、設計行列Ａは、ＳＦＡ透過の離散バージョンを含み、そのスペクトル解像度は、再構成されたデータキューブのスペクトルバンドの数に等しい。この特性は、いくつかの様々なスペクトルバンドの再構成を可能にし、この数は、ＳＦＡ素子の透過曲線を適切に表すために必要とされる帯域の最小数によって規定される下限のみを有する。図５Ａおよび５Ｂに、上述した離散化および下限の効果が示されている：３０個および１０個の帯域が、ＳＦＡ素子透過の適切な表現を生成し、３個の帯域では不十分である。
撮像されたシーンの局所スペクトル均質性の仮説の下で、ｙでのスペクトルサンプルの数は、画素グループ化によって人工的に増加させることができ、非対角システム設計行列Ａを生み出す。この仮説は、ＳＦＡの前に配置されたアンチエイリアシングフィルタの使用によってさらに強化することができる。画像センサ読取値の各空間画素は、撮像されたシーン内の対応する点の全スペクトル応答の単一のスペクトルサンプルを構成する。再構成プロセスは、画素当たり複数のスペクトルサンプルのグループ化を含むことがあり、これらのスペクトルサンプルは、処理される画素のごく近くにある空間画素から導出される。
画素グループ化のための１つの方法は、スライディング２Ｄ窓（ｓｌｉｄｉｎｇ ２Ｄ ｗｉｎｄｏｗ）でよく、これは、その領域内に入る画素からのすべてのスペクトルサンプルを中心画素にグループ化する。ＳＦＡが周期的な交互配置パターンを含む場合、画素グループ化のための別の方法は、周期的素子の後方の画素から直接得られる高密度画像内でコントラスト勾配が観察されることによって行われることがある。この高密度画像の使用は、縁部または高コントラスト領域に及ばない画素をグループ化することを可能にし、それにより、画素グループ化によって生成される生じ得るアーチファクトを低減する。
上述した可変解像度離散フィルタ表現法と画素グループ化法とが同時に働いて、再構成されたハイパースペクトルデータキューブの空間およびスペクトル解像度の調節を可能にする。望まれる目標ハイパースペクトルデータキューブ解像度に応じて、それに従ってＡおよびｙのみを再計算すればよく、ハイパースペクトルイメージャ構成はそのままである。
ハイパースペクトルキューブの再構成は、センサ読取値または画素グループ化されたセンサ読取値に、ニューラルネットワークまたはランダムフォレストなどの回帰的機械学習法［１２］を適用することによって実現することができる。これらの方法は、入力信号またはフィーチャ（ｙ）を取り込み、元の信号（ｘ）の推定を出力する。多数の例による訓練を通して、ニューラルネットワークなどのモデルは学習し、センサ読取値からのスペクトルデータを抜き出し（ｕｎ−ｍｉｘ）て訂正することができる。
測定値ｙからハイパースペクトルデータキューブｘを再構成するための別の方法は、凸最適化問題としてモデル化することができる：
ａｒｇｍｉｎ（｜｜Ａｘ−ｙ｜｜２＋ｃ（ｘ）） （２）
ここで、関数ｃ（ｘ）は、常に正のペナルティ項であり、ｘの特性のアプリオリな知識に基づいて、最適なｘに関する探索空間を制約する。関数ｃ（ｘ）は、アプリオリな知識に対応するｘのインスタンス（ｉｎｓｔａｎｃｅ）に関して低い値を有し、｜｜Ａｘ−ｙ｜｜２は、測定されたデータｙに適合するｘのインスタンスに関して低い値を有する。したがって、凸最適化（２）は、測定されたデータｙと、スペクトルデータキューブｘの構造ｃ（ｘ）に関するアプリオリな知識とに同時に最良適合するスペクトルデータキューブｘを見付けることと解釈することができる。
上述した再構成モデルの変形は、ｘの表現を、ｘがスパースになる数学的ベースに変えることを含む。例えば、フーリエ、ダイレクトコサイン変換、ウェーブレット、または勾配などのベースが、自然な画像のためにスパースであることが知られている［９］。これらの場合、式（２）は、以下のようになることがある：
ａｒｇｍｉｎ（｜｜ＡＳｘ−ｙ｜｜２＋λ｜｜Ｓｘ｜｜１） （３）
ここで、Ｓは、選択されるスパース数学ベースからの変換の行列表現であり、ｃ（ｘ）は、Ｌ１ノルムで置き換えられ、これは、ｘの表現に対するスパース性を強化し、λは、ペナルティ強度を制御する。ハイパースペクトルデータキューブに関して、主成分分析によって得られる既知のスペクトルベクトルセットへの測定データの投影など、他の変換を想定することもできる。
再構成アルゴリズムの好ましい実装形態は、［１０］で紹介されている、ペナルティ項として全変動（ＴＶ）ノルムを使用する高速反復収縮閾値アルゴリズム（ＦＩＳＴＡ：ｆａｓｔ ｉｔｅｒａｔｉｖｅ ｓｈｒｉｎｋａｇｅ−ｔｈｒｅｓｈｏｌｄｉｎｇ ａｌｇｏｒｉｔｈｍ）の１つのバージョンに基づく。したがって、再構成されるデータキューブは、以下のものを最小化することによって見られる：
ａｒｇｍｉｎ（｜｜Ａｘ−ｙ｜｜２＋λ｜｜ｘ｜｜ＴＶ） （４）
ここで、｜｜ｘ｜｜ＴＶは、再構成されたハイパースペクトルデータキューブ全体の３Ｄ
ＴＶノルムでよく、または再構成されたハイパースペクトルデータキューブの個々のスペクトルバンドの２Ｄ ＴＶノルムの和でよい。３Ｄ ＴＶノルムではなく２Ｄ ＴＶノルムの和を使用することは、スペクトルバンドを独立して処理し、ＦＩＳＴＡの最も計算量の多い工程の並列化を可能にする。
光路内にアンチエイリアシングフィルタを有するシステム構成によって測定値ｙが生成された場合、ＦＩＳＴＡによって生成される再構成の品質および速度は、アンチエイリアシングフィルタによって誘発されるブラーリング（ｂｌｕｒｒｉｎｇ）に比例する量で、アルゴリズムの各反復で推定される再構成のスペクトルバンドを独立してブラーリングすることによって改善することができる。このプロセスは並列化することができる。
本発明の原理を確認するために、本発明の撮像および再構成プロセスのシミュレーションを使用した。その結果を図２Ａおよび２Ｂに示す。ターゲット圧縮比は１／１００とした。これは、ハイパースペクトルデータキューブが、その素子の総数の１００分の１の測定値から再構成されることを意味する。４００〜１０００ｎｍの間の中心波長および１００ｎｍの半値全幅（ＦＷＨＭ）の１００個のフィルタを含む、ワンタイリングおよびファブリペローフィルタ透過に基づくＳＦＡモデルを採用した。ＳＦＡ素子の透過を１００個のスペクトルバンドに離散化した。また、図３Ｃおよび５に示されるように、ＳＦＡは、７００ｎｍの中心波長を有する素子の周期的パターンも含んでいた。勾配ベースの画素グループ化を適用し、５×５画素の近傍からの４つの画素をグループにまとめた。ＦＩＳＴＡは、並列な独立した帯域の２Ｄ ＴＶノルムの和を最小化するように構成され、各反復でブラーリング工程を含んでいた。
得られるシミュレートされたセンサ読取値、およびハイパースペクトルデータキューブのカラープレビューが図２Ａに示される。対象の４点は、再構成された画像にマークされており、様々なスペクトル特性を表し、また、撮像されたシーンにわたる様々な空間的詳細の領域内に位置されている。元の空間スペクトル画像シーンおよび再構成されたハイパースペクトルデータキューブのスペクトル特性を、これら４点で比較した。結果が、図２Ｂおよび２Ｃに示されている。スペクトル解像度は注目に値し、ここで、再構成されたスペクトルは、スペクトルをサンプリングするために使用されるＳＦＡ素子のＦＷＨＭよりもはるかに細かい解像度で詳細を示す。半値幅で１００ｎｍ幅のフィルタを有するスペクトルカメラがそのようなスペクトルを直接サンプリングしている場合、ピークなどの鋭いスペクトルフィーチャは、サンプリングプロセスにより、これらのフィルタによって平滑化されことになる。しかし、本発明者らによる再構成では、スペクトルサンプリングのために使用されるＳＦＡ素子のＦＷＨＭの十分に下で、１０個未満の帯域（または６０ｎｍ）に及ぶ鋭いピークおよび谷が明瞭に観察される。
商業上の用途
撮像分光法技術は、とりわけ農業、天然資源管理、鉱物学、医学、および製造を含めた研究および商業的分野において多くの実証済みの用途を有する。具体的には、開示する発明は、新種のコンパクトで、軽量で、安価なスペクトル撮像センサの開発を容易にする。新規のセンサは、小さな無人航空機システムを使用する配備に適しており、多くの既存の用途の要求に応え、全く新しい範囲の使用シナリオを容易に実現する。
特に、［１１］に、農業および関連産業の文脈で、提供されるマーケット規模の推定が詳細に論じられている。
空中スペクトル撮像は、以下のような実証済みの機能を有する、植物の大規模な監視および分析の唯一の最も効果的な方法を成す：
・植物の病気の早期検出、診断、および制御；
・ストレス検出および成長監視；
・侵入種の検出および制御
多くの実証済みの利益に関わらず、今日の空中スペクトル撮像技術は、農業および関連産業での有効な利用のためには費用が高すぎ、複雑すぎる。特に、これまで、商業的農業の用途で普及している既存の解決策はない。
提案される発明は、データ獲得および処理のコストを１０分の１以下に減らすことによって、植物の系統的なスペクトル監視を利用可能にして利益性を上げることができる可能性を有し、顧客のための歩留まりおよび関連の収益を最大１０％増加させる。
入手可能な米国での統計によれば、１年に５回以上の割合で系統的な監視を必要とすることがある１億ヘクタールの主要耕作地が示唆されている。必要な監視を行うために、約１００００個のスペクトル撮像システムが必要とされる。データ処理サービスのハードウェアの最終的な合計値は、米国市場に関して５億４千万ＵＳドルと推定される。世界市場の規模を米国市場の規模の５倍と仮定し、環境監視、林業、侵入種の制御などを含めた他の適用分野を考慮すると、空中スペクトル植物監視に関する全世界市場の推定規模は、少なくとも２０億ドルとなる。
要約すると、本発明は、撮像分光法に関し、これは、空間画像特性とスペクトル画像特性との両方の光学的検知のための方法である。具体的には、本発明は、２つの空間次元と１つのスペクトル次元とによって構成される３次元性質によりスペクトルデータキューブとしても知られているスペクトル画像を得るためのシステムおよび方法を述べる。
上記のシステムは、構造的に単純であり、コンパクトで軽量なスペクトル撮像カメラの製造を容易にするように設計される。システム実施形態は、レンズと、２Ｄスペクトルフィルタアレイと、２Ｄ撮像センサとを含み、さらに、記憶装置と、スペクトル画像を得るために必要とされるデータ処理メカニズムとを含む。好ましくは、本発明は、画像センサの個々の感光素子の前に位置決めされたスペクトルフィルタによって構成されるスペクトルフィルタアレイの特定の構成を含む。本発明は、撮像センサによって提供される２Ｄデータセットからの３Ｄスペクトルデータキューブの再構成、およびプレビュー画像のリアルタイムでの生成に利用される計算フレームワークをさらに述べる。固定の構成イメージャに基づく、撮像されたシーンの可変空間スペクトル解像度再構成に関するアルゴリズム的方法も提供される。
参考文献
[1] Ellis, J., (2001) Searching for oil seeps and oil-impacted soil with hyperspectral imagery, Earth Observation Magazine.
[2] Lacar, F.M., et al., (2001) Use of hyperspectral imagery for mapping grape varieties in the Barossa Valley, South Australia, Geoscience and remote sensing symposium (IGARSS'01) - IEEE 2001 International, vol.6 2875-2877p.
[3] Tack, K., Lambrechts, A., Haspeslagh, L. (2011) Integrated circuit for spectral imaging system, Patent No. WO/2011/064403
[4] Lustig et al, (2007) Sparse MRI: The Application of Compressed Sensing for Rapid MR Imaging, MRM 58:1182-1195
[5] Singh, T., Singh, M. (2011) Method and System for Compressive Color Image Sampling and Reconstruction. Patent no. US20110142339 A1.
[6] A. Wagadarikar, R. John, R. Willett, and David Brady, (2008) Single disperser design for coded aperture snapshot spectral imaging, Appl. Opt. 47, B44-B51.
[7] Golbabaee, M., Vandergheynst, P., (2012) Hyperspectral image compressed sens
ing via low-rank and joint-sparse matrix recovery, IEEE International Confer-ence on Acoustics, Speech and Signal Processing (ICASSP), p. 2741-2744
[8] Heikki, S., Ville-Veikko, A., Altti A., Tapani A., Christer H., Uula K., Jussi M., Jyrki O., (2009) Novel miniaturized hyperspectral sensor for UAV and space appli-cations. Proc. SPIE 7474, Sensors, Systems, and Next-Generation Satellites XIII, 74741M, doi:10.1117/12.830284.
[9] Subhasis, S., (2000) Image compression-from DCT to wavelets: a review. Crossroads 6, doi:10.1145/331624.331630
[10] Beck, A., Teboulle, M., (2009) Fast Gradient-Based Algorithms for Con-strained Total Variation Image Denoising and Deblurring Problems, IEEE Transac-tions on Image Processing, vol.18, no.11, pp.2419,2434, Nov. 2009 doi:10.1109/TIP.2009.2028250
[11] The Economic Impact of Unmanned Aircraft Systems Integration in the United States, AUVSI, 2013
[12] T. M. Mitchell, “Machine Learning”, 1997, ISBN: 0070428077 9780070428072

Claims (14)

  1. スペクトル撮像データを得るための方法であって、
    空間ベースで物体の画像のスペクトル特性をサンプリングすることによって生成されるサンプルデータセットを受信する工程であって、物体の画像のスペクトル特性をサンプリングすることは、
    表面を形成するために複数のスペクトルフィルタアレイ（ＳＦＡ）素子をまとめて配置し、
    複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する特定波長にそれぞれ中心を合わされた１つまたはそれ以上のスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、
    表面にわたる複数のＳＦＡ素子すべての均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定することによって、
    ＳＦＡを提供すること、
    複数のＳＦＡ素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光を各画素で記録するように構成された画像センサを提供し、それにより、複数の素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光の１つの強度値を画素毎に生成すること、
    レンズまたはレンズのグループを通してＳＦＡ上に物体の画像を生成すること、
    画像センサのすべての画素に関して、スペクトル面でフィルタされた強度値を記録し、それにより、物体の画像に対応する強度値の２次元アレイを得ること
    を含む、工程と、
    サンプリングされた２次元アレイから、撮像された物体のフル３次元スペクトルデータキューブを再構成する工程と
    を少なくとも含む前記方法。
  2. 再構成する工程は、数学的モデリングおよび計算数値最適化を含む請求項１に記載の方法。
  3. 数学的モデリングおよび計算数値最適化は、ＳＦＡによる透過率測定をなくすことを可能にする機械学習法を含む請求項２に記載の方法。
  4. 数学的モデリングおよび計算数値最適化は、少なくとも、ＳＦＡの透過率測定に基づく凸最適化法を含む請求項２に記載の方法。
  5. 再構成する工程は、
    ＳＦＡの個々のＳＦＡ素子の測定された透過率を提供すること、
    個々のＳＦＡ素子の測定された透過率と、画像センサ放射計測較正とから、システム設計行列を作成すること、および
    システム設計行列に基づいて、デコンボリューションまたは非線形スパース再構成法を使用して、サンプリングされていないスペクトル情報を推量すること
    を含む請求項１に記載の方法。
  6. ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は決定論的であり、それにより、ワンまたはペンローズなどの非周期タイリングを含む請求項１に記載の方法。
  7. ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、
    ＳＦＡ表面を反復パターンで埋め、次いで、
    ＳＦＡ中心波長の測定されるエントロピーが十分に高くなるまで、連続的に、およびランダムにＳＦＡ素子を相互変化させること
    をさらに含む請求項１に記載の方法。
  8. ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、
    均一な分布からＳＦＡ素子をランダムサンプリングすること
    をさらに含む請求項１に記載の方法。
  9. ＳＦＡの特定波長のマルチバンド分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、
    隣接するＳＦＡ素子がスペクトル的に直交するように、マルチバンドＳＦＡ素子をサンプリングすること
    をさらに含む請求項１に記載の方法。
  10. スペクトルフィルタアレイ（ＳＦＡ）設計および後続の応答減算によるＳＦＡ素子の２次透過相殺のための方法であって、
    表面を形成するために複数のＳＦＡ素子をまとめて配置し、
    複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する中心波長に中心を合わされたスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、
    表面にわたって均一であり非周期的であるようにすべての中心波長の分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定することによって、
    均一におよび非周期的に分布されたスペクトルフィルタアレイ（ＳＦＡ）を設計する工程と、
    画像センサの感度範囲内で２次透過を有するＳＦＡ素子を識別する工程と、
    ２次透過を有するＳＦＡ素子に隣接するＳＦＡ素子の中心波長を変えて、２次透過の中心波長に一致させる工程と、
    変更されなかった、または２次透過を有していないＳＦＡ素子の中心波長を構成し直して、ＳＦＡ中心波長分布の均一性を保つ工程と、
    画素強度値の２次元アレイで、２次透過を有するＳＦＡ素子に対応する応答から、変更された隣接する素子に対応する応答を減算する工程と
    を少なくとも含む前記方法。
  11. 撮像された物体のリアルタイム単色プレビューを得るための方法であって、撮像された物体は、請求項１〜８のいずれか１項に記載のスペクトル撮像データを得る方法を使用して得られており、リアルタイム単色プレビューを得るための方法は、
    表面を形成するために複数のスペクトルフィルタアレイ（ＳＦＡ）素子をまとめて配置し、複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する中心波長に中心を合わされたスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、表面にわたって均一であり非周期的であるようにすべての中心波長の分布を得るように、表面での複数のＳＦＡ素子の各ＳＦＡ素子の中心波長を設定することによって、均一であり非周期的なＳＦＡを設計する工程と、
    ２次元周期選択によって、ＳＦＡ素子の部分集合を生成する工程と、
    該部分集合に属するＳＦＡ素子を、同一の透過率のＳＦＡ素子で置き換える工程と、
    画素強度値の２次元アレイから、同一の透過率を有する周期的なＳＦＡ素子の部分集合に対応する値の部分集合を使用して、より低い解像度の単色画像を作成する工程と
    を含む前記方法。
  12. 撮像された物体のリアルタイム単色プレビューを得るための方法であって、該撮像された物体は、請求項１〜９のいずれか１項に記載のスペクトル撮像データを得る方法を使用して得られており、リアルタイム単色プレビューを得るための方法は、
    表面を形成するために複数のスペクトルフィルタアレイ（ＳＦＡ）素子をまとめて配置し、複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する特定波長に中心を合わされた複数のスペクトルバンドをフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、表面での複数のＳＦＡ素子の各ＳＦＡ素子の中心波長を、隣接するＳＦＡ素子がスペクトル的に直交するように設定することによって、均一であり非周期的なＳＦＡを設計する工程と、
    画素強度値の２次元アレイから、ＳＦＡ素子構成に対応する各チャネルを、他のＳＦＡ素子構成が存在する画素位置で、独立して空間的に補間する工程と、
    高解像度単色画像を作成するために、独立して補間されたチャネルを平均化する工程とを含む前記方法。
  13. 撮像された物体のスペクトル３Ｄモデルを生成し、撮像されたシーンのスペクトル再構成品質を高めるための方法であって、
    シーンの複数の画像を撮影する工程であって、各画像は、少なくとも画素強度のアレイを含む工程と、
    単色プレビューを使用して、画像レジストレーションによって画像を光学的に位置合わせし、それによりシーンの３Ｄモデルを生成する工程と、
    撮像されたシーン内の同じ点に複数の画素が位置合わせされた場合に、複数の画像のうちの異なる画像に対応する異なる画素強度アレイからの値をグループ化する工程と、
    グループ化された値に基づいて、異なる位置から取られた、画素強度の複数のアレイに対応するシステム設計行列をモデル化し直す工程と、
    クロス画像システム設計行列に基づいて、３Ｄモデルのスペクトルテクスチャを再構成する工程と
    を含む前記方法。
  14. メモリデバイスに記憶されたコンピュータプログラムであって、コンピューティングデバイスによって実行されるときに、請求項１に記載の方法の工程を実施することによって、メモリデバイスから読み出し、２Ｄ空間スペクトルデータセットから３Ｄハイパースペクトル画像を再構成することを可能にする前記コンピュータプログラム。
JP2017503852A 2014-07-24 2015-07-24 撮像分光法用のコンパクトな多機能システム Pending JP2017526910A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IB2014063366 2014-07-24
IBPCT/IB2014/063366 2014-07-24
PCT/IB2015/055614 WO2016012980A1 (en) 2014-07-24 2015-07-24 Compact multifunctional system for imaging spectroscopy

Publications (1)

Publication Number Publication Date
JP2017526910A true JP2017526910A (ja) 2017-09-14

Family

ID=54151327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017503852A Pending JP2017526910A (ja) 2014-07-24 2015-07-24 撮像分光法用のコンパクトな多機能システム

Country Status (4)

Country Link
US (1) US10274420B2 (ja)
EP (1) EP3172698A1 (ja)
JP (1) JP2017526910A (ja)
WO (1) WO2016012980A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220176A (ja) * 2018-06-15 2019-12-26 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法
JP2021527228A (ja) * 2018-08-01 2021-10-11 キューセル ピー．シー．Ｑｃｅｌｌ Ｐ．Ｃ． ハイブリッドスペクトルイメージャ
JP2022101519A (ja) * 2020-12-24 2022-07-06 ディフェンス・エージェンシー・フォー・テクノロジー・アンド・クオリティ 敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法
WO2022234753A1 (ja) * 2021-05-07 2022-11-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331442B (zh) 2015-07-02 2021-01-15 松下知识产权经营株式会社 摄像装置
US9955088B2 (en) * 2016-06-10 2018-04-24 The Boeing Company Hyperspectral borescope system
US10228283B2 (en) * 2016-08-12 2019-03-12 Spectral Insights Private Limited Spectral imaging system
US9964396B1 (en) * 2016-11-04 2018-05-08 Com Dev Ltd. Integrated fourier transform optical spectrometer
WO2018091486A1 (en) * 2016-11-16 2018-05-24 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
JP2020508469A (ja) * 2017-02-03 2020-03-19 ガマヤ エスエイ 広角コンピュータ撮像分光法および装置
US10337923B2 (en) * 2017-09-13 2019-07-02 Qualcomm Incorporated Directional interpolation and cross-band filtering for hyperspectral imaging
US10861143B2 (en) * 2017-09-27 2020-12-08 Korea Advanced Institute Of Science And Technology Method and apparatus for reconstructing hyperspectral image using artificial intelligence
US10692178B2 (en) * 2018-02-22 2020-06-23 Raytheon Company Spatial radiometric correction of an optical system having a color filter mosaic
US10832094B2 (en) * 2018-04-10 2020-11-10 International Business Machines Corporation Generating hyperspectral image database by machine learning and mapping of color images to hyperspectral domain
CN109146787B (zh) * 2018-08-15 2022-09-06 北京理工大学 一种基于插值的双相机光谱成像***的实时重建方法
FR3091381B1 (fr) * 2018-12-19 2020-12-11 Lysia Dispositif de détection hyperspectrale
CN109443537B (zh) * 2019-01-09 2020-06-09 中国科学院长春光学精密机械与物理研究所 一种基于多次像面的光谱成像仪
CN109447890A (zh) * 2019-01-09 2019-03-08 北京理工大学 一种基于卷积神经网络的光谱成像***的编码优化方法
CN111077088B (zh) * 2019-12-16 2022-07-26 王娟 智能手机成像光谱仪及其光谱识别方法
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11361468B2 (en) * 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
CN112598717B (zh) * 2020-12-14 2024-05-17 珠海欧比特卫星大数据有限公司 高光谱卫星影像全谱段配准方法及介质
WO2022168594A1 (ja) * 2021-02-03 2022-08-11 パナソニックＩｐマネジメント株式会社 スペクトルデータキューブを改変する方法および装置
CN113418873B (zh) * 2021-06-23 2022-05-17 中国科学院长春光学精密机械与物理研究所 一种高光谱成像***及重构光谱成像方法
CN113486906B (zh) * 2021-07-07 2024-01-09 西北工业大学 快照式光谱图像的马赛克空谱梯度方向直方图提取方法
US11935228B2 (en) * 2021-10-26 2024-03-19 Carl Zeiss Smt Gmbh Method to acquire a 3D image of a sample structure
CN114742985A (zh) * 2022-03-17 2022-07-12 苏州大学 一种高光谱特征提取方法、装置及存储介质
CN116448689B (zh) * 2023-06-16 2023-08-29 天津博霆光电技术有限公司 基于像素微分的单光频率物体全构造检测方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084401A (ja) * 2004-09-17 2006-03-30 Fuji Photo Film Co Ltd 画像処理方法及び画像処理装置並びに画像処理プログラム
JP2008518229A (ja) * 2004-10-25 2008-05-29 アールピー ベンチャーズ テクノロジー オフィス アーベー マルチスペクトル及びハイパースペクトル撮像を行うシステム
US20120081511A1 (en) * 2010-09-29 2012-04-05 Lockheed Martin Corporation Interlaced focal plane array for wide-area surveillance
WO2012166840A2 (en) * 2011-06-01 2012-12-06 The Board Of Trustees Of The Leland Stanford Junior University Learning of image processing pipeline for digital imaging devices
WO2013064510A1 (en) * 2011-11-04 2013-05-10 Imec Spectral camera with mosaic of filters for each image pixel
WO2014063117A1 (en) * 2012-10-19 2014-04-24 Hypermed Imaging, Inc. Single-sensor hyperspectral imaging device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5379065A (en) * 1992-06-22 1995-01-03 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Programmable hyperspectral image mapper with on-array processing
US6831688B2 (en) * 2002-04-08 2004-12-14 Recon/Optical, Inc. Multispectral or hyperspectral imaging system and method for tactical reconnaissance
US8027041B1 (en) * 2006-06-08 2011-09-27 Wavefront Research, Inc. Compact snapshot multispectral imaging system
CN102812709B (zh) 2009-11-20 2015-11-25 M·辛格 压缩彩色图像采样和重建的方法和***
EP4137790A1 (en) 2009-11-30 2023-02-22 Imec VZW Integrated circuit for spectral imaging system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084401A (ja) * 2004-09-17 2006-03-30 Fuji Photo Film Co Ltd 画像処理方法及び画像処理装置並びに画像処理プログラム
JP2008518229A (ja) * 2004-10-25 2008-05-29 アールピー ベンチャーズ テクノロジー オフィス アーベー マルチスペクトル及びハイパースペクトル撮像を行うシステム
US20120081511A1 (en) * 2010-09-29 2012-04-05 Lockheed Martin Corporation Interlaced focal plane array for wide-area surveillance
WO2012166840A2 (en) * 2011-06-01 2012-12-06 The Board Of Trustees Of The Leland Stanford Junior University Learning of image processing pipeline for digital imaging devices
US20120307116A1 (en) * 2011-06-01 2012-12-06 Lansel Steven P Learning of Image Processing Pipeline for Digital Imaging Devices
JP2014515587A (ja) * 2011-06-01 2014-06-30 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー デジタル画像装置用の画像処理パイプラインの学習
WO2013064510A1 (en) * 2011-11-04 2013-05-10 Imec Spectral camera with mosaic of filters for each image pixel
WO2014063117A1 (en) * 2012-10-19 2014-04-24 Hypermed Imaging, Inc. Single-sensor hyperspectral imaging device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YASUMA F , ET AL.,: "Generalized Assorted Pixel Camera: Postcapture Control of Resolution, Dynamic Range, and Spectrum", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 19, no. 9, JPN6019017135, September 2010 (2010-09-01), pages 2241 - 2253, XP011306450, ISSN: 0004034037 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220176A (ja) * 2018-06-15 2019-12-26 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法
JP7284502B2 (ja) 2018-06-15 2023-05-31 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法
JP2021527228A (ja) * 2018-08-01 2021-10-11 キューセル ピー．シー．Ｑｃｅｌｌ Ｐ．Ｃ． ハイブリッドスペクトルイメージャ
JP7087198B2 (ja) 2018-08-01 2022-06-20 キューセル ピー．シー． ハイブリッドスペクトルイメージャ
JP2022101519A (ja) * 2020-12-24 2022-07-06 ディフェンス・エージェンシー・フォー・テクノロジー・アンド・クオリティ 敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法
JP7308913B2 (ja) 2020-12-24 2023-07-14 ディフェンス・エージェンシー・フォー・テクノロジー・アンド・クオリティ 敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法
WO2022234753A1 (ja) * 2021-05-07 2022-11-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器

Also Published As

Publication number Publication date
US10274420B2 (en) 2019-04-30
WO2016012980A1 (en) 2016-01-28
US20170205337A1 (en) 2017-07-20
EP3172698A1 (en) 2017-05-31

Similar Documents

Publication Publication Date Title
US10274420B2 (en) Compact multifunctional system for imaging spectroscopy
Arad et al. Sparse recovery of hyperspectral signal from natural RGB images
Arce et al. Compressive coded aperture spectral imaging: An introduction
JP2022002398A (ja) 撮像装置および分光システム
KR102269229B1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
Bacca et al. Noniterative hyperspectral image reconstruction from compressive fused measurements
US9719856B2 (en) Coded spectral imager
Dijkstra et al. Hyperspectral demosaicking and crosstalk correction using deep learning
KR102132075B1 (ko) 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
Tsagkatakis et al. Graph and rank regularized matrix recovery for snapshot spectral image demosaicing
Guilloteau et al. Hyperspectral and multispectral image fusion under spectrally varying spatial blurs–application to high dimensional infrared astronomical imaging
KR20190036442A (ko) 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
CN110793632B (zh) 一种用于火焰拍摄的高速高精度光谱视频***及方法
CN109087262B (zh) 一种多视图光谱图像的重建方法、存储介质
Oktem et al. High-resolution multi-spectral imaging with diffractive lenses and learned reconstruction
CN110998259A (zh) 编码孔光谱成像装置
Degraux et al. Generalized inpainting method for hyperspectral image acquisition
Fortuna et al. Multivariate image fusion: A pipeline for hyperspectral data enhancement
Rueda Chacón et al. Spatial super-resolution in coded aperture-based optical compressive hyperspectral imaging systems
Cohen et al. Deep neural network classification in the compressively sensed spectral image domain
KR101986998B1 (ko) 하이퍼스펙트럼 이미지 장치
Yu et al. High Spectral Resolution Imaging Based on Dual-Camera System With Filter Wheel
Chen et al. A computational camera with programmable optics for snapshot high-resolution multispectral imaging
Kar Computational spectral imaging techniques using diffractive lenses and compressive sensing
Mejía-Melgarejo et al. Adjustable spatial resolution of compressive spectral images sensed by multispectral filter array-based sensors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200303