JP7087198B2 - ハイブリッドスペクトルイメージャ - Google Patents
ハイブリッドスペクトルイメージャ Download PDFInfo
- Publication number
- JP7087198B2 JP7087198B2 JP2021516913A JP2021516913A JP7087198B2 JP 7087198 B2 JP7087198 B2 JP 7087198B2 JP 2021516913 A JP2021516913 A JP 2021516913A JP 2021516913 A JP2021516913 A JP 2021516913A JP 7087198 B2 JP7087198 B2 JP 7087198B2
- Authority
- JP
- Japan
- Prior art keywords
- spectral
- image
- spectrum
- mfa
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims description 159
- 230000003595 spectral effect Effects 0.000 claims description 339
- 238000003384 imaging method Methods 0.000 claims description 61
- 238000000034 method Methods 0.000 claims description 48
- 230000003287 optical effect Effects 0.000 claims description 45
- 238000001914 filtration Methods 0.000 claims description 43
- 238000000701 chemical imaging Methods 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 18
- 239000011521 glass Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000035945 sensitivity Effects 0.000 claims description 11
- 238000012634 optical imaging Methods 0.000 claims description 10
- 230000033458 reproduction Effects 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000001575 pathological effect Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 239000004973 liquid crystal related substance Substances 0.000 claims description 5
- 229910052710 silicon Inorganic materials 0.000 claims description 5
- 239000010703 silicon Substances 0.000 claims description 5
- 230000010287 polarization Effects 0.000 claims description 4
- 238000001148 chemical map Methods 0.000 claims description 3
- 238000001727 in vivo Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 230000036961 partial effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 20
- 239000000523 sample Substances 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 230000000873 masking effect Effects 0.000 description 7
- 239000011248 coating agent Substances 0.000 description 6
- 238000000576 coating method Methods 0.000 description 6
- 239000000975 dye Substances 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000035755 proliferation Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000001839 endoscopy Methods 0.000 description 3
- 229910052736 halogen Inorganic materials 0.000 description 3
- 150000002367 halogens Chemical class 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000001429 visible spectrum Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000012237 artificial material Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000011344 liquid material Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000009659 non-destructive testing Methods 0.000 description 2
- 238000000746 purification Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000011343 solid material Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000033986 Device capturing issue Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- CJDPJFRMHVXWPT-UHFFFAOYSA-N barium sulfide Chemical compound [S-2].[Ba+2] CJDPJFRMHVXWPT-UHFFFAOYSA-N 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001784 detoxification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000002189 fluorescence spectrum Methods 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 238000010562 histological examination Methods 0.000 description 1
- 230000013632 homeostatic process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000007479 molecular analysis Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/02015—Interferometers characterised by the beam path configuration
- G01B9/02029—Combination with non-interferometric systems, i.e. for measuring the object
- G01B9/0203—With imaging systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/32—Investigating bands of a spectrum in sequence by a single detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/29—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using visual detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J2003/1213—Filters in general, e.g. dichroic, band
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J2003/1213—Filters in general, e.g. dichroic, band
- G01J2003/1221—Mounting; Adjustment
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J2003/1226—Interference filters
- G01J2003/1243—Pivoting IF or other position variation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J2003/1282—Spectrum tailoring
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
- G01J2003/284—Spectral construction
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
撮像ヘッド配置部(IHA)であって、
撮像経路に沿って対象シーン又は物体のイメージを集めて焦点合わせする光学撮像手段と、
マルチバンドフィルタリング光学部品(MBFO)手段であって、
前記対象イメージの少なくとも2つのイメージ複製物を生成するビーム分割手段と、
前記撮像経路に挿入されて、前記イメージ複製物において同調可能マルチバンドパスフィルタリングを実行する同調可能マルチバンドフィルタリング(TMF)手段と、
を備えるマルチバンドフィルタリング光学部品(MBFO)手段と、
を備える撮像ヘッド配置部(IHA)と、
モザイクフィルタアレイ(MFA)センサ配置部であって、
前記マルチバンドフィルタされたイメージ複製物が焦点合わせされる少なくとも1つのMFA焦点面アレイ(FPA)センサであって、
ピクセル化された様式において少なくとも3つのワイドバンド原色タイプのフィルタでマスクされ、各原色タイプの応答が、1つの単一バンドイメージ成分を前記マルチバンドフィルタされたイメージ複製物から分離してキャプチャする、焦点面アレイ手段、
を備えるMFA焦点面アレイ(FPA)センサ、
を備えるモザイクフィルタアレイ(MFA)センサ配置部と、
前記撮像ヘッド配置部に結合されプログラム指令を実行する制御及び処理ユニット(CPU)であって、
前記プログラム指令は、
イメージ取得処理をキャリブレーションし、
前記TMFの所定の同調ステップにおいて且つ複数の前記同調ステップに対して前記MFAセンサ配置部による前記イメージ複製物の取得/キャプチャを制御及び同期させ、
前記MFAセンサ配置部の応答をスペクトル的に純化して前記MFAと前記TMFとの間のバンドクロストークを補償する、
ためのものである、
制御及び処理ユニット(CPU)と、
少なくとも前記取得された単一バンドイメージをユーザインタフェイス手段上に表示する表示手段と、
を備えるハイブリッドスペクトルイメージャ装置において、
前記CPUは採用されたMFA-FPAセンサごとに少なくとも3つの異なる単一バンドイメージの組を前記TMFの各同調ステップにおいて取得/キャプチャするように構成され、
前記CPUは、所望のスペクトルバンドにおけるビデオスナップショットスペクトル撮像用の取得/キャプチャされた前記異なる単一バンドイメージの組の中心波長を選択し、且つ/又は、各同調ステップにおける異なる単一バンドイメージの多段階手順における複数の組をキャプチャするために、前記TMFを同調するように構成され、
前記CPUは、ビデオスペクトル撮像の間 且つ/又は、前記多段階手順の間に得られた前記異なる単一バンドイメージの組から、前記FPAセンサのスペクトル感度範囲内で少なくとも30個の単一バンドイメージを含むフルハイパースペクトル立方体データセットの組を再構築し、再構築されたフルハイパースペクトル立方体データセットを前記表示手段上に表示するように構成される。
同一イメージの組を生成するように構成される光学素子と、
前記イメージ複製物をスペクトル的にフィルタすることで、光が別々のスペクトルバンドの組において透過及び/又は反射される、ように構成されるフィルタアレイ手段と、
前記フィルタされたイメージ複製物の組を可視化するように構成されるガラススクリーンと、
前記ガラススクリーン上に表示された前記イメージを前記少なくとも1つの撮像センサ上に焦点合わせするように構成されるリレーレンズと、
を備える。
前記MBFO手段及び前記MFAセンサ配置部手段は、前記スペクトルの可視部分内における少なくとも5つの前記単一バンドイメージをキャプチャするように構成され、前記CPUユニットは、マンセルスペクトル集合を少なくとも部分的に備える大きなスペクトル集合に基づいてスペクトル推定モデルの訓練タスクを実行し、疎らにサンプリングされたスペクトルデータポイントを全てのイメージピクセルにおける前記スペクトルを再構築するために適合させるスペクトル推定モデルベースのアルゴリズムを実行し、前記スペクトルからCIE比色分析カラーパラメータを算出し、フルスペクトルから派生するカラーパラメータに対応するピクセル値を有するカラーイメージを前記表示手段において表示する、ように構成される。
対象シーン又は物体のスペクトル同一性/複雑性を表すのに統計的に十分な、密集してサンプリングされた光学スペクトルのポピュレーションを得るステップと、
スペクトル特徴抽出を介して前記スペクトルポピュレーションのスパース表現を抽出するために前記密集してサンプリングされた光学スペクトルの組を分析するステップと、
顕著なスペクトル特徴が多く集合したスペクトルバンドとほぼ重複するバンドに対応する臨界スペクトルバンド(CSB)を前記密集してサンプリングされた光学スペクトルにおいて特定するステップと、
本発明の第1の態様の実施形態に係るハイブリッドスペクトルイメージャにより、
前記特定されたCSBに対応する中心波長を有するスペクトルイメージをほぼ同時にキャプチャするステップと、
密集してサンプリングされた光学スペクトルのスペクトルデータセットサンプルに関連付けられたスペクトル推定モデルへの前記CSBの空間データポイント及びスペクトルデータポイントの適合を介して、欠けているスペクトルデータポイント及び対応するスペクトルイメージを推定することによって、対象物体又はシーン用のスペクトル立方体を再構築するステップと、
前記再構築されたスペクトル立方体の全内容及び派生したスペクトル主題図のうち少なくとも1つをビデオレートで表示するステップと、
を行うステップと、
を備える。
次の段落以降では、多数の実施形態が開示され、上記ハイブリッドスペクトルイメージャの上記撮像ヘッド配置部(IHA)について言及する。
Claims (14)
- ハイブリッドスペクトルイメージャ装置であって、
撮像ヘッド配置部(IHA)であって、
撮像経路に沿って対象シーン又は物体のイメージを集めて焦点合わせする光学撮像手段と、
マルチバンドフィルタリング光学部品(MBFO)手段であって、
前記対象イメージの少なくとも2つのイメージ複製物を生成するビーム分割手段と、
前記撮像経路に挿入されて、前記イメージ複製物において同調可能マルチバンドパスフィルタリングを実行する同調可能マルチバンドフィルタリング(TMF)手段と、
を備えるマルチバンドフィルタリング光学部品(MBFO)手段と、
を備える撮像ヘッド配置部(IHA)と、
モザイクフィルタアレイ(MFA)センサ配置部であって、
前記マルチバンドフィルタされたイメージ複製物が焦点合わせされる少なくとも1つのMFA焦点面アレイ(FPA)センサであって、
ピクセル化された様式において少なくとも3つのワイドバンド原色タイプのフィルタでマスクされ、各原色タイプの応答が、1つの単一バンドイメージ成分を前記マルチバンドフィルタされたイメージ複製物から分離してキャプチャする、焦点面アレイ手段、
を備えるMFA焦点面アレイ(FPA)センサ、
を備えるモザイクフィルタアレイ(MFA)センサ配置部と、
前記撮像ヘッド配置部に結合されプログラム指令を実行する制御及び処理ユニット(CPU)であって、
前記プログラム指令は、
イメージ取得処理をキャリブレーションし、
前記TMFの所定の同調ステップにおいて且つ複数の前記同調ステップに対して前記MFAセンサ配置部による前記イメージ複製物の取得/キャプチャを制御及び同期させ、
前記MFAセンサ配置部の応答をスペクトル的に純化して前記MFAと前記TMFとの間のバンドクロストークを補償する、
ためのものである、
制御及び処理ユニット(CPU)と、
少なくとも前記取得された単一バンドイメージをユーザインタフェイス手段上に表示する表示手段と、
を備えるハイブリッドスペクトルイメージャ装置において、
前記CPUは採用されたMFA-FPAセンサごとに少なくとも3つの異なる単一バンドイメージの組を前記TMFの各同調ステップにおいて取得/キャプチャするように構成され、
前記CPUは、所望のスペクトルバンドにおけるビデオスナップショットスペクトル撮像用の取得/キャプチャされた前記異なる単一バンドイメージの組の中心波長を選択し、且つ/又は、各同調ステップにおける異なる単一バンドイメージの多段階手順における複数の組をキャプチャするために、前記TMFを同調するように構成され、
前記CPUは、ビデオスペクトル撮像の間 且つ/又は、前記多段階手順の間に得られた前記異なる単一バンドイメージの組から、前記FPAセンサのスペクトル感度範囲内で少なくとも30個の単一バンドイメージを含むフルハイパースペクトル立方体データセットの組を再構築し、再構築されたフルハイパースペクトル立方体データセットを前記表示手段上に表示するように構成される、
ハイブリッドスペクトルイメージャ装置。 - 前記CPUは、対象シーン特有の又は物体特有のスペクトルデータベースにおいて、顕著なスペクトル特徴が集合した波長に対応する臨界スペクトルバンド(CSB)の組を特定するためのプログラム指令を実行するように構成される、
請求項1に記載のハイブリッドスペクトルイメージャ。 - 前記CPUは、前記スペクトルに沿って疎らにサンプリングされたデータポイントにおいてキャプチャされた前記MFAセンサ配置部の応答から、前記疎らにサンプリングされたデータポイントにおいてキャプチャされた前記応答を訓練されたスペクトル推定モデル及び関連付けられたアルゴリズムに適合させることでフルスペクトルを復元するためのプログラム指令を実行するように構成される、
請求項1または2に記載のハイブリッドスペクトルイメージャ。 - 前記CPUはスペクトル立方体を生成するように構成され、前記スペクトル立方体は、前記MFAセンサアレイ手段によってキャプチャされた前記スナップショットスペクトルイメージの組と1組の推定されたスペクトルイメージとを含み、その全てがビデオレートで表示される、
請求項1~3のいずれかに記載のハイブリッドスペクトルイメージャ。 - 前記CPUは、スペクトル撮像データセットのスペクトル分類と、前記スペクトル分類のスペクトル主題図の前記表示手段上への表示と、のためのプログラム指令を実行するように構成される、
請求項1に記載のハイブリッドスペクトルイメージャ。 - 前記スペクトル分類は、前記スペクトル主題図を化学的マップ又は生体内病理マップに変換するための化学的同一性及びラベルを有するスペクトルを伴うデータベースに格納されたスペクトルデータセット及び管理された分類子を利用する、
請求項5に記載のハイブリッドスペクトルイメージャ。 - 前記光学撮像手段は、写真撮影レンズと、顕微鏡検査光学部品と、コリメート光学部品の無限性補正光学部品の剛性又は可撓性内視鏡と、望遠鏡と、を含むグループから選択される、
請求項1~6のいずれか一項に記載のハイブリッドスペクトルイメージャ。 - 前記MBFO手段は、立方体ビームスプリッターと、プレートビームスプリッターと、偏光ビームスプリッターと、五角形ビームスプリッター/分割器と、ミラー被覆脚を有する直角プリズムと、コスター(Koester)プリズムと、ミラー被覆脚を有するミラー被覆角錐プリズムと、ポルカドットビームスプリッターと、ペリクルビームスプリッターと、を少なくとも部分的に備える、
請求項1~7のいずれか一項に記載のハイブリッドスペクトルイメージャ。 - 前記TMFは、角度依存スペクトルフィルタリング(ADSF)バンドパスフィルタと、ADSF型二色性及び多色性ミラーと、ADSF型マルチバンドパスフィルタと、空間光変調器と、音響光学部品と、液晶スペクトル変調器と、表面プラズモンフィルタと、それらの組み合わせと、を少なくとも部分的に備える、
請求項1~8のいずれか一項に記載のハイブリッドスペクトルイメージャ。 - 前記ADSF型フィルタ手段は、傾斜アクチュエータ手段の傾斜可能軸上に配置され、前記傾斜アクチュエータは、ガルヴァニック電気機械的素子と、回転アクチュエータと、モータと、回転ソレノイドと、磁気的、電気的、及び熱的アクチュエータと、微小電気機械システム(MEMS)と、を含むグループから選択される、
請求項9に記載のハイブリッドスペクトルイメージャ。 - 前記ビーム分割手段は、傾斜アクチュエータ手段の前記傾斜可能軸上に配置された傾斜五角形プリズムビーム分割器であり、
前記TMFは、傾斜角度不変直交方向において2つのマルチバンドフィルタされたイメージ複製物を反射及び透過する、前記五角形プリズムビーム分割器の第1の反射面上に蒸着したADSF型多色性ミラー被膜であり、
前記IHAは、前記透過及び反射したマルチバンドフィルタされたイメージ複製物をほぼ同時にキャプチャするために前記光学撮像手段の透過/反射焦点面に配置された2つのMFA-FPAセンサを備える、
請求項1~10のいずれかに記載のハイブリッドスペクトルイメージャ。 - 前記MBFO手段は、
同一イメージの組を生成するように構成される光学素子と、
前記イメージ複製物をスペクトル的にフィルタすることで、光が別々のスペクトルバンドの組において透過及び/又は反射される、ように構成されるフィルタアレイ手段と、
前記フィルタされたイメージ複製物の組を可視化するように構成されるガラススクリーンと、
前記ガラススクリーン上に表示された前記イメージを前記少なくとも1つの撮像センサ上に焦点合わせするように構成されるリレーレンズと、
を備える、
請求項1~11のいずれか一項に記載のハイブリッドスペクトルイメージャ。 - 前記ハイブリッドスペクトルイメージャは、拡大された色域の、メタメリズムの無い、且つフルスペクトルの写真撮影カメラとして動作するように構成され、
前記MBFO手段及び前記MFAセンサ配置部手段は、前記スペクトルの可視部分内における少なくとも5つの前記単一バンドイメージをキャプチャするように構成され、
前記CPUユニットは、
マンセルスペクトル集合を少なくとも部分的に備える大きなスペクトル集合に基づいてスペクトル推定モデルの訓練タスクを実行し、
疎らにサンプリングされたスペクトルデータポイントを全てのイメージピクセルにおける前記スペクトルを再構築するために適合させるスペクトル推定モデルベースのアルゴ
リズムを実行し、
前記スペクトルからCIE比色分析カラーパラメータを算出し、
フルスペクトルから派生するカラーパラメータに対応するピクセル値を有するカラーイメージを前記表示手段において表示する、
ように構成される、
請求項1~12のいずれかに記載のハイブリッドスペクトルイメージャ。 - 前記MBFO手段及び前記MFAセンサ配置部手段は、前記スペクトルの前記可視部分
内における少なくとも5つの単一バンドイメージと前記シリコンセンサ手段の近赤外線感度範囲内における少なくとも1つの単一バンドイメージとをキャプチャするように構成され、
前記CPUユニットは、
前記対象シーン又は物体を照らす周辺光のスペクトル特性の推定と、
色恒常性を達成するための前記対象シーン又は物体の面反射率の推定と、
前記カラーイメージからのかすみ要素の抽出と、
を少なくとも部分的に含む前記処理出力を伴うイメージ処理タスクを実行するために前記単一バンドイメージの近赤外線応答を利用する、ように構成される、
請求項13に記載のハイブリッドスペクトルイメージャ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862713019P | 2018-08-01 | 2018-08-01 | |
US62/713,019 | 2018-08-01 | ||
PCT/GR2019/000054 WO2020025987A1 (en) | 2018-08-01 | 2019-07-31 | A hybrid spectral imager |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021527228A JP2021527228A (ja) | 2021-10-11 |
JP7087198B2 true JP7087198B2 (ja) | 2022-06-20 |
Family
ID=67851168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021516913A Active JP7087198B2 (ja) | 2018-08-01 | 2019-07-31 | ハイブリッドスペクトルイメージャ |
Country Status (6)
Country | Link |
---|---|
US (1) | US10989595B2 (ja) |
EP (1) | EP3830551B1 (ja) |
JP (1) | JP7087198B2 (ja) |
KR (1) | KR102394823B1 (ja) |
CN (1) | CN112789495B (ja) |
WO (1) | WO2020025987A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL251636B (en) * | 2017-04-06 | 2018-02-28 | Yoav Berlatzky | A system and method for a coherent camera |
US11373396B2 (en) * | 2017-11-06 | 2022-06-28 | Google Llc | Systems and methods for improved feature extraction using polarization information |
CN111474131A (zh) * | 2020-04-24 | 2020-07-31 | 张苗苗 | 一种射击残留物的红外光谱成像检验方法 |
CN111579070A (zh) * | 2020-05-17 | 2020-08-25 | 北京安洲科技有限公司 | 一种全波段高光谱成像***实现方法 |
WO2021245374A1 (en) * | 2020-06-03 | 2021-12-09 | King's College London | Method and system for joint demosaicking and spectral signature estimation |
CN114519872A (zh) * | 2020-11-18 | 2022-05-20 | 北京与光科技有限公司 | 指纹活体识别装置以及指纹模组 |
KR20220083349A (ko) * | 2020-12-11 | 2022-06-20 | 삼성전자주식회사 | 식품 모니터링 장치, 이를 포함하는 냉장고, 및 이의 동작 방법 |
CN113540138B (zh) * | 2021-06-03 | 2024-03-12 | 奥比中光科技集团股份有限公司 | 一种多光谱图像传感器及其成像模块 |
DE102021120588A1 (de) | 2021-08-09 | 2023-02-09 | Schölly Fiberoptic GmbH | Bildaufnahmevorrichtung, Bildaufnahmeverfahren, korrespondierendes Verfahren zur Einrichtung und Endoskop |
CN115791628A (zh) * | 2021-09-10 | 2023-03-14 | 北京与光科技有限公司 | 光谱恢复方法、光谱恢复装置和电子设备 |
US20230162354A1 (en) * | 2021-11-24 | 2023-05-25 | Applied Materials, Inc. | Artificial intelligence-based hyperspectrally resolved detection of anomalous cells |
WO2023126996A1 (ja) * | 2021-12-27 | 2023-07-06 | 日本たばこ産業株式会社 | 植物が含有する所定の成分の量を予測する方法、システム及びプログラム |
US20230225599A1 (en) * | 2022-01-20 | 2023-07-20 | Cilag Gmbh International | Methods and devices for multi-spectral imaging |
US11867615B2 (en) * | 2022-03-25 | 2024-01-09 | Trutag Technologies, Inc. | Field calibration for near real-time Fabry Perot spectral measurements |
CN115690388B (zh) * | 2023-01-03 | 2023-03-10 | 优尼科(青岛)微电子有限公司 | 一种基于法珀腔光谱成像的图像数据预处理方法及设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007522445A (ja) | 2004-01-21 | 2007-08-09 | オプティカル インサイツ,リミティド ライアビリティー カンパニー | 多重モード・スペクトル画像解析の方法および装置 |
US20090021598A1 (en) | 2006-12-06 | 2009-01-22 | Mclean John | Miniature integrated multispectral/multipolarization digital camera |
US20110134949A1 (en) | 2008-04-04 | 2011-06-09 | Melles Griot, Inc. | Compact, thermally stable multi-laser engine |
WO2012070314A1 (ja) | 2010-11-22 | 2012-05-31 | 横河電機株式会社 | 顕微鏡用分光分析装置、光軸ズレ補正装置、分光装置とそれを用いた顕微鏡 |
US20130119277A1 (en) | 2011-06-22 | 2013-05-16 | Molecular Devices, Llc | Dynamic signal extension in optical detection systems |
US20140176729A1 (en) | 2012-10-11 | 2014-06-26 | Teknologian Tutkimuskeskus Vtt | Method for determining calibration parameters for a spectrometer |
JP2017526910A (ja) | 2014-07-24 | 2017-09-14 | エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ (ウ・ペ・エフ・エル)Ecole Polytechnique Federale De Lausanne (Epfl) | 撮像分光法用のコンパクトな多機能システム |
CN207007336U (zh) | 2017-06-30 | 2018-02-13 | 中国科学院半导体研究所 | 拉曼光谱测试*** |
JP2018059913A (ja) | 2016-10-03 | 2018-04-12 | ゼロックス コーポレイションXerox Corporation | ハイパースペクトルイメージングシステム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0796005B2 (ja) * | 1987-10-27 | 1995-10-18 | オリンパス光学工業株式会社 | 内視鏡装置 |
EP1686810A4 (en) * | 2003-11-11 | 2009-06-03 | Olympus Corp | DEVICE FOR ENTERING MULTISPECTRAL IMAGES |
EP2776799B1 (en) * | 2011-11-04 | 2019-05-22 | IMEC vzw | Spectral camera with mirrors for projecting multiple adjacent image copies onto sensor array |
JP2014095594A (ja) * | 2012-11-08 | 2014-05-22 | Yokogawa Electric Corp | 分光装置および分光用光源 |
WO2015195746A1 (en) * | 2014-06-18 | 2015-12-23 | Innopix, Inc. | Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays |
CN113180589A (zh) * | 2015-05-28 | 2021-07-30 | 赛莱特私人有限公司 | 相对相敏光学相干断层扫描设备、方法和制品 |
SG10201911462UA (en) * | 2015-08-04 | 2020-02-27 | Agency Science Tech & Res | Hyperspectral imaging apparatus and method |
CN106226247A (zh) * | 2016-07-15 | 2016-12-14 | 暨南大学 | 一种基于高光谱显微成像技术的细胞检测方法 |
CN108254072A (zh) * | 2017-12-29 | 2018-07-06 | 中国科学院上海技术物理研究所杭州大江东空间信息技术研究院 | 一种新型高光谱视频成像仪 |
-
2019
- 2019-07-31 CN CN201980065331.4A patent/CN112789495B/zh active Active
- 2019-07-31 KR KR1020217006083A patent/KR102394823B1/ko active IP Right Grant
- 2019-07-31 JP JP2021516913A patent/JP7087198B2/ja active Active
- 2019-07-31 EP EP19763077.5A patent/EP3830551B1/en active Active
- 2019-07-31 US US16/527,081 patent/US10989595B2/en active Active
- 2019-07-31 WO PCT/GR2019/000054 patent/WO2020025987A1/en unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007522445A (ja) | 2004-01-21 | 2007-08-09 | オプティカル インサイツ,リミティド ライアビリティー カンパニー | 多重モード・スペクトル画像解析の方法および装置 |
US20090021598A1 (en) | 2006-12-06 | 2009-01-22 | Mclean John | Miniature integrated multispectral/multipolarization digital camera |
US20110134949A1 (en) | 2008-04-04 | 2011-06-09 | Melles Griot, Inc. | Compact, thermally stable multi-laser engine |
WO2012070314A1 (ja) | 2010-11-22 | 2012-05-31 | 横河電機株式会社 | 顕微鏡用分光分析装置、光軸ズレ補正装置、分光装置とそれを用いた顕微鏡 |
US20130119277A1 (en) | 2011-06-22 | 2013-05-16 | Molecular Devices, Llc | Dynamic signal extension in optical detection systems |
US20140176729A1 (en) | 2012-10-11 | 2014-06-26 | Teknologian Tutkimuskeskus Vtt | Method for determining calibration parameters for a spectrometer |
JP2017526910A (ja) | 2014-07-24 | 2017-09-14 | エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ (ウ・ペ・エフ・エル)Ecole Polytechnique Federale De Lausanne (Epfl) | 撮像分光法用のコンパクトな多機能システム |
JP2018059913A (ja) | 2016-10-03 | 2018-04-12 | ゼロックス コーポレイションXerox Corporation | ハイパースペクトルイメージングシステム |
CN207007336U (zh) | 2017-06-30 | 2018-02-13 | 中国科学院半导体研究所 | 拉曼光谱测试*** |
Also Published As
Publication number | Publication date |
---|---|
US10989595B2 (en) | 2021-04-27 |
CN112789495B (zh) | 2022-05-27 |
JP2021527228A (ja) | 2021-10-11 |
KR102394823B1 (ko) | 2022-05-06 |
WO2020025987A1 (en) | 2020-02-06 |
EP3830551B1 (en) | 2023-01-25 |
CN112789495A (zh) | 2021-05-11 |
EP3830551A1 (en) | 2021-06-09 |
KR20210043595A (ko) | 2021-04-21 |
US20200088579A1 (en) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7087198B2 (ja) | ハイブリッドスペクトルイメージャ | |
JP6524617B2 (ja) | 撮像装置および方法 | |
Cao et al. | A prism-mask system for multispectral video acquisition | |
Cosentino | Panoramic, macro and micro multispectral imaging: an affordable system for mapping pigments on artworks | |
IL256975A (en) | Method and system for spectral imaging | |
US10101206B2 (en) | Spectral imaging method and system | |
JP7358817B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
US11619548B2 (en) | Hybrid spectral imaging devices, systems and methods | |
Wang et al. | A novel low rank smooth flat-field correction algorithm for hyperspectral microscopy imaging | |
JP2010156612A (ja) | 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム | |
CN117314754B (zh) | 一种双摄超光谱图像成像方法、***及双摄超光谱内窥镜 | |
WO2021177446A1 (en) | Signal acquisition apparatus, signal acquisition system, and signal acquisition method | |
US20130190563A1 (en) | System and method for spatial and spectral imaging | |
JP5752985B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム | |
US20190090726A1 (en) | Optical device using liquid crystal tunable wavelength filter | |
Wagadarikar | Compressive spectral and coherence imaging | |
Nieves | Hyperspectral Imaging | |
Cui | Multi-dimensional Optical Imaging | |
Klein | Multispectral imaging: aberrations and acquisitions from different viewing positions | |
Martins et al. | Fast hyperspectral single-pixel imaging | |
Dumas | Compressive Endoscopy: A Computational Imaging Approach for Fiber-Bundle-Based Imaging Systems | |
Majumder et al. | HD snapshot diffractive spectral imaging and inferencing | |
CN116973315A (zh) | 基于光谱复用的傅里叶叠层显微的高光谱成像装置及方法 | |
Epitropou et al. | A real-time spectral mapper as an emerging diagnostic technology in biomedical sciences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210324 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210324 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210324 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210324 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7087198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |