CN109923401B - 高光谱成像*** - Google Patents

高光谱成像*** Download PDF

Info

Publication number
CN109923401B
CN109923401B CN201780069204.2A CN201780069204A CN109923401B CN 109923401 B CN109923401 B CN 109923401B CN 201780069204 A CN201780069204 A CN 201780069204A CN 109923401 B CN109923401 B CN 109923401B
Authority
CN
China
Prior art keywords
target
imaging system
hyperspectral imaging
optical
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780069204.2A
Other languages
English (en)
Other versions
CN109923401A (zh
Inventor
弗朗切斯科·库特拉勒
斯科特·E·弗雷泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Southern California USC
Original Assignee
University of Southern California USC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Southern California USC filed Critical University of Southern California USC
Publication of CN109923401A publication Critical patent/CN109923401A/zh
Application granted granted Critical
Publication of CN109923401B publication Critical patent/CN109923401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406—Fluorescence spectrometry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明涉及一种高光谱成像***，用于以具有快速分析时间的低信噪比方式对多个重叠光谱进行去噪和/或颜色分离。该***可以配置为执行高光谱相量(HySP)计算，以有效地分析高光谱时延数据。例如，该***可以配置为执行高光谱相量(HySP)计算以有效地分析五维(5D)高光谱时延数据。该成像***的优点可包括：(a)快速计算速度，(b)相量分析的容易性，以及(c)用于获得最低可接受的信噪比(SNR)的去噪算法。可以生成目标的非混色图像。这些图像可以用于健康状况的诊断，这可以增强患者的临床结果和患者健康的进展。

Description

高光谱成像***
相关申请的交叉引用
本申请基于并要求2016年11月8日提交的名称为“An Imaging System(成像***)”的美国临时专利申请第62/419,075号的优先权，其代理所案卷号为064693-0396。该临时专利申请的全部内容通过引用并入本文。
关于联邦政府资助研究的声明
本发明是在国立卫生研究院(NIH)授予的批准号为R01 HD075605和R01 OD019037的政府支持下完成的。
技术领域
本公开涉及成像***。本公开还涉及高光谱成像***。本公开还涉及生成目标的非混色图像的高光谱成像***。本公开还涉及用于诊断健康状况的高光谱成像***。
背景技术
近年来，多光谱成像已经成为在亚细胞、细胞和组织水平上同时研究生物样品中的多个标记的有力工具[1,2][所有括号内的参考文献在下面标识]。多光谱方法可以消除样品自发荧光的影响，并允许高水平的信号多路复用[3-5]，因为它们可以明确地识别具有不明显光谱的染料[6]。尽管具有多光谱能力的商业硬件的许多优点和可用性，但这些方法尚未被采用，因为同时表示多维数据(x，y，z，λ，t)以进行视觉检查或用于定量分析一直具有挑战性。
使用线性解混[7]或主成分分析[8]的典型方法在计算上具有挑战性，并且它们的性能随着光水平降低而降低[7,9]。在其中激发光通常保持较低以最小化光毒性的延时生物成像的情况下，噪声会导致处理图像中出现不可避免的误差[7,9]。针对这些方法，复杂数据集通常需要图像分割或解剖学的先验知识，以便区分感兴趣区域中的独特荧光信号[10]。
传统的光谱相量(SP)[14-16]方法为多光谱数据提供了有效的处理和渲染工具。SP使用傅立叶变换将图像中的每个像素的光谱描绘为相量平面上的点(图1a)，从而提供像素集合的密度图。因为SP在甚至复杂光谱的2D图上提供单点表示，所以它简化了对多维光谱数据的解释和相互作用。可以轻松地计算对多个光谱的混合物进行图形分析。因此，SP可以适用于多光谱成像，并且已经证明可用于分离除了自发荧光之外的生物标本[14,15]中单时间点的多达3种颜色。
然而，SP方法的现有实施方式已不适用于体内多光谱延时荧光成像的分析，尤其对于大量标记。这主要是由于在对具有不同生物物理特性的多种荧光蛋白进行成像时，与光漂白(photo-bleaching)和光毒性相关的信噪比(SNR)限制[17]。多个荧光团的合适激发需要一系列激发波长以提供良好的SNR图像。然而，增加激发线的数量会影响光漂白的速率，并且可能妨碍生物发育动态。此外，在胚胎中，自发荧光通常随着激发波长的数量而增加。使用单一波长激发多个标记，同时减少负面光效和自发荧光量的替代方法是以降低SNR为代价的。
荧光蛋白的扩展调色板已使得能够研究活细胞或发育中的胚胎内的蛋白质、细胞和组织的时空相互作用。然而，多个标签的延时成像仍然具有挑战性，因为噪声、光漂白和毒性极大地损害了信号质量，并且吞吐量可能受到从多个标签中分离光谱信号所需的时间的限制。
高光谱成像技术可用于医学目的。例如，见Lu等人撰写的《MedicalHyperspectral Imaging:a Review》，该文章发表在2014年1月出版的杂志《BiomedicalOptics》19(1)，第010901-1页至第010901-23页；Vasefi等人撰写的《Polarization-Sensitive Hyperspectral Imaging in vivo:A Multimode Dermoscope for SkinAnalysis》，该文章发表在2014年出版的《Scientific Reports》4，文章编号：4924(2014)；以及，Burlina等人申请的《Hyperspectral Imaging for Detection of Skin RelatedConditions》，美国专利第8,761,476B2号。这些出版物中的每一篇的全部内容通过引用并入本文。
相关技术参考文献
以下出版物是用于本公开的背景技术的相关技术。每个参考文献之前的方括号中的一位或两位数字(即[1]至[29])对应于本公开的其他部分中使用的方括号中的数字。
[1]Garini，Y.，Young，I.T.和McNamara，G.撰写的《Spectral imaging:principles and applications》，见《Cytometry A》69：第735页至第747页(2006年)。
[2]Dickinson，M.E.，Simbuerger，E.，Zimmermann，B.，Waters，C.W.和Fraser，S.E.撰写的《Multiphoton excitation spectra in biological samples》，该文章发表在杂志《Biomedical Optics》8：第329页至第338页(2003年)。
[3]Dickinson，M.E.，Bearman，G.，Tille，S.，Lansford，R.和Fraser，S.E.撰写的《Multi-spectral imaging and linear unmixing add a whole new dimension tolaser scanning fluorescence microscopy》，见《Biotechniques》31，第1272页至第1278页(2001年)。
[4]Levenson，R.M.和Mansfield，J.R.撰写的《Multispectral imaging inbiology and medicine：Slices of life》，见《Cytometry A》69：第748页至第758页(2006年)。
[5]Jahr，W.，Schmid，B.，Schmied，C.，Fahrbach，F.和Huisken，J.撰写的《Hyperspectral light sheet microscopy》，见《Nat Commun》，6，2015年。
[6]Lansford，R.，Bearman，G.和Fraser，S.E.撰写的《Resolution of multiplegreen fluorescent protein color variants and dyes using two-photon microscopyand imaging spectroscopy》，该文章发表在杂志《Biomedical Optics》6：第311页至第318页(2001年)。
[7]Zimmermann，T.撰写的《Spectral Imaging and Linear Unmixing in LightMicroscopy》，见《Adv Biochem Engin/Biotechnol》2005年，95：第245页至第265页。
[8]Jolliffe，Ian.撰写的《Principal component analysis》，John Wiley&Sons有限责任公司(2002年)。
[9]Gong，P.和Zhang，A.撰写的《Noise Effect on Linear Spectral Unmixing》，见《Geographic Information Sciences》，5(1)，1999年。
[10]Mukamel，E.A.，Nimmerjahn，A.和Schnitzer M.J.撰写的《AutomatedAnalysis of Cellular Signals from Large-Scale Calcium Imaging Data》，见《Neuron》，63(6)，第747页至第760页。
[11]Clayton，A.H.，Hanley，Q.S.和Verveer，P.J.撰写的《Graphicalrepresentation and multicomponent analysis of single-frequency fluorescencelifetime imaging microscopy data》，见《J.Microsc.》，213，第1页至第5页(2004年)。
[12]Redford，G.I.和Clegg，R.M.撰写的《Polar plot representation forfrequency-domain analysis of fluorescence lifetimes》，见《J.Fluoresc.》15，第805页至第815页(2005年)。
[13]Digman M A，Caiolfa V R，Zamai M和Gratton E.撰写的《The phasorapproach to fluorescence lifetime imaging analysis》，见《Biophys.J.》，94，第14页至第16页(2008年)。
[14]Fereidouni F.，Bader A.N.和Gerritsen H.C.撰写的《Spectral phasoranalysis allows rapid and reliable unmixing of fluorescence microscopyspectral images》，见《Opt.Express》，20，第12729页至第12741页(2012年)。
[15]Andrews L.M.，Jones M.R.，Digman M.A.，Gratton E.撰写的《Spectralphasor analysi s of Pyronin Y labeled RNA microenvironments in living cells》，见《Biomed.Op.Express》4(1)第171页至第177页(2013年)。
[16]Cutrale F.，Salih A.和Gratton E.撰写的《Spectral phasor approachfor fingerprinting of photo-activatable fluorescent proteins Dronpa,Kaede andKikGR》，见《Methods Appl.Fluoresc.》，1(3)(2013年)第035001页。
[17]Cranfill P.J.，Sell B.R.，Baird M.A.，Allen J.R.，Lavagnino Z.，deGruiter H.M.，Kremers G.，Davidson M.W.，Ustione A.，Piston D.W.撰写的《Quantitative assessment of fluorescent proteins》，见《Nature Methods》13，第557页至第562页(2016年)。
[18]Chen，H.，Gratton，E.，和Digman，M.A.撰写的《Spectral Properties andDynamics of Gold Nanorods Revealed by EMCCD-Based Spectral Phasor Method》，见《Microscopy Research and Technique》，78(4)，第283页至第293页(2015年)。
[19]Vermot，J.，Fraser，S.E.，Liebling，M.撰写的《Fast fluorescencemicroscopy for imaging the dynamics of embryonic development》，该文章发表在2008年出版的杂志《HFSP》第2卷第143页至第155页。
[20]Dalal，R.B.，Digman，M.A.，Horwitz，A.F.，Vetri，V.，Gratton，E.撰写的《Determination of particle number and brightness using a laser scanningconfocal microscope operating in the analog mode》，见《Microsc.RES.Tech.》，71(1)，第69页至第81页(2008年)。
[21]Fereidouni，F.，Reitsma，K.，Gerritsen，H.C.撰写的《High speedmultispectral fluorescence lifetime imaging》，见《Optics Express》，21(10)，第11776页至第11782页(2013年)。
[22]Hamamatsu Photonics K.K.(滨松光子学株式会社)出版的《Photomultiplier Technical Handbook》，见1994年Hamamatsu Photonics K.K。
[23]Trinh，L.A.等人撰写的《A versatile gene trap to visualize andinterrogate the function of the vertebrate proteome》，见《Genes&development》，25(21)，第2306页至第2320页(2011年)。
[24]Jin S.W.，Beis D.，Mitchell T.，Chen J.N.，Stainier D.Y.撰写的《Cellular and molecular analyses of vascular tube and lumen formation inzebrafish》，见《Development》132，第5199页至第5209页(2005年)。
[25]Livet，J.，Weissman，T.A.，Kang，H.，Draft，R.W.，Lu，J.，Bennis，R.A.，Sanes，J.R.，Lichtman J.W.撰写的《Transgenic strategies for combinatorialexpression of fluorescent proteins in the nervous system》，见《Nature》，450(7166)，第56-62页(2007年)。
[26]Lichtman，J.W.，Livet，J.，&Sanes，J.R.撰写的《A technicolour approachto the connectome》，见《Nature Reviews Neuroscience》，9(6)，第417页至第422页(2008年)。
[27]Pan，Y.A.，Freundlich，T.，Weissman，T.A.，Schoppik，D.，Wang，X.C.，Zimmerman，S.，Ciruna，B.，Sanes，J.R.，Lichtman，J.W.，Schier A.F.撰写的《Zebrabow:multispectral cell labeling for cell tracing and lineage analysis inzebrafish》，见《Development》，140(13)，第2835页至第2846页(2013年)。
[28]Westerfield M.1994年撰写的《The Zebrafish Book》，尤金(Eugene)，俄勒冈(OR)：俄勒冈大学出版社(University Oregon Press)。
[29]Megason，S.G.撰写的《In toto imaging of embryogenesis with confocaltime-lapse microscopy》，见《Methods in molecular biology》2009年第546卷第317至第32页。
上述每篇出版物的全部内容通过引用并入本文。
发明内容
公开了一种用于以具有快速分析时间的低信噪比方式对多个重叠光谱进行去噪和/或颜色分离的成像***。该成像***可以是高光谱成像***。***可以配置为执行高光谱相量(HySP)计算以有效地分析高光谱时延数据。例如，该***可以配置为执行高光谱相量(HySP)计算以有效地分析五维(5D)高光谱时延数据。该成像***的优点可包括：(a)快速计算速度，(b)相量分析的容易性以及(c)用于获得最低可接受的信噪比(SNR)的去噪算法。该成像***还可以生成目标的非混色图像。该成像***可用于诊断健康状况。
高光谱成像***可包括光学***、图像形成***、或者它们的组合。例如，高光谱成像***可包括光学***和图像形成***。例如，高光谱成像***可包括图像形成***。
光学***可包括至少一个光学组件。所述至少一个光学组件的示例是检测器(“光学检测器”)、检测器阵列(“光学检测器阵列”)、照射目标的源(“照射源”)、第一光学透镜、第二光学透镜、色散光学***、二向色镜/分束器、第一光学滤光***、第二光学滤光***、或者它们的组合。例如，该至少一个光学检测器可包括至少一个光学检测器。例如，该至少一个光学检测器可包括至少一个光学检测器和至少一个照射源。第一光学滤光***可以放置在目标和至少一个光学检测器之间。第二光学滤光***可以放置在第一光学滤光***和至少一个光学检测器之间。
所述光学***可包括光学显微镜。光学***的组件可以配置为形成该光学显微镜。光学显微镜的示例可以是共焦荧光显微镜、双光子荧光显微镜、或者它们的组合。
所述至少一个光学检测器可以具有检测由所述目标上的至少一个物理点吸收、透射、折射、反射和/或发射的电磁辐射(“目标辐射”)的配置。所述目标辐射可包括至少一个波(“目标波”)。所述目标辐射可包括至少两个目标波。每个目标波可以具有强度和不同的波长。所述至少一个光学检测器可以具有检测每个目标波的强度和波长的配置。所述至少一个光学检测器可以具有将检测到的每个目标波的强度和波长传输到图像形成***的配置。所述至少一个光学检测器可包括光电倍增管、光电倍增管阵列、数码相机、高光谱相机、电子倍增电荷耦合器件、Sci-CMOS、数码相机、或者它们的组合。
所述目标辐射可包括由所述目标发射的电磁辐射。由所述目标发射的电磁辐射可包括冷光(luminescence)、热辐射、或者它们的组合。所述冷光可包括荧光、磷光、或者它们的组合。例如，由所述目标发射的电磁辐射可包括荧光、磷光、热辐射、或者它们的组合。
所述至少一个光学检测器可以检测由目标发射的电磁辐射，所述电磁辐射的波长在300nm至800nm范围内。所述至少一个光学检测器可以检测由目标发射的电磁辐射，所述电磁辐射的波长在300nm至1,300nm范围内。
所述高光谱成像***还可以使用包括至少四个波长的目标辐射形成目标的检测图像，其中具有检测到的强度的所述至少四个波长形成光谱。由此可以增加图像的颜色分辨率。
所述至少一个照射源可以生成电磁辐射(“照射源辐射”)。所述照射源辐射可包括至少一个波(“照射波”)。所述照射源辐射可包括至少两个照射波。每个照射波可以具有不同的波长。所述至少一个照射源可以直接照射目标。在这种配置中，在照射源和目标之间没有光学组件。所述至少一个照射源可以间接照射目标。在这种配置中，在照射源和目标之间存在至少一个光学组件。所述照射源可以通过同时传输所有照明波以每个照射波长照射目标。照射源可以通过顺序地传输所有照明波以在每个照射波长下照射目标。
所述照射源可以包括相干电磁辐射源。所述相干电磁辐射源可包括激光器、二极管、双光子激发源、三光子激发源、或者它们的组合。
所述照射源辐射可以包括波长在300nm至1,300nm范围内的照射波。所述照射源辐射可以包括波长在300nm至700nm范围内的照射波。所述照射源辐射可以包括波长在690nm至1,300nm范围内的照射波。
所述图像形成***可包括控制***、硬件处理器、存储器、显示器、或者它们的组合。
所述图像形成***可以具有用于以下的配置：使得光学检测器检测目标辐射并将检测到的每个目标波的强度和波长传输到图像形成***；获取检测到的包括至少两个目标波的目标辐射；使用检测到的目标辐射形成目标的图像(“目标图像”)，其中所述目标图像包括至少两个像素，并且其中每个像素对应于目标上的一个物理点；使用检测到的每个目标波的强度和波长，为每个像素形成至少一个光谱(“强度谱”)；使用傅立叶变换将形成的每个像素的强度谱变换为基于每个像素的强度谱的复值函数，其中每个复值函数具有至少一个实部和至少一个虚部；对每个复值函数的实部和虚部二者应用去噪滤光器至少一次，以便为每个像素产生去噪的实数值和去噪的虚数值；通过绘制每个像素的去噪的实数值与去噪的虚数值，在每个像素的相量平面上形成一个点(“相量点”)；基于相量平面上的相量点的几何位置，将相量点映射回目标图像上的相应像素；基于相量平面上的相量点的几何位置，将任意颜色分配给所述相应像素；以及基于分配的任意颜色生成目标的非混色图像。所述图像形成***还可以具有在图像形成***的显示器上显示目标的非混色图像的配置。
所述图像形成***可以具有至少使用傅立叶变换的一次谐波来生成目标的非混色图像的配置。所述图像形成***可以配置为至少使用傅立叶变换的一次谐波来生成目标的非混色图像。所述图像形成***可以配置为至少使用傅立叶变换的二次谐波来生成目标的非混色图像。所述图像形成***可以配置为至少使用傅立叶变换的一次谐波和二次谐波来生成目标的非混色图像。
所述去噪滤光器可以包括中值滤光器。
所述目标的非混色图像可以以1.2至50范围内的至少一个光谱的信噪比形成。所述目标的非混色图像可以以2至50的范围内的至少一个光谱的信噪比形成。
所述目标可以是任何目标。所述目标可以是具有特定颜色光谱的任何目标。例如，所述目标可以是组织、荧光遗传标记、无机目标、或者它们的组合。
可以通过使用参考材料来校准高光谱成像***，以将任意颜色分配给每个像素。所述参考材料可以是任何已知的参考材料。例如，所述参考可以是任何参考材料，其中在生成所述目标的非混色图像之前确定参考材料的非混色图像。例如，所述参考材料可以是物理结构、化学分子、生物分子、由于物理结构变化和/或疾病导致的生物活性(例如生理变化)。
上述特征/配置的任何组合都在本公开的范围内。
这些以及其他组件、步骤、特征、对象、益处和优点现在将从对以下说明性实施例、附图和权利要求书的详细描述的综述中变得清楚。
附图说明
附图是说明性实施例。它们没有示出所有实施例。可以附加地或替代地使用其他实施例。可以省略可能明显的或不必要的细节以节省空间或用于更有效的说明。一些实施例可以用示出的附加的组件或步骤和/或没有示出的所有组件或步骤来实践。当相同的数字出现在不同的附图中时，它指的是相同或相似的组件或步骤。在下面的附图简要说明和本公开的其他部分中公开的颜色是指最初于2016年11月8日在题为“An Imaging System(成像***)”的美国临时专利申请第62/419,075号中提交的彩色附图和照片，其中代理人案卷号为064693-0396。专利申请文件包含以彩色执行的这些附图和照片。具有彩色附图的本专利申请文件的副本将由美国专利商标局根据请求并支付必要的费用提供。
以下附图标记用于以下附图中公开的***特征：高光谱成像***10、光学***20、图像形成***30、控制***40、硬件处理器50、存储器***60、显示器70、荧光显微镜100、多重照射波长显微镜200、多波长检测显微镜300、多波长检测装置400、多重照射波长和多波长检测显微镜500、多波长检测装置600、多波长检测装置700、照射源101、二向色镜/分束器102、第一光学透镜103、第二光学透镜104、目标(即样品)105、(光学)检测器106、照射源辐射107、发射目标辐射108，第一波长的照射源辐射201、第二波长的照射源辐射202、第一波长的发射目标辐射或反射照射源辐射203、第二波长的发射目标辐射或反射照射源辐射204、发射目标辐射或反射照射源辐射301、色散光学器件302、光谱分散的目标辐射303、光学检测器阵列304、目标图像形成401、光谱形成402、傅立叶变换403、傅立叶函数的实部404、傅立叶函数的虚部405、去噪滤光器406、在相量平面上绘制407、映射回目标图像408、以及目标的非混色图像的形成409。
图1：高光谱相量分析。(a)HySP方法的原理图。来自多维(x，y，z，λ)数据集中的每个体素的光谱以其傅立叶系数(谐波，n)表示。通常，选择n＝2并且在相量图上表示相应的系数(对于其他谐波，参见图5f)。(b)荧光素(在乙醇中约5μM)光谱在固定增益值(约800)但激光功率变化(约1％至约60％)处的的代表性记录。误差棒表示10次测量的强度值的变化。颜色编码表示强度，蓝色表示低强度，并且红色表示高强度。插图显示，当标准化时，发射光谱重叠，条件是记录是在低于检测器的饱和极限下进行。在配备有QUASAR检测器的蔡司透镜(Zeiss)LSM780上进行成像。(c)相量图上的散射误差(εσ)(其由光谱记录中的泊松噪声产生)定义为围绕预期相量值(ze(n))的散射的标准偏差。插图显示了ze周围的相量点分布的三维(3D)直方图。(d)由归一化光谱的形状变化造成的相量图上的偏移平均误差(εμ)，该归一化光谱形状变化使平均相量点远离对应于给定光谱的真实相量坐标移动。(e)散射误差，其与总数字计数的数量成反比，对检测器增益最敏感。图例适用于(e)和(f)。(f)归一化的偏移平均误差，其几乎保持恒定，并且在形成不同的成像参数的大的总数字计数范围内低于5％。为了理解哪个误差占主导地位，绘制了两个误差的比率(插图)。该比率表明散射误差(εσ)几乎比偏移平均误差(εμ)高一个数量级。
图2：用于在体内多路复用高光谱荧光信号的相量分析。(a)最大强度投影图像，其显示72hpf斑马鱼胚胎体内七种未混合信号。通过在双转基因胚胎Gt(desm-citrine)ct122a/+；Tg(kdr1：eGFP)(分别为黄色和绿色)中用Xanthophores(黄色单胞菌)(蓝色)注入mRNA编码的H2B-cerulean(青色)和膜-mCherry(红色)来获得多重染色。在约458nm和约561nm处顺序激发样品，产生它们的自发荧光作为两个单独的信号(分别为品红色和灰色)。通过将来自相量图(d)的散射密度映射到32通道原始数据中的原始体积来重建图像。(b)通过从原始数据中的各自表达区域绘制归一化信号强度获得不同荧光团的发射光谱。(c)胚胎头部区域((a)中的方框)的放大视图。标记为1-3的方框表示该图像的子区域，用于将HySP与(e-f)中的线性分离(linear unmixing)进行比较。(d)显示分配给不同荧光团的像素的相对位置的相量图。多边形表示分配给特定荧光团的像素子集。(e)通过HySP分析和相同32通道信号的线性分离重建的区域1-3(来自(c))的放大视图。箭头表示在(f)中绘制通过两种技术获得的归一化强度用于比较所沿的线。通过视觉检查本身，显然HySP分析在区分体内高度多路复用的信号方面优于线性分离。(f)HySP分析和线性分离的归一化强度图比较。x轴表示沿(e)中绘制的箭头的归一化距离。所有图中的y轴归一化为七个通道中的最大信号强度值，以允许相对比较。为清楚起见，不同的面板显示不同的通道组(荧光团)。
图3：斑马鱼的低激光功率体内体积高光谱时延。(a)在成像后约12小时的斑马鱼胚胎的明场图像(36hpf)。在较低信噪比下改进性能的HySP允许多色体积延时，同时降低光毒性。(b-e)最大强度投影图像，其显示从24hpf开始斑马鱼胚胎体内8个未混合信号。通过在双转基因胚胎，Tg(ubiq：膜-Cirulean-2a-H2B-mCherry)；Tg(kdrl：eGFP)(分别为红色、青色和绿色)中注入mRNA编码Rab9-YFP(黄色)和Rab11-RFP(红色)来获得多重染色。在约950nm(b和d)和约561nm(c)处顺序激发样品，产生它们的自发荧光作为两个单独的信号(e)(分别为紫色和橙色)。使用在约950nm处的约5％的激光功率和在约561nm处的约0.2％的激光功率获得约7分钟的间隔的25个时间点的延时。
图4：光谱相量图的误差。(a)散射误差可与总数字计数的平方根成反比。图例适用于图中的所有部分。散射误差也可取决于记录中的泊松噪声。R平方统计方法可用于确定计数的平方根的倒数的线性。斜率可以是采集中使用的检测器增益的函数，表明计数-散射误差动态范围与增益成反比。较低的增益可能在较低强度值下产生较小的散射误差。(b)相量空间中的去噪可以减少散射误差而不影响相量图上的预期值(ze(n))的位置。(c)去噪散射误差可以在没有滤光的情况下线性地取决于散射误差，而与采集参数无关。斜率可以通过滤光器尺寸(此处为3x3)确定。(d)去噪可能不会影响归一化的偏移平均误差，因为相量图上ze(n)的位置由于滤光(d)而保持不变。
图5：相量点的灵敏度。(a、b、c)|Z(n)|对于不同的成像参数可以保持几乎恒定。图例适用于(a、b、c、d、e)。(d)作为激光功率函数的总数字计数。(e)方程2中的比例常数可能取决于增益。(f)相量图上残值的相对大小(R(n))表明，谐波n＝1和2对于光谱信号的唯一表示可能就足够了。
图6：用于分离体内高光谱荧光信号的相量分析。(a)分别为Citrine(柠檬色)(骨骼肌)和eGFP(内皮组织)在转基因斑马鱼系Gt(desm-citrine)ct122a/+和Tg(kdrl：eGFP)中的表达模式的示意图。(b)用于Gt(desm-citrine)ct122a/+和Tg(kdrl：eGFP)的常规滤光器分离。在光谱重叠的荧光团(eGFP和Citrine)的检测器上使用发射带可能无法克服各个通道中信号的渗透问题。箭头表示在另一个通道中错误地检测到eGFP或Citrine表达式。比例尺约为200μm。(c)相量图显示了单独表达的胚胎和双转基因的Citrine和eGFP的光谱指纹(散射密度)。单个Citrine和eGFP光谱指纹可以保留在双转基因品系中。(d)通过将来自相量图的散射密度映射到原始体积而重建的最大强度投影图像。在单转基因系和双转基因系二者中，尽管在胚胎的相同解剖区域内，eGFP指纹和Citrine指纹可以清楚地区分骨骼肌和散布的血管(内皮组织)。比例尺约为300μm。胚胎在受精后约72小时成像。(e、f)HySP分析在区分体内光谱重叠的荧光团方面可能优于光学分离和线性分离。(e)在(d)中所示的Tg(kdrl：eGFP)；Gt(desm-citrine)ct122a/+中的区域的最大强度投影图像将通过光学分离、线性分离和相量分析检测对eGFP和Citrine的信号进行比较。(f)沿60像素高度积分的图像的宽度(600像素，约553.8μm)的相应归一化强度分布。报告的三个病例的相关值(R)显示HySP分析的最低值，正如两种蛋白质的表达所预期的那样。
图7：eGFP和Citrine的光学分离。(a)使用共聚焦多光谱λ模式分别在转基因斑马鱼系Gt(desm-citrine)ct122a/+和Tg(kdrl：eGFP)中测量的Citrine(峰值发射约529nm，骨骼肌)和eGFP(峰值发射约509nm，内皮组织)的光谱。(b)光谱上接近的荧光团(eGFP和Citrine)的常规光学分离(使用检测器上的发射带)可能无法克服各个通道中信号的渗透问题。箭头表示在另一个通道中错误地检测到eGFP或Citrine表达。比例尺约为300μm。(c)沿着面板(a)中线的长度(600像素，约553.8μm)的归一化强度分布。
图8：相量空间去噪对散射误差和偏移平均误差的影响。(a)作为不同数量的具有3×3掩模的去噪滤光器的数字计数的函数的散射误差。数据来源是以大约800的增益获得的荧光素数据集。(b)对于不同的激光功率，作为具有3×3掩模的去噪滤光器的数量的函数的散射误差。(c)作为不同数量的具有3×3掩模的去噪滤光器的数字计数的函数的偏移平均误差。数据来源是以大约800的增益获得的荧光素数据集。(d)对于不同的激光功率，作为具有3×3掩模的滤光器的数量的函数的偏移平均误差。(e)作为应用于不同掩模尺寸的去噪滤光器的数量的函数的散射误差的相对变化。(f)作为应用于不同掩模尺寸的滤光器的数量的函数的偏移平均误差的相对变化。该图中的“滤光器”是去噪滤光器。
图9：相量空间去噪对图像强度的影响。(a、b)在相量空间中滤光之前和之后，HySP处理双标记的eGFP-Citrine样品(132.71um×132.71um)的Citrine通道。(c、d)在相量空间中滤光之前和之后，HySP处理(a、b)中样品的eGFP通道。(e)对于不同数量的去噪滤光器，在(a、b、c、d)中突出显示的绿线的总强度分布。强度值可能不会改变。(f)对于不同数量的去噪滤光器，在(a、b、c、d)中突出显示的绿线的eGFP信道强度分布。(g)对于不同数量的去噪滤光器，在(a、b、c、d)中突出显示的绿线的Citrine通道强度分布。该图的“滤光器”是去噪滤光器。
图10：相量空间中的自发荧光识别和去除。(a)显示Citrine、eGFP和自发荧光的光谱指纹(散射密度)的相量图可以允许对固有信号简单地识别。(b)通过将来自相量图的散射密度映射到原始体积而重建的最大强度投影图像。自发荧光可以具有宽的指纹，其可以有效地作为为通道。胚胎在受精后约72小时成像。
图11：不同信噪比(SNR)下HySP和线性分离的比较。(a)斑马鱼的32个通道数据集的TrueColor图像，其标记有H2B-cerulean、kdr1：eGFP、desm-Citrine、Xanthophores、膜-mCherry以及在约458nm和约561nm处的自发荧光。原始数据集(SNR 20)通过添加噪声并将信号降低至SNR 5而被数字降级。(b)用于非加权线性分离的归一化光谱。在每个样品上从已知仅包含特定标记的解剖区域识别光谱。例如，Xanthophore的光谱在背部区域、来自鳍的细胞核、脉管***的肌内收集。测试并校正所选区域组合，直到获得最佳线性分离结果。然后将相同的区域用于所有三个数据集。整个图中使用相同的图例和颜色编码。(c)处理放大区域((a)中的方框)，用于线性分离和HySP。比较显示属于肌纤维的三个核。在良好的SNR(20及以上)下，线性分离和HySP的结果都是准确的。然而，降低SNR更多地影响线性分离而不是相量。这可以改进生物样品的体积成像中标记的分离，其中通常SNR随深度减小并且解释了图2e、图2f、图6e、图6f、图10和图12中的差异。在这种SNR比较中，HySP的一个优点可能是傅立叶空间中的光谱去噪。可以通过直接在相量空间中应用滤光器来执行光谱去噪。这可以保持原始图像分辨率，且可以改进相量图中的光谱指纹识别。可以应用中值滤光器作为滤光器。然而，其他滤光方法也是可能的。对于给定尺寸(n×m像素)的任何图像，可以获得每个像素的S值和G值，从而对于S和G产生2个新的尺寸为n×m的二维(2D)矩阵。由于初始S矩阵条目和G矩阵条目可以具有与图像中的像素相同的索引，因此滤波后的矩阵S*和G*可以保留几何信息。通过在相量空间中有效地使用滤波，S矩阵和G矩阵可以被视为2D图像。首先，这可以减小散射误差，即增加相量图上的定位精度(图8a和图8b)，从而改进光谱指纹分辨率，同时改进已经最小的偏移平均误差(图8c和图8d)。对数据的影响可以是改进的不同荧光蛋白的分离(图9a至图9d)。其次，(G，S)坐标中的去噪可以保持所获取的图像的几何形状、强度分布以及原始分辨率(图9e至图9g)。在相量空间中有效地滤波可能影响数据的光谱尺寸，从而在不干扰强度的情况下实现光谱噪声的去噪。(e)强度曲线((c)中的虚线箭头)比较可以显示在低SNR下HySP的改进。在降低的SNR下，可以在HySP中一致地识别H2B-cerulean(青色)和desm-Citrine(黄色)((c)中的实线箭头)，而它们可能在线性分离中部分错误标记。例如，一些噪声可以被识别为kdr1：eGFP(绿色)，而在解剖学上没有脉管***存在于该感兴趣的区域中。
图12：HySP和线性分离在解析七种荧光信号中的比较。(a)来自不同光学部分的灰度图像，与图2(区域1-3)中使用的光学部分相同，比较HySP分析和线性分离的性能。(b)归一化强度图，用于比较HySP分析和线性分离。类似于图2f中的相应面板，x轴表示归一化距离，并且所有图中的y轴被归一化为七个通道中的最大信号强度的值以允许相对比较。面板显示了各个图像中七个通道的所有强度分布。
图13：分级(binning)对七种体内荧光信号的HySP分析的影响。使用32个通道采集的原始数据集可以被计算地顺序分级到16个通道、8个通道和4个通道，以理解在分离所选荧光光谱特征时HySP的限制。分级可能不会导致分离的明显恶化。白色方形区域可用于不同级别(bin)的缩放比较。光谱相量在约458nm和约561nm激发下绘制。数据的分级可能导致不同荧光光谱指纹之间的相量距离更短。即使集群的距离很近，仍然可以识别集群。胚胎躯干的放大比较((a)中的框)。对于不同分级值的相同数据集的HySP分析的差异对于人眼可能仍然是微小的。可以选择一个体积来研究强度分布(白色虚线箭头)。对于体积为约26.60μm×约0.27μm×约20.00μm的总和强度(白色虚线箭头(c))，kdr1：eGFP、H2B-cerulean、desm-Citrine和Xanthophores在不同分级中的强度曲线。现在可以看到分级的效果。对于脉管***，通过分级可能不会使分离过度恶化。核的结果相同。Desm和xanthophores似乎更受分级的影响。该结果可能表明，在我们的使用两种不同的激光顺序获得具有七个单独的光谱指纹的斑马鱼胚胎的情况下，可以使用4个级别，代价是分离的恶化。
图14：包括示例性光学***和示例性图像形成***的示例性高光谱成像***。
图15：包括示例性光学***、荧光显微镜的示例性高光谱成像***。该***可以通过使用包括例如在图22和图23中公开的特征的示例性图像形成***来生成目标的非混色图像。
图16：包括示例性光学***、多重照射波长显微镜的示例性高光谱成像***。该***可以通过使用包括例如在图22和图23中公开的特征的示例性图像形成***来生成目标的非混色图像。
图17：包括示例性光学***、多重照射波长装置的示例性高光谱成像***。该***可以通过使用包括例如在图22和图23中公开的特征的示例性图像形成***来生成目标的非混色图像。
图18：包括示例性光学***、多波长检测显微镜的示例性高光谱成像***。该***可以通过使用包括例如在图22和图23中公开的特征的示例性图像形成***来生成目标的非混色图像。
图19：包括示例性光学***、多个照射波长和多波长检测显微镜的示例性高光谱成像***。该***可以通过使用包括例如在图22和图23中公开的特征的示例性图像形成***来生成目标的非混色图像。
图20：包括示例性光学***、多波长检测装置的示例性高光谱成像***。该***可以通过使用包括例如在图22和图23中公开的特征的示例性图像形成***来生成目标的非混色图像。
图21：包括示例性光学***、多波长检测装置的示例性高光谱成像***。该***可以通过使用包括例如在图22和图23中公开的特征的示例性图像形成***来生成目标的非混色图像。
图22：可用于生成目标的非混色图像的示例性图像形成***的特征。
图23：可用于生成目标的非混色图像的示例性图像形成***的特征。
具体实施方式
现在描述说明性实施例。可以附加地或替代地使用其他实施例。可以省略可能明显或不必要的细节以节省空间或用于更有效的说明。一些实施例可以用附加的组件或步骤和/或没有所示的所有组件或步骤来实践。
使用以下缩写词。
2D：二维
5D：五维
HySP：高光谱相量
IACUC：动物保护和使用委员会
N：获得的光子数
n：谐波数
PMT：光电倍增管
PTU：1-苯基-2-硫脲
SBR：信号背景比
SNR：信噪比
SP：光谱相量
USC：南加州大学
本公开涉及高光谱成像***。本公开还涉及生成目标的非混色图像的高光谱成像***。该成像***可用于以具有快速分析时间的低信噪比方案对多个重叠光谱进行去噪和/或颜色分离。目标的非混色图像可用于诊断健康状况。
高光谱成像***可以配置为执行高光谱相量(HySP)计算以有效地分析高光谱时延数据。例如，该***可以配置为执行HySP计算以有效地分析五维(5D)高光谱时延数据。该***的主要优点可包括：(a)快速计算速度，(b)相量分析的简易性，以及(c)用于获得最低可接受的信噪比(SNR)的去噪***，如图1中示例所示。
该高光谱成像***可以有效地降低光谱噪声、去除自发荧光、并区分生物样品中的多个光谱重叠的荧光团。该***可以通过扩展荧光团调色板选择并且通过减少背景自发荧光的贡献来改进体内成像。在下面的示例中，HySP的鲁棒性通过在光敏发育阶段期间发展具有七种颜色的斑马鱼胚胎的成像来证明(图2和图3)。
高光谱成像***10可包括光学***20、图像形成***30、或者它们的组合。例如，高光谱成像***可以包括光学***和图像形成***。例如，高光谱成像***可包括图像形成***。包括光学***和图像形成***的示例性高光谱成像***的一个示例在图14中示意性地示出。示例性光学***在图15至图21中示出。图像形成***的示例性配置在图22中示出。高光谱成像***的示例性配置在图23中示出。
在本公开中，光学***可包括至少一个光学组件。所述至少一个光学组件的示例是检测器(“光学检测器”)、检测器阵列(“光学检测器阵列”)、照射目标的源(“照射源”)、第一光学透镜、第二光学透镜、滤光器、色散光学***、二向色镜/分束器、放置在目标和至少一个光学检测器之间的第一光学滤光***、放置在第一光学滤光***和至少一个光学检测器之间的第二光学滤光***、或者它们的组合。例如，所述至少一个光学组件可包括至少一个光学检测器。例如，所述至少一个光学组件可包括至少一个光学检测器和至少一个照射源。例如，所述至少一个光学组件可包括至少一个光学检测器、至少一个照射源、至少一个光学透镜、至少一个滤光器和至少一个色散光学***。例如，所述至少一个光学组件可包括至少一个光学检测器、至少一个照射源、第一光学透镜、第二光学透镜和二向色镜/分束器。例如，所述至少一个光学组件可包括至少一个光学检测器、至少一个照射源、光学透镜、色散光学器件；并且其中所述至少一个光学检测器是光学检测器阵列。例如，所述至少一个光学组件可包括至少一个光学检测器、至少一个照射源、光学透镜、色散光学器件、二向色镜/分束器；并且其中所述至少一个光学检测器是光学检测器阵列。例如，所述至少一个光学组件可包括至少一个光学检测器、至少一个照射源、光学透镜、色散光学器件、二向色镜/分束器；其中所述至少一个光学检测器是光学检测器阵列；并且其中所述照射源直接照射目标。这些光学组件可以配置为形成例如图15至图21中所示的示例性光学***。
在本公开中，光学***可包括光学显微镜。所述光学显微镜的示例可以是共焦荧光显微镜、双光子荧光显微镜、或者它们的组合。
在本公开中，所述至少一个光学检测器可以具有检测由目标上的至少一个物理点吸收、透射、折射、反射和/或发射的电磁辐射(“目标辐射”)的配置。所述目标辐射可包括至少一个波(“目标波”)。所述目标辐射可包括至少两个目标波。每个目标波可以具有强度和不同的波长。所述至少一个光学检测器可以具有检测每个目标波的强度和波长的配置。所述至少一个光学检测器可以具有将检测到的目标辐射传输到图像形成***的配置。所述至少一个光学检测器可以具有将检测到的每个目标波的强度和波长传输到图像形成***的配置。所述至少一个光学检测器可以具有这些配置的任何组合。
所述至少一个光学检测器可包括光电倍增管、光电倍增管阵列、数码相机、高光谱相机、电子倍增电荷耦合器件、Sci-CMOS、数码相机、或者它们的组合。所述数码相机可以是任何数码相机。所述数码相机可以与有源滤光器一起用于检测目标辐射。所述数码相机还可以与有源滤光器一起用于检测目标辐射，例如，所述目标辐射包括冷光、热辐射、或者它们的组合。
在本公开中，所述目标辐射可以包括由所述目标发射的电磁辐射。由所述目标发射的电磁辐射可包括冷光、热辐射、或者它们的组合。所述冷光可包括荧光、磷光、或者它们的组合。例如，由所述目标发射的电磁辐射可包括荧光、磷光、热辐射、或者它们的组合。例如，由所述目标发射的电磁辐射可包括荧光。所述至少一个光学组件还可包括第一光学滤光***。所述至少一个光学组件还可包括第一光学滤光***和第二光学滤光***。所述第一光学滤光***可以放置在目标和至少一个光学检测器之间。所述第二光学滤光***可以放置在第一光学滤光***和至少一个光学检测器之间。所述第一光学滤光***可包括二向色滤光器、分束器型滤光器、或者它们的组合。所述第二光学滤光***可包括陷波滤光器、有源滤光器、或者它们的组合。所述有源滤光器可包括自适应光学***、声光可调滤光器、液晶可调带通滤光器、法布里-珀罗干涉滤光器、或者它们的组合。
在本公开中，所述至少一个光学检测器可检测波长在300nm至800nm范围内的目标辐射。所述至少一个光学检测器可检测波长在300nm至1,300nm范围内的目标辐射。
在本公开中，所述至少一个照射源可产生电磁辐射(“照射源辐射”)。所述照射源辐射可包括至少一个波(“照射波”)。所述照射源辐射可包括至少两个照射波。每个照射波可以具有不同的波长。所述至少一个照射源可以直接照射目标。在这种配置中，在照射源和目标之间没有光学组件。所述至少一个照射源可以间接照射目标。在这种配置中，在照射源和目标之间存在至少一个光学组件。所述照射源可以通过同时传输所有照明波以每个照射波长照射目标。所述照射源可以通过顺序地传输所有照明波来以每个照射波长照射目标。
在本公开中，所述照射源可以包括相干电磁辐射源。所述相干电磁辐射源可包括激光器、二极管、双光子激发源、三光子激发源、或者它们的组合。
在本公开中，所述照射源辐射可包括波长在300nm到1,300nm范围内的照射波。所述照射源辐射可包括波长在300nm至700nm范围内的照射波。所述照射源辐射可包括波长在690nm至1,300nm范围内的照射波。例如，所述照射源可以是单光子激发源，其能够产生300至700nm范围内的电磁辐射。例如，这种单光子激发源可产生电磁辐射，该电磁辐射可以包括波长为约405nm、约458nm、约488nm、约514nm、约554nm、约561nm、约592nm的波、约630nm、或者它们的组合的波。在另一个示例中，源可以是双光子激发源，其能够产生690nm至1,300nm范围内的电磁辐射。这种激发源可以是可调激光器。在另一个示例中，源可以是单光子激发源和双光子激发源，其能够产生300nm至1,300nm范围内的电磁辐射。例如，这种单光子激发源可以产生电磁辐射，该电磁辐射可以包括波长为约405nm、约458nm、约488nm、约514nm、约554nm、约561nm、约592nm的波、约630nm、或者它们的组合的波。例如，这种双光子激发源可能能够产生690nm至1,300nm范围内的电磁辐射。这种双光子激发源可以是可调激光器。
在本公开中，所述照射源辐射的强度可不高于某一水平，使得当目标被照射时，所述目标不会被所述照射源辐射损坏。
在本公开中，所述高光谱成像***可包括显微镜。所述显微镜可以是任何显微镜。例如，所述显微镜可以是光学显微镜。任何光学显微镜都可能适用于该***。光学显微镜的示例可以是双光子显微镜、单光子共聚焦显微镜、或者它们的组合。所述双光子显微镜的示例公开在Alberto Diaspro撰写的《Confocal and Two-Photon Microscopy：Foundations，Applications and Advances》，见2001年11月《Wiley-Liss》，纽约；以及GreenfieldSluder和David E.Wolf撰写的《Digital Microscopy》第4版，见2013年8月20日出版的《Academic Press》。这些出版物中的每一个的全部内容通过引用并入本文。
图15中示出了包括荧光显微镜100的示例性光学***。该示例性光学***可包括至少一个光学组件。在该***中，光学组件可包括照射源101、二向色镜/分束器102、第一光学透镜103、第二光学透镜104和检测器106。这些光学组件可形成荧光显微镜100。该示例性***可以适用于形成目标105的图像。照射源可以产生照射源辐射107。所述二向色镜/分束器102可以反射照明波以照射目标105。结果，该目标可以发射电子辐射(例如荧光)108并反射回照射源辐射107。二向色镜/分束器102可以对来自目标的照射源辐射进行滤光，并且可以实质上防止从目标反射的照射源辐射到达检测器。通过使用这些光学组件检测到的目标图像和目标辐射的测量强度可以通过使用本公开的***特征/配置来生成目标的非混色图像。例如，可以通过使用图22和图23中示意性示出的任何***特征/配置来生成目标的这种非混色图像。
图16中示出了包括多重照射波长显微镜200的示例性光学***。该示例性光学***可包括至少一个光学组件。在该***中，光学组件可包括照射源101、二向色镜/分束器102、第一光学透镜103、第二光学透镜104和检测器106。这些光学组件可形成包括以下的高光谱成像***：荧光显微镜、反射显微镜、或者它们的组合。该示例性***可以适用于形成目标105的图像。照射源可以产生包括多个波的照射源辐射，其中每个波可以具有不同的波长。例如，该示例中的照射源可以产生包括两个波的照射源辐射201和202，每个波具有不同的波长。照射源可以以每个波长顺序地照射目标。二向色镜/分束器102可以反射照射源辐射以照射目标105。结果，目标可以发射和/或可以反射回电磁辐射的波。在一个示例中，二向色镜/分束器102可以对来自目标的电磁辐射进行过滤，并且可以实质上允许发射辐射到达检测器并实质上防止从目标反射的照射源辐射到达检测器。在另一个示例中，二向色镜/分束器102可以仅传输来自目标的反射波，但是实质上对来自目标的发射波进行过滤，从而仅允许来自目标的反射波到达检测器。然而在另一个示例中，二向色镜/分束器102可以传输来自目标的反射辐射和发射辐射，从而允许来自目标的反射辐射和反射辐射二者到达检测器。在该示例中，多个波可以到达检测器，每个波具有不同的波长。例如，到达检测器的电磁辐射可以具有两个波203和204，每个波具有不同的波长。通过使用这些光学组件检测到的目标图像和目标辐射的测量强度可以通过使用本公开的***特征/配置来生成目标的非混色图像。例如，可以通过使用图22和图23中示意性示出的任何***特征/配置来生成目标的这种非混色图像。
图17中示出了包括多波长检测显微镜300的另一示例性高光谱成像***。该示例性高光谱成像***可包括至少一个光学组件。在该***中，光学组件可包括第一光学透镜103、色散光学器件302和检测器阵列304。这些光学组件可形成包括荧光装置、反射装置、或者它们的组合的高光谱成像***。该示例性***可以适用于形成目标105的图像。目标可以发射和/或可以反射电磁辐射的波301。在该示例中，至少一个波或至少两个波可以到达检测器阵列。每个波可以具有不同的波长。色散光学器件302可以形成光谱分散的电磁辐射303。通过使用这些光学组件检测到的目标图像和目标辐射的测量强度可以通过使用本公开的***特征/配置来生成目标的非混色图像。例如，可以通过使用图22和图23中示意性示出的任何***特征/配置来生成目标的这种非混色图像。
图18中示出了包括多波长检测显微镜400的另一示例性高光谱成像***。该示例性高光谱成像***可包括至少一个光学组件。在该***中，光学组件可包括照射源101、二向色镜/分束器102、第一光学透镜103、色散光学器件302和检测器阵列304。这些光学组件可形成包括荧光装置的高光谱成像***。该示例性***可以适用于形成目标105的图像。照射源可以产生包括至少一个波107的照射源辐射。每个波可以具有不同的波长。照射源可以以每个波长顺序地照射目标。二向色镜/分束器102可以反射照射波以照射目标105。结果，目标可以发射电磁辐射的波。二向色镜/分束器102可以实质上允许发射波301到达检测器阵列，但是可以对目标辐射进行过滤，从而实质上防止从目标反射的波到达检测器阵列。在该示例中，到达检测器阵列的发射辐射可以包括多个波，每个波具有不同的波长。色散光学器件302可以形成光谱分散的电磁辐射303。通过使用这些光学组件检测到的目标图像和目标辐射的测量强度可以通过使用上面公开的***特征产生目标的非混色图像。例如，可以通过使用图22和图23中示意性示出的任何***特征来生成目标的这种非混色图像。
图19中示出了包括多重照射波长和多波长检测装置500的另一示例性高光谱成像***。该示例性高光谱成像***可包括至少一个光学组件。在该***中，光学组件可包括照射源101、二向色镜/分束器102、第一光学透镜103、色散光学器件302和检测器阵列304。这些光学组件可形成包括以下的高光谱成像***：荧光显微镜、反射显微镜、或者它们的组合。该示例性***可以适用于形成目标105的图像。照射源可以产生包括多个波的照射波，其中每个波可以具有不同的波长。例如，该示例中的照射源可以产生包括两个波的照射源辐射201和202，每个波具有不同的波长。照射源可以以每个波长顺序地照射目标。二向色镜/分束器102可以反射照射辐射以照射目标105。结果，目标可以发射和/或可以反射回电磁辐射。在一个示例中，二向色镜/分束器102可以对来自目标的辐射进行过滤，以实质上仅允许发射辐射到达检测器阵列，但是实质上防止从目标反射的辐射到达检测器阵列。在另一示例中，二向色镜/分束器102可以仅传输来自目标的反射波，但实质上对来自目标的发射波进行过滤，从而实质上仅允许来自目标的反射波到达检测器阵列。而在另一示例中，二向色镜/分束器102可以实质上传输来自目标的反射波和发射波二者，从而允许来自目标的反射波和反射光束二者到达检测器阵列。在该示例中，到达检测器阵列的光束可以具有多个波，每个波具有不同的波长。例如，到达检测器阵列的光束可以具有两个波203和204，每个波具有不同的波长。色散光学器件302可以形成光谱分散的电磁辐射303。通过使用这些光学组件检测到的目标图像和目标辐射的测量强度可以通过使用本公开的***特征/配置来生成目标的非混色图像。例如，可以通过使用图22和图23中示意性示出的任何***特征/配置来生成目标的这种非混色图像。
图20中示出了包括多波长检测装置600的另一示例性光学***。该示例性光学***可包括至少一个光学组件。在该***中，光学组件可包括照射源101、第一光学透镜103、色散光学器件302和检测器阵列304。这些光学组件可形成包括荧光和/或反射装置的高光谱成像***。该示例性***可以适用于形成目标105的图像。照射源可以产生包括至少一个波107的照射源辐射。每个波可以具有不同的波长。照射源可以以每个波长顺序地照射目标。结果，目标可以发射、反射、折射和/或吸收电磁辐射的光束203。在该示例中，到达检测器阵列的发射、反射、折射和/或吸收的光束可以包括多个波，每个波具有不同的波长。色散光学器件302可以形成光谱分散的电磁辐射303。通过使用这些光学组件检测到的目标图像和目标辐射的测量强度可以通过使用本公开的***特征/配置来生成目标的非混色图像。例如，可以通过使用图22和图23中示意性示出的任何***特征/配置来生成目标的这种非混色图像。
图21中示出了包括多波长检测装置700的另一示例性光学***。该光学***可包括至少一个光学组件。在该***中，光学组件可包括照射源101、第一光学透镜103、色散光学器件302和检测器阵列304。这些光学组件可形成包括荧光和/或反射装置的高光谱成像***。该示例性***可以适用于形成目标105的图像。照射源可以产生包括至少一个波107的照射源辐射。每个波可以具有不同的波长。照射源可以以每个波长顺序地照射目标。结果，目标可以发射、透射、折射和/或吸收电磁辐射的光束203。在该示例中，到达检测器阵列的发射、透射、折射和/或吸收的电磁辐射可以包括多个波，每个波具有不同的波长。色散光学器件302可以形成光谱分散的电磁辐射303。通过使用这些光学组件检测到的目标图像和目标辐射的测量强度可以通过使用本公开的***特征/配置来生成目标的非混色图像。例如，可以通过使用图22和图23中示意性示出的任何***特征/配置来生成目标的这种非混色图像。
在本公开中，图像形成***可以包括控制***40、硬件处理器50、存储器***60、显示器70、或者它们的组合。图14中示出了示例性图像形成***。控制***可以是任何控制***。例如，控制***可以配置成控制光学***。例如，控制***可以配置成控制光学***的至少一个光学组件。例如，控制***可以配置为控制至少一个光学检测器以检测目标辐射、检测每个目标波的强度和波长、将检测到的每个目标波的强度和波长传输到图像形成***、以及显示目标的非混色图像。例如，控制***可以配置为控制光学组件的运动，例如，光学快门的打开和关闭、镜子的运动等。硬件处理器可以是任何硬件处理器。例如，硬件处理器可以配置为形成目标图像、执行相量分析、执行强度谱的傅立叶变换、应用去噪滤光器、形成相量平面、映射回相量点、分配任意颜色、生成目标的非混色图像等、或者它们的这种配置的组合。存储器***可以是任何存储器***。例如，存储器***可以配置为接收和存储来自硬件处理器的输入。这些输入例如可以是目标图像、目标辐射、强度谱、相量平面、目标的非混色图像等、或者这些配置的组合。例如，存储器***可以配置为向图像形成***的其他组件提供输出，例如，向处理器和/或显示器提供输出。这些输出例如可以是目标图像、目标辐射、强度谱、相量平面、目标的非混色图像等、或者这些配置的组合。显示器可以是任何显示器。例如，显示器可以配置为显示目标图像、强度谱、相量平面、目标的非混色图像等、或者这些配置的组合。
在本公开中，图像形成***可以具有使得光学检测器检测目标辐射并将检测到的每个目标波的强度和波长传输到图像形成***的配置。
在本公开中，图像形成***可以具有获取检测到的包括至少两个目标波的目标辐射的配置。
在本公开中，图像形成***可以具有获取包括至少两个目标波的目标辐射的配置，每个波具有强度和不同的波长。
在本公开中，图像形成***可以具有获取目标图像的配置，其中目标图像包括至少两个像素，并且其中每个像素对应于目标上的一个物理点。
在本公开中，图像形成***可以具有使用检测到的目标辐射形成目标的图像(“目标图像”)的配置。所述目标图像可包括至少一个像素。所述目标图像可包括至少两个像素。每个像素对应于目标上的一个物理点。
在本公开中，可以以任何形式形成/获取目标图像。例如，目标图像可以具有视觉形式和/或数字形式。例如，形成/获取的目标图像可以是存储的数据。例如，形成/获取的目标图像可以作为数据存储在存储器***中。例如，形成/获取的目标图像可以显示在图像形成***的显示器上。例如，形成/获取的目标图像可以是打印在纸张或任何类似介质上的图像。
在本公开中，图像形成***可以具有使用检测到的每个目标波的强度和波长为每个像素形成至少一个光谱(“强度谱”)的配置。
在本公开中，图像形成***可以具有为每个像素获取至少一个强度谱的配置，其中强度谱包括至少两个强度点。
在本公开中，可以以任何形式形成/获取强度谱。例如，强度谱可以具有视觉形式和/或数字形式。例如，形成/获取的强度谱可以是存储的数据。例如，形成/获取的强度谱可以作为数据存储在存储器***中。例如，形成/获取的强度谱可以显示在图像形成***的显示器上。例如，形成/获取的强度谱可以是印刷在纸张或任何类似介质上的图像。
在本公开中，图像形成***可以具有使用傅立叶变换将形成的每个像素的强度谱变换为基于每个像素的强度谱的复值函数的配置，其中每个复值函数具有至少一个实部和至少一个虚部。
在本公开中，图像形成***可以具有对每个复值函数的实部和虚部二者应用去噪滤光器至少一次，以便为每个像素产生去噪的实数值和去噪的虚数的配置。
在本公开中，图像形成***可以具有通过绘制每个像素的去噪的实数值与去噪的虚部值来为每个像素在相量平面上形成一个点(“相量点”)的配置。图像形成***可以例如通过使用其硬件组件(例如，控制***、硬件处理器、存储器、或者它们的组合)来形成相量平面。图像形成***可以显示相量平面。
在本公开中，可以以任何形式形成/获取相量点和/或相量平面。例如，相量点和/或相量平面可以具有视觉形式和/或数字形式。例如，形成/获取的相量点和/或相量平面可以是存储的数据。例如，形成/获取的相量点和/或相量平面可以作为数据存储在存储器***中。例如，形成/获取的相量点和/或相量平面可以显示在图像形成***的显示器上。例如，形成/获取的相量点和/或相量平面可以是印刷在纸张或任何类似介质上的图像。
在本公开中，图像形成***可以具有基于相量平面上的相量点的几何位置将相量点映射回目标图像上的相应像素的配置。在本公开中，图像形成***可以具有基于相量平面上的每个相量点的几何位置将相量平面映射回相应的目标图像的配置。图像形成***可以例如通过使用其硬件组件(例如，控制***、硬件处理器、存储器、或者它们的组合)来将相量点映射回来。
在本公开中，可以以任何形式将相量点和/或相量平面映射回来。例如，映射回的相量点和/或相量平面可以具有视觉形式和/或数字形式。例如，映射回的相量点和/或相量平面可以是存储的数据。例如，映射回的相量点和/或相量平面可以作为数据存储在存储器***中。例如，映射回的相量点和/或相量平面可以显示在图像形成***的显示器上。例如，映射回的相量点和/或相量平面可以是打印在纸张或任何类似介质上的图像。
在本公开中，图像形成***可以具有基于相量平面上的相量点的几何位置将任意颜色分配给相应像素的配置。
在本公开中，图像形成***可以具有基于分配的任意颜色生成目标的非混色图像的配置。
在本公开中，非混色图像可以以任何形式形成。例如，非混色图像可以具有视觉形式和/或数字形式。例如，非混色图像可以是存储的数据。例如，非混色图像可以作为数据存储在存储器***中。例如，非混色图像可以显示在图像形成***的显示器上。例如，非混色图像可以是印刷在纸张或任何类似介质上的图像。
在本公开中，图像形成***可以具有在图像形成***的显示器上显示目标的非混色图像的配置。
在本公开中，图像形成***可以具有上述配置的任何组合。
在本公开中，图像形成***可以配置为至少使用傅立叶变换的一个谐波来生成目标的非混色图像。图像形成***可以配置为至少使用傅立叶变换的一次谐波来生成目标的非混色图像。图像形成***可以配置为至少使用傅立叶变换的二次谐波来生成目标的非混色图像。图像形成***可以配置为至少使用傅立叶变换的一次谐波和二次谐波来生成目标的非混色图像。
在本公开中，去噪滤光器可以是任何去噪滤光器。例如，去噪滤光器可以是这样的去噪滤光器，使得当应用去噪滤光器时，图像质量不会受到损害。例如，当应用去噪滤光器时，图像中的每个像素处所检测到的电磁辐射强度可不改变。合适的去噪滤光器的示例可以包括中值滤光器。
在本公开中，可以以1.2至50的范围内的至少一个光谱的信噪比下形成目标的非混色图像。可以以2到50的范围内的至少一个光谱的信噪比形成目标的非混色图像。
在一个示例中，用于生成目标的非混色图像的示例性高光谱成像***可以包括光学***和图像形成***。光学***可包括至少一个光学组件。至少一个光学组件可包括至少一个光学检测器。所述至少一个光学检测器可以具有用于以下的配置：检测由目标上的至少一个物理点吸收、透射、折射、反射和/或发射的电磁辐射(“目标辐射”)，所述目标辐射包括至少两个波(“目标波”)，每个波具有强度和不同的波长；检测每个目标波的强度和波长；并且将检测到的目标辐射和每个目标波的检测强度和波长传输到图像形成***。图像形成***可包括控制***、硬件处理器、存储器和显示器。图像形成***可以具有用于以下的配置：使用检测到的目标辐射形成目标的图像(“目标图像”)，其中所述目标图像包括至少两个像素，并且其中每个像素对应于目标上的一个物理点；使用检测到的每个目标波的强度和波长，为每个像素形成至少一个光谱(“强度谱”)；使用傅立叶变换将形成的每个像素的强度谱变换为基于每个像素的强度谱的复值函数，其中每个复值函数具有至少一个实部和至少一个虚部；对每个复值函数的实部和虚部应用去噪滤光器至少一次，以便为每个像素产生去噪的实数值和去噪的虚数值；通过描绘每个像素的去噪的实数值与去噪的虚数值，在每个像素的相量平面(“相量点”)上形成一个点；基于相量平面上的相量点的几何位置，将相量点映射回目标图像上的相应像素；基于相量平面上的相量点的几何位置，将任意颜色分配给所述相应像素；基于分配的任意颜色生成目标的非混色图像；以及在图像形成***的显示器上显示目标的非混色图像。
在一个示例中，图像形成***可以具有使得光学检测器检测目标辐射并将检测到的每个目标波的强度和波长传输到图像形成***的配置。该图像形成***可以获取检测到的包括至少两个目标波的目标辐射；使用检测到的目标辐射形成目标的图像(“目标图像”)，其中所述目标图像包括至少两个像素，并且其中每个像素对应于目标上的一个物理点；使用检测到的每个目标波的强度和波长，为每个像素形成至少一个光谱(“强度谱”)；使用傅立叶变换将形成的每个像素的强度谱变换为基于每个像素的强度谱的复值函数，其中每个复值函数具有至少一个实部和至少一个虚部；对每个复值函数的实部和虚部二者应用去噪滤光器至少一次，以便为每个像素产生去噪的实数值和去噪的虚数值；通过描绘每个像素的去噪的实数值与去噪的虚数值，在每个像素的相量平面(“相量点”)上形成一个点；基于相量平面上的相量点的几何位置，将相量点映射回目标图像上的相应像素；基于相量平面上的相量点的几何位置，将任意颜色分配给所述相应像素；以及基于分配的任意颜色生成目标的非混色图像。该图像形成***可以具有在图像形成***的显示器上显示目标的非混色图像的另一配置。
在另一个示例中，图像形成***可以具有用于以下的配置：获取包括至少两个目标波的目标辐射，每个波具有强度和不同的波长；形成目标图像，其中所述目标图像包括至少两个像素，并且其中每个像素对应于目标上的一个物理点；使用每个目标波的强度和波长为每个像素形成至少一个强度谱；使用傅立叶变换将形成的每个像素的强度谱变换为基于每个像素的强度谱的复值函数，其中每个复值函数具有至少一个实部和至少一个虚部；对每个复值函数的实部和虚部应用去噪滤光器至少一次，以便为每个像素产生去噪的实数值和去噪的虚数值；通过描绘每个像素的去噪的实数值与去噪的虚数值，为每个像素形成一个相量点；基于相量平面上的相量点的几何位置，将相量点映射回目标图像上的相应像素；基于相量平面上的相量点的几何位置，将任意颜色分配给所述相应像素；以及基于分配的任意颜色生成目标的非混色图像。该示例性图像形成***可以具有在图像形成***的显示器上显示目标的非混色图像的另一配置。
在另一示例中，图像形成***可以具有用于以下的配置：获取目标图像，其中所述目标图像包括至少两个像素，并且其中每个像素对应于目标上的一个物理点；获取每个像素的至少一个强度谱，其中强度谱包括至少两个强度点；使用傅立叶变换将每个像素的强度谱变换为基于每个像素的强度谱的复值函数，其中每个复值函数具有至少一个实部和至少一个虚部；对每个复值函数的实部和虚部应用去噪滤光器至少一次，以便为每个像素产生去噪的实数值和去噪的虚数值；通过描绘每个像素的去噪的实数值与去噪的虚数值，为每个像素形成一个相量点；基于相量平面上的相量点的几何位置，将相量点映射回目标图像上的相应像素；基于相量平面上的相量点的几何位置，将任意颜色分配给所述相应像素；以及基于分配的任意颜色生成目标的非混色图像。该示例性图像形成***可以具有在图像形成***的显示器上显示目标的非混色图像的另一配置。
图22中示意性地示出了高光谱成像***的一个示例。在该示例中，成像***可以获得目标401的图像。该图像可以包括至少两个波和至少两个像素。***可以使用每个波的强度(“强度谱”)402形成目标的图像。***可以通过使用傅立叶变换403变换每个像素的强度谱，从而形成基于检测到的每个像素的强度谱的复值函数。每个复值函数可以具有至少一个实部404和至少一个虚部405。***可以对每个复值函数的实部和虚部二者应用去噪滤光器406至少一次。因此，***可以获得每个像素的去噪的实数值和去噪的虚数值。***可以绘制每个像素的去噪的实数值与去噪的虚数值。因此，***可以在相量平面上形成点407。***可以通过使用图像的至少一个或多个像素在相量平面上形成至少一个附加点。***可以基于其在相量平面上的几何位置来选择相量平面上的至少一个点。***可以将相量平面上的所选点映射回408目标图像上的相应像素，并且可以将颜色分配给该相应像素，并且其中基于相量平面上的点的几何位置来分配颜色。结果，***因此可以生成目标的非混色图像409。
图23中示意性地示出了高光谱成像***的另一示例。在该示例中，高光谱成像***还包括至少一个检测器106或检测器阵列304。该成像***可以通过使用检测器或检测器阵列形成目标的图像401。图像可包括至少两个波和至少两个像素。***可以使用每个波的强度(“强度谱”)402形成目标的图像。***可以通过使用傅立叶变换403变换每个像素的强度谱，从而形成基于检测到的每个像素的强度谱的复值函数。每个复值函数可以具有至少一个实部404和至少一个虚部405。***可以对每个复值函数的实部和虚部二者应用去噪滤光器406至少一次。因此，***可以获得每个像素的去噪的实数值和去噪的虚数值。***可以绘制针每个像素的去噪的实数值与去噪的虚数值。因此，***可以在相量平面上形成点407。***可以通过使用图像的至少一个或多个像素在相量平面上形成至少一个附加点。***可以基于其在相量平面上的几何位置来选择相量平面上的至少一个点。***可以将相量平面上的所选点映射回408目标图像上的相应像素，并且可以将颜色分配给所述相应像素，并且其中基于相量平面上的点的几何位置来分配颜色。结果，***因此可以生成目标的非混色图像409。
在本公开中，目标可以是任何目标。目标可以是具有特定颜色光谱的任何目标。例如，目标可以是组织、荧光遗传标记、无机目标、或者它们的组合。
在本公开中，可以通过使用参考来校准***以将颜色分配给每一像素。参考可以是任何已知的参考。例如，参考可以是其中在生成目标的非混色图像之前确定参考的非混色图像的任何参考。例如，参考可以是物理结构、化学分子、生物分子、由于物理结构变化和/或疾病导致的生物活性(例如生理变化)。
在本公开中，目标辐射可以包括荧光。适用于荧光检测的高光谱成像***可包括光学滤光***。光学滤光***的示例是：第一滤光器，用于实质上降低到达检测器的源辐射的强度。第一滤光器可以放置在目标和检测器之间。第一滤光器可以是任何滤光器。第一滤光器的示例可以是二向色滤光器、分束器型滤光器、或者它们的组合。
在本公开中，适用于荧光检测的高光谱成像***还可包括第二滤光器。第二滤光器可以放置在第一滤光器和检测器之间，以进一步降低到达检测器的源辐射的强度。第二滤光器可以是任何滤光器。第二滤光器的示例可以是陷波滤光器、有源滤光器、或者它们的组合。有源滤光器的示例可以是自适应光学***、声光可调滤光器、液晶可调带通滤光器、法布里-珀罗干涉滤光器、或者它们的组合。
在本公开中，可以通过使用参考材料来校准高光谱成像***以将颜色分配给每个像素。参考材料可以是任何已知的参考材料。例如，参考材料可以是任何参考材料，其中在生成目标的非混色图像之前确定参考材料的非混色图像。例如，参考材料可以是物理结构、化学分子(即化合物)、由于物理结构变化和/或疾病导致的生物活性(例如生理变化)。化学化合物可以是任何化合物。例如，化合物可以是生物分子(即化合物)。
在本公开中，高光谱成像***可用于诊断任何健康状况。例如，高光谱成像***可用于诊断任何哺乳动物的任何健康状况。例如，高光谱成像***可用于诊断人类的任何健康状况。健康状况的示例可包括疾病、先天性畸形、障碍、伤口、损伤、溃疡、脓肿等。健康状况可能与组织有关。组织可以是任何组织。例如，组织可以包括皮肤。与皮肤或组织相关的健康状况的示例可以是皮肤病变。皮肤病变可以是任何皮肤病变。皮肤病变的示例可以是皮肤癌、瘢痕、痤疮形成、疣、伤口、溃疡等。皮肤或组织的健康状况的其他示例可以是组织或皮肤的组成，例如，组织或皮肤的湿度水平、油性、胶原蛋白含量、毛发含量等。
在本公开中，目标可以包括组织。高光谱成像***可以显示组织的非混色图像。健康状况可能导致组织化学成分的差异。该化学组合物可以与化学化合物有关，化学化合物例如是血红蛋白、黑色素、蛋白质(例如胶原蛋白)、氧水等、或者它们的组合。由于组织化学成分的差异，受健康状况影响的组织的颜色可能看起来不同于不受健康状况影响的组织的颜色。由于这种颜色差异，可以诊断组织的健康状况。因此，高光谱成像***可以允许用户诊断例如皮肤状况，而不管室内照明和皮肤色素沉着水平如何。
例如，当电磁辐射传播通过组织时，传递到生物组织的照射源辐射可经历生物结构的不均匀性的多次散射和化学化合物(例如组织中存在的血红蛋白、黑色素和水)的吸收。例如，组织的吸收、荧光和散射特性可在疾病进展期间改变。因此，例如，由本公开的高光谱成像的光学检测器检测到的来自组织的反射光、荧光和透射光可携带关于组织病理学的定量诊断信息。
健康状况的诊断可以由任何用户(包括医生、医务人员或消费者)执行。
通过使用高光谱成像***获得的诊断信息可以确定组织的健康状况。因此，该诊断信息可以例如在手术或治疗之前、期间和/或之后增强患者的临床结果。例如，该高光谱成像***可以用于通过确定例如患者组织的健康状况来跟踪患者随时间的健康演变。在本公开中，患者可以是任何哺乳动物。例如，哺乳动物可以是人类。
在本公开中，上文公开的参考材料可用于诊断健康状况。
在本公开中，包括HySP的高光谱成像***可以配置为应用傅立叶变换以将跨光谱收集的所有光子转换成二维(2D)相量图(“密度图”)中的一个点。与线性分离方法相比，降低的维度在低SNR方案中可以表现良好，其中每个通道的误差可能有助于拟合结果。在任何成像***中，染料在一个时间间隔内发射的光子数可以是随机(泊松)过程，其中信号(总数字计数)可以缩放为所获得的光子的平均数N；并且噪声可以按N的平方根
Figure GDA0003203758970000351
进行缩放。荧光发射的这种泊松噪声和检测器读出噪声在较低光水平下可能变得更加显著。首先，可以定量评估HySP图的误差。然后，该信息可用于开发降噪方法，以证明包含HySP的高光谱成像***是用于在低SNR方案中解析体内延时高光谱荧光信号的鲁棒***。
以下特征也在本公开的范围内。
对于数据集中的每个像素，其归一化光谱的傅立叶系数可以定义其相量点(z(n))的坐标，其中n为谐波数(下面的方程1)。本文的正弦变换和余弦变换可用于保证两个归一化的相同光谱产生相同的相量点(图1b，插图)。当这些变换应用于实际数据时，***(例如，包括显微镜的***)可能具有多个噪声源，这些噪声源可能影响相量点的精确坐标。每个光谱级别中的泊松噪声和检测器噪声可能导致相量图上的点的散射，这在下文中称为散射误差(std{z(n)})。另外，受损的SNR和信号饱和可能改变散射分布本身的平均位置，这在下文中称为偏移平均误差。
当在相量图上表示相同荧光团的多次测量时，可以在光谱的预期指纹ze(n)周围观察到散射误差，并且可以将其视为ze(n)周围的相量点的标准偏差(图1c)。偏移平均误差可能是由于SNR降低、不适当的黑电平设置或不适当的增益设置(饱和)导致光谱形状退化的结果。根据***的设置，相量图上的平均指纹位置可以从其预期位置ze(n)偏移偏移平均误差的量(图1d)。结合起来，这两个误差可能会使相量图上的正确位置ze(n)周围的点分散。
实验中的光子计数可以帮助量化对任一形式的误差的界限的估计。大多数显微镜上的检测器，特别是商业多光谱共焦***，可以记录模拟信号而不是光子计数。对于包括这种显微镜的***，可以实现在模拟模式下记录的强度值方面对这些误差的定量估计。
为了开发用于估计两种误差源对相量图的贡献的实验方法，荧光素在配备有并行多通道光谱检测器的商业共聚焦显微镜上的发射光谱在不同的采集参数下(表1，如下所示)的记录如下。
表1：荧光素成像的参数。
Figure GDA0003203758970000361
基于本公开中使用的变换和通过统计误差的传播，可以导出散射误差std{z(n)}。它可以与总数字计数N的平方根成反比(下面的方程2)。实验数据证实，对于标准显微镜设置范围内的不同采集参数，散射误差与
Figure GDA0003203758970000371
成反比(图1e，图4a)。此外，方程2中的比例常数取决于采集中使用的检测器增益(图5e和表2，如下所示)。
表2：用于计算相量图上的散射误差的曲线的比例常数。
Figure GDA0003203758970000372
检测器散粒噪声可以与增益成比例[22]，并且散射误差凭经验显示该特性(图5d至图5e)。给定用不同显微镜设置测量的相同的归一化光谱，具有较高增益值的光谱可能具有较高的散射误差。然而，对于不同的成像参数，光谱指纹的预期位置|ze(n)|可以在大的总数字计数范围内保持恒定(图5a至图5c)。
光谱的移位平均值的变化。相量图可以依赖于像素的归一化光谱来确定坐标。然而，信号饱和和非常低的光子计数(低信噪比(SNR))二者都可能导致不相同的归一化光谱(图1b，插图)。这可能会改变|z(n)|在总数字计数的极值处的值(图4a至图4c)。在低SNR下，信号可能与噪声无法区分。在非常高的SNR下，对应于检测器上的饱和值(图1b，插图)的几个波长的相同强度值可能使光谱再次无信息。在任何一种情况下，相量点可以移动到更接近原点，导致|z(n)|的低值。在恒定区域内(图4a至图4d)，|z(n)|的值可能对三个参数(即检测器增益、功率和像素停留时间)中的检测器增益值的变化最敏感(图4a至图4c)。
用于测量的检测类型可能影响相量上的误差。在任何成像***中，染料在时间间隔期间发射的光子数可以是随机(泊松)过程，其中信号可以缩放为所获得的光子的平均数N，并且噪声可以缩放为√N。通常，噪声源可以包括由(i)信号光(ii)背景光和(iii)暗电流产生的散粒噪声。
在实验中，模拟检测器用于所有测量。典型的光电倍增管(PMT)可以测量阳极处的电子脉冲，该电子脉冲由光子撞击其光电阴极而产生。这些脉冲可以单独计数，也可以作为给定间隔内的平均光电流计数，从而分别允许数字操作模式(光子计数)和模拟操作模式二者。虽然来自信号和背景光的噪声(泊松)对于模拟计数和数字计数可以保持相同，但是来自暗电流的散粒噪声可以在两种模式中变化。暗电流可以由具有典型脉冲高度分布的热电子组成，在光子计数中，热电子可以使用脉冲高度鉴别器从信号中鲁棒地区分并因此消除。在模拟模式中，平均脉冲也可能包含暗电流，从而导致较高的噪声。与模拟模式相比，可以提高数字模式下的信噪比(SNR)。另外，光子计数模式可以在低信号电平下更好地执行，以避免两个光子同时到达。模拟模式可以在很宽的光子电平范围内操作。
出于HySP的目的，傅立叶变换可以将跨光谱收集的所有光子转换成相量图中的一个点。在光子计数模式中，由于与低信号电平的模拟模式相比改进的SNR，可以预期会进一步提高HySP性能。
光谱指纹的可重复性可能对偏移平均误差(即对指纹质量的度量)具有两个主要影响。首先，因为它可以是|ze(n)|的函数，所以除了极端计数值之外，该误差可能在大范围的数字计数中保持低于5％(图1f)。与散射误差类似，在合理范围内，它可能仅对检测器增益的变化稍微敏感。其次，两个误差的大小的比较可以表明在相量分析中散射误差可能是主要的(图1f，插图)。因此，由于次优成像参数，相量点的任何偏移都可能被掩埋在散射内。
因为散射误差可能支配HySP图上的误差，并且相量图可以将光谱维度从32减小到2，所以可以在不改变强度数据的情况下通过在相量空间中直接应用滤光器来减少光谱图像的去噪，从而减少散射误差。这里，应用相量空间中的去噪滤光器来减少数据中的散射误差，并且特别是在低信号值时，观察到指纹位置的|ze(n)|显著恢复。曲线图显示，去噪可能不会改变预期值(ze(n))的位置(图4b至图4d)，但是可以减少散射误差(图4c)。重复应用去噪滤光器可能导致通常在五次迭代之后发生的改进的平台。由于滤光器可以应用于相量空间，因此它可能不会影响图像的强度分布(图9和图10)。
相量空间中的光谱去噪。可以通过直接在相量空间中应用滤光器来执行光谱去噪。这可以保持原始图像分辨率，但可以改进相量图中的光谱指纹识别。本文应用的滤光器可以是中值滤光器。然而，其他方法也是可能的。对于给定尺寸(n×m像素)的任何图像，可以针对每个像素获得S值和G值，从而对于S和G产生2个新的2D矩阵，其尺寸为n×m。由于初始S矩阵条目和G矩阵条目可以具有与图像中的像素相同的索引，因此滤波后的矩阵S*和G*可以保留几何信息。通过在相量空间中使用滤波，S矩阵和G矩阵可以被视为2D图像。首先，这可以减小散射误差，即增加相量图上的定位精度(图8a至图8b)，从而改进光谱指纹分辨率，同时改进已经最小的偏移平均误差(图8c至图8d)。对数据的影响可以是改进的不同荧光蛋白的分离(图9a至图9d)。其次，(G，S)坐标中的去噪可以保持所获取的图像的几何形状、强度分布以及原始分辨率(图9e至图9g)。在相量空间中有效地滤波可以影响数据的光谱尺寸，从而在不干扰强度的情况下实现光谱噪声的去噪。
改进的信号收集(图11)和降低的不确定性似乎使HySP成为体内成像的吸引人的技术。细胞和组织相互作用的研究通常可能涉及在发育中的胚胎或其他生物样品的相同解剖区域内使用多种荧光标记。此外，多(高)光谱荧光的数据集大小可以比标准共聚焦大n倍，其中n等于所获得的带宽数量(例如32)。
获得整体斑马鱼胚胎的四维(x，y，z，λ)数据，并在HySP图中表示来自所有像素的光谱信息，以识别从组织到亚细胞尺度的荧光团指纹(表3)。
表3：体内成像的参数。所有数据点都是16位整数。
Figure GDA0003203758970000401
Figure GDA0003203758970000411
在相量空间中选择的点在原始体积中重新映射并呈现为最大强度投影。这成功地分别捕获了转基因斑马鱼胚胎，Gt(desm-citrine)ct122a/+和Tg(kdrl：eGFP)中Citrine(骨骼肌)和eGFP(内皮组织)的独特光谱指纹[23,24](图6a、图7a)。在组织规模上，即使在双转基因Gt(desm-citrine)ct122a/+；Tg(kdrl：eGFP)胚胎中，该方法也可以保留Citrine和eGFP的各个光谱指纹(散射密度)，其可以在相同的解剖区域内共表达(图6d)。相量空间中的两个易于分离的散射密度(图6c)可以清楚地区分骨骼肌中的标记与散布的血管(内皮组织)中的标记。另外，通过将自发荧光作为独立的HySP指纹处理，可以清楚地分离该自发荧光(图10)。
相量空间中的自发荧光用于体内成像。高光谱相量可以允许直观地识别荧光蛋白的指纹。这可能显示用于Citrine和eGFP，但也可能对自发荧光有效。细胞内固有荧光可能是体内生物成像中已知且常见的问题。其光谱特征可能与Citrine和eGFP的光谱特征不同。当在相量图上表示为散射密度时，与荧光蛋白相比，自发荧光可以具有不同的(S，G)坐标，并且可在图的不同区域中产生簇区域(图10a)。
有效地，相量图可以将自发荧光识别为单独的光谱指纹，从而允许其被视为独立的成像通道(图10b)。
从组织到亚细胞规模的差距可以通过在相同的双转基因胚胎中用核H2B-cerulean和膜定位的mCherry扩展调色板来桥接。HySP分析可以在约458nm激发下快速识别和分离来自Cerulean、eGFP和Citrine的信号，使其免受黄色素细胞和组织自发荧光的固有信号的影响。类似地，它可以在约561nm激发下将mCherry与背景自发荧光分离(图2)。
最后，可以扩展多维度以包括获得五维(5D)数据集(x，y，z，t，λ)的时间，并且通过充分利用HySP改进的信号采集的优点，可以解决延时成像中的光损伤和漂白的挑战。可以针对激光线(图3)成像双转基因斑马鱼胚胎Tg(ubiq：膜-Cerulea-2a-H2B-tdTomato)；Tg(kdrl：eGFP)中的新血管芽，其表达内体组分的融合蛋白、Rab9和Rab11(分别为YFP和mCherry)和自发荧光。使用的低激光功率(约950nm处约5％、约561nm处约0.15％)可能不影响多个样品(n＝3)的显影，同时允许在不影响光敏发展的情况下同时研究至少有七种明显不同的成分。增加激光功率以改善荧光信号，该荧光引号会引起光毒性增加，该光毒性阻断了血管发芽。
使用相量的多光谱体积延时体内成像。当在体内进行多光谱体积延时时，高光谱相量可允许减少光损伤。在降低的信噪比(图11)下改进的未混合效率可以在解决与过量光子相关的问题中起作用。
通常，当样品中存在多个荧光团时，每个荧光团可以具有最佳激发波长。然而，使用对于激发来说太接近而不会显著影响发射光谱的多个波长(例如，对于CFP、GFP、YFP分别为约458nm、约488nm、约514nm)可能是复杂的。一种解决方案可以是用每个波长顺序激发一些量。顺序激发虽然用于防止发射光谱重叠是最佳的，但可能需要延长扫描时间并且可能导致光损伤和漂白增加。另外，延长的扫描时间可能导致由于样品发展而产生的运动伪影。另一种选择可以是用单波长多个荧光团激发。该方法的缺点可能是最低波长荧光团的激发效率将高于样品中的其他荧光团。例如，在约458nm处，CFP的激发效率为约93％，而GFP为约62％且YFP为约10％。存在影响每个荧光团发射的实际光子数的一系列因素，例如量子产率、亮度、pH和浓度。然而，一般来说，我们可能观察到来自一种荧光蛋白的较强信号和来自另一种荧光蛋白的弱信号。人们可能想要增加激光功率以试图从较弱的信号中提取更多的光子。在实验中，激光功率增加对于约950nm(n＝2)超过10％或对于约458nm(n＝3)超过10％的效果导致由于光毒性而停止的脉管***的发展。相反的解决方案可能是处理较低噪声信号，从而允许样品的正确发展。
高光谱相量方法可以允许在较低SNR下改进性能，因此克服了较弱信号的问题。因此，该优点可以延续到双光子成像，其中激发效率低于单光子成像并且改变激光波长可能需要几秒钟。
因此，在上述3-荧光团示例中，需要获得的体积的数量可以从3减少到1。
相同的方法可以应用于不同颜色的蛋白质簇，例如一个“蓝色”簇CFP-GFP-YFP(在约458nm处激发)、第二“红色”簇mCherry-tdTomato-RFP(在约561nm处激发)、具有多个iRFP的第三簇(在约630nm处激发)。
我们示出了多个样品的双光子多色体积延时成像，作为具有两个颜色簇的潜在应用的示例。
作为这些5D测量的结果，观察到Rab9和Rab11与内皮细胞(kdr1阳性)和肌肉组织的不同行为。特别地，在kdr1阳性细胞的前导处检测到Rab11阳性囊泡，而用rab9蛋白未观察到这种行为。该示例显示了HySP如何使得越来越复杂的多色实验能够在体内询问分子网络相互作用。
HySP可能优于其他传统的多光谱方法：滤光器分离和线性分离[4,6]。由于信号泄漏(图6b、图6e图6f和图7)的问题，传统的光学分离可以产生低信号背景比(SBR)。线性分离可显著改进SBR。然而，HySP可以提供优异的性能，尤其是在较低SNR下从多个固有信号(图2、图3、图6e、图6f和图9)中分离同一样品内的多种颜色(图11)。减少的所需信号量可以允许较低的激光功率并减少延时成像中的光损伤。此外，该约10千兆字节数据集的使用HySP的分析时间(图2a，表3)约为10分钟，而在同一计算机上使用线性分离的分析时间约2.5小时。相量方法的简单性和鲁棒性可以提供在大样品采集后使用HySP分析的潜力。HySP方法很可能用于体内生物过程的实时成像，作为分析镶嵌荧光蛋白表达***[25-27]的解决方案，具有以分钟数量级的计算时间处理多维(x，y，z，λ，t)数据集的能力。
该分析示出了高光谱相量表示的鲁棒性、速度、去噪能力和简单性。在主要由数据采集中的泊松噪声决定的精度范围内，它可以允许光谱的鲁棒区分。因为中值滤波可以用于处理相量空间中的光谱数据而不改变强度数据，所以它可以提供具有实质上不妥协的分辨率的去噪图像。只要有足够的波长区间可用于计算光谱相量的傅立叶系数，高光谱成像***就可以实质上无视成像模式(图13)。这些优点可以使HySP适用于从延时成像到细胞谱系分析、从荧光显微镜到文化遗产反射成像、从发射到激发多光谱数据等各种环境。
本公开的其他示例如下。
示例
示例1：斑马鱼系。
如[28]中所述并且严格按照南加州大学的实验动物护理和使用指南中的建议饲养和维持的成鱼，其中该方案得到了机构动物护理和使用委员会(IACUC)的批准(许可证号：12007USC)。转基因FlipTrap Gt(desm-citrine)ct122a/+系从实验室先前描述的筛选中获得[23]，Tg(kdrl：eGFP)s843系[24]由Stainier实验室提供，并且Tg(ubiq：膜-Cerulean-2a-H2B-tdTomato)系通过注射构建体而生成，所述构建体包含泛素蛋白启动子侧翼的tol2转位因子、膜局部cerulean的编码序列、编码Thosea asigna病毒(2a)的核糖体跳跃肽的短序列，其后是H2B-tdTomato。在穿过适当的成鱼系后，将获得的胚胎在约28.5℃的卵水(在Milli-Q水中，约60μg/ml的速溶小海盐(Instant Ocean)和约75μg/ml的CaSO4)中培养，加入约0.003％(w/v)1-苯基-2-硫脲(PTU)约18hpf以减少色素形成[28]。
示例2：样品制备和成像。
制备约5μM荧光素(F1300，Invitrogen，Carlsbad，CA)的乙醇溶液。为了成像，将溶液转移到密封的10mm玻璃底皿(P35G-1.5-10-c，MatTek Corporation，Ashland，MA，USA)中并安装在倒置共聚焦显微镜中。在具有QUASAR检测器(Carl Zeiss，Jena，Germany)的ZeissLSM780倒置共聚焦显微镜上进行成像。典型的数据集由32个图像组成，每个图像尺寸为512×512像素，对应于约410.5nm至约694.9nm的不同的波长，带宽约为8.9nm。在任何给定的成像参数下，使用C-Apochromat 40x/1.20W Korr Zeiss物镜重复测量10次。在不同的采集参数下用约488nm激光对荧光素成像(表1)。
对于体内成像，将5-6只适当阶段的斑马鱼胚胎置于约1％琼脂糖(目录号16500-100，InvitrogenTM)模具中，所述模具使用定制设计的负塑料模具[29]在具有#1.5盖玻片底部的成像皿中产生(目录号D5040P，WillCo Wells)。通过添加约2ml约1％UltraPureTM低熔点琼脂糖(目录号16520-050，InvitrogenTM)溶液来固定胚胎，所述溶液在具有约0.003％PTU和约0.01％三卡因的约30％Danieau(约17.4mM NaCl、约210μMKCl、约120μM MgSO4·7H2O、约180μM Ca(NO3)2、约1.5mM HEPES水溶液缓冲液，pH约7.6)中制备。然后将该溶液加入已经置于模具中的胚胎顶部。在室温下凝固琼脂糖(1-2分钟)后，在约28.5℃下用约30％Danieau溶液和约0.01％三卡因填充成像皿。通过将培养皿适当地定位在显微镜载物台上，在倒置共聚焦显微镜上进行后续成像。通过将Gt(desm-citrine)ct122a/+与Tg(kdr1：eGFP)鱼杂交以获得两种颜色成像的样品。具有四种荧光蛋白的样品来自相同的杂交，然后每个胚胎注射编码H2B-cerulean和膜-cCherry的mRNA约100pg。用约488nm激光对Gt(desm-citrine)ct122a/+；Tg(kdr1：eGFP)样品进行成像以激发Citrine和eGFP二者，并且用约488nm的窄二向色对Gt(desm-citrine)ct122a/+；Tg(kdr1：eGFP)样品进行成像以分离激发和荧光发射。用约458nm激光对具有H2B-cerulean和膜-mCherry标记的Gt(desm-citrine)ct122a/+；Tg(kdr1：eGFP)的样品进行成像以激发具有约488nm的窄二向色的Cerulean、eGFP和Citrine，接着用约561nm激光对具有H2B-cerulean和膜-mCherry标记的Gt(desm-citrine)ct122a/+；Tg(kdr1：eGFP)的样品进行成像以激发具有约458-561nm二向色的mCherry。
对于体内延时成像，使用约0.5％低熔点琼脂糖琼脂糖(与上述相同)来将5-6只适当阶段的斑马鱼固定在具有#1.5盖玻片底部的成像皿中，以允许显影并具有约0.003％PTU和约0.01％三卡因。随后的成像在相同的共焦-双光子倒置显微镜上在约28.5℃下进行。每小时向成像皿中加入蛋水溶液以确保样品的适当水合。通过将Tg(kdrl：eGFP)与Tg(ubiq：膜-Cellulean-2a-H2B-tdTomato)斑马鱼杂交，然后每胚胎分别注射约120pg编码Rab9-YFP和约30pgRab11-mCherry的mRNA，来获得具有五种荧光蛋白的样品。使用约950nm获得体积数据以使用760+带通滤光器激发Cerulean、eGFP、YFP和(弱)tdTomato，然后使用约561nm激光激发具有约458-561nm二向色的mCherry和tdTomato。
表3提供了用于本工作中呈现的所有图像的成像参数的详细描述。
示例3：相量分析
变换：
对于数据集中的每个像素，其归一化光谱的傅立叶系数定义其相量点(z(n))的坐标：
z(n)＝G(n)+iS(n) 式(1)
其中
Figure GDA0003203758970000461
并且
Figure GDA0003203758970000462
其中λs和λf分别是起始波长和终止波长；I是强度；ω＝2π/τs，其中τs＝光谱通道数(例如32)，并且n是n次谐波(例如2)。
相量图上的散射误差：
散射误差与光子数N的平方根成反比：
Figure GDA0003203758970000463
这种比例的推导如下。我们将记录的总信号强度(数字计数，通过光谱曲线下的面积获得)定义为N的度量，假设共焦模拟模式中检测到的数字电平数与收集的光子数成正比[20]。这意味着：
Figure GDA0003203758970000471
基于方程1并通过统计误差的传播，我们知道，
Figure GDA0003203758970000472
其中std和Var分别表示标准偏差和方差。这可以进一步简化为：
Figure GDA0003203758970000473
作为
Figure GDA0003203758970000474
Figure GDA0003203758970000475
从上面可以看出第二项占主导地位并且因此我们有：
Figure GDA0003203758970000476
同理：
Figure GDA0003203758970000477
因此：
Figure GDA0003203758970000478
相量图上的偏移平均误差：
基于期望值(ze(n))和光谱的真实表示(z0(n))，我们可以写：
Figure GDA0003203758970000479
其中<.>表示用于计算相应数量的平均值。该表达式被定义为偏移平均误差。进一步：
Figure GDA00032037589700004710
其中
Figure GDA00032037589700004711
是两个相量点之间的相位差。从上面可以看出，偏移平均误差仍然限制为：
Figure GDA0003203758970000481
此外，我们还可以定义归一化的偏移平均误差，定义如下：
Figure GDA0003203758970000482
在该分析中，采集的具有约177μs的像素停留时间、约850增益和约21％的激光功率的数据集用作荧光素谱的真实表示，因为其散射误差值低。然而，关于偏移平均误差行为的一般结论保持不变，不论z0(n)的值如何。
相量分析中的谐波数：
通常，相量图限于使用光谱分布的傅立叶表示的一次谐波或二次谐波来确定光谱特征。这可能是由于在复平面中的黎曼曲面中存在分支点，该黎曼曲面对应于大于2的谐波的表示，该谐波的表示可能不容易可视化。基于方程1，我们计算残值(ρ(n))作为除了对应于所选择的谐波数(n)的一个之外的所有傅立叶系数的绝对和与第n个傅立叶系数的绝对值之比。因此：
Figure GDA0003203758970000483
对于典型的荧光光谱，例如荧光素发射光谱，1和2仍然是主要的谐波数，因为它们的残值至少比其他谐波的残值小一个数量级(图5f)。此外，残值的波动可能取决于待分析光谱的确切性质。然而，这种方法可以在每次进行相量分析时容易地实现，并且可以允许快速验证用于任何记录的光谱的谐波数的选择。
示例4：去噪
对于给定尺寸(n×m像素)的任何图像，针对每个像素获得S值和G值，从而对于S和G产生2个新的2D矩阵，其尺寸为n×m。在对这两个矩阵进行滤波时，可以针对每个像素获得新值S*和G*。由于初始S矩阵和G矩阵具有与图像中的像素相同的索引，因此滤波后的矩阵S*和G*保留几何信息。
使用上文公开的方程使用Matlab脚本分析荧光素数据。通过使用如上公开的高光谱成像***记录大斑马鱼显微镜数据集。线性分离通过使用Zen软件(Zeiss，Jena，Germany)完成。
以上特征/配置的任何组合都在本公开的范围内。
已经讨论的组件、步骤、特征、对象、益处和优点仅仅是说明性的。它们或者与它们有关的讨论都不旨在以任何方式限制保护范围。还构想了许多其他实施例。这些包括具有更少、附加和/或不同组件、步骤、特征、对象、益处和/或优点的实施例。这些还包括其中组件和/或步骤以不同方式布置和/或排序的实施例。
除非另有说明，否则在本说明书中(包括在随后的权利要求中)阐述的所有测量、值、等级、位置、大小、尺寸和其他规格都是近似的，而不是精确的。它们旨在具有与它们所涉及的功能以及它们所属领域中的惯例一致的合理范围。
本公开中引用的所有文章、专利、专利申请和其他出版物通过引用并入本文。
当在权利要求中使用时，短语“用于……的装置”旨在并且应该被解释为包括已经描述的相应结构和材料及其等同物。类似地，当在权利要求中使用时，短语“用于……步骤”旨在并且应该被解释为包括已经描述的相应动作及其等同物。权利要求中缺少这些短语意味着权利要求不旨在且不应被解释为限于这些对应的结构、材料或动作、或其等同物。
诸如“第一”和“第二”之类的关系术语可以仅用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示它们之间的任何实际关系或顺序。当结合说明书或权利要求中的元件列表使用时，术语“包括”、“包含”及其任何其他变型旨在表示该列表不是排他性的并且可以包括其他元件。类似地，在没有进一步限制的情况下，由“一”或“一个”出发的元件不排除存在相同类型的附加元件。
权利要求均不旨在包括不能满足专利法第101、102或103节的要求的主题，也不应以这种方式解释它们。特此声明不对此类主题进行任何无意的报道。除非在本段中有所说明，否则任何已陈述或说明的内容均不旨在或应被解释为致力于为公众奉献任何组件、步骤、特征、对象、益处、优点或等同物，无论其是否在权利要求中叙述。
提供摘要以帮助读者快速确定技术公开的本质。提交时的理解是，它不会用于解释或限制权利要求的范围或含义。另外，在各种实施例中将前述详细描述中的各种特征组合在一起以简化本公开。本公开的方法不应被解释为要求所要求保护的实施例要求比每个权利要求中明确记载的更多特征。而是，如所附权利要求所反映的，发明主题在于少于单个公开实施例的所有特征。因此，所附权利要求在此并入详细描述中，其中每个权利要求自身作为单独要求保护的主题。

Claims (71)

1.一种用于生成目标的非混色图像的高光谱成像***，包括：
光学***；和
图像形成***；
其中：
所述光学***包括至少一个光学组件；
所述至少一个光学组件包括至少一个光学检测器；
所述至少一个光学检测器具有用于以下的配置：
检测由所述目标上的至少一个物理点吸收、透射、折射、反射和/或发射的电磁目标辐射，所述目标辐射包括至少两个目标波，每个目标波具有强度和不同的波长；
检测每个目标波的所述强度和所述波长；和
将检测到的目标辐射以及检测到的每个目标波的强度和波长传输到所述图像形成***；
所述图像形成***包括控制***、硬件处理器、存储器和显示器；并且
所述图像形成***具有用于以下的配置：
使用检测到的目标辐射形成所述目标的目标图像，其中，所述目标图像包括至少两个像素，并且其中，每个像素对应于所述目标上的一个物理点；
使用检测到的每个目标波的强度和波长，为每个像素形成至少一个强度谱；
使用傅立叶变换将形成的每个像素的强度谱变换为基于每个像素的所述强度谱的复值函数，其中，每个复值函数具有至少一个实部和至少一个虚部；
对每个复值函数的所述实部和所述虚部二者应用去噪滤光器至少一次，以便为每个像素产生去噪的实数值和去噪的虚数值；
通过描绘每个像素的所述去噪的实数值与所述去噪的虚数值，在每个像素的相量平面上形成一个相量点；
基于所述相量平面上的所述相量点的几何位置，将所述相量点映射回所述目标图像上的相应像素；
基于所述相量平面上的所述相量点的所述几何位置，将任意颜色分配给所述相应像素；
基于分配的任意颜色生成所述目标的非混色图像；和
在所述图像形成***的显示器上显示所述目标的所述非混色图像。
2.根据权利要求1所述的高光谱成像***，其中，所述至少一个光学组件还包括用于照射所述目标的至少一个照射源，其中，所述照射源产生电磁照射源辐射，所述电磁照射源辐射包括至少一个照射波。
3.根据权利要求1所述的高光谱成像***，其中，所述高光谱成像***还包括至少一个照射源，其中，所述照射源产生包括至少两个照射波的照射源辐射，并且其中，每个照射波具有不同的波长。
4.根据权利要求2所述的高光谱成像***，其中，所述至少一个光学组件还包括光学透镜、滤光器、色散光学***、或者它们的组合。
5.根据权利要求3所述的高光谱成像***，其中，所述至少一个光学组件还包括光学透镜、滤光器、色散光学***、或者它们的组合。
6.根据权利要求2所述的高光谱成像***，其中，所述至少一个光学组件还包括光学透镜、滤光器、色散光学***、或者它们的组合；并且其中，所述高光谱成像***的所述光学组件配置为形成显微镜。
7.根据权利要求3所述的高光谱成像***，其中，所述至少一个光学组件还包括光学透镜、滤光器、色散光学***、或者它们的组合；并且其中，所述高光谱成像***的所述光学组件配置为形成显微镜。
8.根据权利要求6所述的高光谱成像***，其中，所述高光谱成像***的所述光学组件配置为形成共焦荧光显微镜、双光子荧光显微镜、或者它们的组合。
9.根据权利要求7所述的高光谱成像***，其中，所述高光谱成像***的所述光学组件配置为形成共焦荧光显微镜、双光子荧光显微镜、或者它们的组合。
10.根据权利要求2所述的高光谱成像***，其中，所述至少一个光学组件还包括第一光学透镜、第二光学透镜和二向色镜/分束器。
11.根据权利要求3所述的高光谱成像***，其中，所述至少一个光学组件还包括第一光学透镜、第二光学透镜和二向色镜/分束器。
12.根据权利要求2所述的高光谱成像***，其中，所述至少一个光学组件还包括光学透镜、色散光学器件；并且其中，至少一个光学检测器是光学检测器阵列。
13.根据权利要求3所述的高光谱成像***，其中，所述至少一个光学组件还包括光学透镜、色散光学器件；并且其中，至少一个光学检测器是光学检测器阵列。
14.根据权利要求2所述的高光谱成像***，其中，所述至少一个光学组件还包括光学透镜、色散光学器件、二向色镜/分束器；并且其中，至少一个光学检测器是光学检测器阵列。
15.根据权利要求3所述的高光谱成像***，其中，所述至少一个光学组件还包括光学透镜、色散光学器件、二向色镜/分束器；并且其中，至少一个光学检测器是光学检测器阵列。
16.根据权利要求2所述的高光谱成像***，其中，所述至少一个光学组件还包括光学透镜、色散光学器件、二向色镜/分束器；其中，至少一个光学检测器是光学检测器阵列；并且其中，所述照射源直接照射所述目标。
17.根据权利要求3所述的高光谱成像***，其中，所述至少一个光学组件还包括光学透镜、色散光学器件、二向色镜/分束器；其中，至少一个光学检测器是光学检测器阵列；并且其中，所述照射源直接照射所述目标。
18.根据权利要求1所述的高光谱成像***，其中，所述图像形成***使用所述傅立叶变换的至少一个谐波来生成所述目标的所述非混色图像。
19.根据权利要求1所述的高光谱成像***，其中，所述图像形成***至少使用所述傅立叶变换的一次谐波和/或二次谐波来生成所述目标的所述非混色图像。
20.根据权利要求1所述的高光谱成像***，其中，所述图像形成***仅使用所述傅立叶变换的一次谐波或仅使用所述傅立叶变换的二次谐波来生成所述目标的所述非混色图像。
21.根据权利要求1所述的高光谱成像***，其中，所述图像形成***仅使用所述傅立叶变换的一次谐波且仅使用所述傅立叶变换的二次谐波来生成所述目标的所述非混色图像。
22.根据权利要求2所述的高光谱成像***，其中，所述照射源通过同时传输所有照射波以每个照射波长照射所述目标。
23.根据权利要求3所述的高光谱成像***，其中，所述照射源通过同时传输所有照射波以每个照射波长照射所述目标。
24.根据权利要求2所述的高光谱成像***，其中，所述照射源通过顺序地传输每个波以每个照射波长照射所述目标。
25.根据权利要求3所述的高光谱成像***，其中，所述照射源通过顺序地传输每个波以每个照射波长照射所述目标。
26.根据权利要求1所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射。
27.根据权利要求1所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射；并且其中，由所述目标发射的所述电磁辐射包括冷光。
28.根据权利要求1所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射；其中，由所述目标发射的所述电磁辐射包括冷光；并且其中，所述冷光包括荧光、磷光、或者它们的组合。
29.根据权利要求1所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射，并且其中，由所述目标发射的所述电磁辐射包括热辐射。
30.根据权利要求1所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射；并且其中，由所述目标发射的所述电磁辐射包括冷光、热辐射、或者它们的组合。
31.根据权利要求1所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射；其中，由所述目标发射的所述电磁辐射包括冷光、热辐射、或者它们的组合；并且其中，所述冷光包括荧光、磷光、或者它们的组合。
32.根据权利要求1所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射；其中，由所述目标发射的所述电磁辐射包括荧光。
33.根据权利要求1所述的高光谱成像***，其中，所述至少一个光学组件还包括光学滤光***；其中，所述目标辐射包括由所述目标发射的电磁辐射；并且其中，由所述目标发射的所述电磁辐射包括荧光。
34.根据权利要求1所述的高光谱成像***，其中，所述至少一个光学组件还包括放置在所述目标和所述至少一个光学检测器之间的光学滤光***；其中，所述目标辐射包括由所述目标发射的电磁辐射；并且其中，由所述目标发射的所述电磁辐射包括荧光。
35.根据权利要求1所述的高光谱成像***，其中：
所述至少一个光学组件还包括放置在所述目标和所述至少一个光学检测器之间的光学滤光***；
所述光学滤光***包括二向色滤光器、分束器型滤光器、或者它们的组合；
所述目标辐射包括由所述目标发射的电磁辐射；并且
由所述目标发射的所述电磁辐射包括荧光。
36.根据权利要求1所述的高光谱成像***，其中，所述至少一个光学组件还包括第一光学滤光***和第二光学滤光***；其中：
所述第一光学滤光***放置在所述目标和所述至少一个光学检测器之间；
所述第二光学滤光***放置在所述第一光学滤光***和所述至少一个光学检测器之间；
所述第一光学滤光***包括二向色滤光器、分束器型滤光器、或者它们的组合；
所述第二光学滤光***包括陷波滤光器、有源滤光器、或者它们的组合；
所述目标辐射包括由所述目标发射的电磁辐射；并且
由所述目标发射的所述电磁辐射包括荧光。
37.根据权利要求1所述的高光谱成像***，其中，所述至少一个光学组件还包括第一光学滤光***和第二光学滤光***；其中：
所述第一光学滤光***放置在所述目标和所述至少一个光学检测器之间；
所述第二光学滤光***放置在所述第一光学滤光***和所述至少一个光学检测器之间；
所述第一光学滤光***包括二向色滤光器、分束器型滤光器、或者它们的组合；
所述第二光学滤光***包括有源滤光器；
所述有源滤光器包括自适应光学***、声光可调滤光器、液晶可调带通滤光器、法布里-珀罗干涉滤光器、或者它们的组合；
所述目标辐射包括由所述目标发射的电磁辐射；并且
由所述目标发射的电磁辐射包括荧光。
38.根据权利要求1所述的高光谱成像***，其中，所述去噪滤光器包括中值滤光器。
39.根据权利要求2所述的高光谱成像***，其中，所述照射源包括相干电磁辐射源。
40.根据权利要求3所述的高光谱成像***，其中，所述照射源包括相干电磁辐射源。
41.根据权利要求2所述的高光谱成像***，其中，所述照射源包括相干电磁辐射源，并且所述相干电磁辐射源包括激光器、二极管、双光子激发源、三光子激发源、或者它们的组合。
42.根据权利要求3所述的高光谱成像***，其中，所述照射源包括相干电磁辐射源，并且所述相干电磁辐射源包括激光器、二极管、双光子激发源、三光子激发源、或者它们的组合。
43.根据权利要求1所述的高光谱成像***，其中，所述至少一个检测器包括光电倍增管、光电倍增管阵列、数码相机、高光谱相机、电子倍增电荷耦合器件、Sci-CMOS、或者它们的组合。
44.根据权利要求1所述的高光谱成像***，其中，所述目标辐射包括至少四个波长。
45.根据权利要求1所述的高光谱成像***，其中，所述目标包括包含有机化合物的目标。
46.根据权利要求1所述的高光谱成像***，其中，所述目标包括包含有机化合物的目标；并且其中，所述目标包括组织、荧光遗传标记、或者它们的组合。
47.根据权利要求1所述的高光谱成像***，其中，高光谱成像***以1.2至50范围内的所述至少一个光谱的信噪比形成所述目标的所述非混色图像。
48.根据权利要求1所述的高光谱成像***，其中，所述高光谱成像***以2至50范围内的所述至少一个光谱的信噪比形成所述目标的所述非混色图像。
49.根据权利要求1所述的高光谱成像***，其中，所述至少一个光学检测器检测由所述目标发射的电磁辐射，所述电磁辐射的波长在300nm至800nm的范围内。
50.根据权利要求1所述的高光谱成像***，其中，所述至少一个光学检测器检测由所述目标发射的电磁辐射，所述电磁辐射的波长在300nm至800nm的范围内；并且其中，由所述目标发射的所述电磁辐射包括荧光。
51.根据权利要求2所述的高光谱成像***，其中，所述照射源辐射包括波长在300nm至1,300nm范围内的照射波。
52.根据权利要求3所述的高光谱成像***，其中，所述照射源辐射包括波长在300nm至1,300nm范围内的照射波。
53.根据权利要求2所述的高光谱成像***，其中，所述至少一个照射源包括单光子激发源；并且其中，所述照射源辐射包括波长在300nm至700nm范围内的照射波。
54.根据权利要求3所述的高光谱成像***，其中，所述至少一个照射源包括单光子激发源；并且其中，所述照射源辐射包括波长在300nm至700nm范围内的照射波。
55.根据权利要求2所述的高光谱成像***，其中，所述至少一个照射源包括双光子激发源；并且其中，所述照射源辐射包括波长在690nm至1,300nm范围内的照射波。
56.根据权利要求3所述的高光谱成像***，其中，所述至少一个照射源包括双光子激发源；并且其中，所述照射源辐射包括波长在690nm至1,300nm范围内的照射波。
57.根据权利要求2所述的高光谱成像***，其中，所述至少一个照射源包括双光子激发源；其中，所述双光子激发源包括可调激光器；并且其中，所述照射源辐射包括波长在690nm至1,300nm范围内的照射波。
58.根据权利要求3所述的高光谱成像***，其中，所述至少一个照射源包括双光子激发源；其中，所述双光子激发源包括可调激光器；并且其中，所述照射源辐射包括波长在690nm至1,300nm范围内的照射波。
59.根据权利要求2所述的高光谱成像***，其中，所述至少一个照射源包括单光子激发源、双光子激发源、或者它们的组合；其中，所述单光子激发源的所述照射源辐射包括波长在300nm至700nm范围内的照射波；并且其中，所述双光子激发源的所述照射源辐射包括波长在690nm至1,300nm范围内的照射波。
60.根据权利要求3所述的高光谱成像***，其中，所述至少一个照射源包括单光子激发源、双光子激发源、或者它们的组合；其中，所述单光子激发源的所述照射源辐射包括照射波长在300nm至700nm范围内的波；并且其中，所述双光子激发源的照射源辐射包括波长在690nm至1,300nm范围内的照射波。
61.根据权利要求1所述的高光谱成像***，其中，所述图像形成***具有使用参考材料为每个像素分配任意颜色的配置。
62.根据权利要求1所述的高光谱成像***，其中，所述图像形成***具有使用参考材料为每个像素分配任意颜色的配置，并且其中，在生成所述目标的所述非混色图像之前生成所述参考材料的所述非混色图像。
63.根据权利要求1所述的高光谱成像***，其中，图像形成***具有使用参考材料为每个像素分配任意颜色的配置，其中，在生成所述目标的非混色图像之前生成所述参考材料的所述非混色图像，并且其中，所述参考材料包括物理结构、化学分子、生物分子、由疾病引起的物理变化和/或生物变化、或者它们的任何组合。
64.根据权利要求1所述的高光谱成像***，其中，所述图像形成***具有使用参考材料为每个像素分配任意颜色并诊断健康状况的配置。
65.根据权利要求1所述的高光谱成像***，其中，所述图像形成***具有使用参考材料为每个像素分配任意颜色并诊断健康状况的配置；并且其中，在生成所述目标的非混色图像之前生成所述参考材料的所述非混色图像。
66.根据权利要求1所述的高光谱成像***，其中，图像形成***具有使用参考材料为每个像素分配任意颜色并诊断健康状况的配置；其中，在生成所述目标的非混色图像之前生成所述参考材料的所述非混色图像；并且其中，所述参考材料包括物理结构、化学分子、生物分子、由疾病引起的物理变化和/或生物变化、或者它们的任何组合。
67.根据权利要求1至66中任一项所述的高光谱成像***，其中，所述目标辐射具有4个波长或8个波长。
68.根据权利要求1至66中任一项所述的高光谱成像***，其中，所述高光谱成像***以1.2至小于3范围内的所述至少一个光谱的信噪比形成所述目标的所述非混色图像。
69.根据权利要求1至66中任一项所述的高光谱成像***，其中，所述图像形成***具有如下进一步配置：在所述图像形成***应用所述去噪滤光器之后，评估误差。
70.根据权利要求1至66中任一项所述的高光谱成像***，其中，所述图像形成***具有如下进一步配置：在所述图像形成***为每个像素形成所述至少一个光谱之后，以减少的光损伤执行多光谱体积延时。
71.根据权利要求1至66中任一项所述的高光谱成像***，其中，所述图像形成***具有如下进一步配置：将自发荧光识别为光谱指纹并去除所述自发荧光。
CN201780069204.2A 2016-11-08 2017-11-07 高光谱成像*** Active CN109923401B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662419075P 2016-11-08 2016-11-08
US62/419,075 2016-11-08
PCT/US2017/060462 WO2018089383A1 (en) 2016-11-08 2017-11-07 A hyperspectral imaging system

Publications (2)

Publication Number Publication Date
CN109923401A CN109923401A (zh) 2019-06-21
CN109923401B true CN109923401B (zh) 2021-11-09

Family

ID=62109358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780069204.2A Active CN109923401B (zh) 2016-11-08 2017-11-07 高光谱成像***

Country Status (4)

Country Link
US (1) US10803558B2 (zh)
EP (1) EP3538877A4 (zh)
CN (1) CN109923401B (zh)
WO (1) WO2018089383A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020160485A1 (en) 2019-01-31 2020-08-06 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California A hyperspectral imaging system
US11386559B2 (en) * 2019-04-03 2022-07-12 The Regents Of The University Of California System and method for tissue viability screening
US11307094B2 (en) * 2019-05-28 2022-04-19 The Regents Of The University Of California System and method for hyperspectral imaging in highly scattering media by the spectral phasor approach using two filters
CN111080555B (zh) * 2019-12-22 2023-08-11 北京理工大学 一种基于三维拟递归神经网络的高光谱图像降噪方法
CN111260576B (zh) * 2020-01-14 2022-07-05 哈尔滨工业大学 一种基于去噪三维卷积自编码网络的高光谱解混算法
US20230092749A1 (en) * 2020-03-13 2023-03-23 University Of Southern California High throughput snapshot spectral encoding device for fluorescence spectral microscopy
IT202000017836A1 (it) * 2020-07-23 2022-01-23 Fameccanica Data Spa Procedimento e apparecchio per l’analisi in linea di un prodotto composito in una macchina per la produzione di articoli sanitari assorbenti
KR20230162959A (ko) * 2021-03-31 2023-11-29 쿨리아 랩스, 인크. 휴대용 초분광 시스템
CN113436111B (zh) * 2021-07-21 2024-01-09 西北工业大学 一种基于网络结构搜索的高光谱遥感图像去噪方法
WO2024039406A2 (en) * 2021-09-23 2024-02-22 University Of Southern California A hyperspectral imaging system with hybrid unmixing
CN117091700B (zh) * 2023-08-31 2024-02-06 山东大学 一种使用非阵列探测器实现高光谱成像的***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094050A (en) * 1998-07-14 2000-07-25 Hadasit Medical Research Services & Development Company Ltd. MRI imaging with noise filtering in wavelet space
WO2013063655A1 (en) * 2011-11-04 2013-05-10 National Ict Australia Limited Determining colour values in hyperspectral or multispectral images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006126154A1 (en) 2005-05-24 2006-11-30 Koninklijke Philips Electronics N.V. Non-invasive measurement of blood analytes using thermal emission spectroscopy
US7359514B2 (en) * 2005-10-27 2008-04-15 Magiq Technologies, Inc. Narrow-band single-photon source and QKD system using same
US8309931B2 (en) 2008-03-28 2012-11-13 The Ohio State University Rapid diagnosis of a disease condition using infrared spectroscopy
US10222335B2 (en) * 2010-10-27 2019-03-05 The Regents Of The University Of California Phasor method to fluorescence lifetime microscopy to discriminate metabolic state of cells in living tissue
WO2014205413A2 (en) * 2013-06-21 2014-12-24 Invenio Imaging Inc. Multi-photon systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094050A (en) * 1998-07-14 2000-07-25 Hadasit Medical Research Services & Development Company Ltd. MRI imaging with noise filtering in wavelet space
WO2013063655A1 (en) * 2011-11-04 2013-05-10 National Ict Australia Limited Determining colour values in hyperspectral or multispectral images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Spectral phasor analysis allows rapid and reliable unmixing of fluorescence microscopy spectral images;Farzad Fereidouni et al;《OPTICS EXPRESS》;20120522;12729-12741 *

Also Published As

Publication number Publication date
WO2018089383A1 (en) 2018-05-17
US20190287222A1 (en) 2019-09-19
CN109923401A (zh) 2019-06-21
EP3538877A4 (en) 2020-07-15
EP3538877A1 (en) 2019-09-18
US10803558B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN109923401B (zh) 高光谱成像***
US11869176B2 (en) Hyperspectral imaging system
Cutrale et al. Hyperspectral phasor analysis enables multiplexed 5D in vivo imaging
JP3280035B2 (ja) 生物学研究、医療診断および治療用の分光生物撮像法、蛍光交配方法および細胞分類方法
CN109313798B (zh) 用于生成模拟数字明场ihc或ish图像的方法和图像处理***
Santi Light sheet fluorescence microscopy: a review
US10032064B2 (en) Visualization and measurement of cell compartments
Mannam et al. Machine learning for faster and smarter fluorescence lifetime imaging microscopy
Ding et al. Multiscale light-sheet for rapid imaging of cardiopulmonary system
JP2013507612A (ja) 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出
Hedde et al. Phasor-based hyperspectral snapshot microscopy allows fast imaging of live, three-dimensional tissues for biomedical applications
Calovi et al. Super-resolution STED microscopy in live brain tissue
Becker Fluorescence lifetime imaging by multi-dimensional time correlated single photon counting
Shi et al. Pre-processing visualization of hyperspectral fluorescent data with Spectrally Encoded Enhanced Representations
Acuña-Rodriguez et al. Live-cell fluorescence spectral imaging as a data science challenge
WO2021198252A1 (en) Virtual staining logic
Jang et al. Super-resolution stimulated Raman scattering microscopy with A-PoD
Lenz et al. Considerations for imaging and analyzing neural structures by STED microscopy
Shah et al. Visualizing and quantifying molecular and cellular processes in Caenorhabditis elegans using light microscopy
Abraham et al. Deconvolution and chromatic aberration corrections in quantifying colocalization of a transcription factor in three-dimensional cellular space
Luu et al. More than double the fun with two-photon excitation microscopy
WO2021198241A1 (en) Multi-input and/or multi-output virtual staining
Shah et al. Confocal and super-resolution imaging of polarized intracellular trafficking and secretion of basement membrane proteins during Drosophila oogenesis
KR20240088993A (ko) 하이브리드 언믹싱을 갖춘 초분광 이미징 시스템
WO2024039406A2 (en) A hyperspectral imaging system with hybrid unmixing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant