CN106796145A - 从生物学样本的纯光谱提取 - Google Patents

从生物学样本的纯光谱提取 Download PDF

Info

Publication number
CN106796145A
CN106796145A CN201580048121.6A CN201580048121A CN106796145A CN 106796145 A CN106796145 A CN 106796145A CN 201580048121 A CN201580048121 A CN 201580048121A CN 106796145 A CN106796145 A CN 106796145A
Authority
CN
China
Prior art keywords
spectrum
group
sample
pixel
fluorescent dye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580048121.6A
Other languages
English (en)
Other versions
CN106796145B (zh
Inventor
P.J.米勒
K.S.约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caliper Life Sciences Inc
Original Assignee
Caliper Life Sciences Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caliper Life Sciences Inc filed Critical Caliper Life Sciences Inc
Publication of CN106796145A publication Critical patent/CN106796145A/zh
Application granted granted Critical
Publication of CN106796145B publication Critical patent/CN106796145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406—Fluorescence spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6421—Measuring at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G01N2201/06113—Coherent sources; lasers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Optics & Photonics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本公开描述了一种方法，包括获取包括荧光染料的样本的多光谱图像信息、根据该信息的图像立方体计算第一光谱和第二光谱、以及基于所述第一和第二光谱计算样本中的荧光染料的纯光谱，其中，来自荧光染料的光发射对第二光谱的相对贡献大于来自荧光染料的光发射对第一光谱的相对贡献，其中，计算第一和第二光谱包括识别图像立方体中的对应的第一组和第二组像素强度值，并且其中，识别第一组像素强度值包括将图像立方体的一个或多个层指定为第一层组。

Description

从生物学样本的纯光谱提取
相关申请的交叉引用
本申请要求2014年7月9日提交的第62/022,635号美国临时专利申请的优先权，其全部内容通过引用并入本文中。
技术领域
本公开涉及生物学样本的成像，包括用于确定在荧光多带或多光谱图像的分析中是有用的纯光谱的***和方法。
背景技术
生物学细胞和组织样本的荧光成像被用于显现特定抗原的存在和表达水平，其使用将抗体结合到荧光染料(dye)的探针(probe)。使用以感兴趣的特定抗原为目标的探针、连同一种或多种诸如DAPI、核复染剂(nuclear counterstain)的组织染料，在给定的组织切片部分中显现多种蛋白质是可能的。其他诸如RNA或DNA的目标可以分别使用荧光原位杂交法和寡核苷酸标记的荧光探针加以显现。
染料的荧光成像包括用第一波长带或波长范围的光来激发该染料，以及观察该染料响应于此而发射的第二波长带或波长范围的光。荧光染料响应于给定波长的激发而发射光的倾向性被称为其激发光谱。染料发射的荧光的波长分布被称为发射光谱。
当使用多种染料时，它们通常被选择具有不同的激发光谱、发射光谱或者二者均不同，以便通过仔细选择所使用的激发波长和发射波长，正被观察的染料可以被区别。当各种荧光染料的光谱不是有所区别的，而是在它们的激发光谱和发射光谱方面基本上重叠时，确定什么染料与观察时所观察到的发射出的光相关联的变得更困难。
许多样本呈现出内源(endogenous)荧光发射。这意味着当被光学地激发时，除了由与结合抗体的探针相结合使用或作为复染剂使用的荧光染料发射出的荧光之外，样本自身也发射出荧光。这进一步增加了上述确定的复杂性。
荧光样本的多光谱成像包括以不同的激发波长、发射波长或二者的组合获取样本的一系列图像。各种图像被汇集至图像立方体(cube)内，其中该立方体的两个维度对应于样本内的空间位置，以及第三维度对应于与各种激发和/或发射波长相关联的光谱。
发明内容
一般地，根据第一方面，所公开的特征方法包括：获取包括荧光染料的样本的多光谱图像信息，其中，所述多光谱图像信息对应于包括多个二维的层的图像立方体，每个层对应于所述样本的图像；根据所述图像立方体计算包括来自所述样本中的内源荧光的贡献的第一光谱；根据所述图像立方体计算包括来自所述荧光染料和来自所述样本中的内源荧光的贡献的第二光谱；以及基于所述第一和第二光谱计算所述样本中的所述荧光染料的纯光谱，其中，来自所述荧光染料的光发射对所述第二光谱的相对贡献大于来自所述荧光染料的光发射对所述第一光谱的相对贡献，其中，计算所述第一和第二光谱包括识别所述图像立方体中的对应的第一组和第二组像素强度值，并使用识别出的各组像素强度值来计算所述第一和第二光谱；并且其中，识别所述第一组像素强度值包括将所述图像立方体的一个或多个层指定为第一层组，并基于所述第一层组识别所述第一组像素强度值的成员。
本方法的实施例可以包括下述任何一个或多个特征。
所述第一光谱包括来自所述荧光染料的贡献。在所述荧光染料的所述纯光谱中，相对于所述第二光谱，减少(甚至最小化)来自所述样本中其他成分的光发射的相对贡献。
所述方法可以包括，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分确定所述像素是否是所述第一组像素强度值的成员。所述方法可以包括将所述图像立方体的一个或多个层指定为第二层组，并基于所述第二层组识别所述第二组像素强度值的成员。所述方法可以包括，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分确定所述像素是否是所述第一组像素强度值的成员。所述方法可以包括，针对所述第二层组中的每个候选像素，基于总像素强度的可归因于所述第二层组的部分确定所述像素是否是所述第二组像素强度值的成员。所述方法可以包括基于第一组的层识别对应于所述样本的像素。
所述方法可以包括将所述荧光染料的纯光谱添加到光谱库；获取对应于第二图像立方体的第二样本的第二组多光谱图像信息，其中，所述第二样本包括所述荧光染料；以及使用所述光谱库来对所述第二图像立方体去混合以确定所述荧光染料在所述第二样本中的多个空间位置处的量。所述第二样本可以包括荧光复染剂，所述方法可以包括确定所述荧光染料和所述荧光复染剂在所述第二样本中的所述多个空间位置处的相对量。
所述方法可以包括通过从所述第二光谱减去经缩放倍数的所述第一光谱来确定所述纯光谱。所述方法可以包括根据对应于所述图像立方体中的多个像素的像素强度值来确定乘以所述第一光谱的缩放系数的值。
根据另一方面，所公开的特征***包括配置为将照明辐射引导到包括荧光染料的样本的辐射源，配置为通过检测从所述样本发射的光来获取所述样本的图像的检测器，和电子处理器，所述电子处理器配置为：从由所述检测器获取的一个或多个图像获取所述样本的多光谱图像信息，所述多光谱图像信息对应于包括多个二维的层的图像立方体，每个层对应于所述样本的图像；根据所述图像立方体计算包括来自所述样本中的内源荧光的贡献的第一光谱；根据所述图像立方体计算包括来自所述荧光染料和来自所述样本中的内源荧光的贡献的第二光谱；以及基于所述第一和第二光谱计算所述样本中的所述荧光染料的纯光谱，其中，来自所述荧光染料的光发射对所述第二光谱的相对贡献大于来自所述荧光染料的光发射对所述第一光谱的相对贡献，其中，计算所述第一和第二光谱包括识别所述图像立方体中的对应的第一组和第二组像素强度值，并使用识别出的各组像素强度值来计算所述第一和第二光谱，并且其中，识别所述第一组像素强度值包括将所述图像立方体的一个或多个层指定为第一层组，并基于所述第一层组识别所述第一组像素强度值的成员。
本***的实施例可以包括下述任何一个或多个特征。
所述第一光谱包括来自所述荧光染料的贡献。在所述荧光染料的所述纯光谱中，相对于所述第二光谱，减少(甚至最小化)来自所述样本中其他成分的光发射的相对贡献。
所述电子处理器可以配置为，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分确定所述像素是否是所述第一组像素强度值的成员。所述电子处理器可以配置为将所述图像立方体的一个或多个层指定为第二层组，并基于所述第二层组识别所述第二组像素强度值的成员。所述电子处理器可以配置为，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分确定所述像素是否是所述第一组像素强度值的成员。所述电子处理器可以配置为，针对所述第二层组中的每个候选像素，基于总像素强度的可归因于所述第二层组的部分确定所述像素是否是所述第二组像素强度值的成员。所述电子处理器可以配置为基于第一组的层识别对应于所述样本的像素。
所述电子处理器可以配置为将所述荧光染料的纯光谱添加到光谱库，获取对应于来自由所述检测器获取的一个或多个图像的第二图像立方体的第二样本的第二组多光谱图像信息，其中，所述第二样本包括所述荧光染料，以及使用所述光谱库来对所述第二图像立方体去混合以确定所述荧光染料在所述第二样本中的多个空间位置处的量。所述第二样本包括荧光复染剂，并且所述电子处理器可以配置为确定所述荧光染料和所述荧光复染剂在所述第二样本中的所述多个空间位置处的相对量。
所述电子处理器可以配置为通过从所述第二光谱减去经缩放倍数的所述第一光谱来确定所述纯光谱。所述电子处理器可以配置为根据对应于所述图像立方体中的多个像素的像素强度值来确定乘以所述第一光谱的缩放系数的值。
根据又一方面，所公开的特征方法包括：获取包括荧光染料的样本的多光谱图像信息，其中，所述多光谱图像信息对应于包括多个二维的层的图像立方体，每个层对应于所述样本的图像；将所述图像立方体的至少一个层指定为对应于所述荧光染料的暗带的第一层组；基于来自所述图像立方体的各个第一组和第二组像素强度值确定第一光谱和第二光谱；以及基于所述第一和第二光谱以及所述第一层组计算所述样本中的所述荧光染料的纯光谱，其中，与对于所述第一组像素强度值相比，对于所述第二组像素强度值，来自所述荧光染料的光发射对像素强度值的相对贡献较大。
本方法的实施例可以包括下述任何一个或多个特征。
在所述荧光染料的所述纯光谱中，相对于所述第二光谱，减少(甚至最小化)来自所述样本中其他成分的光发射的相对贡献。计算所述纯光谱包括使来自所述第一层组中的所述纯光谱的贡献最小化。计算所述纯光谱包括使所述第一组像素强度值中平方像素强度值的加和最小化。计算所述纯光谱包括使所述第一组像素强度值中像素强度值的绝对值的加和最小化。
所述方法可以包括将零值指定到从所述纯光谱到所述第一层组中的像素强度值的贡献。所述方法可以包括将零值指定到所述荧光染料的纯光谱中的负强度值。所述方法可以包括基于第一组的层识别对应于所述样本的像素。
所述方法可以包括将所述荧光染料的纯光谱添加到光谱库，获取对应于第二图像立方体的第二样本的第二组多光谱图像信息，其中，所述第二样本包括所述荧光染料，以及使用所述光谱库来对所述第二图像立方体去混合以确定所述荧光染料在所述第二样本中的多个空间位置处的量。所述第二样本包括荧光复染剂，并且所述方法可以包括确定所述荧光染料和所述荧光复染剂在所述第二样本中的所述多个空间位置处的相对量。
所述方法可以包括基于所述第一层组识别所述第一组和第二组像素强度值。所述方法可以包括，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分识别所述第一组像素强度值的成员。所述方法可以包括将所述图像立方体的至少一个层指定为对应于所述荧光染料的光发射带的第二层组。所述方法可以包括，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分识别所述第一组像素强度值的成员。所述方法可以包括针对所述第二层组中的每个候选像素，基于总像素强度的可归因于所述第二层组的部分识别所述第二组像素强度值的成员。
所述方法可以包括通过从所述第二光谱减去经缩放倍数的所述第一光谱来确定所述纯光谱。所述方法可以包括根据对应于所述图像立方体中的多个像素的像素强度值来确定乘以所述第一光谱的缩放系数的值。
根据再一方面，所公开的特征***包括配置为将照明辐射引导到样本的辐射源，配置为通过检测从所述样本发射的光来获取所述样本的图像的检测器，和电子处理器，所述电子处理器配置为：从由所述检测器获取的样本的一个或多个图像获取包括荧光染料的样本的多光谱图像信息，其中，所述多光谱图像信息对应于包括多个二维的层的图像立方体，每个层对应于所述样本的图像；将所述图像立方体的至少一个层指定为对应于所述荧光染料的暗带的第一层组；基于来自所述图像立方体的各个第一组和第二组像素强度值确定第一光谱和第二光谱；以及基于所述第一和第二光谱以及所述第一层组计算所述样本中的所述荧光染料的纯光谱，其中，与对于所述第一组像素强度值相比，对于所述第二组像素强度值，来自所述荧光染料的光发射对像素强度值的相对贡献较大。
本***的实施例可以包括下述任何一个或多个特征。
在所述荧光染料的所述纯光谱中，相对于所述第二光谱，减少(甚至最小化)来自所述样本中其他成分的光发射的相对贡献。所述电子处理器可以配置为通过使来自所述第一层组中的所述纯光谱的贡献最小化来计算所述纯光谱。所述电子处理器可以配置为通过使所述第一层组中的平方像素强度值的加和最小化来计算所述纯光谱。所述电子处理器可以配置为通过使所述第一层组中像素强度值的绝对值的加和最小化来计算所述纯光谱。
所述电子处理器可以配置为将零值指定到从所述纯光谱到所述第一层组中的像素强度值的贡献。所述电子处理器可以配置为将零值指定到所述荧光染料的纯光谱中的负强度值。所述电子处理器可以配置为基于第一组的层识别对应于所述样本的像素。
所述电子处理器可以配置为：将所述荧光染料的纯光谱添加到光谱库；从由所述检测器获取的一个或多个图像获取第二样本的第二组多光谱图像信息，所述第二组图光谱图像信息对应于第二图像立方体，其中，所述第二样本包括所述荧光染料；以及使用所述光谱库来对所述第二图像立方体去混合以确定所述荧光染料在所述第二样本中的多个空间位置处的量。所述第二样本包括荧光复染剂，并且所述电子处理器可以配置为确定所述荧光染料和所述荧光复染剂在所述第二样本中的所述多个空间位置处的相对量。
所述电子处理器可以配置为基于所述第一层组识别所述第一组和第二组像素强度值。所述电子处理器可以配置为，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分识别所述第一组像素强度值的成员。所述电子处理器可以配置为将所述图像立方体的至少一个层指定为对应于所述荧光染料的光发射带的第二层组。所述电子处理器可以配置为，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分识别所述第一组像素强度值的成员。所述电子处理器可以配置为，针对所述第二层组中的每个候选像素，基于总像素强度的可归因于所述第二层组的部分识别所述第二组像素强度值的成员。
所述电子处理器可以配置为通过从所述第二光谱减去经缩放倍数的所述第一光谱来确定所述纯光谱。所述电子处理器可以配置为根据对应于所述图像立方体中的多个像素的像素强度值来确定乘以所述第一光谱的缩放系数的值。
本方法和***的实施例还可以包括本文所公开的任何其它特征，包括结合不同实施例以任何合适的组合所公开的特征。
除非另有限定，本文所使用的所有技术和科学术语具有与本公开所属于的领域的普通技术人员普遍所理解的相同含义。尽管与本文所描述的那些类似或等同的方法和材料可以用于本文主题的实践或测试，以下描述合适的方法和材料。本文所述提及的所有出版物、专利申请、专利和其它参考通过整体引用并入。如果发生冲突，包括定义的本说明书将控制。此外，所述材料、方法和示例仅是示例性的并且不意构成限制。
以下将在附图和具体实施方式中阐述一个或多个实施例的细节。参考具体实施方式、附图和权利要求其它特征和优点会更清楚。
附图说明
图1是包括用于计算样本中荧光染料的纯光谱的一系列步骤的流程图。
图2A-图2C是分别示出具有23个光谱层的图像立方体的彩色渲染的蓝色、绿色和红色平面的图像，该图像立方体对应于使用荧光染料利用以***受体(ER)为目标的探针制备的乳腺癌样本的图像。
图3是示出对应于用DAPI或Texas Red外部过滤器获得的光谱立方体的各层的、在荧光染料的暗带上的图像像素的信号强度直方图的图示。
图4是示出图2A-图2C的图像的二元(binary)掩膜的图像，其中存在组织的区域呈现白色，没有组织材料存在的区域呈现黑色。
图5A是示出图2A-图2C的图像中非空白区域内的像素的直方图的图示，其通过亮带中的归一化信号强度排序，其中荧光染料被预期呈现出荧光。
图5B是示出图5A中的相同像素的直方图的图示，其通过暗带中的归一化信号强度排序。
图6A是示出被选择为优选地荧光染料富集的一组像素的归一化光谱的图示。
图6B是示出被选择为相对于图6A的像素而言荧光染料较不富集或欠缺的一组像素的归一化光谱的图示。
图7A是示出优选的染料富集的像素的平均信号、染料欠缺的像素的平均信号、对于纯荧光染料所确定的光谱、以及将暗带元素设置为零以及归一化到单位长度之后的荧光染料光谱的图示。
图7B是示出对于图2A-图2C的样本中的荧光染料计算的光谱、混合的(染料和自体荧光)光谱、以及从单独的仅自体荧光样本获得的纯自体荧光光谱的图示。
图8A-8C是分别示出具有23个光谱层的图像立方体的彩色渲染的蓝色、绿色和红色平面的图像，该图像立方体对应于利用以孕酮受体(PR)为目标的探针、以及应用DAPI复染剂制备的第二乳腺癌样本的多光谱图像。
图9A是示出图8A-图8C的图像中非空白区域内的像素的直方图的图示，其通过染料表达带中的归一化信号强度排序。
图9B是示出图9A中的相同像素的直方图的图示，其通过暗带中的归一化信号强度排序。
图10A是示出图8A-图8C中的样本的优选的染料富集的像素的归一化光谱、染料欠缺的像素的归一化光谱、对于荧光染料所确定的光谱、以及将暗带元素设置为零以及归一化到单位长度之后的染料光谱的图示。
图10B是示出对于图8A-图8C中的样本中的荧光染料的光谱和混合的(染料和自体荧光)光谱、以及从单独的仅自体荧光样本获得的纯自体荧光光谱的图示。
图11A是示出优选的染料富集的像素的归一化光谱、染料欠缺的像素的归一化光谱、对于包括荧光染料的乳腺癌组织样本所确定的光谱、以及将暗带元素设置为零以及归一化到单位长度之后的染料光谱的图示。
图11B是示出对于图8A-图8C的样本计算的荧光染料的光谱和混合的(染料和自体荧光)光谱、以及从单独的仅自体荧光样本获得的纯自体荧光光谱的图示。
图12A是示出优选的染料富集的像素的归一化光谱、染料欠缺的像素的归一化光谱、对于利用DAPI复染的乳腺癌组织样本所确定的光谱、以及将暗带元素设置为零以及归一化到单位长度之后的DAPI光谱的图示。
图12B是示出在图12A的样本中计算的DAPI光谱、来自该样本的混合的(染料和自体荧光)光谱、以及从单独的仅自体荧光样本获得的纯自体荧光光谱的图示。
图13A-图13C是分别示出利用DAPI复染剂、绑定到488荧光染料的ER探针、和绑定到594荧光染料的PR探针制备的多元乳腺癌样本获取的图像立方体的彩色渲染的蓝色、绿色和红色平面的图示。
图14A-图14D是分别利用包括自体荧光、DAPI、488和594光谱库去混合时图13A-图13C的样本的去混合的成分图像。
图15是多光谱成像***的示意图。
图16是电子控制***的示意图。
各附图中相似的附图标记指示相似的元件。
具体实施方式
引言
使用样本中存在的成分的已知光谱的光谱库，使得能够将图像立方体的每个位置处的光谱去混合成其各个成分信号。来自珀金埃尔默(马萨诸塞州、沃尔瑟姆市)的软件(下文称为)可以产生这种光谱库并且使用它们来将图像立方体去混合为成分图像。用于对多光谱图像(例如，图像立方体)去混合的技术例如在第8,391,961号美国专利、第8,634,607号美国专利和第8,462,981号美国专利中描述，其进一步解释如何基于包括来自染料和另一成分(例如自体荧光)的混合信号的测量光谱获得荧光染料的纯光谱的估计，以及另一成分的纯光谱的估计。每个前述专利文本的整个内容通过引用并入本文中。
当执行分类或图像分析时光谱去混合也是有用的。合适的用于分类图像的方法例如在第7,953,264号和第8,103,081号美国专利中描述。每个前述专利文本的整个内容通过引用并入本文中。
已经有如下报告(例如，参见James R.Mansfield,“Imaging in cancerimmunology:phenotyping immune cell subsets in situ in FFPE tissue sections,”Medical Laboratory Observer,2014年6月,其可在www.mlo-online.com处网上获得)：连续染色可以呗用于利用多达8个抗体标记的荧光探针以及4’,6-二脒基2-苯基吲哚(DAPI)荧光细胞核复染剂来标记组织样本。这提供了当对免疫细胞显型(phenotype)来估计患者的免疫***对癌症或一种疾病的响应时、当测量各种标记物的蛋白表达水平时、或在同样的样本中二者均进行时的有价值的信息。
本公开的特征***和方法用于基于包括染料且还可以呈现来自其他实体的荧光的细胞或组织样本确定荧光染料的光谱，其他实体包括其它染料和样本自体荧光。该***和方法可以确定染料光谱以产生表示纯染料光谱的结果，由于其会在不存在样本自体荧光时出现，并且其基本上未受到自体荧光的存在或者其详细特性的影响。
当样本中不同的点呈现具有不同比例的自体荧光信号和染料信号的荧光时，通过仔细分析对应于样本中染料相对富集的位置和染料相对欠缺的位置的光谱的差异，能够产生纯染料光谱的可靠的估计。特别地，该两个之间的光谱差异描述了改变染料和自体荧光的相对比例的效果。本文所公开的***和方法使用这种差异来从两种成分的未知混合物中合成“纯”光谱。
确定荧光染料的纯光谱的一个方面是确定对所测量的光谱进行多少“净化”，尽管染料和自体荧光对所测量的光谱的相对比例(和贡献)是未知的，并且增加(或减去)给定量的光谱差异信号的效果未知。本文所公开的***和方法通过减去所选择的差异光谱的量来解决该困难，其中该选择是基于现有的关于染料和自体荧光的最小量的知识做出的。
优选地，关于荧光的现有知识包括两个特征：第一，“暗”带是已经知晓的染料呈现较少或不呈现荧光的激发和发射波长的组合；以及第二，“亮”带是已经知晓的染料呈现明显荧光(尽管其不需要是所有可能组合中的最亮的)的激发和发射波长的组合。
关于自体荧光的仅有一个现有知识被使用，即，在染料的暗带中其具有一些非零发射。该暗带发射不需要是自体荧光光谱中最亮的点，只要其足够强到可被测量即可。
在一些实施例中，选择两组像素，其中一组与另一组相比染料相对富集。相对染料不富集或欠缺的像素而言，对于染料富集的像素，该像素的较大比例的总发射光强度相对于内源荧光(自体荧光)而言归因于染料，对于染料不富集或欠缺的像素，该像素的较少比例的总发射光强度的相对于内源荧光而言归于染料。
注意对于两组像素(即，染料富集的像素和染料欠缺的像素二者)，来自染料的荧光发射可以提供对总光发射强度的主要贡献，并且来自自体荧光对总强度提供次要贡献，因此来自染料的发射光在二个群体中占主要作用，该两个群体仅在染料荧光和自体荧光的相对比例上不同。可选地，在一些实现中，自体荧光在染料富集和染料欠缺这两组像素中对总发射强度构成主要贡献。作为另一可选，在某些实现中，染料富集的像素的光谱主要包括来自荧光染料的光发射，染料欠缺的像素的光谱主要或完全由自体荧光发射组成。这些情景的任何可经分析，只要两组像素群体在来自染料和自体荧光的贡献在它们整体测量光发射中的相对比例有所差异即可。
本文所公开的方法和***基于染料富集像素的光谱减去一定量的染料欠缺像素的光谱，来确定荧光染料(或者，更一般地，样本内荧光发射器)的纯光谱的估计。所减去的染料欠缺像素光谱的准确量根据需要调节，以获得暗带内的零平均值。所得到的光谱是纯染料光谱的良好估计。可选地，来自纯光谱的估计的贡献随后可以在光谱“暗带”中被设置为零，或者在光谱的任意位置处的负值可以被设置为零，或者二者均被设置为零。
本文所公开的***和方法与其它确定染料光谱的方法相比相当简单。它们不依赖纯自体荧光光谱的独立的测量，并且不依赖被染色样本内无染料点的完全识别，其中该纯自体荧光光谱的独立的测量传统上是通过无染料的、但以其他方式可与承载有染料的样本比较的“对照(witness)”样本而进行的。
上述任一种带来复杂性、操作者依赖性、测量误差或这些的混合。使用对照样本增加了复杂性，因为其需要获得合适的组织部分并恰当地制备。进一步地，获得其自体荧光光谱与染色样本的光谱良好匹配的对照样本可能不方便(或者不可能)。如果这样，依赖于这个特性的测量的准确性会降低。在被染色的样本的图像中选择无染料的点通常包括可能为不可靠的操作者的判断，并且操作者彼此可能也有所不同。因此，预期该结果基于操作者技术、训练、和/或在分析期间进行的随机选择而变化。
相反，本文所公开的方法和***可以用单个样本操作，其中每个点包括染料和自体荧光贡献的混合。还有其产生的染料光谱并不会由于样本内随处存在的自体荧光或者普遍存在的(非特定的)染料的结合而降低。此外，染料光谱的测量表示染料自身，而不是操作者技术或者用于进行测量的样本的特性。本文所公开的方法和***可以提供部分或完全自动的光谱确定，以便操作者技术和判断最小化，且测量在所有操作者之间具有高再现性。类似地，相同的操作者从同样样本的重复测量、或者用相同染料制备的多个可比较样本的测量中会获得类似的结果。
本文所公开的方法和***的另一方面在于光谱的测量可以被重复作为样本所使用的组织学制备的质量或一致性检查。例如，染料光谱可以每隔一定间隔被检查，或者为了证明新的一组化学剂合格，或为了验证组织学协议所推荐的变化，或为了比较不同实验室位置的染色程序。
因为该方法和***提供对基本上与包括染料的样本的自体荧光无关的染料的光谱特性的确定，并且该确定大部分地自动化并且不依赖于操作者，如果注意到差异，它们更可能表示组织学上实际的变化，并且比一般使用其它传统方法观察时，较低地可能是混淆影响或测量误差引起的假警报。
本文所公开的***和方法还可以用于提供适合于细胞和组织样本的多光谱分析的光谱测量，该细胞和组织样本包括大量的外源荧光染料，例如4个荧光探针和复染剂、或者5个荧光探针和复染剂、或者甚至6个或更多个荧光探针和复染剂。在所有这些情形中，它们可以是来自该样本的自体荧光。随着染料数量的增加，或者当具有很大程度上类似或重叠光谱的多个染料被使用时，可靠的光谱越来越重要。
一般地，本文所公开的***和方法分析与细胞和组织样本的荧光光谱图像相关的光谱。这些包括以多种激发波长、发射波长或者二者的不同组合得到的样本的图像。这种类型的信息可以被称为图像立方体，意味着多层图像，其中每层包括样本的图像中的一个，并且每个像素处N层的值Si的集合构成了样本中该位置处的光谱S。S可以视为N-空间内的向量。
通常这种信号以某种任意单位被报告，例如获得图像的工具检测到的数字计数，这可能不是按照国际标准单位或者任何其它绝对测量尺度被校准的。本文所公开的***和方法不需要这种校准来成功地分析多光谱成像信息，而是如果在校准的信息可用时来分析该校准的信息。多光谱成像的另一共同实践是以已知的方式通过曝光时间、相机增益或其他与获取条件相关的因素对图像立方体中的信号进行缩放，以使得容易比较使用不同设置得到的图像，或者使用在一组曝光和增益条件下获得光谱来对在不同条件下获得的图像去混合。本文所公开的***和方法可以分析这种缩放的信息。
多光谱图像信息的分析
多光谱成像中的一个重要概念是归一化的光谱向量s，其与S共线但具有单位笛卡尔长度：
归一化的向量s指示光谱向量S在N-空间中的方向。图像立方体中的每个像素可以由其样本位置(x,y)和光谱S描述；后者可以分解为信号强度|S|和光谱方向向量s。
另一有用的概念是暗带光谱Sdark，其对应于具有除已知的染料不发荧光的“暗”带之外所有元素Si被设置为零的频谱S。类似地，sdark对应于具有除“暗”带之外所有元素都被设置为零的s。注意，sdark一般不是单位长度向量；因为归一化光谱中仅所选择的元素被保留，其长度指示光谱s在“暗”带中的多少。
一个相关概念是亮带光谱Slight，其对应于具有除已知的染料发出荧光的“亮”带之外其所有元素Si都被设置为零的S。类似地，slight表示具有除“亮”带之外所有元素都被设置为零的s。类似于sdark，其长度也通常不是1，而是取决于s在“亮”带中的多少而变化。
图1是示出用于分析多光谱图像信息(例如，以光谱图像立方体形式)来确定样本中荧光染料的纯光谱的一系列步骤的流程图100。在步骤101中，接收光谱图像，或者直接从可以获得合适光谱图像立方体的工具接收，或者从诸如磁盘驱动器、网络或可以访问已经获得的光谱图像信息的计算机的另一源接收。
该图像是包括样本(例如组织或细胞样本)的荧光信号测量的光谱图像立方体。该图像的某些区域可以为空，意味着它们包括微量的样本材料，或者根本不包括。在以下讨论中，该样本为乳腺癌样本，其作为***固定的、用石蜡包围的(FFPE)组织块而获得，利用薄片切片机从其切割4微米部分，并随后经过标准的组织学处理以脱蜡、抗原修复，并使用结合到488染料(可从加利福尼亚、加利珀、生命科学解决方案得到)的ER探针以荧光免疫(IF)标记，以及用盖片(cover slip)安装在标准显微镜载片(slide)上。然而，更一般地，可以使用本文所公开的***和方法来对各种各样的不同样本进行成像和分析。
该样本的光谱图像是使用多光谱成像***(可从马萨诸塞州、沃尔瑟姆市、珀金埃尔默得到)获得的。其整合了附连到具有外部照明光学器件的Olympus BX51显微镜的数字照相机。该显微镜提供可接受多达6个外部(epi)滤波器立方体的、具有电动控制的滤光轮(filter wheel)。对于本文描述的所有示例，该滤光轮如表1所示构成。通过改变所启用的滤波器，可以选择提供至样本的激发光的波长、以及被呈现用于由数字照相机成像的发射波长的范围。可选地，液晶可调滤波器(LCTF)可以在照相机的前面启用，来选择发射带内的发射波长的子集，该发射波长的子集可以被扫描以提供发射光谱。
表1
滤波器# 名称 制造商. 部件编号 激发 发射
1 Brightfield - - - -
2 DAPI Semrock DAPI-50LP-A-000 352-402nm 409nm LP
3 FITC Chroma 49012 460-500nm 510nm LP
4 Cy3 Chroma 41032 530-560nm 572nm LP
5 Texas Red Semrock mCherry-40LP-A-000 542-582nm 593nm LP
6 Cy5 Chroma 49006 590-650nm 662-738nm
用于捕获多光谱图像信息的***配置为获得能够区别正被使用的样本中的染料光谱和自体荧光光谱的光谱图像。在一些实施例中，该***可以使用单个外部滤波器元件或若干这种滤波器。在某些实施例中，该***配置为用每个外部滤波器捕获若干图像，使用类似于LCTF的光谱选择元件来获取更多光谱信息，或者不如此。该***中成像模式和光学元件的选择通常取决于现成(at hand)样本的属性。
对于以上讨论的样本，具有23个层的图像立方体是使用***获得的，其中外部立方体滤波器、发射波长和曝光时间如表2中所示。图像立方体信号以数字计量单位测量，该数字计量单位无缩放地应用于曝光时间或增益。
表2
利用3.0.2软件(可从马萨诸塞州、沃尔瑟姆市、珀金埃尔默获得)对该立方体的彩色图像渲染，并且分别在图2A-图2C中示出该图像的蓝、绿和红色平面。从图像立方体中提取代表的感兴趣的区域，由原始1392x1040图像内的中央696x520区域构成，而丢弃的其余部分。
接下来，执行可选的步骤102和103，其中，识别空区域，并且标记相关联的空像素以在所有后续步骤中将其忽略。通过针对该图像立方体构建“暗”带信号Sdark的图像、并将具有弱信号的像素标记为空或空白(blank)来识别出空区域。
488染料当被由DAPI滤波器立方体产生的352-402nm范围中的光激发时非常微弱地发出荧光，并且当被由Texas Red外部滤波器立方体产生的550-575nm范围中的光激发时根本不发出荧光。利用这些外部滤波器中的任一个获得的所有图像层被视为针对当前样本的“暗”带。相反，利用FITC滤波器立方体获得的所有图像层被视为“亮”带，原因是当暴露于由该滤波器产生的450-490nm范围中的光时，488强烈地发出荧光。
考虑暗带信号|Sdark|的物理意义是具有指导性的。由于该项仅考虑来自暗带层的贡献，所以几乎没有或没有信号来自于样本中的488；其主要或全部地可归因于样本自体荧光。因此，|Sdark|在图像上的分布指示自体荧光在样本中的分布，其实现了对组织或细胞材料的区域的定位。
在图3中示出520x 696图像区域的信号强度|Sdark|的直方图。基于此，阈值被设置到313个计数，在313个计数以下像素被视为空像素。在图4中示出产生的掩模(mask)，其中空白像素区域以黑色示出。
这样的确定很少是完美的。如果将阈值设置得太低，则后续步骤将包括来自无样本区域的像素。或者，如果将阈值设置得太高，则后续步骤将排除一些承载有样本的像素。随后将更详细地讨论这个的结果。
尽管该示例基于应用到|Sdark|的阈值来找到空区域，但是替代地可以使用其他方法，只要它们对于现成样本的类型来说适用于定位何处有样本材料而何处没有样本材料即可。
在一些情况下，图像立方体可能包括带有灰尘、污染或其他异质材料的区域、或大的空白区域。出于诸如此类的原因，提供使用户限定应当要被忽略的区域的方式是有用的。这种类型的用户干预可在步骤102和103之前或之后发生。除此之外，一般不发生用户交互，并且染料光谱的确定是完全自动的。
在步骤107中，选择“亮”带。在该示例中，亮带对应于在获取期间对其使用了FITC外部滤波器的图像立方体平面。在步骤104中，选择“暗”带。在该示例中，暗带对应于在获取期间对其使用了DAPI或Texas Red外部滤波器的图像立方体平面。
一般地，“暗”带和“亮”带中的成员关系是相互排斥的特质，因为它们代表不相容的属性：前者意味着已经知晓染料是先验的、表达很少荧光或不表达荧光的，而后者意味着已经知晓染料展现显著的荧光。因此，光谱中没有点Si能够合适地均被指定到这两个带。
然而，这两个不是互补的：暗带和亮带的组合不必形成整个光谱S。换另外一种说法，光谱中的某个点Si不必被指定到要么是染料带、要么是暗带。例如，可能存在这样的光谱点，没有关于其存在显著的荧光或基本上不存在荧光的先验知识。这样的光谱点将不被指定到任一个带。
在步骤108中，通过对由|slight|给出了像素值的图像进行计算、并且选择其信号比特定阈值大的像素(在该示例中，信号为在强度信号的前百分之98中的或更高的像素)，选择染料信号相对富集的像素。这选择了与其他像素相比在染料带中包含了其信号的相对较高比例的像素。
这有助于解释这为什么是这样。回想slight是对于其除染料带条目(item)之外的所有条目si已经被设置为零的归一化光谱s。采用归一化的光谱消除了整体像素亮度的影响，仅留下作为用于选择的基础的光谱成分。然后，仅就染料带的贡献而言对像素排序提供了基于染料荧光与总荧光的比例来选择像素的一种便利方式。属性|slight|提供了就是这样的排序的一种便利方式。图5A示出通过|slight|排序的像素的直方图。
然后，对于|slight|满足98％标准的所有像素构建掩膜，并且从该掩膜内随机选择1000个像素，作为其信号在染料荧光上相对富集的像素的示例。在图1的步骤105中，使用了相同的掩膜来从非空像素的一般群组中排除染料富集的像素，产生既不是空的也不被视为染料富集的像素的群组。
对于这些像素，计算|sdark|，并且图5B示出就|sdark|而言对这些像素排序的直方图。在该带中排序最高的像素具有来自于除染料之外的源的其信号的最大比例，因此预期它们为染料欠缺的。基于阈值来选择像素的子集(选择|sdark|直方图中80％的点作为阈值，并且从满足或超过该阈值的那些像素当中随机选择1000个像素)作为染料荧光相对欠缺的像素的示例。
接下来，在图1的步骤109中，通过对于这些像素中每一个的向量s求和，并且除以像素的数量来获取染料富集的像素的平均光谱。对于各个染料富集的像素的光谱在图6A中示出，并且将平均的染料富集的光谱示出为图7A中的曲线71。
然后，在图1的步骤106中，以类似方式获取染料欠缺的像素的平均光谱。对于各个染料欠缺的像素的光谱在图6B中示出，并且将平均的染料欠缺的光谱示出为图7A中的曲线72。
在该示例中，首先选择染料富集的像素，并且该选择被用于执行对染料欠缺的像素的选择——即，通过创建所有染料富集的像素的掩膜并从可能的染料欠缺的像素集合中排除这些像素。然而，一般地，不需要将步骤105和108中的操作相耦合。在一些实施例中，例如，其可以独立地执行。例如，在选择染料欠缺的像素之前不构建染料富集的掩膜，而是替代地从所有非空像素当中选择染料欠缺的像素，该两个操作将是独立的。取决于现成样本和选择的阈值，可以使用任一种方法。另外，可以以任何顺序或者并行地执行步骤105和108。
基于488在暗带中具有很少或不具有荧光的先验知识、根据平均富集的光谱71和平均欠缺的光谱72(在图7A中示出)来计算纯染料光谱。
在该计算中，以从该点往前的曝光时间来缩放信号。例如，利用DAPI外部滤波器和14ms曝光、在440nm处获得的图像立方体的第一层中的82个计数的信号在缩放之后将为每秒5857个计数。
接下来，在步骤110中，计算纯光谱。物理上，染料富集的光谱指示一些染料荧光和未知量的自体荧光的混合的信号，而染料欠缺的光谱指示这两者的不同的混合，其中存在相对较低比例量的染料荧光。这可代数地表达为：
这捕捉到了模型中的潜在假设：样本可被描述为具有染料和自体荧光成分的两成分***；这些分别具有光谱sDye和sAF；并且测量的光谱sEnriched和sDeficit包括由系数aij给出的这些成分的不同的量。
公式(2a)可改写为：
AC＝M (2b)
其中C表示成分光谱sDye和sAF的列向量；A表示系数值aij；并且M表示测量的光谱sEnriched和sDeficit的列向量。
对公式(2b)求解C以产生彼此隔离的染料荧光和自体荧光的纯光谱。
C＝A-1M (3a)
一般而言，不能对A求逆来获得A-1，原因是其系数aij未知。尽管如此，可以按下述方式对上一行求解，或者至少求解出其两个元素的比值。展开公式(3b)的上一行产生：
当然，由于这对于整个光谱成立，所以其对于光谱的任何部分(诸如，构成暗带的部分)都成立。因此：
然而，通过染料在暗带中基本上不具有荧光的先验知识，因此：
此处，λ是表示染料富集的光谱的暗带中的信号水平与染料欠缺的光谱的暗带中的信号水平的比值的缩放值。如果在公式(2a)中表明的潜在假设确切成立，则这将对于暗带中的每个元素都成立，即对于对应于光谱的暗带中的元素的任何i来说：
因此，可以利用公式(5)、(6b)和(7)，根据对于sEnriched和sDeficit的测量值来计算光谱Sdye：
根据公式(8)，可以通过从测量的染料富集的像素的光谱中减去选定量λ倍的测量的染料欠缺的像素的光谱来获取期望的纯染料光谱，并且λ的值通过在基于关于染料的先验知识而限定的暗带内染料富集的光谱与染料欠缺的光谱的比值而给出。来自公式(8)的光谱Sdye未被归一化为单位长度，但是如果需要，则可以利用公式(1)根据其容易地获得sdye。
如在上面结合公式(7)所讨论的，λ可以根据暗带中的单个元素获取，但是实际上，优选地以容许测量误差的方式来计算这个参数。在本示例中，通过计算所有暗带元素i中加和的信号水平的比值、而不是仅一个元素来确定λ。也就是说，在步骤110中，利用公式(8)来计算纯光谱Sdye，其中λ计算如下：
这在Sdye的暗带中产生零的平均信号，并且被观察出在所有后续处理中给出好的结果，这将在下面进一步讨论。
可以将其视为在纯光谱上施加约束，即其在暗带中平均信号为零。也可以使用其他标准，例如选择λ以最小化在暗带上加和的纯光谱信号的绝对值；或最小化在暗带上加和的平方信号。这些产生了与公式(9)中的结果大致类似的结果，并且如果期望利用一些意味着信号为低而选择的标准来实现暗带中低信号水平的一般目标，则可以使用其他标准。
此外，作为步骤110的一部分，将用于染料估计的光谱元素Si对于暗带中的所有元素i都设置为零。这可以用于一次实现若干目的。第一，已经先验地知晓染料在该带中具有很少或不具有荧光发射，因此使得它们为零是合适的。第二，这消除了逻辑上来说不相容的负值。然而，每当暗带包含2个或更多个元素并且经由上面列出的任一标准(零的平均信号、最小化绝对信号的加和、最小化平方信号的加和)来计算λ时，负数都是几乎不可避免的。
一般地，信号在暗带上不是同样地为零。这可能归因于测量噪声，测量噪声可以通过考虑一组像素的属性来获得更多的统计权重来降低但是不被消除。然而，可能还存在其他原因。本文公开的***和方法使用单个图像来估计具有来自染料和自体荧光信号的较多和较少贡献的两个群体，并且然后在与关于染料信号在暗带中的先验知识相关的约束下，计算它们之间的光谱差异以从前一个群体的光谱中移除自体荧光。
因此，两个光谱之间的差异被用于移除假定为被二者共享的不想要的信号。至于染料欠缺的像素包含具有不同种属的自体荧光的材料方面而言，该不同种属的自体荧光的材料具有与其对染料富集的像素做出贡献的光谱不同的光谱，由于该差异而将获得不完美的估计。
本文公开的***和方法得益于这样的事实：在两种情形中使用相同样本。因此，样本固定、组织结构、安装和成像处理是相似的。这与借助利用分离的自体荧光“空白”来获取对该信号的估计的其他技术的情形形成对比。在这样的方法中，不可避免的是在组织自身中将存在一些差异；在最好情况下，可以利用相邻的部分，但是实际上这可能是不可能的，出于便利或染料和探针接近该块受限的原因或归因于其他因素，可以使用来自不同组织块的组织。
尽管有这个优点，对染料富集的像素做出贡献的自体荧光信号可能稍微不同于对染料欠缺的像素做出贡献的自体荧光信号。在不希望被理论限制的情况下，这可能归因于固有的样本可变性(variability)，样本可变性产生了不同的细胞室(核、质、膜)之间、或不同的组织结构(基质、上皮、血管等)之间或期望的样本材料和场景中的其他材料(红血细胞、碎片)之间的不同的分子组成。
另外，如果存在不同的种属，则用于选择染料富集的像素组和染料欠缺的像素组的任何策略都容易受到相对于另一自体荧光种属对某一个自体荧光种属有利的统计选择压力的影响。例如，通过基于通过暗带成分信号|sdark|来对像素排序的直方图中的高排序来取像素，则会施加有利于其自体荧光光谱在该带中为强的像素的统计偏向。因此，被选择为染料欠缺的像素可能还固有地提供多少非代表性的自体荧光信号成分。
通过从染料欠缺的候选的相对广的群体当中、而不是从可能被预期为较不具有代表性并且包括较大比例的异常值(outliers)的较窄的群组当中进行选择，来减小这种类型的效应。在上面讨论的示例中，基于80％直方图水平来选择染料欠缺的像素组。
根据上面讨论的方法获取的在将暗带信号设置到零之前的染料的纯光谱示出为图73中的曲线73，并且在这样做并且归一化到单位长度之后示出为曲线74。
通过比较的方式，以相同方式分析了相同的图像立方体，其中相邻组织部分被用作自体荧光“空白”样本来估计纯自体荧光光谱。结果示于图7B中，其中自体荧光光谱示出为曲线76。选择了图像立方体中承载有染料的区域，其光谱示出为曲线75。软件的“手动计算光谱(Manual Compute Spectra)”功能用于计算纯光谱，其示出为图7B中的曲线77。
光谱77不太可能是实际的488光谱的准确估计。例如，其示出Texas Red带中的强响应，其对应于在高于540nm的波长处的激发和在600nm和更高的波长处的发射。对于该染料不预期具有这些特性的荧光。
相比之下，除了在DAPI带中低于480nm的少量负向的值之外，光谱73与对于该染料的预期一致；在产生的、暗带被设置到零的光谱74与已知的染料属性一致并且在光谱去混合实验中表现得很好。
在一些实施例中，对于确定出的荧光染料的光谱估计可以可选地用于在图1的步骤122中构建光谱库。在可选的步骤121，可以接收(例如，测量、从可访问的存储单元或位置获取、或由用户输入)其他光谱，并且还可以将其用于构建光谱库。一般地，构建光谱库涉及以某个格式存储光谱信息(例如，纯光谱)用于随后检索和使用。不是所有在步骤121中接收的光谱都需要已经利用本文公开的方法和***获得。例如，它们可以已经来自于利用相同工具执行的其他测量，或来自于关于基于给定染料的属性和工具的预期响应的综合预测，或来自于对于类似设备获得的表列值。
在可选的步骤131中，光谱库——其包括被确定的染料的纯光谱——可以用于对多光谱图像去混合。一般地，在步骤131中去混合的多光谱图像将是与被用于计算纯染料光谱的样本不同的第二样本的图像。换言之，本文公开的方法和***可用于就地获得染料和其他发荧光的实体的纯光谱估计，并且然后利用这些估计来定量地分析其他样本(例如，其他组织部段和/或细胞样本)的多光谱图像。对第二样本的分析一般涉及利用染料的纯光谱，在第二样本中的多个位置的每一个处确定各种荧光(和非荧光)报告子(reporter)的数量作为样本中的空间位置的函数。用于执行这样的分析的方法例如公开于美国专利No.8,391,961、8,634,607和8,462,981中。过程然后结束于步骤141。
附加示例
如同在前面部分中的示例，在本部分中的示例不意图限制权利要求的范围，而仅用于进一步描述本文公开的主题的某些特征。
示例1
在该示例中，样本为乳腺癌样本，其作为***固定的、用石蜡包围的(FFPE)组织块而获得，利用薄片切片机从其切割4微米部分，并随后经过标准的组织学处理以脱蜡、抗原修复，并使用结合到594染料(可从加利福尼亚、加利珀、生命科学解决方案得到)的PR探针以荧光免疫(IF)标记。利用DAPI对其复染(counterstain)，并且然后用盖片安装在标准显微镜载片上。使用如先前讨论的相同工具、外部-滤波器和波长来对其进行成像。
在该示例中，目标是为了确定594的纯染料光谱，因此暗带包括利用DAPI或FITC外部滤波器获取的所有图像立方体平面，并且亮带包括利用Texas Red滤波器获取的所有图像立方体平面。由图像立方体产生彩色图像；蓝色、绿色和红色图像平面分别示为图8A-图8C。
以相同方式识别出空白区域，利用|Sdark|中的2129个计数的阈值以选择承载有样本的区域。图9A中示出的|slight|的直方图用于基于98％的群体信号强度百分位来选择染料富集的像素。从承载有样本的像素的组中移除这些像素以形成包含样本并且不被视为染料富集的像素组；在图9B中示出的这些像素的|sdark|的直方图用于基于80％的群体信号强度标准来选择染料欠缺的像素。
从每个像素组(染料富集和染料欠缺的)随机选择一千个像素，并且对于每个群组计算平均光谱。利用公式(8)估计纯染料光谱，其中利用公式(9)来计算λ以在暗带中产生零的平均值。结果示出于图10A中，其中，曲线151示出平均的染料富集的光谱，曲线152示出平均的染料欠缺的光谱，并且曲线153示出在使得暗带信号为零之前的纯染料光谱。暗带被设置为零的归一化光谱示出为曲线154。
为了比较的目的，基于相同的594样本和先前讨论的自体荧光对照样本，利用软件计算光谱。结果示出于图10B中。从594样本选择承载有染料的区域，其光谱通过曲线155示出，并且从对照样本选择自体荧光区域，其光谱通过曲线156示出。使用的“手动计算光谱”功能来产生由图10B中的曲线157示出的纯染料光谱。
示例2
在来自相同的组织块的另一样本上沿循了与示例1中的程序相同的程序，在该样本上没有施加DAPI复染剂。图11A示出获得的平均的染料富集、染料欠缺和纯染料光谱，分别作为曲线161、162和163。然后将暗带设置为零并且将产生的光谱归一化；结果示出为曲线164。
使用来测量基于该样本针对594染料的光谱，利用与先前示例相同的自荧光空白。相同的操作员执行与先前描述的相同的步骤；获得的承载有染料、自体荧光的纯光谱在图11B中分别示出为曲线165、166和167。
比较曲线154和164，其之间没有大的差异，表明尽管存在着位于核(PR抗体并且因此594主要位于其中的相同细胞室)中的强的、混杂的DAPI信号，还是获得了594信号的良好估计。
相较之下，曲线157和167明显不同。这些是利用依赖于自体荧光“空白”光谱156来净化混合信号155的方法来确定的。当由于存在混杂的DAPI发射因而承载有染料的样本具有不同的背景信号时，这给出不佳的结果。甚至光谱167具有对于DAPI外部滤波器的强响应，鉴于该染料的已知属性，其不可能为准确的。
示例3
在另外的示例中，样本为乳腺癌样本，其作为***固定的、用石蜡包围的(FFPE)组织块而获得，利用薄片切片机从其切割4微米部分，并随后经过标准的组织学处理以脱蜡、抗原修复。然而，不执行免疫荧光(IF)标定。利用DAPI对其复染，并且然后用盖片安装在标准显微镜载片上。使用如先前讨论的相同工具、外部-滤波器和波长来对其进行成像。
根据本文公开的方法来确定纯DAPI光谱，使用了对于其利用了FITC外部滤波器的所有图像立方体层作为暗带。亮带包括对于其利用了DAPI外部滤波器的所有图像立方体层。利用Texas Red外部滤波器获取的图像立方体层不被指定到暗带或亮带。使用了与先前示例相同的程序和阈值来选择染料富集和染料欠缺的像素。
染料富集和染料欠缺的像素组的平均光谱在图12A中示出为曲线171和172。曲线173描绘了利用公式(8)获得的纯光谱，其中利用公式(9)选择λ。在该示例中，暗带中的信号被设置为零，并且在所有其他带中的信号被修剪(clip)以防止负向的值，并且然后将其归一化到单位长度。结果示出为图12A中的曲线124。以在上面结合先前示例所描述的方式、利用软件获得的自体荧光(曲线175)、样本(曲线176)和纯(曲线177)光谱在图12B中示出。
示例4
在另一示例中，从乳腺癌组织样本产生多元(multiplexed)样本，其作为***固定的、用石蜡包围的(FFPE)组织块而获得，利用薄片切片机从其切割4微米部分，并随后经过标准的组织学处理以脱蜡、抗原修复，并使用结合到594染料的PR探针以及结合到488染料的ER探针以荧光免疫(IF)标记。利用以1:20000稀释的DAPI对其复染(counterstain)，并且然后用盖片安装在标准显微镜载片上。
由从相同块切割的相邻部分产生自体荧光空白，并且然后使其经过相同的组织结构程序——除了既不施加探针也不施加复染剂之外。利用相同的外部滤波器和波长，使用先前描述的相同***来对样本和自体荧光空白进行成像。图像立方体的颜色渲染的蓝色、绿色和红色平面分别在图13A-13C中示出。
选择自体荧光空白的承载有组织的区域，并且然后获得了对于这些像素的平均光谱。根据该自体荧光光谱和从上述其他示例确定的488、594和DAPI光谱汇集成光谱库。
利用该库对多元样本图像立方体去混合，并且生成表示样本中每种染料的分布和自体荧光的分布的成分图像。这些示出为图14A(去混合的自体荧光图像)、图14B(去混合的488图像)、图14C(去混合的594图像)和图14D(去混合的DAPI图像)。
图像分析和对象分类
光谱去混合的结果是指示各种染色剂和其他样本成分的位置和量的一组成分图像。成分图像是用于各种图像分析的丰富数据集，各种图像分析包括表达测量、协同定位、阳性分析以及涉及这些量的生物标志物指标的评估(癌症预后、病人分层等)或者被染色的组织的任何定量测量。
成分图像适合于使用例如在美国专利No.7,155,555和美国专利No.8,280,140中所描述的技术进行图像分析和对象分类，通过引用将上述专利的全部内容并入本文。因此，在本文中公开的***和方法可以提供获取图像并且如上所述地对它们进行处理，进行图像预处理和去混合成为成分图像，进行对象分类以找到组织结构、细胞或者亚细胞室，以及通过评估去混合的成分中的信号水平来测量蛋白质表达。
上文已经注意到，对于什么区域是承载有样本和哪些是空的确定很少是完美的。在当前示例中，为所存在的样本选择较严苛的标准并不是没有益处的。这是因为如果排除了实际上包含样本的小百分比的像素，其不强烈地影响对或是染料富集的像素组的选择、或是染料欠缺的像素组的选择。前者是事实，因为在本文使用的样本中，染料趋向于位于存在着显著的自体荧光的细胞室中。因此，对于暗带信号强度|Sdark|使用较高一些的直方图截止不太可能拒绝掉染料富集的像素。而是，其拒绝掉较微弱的自体荧光结构，例如基质。其也不太可能拒绝掉大多数染料欠缺的像素，因为这些像素是基于暗带信号在其整体信号中的相对比例来选择的。
在本文中公开的***和方法提供的提高的准确性导致包含多个染料的样本的更准确的测量。其还意味着可以更可靠地检测到或测量空间共同定位的荧光探针。
多光谱成像***
图15是示出获取样本的多个光谱分辨图像的***200的示意图。***200可以用于获取多光谱图像(例如，图像立方体)，并且还用于分析多光谱图像信息(例如，通过执行本文所述的任一步骤)。
光源202向光调节光学器件204提供光222。光222可以是不相干光，例如诸如从灯丝源生成的光，或者光222可以是相干光，诸如由激光器生成的光。光222可以是连续波(CW)或时间选通(即，脉冲)的光。另外，光222可以以电磁谱的所选择的部分来提供。例如，光222可以具有中心波长和/或落入在紫外、可见、红外或光谱的其他区域内的波长分布。
光调节光学器件204可以被配置为以很多方式来变换光222。例如，光调节光学器件204可以对光222进行光谱滤波以提供光谱的所选择的波长区域中的输出光。替代地，或者另外地，光调节光学器件可以调节光222的空间分布以及光222的时间属性。通过光调节光学器件204的元件的动作从光222生成入射光224。
入射光224被定向成入射到安装在照明台206上的样本208上。台206可以提供保护样本208的部件，诸如安装夹或其他紧固器件。替代地，台206可以包括固定有多个样本208的移动轨道或传送带。驱动器机构可以被配置为移动轨道以便一次一个地接连地平移多个样本通过台206上的照明区域，使入射光224射到其上。台206还可以包括平移轴和用于相对于照明台206的固定位置平移样本208的机构。平移机构可以手动地操作(例如，螺杆)，或者可以经由电子制动(例如，电动驱动器、压电制动器)自动地移动。
响应于入射光224，发射光226从样本208射出。发射光226可以以很多方式生成。例如，在一些实施例中，发射光226对应于入射光224的透射通过样本208的部分。在其他实施例中，发射光226对应于入射光224的从样本208反射的部分。在另外的实施例中，入射光224可能被样本208吸收，并且发射光226对应于响应于入射光224的来自样本208(例如，来自样本208中的荧光成分)的荧光发射。在另外的实施例中，样本208可为发冷光的，并且可在没有入射光224的情况下产生发射光226。在一些实施例中，发射光226可包括经由前述机制中的两个或更多个而产生的光。
在很多实施例中，样本208是生物学样本，诸如组织切片(例如，用于病理学的样本、或者如在细胞学研究中的细胞悬浮液或涂片)、或者组织培养中的活的或固定细胞。
对光收集光学器件210放置以接收来自样本208的发射光226。光收集光学器件210可以被配置为例如在光226偏离时校准发射光226。光收集光学器件210还可以被配置为对发射光226进行光谱滤波。滤波操作例如用于将经由上述的机制之一产生的发射光226的一部分与经由其他处理产生的光分离。例如，本文描述的方法用于确定样本中一种或多种染料的荧光光谱的准确估计。光收集光学器件210可配置为滤除发射光226中的非荧光成分(例如，与透射和/或反射的入射光对应的成分)。另外，光收集光学器件210可以被配置为修改发射光226的空间和/或时间属性，用于实施例中的特定目的。光收集光学器件210将发射光226变换成入射到检测器212上的输出光228。
检测器212包括被配置为检测输出光228的诸如CCD传感器这样的一个或多个元件。在一些实施例中，检测器212可配置为测量光228的空间和/或时间和/或光谱属性。检测器212生成对应于输出光228的电子信号，并且经由电子通信线230传送给电子控制***214。
电子控制***214包括处理器216、显示设备218和用户界面220。除了接收对应于由检测器212检测到的输出光228的信号之外，控制***214还将电子信号发送给检测器212以调节检测器212的各种属性。例如，如果检测器212包括CCD传感器，则控制***214可以将电子信号发送给检测器212以控制CCD传感器的曝光时间、活动区、增益设置和其他属性。
电子控制***214还分别经由电子通信线232、234、236和238与光源202、光调节光学器件204、照明台206和光收集光学器件210进行通信。控制***214将电子信号提供给***200中的这些元件的每一个以调节元件的各种属性。例如，提供给光源202的电子信号可以被用于调节光222的强度、波长、重复率或其他属性。提供给光调节光学器件204和光收集光学器件210的信号可以包括例如用于配置调节光的空间属性的设备(例如，空间光调制器)的属性以及用于配置光谱滤波设备的信号。提供给照明台206的信号可以用于例如相对于台206来定位样本208和/或将样本移动到台206上用于照明的位置处。
控制***214包括用于显示***属性和参数以及用于显示样本208的所捕捉的图像的用户界面220。提供用户界面220以便于操作者与***200进行交互以及控制***200。处理器216包括用于存储使用检测器212捕捉的图像立方体的存储设备，并且还包括对处理器216实施使处理器216执行控制功能(例如，诸如上述的那些)的指令的计算机软件。另外，软件指令使处理器216数学地处理由检测器1120所捕捉的图像以及执行根据原始或经处理的图像中的一者或两者分类样本208的步骤。随后将更详细地描述分类步骤。
在一些实施例中，光调节光学器件204包括诸如滤光轮或液晶光谱滤波器这样的可调节的光谱滤波器元件。滤波器元件可以被配置为使用不同的光波长带来提供对样本108的照明。光源202可以提供具有宽广分布的光谱波长成分的光222。该宽广波长分布中的所选择的区域被光调节光学器件204中的滤波器元件允许作为入射光224通过，并且被定向为入射到样本208上。随后，改变光调节光学器件204中的滤波器通带中的波长以提供具有不同波长的入射光。可以通过采用具有生成不同波长的光的多个源元件的光源202、并且交替地打开和关闭不同的源元件来提供具有不同波长的入射光224，来记录光谱分辨图像。
光收集光学器件210可包括与在上面结合光调节光学器件204讨论的那些类似的可配置光谱滤波器元件。因此，可以在样本208的激发侧(例如，经由光调节光学器件204)和在样本208的发射侧(例如，经由光收集光学器件210)来提供光谱分辨率。
收集样本208的多个光谱分辨图像的结果是“图像栈”，其中栈中的每个图像是该样本的对应于特定波长的二维图像。在概念上，可将图像的组可视化为形成三维矩阵，其中矩阵维度中的两个为图像中的每个图像的空间长度和宽度，并且第三矩阵维度为光谱指数。出于这个原因，光谱分辨图像组可以被称为图像的“光谱立方体”。当在本文中使用时，在这样的一组图像(或图像栈或光谱立方体)中的“像素”指的是对于图像中的每个图像的共同空间位置。因此，在一组图像中的像素包括与在对应于该像素的位置处的每个图像相关联的值。
硬件和软件实现
图16示出电子控制***214的示例，其可以与本文描述的***和方法一起使用。电子控制***可包括一个或多个处理器302(例如，对应于图15中的处理器216)、存储器304、存储设备306和用于互连的接口208。处理器302可处理用于在电子控制***214内执行的指令，包括存储在存储器304中或存储在存储设备306上的指令。例如，该指令可指示处理器302执行本文公开的任何分析和控制步骤。
存储器304可存储用于处理器302的可执行指令、关于***的参数的信息(诸如激发和检测波长)、和测量的光谱图像信息。存储设备306可以为计算机可读介质，例如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储器设备或设备的阵列，包括以存储区域网络或其他配置的设备。存储设备306可存储能够被上述处理器302执行的指令和能够被存储器304存储的任何其他信息。
在一些实施例中，电子控制***214可包括图形处理单元以在诸如显示器316的外部输入/输出设备上显示图形信息(例如，利用GUI或文本接口)。图形信息可通过显示设备(例如，CRT(阴极射线管)和LCD(液晶显示)监视器)进行显示用于显示本文公开任何信息，例如测量和计算的光谱和图像。用户可利用输入设备(例如，键盘、指向设备、触屏、语音识别设备)将输入提供到电子控制***214。
本文公开的方法可以通过执行一个或多个计算机程序中的指令来由电子控制***214(和处理器302和216)实现，该一个或多个计算机程序能够在电子控制***214上执行和/或解译。这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象编程语言和/或以汇编/机器语言来实现。例如，计算机程序可包含能够存储在存储器304中、在存储单元306中和/或在计算机可读介质上并且由上述处理器302(处理器216)执行的指令。当在本文中使用时，术语“计算机可读介质”指的是用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD)、ASIC和电子电路)，包括接收机器指令的机器可读介质。
一般地，可以在计算***中实现电子控制***214以实现上述操作。例如，计算***可包括后端部件(例如，作为数据服务器)、或中间件部件(例如，应用服务器)、或前端部件(例如，具有图形用户界面的客户端计算机)或其任何组合。
其他实施例
虽然本公开描述了特定实现方式，但是这些不应当被理解为对本公开的范围的限制，而是应当作为在某些实施例中的特征的描述。在单独的实施例的上下文中描述的特征还可以一般地组合地实现在单个实施例中。相反，在单个实施例的上下文中描述的各种特征可以分离地或以任何合适的子组合地在多个实施例中实现。此外，尽管特征可在上面描述为存在于某些组合中并且即便初始请求保护的也如此，但是来自请求保护的组合的一个或多个特征可以一般从该组合中剔除，并且请求保护的组合可涉及子组合和子组合的变型。
除了明确地公开于本文的实施例之外，应理解的是，在不背离本公开的精神和范围的情况下可以对描述的实施例进行各种修改。因此，其他实施例在所附的权利要求的范围内。

Claims (62)

1.一种方法，包括：
获取包括荧光染料的样本的多光谱图像信息，其中，所述多光谱图像信息对应于包括多个二维的层的图像立方体，每个层对应于所述样本的图像；
根据所述图像立方体计算包括来自所述样本中的内源荧光的贡献的第一光谱；
根据所述图像立方体计算包括来自所述荧光染料和来自所述样本中的内源荧光的贡献的第二光谱；以及
基于所述第一和第二光谱计算所述样本中的所述荧光染料的纯光谱，
其中，来自所述荧光染料的光发射对所述第二光谱的相对贡献大于来自所述荧光染料的光发射对所述第一光谱的相对贡献；
其中，计算所述第一和第二光谱包括识别所述图像立方体中的对应的第一组和第二组像素强度值，并使用识别出的各组像素强度值来计算所述第一和第二光谱；并且
其中，识别所述第一组像素强度值包括将所述图像立方体的一个或多个层指定为第一层组，并基于所述第一层组识别所述第一组像素强度值的成员。
2.根据权利要求1所述的方法，其中，所述第一光谱包括来自所述荧光染料的贡献。
3.根据权利要求1所述的方法，其中，在所述荧光染料的所述纯光谱中，相对于所述第二光谱，减少来自所述样本中其他成分的光发射的相对贡献。
4.根据权利要求2所述的方法，其中，在所述荧光染料的所述纯光谱中，相对于所述第二光谱，使来自所述样本中其他成分的光发射的相对贡献最小化。
5.根据权利要求1所述的方法，进一步包括，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分确定所述像素是否是所述第一组像素强度值的成员。
6.根据权利要求1所述的方法，进一步包括将所述图像立方体的一个或多个层指定为第二层组，并基于所述第二层组识别所述第二组像素强度值的成员。
7.根据权利要求6所述的方法，进一步包括，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分确定所述像素是否是所述第一组像素强度值的成员。
8.根据权利要求7所述的方法，进一步包括，针对所述第二层组中的每个候选像素，基于总像素强度的可归因于所述第二层组的部分确定所述像素是否是所述第二组像素强度值的成员。
9.根据权利要求1所述的方法，进一步包括基于第一组的层识别对应于所述样本的像素。
10.根据权利要求1所述的方法，进一步包括：
将所述荧光染料的纯光谱添加到光谱库；
获取对应于第二图像立方体的第二样本的第二组多光谱图像信息，其中，所述第二样本包括所述荧光染料；以及
使用所述光谱库来对所述第二图像立方体去混合以确定所述荧光染料在所述第二样本中的多个空间位置处的量。
11.根据权利要求10所述的方法，其中，所述第二样本包括荧光复染剂，所述方法进一步包括确定所述荧光染料和所述荧光复染剂在所述第二样本中的所述多个空间位置处的相对量。
12.根据权利要求1所述的方法，进一步包括通过从所述第二光谱减去经缩放倍数的所述第一光谱来确定所述纯光谱。
13.根据权利要求12所述的方法，进一步包括根据对应于所述图像立方体中的多个像素的像素强度值来确定乘以所述第一光谱的缩放系数的值。
14.一种***，包括：
辐射源，配置为将照明辐射引导到包括荧光染料的样本；
检测器，配置为通过检测从所述样本发射的光来获取所述样本的图像；以及
电子处理器，配置为：
从由所述检测器获取的一个或多个图像获取所述样本的多光谱图像信息，所述多光谱图像信息对应于包括多个二维的层的图像立方体，每个层对应于所述样本的图像；
根据所述图像立方体计算包括来自所述样本中的内源荧光的贡献的第一光谱；
根据所述图像立方体计算包括来自所述荧光染料和来自所述样本中的内源荧光的贡献的第二光谱；以及
基于所述第一和第二光谱计算所述样本中的所述荧光染料的纯光谱，
其中，来自所述荧光染料的光发射对所述第二光谱的相对贡献大于来自所述荧光染料的光发射对所述第一光谱的相对贡献；
其中，计算所述第一和第二光谱包括识别所述图像立方体中的对应的第一组和第二组像素强度值，并使用识别出的各组像素强度值来计算所述第一和第二光谱；并且
其中，识别所述第一组像素强度值包括将所述图像立方体的一个或多个层指定为第一层组，并基于所述第一层组识别所述第一组像素强度值的成员。
15.根据权利要求14所述的***，其中，所述第一光谱包括来自所述荧光染料的贡献。
16.根据权利要求14所述的***，其中，在所述荧光染料的所述纯光谱中，相对于所述第二光谱，减少来自所述样本中其他成分的光发射的相对贡献。
17.根据权利要求16所述的***，其中，在所述荧光染料的所述纯光谱中，相对于所述第二光谱，使来自所述样本中其他成分的光发射的相对贡献最小化。
18.根据权利要求14所述的***，其中，所述电子处理器配置为，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分确定所述像素是否是所述第一组像素强度值的成员。
19.根据权利要求14所述的***，其中，所述电子处理器配置为将所述图像立方体的一个或多个层指定为第二层组，并基于所述第二层组识别所述第二组像素强度值的成员。
20.根据权利要求19所述的***，其中，所述电子处理器配置为，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分确定所述像素是否是所述第一组像素强度值的成员。
21.根据权利要求20所述的***，其中，所述电子处理器配置为，针对所述第二层组中的每个候选像素，基于总像素强度的可归因于所述第二层组的部分确定所述像素是否是所述第二组像素强度值的成员。
22.根据权利要求14所述的***，其中，所述电子处理器配置为基于第一组的层识别对应于所述样本的像素。
23.根据权利要求14所述的***，其中，所述电子处理器配置为：
将所述荧光染料的纯光谱添加到光谱库；
获取对应于来自由所述检测器获取的一个或多个图像的第二图像立方体的第二样本的第二组多光谱图像信息，其中，所述第二样本包括所述荧光染料；以及
使用所述光谱库来对所述第二图像立方体去混合以确定所述荧光染料在所述第二样本中的多个空间位置处的量。
24.根据权利要求23所述的***，其中，所述第二样本包括荧光复染剂，并且其中，所述电子处理器配置为确定所述荧光染料和所述荧光复染剂在所述第二样本中的所述多个空间位置处的相对量。
25.根据权利要求14所述的***，其中，所述电子处理器配置为通过从所述第二光谱减去经缩放倍数的所述第一光谱来确定所述纯光谱。
26.根据权利要求25所述的***，其中，所述电子处理器配置为根据对应于所述图像立方体中的多个像素的像素强度值来确定乘以所述第一光谱的缩放系数的值。
27.一种方法，包括：
获取包括荧光染料的样本的多光谱图像信息，其中，所述多光谱图像信息对应于包括多个二维的层的图像立方体，每个层对应于所述样本的图像；
将所述图像立方体的至少一个层指定为对应于所述荧光染料的暗带的第一层组；
基于来自所述图像立方体的各个第一组和第二组像素强度值确定第一光谱和第二光谱；以及
基于所述第一和第二光谱以及所述第一层组计算所述样本中的所述荧光染料的纯光谱，
其中，与对于所述第一组像素强度值相比，对于所述第二组像素强度值，来自所述荧光染料的光发射对像素强度值的相对贡献较大。
28.根据权利要求27所述的方法，其中，在所述荧光染料的所述纯光谱中，相对于所述第二光谱，减少来自所述样本中其他成分的光发射的相对贡献。
29.根据权利要求28所述的方法，其中，在所述荧光染料的所述纯光谱中，相对于所述第二光谱，使来自所述样本中其他成分的光发射的相对贡献最小化。
30.根据权利要求27所述的方法，其中，计算所述纯光谱包括使来自所述第一层组中的所述纯光谱的贡献最小化。
31.根据权利要求27所述的方法，其中，计算所述纯光谱包括使所述第一组像素强度值中平方像素强度值的加和最小化。
32.根据权利要求27所述的方法，其中，计算所述纯光谱包括使所述第一组像素强度值中像素强度值的绝对值的加和最小化。
33.根据权利要求27所述的方法，进一步包括将零值指定到从所述纯光谱到所述第一层组中的像素强度值的贡献。
34.根据权利要求27所述的方法，进一步包括将零值指定到所述荧光染料的纯光谱中的负强度值。
35.根据权利要求27所述的方法，进一步包括基于第一组的层识别对应于所述样本的像素。
36.根据权利要求27所述的方法，进一步包括：
将所述荧光染料的纯光谱添加到光谱库；
获取对应于第二图像立方体的第二样本的第二组多光谱图像信息，其中，所述第二样本包括所述荧光染料；以及
使用所述光谱库来对所述第二图像立方体去混合以确定所述荧光染料在所述第二样本中的多个空间位置处的量。
37.根据权利要求36所述的方法，其中，所述第二样本包括荧光复染剂，所述方法进一步包括确定所述荧光染料和所述荧光复染剂在所述第二样本中的所述多个空间位置处的相对量。
38.根据权利要求27所述的方法，进一步包括基于所述第一层组识别所述第一组和第二组像素强度值。
39.根据权利要求38所述的方法，进一步包括，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分识别所述第一组像素强度值的成员。
40.根据权利要求27所述的方法，进一步包括将所述图像立方体的至少一个层指定为对应于所述荧光染料的光发射带的第二层组。
41.根据权利要求40所述的方法，进一步包括，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分识别所述第一组像素强度值的成员。
42.根据权利要求41所述的方法，进一步包括针对所述第二层组中的每个候选像素，基于总像素强度的可归因于所述第二层组的部分识别所述第二组像素强度值的成员。
43.根据权利要求27所述的方法，进一步包括通过从所述第二光谱减去经缩放倍数的所述第一光谱来确定所述纯光谱。
44.根据权利要求43所述的方法，进一步包括根据对应于所述图像立方体中的多个像素的像素强度值来确定乘以所述第一光谱的缩放系数的值。
45.一种***，包括：
辐射源，配置为将照明辐射引导到样本；
检测器，配置为通过检测从所述样本发射的光来获取所述样本的图像；以及
电子处理器，配置为：
从由所述检测器获取的样本的一个或多个图像获取包括荧光染料的样本的多光谱图像信息，其中，所述多光谱图像信息对应于包括多个二维的层的图像立方体，每个层对应于所述样本的图像；
将所述图像立方体的至少一个层指定为对应于所述荧光染料的暗带的第一层组；
基于来自所述图像立方体的各个第一组和第二组像素强度值确定第一光谱和第二光谱；以及
基于所述第一和第二光谱以及所述第一层组计算所述样本中的所述荧光染料的纯光谱，
其中，与对于所述第一组像素强度值相比，对于所述第二组像素强度值，来自所述荧光染料的光发射对像素强度值的相对贡献较大。
46.根据权利要求45所述的***，其中，在所述荧光染料的所述纯光谱中，相对于所述第二光谱，减少来自所述样本中其他成分的光发射的相对贡献。
47.根据权利要求46所述的***，其中，在所述荧光染料的所述纯光谱中，相对于所述第二光谱，使来自所述样本中其他成分的光发射的相对贡献最小化。
48.根据权利要求45所述的***，其中，所述电子处理器配置为通过使来自所述第一层组中的所述纯光谱的贡献最小化来计算所述纯光谱。
49.根据权利要求45所述的***，其中，所述电子处理器配置为通过使所述第一层组中的平方像素强度值的加和最小化来计算所述纯光谱。
50.根据权利要求45所述的***，其中，所述电子处理器配置为通过使所述第一层组中像素强度值的绝对值的加和最小化来计算所述纯光谱。
51.根据权利要求45所述的***，其中，所述电子处理器配置为将零值指定到从所述纯光谱到所述第一层组中的像素强度值的贡献。
52.根据权利要求45所述的***，其中，所述电子处理器配置为将零值指定到所述荧光染料的纯光谱中的负强度值。
53.根据权利要求45所述的***，其中，所述电子处理器配置为基于第一组的层识别对应于所述样本的像素。
54.根据权利要求45所述的***，其中，所述电子处理器配置为：
将所述荧光染料的纯光谱添加到光谱库；
从由所述检测器获取的一个或多个图像获取第二样本的第二组多光谱图像信息，所述第二组图光谱图像信息对应于第二图像立方体，其中，所述第二样本包括所述荧光染料；以及
使用所述光谱库来对所述第二图像立方体去混合以确定所述荧光染料在所述第二样本中的多个空间位置处的量。
55.根据权利要求54所述的***，其中，所述第二样本包括荧光复染剂，并且所述电子处理器配置为确定所述荧光染料和所述荧光复染剂在所述第二样本中的所述多个空间位置处的相对量。
56.根据权利要求45所述的***，其中，所述电子处理器配置为基于所述第一层组识别所述第一组和第二组像素强度值。
57.根据权利要求56所述的***，其中，所述电子处理器配置为，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分识别所述第一组像素强度值的成员。
58.根据权利要求45所述的***，其中，所述电子处理器配置为将所述图像立方体的至少一个层指定为对应于所述荧光染料的光发射带的第二层组。
59.根据权利要求58所述的***，其中，所述电子处理器配置为，针对所述第一层组中的每个候选像素，基于总像素强度的可归因于所述第一层组的部分识别所述第一组像素强度值的成员。
60.根据权利要求59所述的***，其中，所述电子处理器配置为针对所述第二层组中的每个候选像素，基于总像素强度的可归因于所述第二层组的部分识别所述第二组像素强度值的成员。
61.根据权利要求45所述的***，其中，所述电子处理器配置为通过从所述第二光谱减去经缩放倍数的所述第一光谱来确定所述纯光谱。
62.根据权利要求61所述的***，其中，所述电子处理器配置为根据对应于所述图像立方体中的多个像素的像素强度值来确定乘以所述第一光谱的缩放系数的值。
CN201580048121.6A 2014-07-09 2015-07-09 用于提取样本中的荧光染料的纯光谱的方法和*** Active CN106796145B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462022635P 2014-07-09 2014-07-09
US62/022,635 2014-07-09
PCT/US2015/039739 WO2016007739A1 (en) 2014-07-09 2015-07-09 Pure spectrum extraction from biological samples

Publications (2)

Publication Number Publication Date
CN106796145A true CN106796145A (zh) 2017-05-31
CN106796145B CN106796145B (zh) 2019-09-06

Family

ID=53785704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580048121.6A Active CN106796145B (zh) 2014-07-09 2015-07-09 用于提取样本中的荧光染料的纯光谱的方法和***

Country Status (4)

Country Link
US (1) US10126242B2 (zh)
EP (1) EP3167278B1 (zh)
CN (1) CN106796145B (zh)
WO (1) WO2016007739A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424588A (zh) * 2018-07-24 2021-02-26 索尼公司 从样本的自体荧光分离出荧光试剂的荧光的信息处理装置及显微镜
CN113424050A (zh) * 2019-02-13 2021-09-21 文塔纳医疗***公司 用于计算多通道图像中的自体荧光贡献的***和方法
CN113785187A (zh) * 2019-03-22 2021-12-10 贝克顿·迪金森公司 使用射频多路复用激发数据对荧光成像进行光谱解混
CN114207672A (zh) * 2019-06-20 2022-03-18 植物心语公司 部署生物哨兵到农田并远程监测作物中生物和非生物胁迫的方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11021737B2 (en) 2011-12-22 2021-06-01 President And Fellows Of Harvard College Compositions and methods for analyte detection
WO2014210223A1 (en) 2013-06-25 2014-12-31 Prognosys Biosciences, Inc. Spatially encoded biological assays using a microfluidic device
ES2935860T3 (es) 2015-04-10 2023-03-13 Spatial Transcriptomics Ab Análisis de ácidos nucleicos múltiplex, espacialmente distinguidos de especímenes biológicos
CA3022290A1 (en) 2016-04-25 2017-11-02 President And Fellows Of Harvard College Hybridization chain reaction methods for in situ molecular detection
EP4050112A1 (en) 2016-06-21 2022-08-31 10X Genomics, Inc. Nucleic acid sequencing
US10242732B2 (en) * 2017-05-15 2019-03-26 Intel Corporation Memory elements with soft-error-upset (SEU) immunity using parasitic components
CN110945561B (zh) * 2017-06-13 2024-06-14 爱色丽公司 高光谱成像分光光度计和***
EP3668998A1 (en) 2017-10-06 2020-06-24 Cartana AB Rna templated ligation
WO2019213618A1 (en) 2018-05-03 2019-11-07 Akoya Biosciences, Inc. Multispectral sample imaging
CN113614244A (zh) 2019-02-04 2021-11-05 阿科亚生物科学股份有限公司 通过选择性标记生物样品进行分析物检测
EP3976817A1 (en) 2019-05-31 2022-04-06 10X Genomics, Inc. Method of detecting target nucleic acid molecules
EP3989806A4 (en) * 2019-06-27 2024-01-10 Macquarie University DIAGNOSIS AND MONITORING OF NEURODEGENERATIVE DISEASES
US20220018778A1 (en) 2020-07-20 2022-01-20 Akoya Biosciences, Inc. Processing and imaging tissue samples
US20220155311A1 (en) 2020-11-18 2022-05-19 Akoya Biosciences, Inc. Multiplexed Imaging with Nanobody Probes
CN112215217B (zh) * 2020-12-03 2021-04-13 印迹信息科技（北京）有限公司 模拟医师阅片的数字图像识别方法及装置
WO2023014825A1 (en) 2021-08-03 2023-02-09 Akoya Biosciences, Inc. Rna detection by selective labeling and amplification

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809433A (zh) * 2007-07-09 2010-08-18 Fio公司 用于增强试样中靶分子荧光检测的***和方法
CN102089646A (zh) * 2009-06-26 2011-06-08 清华大学 一种荧光分子体成像***及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6978339B2 (en) 2002-02-22 2005-12-20 Canon Kabushiki Kaisha Communication system and method of controlling same
US7321791B2 (en) 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
US8634607B2 (en) 2003-09-23 2014-01-21 Cambridge Research & Instrumentation, Inc. Spectral imaging of biological samples
EP3444751A3 (en) 2005-01-27 2019-02-27 Cambridge Research & Instrumentation, Inc. Classifying image features
US8103081B2 (en) 2008-03-10 2012-01-24 Cambridge Research & Instrumentation, Inc. Classification of samples
JP5721959B2 (ja) 2010-03-16 2015-05-20 オリンパス株式会社 蛍光内視鏡装置
US8462981B2 (en) 2010-04-07 2013-06-11 Cambridge Research & Instrumentation, Inc. Spectral unmixing for visualization of samples

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809433A (zh) * 2007-07-09 2010-08-18 Fio公司 用于增强试样中靶分子荧光检测的***和方法
CN102089646A (zh) * 2009-06-26 2011-06-08 清华大学 一种荧光分子体成像***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FEI LIU ET AL.: "Extraction of Target Fluorescence Signal from In Vivo Background Signal Using Image Subtraction Algorithm", 《INTERNATIONAL JOURNAL OF AUTOMATION AND COMPUTING》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424588A (zh) * 2018-07-24 2021-02-26 索尼公司 从样本的自体荧光分离出荧光试剂的荧光的信息处理装置及显微镜
CN113424050A (zh) * 2019-02-13 2021-09-21 文塔纳医疗***公司 用于计算多通道图像中的自体荧光贡献的***和方法
CN113785187A (zh) * 2019-03-22 2021-12-10 贝克顿·迪金森公司 使用射频多路复用激发数据对荧光成像进行光谱解混
CN114207672A (zh) * 2019-06-20 2022-03-18 植物心语公司 部署生物哨兵到农田并远程监测作物中生物和非生物胁迫的方法
CN114207672B (zh) * 2019-06-20 2022-12-02 植物心语公司 部署生物哨兵到农田并远程监测作物中生物和非生物胁迫的方法
US11737443B2 (en) 2019-06-20 2023-08-29 InnerPlant, Inc. Methods for deploying biosentinels to agricultural fields and monitoring biotic and abiotic stresses in crops remotely

Also Published As

Publication number Publication date
US10126242B2 (en) 2018-11-13
EP3167278A1 (en) 2017-05-17
CN106796145B (zh) 2019-09-06
EP3167278B1 (en) 2019-06-26
US20160011116A1 (en) 2016-01-14
WO2016007739A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
CN106796145B (zh) 用于提取样本中的荧光染料的纯光谱的方法和***
US11158049B2 (en) Methods and systems for assessing histological stains
US11049247B2 (en) Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
EP3005293B1 (en) Image adaptive physiologically plausible color separation
EP1470411B1 (en) Method for quantitative video-microscopy and associated system and computer software program product
CN109313798B (zh) 用于生成模拟数字明场ihc或ish图像的方法和图像处理***
EP4300424A2 (en) Automatic assay assessment and normalization for image processing
US9002077B2 (en) Visualization of stained samples
US20080212866A1 (en) Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
Torlakovic et al. Development and validation of measurement traceability for in situ immunoassays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20190827

Address after: American California

Applicant after: Akoya Biosciences Co., Ltd.

Address before: Massachusetts, USA

Applicant before: CALIPER LIFE SCIENCES INC

TA01 Transfer of patent application right