CN111971606A - 具有高空间分辨率的时间分辨成像方法 - Google Patents

Abstract

一种用于操作点激光扫描显微镜的方法，包括：利用聚焦的照明激光束(EB)扫描样本；借助于检测元件(23)的阵列，在通过所述激光束的扫描下记录所述样本的多个图像，其中，所述检测元件(23)能被配置为强度模式或能被配置为时间分辨模式，在所述强度模式中，记录的图像是与在所述照明束在各个位置n上的整个停留时间期间收集的光子有关的强度图像g_i，j(n)，在所述时间分辨模式中，记录的图像是时间分辨图像

在所述时间分辨模式中，收集的光子基于它们到达各个检测元件(23)的时间来区分；通过在所述照明束(EB)在所述样本上的所有位置n上对所述多个强度图像g_i，j(n)求和，计算指纹图像a，所述指纹图像同时取决于以下被称为照明PSF，h^exc的照明点扩展函数和以下被称为检测PSF，h^det的检测点扩展函数，从所述强度图像g_i，j(n)估计移位矩阵s^x和s^y，重建以下项中的至少一者：i)时间分辨对象函数f^t，以及ii)强度对象函数f，并且基于所述时间分辨对象函数和强度对象函数，使高分辨率时间分辨图像f^t～和高分辨率强度图像f^～中的至少一者可视化。

Description

具有高空间分辨率的时间分辨成像方法

技术领域

本发明涉及光学显微镜技术。

背景技术

光学显微镜是生命科学中最强大的分析工具之一，这是因为它允许利用高时空分辨率使活体样本(从细胞到组织、器官到动物)的三维形态可视化。当与荧光结合使用时，光学显微镜(荧光光学显微镜)可以提供高分子特异性和敏感性，这允许了解出现在活体样本中的生物分子过程。实际上，由于许多方案和标记方法使得荧光分子(被称为荧光团)可以以高特异性与样本内的感兴趣生物分子(例如，蛋白质)结合。光学显微镜将光聚焦在样本上以引起荧光现象，并且仅使感兴趣生物分子可视化。荧光是这样的过程：通过该过程，荧光团在被具有特定能量的光子吸收(SPE)而被激发后，发射具有较低能量的光子(自发发射)。在多光子激发(MPE)中，激发荧光团所需的能量通过“同时”吸收较小能量的多个光子来获得。将通过感兴趣生物分子产生的荧光与散射/反射光光谱分离的光学显微镜提供感兴趣生物分子的特定且高度敏感的三维图。

此外，荧光团可以用作传感器，以提取关于感兴趣生物分子的其他重要信息。例如，荧光可以用于研究放置生物分子的环境的特性或了解其与其他生物分子的接近。在许多情况下，这可以通过测量所谓的平均荧光寿命来实现。当处于激发态时，荧光团具有会被去激发的若干途径(包括自发发射或荧光)；因此，荧光团进入到激发态的时间是随机过程。荧光团在上述激发态下所花费的平均时间被表示为激发态的平均寿命(或平均荧光寿命)。荧光团附近的其他分子的存在可能改变去激发途径的速率(或瞬时概率)，从而改变荧光团的平均寿命。因此，通过监测荧光团的平均寿命，通常可以(间接)检测其他分子的存在(例如，针对pH检测)。另一选择是使用共振能量转移(FRET)机制来测量两个荧光团(一个供体和一个受体)之间的纳米级距离。例如，FRET通过将供体荧光团和受体荧光团与大分子的不同亚基结合而广泛地用于测量结构性大分子变化：结构上的变化导致供体和受体之间的距离上的变化，结果是，供体的平均寿命发生变化。与时间相关的单光子计数(TCSPC)是用于测量激发态的平均寿命的最常用方法之一；此类的实验也被称为时间分辨测量。脉冲激光用于在明确定义的时间位置激发荧光团，并且用于向数据获取装置提供同步信号。在收集荧光光子后，同一装置记录通过检测器提供的信号。由于激光同步信号，数据获取装置测量激发事件与光子记录、所谓的光子到达时间之间的时间延迟。重复该操作几次，以构建所谓的光子到达时间直方图。荧光团的平均寿命可以借助于特别分析从这样的直方图中提取，所述特别分析在大多数情况下基于拟合例程或相量变换。由于最常见的荧光团(有机蛋白或荧光蛋白)具有在1到10ns之间的平均寿命，因此TCSPC设备的组件必须满足特定的时间限制：(i)激发脉冲必须具有小的幅值(约一百ps)；(ii)检测器必须以高时间分辨率(即，以低时间抖动)(不确定性)(几百ps)记录单个光子；(iii)数据获取装置必须以高时间分辨率(小于100ps)提供同步信号与检测器的信号之间的延迟。

荧光共焦激光扫描显微镜(CLSM)是荧光光学显微镜的特定实施方式，与宽范围荧光显微镜(WFM)相比，其提供若干重要的优点，诸如光学层析、增大的穿透力和高时间分辨率。在CLSM中，能够(通过单光子或多光子激发)激发荧光团的激光束通过透镜而聚焦在样本上，从而产生受衍射限制的激发体积。在这样的体积内通过荧光团发射的荧光的光通过同一透镜收集，并且通过单点/元件检测器记录。位于检测器之前并且在与***的像平面光学共轭的平面中的针孔用作空间滤光器，所述空间滤光器阻截离焦的荧光并且减小显微镜的有效观察体积(相对于激发体积)。在样本上逐点扫描这样的观察体积允许以超出衍射极限的横向空间分辨率重建表示样本的光学部分(光学层析能力)的图像。

当仅记录荧光信号(或荧光光子)的总量时，CLSM提供强度图像。由于荧光信号与在与每个像素关联的激发体积中的荧光团的浓度成比例，因此强度图像提供样本中荧光团的浓度图。

CLSM可以与时间相关的单光子计数器(TCSPC)结合使用，以提供强度图像和时间分辨图像二者。时间分辨图像是三维图像，其中，第三轴线表示记录在像素中的荧光光子的到达时间的直方图。显然，强度图像可以通过整合到三维而从时间分辨图像获得。给定时间分辨图像，可以通过应用拟合或相量分析来重建样本的激发态的平均寿命图，即，所谓的荧光寿命图像(FLI显微镜、FLIM)。

就空间分辨率而言，CLSM是能够超过由光衍射所施加的限制的第一种方法。具体地，从理论上讲，其相对于传统WFM能够将分辨率提高至高达1.4倍：使用可见光和具有高数值孔径的透镜，CLSM提供高达140nm而不是高达200nm的分辨率。不幸的是，这样的分辨率的提高仅可以利用具有无限小尺寸的理想孔径(针孔)来实现，这将导致信号水平的大幅降低；因此，总是以空间分辨率为代价而使用相对较大的针孔来获得具有可接受信号水平的图像。图像扫描显微镜(ISM)提供解决这样问题的方案。本质上，这样的技术允许在不牺牲信号的情况下实现1.4倍的分辨率提高。图像扫描显微镜理论上由Bertero、Pike和Sheppard提出[1,2]，并且代表了克服CLSM中的分辨率与信号之间的折中的首次尝试；基本上，其包括对标准CLSM的升级，其中，单点/元件检测器被替换为二维阵列的检测器，被放置在共轭像平面中，并且以开放针孔构造执行成像，以避免信号丢失。为了保留光学层析，通常使用这样的针孔：所述针孔投射在对象平面上的尺寸对应于1艾里单位。通过(在后处理中)组合通过检测器阵列在样本的每个激发点处单独获取的图像，获得具有高信噪比的最终高分辨率图像。近来，ISM已利用二维光学传感器(例如，CCD或CMOS)或利用圆形输入纤维束来实施，所述圆形输入纤维束的芯部在纤维的一端(输入)处放置在公知的二维几何形状之后并且在另一端(输出)处密封在线性阵列的检测器中。

ISM***的技术特征、诸如其有效空间分辨率、其时间成像分辨率、其多功能性以及其与所有其他先进的荧光显微镜方法的兼容性、特别是与荧光寿命成像的兼容性，取决于两个关键方面：(i)用于ISM实施的检测器矩阵的技术特征，以及(ii)用于产生最终图像的计算方法。

在传统的激光扫描显微镜中，用针对样本的每个激发点获取发射光的强度图像的成像检测器(检测器阵列)替换单点/元件检测器的构思最初由Bertero和Pike在[1]中提出。对于样本的每个扫描位置，他们提出“反演”从检测器阵列获得的二维阵列(图像)。阵列的反演通过使用线性算子的奇异值分解(SVD)来实现，所述奇异值分解描述检测器阵列中的图像形成过程。最终的“改进”图像是通过合并从SVD反演获得的所有阵列获得的镶嵌图。之后，Sheppard在[2]中描述了相同的设备，并提出所谓的像素再分配(PR)策略，以获得最终的高分辨率图像。本质上，检测器阵列的每个单独元件产生样本的平移图像。最终图像通过以下项来获得：(i)将通过每个检测器元件产生的所有图像相反地平移检测器元件(其产生图像)距中心元件的距离的一半(***放大比例)；(ii)对所有平移图像求和。

在[3]中报告了由Bertero、Pike和Sheppard提出的光学架构的第一个实施方式。这也是引入术语图像扫描显微镜(ISM)的第一个工作，所述术语通常用于描述这样的显微镜技术。在这种情况下，使用传统相机。相对于使用诸如光电倍增管(PMT)、雪崩光电二极管(APD)或单光子雪崩二极管(SPAD)的快速单点/元件检测器的传统扫描显微镜，这样的实施方式显著降低成像时间分辨率(低帧速率，即，每秒的图像数量少)：必须在将照明点移动到样本的不同区域之前(通过计算机)读取整个图像(或其一部分)。此外，这样的基于相机的实施方式(CCD或CMOS)与用于获得从其重建FLIM图像的时间分辨图像的TCSPC技术不兼容。

为了提高成像时间分辨率(帧速率)，已经实施了基于全光学相机的ISM替代方案[4,5]；然而，由于这些方案需要对***(光学的和/或电子的)进行完整的重新设计，因此它们增大了架构的复杂性。因为再分配像素(移位和求和)的方法通过重新扫描荧光束并且对在曝光期间通过相机产生的荧光信号积分来获得，所以这样的实施方式不需要计算来重建高分辨率强度图像。然而，由于不再产生“原始”数据，因此不再可能执行后处理来补偿未对准和像差。此外，CCD或CMOS的使用仍然妨碍与基于TCSPC的时间分辨技术结合。

已经提出了基于全光学相机的ISM的另外实施方式，其降低架构的复杂性[6]，但是仍然阻止后处理和与TCSPC的结合，此外，还需要非线性激发：在这种架构中，因为不可能使用艾里单位(第一艾里斑(Ariy disk))的尺寸的针孔，所以光学层析使用非线性激发来实现。在这种情况下，重要的是，注意到，在传统的ISM实施方式中，其中，检测器阵列针对每个样本位置记录“图像”，并且高分辨率图像通过计算重建，物理针孔可以用虚拟针孔代替：仅元件中的靠近中心元件的子集用于重建最终的高分辨率图像。

最后，要提到的是由Zeiss在市场上发布的所谓的艾里扫描实施方式。这样的实施方式用检测器的阵列代替传统扫描显微镜的单元件检测测器，而无需改变光学架构；其与单光子激发兼容，并且需要后处理，以获得最终的高分辨率图像。具体地，这样的实施方式使用具有圆形输入的32个纤维的束，所述束的芯部在输入处遵循公知的六边形几何形状，并且在输出处被密封在PMT的线性阵列中。在[7]中描述了用于获得最终图像的设备和计算方法(后处理)。在[8,9]中还使用了相同的检测器***，其中，作者描述了不同的计算方法来获得最终图像。

前述方法均未描述将ISM与TCSPC测量相结合以获得从其可以重建FLIM图像的时间分辨高分辨率图像的可能性。

现在，我们开始从数学的角度表示上述计算方法试图解决的问题，以产生高分辨率强度图像。

给定强度图像的阵列/集

g＝g_i,j(n)

其中，i＝1,…,M_x，j＝1,…,M_y，

n＝(n_x,n_y),，,n_x＝1,…,N_x，n_y＝1,…,N_y，

所述强度图像的阵列/集使用配备有由M_x×M_y个元件(其中，(ic,jc)表示检测器阵列的中心元件)组成的检测器阵列的扫描显微镜来收集，重建高分辨率图像的问题在于估计对象(或样本)函数f(n)。简而言之，对象/样本函数描述样本点n中的荧光团浓度(与所述荧光团浓度成比例)。已经示出，与从由单检测器元件获得的一系列“相同”共焦图像获得的f的重建相比，来自图像阵列g的f的重建得到对f的更准确可靠的估计(即，产生更高分辨率的强度图像)。分辨率上的这种提高的主要原因是检测器阵列能够产生同一样本的许多不同独立图像。

使用连续符号，图像形成或直接算子(正向)的过程(即，g_i,j与f之间的关系)如下

g_i,j(x,y)＝(h_i,j*f)(x,y)

其中，h_i,j(x,y)表示与图像g_i,j相关的点扩展函数(PSF)，*表示卷积算子。本质上，与检测器阵列的元件(i,j)关联的每个图像g_i,j描述相同的对象，但是使用不同的PSF来收集，这取决于元件(i,j)在检测器阵列中的位置。由于因为检测器阵列的每个元件在像平面中移动固定值

所以其与其他元件不同，因此可以将每个元件的PSF写作相同照明(或激发)PSFh^exc和相同检测PSFh^det的函数

其中，假设激发和检测PSF在检测器阵列的中心元件中共对准，即，

这样的等式有助于解释被称为像素再分配的重建策略(即，由Sheppard[2]提出的方法)，以从图像阵列g获得高分辨率图像f_PR。如果为了简单起见将h^exc和h^det视为两个相同的高斯函数，则显然h_i,j也是恰好位于激发PSF与检测PSF中间的高斯函数。因此，每个图像g_i,j：

1.在信噪比(SNR)方面与其他图像不同，从而元件(i,j)越靠近元件(ic,jc)，SNR越大；

2.(在像平面上)相对于g_ic,jc平移元件(i,j)与元件(ic,jc)之间的距离的一半，即，漂移值为

和

在这样的假设下，像素再分配方法提出通过f_PR获得高分辨率图像：(i)回移漂移值

和

的每个图像g_i,j，以及(ii)然后对所有图像求和。

不同的策略是通过描述图像形成的过程并恢复样本函数f(即，解决图像恢复/反卷积的问题)来反演等式。

在最一般的情况下，先前未知h^exc、h^det、

和

因此问题不仅在于找到对象函数f的估计，还在于找到激发PSFh^exc、检测PSFh^det以及移位矩阵s^x和s^y的估计。这里，h^exc(n)和h^det(n)表示连续函数h^exc和h^det的离散化。

这样的问题可以在统计学上重新表达并且转变成最小化的问题。特别地，假设高斯噪声在成像过程中占主导地位，则问题变成均方误差(MSE)泛函数的最小化。

关于h^exc、h^det、s^x、s^y和f

其中从同一图像同时估计对象函数和PSF的图像恢复/反卷积问题被叫作盲图像恢复/反卷积。其中将同一样本的多个图像用于获得单个解的图像恢复/反卷积问题被叫作多图像恢复/反卷积。

现有技术[7]提出最小化泛函数J_MSE(多图像盲反卷积)，以估计激发点h^exc和检测h^det的扩散函数，但是，显然，泛函数J_MSE的最小化也提供f的估计。

可替代地，如果假设泊松噪声，则问题变成所谓的Kullback-Leibler(KL)距离泛函数的最小化

关于h^exc、h^det、s^x、s^y和f

必须确定的未知元件h^exc、h^det、s^x、s^y和f的数量很高，并且可能导致不稳定的解。减少未知元件的数量并因此减小不稳定性的方法通过所谓的参数盲图像恢复表示，其中，使用特定模型

和

对PSF参数化，并且相对于模型参数，函数J_KL/MSE被最小化。

现有技术[7]提出基于Zernike多项式的参数化。另一典型示例是将激发和检测PSF视为圆形高斯函数

其中，

显然，可以使用其他模型。

然而，即使在PSF的参数化之后，未知元件的数量仍然过高，并且可能导致解的不稳定；实际上，其可能会在恢复图像中引入伪像。

在现有技术[8]中，提出一种从g估计f的方法，该方法结合像素再分配和图像恢复。在这种情况下，首先基于检测器阵列的物理几何形状和显微镜放大率，使用

和

的理论值，获得像素再分配图像f_PR。之后，使用利用像素的再分配的方法的相同原理获得的理论PSFh_PR，将单图像重建/去卷积的算法应用于图像f_PR：(i)理论模型用于获得与每个图像相关联的PSFh_i,j，(ii)然后，每个PSFh_i,j被移位先前用于获得f_PR的值

和

(iii)最后，用于获得h_PR的所有PSF求和。在相同组的后续工作[9]中，移位值

和

直接从图像阵列g估计：以估计移位矩阵d^x和d^y，相关性在空间域中使用，这涉及大量的计算工作并且没有提供获得子像素移位值的可能性。此外，这样的方法使用单图像而不是多图像去卷积方法。重要的是要记住，因为多图像反卷积方法允许更好地探究每个单独图像的频域中所包含的不同信息，所以多图像反卷积方法比单图像反卷积方法提供更强大的解决方案。

发明内容

本发明的目的在于提供一种允许重建时间分辨图像和强度图像二者的解决方案。

本发明的另一目的在于提供一种与上述方法相比受不稳定性影响较小的图像重建方法。

为了该目的，本发明涉及一种点激光扫描显微镜的操作的方法，所述方法包括：

利用聚焦的照明激光束扫描样本；

借助于与所述照明激光束的焦点光学共轭的检测元件的阵列，在通过所述激光束的扫描期间记录所述样本的多个图像，其中，所述检测元件中的每个(i,j)针对所述样本上的所述照明束的不同位置n中的每个产生检测信号，利用对所述样本的扫描从所述检测信号产生所述样本的相应图像，其中，所述检测元件能被配置为强度模式或能被配置为时间分辨模式，在所述强度模式中，记录的图像是与在所述照明束在各个位置n上的整个停留时间期间收集的光子有关的强度图像g_i,j(n)，在所述时间分辨模式中，记录的图像是时间分辨图像

在所述时间分辨模式中，收集的光子基于它们到达各个检测元件的时间来区分；

如果所述检测元件被配置为所述时间分辨模式，则通过在时间上对多个时间分辨图像

进行积分来计算多个强度图像g_i,j(n)；

通过在所述照明束在所述样本上的所有位置n上对所述多个强度图像g_i,j(n)求和，计算指纹图像a，所述指纹图像同时取决于照明点扩展函数和检测点扩展函数，所述照明点扩展函数以下称为照明PSF,h^exc，所述检测点扩展函数以下称为检测PSF,h^det，

从所述强度图像g_i,j(n)估计移位矩阵s^x和s^y，

重建以下项中的至少一者：

i)基于所述多个时间分辨图像

所述指纹图像a和所述移位矩阵s^x和s^y，重建时间分辨对象函数f^t，

ii)基于所述多个强度图像g_i,j(n)、所述指纹图像a和所述移位矩阵s^x和s^y，或通过在时间上对所述时间分辨对象函数f^t积分，重建强度对象函数f，

基于所述时间分辨对象函数和强度对象函数，使高分辨率时间分辨图像f^t～和高分辨率强度图像f^～中的至少一者可视化。

附图说明

所提出的方法和显微镜***的特征和优点将在下面的参照附图的详细描述中呈现，附图仅作为非限制性示例给出，其中：

-图1a-1c是表示根据本发明的光谱仪的三个实施方式的透视图；

-图1示出根据本发明的显微镜的功能性表示；

-图2示出图1中的显微镜的检测器(左)和指纹图像(右)的示意性表示；

-图3示出根据本发明的原型的性能：单个检测器元件的时间分辨率(抖动)(左)、时间分辨率随光子收集位置的函数(中央)以及在检测器的有效区域内的光子检测的归一化效率(右)；

-图4示出高分辨率强度图像的重建示例。上面、左到右：利用5乘5阵列的SPAD检测器获得的强度图像系列g(比例尺：1μm)，示出固定细胞的细胞骨架；从g计算的指纹图像a；从g估计的漂移矩阵d^x和d^y；从激发PSFh^exc、检测PSFh^det以及估计的移位矩阵s^x和s^y获得的针对SPAD阵列的每个元件计算的PSFh_i,j(比例尺：100nm)。下面、从左到右：从中心像素g_ic,jc记录的强度图像(比例尺：1μm)；低分辨率的传统CLSM强度图像(比例尺：1μm)；通过多图像反卷积重建的强度图像(比例尺：1μm)。

具体实施方式

参照图1，现在描述一种激光扫描显微镜装置，所述激光扫描显微镜装置被配置为获得从中提取时间分辨图像和/或高分辨率强度图像的成组数据。总而言之，该设备包括主体10(本身是常规的)和检测模块20。单或多光子激发束EB通过激光源(未示出)产生并且通过分色镜13朝向透镜11反射。激发束借助于透镜11被聚焦在待分析的对象(未示出)上。制造为微镜装置的空间光调制器以14来表示，而声光调制器(AOM)或电光调制器(EOM)以15来表示。制造为例如检流计镜的用于扫描待分析的对象的装置以16来表示。通过对象发出的荧光信号FS通过同一透镜11收集并且通过分色镜13以及通过共焦针孔17朝向检测模块20传输。在必要时，针孔17可以完全打开(直径>>1艾里单位)。

检测模块20主要包括变焦透镜***21和检测器元件阵列23以及其控制电子器件25。阵列23的检测器元件中的每个可以是SPAD检测器或具有相似时间性能的检测器。

变焦透镜21将针孔平面17(其位于显微镜***的像平面中)与检测器阵列23所位于的平面相结合。变焦透镜21的功能是控制在检测器阵列23所位于的像平面中(或在共轭像平面中)投影的检测PSF的物理尺寸。换句话说，变焦透镜21控制由单点荧光源产生的荧光衍射斑的物理尺寸，所述单点荧光源位于对象平面中并且其图像形成在检测器阵列23上。本质上，变焦透镜21控制检测器阵列23所位于的像平面中的***放大率。以这样的方式来选择这种放大率：(i)投影到检测平面上的每个单独的检测器元件的尺寸远小于一个艾里单位，并且(ii)大部分荧光被检测器阵列23收集。显然，当使用具有相对小数量的检测器元件的检测器阵列时，必须平衡这两个要求。

引入变焦透镜21而不是简单得多的固定放大率望远镜，是优选的，以保持***的通用性，例如，与不同波长和不同透镜一起工作。

检测器阵列23由M_x×M_y个检测器元件的阵列(二维)来表示，所述检测器元件中的每个是独立的(完全并行的***)，具有单光子级灵敏度并且具有时间分辨率(低时间抖动)，诸如用于测量荧光显微镜中使用的最常见的荧光团的平均荧光寿命。检测器阵列的工作参数(超额偏置电压、拖延时间以及有源元件的数量)可以在每次测量之前调节。

检测器阵列23中的每个元件具有被无效框架围绕的有效正方形区域(可以使用其他形状)(图2，左)。类似于其他基于像素的装置，像素间距可以定义为两个相邻像素(的质心)之间的距离(如果像素为正方形，则这些像素位于同一行上或在同一列中)。检测器的重要特征是占空因数，所述占空因数可以计算为有效面积与像素间距的平方之间的比。检测器的总光子检测效率(PDE)(即，记录到达检测器的光子的概率)直接取决于占空因数。为了进一步改善PDE，使用微透镜阵列24将光子指向每个检测器元件的中心。检测器阵列的每个元件利用TTL(晶体管-晶体管逻辑)信号在专用数字通道上发出光子到达信号。三个额外的数字线形成通信总线，所述通信总线对于在测量的开始期间对整个阵列进行初始配置是有用的。

检测模块20的控制电子器件和数据获取利用现场可编程门阵列(FPGA)处理器来开展。这允许将在停留时间期间收集的所有光子整合在单个点n上(强度模式)，或者允许由于时间数字转换器(TDC)的板上集成而测量相对于外部参考信号(例如，激发激光的脉冲)的到达时间(时间分辨模式或TCSPC)。

重要的是要注意，检测器和数据获取电子器件被配置为以完全异步的方式操作，即，当检测到光子、对光子计数或测量光子的到达时间时，元件彼此独立，而没有限制的帧速率或连续读取的不便性。

与显微镜控制***(图1中的18所表示的)的通信(同步)借助于由制造商提供的数字像素/行/帧时钟线来进行。

在描述根据本发明的方法之前，在时间分辨成像的情况下引入图像形成是必要的。

使用连续公式，描述时间分辨情况的图像形成的直接算子如下

其中，f是对象函数，其还包括时间信息，即，从激发事件开始的特定时间后发出荧光光子的分布/概率。卷积仅应用于空间维度。

步骤1.利用上面描述的架构记录时间分辨图像系列/阵列(或TCSPC)g^t。

针对聚焦的激发激光束(单光子或多光子)在样本上的不同位置，读取由检测器阵列23的元件产生的信号，并且获得时间分辨图像的系列/阵列g^t

其中，i＝1,…,M_x，j＝1,…,M_y，

n＝(n_x,n_y)，n_x＝1,…,N_x，n_y＝1,…,N_y，t＝1,…,N_t。

本质上，每个图像

是三维阵列，其中，时间轴线t示出利用TCSPC测量获得的光子到达时间的直方图，即，通过激发事件在空间像素(n_x,n_y)中和在特定时间窗口(时间容器)t中收集的光子数。

步骤2.从g^t计算强度图像系列g

给定在TCSPC模式中利用上面描述的设备收集的TCSPC图像阵列g^t，将阵列在时间维度中积分，并且获得强度图像阵列g

步骤3.计算“指纹”图像a

在给定强度图像阵列g的情况下，计算所谓的“指纹”图像a，从其估计激发PSFh^exc和检测PSFh^det。

指纹图像a如下定义。在整个测量期间，通过每个检测器元件收集的所有光子被整合，从而产生指纹图像a。在实践中，图像在单个实验M_x×M_y期间获得，并且指纹图像a通过对每个图像的所有强度图像值求和来产生：

为了理解指纹图像a的特性以及如何从其获得PSF，重要的是在连续域中导出a。

考虑由无穷小元件组成的检测器阵列，观察到通过在位置

处的元件获取的图像g_x′,y′可以表示为

g_x′,y′(x,y)＝(h_x′,y′*f)(x,y)

其中，f是对象/样本函数，h_x′,y′表示与位置(x′，y′)处的检测器元件相关联的PSF，*表示卷积算子；相对于检测器坐标定义的指纹图像a(x′，y′)为

应用卷积积分性质，指纹图像为

其中，Φ是来自样本的光子的总流量。注意的是，在Φ>0(Φ＞＞0)的条件下，a(x′，y′)与样本无关，但是与显微镜***的PSF密切相关。

记住的是，每个无穷小元件的PSF为

h_x′,y′(x,y)＝h^exc(x,y)·[h^det(x,y)*δ(x-x′,y-y′)]

＝h^exc(x,y)·h^det(x-x′,y-y′)

并且通过替换前面的等式，可以得到

a(x′,y′)＝Φ∫∫_x,yh^exc(x,y)·h^det(x-x′,y-y′)dxdy＝(h^exc*h^det)(x′,y′)

其中，*表示相关性算子。总之，指纹图像取决于仪器而不取决于样本。此外，其取决于激发PSF和检测PSF二者。

注意的是，指纹图像也可以用于对准***。特别地，要将激发PSF和检测PSF对准在检测器阵列的中心像素(ic,jc)上。该过程对于具有少量元件的检测器非常重要。失准产生荧光光子的损失。如果***正确对准，则中心像素最亮并且像素强度值相对于中心对称且各向同性地分布。反馈控制***可以实施为测量指纹图像，从而相应地调节检测器的xy位置，以最大化中心像素的强度。

此外，指纹图像可以用作品质因数，以连续地适应诸如空间光调制器(SLM)或可变形镜(DM)的光学元件(自适应光学元件，AO)，并且在激光束或荧光束的聚焦期间补偿由样本或显微镜***引入的光学像差。

步骤4.估计移位矩阵s^x和s^y、漂移矩阵d^x和d^y以及显微镜的放大率Magn

给定强度图像g的阵列，计算移位矩阵s^x和s^y。

如像素再分配方法所述的，每个图像g_i,j相对于g_ic,jc(在像平面中)平移元件(i,j)与元件(ic,jc)之间的距离的一半，即，

和

因此，移位矩阵s^x和s^y可以通过恢复不同图像g_i,j之间的移位来估计。与现有技术[9]不同，相位相关性方法由于其抗噪声和比空间域中的算法更高的速度而被使用。相位相关性依赖于频域中的数据的表示来估计两个相似图像之间的移位，在本描述中，所述频域中的数据的表示通过快速傅里叶变换(FFT)获得。

为了计算两个不同样本图像(g_i,j和g_ic,jc)之间的相位相关性，首先定义所谓的相关图r_i,j：

之后，找到相关图的最大值，其位置表示两个图像之间的漂移：

最大位置使用拟合算法或基于形心的算法来获得，以获得子像素值，其中，

给定漂移矩阵d^x和d^y，移位矩阵s^x和s^y可以如下计算

s^x/y＝d^x/y×2

估计移位矩阵的其他方法使用：(i)基于检测器元件与***放大率之间的物理距离的理论模型，(ii)校准样本，例如，球体。

然而，这样的方法不允许考虑每个样本的特殊性和特定测量的条件。此外，样本放大率并非总是容易估计的。另一方面，上面描述的方法对于激发PSF和检测PSF的高斯形式的假设是敏感的。然而，对于以元件(ic,jc)为中心的第一艾里斑内的(i,j)，假设是可靠的，并且s^x/y(i,j)的估计是可靠的。最佳方法可以基于与检测器的几何形状和***的放大率有关的知识在相关图的最大值估计中整合一些约束。

***的放大率Magn可以使用针对元件(ic,jc)的一阶邻域

(即，(ic+1,jc)、(ic-1,jc)、(ic,jc+1)和(ic,jc-1))估计的s^x/y(ic,jc)值和检测器(PP)的像素间距及图像(DP)的像素尺寸一起来确定：

步骤5.计算时间分辨对象函数f^t。

给定时间分辨图像阵列g^t、指纹图像a和移位矩阵s^x、s^y，对象函数f^t的估计如下所述地计算(步骤5.1-5.3)。

步骤5.1.估计激发PSFh^exc和检测PSFh^det

基于与上面描述的指纹图像a的关系，在PSF的参数化的情况下，激发PSFh^exc和检测PSFh^det可以根据最小化问题来估计

或者

这里，MSE泛函数是

根据已知实践，MSE泛函数可以利用数值技术被最小化。

步骤5.2.借助于多图像反卷积(MID)计算时间分辨对象函数。

由于所有与PSF相关的信息(包括移位值)已预先估计，因此原始问题可以通过使用传统的多图像反卷积来解决，特别是通过最小化Kullback-Leibler距离(KL)或均方误差距离(MSE)来解决。

在时间分辨情况下，KL距离为

并且MSE距离为

MSE或KL泛函数可以根据已知实践利用数字技术被最小化。

步骤5.3.借助于像素再分配(PR)计算时间分辨对象函数f^t。

遵循像素再分配方法，高分辨率时间分辨图像可以通过在将每个图像

移位回估计量d^x/y(i,j)之后简单地将所有图像求和来获得：

本质上，与每个时间容器和检测器元件相关联的每个2D图像独立移位。出于此原因，FFT和逆FFT二者均在2D中进行。

步骤6.计算强度对象函数f。

给定：(i)强度图像阵列g、指纹图像a和移位矩阵s^x、s^y或(ii)先前估计的时间分辨对象函数f^t，强度对象函数f的估计如下所述地计算(步骤6.1-6.3)。

步骤6.1.通过时间积分计算强度对象函数f。

给定高分辨率的时间分辨图像，可以通过在重建时间中对时间分辨对象函数f^t的时间维度积分来获得高分辨率的强度图像。

步骤6.2.借助于多图像反卷积计算强度对象函数f。

给定激发PSFh^exc、检测PSFh^det和移位矩阵s^x、s^y，强度对象函数f可以借助于多图像反卷积从强度图像系列g直接计算，并且无需估计时间分辨对象函数f^t，从而大幅减少计算工作量。

在这种情况下，有必要仅相对于f最小化KL或MSE距离

MSE或KL泛函数可以根据已知实践利用数字技术被最小化。

步骤6.3.借助于像素再分配计算强度对象函数f。

给定移位矩阵s^x、s^y，强度对象函数f可以借助于像素再分配从强度图像系列g直接计算，并且无需估计时间分辨对象函数f^t，从而大幅减少计算工作量。

在这种情况下，像素的再分配估计为

如果显微镜设备以强度模式操作(即，不进行TCSPC测量)，则仅产生强度图像阵列g。在这种情况下，仅步骤6.2和6.3中提出的方法被使用。对于以连续波模式操作的激光束，以TCSPC模式记录信号的重要性下降。

上面描述的方法的技术优点如下。

-在没有参数的情况下重建可靠的(或时间分辨的)强度图像。

单独估计PSF和移位矩阵并且然后仅估计样本函数的能力使重建方法更可靠。使用相位相关性方法估计移位矩阵允许实现亚像素结果和快速计算。

-指纹图像。

正确的***设置(就xy对准而言)可以通过使用“指纹图像”作为度量和机械元件以使检测器沿着x和y移动的闭环控制***(反馈***)来实现。

-与时间分辨测量兼容。

这允许ISM与荧光寿命成像显微镜(FLIM)相结合。

-由于“指纹图像”，***的简单(并且可能是自动的)对准。

上面描述的设备的主要技术优点如下。

-SPAD检测器阵列

光子从具有光子级灵敏度的M_x乘M_y的单光子雪崩二极管(SPAD)检测器的阵列中收集(在所示示例中，矩阵由25个元件组成，即，M_x乘以M_y等于5)。可以证明，即使利用相对少的元件数量(>＝25个元件)，重建图像的空间分辨率(通过PR)也接近闭合针孔共焦显微镜的理论分辨率提高。这样的考虑至关重要是因为大量的检测器元件将需要1)牺牲占空因数的紧密集成的电子器件，以及2)在源处引入帧速率并且丢弃时间信息的顺序读取(与相机相同的原理)。

所有检测器彼此完全独立：(i)元件之间的干扰(串扰)忽略不计(SPAD阵列示出的干扰值对于第一水平邻域而言小于1％并且对于第一对角邻域而言小于0.2％)以及(ii)每个元件利用专用线路上的数字TTL信号立刻显示光子的到来。因为每个光子产生通电信号并且不存在固定的帧速率，所以特征为后一种性质的装置有时被称为“事件驱动相机”或“异步相机”。

所有检测器具有与荧光显微镜中最常用的荧光团的激发态的平均寿命的测量完全兼容的时间抖动(或时间分辨率)，其值在1-10ns范围内(SPAD阵列具有在110ps到160ps之间的时间分辨率)。

所有检测器具有确保与快速扫描***兼容的读取带宽的拖延(在上面描述的SPAD阵列中，拖延时间和超额偏置电压可以分别在25ns至200ns以及4V至6V的范围中利用通信总线设置)。例如，将拖延设置为25ns的能力允许每个单独元件以40MHz的读取带宽工作。此外，所有检测器元件之间的独立性允许检测器***的较高的有效读取带宽：由于在上述点激光扫描架构中，SPAD阵列的投射在对象平面上的尺寸小于衍射尺寸；由观察体积产生的光子(沿着样本扫描)在整个检测器阵列上扩散，因此，SPAD阵列可以收集比从单个元件读取的光子流高的光子流(由观察体积产生的)。当将检测器与诸如共振镜或基于声梯度的可调聚焦光学器件的快速共振扫描***相结合时，此技术特征特别重要。

其中每个透镜聚焦在检测器阵列的元件的中央中的M_x乘M_y微透镜的阵列可以用于增大占空因数，从而增大光子检测效率(PDE)。变焦透镜***用于扩展检测光束，使得投影到检测平面上的整个检测器的尺寸为约1艾里单位。在所使用的波长、放大率和透镜的数值孔径方面，变焦透镜***保证了上面描述的架构的通用性。

-FPGA处理器

***控制电子器件使用可重新配置的硬件来开发。FPGA处理器允许从足够多的数字线路中获取信号。直接在FPGA处理器上实施的时间数字转换器(TDC)允许以数十皮秒的时间分辨率(时间抖动)获取数字信号。

原型由发明人构建，修改了CLSM的检测部分。该仪器配备有波长为635nm的激发激光源(LDH-D-C640，PicoQuant)。激光束通过一对检流计镜(6215HM40B，CTI-Cambridge)和透镜(CFI Plan Apo VC60x oil，Nikon)在样本上扫描。荧光光子通过同一透镜收集、通过分色镜(H643LPXR，AHF Analysentechnik)去扫描和过滤。最后，光束被扩展并投射到SPAD检测器阵列上。检测器阵列具有布置为5乘5阵列的25个元件，并且利用测微螺旋安装在商用支撑件上，以用于在三个轴线上精确对准。检测器的空间和时间性能被确定，显示出有效区域内在110ps至160ps之间的抖动和出色的检测均匀性(图3)。***可以对准，并且使用上述“对准阵列”方法调节放大率，以制作实际样本的图像(图4)。

检测器阵列通过专用操作卡控制，所述专用操作卡提供电源并提供电子信号调节。该卡提供25个数字输出通道(每个通道与检测器阵列的特定元件上的光子到达关联)，这些通道成为数据获取***的一部分。

数据获取***利用商业FPGA开发板(National Instruments USB-7856R)来开发，所述商业FPGA开发板配备有与个人计算机相连的Kintex-7 FPGA处理器。为了使获取***与显微镜控制***同步，使用标准的数字像素/线/帧时钟线路。

当显微镜用于实时成像时，通过每个检测器从每个像素收集的光子通过在图形处理单元(GPU)上运行的专用算法进行处理，以提供样本的实时高分辨率图像。

显然，针对上面描述的***架构和方法的使用的改变是可行的。

例如，即使元件的数量(布置为5乘5阵列的25个)被选择为分辨率增益与获取***的复杂性(每个元件构成数字通道)之间的最佳折中，元件的数量也可以增加到49(7乘7阵列)或81(9乘9阵列)。

此外，基于SPAD的检测***可以用于其他基于非荧光的激光点扫描显微镜技术，诸如，二次谐波产生显微镜、拉曼和散射。

此外，检测***可以借助于受激发射损耗(STED)显微镜在损耗显微镜中使用。

由于指纹图像是照明和检测PSF的直接表示，因此可以使用指纹图像来导出要提供给自适应光学控制***的度量(例如，基于空间光调制器SLM)以补偿由***或样本引起的像差。

参考书目

[1]US 4549204A

[2]Super-resolution in confocal imaging.Sheppard,C.J.R.,Optik,80(2),(1988)

[3]Image scanning microscopy.Muller,C.B.,Enderlein,J.,Phys.Rev.Lett.104,198101(2010)

[4]Optical Photon Reassignment Microscopy(OPRA).Roth,S.,Sheppard,C.J.R.,Wicker,K.,Heintzmann,R.,Optical Nanoscopy,2-5,(2013)

[5]Re-scan confocal microscopy:scanning twice for betterresolution.De Luca,G.M.R.et al.,Biomedical Optics Express 2014,4(11)

[6]Rapid nonlinear image scanning microscopy.Gregor,I.et al.,NatureMethods 2017,In Press

[7]WO 2015/055534 A1

[8]Method of super-resolution based on array detection andmaximum-likelihood estimation.Li,H.et al.,Applied Optics 2016,55(35):9925-9931

[9]Parallel detecting super-resolution microscopy usingcorrelation-based image restoration.Yu,Z.et al.,Optics Communications 2017,404(35):139-146

Claims (9)

1.一种用于操作点激光扫描显微镜的方法，所述方法包括：

利用聚焦的照明激光束(EB)扫描样本；

借助于与所述照明激光束(EB)的焦点光学共轭的检测元件(23)的阵列，在通过所述激光束的扫描下记录所述样本的多个图像，其中，所述检测元件中的每个(i,j)针对所述样本上的所述照明激光束(EB)的不同位置n中的每个产生检测信号，利用对所述样本的扫描从所述检测信号产生所述样本的相应图像，其中，所述检测元件(23)能被配置为强度模式或能被配置为时间分辨模式，在所述强度模式中，记录的图像是与在所述照明激光束在各个位置n上的整个停留时间期间收集的光子有关的强度图像g_i,j(n)，在所述时间分辨模式中，记录的图像是时间分辨图像

在所述时间分辨模式中，收集的光子基于它们到达各个检测元件(23)的时间来区分；

如果所述检测元件(23)被配置为所述时间分辨模式，则通过在时间上对多个时间分辨图像

进行积分来计算多个强度图像g_i,j(n)；

与所述检测元件(23)被配置为所述强度模式还是所述时间分辨模式无关地，通过在所述照明激光束(EB)在所述样本上的所有位置n上对所述多个强度图像g_i,j(n)求和，计算指纹图像a，所述指纹图像同时取决于照明点扩展函数和检测点扩展函数，所述照明点扩展函数以下称为照明PSF,h^exc，所述检测点扩展函数以下称为检测PSF,h^det，

与所述检测元件(23)被配置为所述强度模式还是所述时间分辨模式无关地，从所述强度图像g_i,j(n)估计移位矩阵s^x和s^y，

重建以下项中的至少一者：

i)基于所述多个时间分辨图像

指纹图像a和移位矩阵s^x和s^y，重建时间分辨对象函数f^t，

ii)基于所述多个强度图像g_i,j(n)、指纹图像a和移位矩阵s^x和s^y，或通过在时间上对所述时间分辨对象函数f^t积分，重建强度对象函数f，

基于所述时间分辨对象函数和所述强度对象函数，使高分辨率时间分辨图像f^t～和高分辨率强度图像f^～中的至少一者可视化。

2.根据权利要求1所述的方法，其中，重建所述时间分辨对象函数f^t的步骤包括：

基于所述指纹图像a估计所述照明PSFh^exc和所述检测PSFh^det，

借助于多图像反卷积估计所述时间分辨对象函数f^t。

3.根据权利要求1所述的方法，其中，重建所述时间分辨对象函数f^t的步骤包括：

借助于像素再分配计算所述时间分辨对象函数f^t。

4.根据前述权利要求中的任一项所述的方法，其中，重建所述强度对象函数f的步骤包括：

基于所述指纹图像a估计所述照明PSFh^exc和所述检测PSFh^det，以及

借助于多图像反卷积估计所述强度对象函数f。

5.根据权利要求1至4中的任一项所述的方法，其中，重建所述强度对象函数f的步骤包括：

借助于像素再分配计算所述强度对象函数f。

6.根据前述权利要求中的任一项所述的方法，还包括：

基于计算的指纹图像a，将所述检测元件(23)的阵列与所述扫描显微镜的光轴对准。

7.根据前述权利要求中的任一项所述的方法，还包括：

根据估计的移位矩阵s^x和s^y计算显微镜放大率。

8.一种扫描显微镜，包括：

聚焦的照明激光束(EB)，被配置为扫描样本；

检测元件(23)的阵列，与所述照明激光束(EB)的焦点光学共轭，所述检测元件被配置为在通过所述激光束的扫描下记录所述样本的多个图像，

其中，所述显微镜被配置为执行根据前述权利要求中任一项所述的方法。

9.根据权利要求8所述的扫描显微镜，其中，每个检测元件是单点检测器，并且具有100ps量级的时间分辨率。

Images