CN115202022B - 一种各向同性分辨率的扫描光场成像***和方法 - Google Patents

Abstract

本发明公开了一种各向同性分辨率的扫描光场成像***和方法，包括样本斜置模块和扫描光场采集模块，所述样本斜置模块包括载物台和平面镜，所述载物台上设有斜置面，所述斜置面上设有平面镜，所述平面镜的镜面与斜置面相平行，待采样的样本放置于所述平面镜上；所述扫描光场采集模块包括由显微镜、包含相空间扫描功能的中继透镜对、微透镜阵列和成像传感器组成，所述显微镜的物镜位于待采样的样本上方。本***通过增加斜置的镜面以及专为此设计的重建流程，实现了重建体轴向分辨率的提高，达到了各向同性的标准。

Description

一种各向同性分辨率的扫描光场成像***和方法

技术领域

本发明涉及显微科学技术领域，特别涉及一种各向同性分辨率的扫描光场成像***和方法。

背景技术

近年来，显微科学已经得到了长足的发展，从最初的简单显微镜到现在的电子显微镜，无不是在提高显微镜的分辨率方向做出了很大的努力。为了更清晰的观察到生物样本，科学家最为关注的四个维度上的分辨率(横向分辨率(X方向与Y方向)、轴向分辨率(Z方向)与时间分辨率(t))也在科技的发展中不断地提高。然而，受限于现有的成像设备与光学上不可避免的相差、衍射等因素的影响，单一的成像方法难以顾全上述四个维度的样本分辨率，借助其他计算成像手段来进行生物样本的观察已经成为了现在势必要挑战的课题。

光场成像为近年来十分热门的话题，通过搜集空间中光线的角度信息，光场成像能非常完整的恢复出一个***的三维信息。这对于场景重聚焦、场景重建与深度估计都有着不可估量的帮助。光场最初被用在宏观场景的重建与重聚焦领域，然而通过适当的光学***设计，光场也可以很容易的被用在显微领域上，通过光场***的采集，则能更加显著的提升样本的轴向分辨率，同时构建出生物样本的三维模型。为了进一步提升样本的分辨率，一种扫描光场成像***被提了出来，通过进行样本的亚像素扫描来保证光场的轴向分辨率的同时，能够有效地提升横向分辨率。

然而，上述扫描光场成像***受到单个方向采集NA的限制，无法提供足够的轴向分辨率，通常而言，基于上述扫描光场所采集到的原始图像，以此重建的样本的轴向分辨率常常大大低于横向分辨率。为了提升扫描光场***的轴向分辨率，实现各向同性分辨率，需要充分收集样本向三维空间中发射的各个角度的光。

发明内容

本发明的目的在于提供一种各向同性分辨率的扫描光场成像***和方法，以克服现有技术中的不足。

为实现上述目的，本发明提供如下技术方案：

本发明公开了一种各向同性分辨率的扫描光场成像***，包括样本斜置模块和扫描光场采集模块，所述样本斜置模块包括载物台和平面镜，所述载物台上设有斜置面，所述斜置面上设有平面镜，所述平面镜的镜面与斜置面相平行，待采样的样本放置于所述平面镜上；所述扫描光场采集模块包括由显微镜、包含相空间扫描功能的中继透镜对、微透镜阵列和成像传感器组成，所述显微镜的物镜位于待采样的样本上方，所述待采样的样本的像依次由显微镜、包含相空间扫描功能的中继透镜对、微透镜阵列至成像传感器。

作为优选，所述斜置面上设有安装槽，所述平面镜安装于所述安装槽内。

作为优选，所述斜置面的倾角小于等于45度。

作为优选，所述显微镜的物镜倒角a1与显微镜的物镜NA对应观测角a3之和小于等于90度，所述斜置面的倾角a2小于等于显微镜的物镜倒角a1。

作为优选，所述载物台呈前后封闭结构，所述载物台内加有培养液，所述待采样的样本位于培养液中。

本发明还公开了一种各向同性分辨率的扫描光场成像方法，具体包括如下步骤：

S1、获取样本光场原始图像，进行标准扫描光场重建，得到初步重建体；

S2、对初步重建体进行镜面估计，确定唯一的最优镜面位置；

S3、确定唯一的最优镜面位置后，得到初步重建体的基于镜面的对称体；

S4、利用S3的对称体、S1的初步重建体以及样本光场原始图像进行样本的联合二次重建；得到最终重建结果。

作为优选，所述S1具体包括如下子步骤：

S11、通过各向同性分辨率的扫描光场成像***获取相空间扫描下的样本光场原始图像；

S12、通过光场解卷积算法进行标准扫描光场重建，获得初步三维重建结果。

作为优选，所述S2具体包括如下子步骤：

S21、对镜面位置进行参数化建模，得到镜面位置的参数化模型；

S22、基于镜面位置的参数化模型以及初步的三维重建结果，获取初步三维重建结果的镜面对称体的参数化建模，得到镜面对称体的参数化模型；

S23、以镜面对称体的参数化模型和初步三维重建结果的重合程度作为优化函数，通过优化方法获取最优镜面位置对应的参数。

作为优选，所述S4具体包括如下子步骤：

S41、基于S3的对称体和S1的初步重建体的加权平均值，构造联合二次重建的初始化三维重建体；

S42、结合二次重建的初始化三维重建体、样本光场原始图像以及最优镜面位置的固定约束，进行包含固定约束的扫描光场重建，可以获得最终的各向同性分辨率的三维重建结果。

本发明的有益效果：

本发明的目的是实现基于扫描光场成像的各向同性重建，提升重建结果的轴向分辨率，使其达到与横向接近或相同的分辨率级别。在本发明之前，基于扫描光场的采集重建结果在横向分辨率与轴向分辨率之间有着巨大的差距，这大大降低了重建样本在三维显示上的效果，提高了样本分析的难度。本***通过增加斜置的镜面以及专为此设计的重建流程，实现了重建体轴向分辨率的提高，达到了各向同性的标准。

本***的采集流程可在扫描光场***上简单改造后即可实现，本***的重建流程可在带有显卡的普通PC机器上实现。

本发明的特征及优点将通过实施例结合附图进行详细说明。

附图说明

图1是本发明样本斜置模块的结构示意图；

图2是本发明一种各向同性分辨率的扫描光场成像***的结构示意图；

图3是本发明显微镜物镜与斜置面的结构示意图；

图4是本发明一种各向同性分辨率的扫描光场成像方法的流程示意图；

图5一团衣藻的一般光场重建结果和镜面增强各项同性光场重建结果；

图6细胞的一般光场重建结果和镜面增强的各项同性光场重建结果；

图中：1-载物台、2-斜置面、3-平面镜、4-显微镜、5-包含相空间扫描功能的中继透镜对、6-微透镜阵列、7-成像传感器。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

参阅图1，本发明一种各向同性分辨率的扫描光场成像***，包括样本斜置模块和扫描光场采集模块，所述样本斜置模块包括载物台1和平面镜3，所述载物台上设有斜置面2，所述斜置面2上设有平面镜3，所述平面镜3的镜面与斜置面2相平行，待采样的样本放置于所述平面镜3上；所述扫描光场采集模块包括由显微镜4、包含相空间扫描功能的中继透镜对(由4f透镜组以及高速二维振镜组成)5、微透镜阵列6和成像传感器7组成，所述显微镜4的物镜位于待采样的样本上方，所述待采样的样本的像依次由显微镜4、包含相空间扫描功能的中继透镜对5、微透镜阵列6至成像传感器7。

在一种可行的实施例中，所述斜置面上设有安装槽，所述平面镜安装于所述安装槽内。

在一种可行的实施例中，所述斜置面的倾角小于等于45度。

在一种可行的实施例中，所述显微镜4的物镜倒角a1与显微镜4的物镜NA对应观测角a3之和小于等于90度，所述斜置面2的倾角a2小于等于显微镜4的物镜倒角a1。

在一种可行的实施例中，所述载物台呈前后封闭结构，所述载物台1内加有培养液，所述待采样的样本位于培养液中。

本发明一种各向同性分辨率的扫描光场成像方法，具体包括如下步骤：

S1、获取样本光场原始图像，进行标准扫描光场重建，得到初步重建体；

S2、对初步重建体进行镜面估计，确定唯一的最优镜面位置；

S3、确定唯一的最优镜面位置后，得到初步重建体的基于镜面的对称体；

S4、利用S3的对称体、S1的初步重建体以及样本光场原始图像进行样本的联合二次重建；得到最终重建结果。

在一种可行的实施例中，所述S1具体包括如下子步骤：

S11、通过各向同性分辨率的扫描光场成像***获取相空间扫描下的样本光场原始图像；

S12、通过光场解卷积算法进行标准扫描光场重建，获得初步三维重建结果。

在一种可行的实施例中，所述S2具体包括如下子步骤：

S21、对镜面位置进行参数化建模，得到镜面位置的参数化模型；

S22、基于镜面位置的参数化模型以及初步的三维重建结果，获取初步三维重建结果的镜面对称体的参数化建模，得到镜面对称体的参数化模型；

S23、以镜面对称体的参数化模型和初步三维重建结果的重合程度作为优化函数，通过优化方法获取最优镜面位置对应的参数。

在一种可行的实施例中，所述S4具体包括如下子步骤：

S41、基于S3的对称体和S1的初步重建体的加权平均值，构造联合二次重建的初始化三维重建体；

S42、结合二次重建的初始化三维重建体、样本光场原始图像以及最优镜面位置的固定约束，进行包含固定约束的扫描光场重建，可以获得最终的各向同性分辨率的三维重建结果。

实施例：

如图1所示，为本发明为此***专门设计的样本斜置模块的结构示意图：可将可以替换的小镜子放置于右侧斜面的小凹槽中，再将样本置于镜面上，或者将样本用琼脂糖凝胶等包埋固定在镜子表面之后，再将其放置于右侧斜面的小凹槽中，即完成了样本方的放置。此结构件主要包含以下几个要点：

斜面倾角的选择，用于放置镜面的斜面的倾角(右斜面)应当与物镜的工作距离和NA、物镜的大小保持匹配：具体来说，物镜倒角a1，放置镜面斜面夹角a2，以及物镜NA对应观测角a3(如图3中标注)之间满足a1+a2≤90°，a2≤a1；当选用大NA、短工作距离的物镜时，应当减小镜面倾角；相对的，使用小NA，长工作距离的物镜时，可以增加倾角。倾角的最大角度为四十五度，当物镜的工作距离足够长时，倾角可固定为45度。左侧斜面的倾角与右侧斜面一致。

两侧封口的选择：对于需要培养液的样本(如活体细胞、藻类等)，可通过将三角槽的两侧封口的方式，加注培养液，使用水镜物镜进行观察。

平面镜的选择：平面镜应当选择适配凹槽大小的平面镜，此外，由于算法对角度的严苛要求，小凹槽的底面应当使用精加工的方式保证其平整，另外小镜子应当选择更为平整的镜面以获得更好的重建效果。

用于成像的扫描光场***。如图2所示，***由载物台1、标准显微镜4、包含相空间扫描功能的中继透镜对(由4f透镜组以及高速二维振镜组成)5、微透镜阵列6、成像传感器7等模块组成。载物台被放置在物镜下方，放置样本后，即可通过标准的扫描光场成像***进行成像。

如图4所示，用于重建的专用算法。由于拍摄到的样本采样同时包含镜面上的像与镜面下的像的混合结果，故无法使用传统的光场解卷积算法进行重建，进一步的需要使用专用的重建算法。本镜面重建算法主要包含以下几个关键步骤：

首先，需要对样本进行传统光场解卷积，解出初步的重建体。在进行传统光场解卷积之前，需要对***光学点扩散函数(PSF)进行建模并仿真；更进一步的，假如***包含像差，为了摆脱***像差的影响，通过实际采集荧光小球图像来估计***的像差，计算出全深度的包含像差的仿真PSF作为真实***PSF进行三维重建。获得PSF之后，原始数据会按照相空间图像重排，同时选择感兴趣的区域。选中的区域之后会进行光场解卷积，使用的算法公式如下式所示：

其中

是每轮完整迭代k和频率迭代u_j下的重建体积，/>

是用于平衡不同空间频率分量的不同散粒噪声的权重，⊙表示点乘过程，BP()代表反向传播过程,FP()代表前向传播过程，M(x,u_j)是采集数据相空间重排后的频率u_j对应的图像。需要注意的是，此时的重建体同时包含镜面上方与镜面下方两个像。

其次，对上述步骤得到的初步重建结果进行镜面估计。在进行镜面估计之前，首先对镜面进行建模：

然而，由于镜面永远不会垂直于x-y平面，a₄≠0，得到：

平面的表达式可以写成：

P(b₁,b₂,b₃)→z＝b₁+b₂x+b₃y (2.5)

其中

是用于描述镜面在三维空间中位置的参数。另外，由于需要对重建的三维分布进行多次镜面对称的操作，在算法实现时通常会先基于镜面位置生成镜面对称矩阵，并预先计算对称后每个体素的位置，这样方便快速插值索引。对于一个镜面的法向量

和两个对称点/>

有下列不等式：

其中k是非零值，n^T是法向量n的转置，基于这个等式可以解出D:

然后，进一步计算出镜面对称后每个离散点在整个体积中的位置，并保存这个映射矩阵W_P，以便于接下来计算镜面估计和体积重建：

其中V∈R^3×N是对重建体积中每个点位置的三维向量的体素化处理，N是体素的数量。需要注意的是，每当镜面位置发生变化时，都需要重新计算对应的映射矩阵。在进行镜面估计时，镜面的位置受三个变量的影响：重建体积的中心与其沿z轴投影在镜子上的点之间的垂直距离Δz，镜面与水平面的夹角α，以及镜面围绕z轴的旋转角度θ。然而，由于带有镜面的支架是预先制作的，因此其角度是在选择物镜时确定的。这里通常认为镜面与平面的夹角α是一个固定值，是预先测量好的。在这种情况下，需要解决的问题从通常的三变量优化问题退化为二变量问题。基于镜面表面和水平面的法向量

和/>

有：

从而可得

在实际情况中通常采用负号：

因此，平面方程进一步改写为：

P(b₁,b₂)→z＝b₁+b₂x+F(b₂)y (2.12)

对应的可以得到：

在优化过程中，为保证优化效果，将b₂的取值限制在接近零的小范围内。因为旋转角度θ通常是一个很小的值。最后，使用来自光场解卷积的初步重建体积V和基于镜面位置P(b₁,b₂)的映射矩阵W_P来优化平面

的参数：

其中⊙代表体素化的点积过程。具体实现时使用MATLAB中的fminsearch函数来搜索最优点。简单来说，即是通过优化重建体与对称后的自身有最大的相似性，来确定唯一的最优镜面位置。

最后，通过优化后得到的镜面位置，即可同样得到重建体的基于镜面的对称体，利用此对称体、初步重建体和光场原始图像进行样本的联合二次重建，即可得到最后的优化结果。具体来说，一旦确定了镜面位置P^*(b₁,b₂)，可以计算出数据的最终映射矩阵

并在每次迭代中使用两步解卷积进行解卷积。在光场显微成像中，每个相空间测量值都会独立输入到重建算法中以优化整个体积，这可以描述为：

此外，对于每个输入角度，可以添加一个对称映射解卷积过程。由于测量值来自两个对称体积之和，因此对称体积也应满足光场成像模型。基于此执行第二次反卷积如下：

这里首先通过对称映射

映射体积/>

然后执行类似的解卷积重建过程，再将体积重新翻转回原来的视角。最后，为了使结果更好看，常常还在得到最终结果后将对称体(镜面下)的部分切除的方式来增强视觉效果。

如此一来，就完成了整个采集和重建流程。图5展示了一团衣藻的一般光场重建结果和镜面增强各项同性光场重建结果，图6展示了细胞的一般光场重建结果和镜面增强的各项同性光场重建结果，可以看到，采用了镜面重建的结果在z轴方向上更为清晰，分辨率更高，能达到各向同性的效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种各向同性分辨率的扫描光场成像***，其特征在于：包括样本斜置模块和扫描光场采集模块，所述样本斜置模块包括载物台和平面镜，所述载物台上设有斜置面，所述斜置面上设有平面镜，所述平面镜的镜面与斜置面相平行，待采样的样本放置于所述平面镜上；所述扫描光场采集模块包括由显微镜、包含相空间扫描功能的中继透镜对、微透镜阵列和成像传感器组成，所述显微镜的物镜位于待采样的样本上方，所述待采样的样本的像依次由显微镜、包含相空间扫描功能的中继透镜对、微透镜阵列至成像传感器。

2.如权利要求1所述的一种各向同性分辨率的扫描光场成像***，其特征在于：所述斜置面上设有安装槽，所述平面镜安装于所述安装槽内。

3.如权利要求1所述的一种各向同性分辨率的扫描光场成像***，其特征在于：所述斜置面的倾角小于等于45度。

4.如权利要求3所述的一种各向同性分辨率的扫描光场成像***，其特征在于：所述显微镜的物镜倒角a1与显微镜的物镜NA对应观测角a3之和小于等于90度，所述斜置面的倾角a2小于等于显微镜的物镜倒角a1。

5.如权利要求1所述的一种各向同性分辨率的扫描光场成像***，其特征在于：所述载物台呈前后封闭结构，所述载物台内加有培养液，所述待采样的样本位于培养液中。

6.一种各向同性分辨率的扫描光场成像方法，其特征在于，具体包括如下步骤：

S1、获取样本光场原始图像，进行标准扫描光场重建，得到初步重建体；S1具体包括如下子步骤：

S11、通过各向同性分辨率的扫描光场成像***获取相空间扫描下的样本光场原始图像；

S12、通过光场解卷积算法进行标准扫描光场重建，获得初步三维重建结果；

S2、对初步重建体进行镜面估计，确定唯一的最优镜面位置；S2具体包括如下子步骤：

S21、对镜面位置进行参数化建模，得到镜面位置的参数化模型；

S22、基于镜面位置的参数化模型以及初步的三维重建结果，获取初步三维重建结果的镜面对称体的参数化建模，得到镜面对称体的参数化模型；

S23、以镜面对称体的参数化模型和初步三维重建结果的重合程度作为优化函数，通过优化方法获取最优镜面位置对应的参数；

S3、确定唯一的最优镜面位置后，得到初步重建体的基于镜面的对称体；

S4、利用S3的对称体、S1的初步重建体以及样本光场原始图像进行样本的联合二次重建；得到最终重建结果；S4具体包括如下子步骤：

S41、基于S3的对称体和S1的初步重建体的加权平均值，构造联合二次重建的初始化三维重建体；

S42、结合二次重建的初始化三维重建体、样本光场原始图像以及最优镜面位置的固定约束，进行包含固定约束的扫描光场重建，可以获得最终的各向同性分辨率的三维重建结果。

Images