CN113112405B - 超分辨率显微镜图像的自适应校正方法及sim-odt双模态*** - Google Patents

Abstract

本发明公开了一种超分辨率显微镜图像的自适应校正方法及SIM‑ODT双模态***，该方法包括：步骤1a，重建获得带伪影的SIM超分辨图像；步骤2a，将SIM超分辨图像和原始荧光图像分割成若干第一SIM超分辨子图像和原始荧光子图像；步骤3a，通过三维折射率分布，找出含有荧光信号的各原始荧光子图像对应的成像焦平面及其对应的样本层数，并在含有荧光信号的各原始荧光子图像的中心及该中心的相邻区域设置点光源；步骤4a，计算点光源从原始荧光子图像对应的成像焦平面传播到样本表面的光场分布；步骤5a，更新光学传递函数；步骤6a，重建获得原始荧光子图像的第二SIM超分辨子图像。本发明能够对超分辨率显微镜重建图像的各处像差和人造伪影进行自适应校正。

Description

超分辨率显微镜图像的自适应校正方法及SIM-ODT双模态 ***

技术领域

本发明涉及超分辨显微成像技术领域，特别是关于一种超分辨率显微镜图像的自适应校正方法及SIM-ODT双模态***。

背景技术

SIM(structured illumination microscopy，结构光照明显微镜)通过采用多个方向和多个相位的正弦照明模式进行频谱调制的方式来突破光学衍射极限，以达到超分辨率(super-resolution)成像的目的。同时，SIM相比受激辐射损耗显微镜STED、单分子定位显微镜PALM/STROM等其它超分辨技术，具有对样本特异性需求小，光子数少，光毒性小和成像速度快等优点，成为了活细胞研究中应用最为广泛的超分辨技术之一。然而，SIM虽有诸多优势，却容易受到重建伪影的影响：参数估计不准确，图像信噪比低，光学传递函数误差大，离焦面背景荧光不可忽略等都会给重建SIM超分辨图像带来困难。对于厚度大的样本而言，因为细胞器分布不均匀，所以样本内部折射率分布差异非常显著。这些结构差异将导致SIM照明激光和受激荧光发生散射，进而给显微镜带来成像像差，这也是限制SIM成像深度的最重要因素，因此目前的SIM还是局限在薄样本或者细胞浅层区域的范围之内成像。

如果能够解决SIM厚样本深层超分辨重建图像的伪影问题，将极大扩展SIM的使用范围，助力更多的细胞生物学的实验研究进展。在传统的SIM超分辨图像重建算法中，重建使用的光学传递函数(optical transfer function，OTF)基本来源于理想物理模型构造的OTF或者使用荧光微珠拍摄得到的OTF，对于实际生物样本来说，都是过于理想化且不匹配的OTF。在以往的解决超分辨图像伪影的方法中，有直接通过在图像重建算法模型中加入正则项进而约束过程的方法，也有利用自适应光学手段，通过在光路中增加波前传感器来探测像差，再使用变形镜校正波前像差，或者直接使用无波前传感的方法来校正光路中像差的方法。然而，在重建模型加入正则项的方法，其要求显微镜采集到的SIM模态的原始荧光图像和重建使用的参数，如OTF是无差别的，而这显然对厚样本而言，是难以达到的。而利用自适应光学校正的方法，仅能校正全局像差，无法校正局部像差。

发明内容

本发明的目的在于提供一种超分辨率显微镜图像的自适应校正方法及SIM-ODT双模态***，其能够对超分辨率显微镜重建图像的各处像差和人造伪影进行自适应校正。

为实现上述目的，本发明提供一种超分辨率显微镜图像的自适应校正方法，所述超分辨率显微镜图像的自适应校正方法包括：

利用通过样本的ODT(optical diffraction tomography，光学衍射层析成像)模态的原始相位图像获得的三维折射率分布，从成像探测路径对SIM超分辨图像进行自适应校正的方法包括：

步骤1a，根据光学传递函数以及所述样本的SIM模态的原始荧光图像，重建获得带伪影的初始SIM超分辨图像；

步骤2a，将所述初始SIM超分辨图像按照第一种划分方式分割成若干第一SIM超分辨子图像，将所述原始荧光图像按照所述第一种划分方式分割成若干原始荧光子图像，并且，相邻所述子图像的边缘彼此重叠；

步骤3a，通过所述三维折射率分布，沿所述SIM模态的光轴z轴找出含有荧光信号的各所述原始荧光子图像对应的成像焦平面及其对应的样本层数，并在含有荧光信号的各所述原始荧光子图像的中心及该中心的相邻区域的选定点处设置点光源；

步骤4a，根据所述三维折射率分布，计算所述点光源从所述原始荧光子图像对应的成像焦平面传播到样本表面的第一光场分布U^L1(ρ)，ρ＝(x，y)为与z垂直的二维空间坐标，L为所述样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数；

步骤5a，根据U^L1(ρ)，计算所述原始荧光子图像对应的成像焦平面的第一相干传递函数

并由

更新第一光学传递函数H¹(ξ)，ξ为频域中的二维坐标；

步骤6a，根据H¹(ξ)及相应的所述原始荧光子图像，再次重建获得所述原始荧光子图像的第二SIM超分辨子图像；

步骤7a，将步骤6a重建得到的第二SIM超分辨子图像、以及未含有荧光信号的所述原始荧光子图像所在区域对应的所述第一SIM超分辨子图像，拼接成最终完整的SIM超分辨图像。

进一步地，所述步骤5a中的

通过如下两种方法之一得到：

方法一，根据第二物镜的焦距，将U^L1(ρ)利用菲涅尔衍射公式正向传播到瞳面位置，获得

其中，所述第二物镜用于接收经过样本后的ODT模态激光、供SIM超分辨激光照明模块所生成的激光通过后照射样本、以及样本产生的SIM模态的原始荧光；其中，所述第二物镜用于接收经过所述样本后的ODT模态激光、供所述SIM模态激光通过并照射所述样本、以及所述样本产生的SIM模态的原始荧光；

方法二，利用式(1)提供的重聚焦反向传播计算U^L1(ρ)，获得

式中，U_PSF(ρ)为U^L1(ρ)反向传播回到成像焦平面的光场分布，即相干点扩散函数，ρ_L为所述样本外表面任意处的坐标，z_L为成像焦平面到样本外表面的物理距离，P(·)表征瞳函数，U^L(ρ_L)为样本外表面的光场分布，j为虚数单位，k_m为所述SIM模态的照明激光的光场在环境中的波矢量，Ft{·}为傅里叶变换。

进一步地，所述步骤4a中的U^L1(ρ)获取方法具体包括：

步骤41a，将所述点光源设置为理想球面波；

步骤42a，根据所述三维折射率分布n(r)，利用式(3)计算散射势f(r)；

式中，n_m为所述样本所在环境的平均折射率，k_m为SIM模态的照明激光的光场在环境中的波矢量，λ₀为所述SIM模态的照明激光的波长；

步骤43a，依据f(r)，计算U^L1(ρ)。

进一步地，所述步骤43a中的U^L1(ρ)通过使用积分形式的Lippmann-Schwinger模型、或者使用如下式(5)至式(7)提供的多层光束传播模型求解得到：

U^l(ρ，(l+1)Δz)＝Ft^-1{P_prop(ξ，Δz)·Ft{U^l(ρ，lΔz)}} (5)

式中，U^l(ρ，(l+1)Δz)为所述点光源从所述原始荧光子图像对应的成像焦平面未经样本作用而直接传播到所述样本第l层的光场分布，U^l(ρ，lΔz)为所述点光源从所述原始荧光子图像对应的成像焦平面传播到所述样本第l-1层的总光场分布，

为U^l(ρ，(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场，U^l+1(ρ，(l+1)Δz)为所述点光源从所述原始荧光子图像对应的成像焦平面传播到所述样本第l层的总光场分布，l为所述点光源从所述原始荧光子图像对应的成像焦平面到所述样本外表面的层数，l＝1……，L，z为SIM模态的光轴的坐标分布，Δz为所述样本每一层的厚度，Ft{·}表示傅里叶变换，Ft^-1{·}表示反傅里叶变换，P_prop(ξ，Δz)为由式(8)表示的角谱传播函数，G(ξ，Δz)为由式(9)表示的格林函数，f^l(ρ)为所述点光源从所述原始荧光子图像对应的成像焦平面传播到所述样本第l层的散射势，当l＝1时，U¹(ρ，Δz)取U_SPH(ρ，Δz)。

本发明还提供一种超分辨率显微镜图像的自适应校正方法，所述超分辨率显微镜图像的自适应校正方法包括：

利用通过样本的ODT模态的原始相位图像获得的三维折射率分布，从照明路径对SIM超分辨图像进行自适应校正的方法包括：

步骤1b，根据所述样本的SIM模态的原始荧光图像，估计求解各照明模式的照明参数；

步骤2b，根据照明模式呈正弦分布的先验信息和第一模块获得的照明参数，生成均匀的位于样本外表面位置的理想正弦照明模式分布；

步骤3b，根据所述三维折射率分布，计算沿SIM模态的光轴z轴的所述原始荧光图像对应的成像焦平面到所述样本外表面的总层数L、以及理想正弦分布光源从样本外表面传播到所述原始荧光图像的成像焦平面的第二光场分布U^L2(ρ)，ρ＝(x，y)为与z轴垂直的二维空间坐标；

步骤4b，根据U^L2(ρ)，获得散射畸变后的照明模式；

步骤5b，利用式(10)表示的优化模型，迭代所述散射畸变后的照明模式，重建得到最优SIM超分辨图像

式中，num为所述照明模式的每个周期内所述原始荧光图像的总帧数，D_i为第i帧所述原始荧光图像，h为第二光学传递函数H²(ξ)反傅里叶变换后得到的点扩散函数，g_i为：g_i(ρ)＝I′_i(ρ)·o(ρ)，I′_i(ρ)和I′_i为D_i对应的所述散射畸变后的照明模式，Hess(o)表示海森矩阵，||·||₁表示矩阵的L1范数，o和o(ρ)为待重建的SIM超分辨图像，λ为数据保真项系数，α为海森连续性约束系数，β为稀疏项约束系数，ξ为频域中的二维坐标。

进一步地，所述步骤4b中的散射畸变后的照明模式表示为I′(ρ)，其通过式(12)获得：

I′(ρ)＝|U^L2(ρ)|² (12)。

进一步地，所述步骤3b中的U^L2(ρ)获取方法具体包括：

步骤31b，根据所述三维折射率分布n(r)，利用式(3)计算散射势f(r)；

式中，n_m为所述样本所在环境的平均折射率，k_m为SIM模态的照明激光的光场在环境中的波矢量，λ₀为所述SIM模态的照明激光的波长；

步骤32b，依据f(r)，计算U^L2(ρ)。

进一步地，所述步骤32b中的U^L2(ρ)通过使用积分形式的Lippmann-Schwinger模型或使用如下式(5)至式(7)提供的多层光束传播模型求解得到：

U^l(ρ，(l+1)Δz)＝Ft^-1{P_prop(ξ，Δz)·Ft{U^l(ρ，lΔz)}} (5)

式中，U^l(ρ，(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面未经样本作用而直接传播到所述样本第l层的光场分布，U^l(ρ，lΔz)为所述理想正弦照明模式分布从所述样本的外表面传播到所述样本第l-1层的总光场分布，

为U^l(ρ，(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场，U^l+1(ρ，(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面传播到所述样本第l层的总光场分布，l为所述理想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面的层数，l＝1……，L，z为SIM模态的光轴的坐标分布，Δz为所述样本每一层的厚度，Ft{·}表示傅里叶变换，Ft^-1{·}表示反傅里叶变换，P_prop(ξ，Δz)为由式(8)表示的角谱传播函数，G(ξ，Δz)为由式(9)表示的格林函数，f^l(ρ)为所述理想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面传播到所述样本第l层的散射势，当l＝1时，U¹(ρ，Δz)取所述步骤2b生成的理想正弦照明模式。

进一步地，所述步骤5b中的H²(ξ)通过如下两种方式之一得到：

方式一，使用理想模型构建光学传递函数获得；

方式二，通过荧光微珠拍摄得到点扩散函数h(ρ)，再利用h(ρ)获得H²(ξ)，H²(ξ)＝Ft{h(ρ)}，Ft为傅里叶变换。

进一步地，所述步骤5b中的H²(ξ)的获得方法包括：

步骤51b，利用通过样本的ODT模态的原始相位图像获得的三维折射率分布；

步骤52b，根据光学传递函数以及所述样本的SIM模态的原始荧光图像，重建获得带伪影的初始SIM超分辨图像；

步骤53b，将所述原始荧光图像按照所述第一种划分方式分割成若干原始荧光子图像，并且，相邻所述子图像的边缘彼此重叠；

步骤54b，通过所述三维折射率分布，沿SIM模态的光轴z轴找出含有荧光信号的各所述原始荧光子图像对应的成像焦平面及其对应的样本层数，并在含有荧光信号的各所述原始荧光子图像的中心及该中心的相邻区域的选定点出设置点光源；

步骤55b，根据所述三维折射率分布，计算所述点光源从所述原始荧光子图像对应的成像焦平面传播到样本表面的第一光场分布U^L1(ρ)，ρ＝(x，y)为与z垂直的二维空间坐标，L为所述样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数；

步骤56b，根据U^L1(ρ)，计算所述原始荧光子图像对应的成像焦平面的第一相干传递函数

并由

更新第二光学传递函数H²(ξ)，

ξ为频域中的二维坐标，★表示自相关计算。

本发明还提供一种SIM-ODT双模态***，所述SIM-ODT双模态***包括：ODT照明模块，其用于产生ODT模态激光；SIM超分辨激光照明模块，其用于产生呈正弦分布的SIM模态激光；第一物镜，其置于所述样本的一侧与所述ODT照明模块的出光口之间，用于供所述ODT照明模块所生成的激光照射所述样本；第二物镜，其置于所述样本的另一侧，用于接收经过所述样本后的ODT模态激光、供所述SIM模态激光通过并照射所述样本、以及供所述样本产生的SIM模态的原始荧光通过；SIM超分辨图像采集模块，其用于采集所述SIM模态的原始荧光图像；ODT图像采集模块，其用于采集ODT模态的原始相位图像；样本三维折射率分布计算模块，其用于利用衍射层析成像的重建算法，对所述原始相位图像进行处理，重建得到无标记的所述样本的三维折射率分布；自适应图像校正模块，其用于利用如上所述的超分辨率显微镜图像的自适应校正方法对SIM模态的光学传递函数和/或畸变照明模式进行自适应校正；2D/3D-SIM超分辨图像重建模块，其用于根据所述自适应图像校正模块校正后的光学传递函数和/或畸变照明模式，将所述原始荧光图像与所述光学传递函数进行图像重建，获得自适应校正后的SIM超分辨图像；双模态图像融合模块，其用于将自适应校正后的SIM超分辨图像与所述三维折射率分布按照空间位置关系融合，同时对所述样本进行三维高分辨动态成像以及深层的特异性二维或三维超分辨动态成像。

本发明通过利用双模态显微镜***中的光学衍射层析成像模态拍摄得到样本三维折射率信息，再利用局部的折射率信息从照明路径和探测路径自适应地校正对应区域的二维或三维结构光超分辨图像。

附图说明

图1为本发明实施例提供的SIM-ODT双模态***原理示意图。

图2为本发明实施例提供的自适应校正探测路径的流程框图。

图3为本发明实施例提供的自适应校正照明路径的流程框图。

图4为本发明实施例提供的自适应校正探测路径和照明路径的流程框图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明实施例提供的SIM-ODT双模态***包括ODT照明模块、SIM超分辨激光照明模块、第一物镜、第二物镜、SIM超分辨图像采集模块、ODT图像采集模块、样本三维折射率分布计算模块、自适应图像校正模块、2D/3D-SIM超分辨图像重建模块和双模态图像融合模块，其中：

ODT照明模块用于产生ODT模态激光，对样本进行多角度的无标记衍射层析照明，要求使用的激光具有高度相干性。其中，样本一般为单个细胞的厚度，范围在10μm至20μm内。

SIM超分辨激光照明模块用于产生呈正弦分布的SIM模态激光。

第一物镜置于所述样本的一侧与所述ODT照明模块的出光口之间，用于供所述ODT照明模块所生成的激光照射所述样本。

第二物镜置于所述样本的另一侧，用于接收经过所述样本后的ODT模态激光、供所述SIM模态激光通过并照射所述样本、以及供所述样本产生的SIM模态的原始荧光通过。为了实现SIM超分辨成像，第二物镜选用高倍物镜，第二物镜的数值孔径大于等于第一物镜的数值孔径，这样可以保证ODT模态经过第一物镜的激光都能被第二物镜接收到。

SIM超分辨图像采集模块用于采集所述SIM模态的原始荧光图像。

ODT图像采集模块用于采集ODT模态的原始相位图像。

样本三维折射率分布计算模块用于利用衍射层析成像的重建算法，如Born近似重建、Rytov近似重建、多层传播近似重建或其它重建方法，对所述原始相位图像进行处理，重建得到无标记的所述样本的三维折射率分布。

自适应图像校正模块用于利用成像探测路径和/或照明路径对SIM模态的光学传递函数和/或畸变照明模式进行自适应校正。其中，成像探测路径指的是从样本发出荧光，荧光在样本中传播并被第二物镜接收，再被SIM超分辨图像采集模块采集的过程。照明路径指的是SIM超分辨激光照明模块发出激光，经过第二物镜照射到样本成像焦平面形成正弦分布的照明模式的过程。

2D/3D-SIM超分辨图像重建模块根据所述自适应图像校正模块校正后的光学传递函数和/或畸变照明模式，将所述原始荧光图像与所述光学传递函数进行图像重建，获得自适应校正后的SIM超分辨图像。

其中，图像重建方法，可以是传统的维纳解卷积方法，将所述原始荧光形成的图像中的高频和低频分量进行解耦，并将高频分量移动到照明频率对应的位置，最后将低频分量和高频分量整合，获得超分辨图像；也可以是将照明模式整体迭代，利用优化方法找到最优的超分辨图像。

双模态图像融合模块用于将自适应校正后的SIM超分辨图像与所述三维折射率分布按照空间位置关系融合，同时对所述样本进行三维高分辨动态成像以及深层的特异性二维或三维超分辨动态成像。其中，“融合”可以理解为将ODT模态和SIM模态的单个像素的尺寸大小插值到相同的值，然后将两个模态的结果叠加，在一幅图像中显示不同通道颜色的效果。

如图1和图2所示，本发明实施例提供的超分辨率显微镜图像的自适应校正方法包括：

利用通过样本的ODT模态的原始相位图像获得的三维折射率分布，从成像探测路径对SIM超分辨图像进行自适应校正的方法具体包括如下步骤：

步骤1a，根据光学传递函数以及所述样本的SIM模态的原始荧光图像，重建获得带伪影的初始SIM超分辨图像。其中，光学传递函数可以使用理想模型构建的光学传递函数或者荧光微珠拍摄得到的光学传递函数。重建方法可以利用传统的维纳解卷积图像重建方法，即：首先，利用频谱相关性估计各照明方向的照明频率、照明相位及照明调制深度系数等照明参数；然后，将原始荧光图像中的高频和低频分量解耦，并将高频分量移动到照明频率对应的位置；最后，将低频分量和高频分量整合，获得带伪影的初始SIM超分辨图像。

步骤2a，将所述初始SIM超分辨图像按照第一种划分方式分割成若干第一SIM超分辨子图像，将所述原始荧光图像按照所述第一种划分方式分割成若干原始荧光子图像，并且，相邻所述子图像的边缘彼此重叠。其中，第一种划分方式可以是采用均匀的分割方式，也可以理解为：将被分割图像按照网格划分方式划分成若干个横纵方向的像素数相等且不小于64个像素。相邻所述子图像的边缘彼此重叠的部分的像素数不少于单个子图像像素数的10％，这样可以保证之后图像拼接的连续性。

步骤3a，通过所述三维折射率分布，沿SIM模态的光轴z轴找出含有荧光信号的各所述原始荧光子图像对应的成像焦平面及其对应的样本层数，并在含有荧光信号的各所述原始荧光子图像的中心及该中心的相邻区域的选定点出设置点光源。其中，中心的相邻区域的选定点可以设置为图像中心点的八邻域对角点，但不限于此，本领域技术人员可以根据实际需求进行选取设置。为便于计算，该点光源可用理想球面波替代，如式(1)：

其中，U_SPH(r)为理想球面波的光场分布，A为球面波振幅，i为虚数单位，k为自由空间中的波矢量，φ₀为初始相位，r＝(x，y，z)为三维空间坐标。

步骤4a，根据所述三维折射率分布，计算所述点光源从所述原始荧光子图像对应的成像焦平面传播到样本表面的第一光场分布U^L1(ρ)，ρ＝(x，y)为与z垂直的二维空间坐标，L为样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数。

步骤5a，根据U^L1(ρ)，计算所述原始荧光子图像对应的成像焦平面的第一相干传递函数

并由

更新第一光学传递函数H¹(ξ)，ξ为频域中的二维坐标。优选地，

★表示自相关计算。当然，H¹(ξ)也可以采用现有的其它方式获得。

步骤5a中的

可以通过方法一得到，也可以通过方法二获得，还可以通过现有的其它方式获得。

方法一，根据第二物镜的焦距，将U^L1(ρ)利用菲涅尔衍射公式正向传播到瞳面位置，获得

其中，所述第二物镜用于接收经过样本后的ODT模态激光、供SIM超分辨激光照明模块所生成的激光通过后照射样本、以及样本产生的SIM模态的原始荧光。

方法二，利用式(1)提供的重聚焦反向传播计算U^L1(ρ)，获得

式中，U_PSF(ρ)为U^L1(ρ)反向传播回到成像焦平面的光场分布，即相干点扩散函数，ρ_L为所述样本外表面任意处的坐标，z_L为成像焦平面到样本外表面的距离，P(·)表征瞳函数，U^L(ρ_L)为样本外表面的光场分布，j为虚数单位，k_m为SIM模态的照明激光的光场在环境中的波矢量，Ft{.}为傅里叶变换。

进一步地，对

的相位进行相位解包裹，并利用泽尼克多项式进行分解和重构，去除噪声干扰。该模块可以对同一个原始荧光子图像所对应的区域内的不同点光源获得的相干传递函数进行算数平均，也可以利用聚类方法对各个点源获得的泽尼克多项式分解结果进行聚类，或者利用其它方法获得平均的相干传递函数。

在一个实施例中，所述步骤4a中的U^L1(ρ)获取方法具体包括：

步骤41a，将所述点光源设置为理想球面波。

步骤42a，根据所述三维折射率分布n(r)，利用式(3)计算散射势f(r)；

式中，n_m为所述样本所在环境(如培养液)的平均折射率，折射率可以用阿贝折射仪获取，实际计算所用的细胞培养液折射率，与水的折射率1.333接近，为经验数值；k_m为SIM模态的照明激光的光场在环境中的波矢量，λ₀为SIM模态的照明激光的波长。

步骤43a，依据f(r)，计算U^L1(ρ)。

在一个实施例中，所述步骤43a中的U^L1(ρ)通过使用积分形式的Lippmann-Schwinger模型获得，也可以通过如下式(5)至式(7)提供的多层光束传播模型求解得到，还可以通过现有的其它公式获得：

U^l(ρ，(l+1)Δz)＝Ft^-1{P_prop(ξ，Δz)·Ft{U^l(ρ，lΔz)}} (5)

式中，U^l(ρ，(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面未经样本作用而直接传播到所述样本第l层的光场分布，U^l(ρ，lΔz)为所述理想正弦照明模式分布从所述样本的外表面传播到所述样本第l-1层的总光场分布，

为U^l(ρ，(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场，U^l+1(ρ，(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面传播到所述样本第l层的总光场分布，l＝1……，L，z为SIM模态的光轴的坐标分布，Δz为所述样本每一层的厚度，Ft{·}表示傅里叶变换，Ft^-1{·}表示反傅里叶变换，Pprop(ξ，Δz)为由式(8)表示的角谱传播函数，G(ξ，Δz)为由式(9)表示的格林函数，f^l(ρ)为所述点光源从所述原始荧光子图像对应的成像焦平面传播到所述样本第l层的散射势。

多层光束传播模型为逐层传播模块，n取值从1至样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数L，且当l＝1时，U¹(ρ，Δz)取U_SPH(ρ，Δz)。

步骤6a，根据H¹(ξ)及相应的所述原始荧光子图像，再次重建获得所述原始荧光子图像的第二SIM超分辨子图像，此时伪影减少。其中，重建方法可以是传统的维纳解卷积方法，也可以是迭代优化方法。

步骤7a，将步骤6a重建得到的第二SIM超分辨子图像、以及未含有荧光信号的所述原始荧光子图像所在区域对应的所述第一SIM超分辨子图像，拼接成最终完整的SIM超分辨图像。在拼接过程中，相邻子图像的边缘融合可以使用加权融合或者其它融合方法，使重叠部分由前一子图像对应的区域平缓过渡到后一子图像对应的区域，保证图像连续性。对于SIM超分辨图像内剩余没有荧光信号分布的各个区域，直接使用对应的所述第一SIM超分辨子图像，可以减少计算量。

还可以对步骤7a输出的最终完整的SIM超分辨图像进行迭代优化，减少超分辨图像噪声，增大图像分辨率。该迭代优化模型可以加入海森正则项和稀疏正则项，共同调制优化过程。

如图1和图3所示，本发明实施例提供超分辨率显微镜图像的自适应校正方法包括：

利用通过样本的ODT模态的原始相位图像获得的三维折射率分布，从照明路径对SIM超分辨图像进行自适应校正的方法包括：

步骤1b，根据所述样本的SIM模态的原始荧光图像，估计各照明模式的照明参数。具体地，使用原始荧光图像乘以照明模式的相位差矩阵，进行相位差分离，得到SIM超分辨图像的高频和低频的分量；然后，计算所得的高频和低频分量的相关性，并利用频谱的相关性估计各照明方向的照明频率、照明相位及照明调制深度系数等照明参数，其中，照明模式的相位差矩阵根据显微镜硬件设计时所用的照明模式获得。

步骤2b，根据照明模式呈正弦分布的先验信息和第一模块获得的照明参数，生成均匀的位于样本外表面位置的理想正弦照明模式分布。

步骤3b，根据所述三维折射率分布，计算沿SIM模态的光轴z轴的从所述原始荧光图像对应的成像焦平面到所述样本外表面的总层数L、以及理想正弦分布光源从样本外表面传播到所述原始荧光图像的成像焦平面的第二光场分布U^L2(ρ)，ρ＝(x，y)为与z轴垂直的二维空间坐标。

其中，步骤3b中的U^L2(ρ)获取方法具体包括：

步骤31b，根据所述三维折射率分布n(r)，利用式(3)计算散射势f(r)。

步骤32b，依据f(r)，计算U^L2(ρ)。U^L2(ρ)可以通过使用积分形式的Lippmann-Schwinger模型，也可以使用如上述实施例中相同的多层光束传播模型(式(5)至式(7))求解得到，还可以使用其它现有方法获得。

U^l(ρ，(l+1)Δz)＝Ft^-1{P_prop(ξ，Δz)·Ft{U^l(ρ，lΔz)}} (5)

式中，U^l(ρ，(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面未经样本作用而直接传播到所述样本第l层的光场分布，U^l(ρ，lΔz)为所述理想正弦照明模式分布从所述样本的外表面传播到所述样本第l-1层的总光场分布，

为U^l(ρ，(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场，U^l+1(ρ，(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面传播到所述样本第l层的总光场分布，l为所述理想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面的层数，l＝1……，L，z为SIM模态的光轴的坐标分布，Δz为所述样本每一层的厚度，Ft{·}表示傅里叶变换，Ft^-1{·}表示反傅里叶变换，P_prop(ξ，Δz)为由式(8)表示的角谱传播函数，G(ξ，Δz)为由式(9)表示的格林函数，f^l(ρ)为所述理想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面传播到所述样本第l层的散射势，当l＝1时，U¹(ρ，Δz)取所述步骤2b生成的理想正弦照明模式。

步骤4b，根据U^L2(ρ)，获得因厚样本折射率分布不均匀而引起的散射畸变后的照明模式I′(ρ)，其通过式(11)获得：

I′(ρ)＝|U^L2(ρ)|² (11)。

步骤5b，利用式(10)表示的优化模型，迭代所述散射畸变后的照明模式，重建得到最优SIM超分辨图像

的伪影进一步降低。

式中，num为所述照明模式的每个周期内所述原始荧光图像的总帧数，D_i为第i帧所述原始荧光图像，h为第二光学传递函数H²(ξ)反傅里叶变换后得到的点扩散函数，g_i为：g_i(ρ)＝I′_i(ρ)·o(ρ)，I′_i(ρ)和I′_i为D_i对应的所述散射畸变后的照明模式，Hess(o)表示海森矩阵，||·||₁表示矩阵的L1范数，o和o(ρ)为待重建的SIM超分辨图像，λ为数据保真项系数，其数值范围一般在200(低信噪比)到300(高信噪比)之间，β为稀疏项约束系数，其数值一般为λ的1/20～1/5的倍数关系，α为海森连续性约束系数，其数值设置原则是：如果是间隔时间采集数据，则取较小值，如0.1或0.01，如果是连续时间采集数据，则取较大值，如5、10、20，且如果处理后的图像过于平滑，则减小α的取值。

上述实施例中，步骤5b也可以采用式(11)表示的优化模型替代式(10)：

单独采用照明路径进行自适应校正时，所述步骤5b中的H²(ξ)可以使用理想模型构建光学传递函数获得，也可以通过荧光微珠拍摄得到点扩散函数h(ρ)，再利用h(ρ)获得H²(ξ)，H²(ξ)＝Ft{h(ρ)}，Ft为傅里叶变换。

如图4所示，本发明实施例提供的将图2示出的探测路径校正方法和图3示出的照明路径校正方法相结合的自适应校正方法，同时校正探测路径和照明路径。这种相结合的方法的主要思路是将图2示出的探测路径校正方法中获得的第一光学传递函数与图3示出的照明路径校正方法获得的畸变照明模式两者同时代入到式(10)表示的优化模型中。

具体地，图4示出的自适应方法具体包括：

步骤1b，根据所述样本的SIM模态的原始荧光图像，估计各照明模式的照明参数。具体地，使用原始荧光图像乘以照明模式的相位差矩阵，进行相位差分离，得到SIM超分辨图像的高频和低频的分量；然后，计算所得的高频和低频分量的相关性，并利用频谱的相关性估计各照明方向的照明频率、照明相位及照明调制深度系数等照明参数，其中，照明模式的相位差矩阵根据显微镜硬件设计时所用的照明模式获得。

步骤2b，根据照明模式呈正弦分布的先验信息和第一模块获得的照明参数，生成均匀的位于样本外表面位置的理想正弦照明模式分布。

步骤3b，根据所述三维折射率分布，计算沿SIM模态的光轴z轴的从所述原始荧光图像对应的成像焦平面到所述样本外表面的总层数L、以及理想正弦分布光源从样本外表面传播到所述原始荧光图像的成像焦平面的第二光场分布U^L2(ρ)，ρ＝(x，y)为与垂直的二维空间坐标。

其中，步骤3b中的U^L2(ρ)获取方法具体包括：

步骤31b，根据所述三维折射率分布n(r)，利用式(3)计算散射势f(r)。

步骤32b，依据f(r)，计算U^L2(ρ)。U^L2(ρ)可以通过使用积分形式的Lippmann-Schwinger模型，也可以使用如下式(5)至式(7)提供的多层光束传播模型求解得到，还可以使用其它现有方法获得。

U^l(ρ，(l+1)Δz)＝Ft^-1{P_prop(ξ，Δz)·Ft{U^l(ρ，lΔz)}} (5)

式中，U^l(ρ，(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面未经样本作用而直接传播到所述样本第l层的光场分布，U^l(ρ，lΔz)为所述理想正弦照明模式分布从所述样本的外表面传播到所述样本第l-1层的总光场分布，

为U^l(ρ，(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场，U^l+1(ρ，(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面传播到所述样本第l层的总光场分布，l为所述理想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面的层数，l＝1……，L，z为SIM模态的光轴的坐标分布，Δz为所述样本每一层的厚度，Ft{·}表示傅里叶变换，Ft^-1{·}表示反傅里叶变换，P_prop(ξ，Δz)为由式(8)表示的角谱传播函数，G(ξ，Δz)为由式(9)表示的格林函数，f^l(ρ)为所述理想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面传播到所述样本第l层的散射势，当l＝1时，U¹(ρ，Δz)取所述步骤2b生成的理想正弦照明模式。

步骤4b，根据U^L2(ρ)，获得因厚样本折射率分布不均匀而引起的散射畸变后的照明模式I′(ρ)，其通过式(12)获得：

I′(ρ)＝|U^L2(ρ)|² (12)。

式(12)中，I′_i(ρ)和I′_i为D_i对应的所述散射畸变后的照明模式，而此处的I′(ρ)指的是非特定的照明模式。

步骤5b，利用式(10)表示的优化模型，迭代所述散射畸变后的照明模式，重建得到最优SIM超分辨图像

的伪影进一步降低。

式中，num为所述照明模式的每个周期内所述原始荧光图像的总帧数，D_i为第i帧所述原始荧光图像，h为第二光学传递函数H²(ξ)反傅里叶变换后得到的点扩散函数，g_i为：g_i(ρ)＝I′_i(ρ)·o(ρ)，I′_i(ρ)和I′_i为D_i对应的所述散射畸变后的照明模式，Hess(o)表示海森矩阵，||·||₁表示矩阵的L1范数，o和o(ρ)为待重建的SIM超分辨图像，λ为数据保真项系数，其数值范围一般在200(低信噪比)到300(高信噪比)之间，β为稀疏项约束系数，其数值一般为λ的1/20～1/5的倍数关系，α为海森连续性约束系数，其数值设置原则是：如果是间隔时间采集数据，则取较小值，如0.1或0.01，如果是连续时间采集数据，则取较大值，如5、10、20，且如果处理后的图像过于平滑，则减小α的取值。

所述步骤5b中的H²(ξ)的获得方法包括：

步骤51b，利用通过样本的ODT模态的原始相位图像获得的三维折射率分布。

步骤52b，根据光学传递函数以及所述样本的SIM模态的原始荧光图像，重建获得带伪影的初始SIM超分辨图像。

步骤53b，将所述原始荧光图像按照所述第一种划分方式分割成若干原始荧光子图像，并且，相邻所述子图像的边缘彼此重叠。

步骤54b，通过所述三维折射率分布，沿SIM模态的光轴z轴找出含有荧光信号的各所述原始荧光子图像对应的成像焦平面及其对应的样本层数，并在含有荧光信号的各所述原始荧光子图像的中心及该中心的相邻区域的选定点出设置点光源。

步骤55b，根据所述三维折射率分布，计算所述点光源从所述原始荧光子图像对应的成像焦平面传播到样本表面的第一光场分布U^L1(ρ)，ρ＝(x，y)为与z垂直的二维空间坐标，L为样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数。

步骤56b，根据U^L1(ρ)，计算所述原始荧光子图像对应的成像焦平面的第一相干传递函数

并由

更新第二光学传递函数H²(ξ)，

ξ为频域中的二维坐标，★表示自相关计算。

本发明通过利用双模态显微镜***中的ODT模态拍摄得到样本折射率信息及波动光学传播理论，自适应的校正超分辨显微镜照明路径各处的照明模式(illuminationpattern)畸变和探测路径各处的光学传递函数，再将畸变校正后的照明模式和光学传递函数信息引入到重建模型中，设计更准确的图像重建方法，本发明可以自适应校正样本中各处的局部像差，并且不以牺牲成像速度为代价的方法来实现厚样本深层位置的较少伪影甚至无伪影的超分辨成像。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种超分辨率显微镜图像的自适应校正方法，其特征在于，包括：

利用通过样本的ODT模态的原始相位图像获得的三维折射率分布，从成像探测路径对SIM超分辨图像进行自适应校正的方法包括：

步骤1a，根据光学传递函数以及所述样本的SIM模态的原始荧光图像，重建获得带伪影的初始SIM超分辨图像；

步骤2a，将所述初始SIM超分辨图像按照第一种划分方式分割成若干第一SIM超分辨子图像，将所述原始荧光图像按照所述第一种划分方式分割成若干原始荧光子图像，并且，相邻所述子图像的边缘彼此重叠；

步骤3a，通过所述三维折射率分布，沿所述SIM模态的光轴z轴找出含有荧光信号的各所述原始荧光子图像对应的成像焦平面及其对应的样本层数，并在含有荧光信号的各所述原始荧光子图像的中心及该中心的相邻区域的选定点处设置点光源；

步骤4a，根据所述三维折射率分布，计算所述点光源从所述原始荧光子图像对应的成像焦平面传播到样本表面的第一光场分布U^L1(ρ)，ρ＝(x，y)为与z垂直的二维空间坐标，L为所述样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数；

步骤5a，根据U^L1(ρ)，计算所述原始荧光子图像对应的成像焦平面的第一相干传递函数

并由

更新第一光学传递函数H¹(ξ)，ξ为频域中的二维坐标；

步骤6a，根据H¹(ξ)及相应的所述原始荧光子图像，再次重建获得所述原始荧光子图像的第二SIM超分辨子图像；

步骤7a，将步骤6a重建得到的第二SIM超分辨子图像、以及未含有荧光信号的所述原始荧光子图像所在区域对应的所述第一SIM超分辨子图像，拼接成最终完整的SIM超分辨图像。

2.如权利要求1所述的超分辨率显微镜图像的自适应校正方法，其特征在于，所述步骤5a中的

通过如下两种方法之一得到：

方法一，根据第二物镜的焦距，将U^L1(ρ)利用菲涅尔衍射公式正向传播到瞳面位置，获得

其中，所述第二物镜用于接收经过样本后的ODT模态激光、供SIM超分辨激光照明模块所生成的激光通过后照射样本、以及样本产生的SIM模态的原始荧光；其中，所述第二物镜用于接收经过所述样本后的ODT模态激光、供所述SIM模态激光通过并照射所述样本、以及所述样本产生的SIM模态的原始荧光；

方法二，利用式(1)提供的重聚焦反向传播计算U^L1(ρ)，获得

式中，U_PSF(ρ)为U^L1(ρ)反向传播回到成像焦平面的光场分布，即相干点扩散函数，ρ_L为所述样本外表面任意处的坐标，z_L为成像焦平面到样本外表面的物理距离，P(·)表征瞳函数，U^L(ρ_L)为样本外表面的光场分布，j为虚数单位，k_m为所述SIM模态的照明激光的光场在环境中的波矢量，Ft{.}为傅里叶变换，λ₀为所述SIM模态的照明激光的波长。

3.如权利要求2所述的超分辨率显微镜图像的自适应校正方法，其特征在于，所述步骤4a中的U^L1(ρ)获取方法具体包括：

步骤41a，将所述点光源设置为理想球面波；

步骤42a，根据所述三维折射率分布n(r)，利用式(3)计算散射势f(r)；

式中，n_m为所述样本所在环境的平均折射率，k_m为SIM模态的照明激光的光场在环境中的波矢量；

步骤43a，依据f(r)，计算U^L1(ρ)。

4.如权利要求3所述的超分辨率显微镜图像的自适应校正方法，其特征在于，所述步骤43a中的U^L1(ρ)通过使用积分形式的Lippmann-Schwinger模型、或者使用如下式(5)至式(7)提供的多层光束传播模型求解得到：

U^l(ρ，(l+1)Δz)＝Ft^-1{P_prop(ξ，Δz)·Ft{U^l(ρ，lΔz)}} (5)

式中，U^l(ρ，(l+1)Δz)为所述点光源从所述原始荧光子图像对应的成像焦平面未经样本作用而直接传播到所述样本第l层的光场分布，U^l(ρ，lΔz)为所述点光源从所述原始荧光子图像对应的成像焦平面传播到所述样本第l-1层的总光场分布，

为U^l(ρ，(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场，U^l+1(ρ，(l+1)Δz)为所述点光源从所述原始荧光子图像对应的成像焦平面传播到所述样本第l层的总光场分布，l为所述点光源从所述原始荧光子图像对应的成像焦平面到所述样本外表面的层数，l＝1……，L，z为SIM模态的光轴的坐标分布，Δz为所述样本每一层的厚度，Ft{·}表示傅里叶变换，Ft^-1{·}表示反傅里叶变换，P_prop(ξ，Δz)为由式(8)表示的角谱传播函数，G(ξ，Δz)为由式(9)表示的格林函数，f^l(ρ)为所述点光源从所述原始荧光子图像对应的成像焦平面传播到所述样本第l层的散射势，当l＝1时，U¹(ρ，Δz)取U_SPH(ρ，Δz)。

5.一种超分辨率显微镜图像的自适应校正方法，其特征在于，包括：

利用通过样本的ODT模态的原始相位图像获得的三维折射率分布，从照明路径对SIM超分辨图像进行自适应校正的方法包括：

步骤1b，根据所述样本的SIM模态的原始荧光图像，估计求解各照明模式的照明参数；

步骤2b，根据照明模式呈正弦分布的先验信息和第一模块获得的照明参数，生成均匀的位于样本外表面位置的理想正弦照明模式分布；

步骤3b，根据所述三维折射率分布，计算沿SIM模态的光轴z轴的所述原始荧光图像对应的成像焦平面到所述样本外表面的总层数L、以及理想正弦分布光源从样本外表面传播到所述原始荧光图像的成像焦平面的第二光场分布U^L2(ρ)，ρ＝(x，y)为与z轴垂直的二维空间坐标；

步骤4b，根据U^L2(ρ)，获得散射畸变后的照明模式；

步骤5b，利用式(10)表示的优化模型，迭代所述散射畸变后的照明模式，重建得到最优SIM超分辨图像

式中，num为所述照明模式的每个周期内所述原始荧光图像的总帧数，D_i为第i帧所述原始荧光图像，h为第二光学传递函数H²(ξ)反傅里叶变换后得到的点扩散函数，g_i为：g_i(ρ)＝I′_i(ρ)·o(ρ)，I′_i(ρ)和I′_i为D_i对应的所述散射畸变后的照明模式，Hess(o)表示海森矩阵，||·||₁表示矩阵的L1范数，o和o(ρ)为待重建的SIM超分辨图像，λ为数据保真项系数，α为海森连续性约束系数，β为稀疏项约束系数，ξ为频域中的二维坐标。

6.如权利要求5所述的超分辨率显微镜图像的自适应校正方法，其特征在于，所述步骤3b中的U^L2(ρ)获取方法具体包括：

步骤31b，根据所述三维折射率分布n(r)，利用式(3)计算散射势f(r)；

式中，n_m为所述样本所在环境的平均折射率，k_m为SIM模态的照明激光的光场在环境中的波矢量，λ₀为所述SIM模态的照明激光的波长；

步骤32b，依据f(r)，计算U^L2(ρ)。

7.如权利要求6所述的超分辨率显微镜图像的自适应校正方法，其特征在于，所述步骤32b中的U^L2(ρ)通过使用积分形式的Lippmann-Schwinger模型或使用如下式(5)至式(7)提供的多层光束传播模型求解得到：

U^l(ρ，(l+1)Δz)＝Ft^-1{P_prop(ξ，Δz)·Ft{U^l(ρ，lΔz)}} (5)

式中，U^l(ρ，(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面未经样本作用而直接传播到所述样本第l层的光场分布，U^l(ρ，lΔz)为所述理想正弦照明模式分布从所述样本的外表面传播到所述样本第l-1层的总光场分布，

为U^l(ρ，(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场，U^l+1(ρ，(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面传播到所述样本第l层的总光场分布，l为所述理想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面的层数，l＝1……，L，z为SIM模态的光轴的坐标分布，Δz为所述样本每一层的厚度，Ft{·}表示傅里叶变换，Ft^-1{·}表示反傅里叶变换，P_prop(ξ，Δz)为由式(8)表示的角谱传播函数，G(ξ，Δz)为由式(9)表示的格林函数，f^l(ρ)为所述理想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面传播到所述样本第l层的散射势，当l＝1时，U¹(ρ，Δz)取所述步骤2b生成的理想正弦照明模式。

8.如权利要求5至7中任一项所述的超分辨率显微镜图像的自适应校正方法，其特征在于，所述步骤5b中的H²(ξ)通过如下两种方式之一得到：

方式一，使用理想模型构建光学传递函数获得；

方式二，通过荧光微珠拍摄得到点扩散函数h(ρ)，再利用h(ρ)获得H²(ξ)，H²(ξ)＝Ft{h(ρ)}，Ft为傅里叶变换。

9.如权利要求5所述的超分辨率显微镜图像的自适应校正方法，其特征在于，所述步骤5b中的H²(ξ)的获得方法包括：

步骤51b，利用通过样本的ODT模态的原始相位图像获得的三维折射率分布；

步骤52b，根据光学传递函数以及所述样本的SIM模态的原始荧光图像，重建获得带伪影的初始SIM超分辨图像；

步骤53b，将所述原始荧光图像按照第一种划分方式分割成若干原始荧光子图像，并且，相邻所述子图像的边缘彼此重叠；

步骤54b，通过所述三维折射率分布，沿SIM模态的光轴z轴找出含有荧光信号的各所述原始荧光子图像对应的成像焦平面及其对应的样本层数，并在含有荧光信号的各所述原始荧光子图像的中心及该中心的相邻区域的选定点出设置点光源；

步骤55b，根据所述三维折射率分布，计算所述点光源从所述原始荧光子图像对应的成像焦平面传播到样本表面的第一光场分布U^L1(ρ)，ρ＝(x，y)为与z垂直的二维空间坐标，L为所述样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数；

步骤56b，根据U^L1(ρ)，计算所述原始荧光子图像对应的成像焦平面的第一相干传递函数

并由

更新第二光学传递函数H²(ξ)，

ξ为频域中的二维坐标，★表示自相关计算。

10.一种SIM-ODT双模态***，其特征在于，包括：

ODT照明模块，其用于产生ODT模态激光；

SIM超分辨激光照明模块，其用于产生呈正弦分布的SIM模态激光；

第一物镜，其置于所述样本的一侧与所述ODT照明模块的出光口之间，用于供所述ODT照明模块所生成的激光照射所述样本；

第二物镜，其置于所述样本的另一侧，用于接收经过所述样本后的ODT模态激光、供所述SIM模态激光通过并照射所述样本、以及供所述样本产生的SIM模态的原始荧光通过；

SIM超分辨图像采集模块，其用于采集所述SIM模态的原始荧光图像；

ODT图像采集模块，其用于采集ODT模态的原始相位图像；

样本三维折射率分布计算模块，其用于利用衍射层析成像的重建算法，对所述原始相位图像进行处理，重建得到无标记的所述样本的三维折射率分布；

自适应图像校正模块，其用于利用如权利要求1或5或9所述的超分辨率显微镜图像的自适应校正方法对SIM模态的光学传递函数和/或畸变照明模式进行自适应校正；

2D/3D-SIM超分辨图像重建模块，其用于根据所述自适应图像校正模块校正后的光学传递函数和/或畸变照明模式，将所述原始荧光图像与所述光学传递函数进行图像重建，获得自适应校正后的SIM超分辨图像；

双模态图像融合模块，其用于将自适应校正后的SIM超分辨图像与所述三维折射率分布按照空间位置关系融合，同时对所述样本进行三维高分辨动态成像以及深层的特异性二维或三维超分辨动态成像。

Images