CN113670878A - 基于空频域混合式重建的超分辨结构光照明显微成像方法 - Google Patents

Abstract

本发明公开了一种基于空频域混合式重建的超分辨结构光照明显微成像方法，包括：1)产生条纹状照明光场；2)利用条纹状照明光场分别在不同的条纹方向以及不同的相移步数的情况下照明并激发待测样品产生荧光信号；3)采集荧光信号，获得由不同的条纹状照明光场激发的原始荧光图像；4)若原始荧光图像中的不包括离焦背景，则利用空频域混合式重建算法处理不包括离焦背景的原始荧光图像，获得超分辨图像；若原始荧光图像中包括离焦背景，则利用空频域混合式重建算法处理包括离焦背景的原始荧光图像，获得具有层析效果的超分辨图像。本发明将重建过程所需的计算量减少二倍以上，可以将重建速度提升至现有超分辨重建算法的80倍以上。

Description

基于空频域混合式重建的超分辨结构光照明显微成像方法

技术领域

本发明属于光学技术领域，涉及一种光照明显微成像方法，尤其涉及一种可广泛应用于生物学、医学、微电子学及材料科学等领域进行研究的基于空频域混合式重建的超分辨结构光照明显微成像方法。

背景技术

传统光学显微镜的空间分辨率受限于光的衍射极限，仅能达到半个光波长量级，极大地限制了光学显微镜的应用范围。如何实现更高空间分辨率的成像一直是光学显微领域的重要研究课题之一。克服衍射极限的本质在于使***能够区分衍射极限区域内的荧光分子，一般可通过两类方法实现。第一类方法通过在不同时间点随机激活并定位衍射极限区域内的单个荧光分子来达到区分不同荧光分子的目的，包括光激活定位显微(Photoactivated Localization Microscopy，PALM)和随机光学重建显微(StochasticOptical Reconstruction Microscopy，STORM)，二者统称为单分子定位显微(SingleMolecule Localization Microscopy，SMLM)。第二类则是利用特殊的照明光场对衍射受限的区域内的荧光分子的发射信号进行调制，从而对这些分子进行区分，包括受激发射损耗显微(Stimulated Emission Depletion，STED)以及超分辨结构光照明显微(Super-resolution Structured Illumination Microscopy，SR-SIM)。目前超分辨荧光显微成像技术的最高分辨率已接近电子显微镜的分辨水平，为现代生物医学提供强有力的工具，同时将相关研究推向新的深度。在众多超分辨成像方法中，结构光照明显微***SIM具有最高的成像速率和最低的激发功率密度(～1W/cm²)，故可以进行较长时间的动态超分辨观测。另外，线性SIM与传统的荧光分子、荧光染料兼容，无需特殊的光开关染料或蛋白，大大扩展了超分辨成像的应用范围。这些优势使得SIM在细胞器、生物大分子及其组装体的动态行为观测中备受青睐。

在SR-SIM的成像流程中，超分辨重建速度快慢决定了成像速度和用户体验。迄今为止，大多数SR-SIM的重建算法都是建立在Heintzmann和Gustafsson两人所构建的频率域重建方法基础上的。该方法首先将采集到的原始图像全部变换到频域，并通过一组线性方程求解得到样品的零阶分量(低频信息)和正负一阶分量(高频信息)。然后，作为去卷积过程的准备步骤，每个分量分别与光学传递函数的共轭相乘，并移动到它们的真实位置。最后，通过将这些分量叠加起来，并将它们的和除以扩展的光学传递函数的平方加上一个小常数，将频谱反变换回实空间得到超分辨图像，并完成去卷积运算(通常可以采用维纳去卷积、Richardson-Lucy去卷积、Total Variation去卷积、Hessian去卷积等)。此外，对于较厚的生物样品，为了抑制背景荧光以及周期性的蜂窝伪影，一般将频谱分量与经验衰减函数相乘，以获得具有光切片能力的超分辨率图像。具体流程如图2所示。上述重建方式在提高空间分辨率和切片能力方面非常有效，因此获得了广泛应用，包括商业的SR-SIM设备中以及诸如fair-SIM，Open-SIM和SIMToolbox这样的开源工具包中。然而，这种主流的SIM重建算法基于频率域重建，涉及大量的复杂运算，因此重建过程十分耗时，不利于进行实时的超分辨成像。

与上述的频率域重建方法不同，Dan等人提出在实空间而不是傅里叶空间进行重构，从而大大简化了重构工作流程(以下称为空间域重构，SDR，专利号：ZL201911238624.6)。这种方式将传统重建协议中的大部分主要步骤(包括傅里叶变换、谱分离、谱移、谱拼接、傅里叶反变换等)都简化为实空间中简单的乘法和求和运算。从而大大缩短了重建的执行时间。但SDR的重构结果与上述频率域重建方法的重构结果有本质上的不同，它本质上相当于一个无去卷积的重构协议，将频谱分量O(k)H(k)，O(k)H(k+k₀)，将O(k)H(k-k₀)直接叠加，没有进行OTF补偿就将叠加的频谱转换回实空间，得到一幅没有去卷积的中间超分辨图像。在最后将这幅中间图像视为一幅以缩小的PSF拍摄的新图像进行常规维纳去卷积。该工作流程实现了7倍的重建速度提升，存在问题：1)由于SDR重建方式缺少OTF补偿步骤，因此它的空间分辨率低于频率域重建方法，如图4(b)。2)SDR重建方式没有考虑到离焦背景，因此仅适用于微米量级厚度的薄样品的二维超分辨成像，而无法对较厚样品进行成像。

发明内容

为了解决背景技术中存在的上述技术问题，本发明提供了一种具有更加简洁的重建步骤、可在不牺牲任何图像质量的情况下将重建过程所需的计算量减少二倍以上、具有更高的并行性、重建速度快以及可妥善解决三维成像的基于空频域混合式重建的超分辨结构光照明显微成像方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于空频域混合式重建的超分辨结构光照明显微成像方法，其特征在于：所述基于空频域混合式重建的超分辨结构光照明显微成像方法包括以下步骤：

1)产生条纹状照明光场；

2)利用步骤1)得到的条纹状照明光场分别在不同的条纹方向以及不同的相移步数的情况下照明并激发待测样品产生荧光信号；

3)采集荧光信号，获得由不同的条纹状照明光场激发的原始荧光图像；

4)若原始荧光图像中的不包括离焦背景，则执行步骤5)；若原始荧光图像中包括离焦背景，则执行步骤6)；

5)利用空频域混合式重建算法处理不包括离焦背景的原始荧光图像，获得超分辨图像；

6)利用空频域混合式重建算法处理包括离焦背景的原始荧光图像，获得具有层析效果的超分辨图像。

上述步骤1)中条纹状照明光场的强度分布表示为公式(1)：

其中：

r为二维平面的坐标；

d为不同的条纹方向，d＝1，2，3；

i为不同的相移步数，i＝1，2，3；

I_d为条纹状照明光场的平均光强；

m_d为条纹状照明光场的调制度；

k_d为条纹的波矢量；

为当前条纹状照明光场对应的相位。

上述步骤2)的具体实现方式是：

2.1)设定条纹状照明光场的初始相位

2.2)控制条纹状照明光场在待测样品平面内旋转及移动，旋转方向是0°、120°以及240°，每个方向均为三步相移，每一步的移动量为

共产生3×3个不同的条纹状照明光场；

2.3)利用步骤2.2)得到的不同的条纹状照明光场进行照明并激发待测样品产生荧光信号。

上述步骤3)的具体实现方式是：面阵数字相机分别采集由步骤2)产生的荧光信号，获得由不同的条纹状照明光场激发的原始荧光图像D_d，i(r)，其中：r为二维平面的坐标；d是不同的条纹方向，d＝1，2，3；i指示不同的相移步数，i＝1，2，3。

上述步骤5)的具体实现方式是：

5.1)计算每幅原始荧光图像对应的权重图像w_d,i(r)：

根据每个条纹状照明光场的调制度m_d、波矢量k_d以及各条纹状照明光场的相位

计算出每幅原始荧光图像对应的权重图像w_d,i(r)；

5.2)对原始荧光图像进行滤波：

设光学***的光学传递函数为H(k)；

对原始荧光图像分别以光学***的光学传递函数的共轭H^*(k)为滤波器进行低通滤波，得到滤波图像；

5.3)点乘：

将滤波图像分别与权重图像w_d,i(r)相点乘，并将所有相乘的结果叠加，得到未去卷积的超分辨图像I_{SR_woDeconv}(r)；

5.4)去卷积：

利用未去卷积的超分辨图像I_{SR_woDeconv}(r)和扩展光学传递函数的平方

完成去卷积运算，获得最终的超分辨图像；

所述扩展光学传递函数的平方

是将|H(k)|²按照不同的波矢量k_d进行平移、叠加得到的。

上述步骤5.1)中原始荧光图像对应的权重图像w_d,i(r)的表达式是：

其中：

m_d为条纹状照明光场的调制度；

k_d为波矢量；

为条纹状照明光场的初始相位；

为相移量；

所述步骤5.2)中光学***的光学传递函数为H(k)的表达式是：

其中：

k_c＝2NA/λ；

所述步骤5.2)中进行低通滤波的具体实现方式是：以光学***的光学传递函数H(k)的共轭分布H*(k)为滤波器，对步骤3)所拍摄的原始荧光图像分别低通滤波，得到滤波图像Df_d，_i(r)；

Df_d，i(r)＝ifft(fft(D_d，i)·H^*(k))；

所述步骤5.3)中未去卷积的超分辨图像I_{SR_woDeconv}(r)的表达式是：

其中：w_d,i(r)为原始荧光图像对应的权重图像；

所述步骤5.3)中的去卷积运算是指维纳去卷积、Richardson-Lucy去卷积、TotalVariation去卷积或Hessian去卷积；

当所述去卷积运算为维纳去卷积时，所述维纳去卷积的表达式为：

其中：

A(k)为切趾函数；

k代表频谱空间的二维坐标；

α为维纳去卷积参数；

所述切趾函数的表达式为：

其中，k_d为扩展频谱的最大范围对应的频率；

所述步骤5.4)中扩展光学传递函数的平方

的表达式是：

上述步骤6)的具体实现方式是：

6.1)计算每幅原始荧光图像对应的权重图像w_d,i(r)：

根据每个条纹状照明光场的调制度m_d、波矢量k_d以及各条纹状照明光场的相位

计算出每幅原始荧光图像对应的权重图像w_d,i(r)；

6.2)对原始荧光图像进行滤波：

设光学***的光学传递函数为H(k)，并引入衰减函数[1-a(k)]，其中a(k)是高斯分布；对步骤3)所拍摄的原始荧光图像分别以衰减的光学传递函数的共轭H*(k)[1-a(k)]为滤波器进行带通滤波，得到滤波图像；

6.3)点乘：

将滤波图像分别与权重图像w_d,i(r)相点乘，并将所有相乘的结果叠加，得到未去卷积的超分辨图像I_{SR_woDeconv_att}(r)；

6.4)去卷积：

利用未去卷积的超分辨图像I_{SR_woDeconv_att}(r)和扩展的衰减的光学传递函数的平方

完成去卷积运算，获得最终的具有层析效果的超分辨图像；

所述扩展的衰减的光学传递函数的平方

是将|H(k)|²[1-a(k)]按照不同的波矢量k_d进行平移、叠加得到的。

上述步骤6.1)中原始荧光图像对应的权重图像w_d,i(r)的表达式是：

其中：

m_d为条纹状照明光场的调制度；

k_d为波矢量；

为条纹状照明光场的初始相位；

为相移量；

所述步骤6.2)中光学***的光学传递函数为H(k)的表达式是：

其中：

k_c＝2NA/λ；

所述步骤6.2)中的衰减函数的表达式是：

其中：

a_att为衰减幅度参数，取值范围为从0～1；

k_σ为可调的经验参数；

所述步骤6.2)中进行带通滤波的具体实现方式是：以光学***的衰减的光学传递函数H(k)[1-a(k)]的共轭分布H*(k)[1-a(k)]为滤波器；对步骤3)所拍摄的原始荧光图像分别带通滤波，得到滤波图像Df_d，_i(r)；

Df_d，i(r)＝ifft(fft(D_d，i)·H^*(k)[1-a(k)])；

所述步骤6.3)中未去卷积的超分辨图像I_{SR_woDeconv_att}(r)的表达式是：

所述步骤6.4)中的去卷积运算是指维纳去卷积、Richardson-Lucy去卷积、TotalVariation去卷积或Hessian去卷积；当所述去卷积运算为维纳去卷积时，所述维纳去卷积的表达式为：

其中：

A(k)为切趾函数；

k代表频谱空间的二维坐标；

α为维纳去卷积参数；

所述切趾函数的表达式为

所述k_d为扩展频谱的最大范围对应的频率；

所述步骤6.4)中扩展的衰减的光学传递函数的平方的表达式是：

一种用于实现如前所述的基于空频域混合式重建的超分辨结构光照明显微成像方法的成像***，其特征在于：所述成像***包括存储器，所述存储器中储存有如前所述的基于空频域混合式重建的超分辨结构光照明显微成像方法，所述成像***在运行时，执行存储器中的成像方法。

一种计算机可读存储介质，其特征在于：所述计算机可读存储介质储存有能够运行如前所述的基于空频域混合式重建的超分辨结构光照明显微成像方法的计算机程序。

与现有技术相比，本发明的优点为：

为了从根本上解决传统重建方法重建速度慢，无法三维成像的问题，本发明提出了一种基于空频域混合式重建的超分辨结构光照明显微成像方法(流程如图3所示)，该方法所得的重建结果与经典的频率域重建算法完全等价。与经典的超分辨重建算法相比，空频域混合式重建算法具有更加简洁的重建步骤，可以在不牺牲任何图像质量的情况下，将重建过程所需的计算量减少二倍以上，并且具有更高的并行性。另外，在GPU加速的加持下，该算法可以将重建速度提升至经典超分辨重建算法的80倍以上。这种简洁、快速的重建方法为实现实时的超分辨显微重建与结果显示提供了一种重要手段。

与经典的频率域重建算法相比，空频域混合式重建算法只包括滤波、点乘、求和以及最后的去卷积操作，因此可以显著加快超分辨重建速度。为了证明空频域混合式重建算法的速度优势，测试了Matlab 2020a环境下不同输入图像大小下的经典频率域重建算法和空频域混合式重建算法的执行时间。其中，每个结果用2000次重复检验的平均值和标准差表示。考虑到光场参数可以在连续数百个超分辨帧中重复使用，两种算法的参数估计时间被排除在外。另外，一些与样品分布无关的静态计算也不计入耗时。可以看出，对于大小为256×256～1024×1024的输入图像，本文提出的空频域混合式重建算法在CPU下执行重构速度比经典的频率域重建算法提高了2～3倍。

另外，空间域处理带来的重构速度的提升与GPU加速等并行计算工具完美兼容。而且，由于空间域处理过程包含了比经典的频率域重建算法更多的相似计算，GPU运行环境下二者的运算速度差距进一步扩大。为了证实这一点，在相同的图形设备上(Intel Core [email protected]，DRR4 3200MHz 16GB，NVIDIA GeForce GTX 1660 6GB)进行测试了两种算法在GPU环境下的运行速度。结果表明，经典的频率域重建算法和空频域混合式重建算法的增长速率分别为20和32。也就是说，GPU加速进一步扩大了空频域混合式重建算法的重建速度优势。最终，GPU辅助的空频域混合式重建算法能够将重建速度提升至传统频率域重建算法的80倍以上。由于重建速度快，空频域混合式重建算法能够实现所有常用图像尺寸下的实时重建。相比之下，经典的频率域重建算法在相似的情况下无法满足大多数图像尺寸下的最大采集速度。

附图说明

图1为基于空间光调制器SLM调制和激光照明的干涉式条纹SIM超分辨显微***光路图；

图中附图标记为：1-激光照明光源、2-偏振光分束器，3-半波片，4-空间光调制器SLM，5-四分之一波片，6-第一透镜，8-第二透镜，9-第三透镜，7-空间滤波器，10-二向色镜，11-反射镜，12-物镜，13-样品及载物台，14-发射滤光片，15-筒透镜，16-面阵数字相机。

图2为经典的频率域重建算法流程图；

图3为本发明空频域混合式重建算法流程图；

图4为经典的频率域重建算法和空频域混合式重建算法重构的线粒体超分辨图像效果对比；

图5为空频域混合式重建算法重构的三维分布的微管蛋白的超分辨成像结果图。

具体实施方式

以下结合附图及具体实施例对本发明作进一步的描述。

本发明可直接在主流SIM超分辨显微***上实施，包括但不限于基于SLM调制和激光照明的干涉式条纹SIM超分辨显微***、基于DMD调制和LED照明的投影式条纹SIM超分辨显微***、基于格点衍射光栅和LED照明的投影式条纹SIM超分辨显微***等，原则上无需在硬件上做任何更改。下面将以自行搭建的基于空间光调制器调制和激光照明的干涉式条纹照明SIM超分辨显微***为例，对该方法的具体实施方式进行详细说明。

***光路示意图如图1所示：包括光束扩束准直后的激光照明光源1、设置在扩束准直激光束后的分束器2、依次设置在偏振光分束器2透射光路上的半波片3和空间光调制器4、设置在偏振光分束器2反射光路上的四分之一波片5以及第一透镜6、设置在第一透镜6后端的空间滤波器7、设置在空间滤波器7后由第二透镜8和第三透镜9组成的望远***、设置在望远***后的二向色镜10、设置在二向色镜10透射光路上的反射镜11、显微物镜12和样品及载物台13、设置在二向色镜10反射光路上的发射光滤光片14和筒透镜15、设置在筒镜15后方的科学级CMOS相机16。空间光调制器6为反射式铁电液晶空间光调制器。与主流结构照明显微方法一样，条纹的旋转和相移通过切换空间光调制器上的图案来实现。不同照明条纹下的原始图像被面阵相机采集并传输至PC机。***涉及的硬件同步控制、图像采集和处理软件均为自行设计开发。

实施例1

本实施例基于空间光调制器SLM调制和激光照明的干涉式条纹照明SIM超分辨显微***对COS7细胞中线粒体进行了成像，由于COS7细胞中线粒体的分布较为分散，局部区域可以按照无离焦背景进行处理，具体由以下步骤实现：

步骤1、使用图1所示的基于空间光调制器SLM调制和激光照明的干涉式条纹SIM超分辨显微***，以准直扩束后的488nm波长激光入射偏振分束器2，透过半波片3、垂直照射空间光调制器SLM4并原路返回，在偏振分束器2的反射光路产生垂直线偏振的衍射光束。垂直偏振的衍射光束被四分之一波片5转换为圆偏振光并被透镜6汇聚，汇聚的多级衍射的零级和其他高阶衍射光束被定制的空间滤波器7(如图1所示)阻挡，只有±1级衍射光束能够透过，包含两束光。随后，这两束光被望远***中继到物镜后瞳，并进入显微物镜12，两束倾斜的圆偏振光在焦面处相互干涉并形成条纹状照明光场，用于照明样品。

该条纹状照明光场的强度可以表示为余弦函数的形式，满足公式(1)的分布：

式中r为二维平面的坐标，下标d(＝1，2，3)指示不同的条纹方向，下标i(＝1，2，3)指示不同的相移步数，I_d表示条纹状照明光场的平均光强，m_d为条纹状照明光场的调制度，k_d代表条纹的波矢量，

为当前条纹光场对应的相位；

步骤2、将COS7细胞样品置于载物台并调整至物镜焦平面，利用条纹状照明光场进行照明，激发被标记的线粒体发出荧光；荧光被物镜收集后，透过发射光滤光片14、筒透镜15，最后成像于面阵数字相机16的传感器上。

假定光场的初始相位为

控制空间光调制器(SLM)通过加载、刷新来旋转、平移条纹状照明图案使得上述条纹状照明光场在样品平面内旋转、移动，一共三个方向(0°，120°，240°)，每个方向均为三步相移。通常采用等间隔相移，每一步的移动量为

每个方向上三幅照明图案的相移量依次设置为0、2π/3、4π/3，依次用于照明并激发样品产生荧光信号。

步骤3、面阵数字相机16分别采集对应的9幅原始荧光图像，记为D_1，1，D_1，2，D_1，3，D_2，1，D_2，2，D_2，3，D_3，1，D_3，2，D_3，3。假定物空间和像空间之间的放大比例为1，那么相机拍摄的原始荧光图像可以分别记为：D₁₁(r)，D₁₂(r)，D₁₃(r)、D₂₁(r)，D₂₂(r)，D₂₃(r)、D₃₁(r)，

D₃₂(r)，D₃₃(r)；这些原始荧光图像被存储在计算机内存、硬盘或软盘中。

步骤4、由于COS7细胞中线粒体的分布较为分散，可按照不包括离焦背景的原始荧光图像进行处理，处理结果如图4所示。具体处理方法如下：

首先，根据每个条纹方向上结构光场的调制度m_d、波矢量k_d、初始相位

以及相移量

计算出每幅原始荧光图像对应的权重图像w_d,i(r)，权重图像通过下式计算：

假定光学***的光学传递函数为H(k)，H(k)一般为旋转对称分布，可以通过测量光学***的点扩散函数并进行傅里叶变换得到。H(k)理论上具有多种表示形式，典型地：

其中

k_c＝2NA/λ。将|H(k)|²按照不同条纹方向对应的波矢量±k_d进行平移、叠加，可得到扩展光学传递函数的平方

然后，以光学***的光学传递函数H(k)的共轭分布H*(k)为滤波器；对步骤2)所拍摄的9幅原始荧光图像分别低通滤波，得到滤波图像Df_d，_i(r)；

Df_d，i(r)＝ifft(fft(D_d，i)·H^*(k)) (5)

将9幅滤波图像分别与上述的权重图像w_d,i(r)相点乘，并将所有相乘的结果叠加，得到未去卷积的超分辨图像I_{SR_woDeconv}(r)；

最后，利用未去卷积的超分辨图像I_{SR_woDeconv}(r)和扩展光学传递函数的平方

完成去卷积运算(通常采用维纳去卷积、Richardson-Lucy去卷积、TotalVariation去卷积、Hessian去卷积等)，获得最终的超分辨图像。

以维纳去卷积为例：

其中，A(k)为切趾函数，k代表频谱空间的二维坐标，α为维纳去卷积参数，假定k_d为扩展频谱的最大范围对应的频率，切趾函数的表达式为

图4为基于空间光调制器SLM调制和激光照明的干涉式条纹照明SIM超分辨显微***获得的COS7细胞内线粒体的宽场照明图像和条纹SIM超分辨图像对比图。实验使用100×显微物镜，数值孔径NA为1.49。图4(a)是普通宽场荧光图像，图4(b)是使用Dan等人提出的空间域重建方法获得的超分辨图像，图4(c)是使用本发明提出的空频域混合式重建方法获得的超分辨图像，图4(d)是使用经典频率域重建方法获得的超分辨图像。通过对比可以看出，本发明的方法的所得图像的分辨率明显高于普通的宽场图像以及空间域重建算法，且效果与传统经典频率域重建方法完全相同。与此同时，在GPU的加持下，基于空频域混合重建的方法重建速度较原始方法提升了80倍以上(见表1)。

表1不同原始图像尺寸下两种重建算法的执行时间对比

实施例2

本实施例是利用同样一套***对COS7细胞中的微管蛋白进行了成像，微管蛋白具有连续三维结构，因此需要进行逐层扫描来采集数据，然后按照有离焦背景的原始荧光图像进行处理。具体由以下步骤实现：

步骤1、使用图1所示的基于空间光调制器SLM调制和激光照明的干涉式条纹SIM超分辨显微***，以准直扩束后的488nm波长激光入射偏振分束器2，透过半波片、垂直照射空间光调制器SLM4并原路返回，在偏振分束器的反射光路产生垂直线偏振的衍射光束。垂直偏振的光束被四分之一波片5转换为圆偏振光并被透镜6汇聚，汇聚的多级衍射的零级和其他高阶衍射光束被定制的空间滤波器7(如图1所示)阻挡，只有±1级衍射光束能够透过，包含两束光。随后，这两束光被望远***中继到物镜后瞳，并进入显微物镜12，两束倾斜的圆偏振光在焦面处相互干涉并形成条纹状照明光场，用于照明样品。

该条纹状照明光场的强度可以表示为余弦函数的形式，满足公式(1)的分布：

式中r为二维平面的坐标，下标d(＝1，2，3)指示不同的条纹方向，下标i(＝1，2，3)指示不同的相移步数，I_d表示条纹状照明光场的平均光强，m_d为条纹状照明光场的调制度，k_d代表条纹的波矢量，

为当前条纹光场对应的相位；

步骤2、将COS7细胞样品置于载物台并调整至物镜焦平面，利用条纹状照明光场进行照明，激发被标记的微管发出荧光；荧光被物镜收集后，透过发射光滤光片14、筒透镜15，最后成像于面阵数字相机16的传感器上。对于有离焦背景的原始荧光图像，拍摄过程中需要利用电动平移台对样品进行扫描，每层样品分别进行成像，每一层的成像过程和图像重建过程完全相同。

假定条纹状照明光场的初始相位为

控制空间光调制器(SLM)通过加载、刷新来旋转、平移条纹状照明图案使得上述条纹状照明光场在样品平面内旋转、移动，一共三个方向(0°，120°，240°)，每个方向均为三步相移。通常采用等间隔相移，每一步的移动量为

每个方向上三幅照明图案的相移量依次设置为0、2π/3、4π/3，依次用于照明并激发样品产生荧光信号。

步骤3、以其中任意一层为例，面阵数字相机分别采集对应的9幅原始荧光图像，记为D_1，1，D_1，2，D_1，3，D_2，1，D_2，2，D_2，3，D_3，1，D_3，2，D_3，3。假定物空间和像空间之间的放大比例为1，那么相机拍摄的原始荧光图像可以分别记为：D₁₁(r)，D₁₂(r)，D₁₃(r)、D₂₁(r)，D₂₂(r)，D₂₃(r)、

D₃₁(r)，D₃₂(r)，D₃₃(r)；这些原始荧光图像被存储在计算机内存、硬盘或软盘中。该层数据采集完毕后，移动平移台，重复上述采集操作，直至遍历覆盖整个感兴趣区域。本次采集过程中，扫描步长为200nm，一共采集了35层，可见该微管分布在7μm深的范围。

步骤4、由于COS7细胞中的微管蛋白具有连续三维结构，因此可按照厚样品逐层进行处理，每一层的处理方式完全相同。

首先，根据每个条纹方向上结构光场的调制度m_d、波矢量k_d、初始相位

以及相移量

计算出每幅原始荧光图像对应的权重图像w_d,i(r)，权重图像通过下式计算：

假定光学***的光学传递函数为H(k)，H(k)一般为旋转对称分布，可以通过测量光学***的点扩散函数并进行傅里叶变换得到。H(k)理论上具有多种表示形式，典型地表示是：

其中

k_c＝2NA/λ。引入衰减函数

其中a_att为衰减幅度参数，取值范围为从0～1(通常取0.99)，而k_σ为可调的经验参数。将|H(k)|²[1-a(k)]按照不同条纹方向对应的波矢量±k_d进行平移、叠加，可得到衰减的扩展光学传递函数的平方

然后，以衰减的光学传递函数H(k)[1-a(k)]的共轭分布H*(k)[1-a(k)]为滤波器；对步骤2)所拍摄的9幅荧光图像分别带通滤波，得到滤波图像Df_d，i(r)；

Df_d，i(r)＝ifft(fft(D_d，i)·H^*(k)[1-a(k)]) (13)

将9幅滤波图像分别与上述的权重图像w_d,i(r)相点乘，并将所有相乘的结果叠加，得到未去卷积的超分辨图像I_{SR_woDeconv_att}(r)；

最后，利用未去卷积的超分辨图像I_{SR_woDeconv_att}(r)和衰减的扩展光学传递函数平方

完成去卷积运算(通常可以采用维纳去卷积、Richardson-Lucy去卷积、Total Variation去卷积、Hessian去卷积等)，获得最终的超分辨图像。以维纳去卷积为例：

其中，A(k)为切趾函数，k代表频谱空间的二维坐标，α为维纳去卷积参数，假定k_d为扩展频谱的最大范围对应的频率，切趾函数的表达式为：

图5为基于空间光调制器SLM调制和激光照明的干涉式条纹照明SIM超分辨显微***获得的COS7细胞内微管蛋白的图像。实验使用100×显微物镜，数值孔径NA为1.49。图5(a)是利用本发明提出的空频域重建算法获得的多层图像的三维渲染图，图5(b)-5(d)是多层图像中某一层的宽场图像或超分辨图像，其中图5(b)为宽场图；图5(c)是使用本发明提出的空频域混合式重建方法获得的超分辨图像，图5(d)是使用经典频率域重建方法获得的超分辨图像。不难发现，本发明的方法的所得厚样品的超分辨图像的分辨率明显高于普通的宽场图像，且效果与传统经典频率域重建方法完全相同。与此同时，在GPU的加持下，基于空频域混合重建的方法重建速度较原始方法提升了80倍以上(见表1)。

本发明还提供一种利用条纹状照明光场进行照明的超分辨成像***，包括处理器及存储器，存储器中存储计算机程序，计算机程序在处理器中运行时，执行上述步骤4的超分辨图像重构处理方法。

本申请还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述超分辨图像重构处理方法。在一些可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述方法部分中描述的根据本发明各种示例性实施方式的步骤。

用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

Claims (10)

1.一种基于空频域混合式重建的超分辨结构光照明显微成像方法，其特征在于：所述基于空频域混合式重建的超分辨结构光照明显微成像方法包括以下步骤：

1)产生条纹状照明光场；

2)利用步骤1)得到的条纹状照明光场分别在不同的条纹方向以及不同的相移步数的情况下照明并激发待测样品产生荧光信号；

3)采集荧光信号，获得由不同的条纹状照明光场激发的原始荧光图像；

4)若原始荧光图像中的不包括离焦背景，则执行步骤5)；若原始荧光图像中包括离焦背景，则执行步骤6)；

5)利用空频域混合式重建算法处理不包括离焦背景的原始荧光图像，获得超分辨图像；

6)利用空频域混合式重建算法处理包括离焦背景的原始荧光图像，获得具有层析效果的超分辨图像。

2.根据权利要求1所述的基于空频域混合式重建的超分辨结构光照明显微成像方法，其特征在于：所述步骤1)中条纹状照明光场的强度分布表示为公式(1)：

其中：

r为二维平面的坐标；

d为不同的条纹方向，d＝1，2，3；

i为不同的相移步数，i＝1，2，3；

I_d为条纹状照明光场的平均光强；

m_d为条纹状照明光场的调制度；

k_d为条纹的波矢量；

为当前条纹状照明光场对应的相位。

3.根据权利要求2所述的基于空频域混合式重建的超分辨结构光照明显微成像方法，其特征在于：所述步骤2)的具体实现方式是：

2.1)设定条纹状照明光场的初始相位

2.2)控制条纹状照明光场在待测样品平面内旋转及移动，旋转方向是0°、120°以及240°，每个方向均为三步相移，每一步的移动量为

共产生3×3个不同的条纹状照明光场；

2.3)利用步骤2.2)得到的不同的条纹状照明光场进行照明并激发待测样品产生荧光信号。

4.根据权利要求3所述的基于空频域混合式重建的超分辨结构光照明显微成像方法，其特征在于：所述步骤3)的具体实现方式是：面阵数字相机分别采集由步骤2)产生的荧光信号，获得由不同的条纹状照明光场激发的原始荧光图像D_d，i(r)，其中：r为二维平面的坐标；d是不同的条纹方向，d＝1，2，3；i指示不同的相移步数，i＝1，2，3。

5.根据权利要求4所述的基于空频域混合式重建的超分辨结构光照明显微成像方法，其特征在于：所述步骤5)的具体实现方式是：

5.1)计算每幅原始荧光图像对应的权重图像w_d,i(r)：

根据每个条纹状照明光场的调制度m_d、波矢量k_d以及各条纹状照明光场的相位

计算出每幅原始荧光图像对应的权重图像w_d,i(r)；

5.2)对原始荧光图像进行滤波：

设光学***的光学传递函数为H(k)；

对原始荧光图像分别以光学***的光学传递函数的共轭H^*(k)为滤波器进行低通滤波，得到滤波图像；

5.3)点乘：

将滤波图像分别与权重图像w_d,i(r)相点乘，并将所有相乘的结果叠加，得到未去卷积的超分辨图像I_{SR_woDeconv}(r)；

5.4)去卷积：

利用未去卷积的超分辨图像I_{SR_woDeconv}(r)和扩展光学传递函数的平方

完成去卷积运算，获得最终的超分辨图像；

所述扩展光学传递函数的平方

是将|H(k)|²按照不同的波矢量k_d进行平移、叠加得到的。

6.根据权利要求5所述的基于空频域混合式重建的超分辨结构光照明显微成像方法，其特征在于：所述步骤5.1)中原始荧光图像对应的权重图像w_d,i(r)的表达式是：

其中：

m_d为条纹状照明光场的调制度；

k_d为波矢量；

为条纹状照明光场的初始相位；

为相移量；

所述步骤5.2)中光学***的光学传递函数为H(k)的表达式是：

其中：

k_c＝2NA/λ；

所述步骤5.2)中进行低通滤波的具体实现方式是：以光学***的光学传递函数H(k)的共轭分布H*(k)为滤波器，对步骤3)所拍摄的原始荧光图像分别低通滤波，得到滤波图像Df_d，_i(r)；

Df_d，_i(r)＝ifft(fft(D_d，i)·H^*(k))；

所述步骤5.3)中未去卷积的超分辨图像I_{SR_woDeconv}(r)的表达式是：

其中：w_d,i(r)为原始荧光图像对应的权重图像；

所述步骤5.3)中的去卷积运算是指维纳去卷积、Richardson-Lucy去卷积、TotalVariation去卷积或Hessian去卷积；

当所述去卷积运算为维纳去卷积时，所述维纳去卷积的表达式为：

其中：

A(k)为切趾函数；

k代表频谱空间的二维坐标；

α为维纳去卷积参数；

所述切趾函数的表达式为

其中，k_d为扩展频谱的最大范围对应的频率；

所述步骤5.4)中扩展光学传递函数的平方

的表达式是：

7.根据权利要求4所述的基于空频域混合式重建的超分辨结构光照明显微成像方法，其特征在于：所述步骤6)的具体实现方式是：

6.1)计算每幅原始荧光图像对应的权重图像w_d,i(r)：

根据每个条纹状照明光场的调制度m_d、波矢量k_d以及各条纹状照明光场的相位

计算出每幅原始荧光图像对应的权重图像w_d,i(r)；

6.2)对原始荧光图像进行滤波：

设光学***的光学传递函数为H(k)，并引入衰减函数[1-a(k)]，其中a(k)是高斯分布；对步骤3)所拍摄的原始荧光图像分别以衰减的光学传递函数的共轭H*(k)[1-a(k)]为滤波器进行带通滤波，得到滤波图像；

6.3)点乘：

将滤波图像分别与权重图像w_d,i(r)相点乘，并将所有相乘的结果叠加，得到未去卷积的超分辨图像I_{SR_woDeconv_att}(r)；

6.4)去卷积：

利用未去卷积的超分辨图像I_{SR_woDeconv_att}(r)和扩展的衰减的光学传递函数的平方

完成去卷积运算，获得最终的具有层析效果的超分辨图像；

所述扩展的衰减的光学传递函数的平方

是将|H(k)|²[1-a(k)]按照不同的波矢量k_d进行平移、叠加得到的。

8.根据权利要求7所述的基于空频域混合式重建的超分辨结构光照明显微成像方法，其特征在于：所述步骤6.1)中原始荧光图像对应的权重图像w_d,i(r)的表达式是：

其中：

m_d为条纹状照明光场的调制度；

k_d为波矢量；

为条纹状照明光场的初始相位；

为相移量；

所述步骤6.2)中光学***的光学传递函数为H(k)的表达式是：

其中：

k_c＝2NA/λ；

所述步骤6.2)中的衰减函数的表达式是

其中：

a_att为衰减幅度参数，取值范围为从0～1；

k_σ为可调的经验参数；

所述步骤6.2)中进行带通滤波的具体实现方式是：以光学***的衰减的光学传递函数H(k)[1-a(k)]的共轭分布H*(k)[1-a(k)]为滤波器；对步骤3)所拍摄的原始荧光图像分别带通滤波，得到滤波图像Df_d，i(r)；

Df_d，_i(r)＝ifft(fft(D_d，i)·H^*(k)[1-a(k)])；

所述步骤6.3)中未去卷积的超分辨图像I_{SR_woDeconv_att}(r)的表达式是：

所述步骤6.4)中的去卷积运算是指维纳去卷积、Richardson-Lucy去卷积、TotalVariation去卷积或Hessian去卷积；当所述去卷积运算为维纳去卷积时，所述维纳去卷积的表达式为：

其中：

A(k)为切趾函数；

k代表频谱空间的二维坐标；

α为维纳去卷积参数；

所述切趾函数的表达式为

所述k_d为扩展频谱的最大范围对应的频率；

所述步骤6.4)中扩展的衰减的光学传递函数的平方的表达式是：

9.一种用于实现如权利要求1-8任一项所述的基于空频域混合式重建的超分辨结构光照明显微成像方法的成像***，其特征在于：所述成像***包括存储器，所述存储器中储存有如权利要求1-8任一项所述的基于空频域混合式重建的超分辨结构光照明显微成像方法，所述成像***在运行时，执行存储器中的成像方法。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质储存有能够运行如权利要求1-8任一项所述的基于空频域混合式重建的超分辨结构光照明显微成像方法的计算机程序。

Images