CN116183568B - 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 - Google Patents
一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 Download PDFInfo
- Publication number
- CN116183568B CN116183568B CN202310020503.4A CN202310020503A CN116183568B CN 116183568 B CN116183568 B CN 116183568B CN 202310020503 A CN202310020503 A CN 202310020503A CN 116183568 B CN116183568 B CN 116183568B
- Authority
- CN
- China
- Prior art keywords
- light
- sample
- illumination
- field
- objective lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003384 imaging method Methods 0.000 title claims abstract description 31
- 230000010287 polarization Effects 0.000 claims abstract description 59
- 238000001228 spectrum Methods 0.000 claims abstract description 38
- 238000006073 displacement reaction Methods 0.000 claims abstract description 7
- 210000001747 pupil Anatomy 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 25
- 239000000919 ceramic Substances 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000010363 phase shift Effects 0.000 claims description 11
- 238000005315 distribution function Methods 0.000 claims description 8
- 239000000835 fiber Substances 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 5
- 101150050759 outI gene Proteins 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 claims 2
- 230000001105 regulatory effect Effects 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 238000010869 super-resolution microscopy Methods 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008832 photodamage Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
Landscapes
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Microscoopes, Condenser (AREA)
Abstract
一种三维结构光照明超分辨显微成像的高保真重构的方法，包括：将一束平行光分为强度相等、偏振方向一致的三束平行光束，在样品上进行干涉形成三维非均匀照明光场，样品受到非均匀照明光场调制后频谱产生频移；由物镜接收样品发出的荧光信号后，经过场镜汇聚到成像像面，用探测器接收该荧光信号，得到一张混有样品高低频信息的低分辨率图像；多次改变照明光场的空间位移和方向，再次拍摄受光场调制的荧光信号，得到一系列混有样品高低频信息的低分辨率图像，作为原始图像。再将原始图像进行后续图像处理，首先进行照明光场的初始相位和空间频率的参数估计，然后再对样品各个频带进行分离，最后将各频谱进行组合重构出样品的高保真超分辨图像。
Description
技术领域
本发明涉及光学超分辨显微成像领域，具体地说，涉及一种三维结构光照明超分辨显微成像的高保真重构的方法和装置。
背景技术
学显微镜具有光损伤小、特异性强、速度快、视场大以及可进行三维成像等优点，是现有显微技术中唯一有可能对活细胞进行三维快速成像的技术。但由于光学衍射极限的存在，常规光学显微成像的横向分辨率一般被限制在半波长量级，轴向分辨率则更低，只能达到横向分辨率的三分之一左右，无法满足细胞内亚百纳米尺度下活细胞器观测的需求。在过去的二三十年间，各种超分辨成像技术相继提出，包括受激辐射损耗显微术(STED)、随机光重构显微术(PALM/STORM)和结构光照明超分辨显微成像技术(SIM)，这些技术的提出为生命科学的发展起到了极大的促进作用。
在众多超分辨显微成像方法中，SIM具有进行活细胞成像的诸多天然优势：例如，相比于STED通过高功率损耗光(约GW/cm2)实现超分辨，SIM对激发光强的要求较低(在10W/cm2量级)，因此具有低光漂白和光损伤的本征优势；也无需像单分子定位显微术(SMLM)那样需获取数以千帧原始图像以重构一幅超分辨图像，SIM仅需9帧(2D-SIM)或15帧(3D-SIM单层)图用于重构一幅超分辨图像，因而具有快速成像的本征优点，特别适用于生物活细胞成像。
但是由于SIM超分辨图像的获得还依赖于后续复杂的图像重构过程。在成像过程中，SIM是通过结构光照明到样品上对样品进行调制，通过莫尔条纹效应，将***原本无法探测的样品高频信息调制到低通带内，进而提高了分辨率。但是由于探测的图像是各个频带的混叠，为了将各个频带分量进行准确分离，需要对照明光场的调制度am，空间频率kxy，以及相位进行准确估计。调制度am的值影响高频分量在整个重构频谱的比值，最终仅影响图像的对比度，因此影响相对较小；空间频率p可以通过频谱分量对比等方法求得，估计的精度可以满足需求；而在求解各个频带分量时，需要知道精确的相位/>值，否则各个频谱在分离时无法完全实现，各个频带将含有其他频带的频谱分量，这些频谱残差在后续进行频移移回自己的位置时将出现错误，进而导致伪像的出现。传统的方法在进行相位估计时通过频谱峰值位置求取或者通过自相关的方式，存在估计误差，特别是在图像含有噪声时，相位估计将出现错误，从而影响最终图像重构的质量。
发明内容
本发明要克服现有技术的不足，提供一种三维结构光照明超分辨显微成像的高保真重构的方法和装置。
本发明针对以上问题，提出一种涉及在图像重构过程中新的相位估计方法，通过构造一个中间函数，相比于传统的相位估计方法，该方法可以精确估计照明光场进行五步移相时对应的初始相位；此外利用该方法还可以消除在计算相位过程中由于噪声的影响导致的相位估计不准确带来的影响。利用本发明提出的精确相位计算方法，可以实现对各个频带分量进行准确分离，消除了因相位估计不准确导致的重构伪像的影响，最终获得样品的高保真重构。
本发明的一种三维结构光照明超分辨显微成像的高保真重构的方法，包括以下步骤：
(1)将一束平行光分为强度相等、偏振方向一致的三束平行光束，汇聚到物镜的入瞳面，再经过物镜后变成三束平行光，三束光在样品上进行干涉形成横向和轴向都包含周期结构的照明光场照明荧光样品，荧光样品收到非均匀照明光场调制后频谱产生频移；由物镜接收荧光样品发出的荧光信号后，经过场镜汇聚到成像像面，用探测器接收该荧光信号，得到一张混有荧光样品高低频信息的低分辨率图像；
(2)多次改变照明光场的空间位移和方向，再次拍摄受条纹强度调制的荧光信号，直至拍摄完一层样品对应图像；然后再改变样品轴向位置，重复拍摄不同照明光场空间位置和方向照明下的样品荧光信号，得到一系列混有荧光样品高低频信息的三维低分辨率图像，作为原始图像；
(3)将步骤(2)获得的原始图像进行后续图像处理，首先进行参数估计，包括照明光场的空间频率p，以及相位其次对荧光样品的各个频带进行分离；最后将各个频谱进行组合重构出样品的高保真超分辨图像。
进一步地，所述步骤(1)中采用的物镜为数值孔径NA大于1.33的油浸型物镜。
进一步地，所述步骤(1)中，三束光中，其中一束汇聚到物镜入瞳中心位置，再经过物镜后垂直入射到样品上，另两束平行光束汇聚到该物镜的入射光瞳边缘处，两聚焦点所连直线经过入瞳圆心，两聚焦点的距离接近入瞳直径以尽量充分利用物镜数值孔径，经过物镜的两束聚焦光出射后以超过临界角的角度入射到荧光样品，三束光最后在样品上干涉形成非均匀照明光场照明样品。
进一步地，所述步骤(2)产生原始图像的步骤如下：
(2.1)每个方向下的照明光场通过改变中心光路的光程，并同时改变边缘光束中其中一路光的光程，使后者光程为前者光程的两倍，使照明光场在横向上每次移动其周期的五分之一，而轴向光场相对于物镜不动，实现照明的五步移相，如图2所示；
(2.2)依次改变两束边缘光会聚在物镜入瞳处两聚焦光点的位置，从而干涉形成横向方向上对应的照明光场，直到在一个π方位角内均匀产生3个方向的照明光场，为横向方向提供二向同性的分辨率提升；
(2.3)每次在改变照明光场的空间位移或方向，以及样品的轴向位置时，荧光样品被调制后发出混频信号被探测器接收，形成一张低分辨率图，共形成15*n(n为样品层数)张原始图像作为后续图像重构的原始图；
进一步地，所述步骤(3)中，后续的图像处理过程包括如下步骤：
(3.1)首先进行参数估计，包括照明光场的空间频率kxy，以及相位作为后续重构过程中恢复一张高质量超分辨图像的前提，具体包括以下子步骤：
a.建立某个方向照明光场五步相移照明时的成像模型：
D(r)＝[S(r)·I(r)]*H(r)+Db(r)， (1)其中，D(r)为3D-SIM拍摄的原始图像，H(r)为***的三维PSF，S(r)为样品的分布函数，为照明光场，kxy是照明光场的横向调制频率，r是空间坐标，/>是照明光场的相位，Db(r)为背景噪声，当照明光场轴向相对于物镜不动，则公式(1)可以改写为以下形式：
b.将上式变换到傅里叶空间，第n个相移时获得拍摄的原始图像对应的傅里叶频谱：
式中，是每个横向分量m对应的OTF，k是傅里叶空间上的坐标。由上式可知，所获得的原始图像的频谱为各个频带的混叠；
c.将五步移相获得的原始图像频谱表示成矩阵形式：
其中，向量和/>分别定义为/>以及而向量/>中的元素/>为并且矩阵M中的元素Mnm为/>
d.对公式(3)表示的原始图像频谱做自相关，可求得照明光场的横向调制频率kxy：
表示相关，上标*表示复共轭，/>将在k′＝mkxy处获得强度极大值，找到其对应坐标即可求得mkxy的数值；
e.构造一个辅助函数，用于恢复照明光场的相位，当认为五步移相每次移动的相位为2π/5时，构造如下函数:
因此初始相位可以按如下公式精确求得：
其中，为实数，由式(6)和(7)可知，原始图像中出现的背景噪声在该相位求解过程中消除了。
f.对所有方光斑照明下所获得的原始图像作步骤a-e操作，从而获得所有照明光场的调制频率kxy和初始相位
(3.2)在完成参数估计后，接着进行图像重构，具体包括如下步骤：
a.根据公式(4)以及求取的照明光场初始相位参数，进行原始图像频谱中各个频带的分离，用公式可以表示为：
其中，M-1为M的逆矩阵；
b.将步骤a进行频带分离的过程用于其他两个方向照明光场照明下拍摄的原始图像，获得对应方向下分离的频带
c.最后将获得的各个频带利用型反卷积进行频带拼接，用公式可以表示为：
其中，为重构的超分辨图像对应的频谱，ω2为参数，A(k)为切趾函数，最后物体的分布函数的估计值/>可以通过对/>作傅里叶逆变换得到。
本发明还包括一种三维结构光照明超分辨显微成像的高保真重构的装置，包括激光器1，保偏单模光纤2，准直器3，第一反射镜4，第一二分之一波片5，第一偏振分束镜6，第二二分之一波片7，第二偏振分束镜8，第二反射镜9，第三二分之一波片14，第一扫描振镜15，第一扫描透镜16，第三反射镜12，第一压电陶瓷13，第二扫描振镜10，第一扫描透镜11，第一合束镜17，第一偏振旋转器18，第一透镜19，第四反射镜20，第二压电陶瓷21，第二透镜22，第二偏振旋转器23，第三透镜24，第二合束镜25，第一场镜26，二向色镜27，物镜28，荧光样品29，第二场镜30，EMCCD 31，计算机32。
激光器1发出线偏振光，经过保偏光纤2传输后由准直器3准直；通过第一反射镜4反射后进入第一二分之一波片5第一偏振分束镜6，调节第一二分之一波片5使反射和透射光光强比例为1：2，所述反射光构成用于干涉形成的照明光场的中心光束；透射光再经过第二二分之一波片7第一偏振分束镜8，旋转第二二分之一波片7使反射和透射光光强比例为1：1；所述此透射光和反射光构成用于干涉形成的照明光场的边缘光束；透射光经第二反射镜9反射进入到第三二分之一波片14和第一扫描振镜15，旋转第三二分之一波片14使该束光偏振方向变成垂直偏振；由第一扫描振镜15扫描后的光束出射进入到第一扫描透镜16对光束进行汇聚；由第二偏振分光镜反射的光束经过在其上安装有第一压电陶瓷13的第三反射镜12反射，进入到第二扫描振镜10扫描；所述扫描光束经过第二扫描透镜11汇聚；所述第二偏振分光镜8反射和透射光束经过第一合束器17进行合束；再经过第一偏振旋转器改变其在不同扫描位置处的偏振方向；所述合束光束经过第一透镜准直；由所述第一偏振分光镜6反射的光束经过在其上安装有第一压电陶瓷20的第三反射镜21反射，然后有第二透镜22汇聚，再经过第二偏振旋转器23改变其偏振方向后通过第三透镜准直变成平行光；所述第一偏振分束镜6透射和反射，并由第二偏振分束镜透射反射的三束光再经过第二合束器进行合束；所述合束光经过场镜汇聚到物镜入瞳面，其中两束边缘光束汇聚点位于物镜入瞳边缘，其连线经过物镜中心，中心光束汇聚到入瞳中心位置；所述边缘光束和中心光束经过物镜准直后入射到样品上干涉形成照明光场，其中中心光束垂直入射到样品上，边缘光束以大于全反射临界角入射，以形成周期最小的干涉场照明样品；通过控制压电陶瓷21和压电陶瓷13，从而改变第四反射镜20和第二反射镜的位置，进而改变中心光束相对于第一边缘光束的光程，以及第二边缘光束相对第一边缘光束的光程，后者改变的光程为前者两倍，进而实现干涉条纹的相移；通过控制第一扫描振镜15和第二扫描振镜10的扫描角度，改变三束聚焦光在物镜后焦面的位置，从而改变干涉条纹的方向；
荧光样品29被照明光场照明后发出荧光，所述荧光经过物镜28接收，再经过二向色镜27反射后经过第二场镜30成像到相机EMCCD 31上；计算机32控制第一压电陶瓷15和第二压电陶瓷21的移动、第一扫描振镜15和第二扫描振镜10的扫描以及EMCCD 31的对原始图像的采集；
进行图像处理以恢复一张样品的超分辨图像。
分析本发明的技术方案，可以得出：
(1)由公式(6)和(7)可知，照明光场在估计过程中没有近似的过程，是一个精确的数值解；
(2)由公式(6)和(7)可知，在相位估计过程中背景噪声通过构造的函数得到了抵消，因而消除了噪声对相位估计的影响；
(3)精确的相位求解可以获得准确的频带分离，避免了频带搬移到错误位置导致重构出现的伪像。
与现有技术相比，本发明具有以下有益的技术效果：
本发明通过构造一个中间函数用于照明光场相位的估计，相比于传统的相位估计方法，本发明可以精确估计照明光场进行五步移相时对应的初始相位；本发明还可以消除在计算相位过程中由于噪声的影响导致的相位估计不准确带来的影响；利用本发明提出的精确相位计算方法，可以实现对各个频带分量进行准确分离，消除了因相位估计不准确导致的重构伪像的影响，获得样品的高保真重构；本发明适用于用空间光调制器产生的三光束或用偏振分束器分光产生的三光束形成的干涉型照明光场，也适用于用数字微镜通过投影形成的照明光场。
附图说明
图1为本发明实施例的超分辨显微成像装置示意图；
图2(a)为三束光在物镜入瞳面处的位置示意图，三个黑点表示三束光汇聚的位置；图2(b)表示三束光经过物镜后的进行干涉时的角度；
图3为本发明提出的五步移相时对应照明光场的轴向分布，横向每次产生五分之一周期移动，轴向相对于物镜不动；
图4是本发明方法的流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。
实施例1
本实施例提供的一种三维结构光照明超分辨显微成像的高保真重构的方法，包括以下步骤：
(1)将一束平行光分为强度相等、偏振方向一致的三束平行光束，汇聚到物镜的入瞳面，再经过物镜后变成三束平行光，三束光在样品上进行干涉形成横向和轴向都包含周期结构的照明光场照明荧光样品，荧光样品收到非均匀照明光场调制后频谱产生频移；由物镜接收荧光样品发出的荧光信号后，经过场镜汇聚到成像像面，用探测器接收该荧光信号，得到一张混有荧光样品高低频信息的低分辨率图像。
采用的物镜为数值孔径NA大于1.33的油浸型物镜，三束光中，其中一束汇聚到物镜入瞳中心位置，再经过物镜后垂直入射到样品上，另两束平行光束汇聚到该物镜的入射光瞳边缘处，两聚焦点所连直线经过入瞳圆心，两聚焦点的距离接近入瞳直径以尽量充分利用物镜数值孔径，经过物镜的两束聚焦光出射后以超过临界角的角度入射到荧光样品，三束光最后在样品上干涉形成非均匀照明光场照明样品。
(2)多次改变照明光场的空间位移和方向，再次拍摄受条纹强度调制的荧光信号，直至拍摄完一层样品对应图像；然后再改变样品轴向位置，重复拍摄不同照明光场空间位置和方向照明下的样品荧光信号，得到一系列混有荧光样品高低频信息的三维低分辨率图像，作为原始图像；
产生原始图像的步骤如下：
(2.1)每个方向下的照明光场通过改变中心光路的光程，并同时改变边缘光束中其中一路光的光程，使后者光程为前者光程的两倍，使照明光场在横向上每次移动其周期的五分之一，而轴向光场相对于物镜不动，实现照明的五步移相，如图2所示；
(2.2)依次改变两束边缘光会聚在物镜入瞳处两聚焦光点的位置，从而干涉形成横向方向上对应的照明光场，直到在一个π方位角内均匀产生3个方向的照明光场，为横向方向提供二向同性的分辨率提升；
(2.3)每次在改变照明光场的空间位移或方向时，荧光样品被调制后发出混频信号被探测器接收，形成一张低分辨率图，共形成15*n(n为样品层数)张原始图像作为后续图像重构的原始图。
(3)将步骤(2)获得的原始图像进行后续图像处理，首先进行参数估计，包括照明光场的空间频率p，以及相位其次对荧光样品的各个频带进行分离；最后将各个频谱进行组合重构出样品的高保真超分辨图像。
图像处理过程如图4所示，包括如下步骤：
(3.1)首先进行参数估计，包括照明光场的空间频率kxy，以及相位作为后续重构过程中恢复一张高质量超分辨图像的前提，具体包括以下子步骤：
a.建立某个方向照明光场五步相移照明时的成像模型：
D(r)＝[S(r)·I(r)]*H(r)+Db(r)， (1)
其中，D(r)为3D-SIM拍摄的原始图像，H(r)为***的三维PSF，S(r)为样品的分布函数，为照明光场，kxy是照明光场的横向调制频率，r是空间坐标，/>是照明光场的相位，Db(r)为背景噪声，当照明光场轴向相对于物镜不动，则公式(1)可以改写为以下形式：
b.将上式变换到傅里叶空间，第n个相移时获得拍摄的原始图像对应的傅里叶频谱：
式中，是每个横向分量m对应的OTF，k是傅里叶空间上的坐标。由上式可知，所获得的原始图像的频谱为各个频带的混叠；
c.将五步移相获得的原始图像频谱表示成矩阵形式：
其中，向量和/>分别定义为/>以及而向量/>中的元素/>为并且矩阵M中的元素Mnm为/>
d.对公式(3)表示的原始图像频谱做自相关，可求得照明光场的横向调制频率kxy：
表示相关，上标*表示复共轭，/>将在k′＝mkxy处获得强度极大值，找到其对应坐标即可求得mkxy的数值；
e.构造一个辅助函数，用于恢复照明光场的相位，当认为五步移相每次移动的相位为2π/5时，构造如下函数:
因此初始相位可以按如下公式精确求得：
其中，为实数，由式(6)和(7)可知，原始图像中出现的背景噪声在该相位求解过程中消除了。
f.对所有方光斑照明下所获得的原始图像作步骤a-e操作，从而获得所有照明光场的调制频率kxy和初始相位
(3.2)完成照明光场参数估计后，进行图像重构，具体包括以下子步骤：
a.根据公式(4)以及求取的照明光场初始相位参数，进行原始图像频谱中各个频带的分离，用公式可以表示为：
其中，M-1为M的逆矩阵；
b.将步骤(3.1)和步骤(3.2)b进行频带分离的过程用于其他两个方向照明光场照明下拍摄的原始图像，获得对应方向下分离的频带
c.最后将获得的各个频带利用型反卷积进行频带拼接，用公式可以表示为：
其中，为重构的超分辨图像对应的频谱，ω2为参数，A(k)为切趾函数，最后物体的分布函数的估计值/>可以通过对/>作傅里叶逆变换得到。
实施例2
如图1给出了一种三维结构光照明超分辨显微成像的高保真重构的装置，但不限于图1所示的装置。
本实施例的装置包括激光器1，保偏单模光纤2，准直器3，第一反射镜4，第一二分之一波片5，第一偏振分束镜6，第二二分之一波片7，第二偏振分束镜8，第二反射镜9，第三二分之一波片14，第一扫描振镜15，第一扫描透镜16，第三反射镜12，第一压电陶瓷13，第二扫描振镜10，第一扫描透镜11，第一合束镜17，第一偏振旋转器18，第一透镜19，第四反射镜20，第二压电陶瓷21，第二透镜22，第二偏振旋转器23，第三透镜24，第二合束镜25，第一场镜26，二向色镜27，物镜28，荧光样品29，第二场镜30，EMCCD 31，计算机32。
采用图1所示的装置实现三维结构光照明超分辨显微成像过程如下：
(1)激光器1发出线偏振光，经过保偏光纤2传输后由准直器3准直；通过第一反射镜4反射后进入第一二分之一波片5第一偏振分束镜6，调节第一二分之一波片5使反射和透射光光强比例为1：2，所述反射光构成用于干涉形成的照明光场的中心光束；透射光再经过第二二分之一波片7第一偏振分束镜8，旋转第二二分之一波片7使反射和透射光光强比例为1：1；所述此透射光和反射光构成用于干涉形成的照明光场的边缘光束；透射光经第二反射镜9反射进入到第三二分之一波片14和第一扫描振镜15，旋转第三二分之一波片14使该束光偏振方向变成垂直偏振；由第一扫描振镜15扫描后的光束出射进入到第一扫描透镜16对光束进行汇聚；由第二偏振分光镜反射的光束经过在其上安装有第一压电陶瓷13的第三反射镜12反射，进入到第二扫描振镜10扫描；所述扫描光束经过第二扫描透镜11汇聚；所述第二偏振分光镜8反射和透射光束经过第一合束器17进行合束；再经过第一偏振旋转器改变其在不同扫描位置处的偏振方向；所述合束光束经过第一透镜准直；由所述第一偏振分光镜6反射的光束经过在其上安装有第一压电陶瓷20的第三反射镜21反射，然后有第二透镜22汇聚，再经过第二偏振旋转器23改变其偏振方向后通过第三透镜准直变成平行光；所述第一偏振分束镜6透射和反射，并由第二偏振分束镜透射反射的三束光再经过第二合束器进行合束；所述合束光经过场镜汇聚到物镜入瞳面，其中两束边缘光束汇聚点位于物镜入瞳边缘，其连线经过物镜中心，中心光束汇聚到入瞳中心位置，如图2(a)所示；所述边缘光束和中心光束经过物镜准直后入射到样品上干涉形成照明光场，其中中心光束垂直入射到样品上，边缘光束以大于全反射临界角入射，如图2(b)所示以形成周期最小的干涉场照明样品；通过控制压电陶瓷21和压电陶瓷13，从而改变第四反射镜20和第二反射镜的位置，进而改变中心光束相对于第一边缘光束的光程，以及第二边缘光束相对第一边缘光束的光程，后者改变的光程为前者两倍，进而实现干涉条纹的相移，如图3所示；通过控制第一扫描振镜15和第二扫描振镜10的扫描角度，改变三束聚焦光在物镜后焦面的位置，从而改变干涉条纹的方向，如图2(a)所示；
(2)荧光样品29被照明光场照明后发出荧光，所述荧光经过物镜28接收，再经过二向色镜27反射后经过第二场镜30成像到相机EMCCD 31上；计算机32控制第一压电陶瓷15和第二压电陶瓷21的移动、第一扫描振镜15和第二扫描振镜10的扫描以及EMCCD 31的对原始图像的采集；
(3)按如图4所示步骤进行图像处理以恢复一幅样品的三维超分辨图像：
1)参数估计
a.建立某个方向照明光场五步相移照明时的成像模型：
D(r)＝[S(r)·I(r)]*H(r)+Db(r)， (1)其中，D(r)为3D-SIM拍摄的原始图像，H(r)为***的三维PSF，S(r)为样品的分布函数，为照明光场，kxy是照明光场的横向调制频率，r是空间坐标，/>是照明光场的相位，Db(r)为背景噪声，当照明光场轴向相对于物镜不动，则公式(1)可以改写为以下形式：
b.将上式变换到傅里叶空间，第n个相移时获得拍摄的原始图像对应的傅里叶频谱：
式中，是每个横向分量m对应的OTF，k是傅里叶空间上的坐标。由上式可知，所获得的原始图像的频谱为各个频带的混叠；
c.将五步移相获得的原始图像频谱表示成矩阵形式：
其中，向量和/>分别定义为/>以及而向量/>中的元素/>为并且矩阵M中的元素Mnm为/>
d.对公式(3)表示的原始图像频谱做自相关，可求得照明光场的横向调制频率kxy：
表示相关，上标*表示复共轭，/>将在k′＝mkxy处获得强度极大值，找到其对应坐标即可求得mkxy的数值；
e.构造一个辅助函数，用于恢复照明光场的相位，当认为五步移相每次移动的相位为2π/5时，构造如下函数:
因此初始相位可以按如下公式精确求得：
其中，为实数，由式(6)和(7)可知，原始图像中出现的背景噪声在该相位求解过程中消除了。
f.对所有方光斑照明下所获得的原始图像作步骤a-e操作，从而获得所有照明光场的调制频率kxy和初始相位
2)图像重构
a.根据公式(4)以及求取的照明光场初始相位参数，进行原始图像频谱中各个频带的分离，用公式可以表示为：
其中，M-1为M的逆矩阵；
b.将步骤1)和步骤2)a中进行频带分离的过程用于其他两个方向照明光场照明下拍摄的原始图像，获得对应方向下分离的频带
c.最后将获得的各个频带利用维纳型反卷积进行频带拼接，用公式可以表示为：
其中，为重构的超分辨图像对应的频谱，ω2为参数，A(k)为切趾函数，最后物体的分布函数的估计值/>可以通过对/>作傅里叶逆变换得到。
以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种三维结构光照明超分辨显微成像的高保真重构的方法，其特征在于，包括以下步骤：
(1)将一束平行光分为强度相等、偏振方向一致的三束平行光束，汇聚到物镜的入瞳面，再经过物镜后变成三束平行光，三束光在样品上进行干涉形成横向和轴向都包含周期结构的照明光场照明荧光样品，荧光样品受到非均匀照明光场调制后频谱产生频移；由物镜接收荧光样品发出的荧光信号后，经过场镜汇聚到成像像面，用探测器接收该荧光信号，得到一张混有荧光样品高低频信息的低分辨率图像；
(2)多次改变照明光场的空间位移和方向，再次拍摄受条纹强度调制的荧光信号，直至拍摄完一层样品对应图像；然后再改变样品轴向位置，重复拍摄不同照明光场空间位置和方向照明下的样品荧光信号，得到一系列混有荧光样品高低频信息的三维低分辨率图像，作为原始图像；产生原始图像的步骤如下：
(2.1)每个方向下的照明光场通过改变中心光路的光程，并同时改变边缘光束中其中一路光的光程，使后者光程为前者光程的两倍，使照明光场在横向上每次移动其周期的五分之一，而轴向光场相对于物镜不动，实现照明的五步移相；
(2.2)依次改变两束边缘光会聚在物镜入瞳处两聚焦光点的位置，从而干涉形成横向方向上对应的照明光场，直到在一个π方位角内均匀产生3个方向的照明光场，为横向方向提供二向同性的分辨率提升；
(2.3)每次在改变照明光场的空间位移或方向时，荧光样品被调制后发出混频信号被探测器接收，形成一张低分辨率图；
(2.4)当对样品拍摄完一层后，移动样品至下一层，重复步骤(2.1)-(2.3)，拍摄不同层样品对应的低分辨率图；
(3)将步骤(2)获得的原始图像进行后续图像处理，首先进行参数估计，包括照明光场的空间频率p，以及相位其次对荧光样品的各个频带进行分离；最后将各个频谱进行组合重构出样品的高保真超分辨图像；后续的图像处理过程包括：
(3.1)首先进行参数估计，包括照明光场的空间频率kxy，以及相位作为后续重构过程中恢复一张高质量超分辨图像的前提，具体包括：
a.建立某个方向照明光场五步相移照明时的成像模型：
D(r)＝[S(r)·I(r)]*H(r)+Db(r)， (1)
其中，D(r)为3D-SIM拍摄的原始图像，H(r)为***的三维PSF，S(r)为样品的分布函数，M＝2为照明光场，kxy是照明光场的横向调制频率，r是空间坐标，/>是照明光场的相位，Db(r)为背景噪声，当照明光场轴向相对于物镜不动，则公式(1)可以改写为以下形式：
b.将上式变换到傅里叶空间，第n个相移时获得拍摄的原始图像对应的傅里叶频谱：
式中，是每个横向分量m对应的OTF，k是傅里叶空间上的坐标；由上式可知，所获得的原始图像的频谱为各个频带的混叠；
c.将五步移相获得的原始图像频谱表示成矩阵形式：
其中，向量和/>分别定义为/>以及而向量/>中的元素/>为并且矩阵M中的元素Mnm为/>
d.对公式(3)表示的原始图像频谱做自相关，可求得照明光场的横向调制频率kxy：
表示相关，上标*表示复共轭，/>将在k′＝mkxy处获得强度极大值，找到其对应坐标即可求得mkxy的数值；
e.构造一个辅助函数，用于恢复照明光场的相位，当认为五步移相每次移动的相位为2π/5时，构造如下函数:
因此初始相位可以按如下公式精确求得：
其中，为实数，由式(6)和(7)可知，原始图像中出现的背景噪声在该相位求解过程中消除了；
f.对所有方光斑照明下所获得的原始图像作步骤a-e操作，从而获得所有照明光场的调制频率kxy和初始相位
(3.2)利用步骤(3.1)所估计的参数进行后续的图像重构。
2.根据权利要求1所述的一种三维结构光照明超分辨显微成像的高保真重构的方法，其特征在于，所述步骤(1)中采用的物镜为数值孔径NA大于1.33的油浸型物镜。
3.根据权利要求1所述的一种三维结构光照明超分辨显微成像的高保真重构的方法，其特征在于，所述步骤(1)中，三束光中，其中一束汇聚到物镜入瞳中心位置，再经过物镜后垂直入射到样品上，另两束平行光束汇聚到该物镜的入射光瞳边缘处，两聚焦点所连直线经过入瞳圆心，两聚焦点的距离接近入瞳直径以尽量充分利用物镜数值孔径，经过物镜的两束聚焦光出射后以超过临界角的角度入射到荧光样品，三束光最后在样品上干涉形成非均匀照明光场照明样品。
4.根据权利要求1所述的一种三维结构光照明超分辨显微成像的高保真重构的方法，其特征在于，所述步骤(2.4)中，共形成15*n,张原始图像作为后续图像重构的原始图，n为样品层数。
5.根据权利要求1所述的一种三维结构光照明超分辨显微成像的高保真重构的方法，其特征在于，步骤(3.2)所述的图像重构具体包括：
a.根据公式(4)以及求取的照明光场初始相位参数，进行原始图像频谱中各个频带的分离，用公式可以表示为：
其中，M-1为M的逆矩阵；
b.将步骤a进行频带分离的过程用于其他两个方向照明光场照明下拍摄的原始图像，获得对应方向下分离的频带
c.最后将获得的各个频带利用维纳型反卷积进行频带拼接，用公式可以表示为：
其中，为重构的超分辨图像对应的频谱，ω2为维纳参数，A(k)为切趾函数，最后物体的分布函数的估计值/>可以通过对/>作傅里叶逆变换得到。
6.实施权利要求1-5之一所述的一种三维结构光照明超分辨显微成像的高保真重构的方法的装置，其特征在于：包括激光器(1)，保偏单模光纤(2)，准直器(3)，第一反射镜(4)，第一二分之一波片(5)，第一偏振分束镜(6)，第二二分之一波片(7)，第二偏振分束镜(8)，第二反射镜(9)，第三二分之一波片(14)，第一扫描振镜(15)，第一扫描透镜(16)，第三反射镜(12)，第一压电陶瓷(13)，第二扫描振镜(10)，第一扫描透镜(11)，第一合束镜(17)，第一偏振旋转器(18)，第一透镜(19)，第四反射镜(20)，第二压电陶瓷(21)，第二透镜(22)，第二偏振旋转器(23)，第三透镜(24)，第二合束镜(25)，第一场镜(26)，二向色镜(27)，物镜(28)，荧光样品(29)，第二场镜(30)，EMCCD(31)，计算机(32)。
7.如权利要求6所述的装置，其特征在于：
激光器(1)发出线偏振光，经过保偏光纤(2)传输后由准直器(3)准直；通过第一反射镜(4)反射后进入第一二分之一波片(5)第一偏振分束镜(6)，调节第一二分之一波片(5)使反射和透射光光强比例为1：2，所述反射光构成用于干涉形成的照明光场的中心光束；透射光再经过第二二分之一波片(7)第一偏振分束镜(8)，旋转第二二分之一波片(7)使反射和透射光光强比例为1：1；所述此透射光和反射光构成用于干涉形成的照明光场的边缘光束；透射光经第二反射镜(9)反射进入到第三二分之一波片(14)和第一扫描振镜(15)，旋转第三二分之一波片(14)使该束光偏振方向变成垂直偏振；由第一扫描振镜(15)扫描后的光束出射进入到第一扫描透镜(16)对光束进行汇聚；由第二偏振分光镜反射的光束经过在其上安装有第一压电陶瓷(13)的第三反射镜(12)反射，进入到第二扫描振镜(10)扫描；所述扫描光束经过第二扫描透镜(11)汇聚；所述第二偏振分光镜(8)反射和透射光束经过第一合束器(17)进行合束；再经过第一偏振旋转器改变其在不同扫描位置处的偏振方向；所述合束光束经过第一透镜准直；由所述第一偏振分光镜(6)反射的光束经过在其上安装有第一压电陶瓷(20)的第三反射镜(21)反射，然后有第二透镜22)汇聚，再经过第二偏振旋转器(23)改变其偏振方向后通过第三透镜准直变成平行光；所述第一偏振分束镜(6)透射和反射，并由第二偏振分束镜透射反射的三束光再经过第二合束器进行合束；所述合束光经过场镜汇聚到物镜入瞳面，其中两束边缘光束汇聚点位于物镜入瞳边缘，其连线经过物镜中心，中心光束汇聚到入瞳中心位置；所述边缘光束和中心光束经过物镜准直后入射到样品上干涉形成照明光场，其中中心光束垂直入射到样品上，边缘光束以大于全反射临界角入射，以形成周期最小的干涉场照明样品；通过控制压电陶瓷(21)和压电陶瓷(13)，从而改变第四反射镜(20)和第二反射镜的位置，进而改变中心光束相对于第一边缘光束的光程，以及第二边缘光束相对第一边缘光束的光程，后者改变的光程为前者两倍，进而实现干涉条纹的相移；通过控制第一扫描振镜(15)和第二扫描振镜(10)的扫描角度，改变三束聚焦光在物镜后焦面的位置，从而改变干涉条纹的方向；
荧光样品(29)被照明光场照明后发出荧光，所述荧光经过物镜(28)接收，再经过二向色镜(27)反射后经过第二场镜(30)成像到相机EMCCD(31)上；计算机(32)控制第一压电陶瓷(15)和第二压电陶瓷(21)的移动、第一扫描振镜(15)和第二扫描振镜(10)的扫描以及EMCCD(31)的对原始图像的采集；
进行图像处理以恢复一张样品的超分辨图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310020503.4A CN116183568B (zh) | 2023-01-06 | 2023-01-06 | 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310020503.4A CN116183568B (zh) | 2023-01-06 | 2023-01-06 | 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116183568A CN116183568A (zh) | 2023-05-30 |
| CN116183568B true CN116183568B (zh) | 2023-11-28 |
Family
ID=86441662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310020503.4A Active CN116183568B (zh) | 2023-01-06 | 2023-01-06 | 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116183568B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117030674A (zh) * | 2023-10-09 | 2023-11-10 | 中国科学院生物物理研究所 | 结构光照明三维超分辨率成像***和方法 |
| CN117055203B (zh) * | 2023-10-11 | 2023-12-08 | 深圳赛陆医疗科技有限公司 | 照明***、成像***和基因测序仪 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107907513A (zh) * | 2017-10-27 | 2018-04-13 | 浙江大学 | 一种基于偏振解调的点扫描超分辨成像方法和装置 |
| CN108061965A (zh) * | 2017-11-30 | 2018-05-22 | 浙江大学 | 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置 |
| CN109407293A (zh) * | 2018-10-31 | 2019-03-01 | 浙江大学 | 基于双振镜双物镜的三维结构光照明超分辨显微成像装置和方法 |
| WO2022028291A1 (zh) * | 2020-08-07 | 2022-02-10 | 深圳大学 | 一种扫描结构光超分辨显微成像装置及方法 |
| CN115308185A (zh) * | 2022-09-15 | 2022-11-08 | 西安交通大学 | 高速无伪影超分辨结构光照明显微成像方法 |
-
2023
- 2023-01-06 CN CN202310020503.4A patent/CN116183568B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107907513A (zh) * | 2017-10-27 | 2018-04-13 | 浙江大学 | 一种基于偏振解调的点扫描超分辨成像方法和装置 |
| CN108061965A (zh) * | 2017-11-30 | 2018-05-22 | 浙江大学 | 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置 |
| CN109407293A (zh) * | 2018-10-31 | 2019-03-01 | 浙江大学 | 基于双振镜双物镜的三维结构光照明超分辨显微成像装置和方法 |
| WO2022028291A1 (zh) * | 2020-08-07 | 2022-02-10 | 深圳大学 | 一种扫描结构光超分辨显微成像装置及方法 |
| CN115308185A (zh) * | 2022-09-15 | 2022-11-08 | 西安交通大学 | 高速无伪影超分辨结构光照明显微成像方法 |
Non-Patent Citations (2)
| Title |
|---|
| Total variation and spatial iteration-based 3D structured illumination microscopy;Mingxuan Cai等;Optics Express;全文 * |
| 光学移频超分辨成像技术进展;郝翔等;光学学报;第41卷(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116183568A (zh) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116183568B (zh) | 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 | |
| US10656403B2 (en) | Illumination microscopy systems and methods | |
| US8019136B2 (en) | Optical sectioning microscopy | |
| CN109712072B (zh) | 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法 | |
| US8570650B2 (en) | Method and system for fast three-dimensional structured-illumination-microscopy imaging | |
| US8705172B2 (en) | Microscopy method and microscope with enhanced resolution | |
| CN105784653B (zh) | 一种宽场超分辨荧光显微成像装置 | |
| CN108982452B (zh) | 基于双螺旋点扩散函数的多焦点扫描三维成像方法及*** | |
| CN106097269B (zh) | 基于计算鬼成像的高分辨率微视觉***及获取图像的方法 | |
| US8946619B2 (en) | Talbot-illuminated imaging devices, systems, and methods for focal plane tuning | |
| CN106885796B (zh) | 一种超分辨率荧光数字全息断层显微成像***与方法 | |
| JPWO2019044336A1 (ja) | ホログラフィック撮像装置および同装置に用いるデータ処理方法 | |
| JP2009223348A (ja) | 解像深度が強化された３次元顕微鏡法のための方法及び装置 | |
| CN110954523B (zh) | 一种双光子扫描结构光显微成像方法及装置 | |
| US11086113B2 (en) | Multi-focal structured illumination microscopy systems and methods | |
| CN110927945A (zh) | 三维宽视场和高分辨层析成像方法及装置 | |
| CN111610150B (zh) | 全场结构光相干编码断层成像装置及方法 | |
| CN110567959B (zh) | 一种自适应像差校正图像扫描显微成像方法 | |
| US11947098B2 (en) | Multi-focal light-sheet structured illumination fluorescence microscopy system | |
| CN114594588B (zh) | 基于光栅投影和slm相移的结构光照明显微装置及方法 | |
| CN111103678B (zh) | 晶格光片显微镜和在晶格光片显微镜中平铺晶格光片的方法 | |
| CN110220875B (zh) | 一种基于荧光差分法的晶格光切片荧光显微成像装备及方法 | |
| CN113917677B (zh) | 一种三维超分辨率光片显微成像方法和显微镜 | |
| CN109238131B (zh) | 一种横向超高分辨的光学相干层析方法和*** | |
| CN110824681A (zh) | 一种无扫描高超分辨光学三维显微成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |