CN117030674A - 结构光照明三维超分辨率成像***和方法 - Google Patents
结构光照明三维超分辨率成像***和方法 Download PDFInfo
- Publication number
- CN117030674A CN117030674A CN202311296033.0A CN202311296033A CN117030674A CN 117030674 A CN117030674 A CN 117030674A CN 202311296033 A CN202311296033 A CN 202311296033A CN 117030674 A CN117030674 A CN 117030674A
- Authority
- CN
- China
- Prior art keywords
- fluorescent
- resolution
- fluorescent sample
- super
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000005286 illumination Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000010287 polarization Effects 0.000 claims description 58
- 239000013307 optical fiber Substances 0.000 claims description 18
- 238000001228 spectrum Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 14
- 230000008878 coupling Effects 0.000 claims description 12
- 238000010168 coupling process Methods 0.000 claims description 12
- 238000005859 coupling reaction Methods 0.000 claims description 12
- 239000000835 fiber Substances 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 6
- 239000011324 bead Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000004688 microtubule Anatomy 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
Landscapes
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明属于结构光照明显微镜技术领域，提供结构光照明三维超分辨率成像***和方法。该方法包括：采用与荧光样品的采集面不垂直的斜向干涉条纹照明荧光样品以激发荧光信号；探测器接收荧光信号得到一张混有荧光样品高低频信息的低分辨率图像；在对荧光样品的每一层进行拍摄时，多次改变斜向干涉条纹的相位，重复拍摄受斜向干涉条纹调制的荧光信号，直至拍摄完一层荧光样品的对应图像；再改变荧光样品轴向位置，重复拍摄不同相位的斜向干涉条纹照明下的样品荧光信号，得到一系列混有荧光样品高低频信息的三维低分辨率图像，作为原始图像；将获得的原始图像进行后续图像处理得到超分辨率图像。解决了现有的3D‑SIM的成像速度较慢的问题。
Description
技术领域
本发明涉及结构光照明显微镜技术领域，尤其涉及一种结构光照明三维超分辨率成像***和方法。
背景技术
超分辨率荧光显微成像技术可以突破衍射极限观察更加微小的样品结构，因此获得了极大的关注和广泛的应用。结构光照明超分辨显微成像技术（StructuredIllumination Microscope，简称SIM技术）是超分辨率荧光显微成像技术的一种，它利用周期分布的条纹状激发光照明样品，在荧光信号激发过程中，照明条纹和样品本身的空间频率发生混频，使得样品中的高频信息被调制到低频区域，进而能够被光学***所探测，最终利用衍射受限的荧光图像重建出突破衍射极限的清晰图像。
在相关的现有技术中，三维结构光照明显微镜（3D-SIM）是使用SIM技术进行三维超分辨率成像的显微镜。在使用三维结构光照明显微镜拍摄样品时，在样品的每一层都需要拍摄15张图像，而且还需要转动三个照明方向，这样一是成像速度较慢，二是因为需要空间光调制器和特殊的相位延迟器，导致成本较高，三是光路复杂，稳定性较差，需要维护侧面六条光路。因此如何提高三维结构光照明显微镜（3D-SIM）的成像速度是业界急需解决的问题。
发明内容
本发明提供一种结构光照明三维超分辨率成像***和方法，用以解决现有技术中的三维结构光照明显微镜（3D-SIM）的成像速度慢的缺陷。
本发明提供一种结构光照明三维超分辨率成像方法，包括：
采用与荧光样品的采集面不垂直的斜向干涉条纹照明荧光样品；所述荧光样品受到所述斜向干涉条纹调制后频谱产生频移；由物镜接收所述荧光样品发出的荧光信号后，经过透镜汇聚到成像像面，用探测器接收所述荧光信号，得到一张混有所述荧光样品高低频信息的低分辨率图像；
在对所述荧光样品的每一层进行拍摄时，多次改变所述斜向干涉条纹的相位，重复拍摄受所述斜向干涉条纹调制的所述荧光信号，直至拍摄完一层所述荧光样品对应图像，其中，至少两次的所述斜向干涉条纹的相位不相同；然后，再改变所述荧光样品轴向位置，重复拍摄不同相位的所述斜向干涉条纹照明下的样品荧光信号，得到一系列混有所述荧光样品高低频信息的三维低分辨率图像，作为原始图像；
将获得的所述原始图像进行后续图像处理得到超分辨率图像。
根据本发明提供的结构光照明三维超分辨率成像方法，所述将获得的所述原始图像进行后续图像处理得到超分辨率图像，包括：
计算带有高频信息的光学传递函数OTF：
根据带有高频信息的光学传递函数OTF与带有干涉条纹的原始图像，计算得到所述荧光样品的超分辨图像。
本发明提供还一种结构光照明三维超分辨率成像***，包括：
激光器，用于输出激光光束；
线性偏振光输出组件，用于对所述激光光束进行线性偏振以输出线性偏振光；
相位调整组件，与所述线性偏振光输出组件间隔设置，用于调整所述线性偏振光的相位；
偏振分束器，与所述相位调整组件间隔设置，用于对所述相位调整组件输出的所述线性偏振光进行分束，以输出相位不同的第一分光束和第二分光束；
偏振组件，与所述偏振分束器间隔设置，用于调整所述第一分光束或/和所述第二分光束的偏振方向，使所述第一分光束与所述第二分光束的偏振方向相同；
第一二向色镜，用于将偏振方向相同的所述第一分光束与所述第二分光束分别反射向物镜的后口中央位置和边缘位置，以被所述物镜准直；被所述物镜准直后的所述第一分光束和所述第二分光束干涉形成斜向条纹以照明荧光样品。
根据本发明提供的结构光照明三维超分辨率成像***，所述第一分光束和所述第二分光束的相位差包括0、2π/3或4π/3。
根据本发明提供的结构光照明三维超分辨率成像***，所述线性偏振光输出组件包括：
起偏器，间隔设于所述激光器和所述相位调整组件之间，用于对所述激光光束进行线性偏振，以输出线性偏振光。
根据本发明提供的结构光照明三维超分辨率成像***，所述线性偏振光输出组件还包括：
第一偏振器，间隔设置于所述起偏器和所述相位调整组件之间，用于改变所述线性偏振光的偏振方向。
根据本发明提供的结构光照明三维超分辨率成像***，还包括：
光强调整组件，与所述激光器相对设置，用于调整所述激光光束的激光强度。
根据本发明提供的结构光照明三维超分辨率成像***，所述线性偏振光输出组件还包括：
保偏光纤；
光纤耦合头，与所述光强调整组件的输出端以及所述保偏光纤输入端连接，用于将所述光强调整组件输出的所述激光光束耦入所述保偏光纤中；
准直器，与所述保偏光纤的输出端连接，用于对所述保偏光纤输出的所述激光光束进行准直，并将准直后的所述激光光束射向所述相位调整组件。
本发明提供的一种结构光照明三维超分辨率成像***和方法。本发明的方法通过采用与荧光样品的采集面不垂直的斜向干涉条纹照明荧光样品，荧光样品产生荧光信号，荧光信号被探测器接收后，得到一张混有荧光样品高低频信息的低分辨率图像；其次，在对荧光样品的每一层进行拍摄时，多次改变斜向干涉条纹的相位，重复拍摄受斜向干涉条纹调制的荧光信号，直至拍摄完一层的荧光样品对应的图像；再次，再改变所述荧光样品轴向位置，重复拍摄不同相位的斜向干涉条纹照明下的样品荧光信号，得到一系列混有荧光样品高低频信息的三维低分辨率图像，作为原始图像；最后，将获得的原始图像进行后续图像处理得到超分辨率图像。采用本发明的方法能够提高拍摄速度，解决了现有技术中存在的三维结构光照明显微镜（3D-SIM）的成像速度较慢的问题。
本发明的***通过设置线性偏振光输出组件对激光光束进行偏振以输出线性偏振光；通过设置相位调整组件以调整线性偏振光的相位，使被偏振分束器分束得到的第一分光束和第二分光束的相位不同；通过设置偏振组件改变第一分光束或/和第二分光束的偏振方向，使第一分光束与第二分光束的偏振方向相同。通过设置第一二向色镜以将第一分光束与第二分光束分别反射到物镜后口中央位置和边缘位置。因为第一分光束与第二分光束的偏振方向相同，所以第一分光束与第二分光束能够发生干涉，所以通过物镜对第一分光束与第二分光束进行准直，而被物镜准直的第一分光束与第二分光束发生干涉形成斜向条纹以照明荧光样品，其中第一分光束与第二分光束中的一个垂直射向荧光样品，第一分光束和第二分光束中的另一个倾斜射向荧光样品。采用本发明的结构光照明三维超分辨率成像***拍摄荧光样品时，只需要对样品的每一层拍摄三张图片，成像速度相较于现有技术中的三维结构光照明显微镜（3D-SIM）提高了五倍，所以本发明解决了现有技术中存在的三维结构光照明显微镜（3D-SIM）的成像速度较慢的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的结构光照明三维超分辨率成像***的结构示意图；
图2是本发明提供的结构光照明三维超分辨率成像***的频率域上的原理示意图；
图3是采用现有技术中宽场显微镜拍摄得到的荧光珠在XZ方向的截面图；
图4是采用本发明提供的结构光照明三维超分辨率成像***拍摄的荧光珠在XZ方向的截面图；
图5是细胞微管拍摄效果图，其中，左上角是宽场图像；右下角为超分辨图像；
图6是图5中虚线在宽场图像的XZ截面图；
图7是图5中虚线在超分辨图像部分的XZ截面图；
图8是本发明提供的结构光照明三维超分辨率成像方法的流程示意图。
附图标记：
1、激光器；2、线性偏振光输出组件；3、相位调整组件；4、偏振分束器；5、第一反射组件；6、偏振组件；7、第一二向色镜；8、物镜；9、第二反射组件；10、光强调整组件；11、第三反射组件；12、第四反射组件；13、荧光样品；14、第五反射组件；15、滤光片；16、第六凸透镜；17、相机；18、压电位移平台；
201、起偏器；202、第一偏振器；203、保偏光纤；204、光纤耦合头；205、准直器；
111、第三反射镜；112、第三凸透镜；121、第四反射镜；122、第四凸透镜；141、第五反射镜；142、第五凸透镜。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的具体实施例中，如图1所示，提供一种结构光照明三维超分辨率成像***，包括激光器1、限位偏振光输出组件、相位调整组件3、偏振分束器4、偏振组件6和第一二向色镜7；激光器1用于输出激光光束；线性偏振光输出组件2用于对激光光束进行线性偏振以输出线性偏振光；相位调整组件3与线性偏振光输出组件2间隔设置，用于调整线性偏振光的相位；偏振分束器4与相位调整组件3间隔设置，用于对相位调整组件3输出的线性偏振光进行分束，以输出相位不同的第一分光束和第二分光束；偏振组件6与偏振分束器4均间隔设置，用于调整第一分光束或/和第二分光束的偏振方向，使第一分光束与第二分光束的偏振方向相同；第一二向色镜7用于将偏振方向相同的第一分光束与第二分光束分别反射向物镜8的后口中央位置和边缘位置，以被物镜8准直；被物镜8准直后的第一分光束和第二分光束干涉形成斜向干涉条纹以照明荧光样品13。
本发明的结构光照明三维超分辨率成像***中，通过设置线性偏振光输出组件2对激光光束进行偏振以输出线性偏振光；通过设置相位调整组件3以调整线性偏振光的相位，使被偏振分束器4分束得到的第一分光束和第二分光束的相位不同；通过设置偏振组件6改变第一分光束或/和第二分光束的偏振方向，使第一分光束与第二分光束的偏振方向相同。通过设置第一二向色镜7以将第一分光束与第二分光束分别反射到物镜8口中央位置和边缘位置。因为第一分光束与第二分光束的偏振方向相同，所以第一分光束与第二分光束能够发生干涉，所以被物镜8准直的第一分光束与第二分光束发生干涉形成斜向干涉条纹以照明荧光样品13，其中第一分光束与第二分光束中的一个垂直射向荧光样品13，第一分光束和第二分光束中的另一个倾斜射向荧光样品13。采用本发明的结构光照明三维超分辨率成像***拍摄荧光样品13时，只需要对样品的每一层拍摄少于15张的图片，成像速度相较于现有技术中的三维结构光照明显微镜（3D-SIM）提高了五倍，所以本发明解决了现有技术中存在的三维结构光照明显微镜（3D-SIM）的成像速度较慢的问题。
在本发明的一些实施例中，被物镜8准直后的第一分光束垂直射向荧光样品13的采集面，被物镜8准直后的第二分光束倾斜射向荧光样品13的采集面，且第一分光束和第二分光束发生干涉形成与荧光样品13的采集面不垂直的斜向干涉条纹，进一步的提高成像速度。
另外，还因为采用本发明的结构光照明三维超分辨率成像***在成像时不需要旋转拍摄方向，所以大大降低了设备成本和光路复杂度。
因为本发明的结构光照明三维超分辨率成像***的原理与现有技术中的三维结构光照明显微镜的原理相同，利用的还是SIM技术，所以相较于共聚焦显微镜和转盘式共聚焦显微镜，具有更高的轴向分辨率。
在本发明的具体实施例中，线性偏振光输出组件2包括起偏器201；起偏器201间隔设于激光器1和相位调整组件3之间，用于对激光光束进行线性偏振，以输出线性偏振光。
在本发明的具体实施例中，线性偏振光输出组件2还包括第一偏振器202；第一偏振器202间隔设置于起偏器201和相位调整组件3之间，用于改变线性偏振光的偏振方向。改变线性偏振光的偏振方向的目的是为了改变被偏振分束器4分束输出的第一分光束和第二分光束的分光比例，进而使第一分光束和第二分光束的光强尽量接近，确保干涉产生的衬度（调制深度）较高，干涉条纹的对比度较高。
可以理解地是，第一偏振器202又称为相位延迟器、消色差相位延迟器等，可以同时改变不同波长的激光的偏振方向。
在一些实施例中，第一偏振器202包括第一半波片或第一偏振棱镜。
在本发明的具体实施例中，结构光照明三维超分辨率成像***还包括光强调整组件10；光强调整组件10与激光器1相对设置，用于调整激光光束的激光强度，使从光强调整组件10输出的激光光束的激光强度满足荧光样品13的照明需求。
在一些实施例中，光强调整组件10设置于激光器1内，即激光器1不仅具有输出激光光束的作用，还具有调整激光光束的激光强度的作用。
在另外一些实施例中，光强调整组件10设置于激光器1外，且与激光器1间隔设置。
可以理解地是，光强调整组件10包括声光可调谐滤波器（AOTF）、声光调制器（AOM）、电光调整器（EOM）或液晶调整器。
在本发明的具体实施例中，线性偏振光输出组件2包括保偏光纤203、光纤耦合头204和准直器205；光纤耦合头204与光强调整组件10的输出端以及保偏光纤203输入端连接，用于将光强调整组件10输出的激光光束耦入保偏光纤203中；准直器205与保偏光纤203的输出端连接，用于对保偏光纤203输出的的激光光束进行准直，并将准直后的激光光束射向相位调整组件3。保偏光纤203用于对激光光束进行保偏；光纤耦合头204用于对激光光束进行耦合，使激光光束全部射向保偏光纤203；准直器205的作用是为了得到平行光。保偏光纤203的作用是对激光光束进行保偏，但是保偏光纤203并不能对激光光束进行完全保偏，所以从保偏光纤203射出的光束中还包含非线性偏振光，为了去掉这部分非线性偏振光，所以设置起偏器201。
在一些实施例中，保偏光纤203包括单模保偏光纤。
在本发明的具体实施例中，相位调整组件3包括电光调整器或液晶调制器。
在本发明的具体实施例中，结构光照明三维超分辨率成像***还包括第一反射组件5；第一反射组件5与偏振分束器4间隔设置，用于改变第一分光束的传播方向，使被第一反射组件5反射的第一分光束与第二分光束的传播方向相同。
在本发明的具体实施例中，第一反射组件5包括第一反射镜，第一分光束经过第一反射镜的反射后射向偏振组件6。
在本发明的具体实施例中，偏振组件6包括第二半波片或第二偏振棱镜。
在本发明的具体实施例中，结构光照明三维超分辨率成像***还包括第二反射组件9；第二反射组件9间隔设置于相位调整组件3与偏振分束器4之间，用于将相位调整组件3输出的线性偏振光反射向偏振分束器4。
在一些实施例中，第二反射组件9包括第二反射镜；第二反射镜用于将从相位调整组件3输出的线性偏振光反射向偏振分束器4。
在本发明的具体实施例中，结构光照明三维超分辨率成像***还包括第三反射组件11和第四反射组件12；第三反射组件11间隔设置于偏振组件6与第一二向色镜7之间，使从偏振组件6输出的第一分光束反射向第一二向色镜7；第四反射组件12间隔设置于偏振分束器4与第一二向色镜7之间，用于将从偏振分束器4输出的第二分光束反射向第一二向色镜7。第三反射组件11的作用是为了改变第一分光束的传播方向，使第一分光束最终经过第一二向色镜7后射向物镜8后口的中央位置；第四反射组件12的作用是为了改变第二分光束的传播方向，使第二分光束最终经过第一二向色镜7后射向物镜8后口的边缘位置；同时第三反射组件11和第四反射组件12还需要确保被第一二向色镜7反射的第一分光束和第二分光束相互平行，且垂直射向物镜8的后口。
可以理解地是，被第一二向色镜7反射的第一分光束可以射向物镜8后口的边缘位置；相应的，被第一二向色镜7反射的第二分光束可以射向物镜8后口的中央位置。
可以理解地是，被物镜8准直的第一分光束垂直射向荧光样品13，被物镜8准直的第二分光束倾斜射向荧光样品13，第一分光束和第二分光束干涉形成斜向条纹以照明荧光样品13。
在一些实施例中，第三反射组件11包括至少一个第三反射镜111与至少一个第三凸透镜112；第三反射镜111与第三凸透镜112间隔设置；第三反射镜111用于改变第一分光束的传播方向，第三凸透镜112用于汇聚第一分光束，避免第一分光束在传播的过程中发散。
在一些实施例中，第四反射组件12包括至少一个第四反射镜121与至少一个第四凸透镜122；第四反射镜121与第四凸透镜122间隔设置；第四反射镜121用于改变第二分光束的传播方向，第四凸透镜122用于汇聚第二分光束，避免第二分光束在传播的过程中发散。
在本发明的具体实施例中，结构光照明三维超分辨率成像***还包括第五反射组件14；第五反射组件14用于改变第一分光束和第二分光束的传播方向，并对第一分光束和第二分光束进行汇聚，避免第一分光束和第二分光束发散；从第五反射组件14输出的第一分光束和第二分光束被第一二向色镜7反射后垂直射向物镜8的后口。
在一些实施例中，第五反射组件14包括至少一个第五反射镜141和至少一个第五凸透镜142；第五反射镜141和第五凸透镜142间隔设置。
在本发明的具体实施例中，激光器1的数量至少为两个；结构光照明三维超分辨率成像***还包括第二二向色镜；第二二向色镜用于将来自不同的激光器1的激光光束耦合到同一光路，还用于将耦合的激光光束输入线性偏振光输出组件2。这样就不需要调整激光器1相对于线性偏振光输出组件2的位置。
可以理解地是，每两个激光器1对应一个第二二向色镜，所以激光器1的数量比第二二向色镜数量多一个。
在本发明的具体实施例中，荧光样品13的荧光信号被第一分光束和第二分光束激发，荧光信号透过第一二向色镜7后依次经过滤光片15、第六凸透镜16后被相机17接收，输出荧光图像。
在本发明的具体实施例中，荧光样品13与压电位移平台18连接，当结构光照明三维超分辨率成像***拍完荧光样品13的一层后，压电位移平台18移动进而带动荧光样品13到下一层进行拍摄，直至拍完需要的三维厚度，得到三维图像，最后使用重建算法（如Weiner-SIM）即可得到超分辨图像。
图3是采用现有技术中宽场显微镜拍摄得到的荧光珠在XZ方向的截面图；图4是采用本发明提供的结构光照明三维超分辨率成像***拍摄的荧光珠在XZ方向的截面图。从图3可知，宽场下的轴向分辨率约为640nm；从图4可知采用本发明的结构光照明三维超分辨率成像***能够实现约300nm轴向分辨率的结果。
图5是细胞微管拍摄效果图，其中，左上角是宽场图像；右下角为超分辨图像；图6是图5中虚线在宽场图像的XZ截面图；图7是图5中虚线在超分辨图像部分的XZ截面图。从图5可以看出，相较于宽场图像，超分辨图像的水平分辨率理论上没有提升，但是信噪比提高了很多。从图6和图7可以看出，宽场图的离焦背景比较高，并且分辨率较低，而超分辨率图像的离焦背景比较低，分辨率也能到400nm。
本发明还提了一种结构光照明三维超分辨率成像方法。如图8所示，该方法包括：
S100、采用与荧光样品的采集面不垂直的斜向干涉条纹照明荧光样品；荧光样品受到斜向干涉条纹调制后频谱产生频移；由物镜接收荧光样品发出的荧光信号后，经过透镜汇聚到成像像面，用探测器接收该荧光信号，得到一张混有荧光样品高低频信息的低分辨率图像；
S200、在对荧光样品的每一层进行拍摄时，多次改变斜向干涉条纹的相位，重复拍摄受斜向干涉条纹调制的荧光信号，直至拍摄完一层荧光样品对应的图像，其中，至少两次的斜向干涉条纹的相位不相同；然后，再改变荧光样品轴向位置，重复拍摄不同相位的斜向干涉条纹照明下的样品荧光信号，得到一系列混有荧光样品高低频信息的三维低分辨率图像，作为原始图像；
S300、将获得的原始图像进行后续图像处理得到超分辨率图像。
在本发明的实施例中，针对荧光样品的每一层，采用多个具有不同相位的斜向干涉条纹分别照明荧光样品，以得到多个混有荧光样品高低频信息的低分辨率图像；然后，轴向移动荧光样品，重复拍摄不同相位的斜向干涉条纹照明下的样品荧光信号，得到一系列混有所述荧光样品高低频信息的三维低分辨率图像，作为原始图像；最后，将获得的原始图像进行后续图像处理得到超分辨率图像。因为本发明在荧光样品的每层中拍摄图像的张数为三张，远少于15张，所以相较于现有技术中的3D-SIM需要在荧光样品每层中拍摄15张图像而言，本发明的拍摄速度显著提高。
需要说明地是，本发明的成像原理与现有技术中的3D-SIM的原理类似，在频率域上的表达式都是：
上式中，是原始图像的频谱，/>是包含了调制深度的常数，/>是的傅里叶变换也就是带有不同频率信号的光学传递函数OTF，/>是样品分布函数的频谱，/>和/>分别是正弦条纹的波矢和相位，/>是虚数单位，/>是倒空间的频率矢量。
区别在于，现有技术的3D-SIM中，m为0级，±1级和±2级；而在本发明的结构光照明三维超分辨率成像***中，m为0级和±1级。
因为在本发明的结构光照明三维超分辨率成像***中m为0级和±1，也就是说一共有三个不同的频谱叠加，因此可以通过拍摄三个相位的图像来求解频谱。根据OTF的定义，OTF占据频域越大，空间分辨率越高，而由于相比于宽场的OTF，在轴向的分布变大了一倍，因此最终解出来的图像轴向分辨率提高了一倍。
如图2所示，本发明的第一分光束和第二分光束分别聚焦到物镜后口的中央位置和边缘位置，然后拍到的原始数据频谱为0级和±1级频谱的叠加，通过算法将叠加的频谱还原回去，就得到了最终的超分辨图像频谱。
在本发明的具体实施例中，第一分光束和第二分光束的相位差可以是任意的数值。
在一些实施例中，第一分光束和第二分光束的相位差的改变量包括0、2π/3或4π/3，得到的三维图像的成像效果更高。
在本发明的具体实施例中，三个斜向干涉条纹之间相位的差值可以是，但不限于2π/3。
在本发明的具体实施例中，将获得的原始图像进行后续图像处理得到超分辨率图像，包括：
计算带有高频信息的光学传递函数OTF：
根据带有高频信息的光学传递函数OTF与带有干涉条纹的原始图像，计算得到荧光样品的超分辨图像。
下面以三个斜向干涉条纹的差值为2π/3为例，对本发明的结构光照明三维超分辨率成像方法进行详细说明。
如图8所示，本实施例提供了一种结构光照明三维超分辨率成像方法，包括如下步骤：
S100、采用与荧光样品的采集面不垂直的斜向干涉条纹照明荧光样品；荧光样品受到斜向干涉条纹调制后频谱产生频移；由物镜接收荧光样品发出的荧光信号后，经过透镜汇聚到成像像面，用探测器接收该荧光信号，得到一张混有荧光样品高低频信息的低分辨率图像；
S200、在对荧光样品的每一层进行拍摄时，多次改变斜向干涉条纹的相位，重复拍摄受斜向干涉条纹调制的荧光信号，直至拍摄完一层荧光样品对应图像，其中，至少两次的斜向干涉条纹的相位不相同；然后，再改变荧光样品轴向位置，重复拍摄不同相位的斜向干涉条纹照明下的样品荧光信号，得到一系列混有荧光样品高低频信息的三维低分辨率图像，作为原始图像；
在本发明的具体实施例中，在对荧光样品的每一层进行拍摄时，三次改变斜向干涉条纹的相位，重复拍摄受斜向干涉条纹调制的荧光信号，直至拍摄完一层荧光样品对应图像，其中，三个斜向干涉条纹的相位均不相同；然后，再改变荧光样品轴向位置，重复拍摄不同相位的斜向干涉条纹照明下的样品荧光信号，得到一系列混有荧光样品高低频信息的三维低分辨率图像，作为原始图像。
可以理解地是，三个斜向干涉条纹之间相位的差值可以是，但是不限于2π/3。
S300、将获得的原始图像进行后续图像处理得到超分辨率图像。
其中，将获得的原始图像进行后续图像处理得到超分辨率图像，包括：
S310、根据公式1计算带有高频信息的光学传递函数OTF；
（1）
上式中，是原始图像的频谱，/>包含了调制深度的常数，/>是/>的傅里叶变换也就是带有高频信息的光学传递函数OTF，/>是样品分布函数的频谱，和/>分别是正弦条纹的波矢和相位，/>是虚数单位，/>是倒空间的频率矢量；m为0、+1或-1。
将样品函数替换为狄拉克/>函数的频谱，对公式（1）进行变换，得到公式（2）：
（2）
因为在本实施例中，三个斜向干涉条纹之间相位的差值为2π/3，得到方程组（3）：
（3）
再此需要说明的是，斜向干涉条纹之间的相位的差值可以为，但是不限于2π/3。例如，若三个斜向干涉条纹之间的相位的差值为2π/3，在公式（2）里分别是；若三个斜向干涉条纹之间的相位的差值为π/3，则在公式（2）里分别是/>。
其中，为了不混淆，以I1、I2和I3代替公式（2）中不同相位的来表示原始图像的频谱，解上述方程可以得到带有斜向干涉条纹的光学传递函数OTF：
从上述求解结果可知，0级的OTF可以直接求出。至于1级的OTF，因为OTF具有对称性，并且调制深度可以整合到OTF之中，因此/>，可以消掉/>计算出一级的OTF的值。
S320、根据带有斜向不同频率信号的光学传递函数OTF和原始图像重建超分辨图像。首先根据三个相位的差值的原始图像解耦合出0级和±1级的频谱：
其中，包括未知的样品频谱；
首先计算出重建参数，包括调制深度C、条纹矢量、初始相位/>。计算方法是利用交叉相乘然后迭代计算互相关系数，先预估一个/>的值/>，计算以下公式：
对这两个公式做互相关，然后取互相关的最大值来作为新的/>再代入该式进行迭代计算，直到结果收敛，此时再利用线性拟合求出相位/>。然后再通过比较/>和/>来计算出调制深度。
以上用的是来进行计算，然后需要再用同样的方法计算/>，然后将参数取平均作为最终的参数计算结果。
参数计算完成之后，通过Weiner滤波来得到重建图像，即：
其中，是维纳系数，在本实验中取值0.002∼0.005，/>是一个支撑函数，其作用是将理论分辨率极限之外的频谱值设为0，以减少噪声干扰，本实验中使用的是理论OTF边界作为支撑函数的边界。最后对/>求傅里叶逆变换并取实部就得到最终的超分辨三维图像。
还需要说明地是，对原始图像进行后图像处理的方法并不局限于上述S310和S320记载的方法，还可以是对rDL-SIM（合理化深度学习SIM）、direct-SIM（直接空域重建SIM）、PCA-SIM（主成分分析SIM）、Sparse-SIM（稀疏解卷积SIM）、Hessian-SIM（海森SIM）、JSFR-SIM（空域频域混合重建SIM）、HiFi-SIM（高保真SIM）、Open-3DSIM（开源3DSIM）等方法进行稍微改进后的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种结构光照明三维超分辨率成像方法，其特征在于，包括：
采用与荧光样品的采集面不垂直的斜向干涉条纹照明荧光样品；所述荧光样品受到所述斜向干涉条纹调制后频谱产生频移；由物镜接收所述荧光样品发出的荧光信号后，经过透镜汇聚到成像像面，用探测器接收所述荧光信号，得到一张混有所述荧光样品高低频信息的低分辨率图像；
在对所述荧光样品的每一层进行拍摄时，多次改变所述斜向干涉条纹的相位，重复拍摄受所述斜向干涉条纹调制的所述荧光信号，直至拍摄完一层所述荧光样品对应图像，其中，至少两次的所述斜向干涉条纹的相位不相同；然后，再改变所述荧光样品轴向位置，重复拍摄不同相位的所述斜向干涉条纹照明下的样品荧光信号，得到一系列混有所述荧光样品高低频信息的三维低分辨率图像，作为原始图像；
将获得的所述原始图像进行后续图像处理得到超分辨率图像。
2.根据权利要求1所述的结构光照明三维超分辨率成像方法，其特征在于，所述将获得的所述原始图像进行后续图像处理得到超分辨率图像，包括：
计算带有高频信息的光学传递函数OTF：
根据带有高频信息的光学传递函数OTF与带有干涉条纹的原始图像，计算得到所述荧光样品的超分辨图像。
3.一种结构光照明三维超分辨率成像***，其特征在于，包括：
激光器（1），用于输出激光光束；
线性偏振光输出组件（2），用于对所述激光光束进行线性偏振以输出线性偏振光；
相位调整组件（3），与所述线性偏振光输出组件（2）间隔设置，用于调整所述线性偏振光的相位；
偏振分束器（4），与所述相位调整组件（3）间隔设置，用于对所述相位调整组件（3）输出的所述线性偏振光进行分束，以输出相位不同的第一分光束和第二分光束；
偏振组件（6），与所述偏振分束器（4）间隔设置，用于调整所述第一分光束或/和所述第二分光束的偏振方向，使所述第一分光束与所述第二分光束的偏振方向相同；
第一二向色镜（7），用于将偏振方向相同的所述第一分光束与所述第二分光束分别反射向物镜（8）的后口中央位置和边缘位置，以被所述物镜（8）准直；被所述物镜（8）准直后的所述第一分光束和所述第二分光束干涉形成斜向干涉条纹以照明荧光样品（13）。
4.根据权利要求3所述的结构光照明三维超分辨率成像***，其特征在于，所述第一分光束和所述第二分光束的相位差包括0、2π/3或4π/3。
5.根据权利要求3所述的结构光照明三维超分辨率成像***，其特征在于，所述线性偏振光输出组件（2）包括：
起偏器（201），间隔设于所述激光器（1）和所述相位调整组件（3）之间，用于对所述激光光束进行线性偏振，以输出线性偏振光。
6.根据权利要求5所述的结构光照明三维超分辨率成像***，其特征在于，所述线性偏振光输出组件（2）还包括：
第一偏振器（202），间隔设置于所述起偏器（201）和所述相位调整组件（3）之间，用于改变所述线性偏振光的偏振方向。
7.根据权利要求5所述的结构光照明三维超分辨率成像***，其特征在于，还包括：
光强调整组件（10），与所述激光器（1）相对设置，用于调整所述激光光束的激光强度。
8.根据权利要求7所述的结构光照明三维超分辨率成像***，其特征在于，所述线性偏振光输出组件（2）还包括：
保偏光纤（203）；
光纤耦合头（204），与所述光强调整组件（10）的输出端以及所述保偏光纤（203）输入端连接，用于将所述光强调整组件（10）输出的所述激光光束耦入所述保偏光纤（203）中；
准直器（205），与所述保偏光纤（203）的输出端连接，用于对所述保偏光纤（203）输出的所述激光光束进行准直，并将准直后的所述激光光束射向所述相位调整组件（3）。
9.根据权利要求3所述的结构光照明三维超分辨率成像***，其特征在于，还包括：
第一反射组件（5），与所述偏振分束器（4）间隔设置，用于改变所述第一分光束的传播方向，使被所述第一反射组件（5）反射的所述第一分光束与所述第二分光束的传播方向相同。
10.根据权利要求3至9任一项所述的结构光照明三维超分辨率成像***，其特征在于，所述激光器（1）的数量至少为两个，所述结构光照明三维超分辨率成像***还包括第二二向色镜；所述第二二向色镜用于将来自不同的所述激光器（1）的所述激光光束耦合到同一光路，还用于将耦合的所述激光光束输入所述线性偏振光输出组件（2）。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311296033.0A CN117030674A (zh) | 2023-10-09 | 2023-10-09 | 结构光照明三维超分辨率成像***和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311296033.0A CN117030674A (zh) | 2023-10-09 | 2023-10-09 | 结构光照明三维超分辨率成像***和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117030674A true CN117030674A (zh) | 2023-11-10 |
Family
ID=88639853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311296033.0A Pending CN117030674A (zh) | 2023-10-09 | 2023-10-09 | 结构光照明三维超分辨率成像***和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117030674A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2801854A1 (en) * | 2013-05-10 | 2014-11-12 | Ruprecht-Karls-Universität Heidelberg | Method and apparatus for combination of localization microscopy and structured illumination microscopy |
| CN107389631A (zh) * | 2017-04-28 | 2017-11-24 | 中国科学院生物物理研究所 | 高速多色多模态结构光照明超分辨显微成像***及其方法 |
| CN109712072A (zh) * | 2018-12-15 | 2019-05-03 | 浙江大学 | 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法 |
| CN110823372A (zh) * | 2019-10-14 | 2020-02-21 | 中国科学院生物物理研究所 | 一种结构光照明多焦面三维超分辨率成像*** |
| WO2021143707A1 (zh) * | 2020-01-19 | 2021-07-22 | 北京大学 | 一种双模态显微成像***和方法 |
| CN113670878A (zh) * | 2021-08-25 | 2021-11-19 | 西安交通大学 | 基于空频域混合式重建的超分辨结构光照明显微成像方法 |
| CN114111565A (zh) * | 2021-11-25 | 2022-03-01 | 中国工程物理研究院激光聚变研究中心 | 多方位联合诊断速度干涉仪 |
| CN115372329A (zh) * | 2022-08-29 | 2022-11-22 | 华南师范大学 | 一种基于荧光损耗超分辨法的近红外结构光照明光片成像方法与装置 |
| CN116183568A (zh) * | 2023-01-06 | 2023-05-30 | 之江实验室 | 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 |
-
2023
- 2023-10-09 CN CN202311296033.0A patent/CN117030674A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2801854A1 (en) * | 2013-05-10 | 2014-11-12 | Ruprecht-Karls-Universität Heidelberg | Method and apparatus for combination of localization microscopy and structured illumination microscopy |
| CN107389631A (zh) * | 2017-04-28 | 2017-11-24 | 中国科学院生物物理研究所 | 高速多色多模态结构光照明超分辨显微成像***及其方法 |
| CN109712072A (zh) * | 2018-12-15 | 2019-05-03 | 浙江大学 | 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法 |
| CN110823372A (zh) * | 2019-10-14 | 2020-02-21 | 中国科学院生物物理研究所 | 一种结构光照明多焦面三维超分辨率成像*** |
| WO2021143707A1 (zh) * | 2020-01-19 | 2021-07-22 | 北京大学 | 一种双模态显微成像***和方法 |
| CN113670878A (zh) * | 2021-08-25 | 2021-11-19 | 西安交通大学 | 基于空频域混合式重建的超分辨结构光照明显微成像方法 |
| CN114111565A (zh) * | 2021-11-25 | 2022-03-01 | 中国工程物理研究院激光聚变研究中心 | 多方位联合诊断速度干涉仪 |
| CN115372329A (zh) * | 2022-08-29 | 2022-11-22 | 华南师范大学 | 一种基于荧光损耗超分辨法的近红外结构光照明光片成像方法与装置 |
| CN116183568A (zh) * | 2023-01-06 | 2023-05-30 | 之江实验室 | 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| PIERRE JOUCHET 等: ""Nanometric axial localization of single fluorescent molecules with modulated excitation"", NATURE PHOTONICS, vol. 15, no. 4, pages 297 - 304, XP037523387, DOI: 10.1038/s41566-020-00749-9 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6795624B2 (ja) | 空間光変調器ベースのハイパースペクトル共焦点顕微鏡および使用方法 | |
| US8019136B2 (en) | Optical sectioning microscopy | |
| EP3102982B1 (en) | Digital holographic device | |
| EP2788820B1 (en) | Apparatus for producing a hologram | |
| CN112557359B (zh) | 基于空间光调制器的双光子多焦点显微成像***及方法 | |
| US10228655B2 (en) | Incoherent fluorescence digital holographic microscopy using transmission liquid crystal lens | |
| JP2003227796A (ja) | 深部分解による試料把握のための方法および配置 | |
| CN109387496B (zh) | 高分辨率显微成像*** | |
| KR20050119672A (ko) | 간섭계 내에서 물체에 의해 산란/반사 또는 투과된 직교편광 빔의 필드의 결합 측정을 위한 장치 및 방법 | |
| KR20060011938A (ko) | 핀홀 어레이 빔-스플리터가 삽입된 간섭계 공초점 현미경 | |
| KR20050098940A (ko) | 암시야 간섭계 공초점 현미경을 위한 방법 및 장치 | |
| US20220076379A1 (en) | Method for super-resolution evaluation of microscope images illuminated in a structured manner and microscope having structured illumination | |
| WO2009080998A2 (fr) | Microscope a plasmon de surface a haute resolution avec interferometre heterodyne en polarisation radiale | |
| Meng et al. | Fast two-snapshot structured illumination for temporal focusing microscopy with enhanced axial resolution | |
| CN114460731B (zh) | 一种基于dmd的多色结构光照明超分辨显微成像方法和装置 | |
| WO2023221400A1 (zh) | 超分辨单物镜光片显微成像光学***及其成像*** | |
| JPWO2020045584A1 (ja) | ホログラフィック撮像装置およびホログラフィック撮像方法 | |
| US11947098B2 (en) | Multi-focal light-sheet structured illumination fluorescence microscopy system | |
| US10908072B2 (en) | Total internal reflection and transmission illumination fluorescence microscopy imaging system with improved background suppression | |
| CN110824684B (zh) | 一种高速立体三维多模态成像***和方法 | |
| CN117030674A (zh) | 结构光照明三维超分辨率成像***和方法 | |
| WO2007109861A1 (en) | Super resolution microscopy | |
| CN114324245B (zh) | 基于部分相干结构光照明的定量相位显微装置和方法 | |
| TWI537876B (zh) | Image processing method | |
| Li et al. | Estimation-free spatial-domain image reconstruction of structured illumination microscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |