CN113433681B - 结构光照明显微成像***、方法 - Google Patents
结构光照明显微成像***、方法 Download PDFInfo
- Publication number
- CN113433681B CN113433681B CN202110713853.XA CN202110713853A CN113433681B CN 113433681 B CN113433681 B CN 113433681B CN 202110713853 A CN202110713853 A CN 202110713853A CN 113433681 B CN113433681 B CN 113433681B
- Authority
- CN
- China
- Prior art keywords
- illumination
- light
- imaging system
- structured light
- target sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 128
- 238000003384 imaging method Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 99
- 230000000737 periodic effect Effects 0.000 claims abstract description 80
- 238000006073 displacement reaction Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- 230000010363 phase shift Effects 0.000 claims abstract description 9
- 238000009826 distribution Methods 0.000 claims description 30
- 238000000386 microscopy Methods 0.000 claims description 23
- 210000001747 pupil Anatomy 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 6
- 230000004075 alteration Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 210000004688 microtubule Anatomy 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012123 point-of-care testing Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 239000004005 microsphere Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 102000029749 Microtubule Human genes 0.000 description 3
- 108091022875 Microtubule Proteins 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010869 super-resolution microscopy Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 210000002919 epithelial cell Anatomy 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 208000009956 adenocarcinoma Diseases 0.000 description 1
- 238000012984 biological imaging Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000002050 diffraction method Methods 0.000 description 1
- 230000036267 drug metabolism Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Landscapes
- Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本申请涉及一种结构光照明显微成像***、方法，涉及结构光照明显微成像技术领域。该结构光照明显微成像***中，照明***用于出射光波信号到衍射光学***上。衍射光学***用于对接收到的光波信号进行调制，产生二维正弦周期性点阵光斑，并利用二维正弦周期性点阵光斑对目标样品进行扫描。位移台用于移动目标样品，以使二维正弦周期性点阵光斑对目标样品进行移相扫描。显微成像***用于在位移台每次移动目标样品之后获取目标样品的扫描图像，并基于得到的多张扫描图像进行超分辨重构。该结构光照明显微成像***的照明光路相对简单，只需在照明光路中加入衍射光学元件，简化了结构光照明显微成像***的结构复杂度。
Description
技术领域
本申请涉及结构光照明显微成像技术领域，特别是涉及一种结构光照明显微成像***、方法。
背景技术
结构光照明显微镜(英文：Structured Illumination Microscopy，简称：SIM)是一种采用周期性结构光图案照明样品以提升成像分辨率的超分辨技术。
当前SIM***通常需要通过干涉或者投影的方法产生周期性结构光照明样品，且其工作过程包括对光场的周期性调制、空间滤波、偏振控制以及与显微镜光路耦合等众多环节，而每个环节都需要基于特定的设备来完成，例如空间光调制器(英文：Spatial Lightmodulator，简称：SLM)、数字微镜装置(英文：Digital Micromirror Device，简称：DMD)等。
由于SIM***的结构复杂，导致其体积庞大，目前商用的Nikon显微镜SIM***的尺寸为：550mm×300mm×350mm，无法适用于即时检测(英文：Point-of-care testing，简称：POCT)，导致SIM***不能得到较好的推广应用。
发明内容
基于此，有必要针对上述技术问题，提供一种结构光照明显微成像***、方法。
本申请提供一种结构光照明显微成像***，包括：
照明***，用于出射光波信号到衍射光学***上；
衍射光学***，用于对接收到的光波信号进行调制，产生二维正弦周期性点阵光斑，并利用二维正弦周期性点阵光斑对目标样品进行扫描；
位移台，用于移动目标样品，以使二维正弦周期性点阵光斑对目标样品进行移相扫描；
显微成像***，用于在位移台每次移动目标样品之后获取目标样品的扫描图像，并基于得到的多张扫描图像进行超分辨重构。
在其中一个实施例中，照明***包括：
照明组件，用于出射光波信号；
准直扩束组件，用于对光波信号进行准直和扩束，以使光波信号的光斑尺寸适应衍射光学***的接收面尺寸。
在其中一个实施例中，照明组件为激光器或者LED发光器，也可以是其他非相干光源。
在其中一个实施例中，衍射光学***包括衍射光学元件和照明物镜，其中：
衍射光学元件贴于照明物镜的入瞳位置或者位于照明物镜的入瞳位置的前方预设位置，且衍射光学元件的口径尺寸与照明物镜的入瞳尺寸适配，目标样品位于照明物镜的后焦面上；
衍射光学元件，用于对接收到的光波信号的光场分布进行调制；
照明物镜，用于配合衍射光学元件在照明物镜的后焦面上产生二维正弦周期性点阵光斑。
在其中一个实施例中，衍射光学元件为二元光学元件、全息光学元件、微纳光学元件、超构表面和空间光调制器中的任意一个或者任意组合。
在其中一个实施例中，***还包括控制***，
控制***，用于控制位移台移动，以及控制显微成像***获取目标样品的扫描图像。
在其中一个实施例中，显微成像***包括：
成像物镜，用于对二维正弦周期性点阵光斑扫描的目标样品进行成像，得到初始图像；
荧光滤色片，用于对初始图像进行滤波处理；
镜筒透镜，用于对初始图像进行像差校正和放大率匹配；
图像传感器，用于获取目标样品的扫描图像，以及根据多张扫描图像进行超分辨重构。
在其中一个实施例中，二维正弦周期性点阵光斑为由一个平面内两个或多个不同方向的一维正弦分布图案通过相加或相乘所产生的点阵光斑。
在其中一个实施例中，二维正弦周期性点阵光斑的数学模型为：
或者，
其中，
为二维结构光图案光强分布，n为结构光照明图案的序号，在两种不同的图案下，n通常为[1,5]与[1,9]区间的整数，/>
为空域内的位置矢量，/>
分别为二维结构光图案在x、y方向周期所对应的空间频率，φxn、φyn分别为第n帧原始图像在x、y方向的相位参数。
第二方面：
本申请提供一种结构光照明显微成像方法，包括：
利用衍射光学元件生成二维正弦周期性点阵光斑，二维正弦周期性点阵光斑成像于结构光照明显微镜成像***的目标样品上；
利用二维正弦周期性点阵光斑对目标样品进行移相扫描，得到多张扫描图像，根据多张扫描图像进行超分辨重构。
本申请实施例提供的结构光照明显微成像***、方法，具有结构简单、体积小、速度快、成像质量佳等优点。该结构光照明显微成像***中，照明***用于出射光波信号到衍射光学***上，衍射光学***用于对接收到的光波信号进行调制，产生二维正弦周期性点阵光斑，并利用二维正弦周期性点阵光斑对目标样品进行扫描。位移台用于移动目标样品，以使二维正弦周期性点阵光斑对目标样品进行移相扫描。显微成像***用于在位移台每次移动目标样品之后获取目标样品的扫描图像，并基于得到的多张扫描图像进行超分辨重构。本申请实施例提供的结构光照明显微成像***的照明光路相对简单，只需在照明光路中加入衍射光学元件，或者通过成像***将衍射光学元件成像在照明物镜入瞳或附近就可实现；简化了结构光照明显微成像***的结构复杂度，降低了结构光照明显微成像***的成本。
附图说明
图1为本申请实施例提供的一种结构光照明显微成像***的结构示意图；
图2为本申请实施例提供的一种照明***的示意图；
图3为本申请实施例提供的一种衍射光学***的示意图；
图4为本申请实施例提供的一种显微成像***的示意图；
图5为本申请实施例提供的一种控制***的示意图；
图6为本申请实施例提供的一种衍射光学元件设计的基本流程图；
图7为本申请实施例提供的二维正弦周期性点阵光斑的分布示意图；
图8为二维正弦周期性点阵光斑照射至目标样品上的原始图像；
图9为本申请实施例提供的结构光照明显微成像***对微球成像的实验结果的示意图；
图10为本申请实施例提供的结构光照明显微成像***对细胞微管成像结果的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
结构光照明显微镜(英文：Structured Illumination Microscopy，简称：SIM)是一种采用周期性结构光图案照明样品以提升成像分辨率的超分辨技术。
通常显微镜成像可以视为对样品空间频谱的低通滤波过程，而代表样品细节的高频频谱在滤波过程中会丢失，因此会造成样品图像分辨率受到限制。
现有技术中，结构光照明显微镜SIM则通过在空域内使用周期性结构光图案照明样品，将原本光学成像***无法传递的超分辨频谱信息频移进入***可探测区域，混叠在原始图像的空间频谱中进行探测。后续只需要计算分离这些超分辨频谱，即可扩展样品空间频谱的范围，从而提升对应空域图像的分辨率。
在实际应用中，由于结构光图案需要通过物镜生成，其空间频率同样受到衍射极限限制，因此通常最高能将空间频谱范围(直径)扩展1倍，即提升1倍成像分辨率，可见光波段的结构光照明显微镜的成像分辨率一般在100nm左右。由于SIM超分辨成像所需采集原始图像很少，相比其他技术具备显著的成像速度优势，即便分辨率不如单分子定位超分辨显微技术(Single Molecule Localization Microscopy，SMLM)与受激发射耗散(StimulatedEmission Depletion，STED)显微镜，但SIM依旧成为当今广泛应用的几种超分辨技术之一。
目前，一种名为即时检测(英文：Point-of-care testing，简称；POCT)的应用需求在现代医学研究领域迅速增长。过去患者通常需要亲自前往大型医疗机构进行精密的医疗检测或是对患者采样之后送往大型医疗机构进行精密的医疗检测，而POCT的出现使得病人能够在社区或自己家中就近进行采样与检测，显著缩短了从采样到样品测试的间隔时间，避免长时间运输或环境变化带来的样本改变，影响检测结果。即时检测本身随时随地、广泛使用的特点，决定了使用的检测设备必须体积紧凑、便携、使用简单灵活、成本低廉。
SIM作为超分辨技术中最适合活体成像的技术之一，要想满足未来POCT的应用需求，势必开展小型化研究。然而当前的SIM是一套体积庞大、价格昂贵的显微***，还远远无法满足POCT应用对设备便携、成本降低的需求。其中根本原因在于，当前SIM通常需要通过干涉或者投影的方法产生周期性结构光照明样品，***中对光场的周期性调制、空间滤波、偏振控制以及与显微镜光路耦合等众多环节，使得SIM***体积庞大(目前商用的Nikon显微镜SIM***的尺寸为：550mm×300mm×350mm)，其中用到的空间光调制器(英文：SpatialLight modulator，简称：SLM)、数字微镜装置(英文：Digital Micromirror Device，简称：DMD)等也都价格昂贵，给SIM的进一步推广应用带来很多阻碍。
本申请实施例提供一种基于衍射光学元件1021的结构光照明超分辨显微成像***，可以缩小SIM的体积，降低SIM成本。
请参见图1，图1为本申请实施例提供的一种结构光照明显微成像***的结构示意图，该结构光照明显微成像***包括照明***101、衍射光学***102、位移台(图中未示出)和显微成像***103。
其中，照明***101用于出射光波信号到衍射光学***102上。可选的，本申请实施例中，光波信号可以是准直波，可以是球面波，可以是高斯光束，或者是任意分布的照明光波。
衍射光学***102用于对接收到的光波信号进行调制，产生二维正弦周期性点阵光斑，并利用二维正弦周期性点阵光斑对目标样品进行扫描。
位移台用于移动目标样品，以使二维正弦周期性点阵光斑对目标样品进行移相扫描。
显微成像***103用于在位移台每次移动目标样品之后获取目标样品的扫描图像，并基于得到的多张扫描图像进行超分辨重构。
可选的，本申请提供的结构光照明显微成像***中，由于位移台本身存在的反馈控制，在进行每一步移相扫描之后，需等待位移台一定的稳定时间，一般每次位移结束需要等待位移台稳定后再开始拍摄。实际使用中，为了简化控制流程，可以使用位移台的触发信号直接控制图像传感器拍摄，在位移台运动完成后立即开始样品图像的拍摄。
可以理解的是，本发明的实施例中，使用照明***101出射光波信号到衍射光学***102，衍射光学***102对光波信号进行调制，在空域产生二维正弦周期性点阵光斑作为结构光，并用该结构光(二维正弦周期性点阵光斑)照明目标样品，通过位移台对目标样品进行移动，实现移相探测并重构超分辨信息。显微成像***103用于记录不同位置处的目标样品的样品信息，并进行超分辨重构。该方法的特点是利用衍射光学***102生成二维正弦周期性点阵(阵列)光斑作为结构光照明，并且配合一台普通计算机进行数据处理即可实现，具有结构简单、体积小、速度快、成像质量佳等优点，适合用于即时检测的医学和生物的应用需求。
本申请实施例提供的结构光照明显微成像***结合了结构光照明显微镜超分辨率的优点和衍射光学元件小型化的优势，具有结构简单、体积小、速度快、成像质量好等优点，为即时检测等应用需求提供了可能性；进一步的，基于衍射光学***使用衍射的方法实现二维正弦周期性点阵光斑对目标样品的照明，提高了成像效率和能量利用率；本申请实施例提供的结构光照明显微成像***的照明光路相对简单，只需在照明光路中加入衍射光学元件，或者通过成像***将衍射光学元件成像在照明物镜入瞳或附近就可实现；简化了结构光照明显微成像***的结构复杂度，降低了结构光照明显微成像***的成本。
在一个实施例中，本申请实施例还提供一种结构光照明显微成像方法，该方法应用于本申请实施例提供的结构光照明显微成像***，该方法包括利用衍射光学元件生成二维正弦周期性点阵光斑，二维正弦周期性点阵光斑成像于结构光照明显微镜成像***的目标样品上；利用二维正弦周期性点阵光斑对目标样品进行移相扫描，得到多张扫描图像，根据多张扫描图像进行超分辨重构。
其中，光波信号依次经过照明***、衍射光学***，在衍射光学***的照明物镜的后焦面上生成二维正弦周期性点阵光斑，即样品面生成二维正弦周期性点阵光斑照明目标样品。利用位移台对目标样品进行多步移相探测；目标样品的信息依次通过成像物镜、荧光滤色片、镜筒透镜和图像传感器后，经图像传感器处理不同位置处目标样品的扫描图像，重构出超分辨图像。
在其中一个实施例中，如图2所示，照明***101包括照明组件1011和准直扩束组件1012。
其中，照明组件1011用于出射所述光波信号。本申请实施例中，光波信号可以是单色激光信号、LED光信号和非相干光信号，光源可以为激光器、LED发光器或者其他非相干光源。
准直扩束组件1012用于对光波信号进行准直和扩束，以使光波信号的光斑尺寸适应衍射光学***102的接收面尺寸。
其中，准直扩束组件1012包括准直器和扩束器，其中，准直器用于将光源出射的光波变为准直光束，扩束器用于对光波信号进行扩束，扩大光源的口径。通过准直和扩束后可以得到预设尺寸的均匀光波。其中，预设尺寸为衍射光学***102的接受面尺寸。
准直和扩束之后的光波信号的光斑尺寸适应衍射光学***102的接受面尺寸可以是指准直和扩束之后的光波信号的光斑尺寸与衍射光学***102的接受面尺寸相等。也可以是指准直和扩束之后的光波信号的光斑能够全部照射到衍射光学***102的接受面上。
通过使光波信号的光斑尺寸适应衍射光学***102的接收面尺寸可以最大化地将光波信号入射到衍射光学***102中，可以提高显微成像***的分辨率。
在其中一个实施例中，如图3所示，衍射光学***102包括衍射光学元件1021(英文：Diffractive Optical Element,简称：DOE)和照明物镜1022，其中：衍射光学元件1021可以贴于照明物镜1022的入瞳位置，也可以位于照明物镜1022的入瞳位置的前方预设位置，其中，前方预设位置是指到照明物镜1022的入瞳面的距离为预设距离的位置。且衍射光学元件1021的口径尺寸与照明物镜1022的入瞳尺寸适配，目标样品位于照明物镜1022的后焦面上。
在实际应用中，若衍射光学元件1021的口径尺寸比照明物镜1022的入瞳尺寸大，就会导致形成的二维正弦周期性点阵光斑发生变形，影响超分辨重构效果。若衍射光学元件1021的口径尺寸比照明物镜1022的入瞳尺寸小，会导致显微成像***的分辨率下降。而衍射光学元件1021的口径尺寸与照明物镜1022的入瞳尺寸相等，可以达到最佳分辨率效果。
衍射光学元件1021用于对接收到的光波信号的光场分布进行调制。
照明物镜1022用于配合衍射光学元件1021在照明物镜1022的后焦面上产生二维正弦周期性点阵光斑。
可选的，衍射光学元件1021可以是二元光学元件，也可以是全息光学元件、微纳光学元件、超构表面(英文：Metasurface)和空间光调制器等实现光场相位调制和/或振幅调制的各类元件之一或组合。
可选的，本申请实施例中，衍射光学元件1021可用于调节照明物镜1022后焦面的二维正弦周期性点阵光斑的周期、数目等要素。
可选的，二维正弦周期性点阵光斑可以是一个平面内两个或多个不同方向的一维正弦分布图案通过相加或相乘所产生的点阵光斑。
需要说明的是，准直扩束组件用于对光波信号进行准直和扩束，以使光波信号的光斑尺寸适应衍射光学***102的接收面尺寸，其实质是使光波信号的光斑尺寸适应衍射光学元件1021的接收面尺寸。
可以理解的是，衍射光学元件1021可以对准直和扩束后的光波信号的光场分布进行调制，从而使得调制后在空域内形成特定的光斑图形，即二维正弦周期性点阵光斑。其中，照明物镜1022用于配合衍射光学元件1021在照明物镜1022的后焦面上呈现该二维正弦周期性点阵光斑。其中，目标样品位于照明物镜1022的后焦面上，这样二维正弦周期性点阵光斑恰好可以照射到目标样品上，从而实现对目标样品进行扫描的目的。
本申请实施例中，通过衍射光学***102产生二维正弦周期性点阵光斑，并用二维正弦周期性点阵光斑扫描目标样品，从而能够获取到目标样品上的更多信息。
在其中一个实施例中，如图4所示，显微成像***103包括成像物镜1031、荧光滤色片1032、镜筒透镜1033和图像传感器1034，其中：
成像物镜1031用于对二维正弦周期性点阵光斑扫描的目标样品进行成像，得到初始图像。荧光滤色片1032用于对初始图像进行滤波处理。镜筒透镜1033用于对初始图像进行像差校正和放大率匹配。图像传感器1034用于获取目标样品的扫描图像，以及根据多张扫描图像进行超分辨重构。
可选的，本申请实施例中，图像传感器1034包括数据处理模块，数据处理模块可以对处于不同位置处的目标样品的扫描图像进行处理，重构出超分辨图像。
可以理解的是，成像物镜1031对二维正弦周期性点阵光斑照明的目标样品进行成像；荧光滤色片1032可以提高显微成像***的信噪比，使激发波段荧光信号增强，同时使不必要的辐射最小；镜筒透镜1033用于匹配和校正显微成像***的放大率和像差；图像传感器1034用于获取二维正弦周期性点阵光斑照明下目标样品的信息。
可选的，图像传感器可以是CMOS(英文：Complementary Metal OxideSemiconductor,中文：互补金属氧化物半导体晶体管)、sCMOS(英文：ScienceComplementary Metal Oxide Semiconductor,中文：科研型互补金属氧化物半导体晶体管)、CCD(英文：Charge-coupled Device,中文：电荷耦合器件)和EMCCD(英文：Electron-Multiplying Charge-coupled Device,中文：电子倍增电荷耦合器件)等实现图像信息采集的各类器件。
在其中一个实施例中，如图5所示，本申请实施例提供的结构光照明显微成像***还包括控制***105，控制***105用于控制位移台104移动，以及控制显微成像***103获取目标样品的扫描图像。
可选的，控制***还可以与照明***101和衍射光学***102连接，控制照明***101和衍射光学***102启动，其中，照明***101和衍射光学***102启动之后，照明***101出射光波信号到衍射光学元件上，衍射光学元件对光波信号进行调制后在照明物镜的后焦面上形成二维正弦周期性点阵光斑，于此同时，控制***控制位移台104移动，在每次移动之后，控制显微成像***103获取目标样品的扫描图像，从而获取到多张扫描图像，然后基于多张扫描图像进行超分辨重构。
可以理解的是，从结构光照明显微成像的原理可知，二维结构光照明条纹的空间频率是决定结构光照明显微成像***分辨率提升的主要因素。只要采用符合要求的二维结构光图案进行样品照明，结构光照明显微镜就能实现相应的线性/非线性超分辨成像。因此准确生成所需的二维结构光照明图案对于超分辨显微成像至关重要。
本申请实施例提供的结构光照明显微成像***中，二维结构光照明图案即为二维正弦周期性点阵光斑。下面对本申请设计二维正弦周期性点阵光斑的过程进行说明：
本申请实施例中，二维正弦周期性点阵光斑的数学模型包括以下两种类型，分别为：
和，
其中，
为二维正弦周期性点阵光斑的光强分布，n为二维正弦周期性点阵光斑的序号，在两种不同的图案下，n通常为[1,5]与[1,9]区间的整数，/>
为空域内的位置矢量，/>
分别为二维正弦周期性点阵光斑在x、y方向周期所对应的空间频率，φxn、φyn分别为第n帧原始图像在x、y方向的相位参数。
其中，
分别为/>
二维正弦周期性点阵光斑的空间频谱，/>
为空间频域内的频率矢量，δ为狄拉克脉冲函数。/>
在平面波入射下，衍射光学元件DOE的透过率函数与物镜焦平面(即样品平面)的夫琅禾费衍射场呈傅里叶变换的关系。此时，如何设计DOE的相位分布，使衍射场的光强分布呈一定空间频率的二维正弦周期性点阵光斑是核心问题。对于给定的目标衍射场分布，DOE的相位可以使用迭代傅里叶变换算法(英文：Iterative Fourier TransformAlgorithm，简称：IFTA)进行设计。如图6所示，主要步骤包括：
1、将初始等振幅相位场赋予DOE平面：
其中i为迭代次数，
为DOE平面内光场的振幅分布，/>
为DOE平面内光场的相位分布。
2、经傅里叶变换，计算样品平面衍射场分布：
其中τ(i)(x)为物镜后焦面(即样品平面)的振幅分布，ψ(i)(x)为相位分布。
3、在样品平面内，使用目标衍射场(二维结构光照明图案)的振幅分布替换样品平面的振幅分布，相位分布保持不变，获得新的光场：
4、经傅里叶逆变换，计算DOE平面光场分布：
5、将DOE平面的光场振幅分布
重新置为均匀振幅分布。
迭代重复步骤2-5。DOE平面处的光场振幅分布
将收敛为近似的均匀分布，而样品平面光场的振幅分布τ(i)(x)则收敛到目标衍射场(二维结构光照明图案)的振幅分布。此时DOE平面的相位分布/>
即为所需设计的DOE相位，通过衍射可生成所需的二维正弦周期性点阵光斑。
下面结合实例来对本申请提供的结构光照明显微成像***的性能进行说明。
本申请实施例中，可以采用488nm激光通过准直扩束组件生成宽口径的准直光，经安装在照明物镜入瞳或附近的衍射光学元件DOE调制，入射照明物镜，在照明物镜后焦面上生成设计的二维结构光照明图案，即二维正弦周期性点阵光斑。
其中，衍射光学元件DOE及其衍射生成的二维正弦周期性点阵光斑如图7所示。图7中，(a)表示衍射光学元件的相位分布，(b)表示二维正弦周期性点阵光斑的光强分布，(c)和(b)表示水平划线位置光强曲线，(d)和(b)表示竖直划线位置光强曲线。
目标样品经过二维正弦周期性点阵光斑照明之后，相应图像被成像物镜成像并被图像传感器采集，如图8所示。使用位移台对目标样品进行移相扫描，拍摄不同位置目标样品的原始图像。通过这样的方式，本申请实施例提供的结构光照明显微成像***具备SIM满足超分辨成像必须的两大要素：对目标样品的二维正弦周期性点阵光斑照明以及二维正弦周期性点阵光斑的移相探测。
本申请实施例中，根据照明物镜的不同以及衍射光学元件的设计，产生的二维正弦周期性点阵光斑相应发生变化，最大空间频率约为照明物镜1022决定的衍射极限分辨率对应的空间频率的2倍。将位移台移相扫描步距设置为照明图案周期约三分之一的大小，使得移相扫描能在二维照明图案两个或多个方向的一个周期内实现相对均匀的采样，以保证重构结果在整个视场获得均匀的分辨率提升效果。进一步进行迭代重构可提高样品超分辨显微成像质量。
如图9所示，其为基于衍射光学元件的结构光照明超分辨显微成像***对荧光微球成像结果。图9中(a)表示宽场照明下微球的成像结果。(b)表示衍射光学元件调制生成的二维正弦周期性点阵光斑照明下的超分辨结果。(c)表示在划线选定的位置，宽场图像与超分辨图像的光强曲线。通过图9可以直观地看到超分辨图像相比宽场图像分辨率具有显著的提升。其中，(a)和(b)的局部放大图像显示，原本宽场图像中无法分辨的相邻微球在结构光照明超分辨显微成像***图像中已经能够分辨开来。取划线位置光强曲线进行分析如(c)所示，经拟合，两微球的中心间距为567nm，已经超越理论的衍射极限分辨率990nm。
进一步的，为验证本申请实施例提供的结构光照明显微成像***的生物成像能力，对A549细胞的固定细胞样片进行了成像实验，其中，A549细胞腺癌人类肺泡基底上皮细胞，是研究II型肺上皮细胞模型在药物代谢中常用的样品。其中，对细胞微管使用染料进行标记，实验结果如图10所示。其中，图10中(a)表示细胞微管的宽场结果、局部放大结果(右下)和宽场成像的空间频谱(右上)。(b)表示衍射光学元件1021调制生成的二维正弦周期性点阵照明下细胞微管的超分辨结果、局部放大结果(右下)和超分辨成像的空间频谱(右上)。(c)表示在划线选定的位置，宽场图像与超分辨图像的光强曲线。细胞微管宽场图像与超分辨图像的对比同样展示了显著的分辨率提升效果，视场内能找到大量分辨率提升的证据，如(a)和(b)所示，局部放大的区域中，宽场图像观察到的细胞微管模糊一片，无法分辨微管结构，而超分辨图像展示出了清晰的微管结构。此外，超分辨图像的空间频谱相比宽场图像也获得了明显的扩展，这同样能证明***成像分辨率已经超越衍射极限。选取划线位置对比宽场图像与超分辨图像的光强曲线，如(c)所示，在宽场图像中，两条接近的细胞微管无法分辨，而超分辨图像中则能够成功分辨。经数据拟合，两微管中心相距约419nm，小于荧光波长对应的衍射极限625nm，实现了超分辨成像。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种结构光照明显微成像***，其特征在于，包括：
照明***，用于出射光波信号到衍射光学***上；
衍射光学***，用于对接收到的所述光波信号进行调制，产生二维正弦周期性点阵光斑，并利用所述二维正弦周期性点阵光斑对目标样品进行扫描；
所述衍射光学***包括衍射光学元件和照明物镜，所述衍射光学元件，用于对接收到的所述光波信号的光场分布进行调制，还用于调节所述照明物镜后焦面的所述二维正弦周期性点阵光斑的周期、数目；所述照明物镜，用于配合所述衍射光学元件在所述照明物镜的后焦面上产生所述二维正弦周期性点阵光斑；
位移台，用于移动所述目标样品，以使所述二维正弦周期性点阵光斑对所述目标样品进行移相扫描；
显微成像***，用于在所述位移台每次移动所述目标样品之后获取所述目标样品的扫描图像，并基于得到的多张所述扫描图像进行超分辨重构；
所述二维正弦周期性点阵光斑为由一个平面内两个或多个不同方向的一维正弦分布图案通过相加或相乘所产生的点阵光斑。
2.根据权利要求1所述的结构光照明显微成像***，其特征在于，所述照明***包括：
照明组件，用于出射所述光波信号；
准直扩束组件，用于对所述光波信号进行准直和扩束，以使所述光波信号的光斑尺寸适应所述衍射光学***的接收面尺寸。
3.根据权利要求2所述的结构光照明显微成像***，其特征在于，所述照明组件为激光器或者LED发光器。
4.根据权利要求1所述的结构光照明显微成像***，其特征在于，所述衍射光学元件贴于所述照明物镜的入瞳位置或者位于所述照明物镜的入瞳位置的前方预设位置，且所述衍射光学元件的口径尺寸与所述照明物镜的入瞳尺寸适配，所述目标样品位于所述照明物镜的后焦面上。
5.根据权利要求1所述的结构光照明显微成像***，其特征在于，所述衍射光学元件为二元光学元件、全息光学元件、微纳光学元件、超构表面和空间光调制器中的任意一个或者任意组合。
6.根据权利要求1所述的结构光照明显微成像***，其特征在于，所述***还包括控制***，
所述控制***，用于控制所述位移台移动，以及控制所述显微成像***获取所述目标样品的扫描图像。
7.根据权利要求1所述的结构光照明显微成像***，其特征在于，所述显微成像***包括：
成像物镜，用于对所述二维正弦周期性点阵光斑扫描的所述目标样品进行成像，得到初始图像；
荧光滤色片，用于对所述初始图像进行滤波处理；
镜筒透镜，用于对所述初始图像进行像差校正和放大率匹配；
图像传感器，用于获取所述目标样品的扫描图像，以及根据多张所述扫描图像进行超分辨重构。
8.根据权利要求1所述的结构光照明显微成像***，其特征在于，所述二维正弦周期性点阵光斑的数学模型为：
或者，
其中，
为二维结构光图案光强分布，n为结构光照明图案的序号，在两种不同的图案下，n通常为[1,9]区间的整数，
为空域内的位置矢量，
分别为二维结构光图案在x、y方向周期所对应的空间频率，φxn、φyn分别为第n帧原始图像在x、y方向的相位参数。
9.一种结构光照明显微成像方法，其特征在于，应用于如权利要求1-8中任一项所述的结构光照明显微成像***，所述方法包括：
利用衍射光学元件生成二维正弦周期性点阵光斑，所述二维正弦周期性点阵光斑成像于结构光照明显微镜成像***的目标样品上；
利用所述二维正弦周期性点阵光斑对目标样品进行移相扫描，得到多张扫描图像，根据多张所述扫描图像进行超分辨重构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110713853.XA CN113433681B (zh) | 2021-06-25 | 2021-06-25 | 结构光照明显微成像***、方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110713853.XA CN113433681B (zh) | 2021-06-25 | 2021-06-25 | 结构光照明显微成像***、方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113433681A CN113433681A (zh) | 2021-09-24 |
| CN113433681B true CN113433681B (zh) | 2023-03-24 |
Family
ID=77754772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110713853.XA Active CN113433681B (zh) | 2021-06-25 | 2021-06-25 | 结构光照明显微成像***、方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113433681B (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102008049878A1 (de) * | 2008-09-30 | 2010-04-01 | Carl Zeiss Microlmaging Gmbh | Verbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung |
| CN102735617B (zh) * | 2012-06-29 | 2014-06-04 | 浙江大学 | 一种超分辨显微方法和装置 |
| TWI718557B (zh) * | 2018-06-29 | 2021-02-11 | 美商伊路米納有限公司 | 用於預測結構照明參數之方法、系統和非暫時性電腦可讀取媒體 |
-
2021
- 2021-06-25 CN CN202110713853.XA patent/CN113433681B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113433681A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10401609B2 (en) | Embedded pupil function recovery for fourier ptychographic imaging devices | |
| CN110262026B (zh) | 孔径扫描傅立叶重叠关联成像 | |
| US9998658B2 (en) | Variable-illumination fourier ptychographic imaging devices, systems, and methods | |
| CN110954521B (zh) | 一种宽场超分辨显微成像方法及其*** | |
| US8946619B2 (en) | Talbot-illuminated imaging devices, systems, and methods for focal plane tuning | |
| CN110487762B (zh) | 基于多焦点光照明的超分辨贝塞尔显微成像装置及方法 | |
| JP6708667B2 (ja) | ビーム整形及び光シート顕微鏡検査のためのアセンブリ及び方法 | |
| JP2015535348A (ja) | フーリエ・タイコグラフィー撮像システム、装置、及び方法 | |
| CN110954523B (zh) | 一种双光子扫描结构光显微成像方法及装置 | |
| CN109477954A (zh) | 具有相位调制元件的scape显微术和图像重构 | |
| CN116183568B (zh) | 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 | |
| JP2024016219A (ja) | プログラム可能な多点照明器、共焦点フィルタ、共焦点顕微鏡、および共焦点顕微鏡を操作する方法 | |
| Konda | Multi-Aperture Fourier Ptychographic Microscopy: Development of a high-speed gigapixel coherent computational microscope | |
| CN113917677A (zh) | 一种三维超分辨率光片显微成像方法和显微镜 | |
| CN113433681B (zh) | 结构光照明显微成像***、方法 | |
| NL2023860B1 (en) | Pattern activated structured illumination localization microscopy | |
| Ye et al. | Compressive confocal microscopy | |
| WO2023060091A1 (en) | Enhanced resolution imaging | |
| CN117369106B (zh) | 一种多点共聚焦图像扫描显微镜及成像方法 | |
| US11156818B2 (en) | Flexible light sheet generation by field synthesis | |
| CN221303726U (zh) | 点阵结构照明***及宽场衍射同步相移超分辨显微成像*** | |
| CN112485230B (zh) | 基于主动时间调制混频激发照射的超分辨显微成像方法及装置 | |
| CN117368174A (zh) | 成像***及成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |