CN110824681A - 一种无扫描高超分辨光学三维显微成像方法 - Google Patents

一种无扫描高超分辨光学三维显微成像方法 Download PDF

Info

Publication number
CN110824681A
CN110824681A CN201911064422.4A CN201911064422A CN110824681A CN 110824681 A CN110824681 A CN 110824681A CN 201911064422 A CN201911064422 A CN 201911064422A CN 110824681 A CN110824681 A CN 110824681A
Authority
CN
China
Prior art keywords
lens
image
imaging
light modulator
spatial light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911064422.4A
Other languages
English (en)
Other versions
CN110824681B (zh
Inventor
王健
郭宗林
梁志文
张瑞祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201911064422.4A priority Critical patent/CN110824681B/zh
Publication of CN110824681A publication Critical patent/CN110824681A/zh
Application granted granted Critical
Publication of CN110824681B publication Critical patent/CN110824681B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明属于光学显微成像技术领域，涉及的是一种无扫描高超分辨光学三维显微成像方法，是一种利用无衍射光束的自弯曲传播效应实现高分辨率、无需机械扫描的三维体成像的方法。将倒置荧光显微镜***的像面处形成样品的放大像，经第一透镜、反射式或透射式空间光调制器、第二透镜，由CCD相机成像，然后利用空间光调制器产生变化的调制图案，从而得到一系列的投影图像，利用重建算法将这些投影图像进行重建，从而得到原物的三维体结构信息。本发明能够实现无扫描高超分辨率三维显微成像，成像速度较快。

Description

一种无扫描高超分辨光学三维显微成像方法
技术领域
本发明属于光学显微成像技术领域，具体涉及的是一种无扫描高超分辨率三维显微成像方法。
背景技术
光学显微镜是一种精密仪器，已有300多年的历史，它具有非接触、低毒性的特点，非常适用于活体生物组织和细胞的成像。为了在生物组织内获得高对比度、清晰的图像，荧光显微技术成为光学显微镜发展的重要分支，成为生物高超分辨显微技术领域的主要研究方向。荧光显微技术的发展，一直追求三个方面的性能提升：分辨率、成像速度(动态成像)和成像景深(体成像)。在成像分辨率方面，远场光学成像受到阿贝衍射极限理论限制，传统最大横向分辨率约为光波长的一半。为了突破限制，目前主要发展了三类技术：1)单分子定位显微技术，如随机光学重建显微技术(STORM)和光激活定位显微技术(PALM)。此类技术结合单分子荧光激发、数据处理与重建获得超分辨图像，但图像重建时间长，难以实现实时成像和三维成像。(2)受激辐射损耗显微技术(STED)。该技术结合光激发与光损耗，可以实现高分辨率的成像，但实时性和三维成像性能较弱。(3)结构光照明显微技术(SIM)。该技术基于频域信息处理方法，分辨率较高，但实时性较低，三维成像能力较差。在成像速度方面，随着分辨率提高，数据处理量增大，导致成像速度降低，因此要求在器件性能和后续数据算法方面突破。在三维信息获取方面，目前主要基于z扫描模式，需要机械移动样品或物镜沿z轴移动，进一步影响成像速度。
发明内容
基于以上不足之处，本发明的目的是提供一种无扫描高超分辨率三维显微成像方法，本方法是一种无需机械扫描即可实现一定深度的高超分辨三维显微成像方法，该方法适用于荧光显微成像，以及结构透明、可自发光样本的显微成像***。
本发明所采用的技术如下：一种无扫描高超分辨光学三维显微成像方法，如下：
(1)光路结构
将样品在倒置荧光显微镜***的像面形成的放大像，经第一透镜、反射式或透射式空间光调制器、第二透镜，由CCD相机成像，其中，第一透镜和第二透镜相同，光阑与第一透镜、第一透镜与空间光调制器、空间光调制器与第二透镜、第二透镜与CCD相机之间的距离均为第一透镜的焦距f；
(2)光场调制图样设计
(2.1)在空间光调制器上产生主图案，所用的公式为：
K(x,y)＝exp{iβ[(x+y)3+(x-y)3]}
公式中，x,y为平面坐标，x,y的范围由空间光调制器的像素数决定，β为调制系数，根据成像深度不同β取值为(0，1)区间；
(2.2)用阶跃光栅图案覆盖空间光调制器图案的两侧部分，形成带状中心主图案；
(2.3)按整数间隔旋转中心带状图案一周360°，每旋转一个角度，在CCD相机上采集一幅图像，形成供图像重建使用的投影图像序列；
(3)图像重建
对不同的调制图像得到的CCD投影图像进行数据重建，从而得到原物的三维图像，其重建步骤如下：
(3.1)对各CCD投影图像进行拉东变换，并定义一个统一的坐标系(u,v,w)，所依据的公式为：
Figure BDA0002258889190000021
其中，(x',y',z')是各投影面的坐标，θ是投影方向与光路主轴的夹角，是各投影图像旋转的角度；
(3.2)针对各投影图在统一坐标系的分布，进行傅里叶变换，得到像空间的三维分布(xT,yT,zT)，所依据的公式为：
Figure BDA0002258889190000031
(3.3)对像空间坐标进行矫正处理，得到物空间真实坐标分布(x,y,z)
Figure BDA0002258889190000032
Figure BDA0002258889190000034
其中，M为显微镜放大倍数，由物镜决定；k＝2π/λ，λ是成像光波波长；R是***点扩散函数艾里光斑主瓣的直径，由实验测得。
步骤2.3中旋转间隔采集次数不少于6。
本发明的优点及有益效果：本发明基于频域调控，可以控制光场俘获z轴信息，是一种新的成像机制，结合光束自弯曲传播特性与无衍射特性，通过投影图像重建，能够实现无扫描高超分辨率三维显微成像。本发明的光路可基于传统倒置荧光显微镜***搭建，因此与传统显微镜技术兼容。本发明适用于荧光显微成像领域，包括生物显微应用、透明晶体自发光显微应用。由于无需机械扫描，因此成像速度较快，按照当前商用的空间光调制器60Hz技术，三维成像速率可到5Hz，成像深度可达10微米以上。
附图说明
图1为反射式成像光路结构图；
图2为透射式成像光路结构图；
图3为调制图像；
图4为图3旋转45°的调制图像；
图5为厚度为8微米的体结构量子点成像结果图；
图6为厚度为10微米的小鼠肾管成像图；
图7为x,y,z三个方向分辨率测量数据图；
其中，1、样品、2、物镜，3、光源，4、二向色镜，5、管镜，6、反射镜，7、光阑，8、CCD相机，9、第二透镜，10、第一透镜，11、反射式空间光调制器，12、透射式空间光调制器。
具体实施方式
下面根据说明书附图举例对本发明做进一步的说明：
实施例1
一种无扫描高超分辨光学三维显微成像方法，如下:
(1)光路结构
如图1-2所示，将样品在采用倒置荧光显微镜***成像，再经过反射式成像光路结构或透射式成像光路结构，光路结构具体如下：光源经二向色镜反射后通过物镜***激发样品的发光物质，样品发光经物镜、二向色镜、管镜后在光阑处形成样品的放大像，该像的放大倍数由选用的物镜倍数决定，此后经第一透镜、反射式或透射式空间光调制器、第二透镜，由CCD摄像机成像，其中，第一透镜和第二透镜相同，光阑与第一透镜、第一透镜与空间光调制器、空间光调制器与第二透镜、第二透镜与CCD相机之间的距离均为第一透镜的焦距f；
(2)光场调制图样设计,本发明的实现，需要多次改变空间光调制器的图案，形成CCD图像序列，进而通过数据重建得到原物的三维像。按照如下步骤产生光场调制图案：
(2.1)在产生空间光调制器上产生主图案，所用的公式为：
K(x,y)＝exp{iβ[(x+y)3+(x-y)3]}
公式中，x,y为空间光调制器平面坐标，x,y的范围由空间光调制器的像素数决定，β为调制系数，根据成像深度不同β取值为(0，1)区间；
(2.2)如图3所示，用阶跃光栅图案覆盖空间光调制器图案的两侧部分，形成带状中心主图案；可削减艾里光束的尾部，得到能量集中的主极大分布，使点扩散函数在数据重建时更容易计算。实际应用中调制图案压缩的大小可根据成像强度和分辨率需求设定。图3中的圆圈部分为光照区域。
(2.3)按整数间隔旋转中心带状图案一周360°，每旋转一个角度，在CCD相机上采集一幅图像，形成供图像重建使用的投影图像序列；其中，间隔角度根据重建三维图像的效果进行选择，通常选择可被360整除的旋转次数，根据实验经验，获得较好重建效果的旋转间隔采集次数不少于6，如图4是旋转45°的结果，即一周的间隔采集次数为8。
(3)图像重建
对不同的调制图像得到的CCD投影图像进行数据重建，从而得到原物的三维图像，其重建步骤如下：
(3.1)对各CCD投影图像进行拉东变换，并定义一个统一的坐标系(u,v,w)，所依据的公式为：
Figure BDA0002258889190000051
其中，(x',y',z')是各投影面的坐标，θ是投影方向与光路主轴的夹角，
Figure BDA0002258889190000052
是各投影图像旋转的角度；
(3.2)针对各投影图在统一坐标系的分布，进行傅里叶逆变换，得到像空间的三维分布(xT,yT,zT)，所依据的公式为：
Figure BDA0002258889190000053
(3.3)对像空间坐标进行矫正处理，得到物空间真实坐标分布(x,y,z)
Figure BDA0002258889190000054
Figure BDA0002258889190000056
其中，M为显微镜放大倍数，由物镜决定；k＝2π/λ，λ是成像光波波长；R是***点扩散函数艾里光斑主瓣的直径，由实验测得。
实施例2
本实施例利用图1的反射式光路，基于647波段的激光光源，分别对厚度为8微米的体结构量子点和厚度10微米的小鼠肾管进行成像，利用公式(1)产生调制图像，β值取0.5，旋转角度为30°，即一周旋转12次，图3-4中遮挡后剩余中间的调制图案占该方向线度的三分之一，根据上述图像重建算法，得到重建图像如图5和图6所示。如图7所示，经过分辨率测量，x,y方向分辨率约为0.5微米，接近传统光学分辨率极限；z方向分辨率约为1.5微米，超过传统光学分辨率极限。

Claims (2)

1.一种无扫描高超分辨光学三维显微成像方法，其特征在于，方法如下:
(1)光路结构
将样品在倒置荧光显微镜***的像面形成的放大像，经第一透镜、反射式或透射式空间光调制器、第二透镜，由CCD相机成像，其中，第一透镜和第二透镜相同，光阑与第一透镜、第一透镜与空间光调制器、空间光调制器与第二透镜、第二透镜与CCD相机之间的距离均为第一透镜的焦距f；
(2)光场调制图样设计
(2.1)在空间光调制器上产生主图案，所用的公式为：
K(x,y)＝exp{iβ[(x+y)3+(x-y)3]}
公式中，x,y为平面坐标，x,y的范围由空间光调制器的像素数决定，β为调制系数，根据成像深度不同β取值为(0，1)区间；
(2.2)用阶跃光栅图案覆盖空间光调制器图案的两侧部分，形成带状中心主图案；
(2.3)按整数间隔旋转中心带状图案一周360°，每旋转一个角度，在CCD相机上采集一幅图像，形成供图像重建使用的投影图像序列；
(3)图像重建
对不同的调制图像得到的CCD投影图像进行数据重建，从而得到原物的三维图像，其重建步骤如下：
(3.1)对各CCD投影图像进行拉东变换，并定义一个统一的坐标系(u,v,w)，所依据的公式为：
其中，(x',y',z')是各投影面的坐标，θ是投影方向与光路主轴的夹角，
Figure FDA0002258889180000012
是各投影图像旋转的角度；
(3.2)针对各投影图在统一坐标系的分布，进行傅里叶变换，得到像空间的三维分布(xT,yT,zT)，所依据的公式为：
Figure FDA0002258889180000013
(3.3)对像空间坐标进行矫正处理，得到物空间真实坐标分布(x,y,z)
Figure FDA0002258889180000021
Figure FDA0002258889180000022
Figure FDA0002258889180000023
其中，M为显微镜的放大倍数，由物镜决定；k＝2π/λ，λ是成像光波波长；R是***点扩散函数艾里光斑主瓣的直径。
2.根据权利要求1所述的一种无扫描高超分辨光学三维显微成像方法，其特征在于：步骤2.3中旋转间隔采集次数不少于6。
CN201911064422.4A 2019-11-04 2019-11-04 一种无扫描高超分辨光学三维显微成像方法 Expired - Fee Related CN110824681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911064422.4A CN110824681B (zh) 2019-11-04 2019-11-04 一种无扫描高超分辨光学三维显微成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911064422.4A CN110824681B (zh) 2019-11-04 2019-11-04 一种无扫描高超分辨光学三维显微成像方法

Publications (2)

Publication Number Publication Date
CN110824681A true CN110824681A (zh) 2020-02-21
CN110824681B CN110824681B (zh) 2021-10-19

Family

ID=69552237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911064422.4A Expired - Fee Related CN110824681B (zh) 2019-11-04 2019-11-04 一种无扫描高超分辨光学三维显微成像方法

Country Status (1)

Country Link
CN (1) CN110824681B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474699A (zh) * 2020-04-09 2020-07-31 浙江未来技术研究院(嘉兴) 一种可编程孔径的手术显微镜
CN113647904A (zh) * 2021-07-12 2021-11-16 中国科学院深圳先进技术研究院 一种旋转控制模块、方法与***
CN114967092A (zh) * 2022-06-16 2022-08-30 华东师范大学 基于压缩感知的超高速结构光照明超分辨显微成像装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7154598B2 (en) * 2002-07-12 2006-12-26 Decision Biomarkers, Inc. Excitation and imaging of fluorescent arrays
CN103148800A (zh) * 2013-01-28 2013-06-12 浙江大学 一种基于光场传播的非标记三维显微方法和装置
CN103413748A (zh) * 2013-08-13 2013-11-27 中国科学院化学研究所 一种多通道光成像激光电离源
CN105547144A (zh) * 2015-11-30 2016-05-04 哈尔滨工业大学 一种超分辨结构探测阵列共焦相干成像装置及其成像方法
CN109870441A (zh) * 2019-03-27 2019-06-11 浙江大学 基于移频的三维超分辨光切片荧光显微成像方法和装置
CN110389121A (zh) * 2019-07-24 2019-10-29 中国科学院半导体研究所 多焦点结构光照明荧光成像***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7154598B2 (en) * 2002-07-12 2006-12-26 Decision Biomarkers, Inc. Excitation and imaging of fluorescent arrays
CN103148800A (zh) * 2013-01-28 2013-06-12 浙江大学 一种基于光场传播的非标记三维显微方法和装置
CN103413748A (zh) * 2013-08-13 2013-11-27 中国科学院化学研究所 一种多通道光成像激光电离源
CN105547144A (zh) * 2015-11-30 2016-05-04 哈尔滨工业大学 一种超分辨结构探测阵列共焦相干成像装置及其成像方法
CN109870441A (zh) * 2019-03-27 2019-06-11 浙江大学 基于移频的三维超分辨光切片荧光显微成像方法和装置
CN110389121A (zh) * 2019-07-24 2019-10-29 中国科学院半导体研究所 多焦点结构光照明荧光成像***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474699A (zh) * 2020-04-09 2020-07-31 浙江未来技术研究院(嘉兴) 一种可编程孔径的手术显微镜
CN113647904A (zh) * 2021-07-12 2021-11-16 中国科学院深圳先进技术研究院 一种旋转控制模块、方法与***
CN114967092A (zh) * 2022-06-16 2022-08-30 华东师范大学 基于压缩感知的超高速结构光照明超分辨显微成像装置
CN114967092B (zh) * 2022-06-16 2023-06-23 华东师范大学 基于压缩感知的超高速结构光照明超分辨显微成像装置

Also Published As

Publication number Publication date
CN110824681B (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN110824681B (zh) 一种无扫描高超分辨光学三维显微成像方法
CN108982452B (zh) 基于双螺旋点扩散函数的多焦点扫描三维成像方法及***
CN108680544B (zh) 一种结构化照明的光切片荧光显微成像方法和装置
US8019136B2 (en) Optical sectioning microscopy
US20090219607A1 (en) Method and apparatus for enhanced resolution microscopy of living biological nanostructures
CN110954521B (zh) 一种宽场超分辨显微成像方法及其***
CN109712072B (zh) 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法
CN112557359B (zh) 基于空间光调制器的双光子多焦点显微成像***及方法
CN106885796B (zh) 一种超分辨率荧光数字全息断层显微成像***与方法
CN113670878B (zh) 基于空频域混合式重建的超分辨结构光照明显微成像方法
JP2017219826A (ja) 波面制御器を用いた３次元屈折率映像撮影および蛍光構造化照明顕微鏡システムと、これを利用した方法
JP2018055082A (ja) 変換装置、照明装置および光シート蛍光顕微鏡
CN114113019B (zh) 一种基于多重信号分类算法的阵列扫描超分辨显微成像装置、方法、设备及存储介质
JP5085608B2 (ja) 空間光変調器を用いた広視野超解像光学顕微鏡
CN116183568B (zh) 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
CN110954522A (zh) 一种多焦点超分辨光学显微成像方法及装置
Shao et al. Multifocal multiphoton microscopy based on a spatial light modulator
CN111610150B (zh) 全场结构光相干编码断层成像装置及方法
CN111024664B (zh) 一种结构光照明超分辨显微芯片的成像方法
US11947098B2 (en) Multi-focal light-sheet structured illumination fluorescence microscopy system
KR102082747B1 (ko) 초점거리 조절이 가능한 ｌｅｄ 어레이 기반 3차원 이미징 장치 및 방법
Shao et al. Addressable multiregional and multifocal multiphoton microscopy based on a spatial light modulator
CN108982455A (zh) 一种多焦点光切片荧光显微成像方法和装置
CN113946044B (zh) 基于点扩散函数工程的多焦点多光子显微成像***及方法
JP2022527827A (ja) 構造化照明顕微鏡法を使用した高度な試料画像化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211019