CN115248498A - 基于led光源的结构光超分辨自适应显微镜装置及成像方法 - Google Patents

基于led光源的结构光超分辨自适应显微镜装置及成像方法 Download PDF

Info

Publication number
CN115248498A
CN115248498A CN202210956364.1A CN202210956364A CN115248498A CN 115248498 A CN115248498 A CN 115248498A CN 202210956364 A CN202210956364 A CN 202210956364A CN 115248498 A CN115248498 A CN 115248498A
Authority
CN
China
Prior art keywords
light
light source
wavefront
fluorescence
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210956364.1A
Other languages
English (en)
Inventor
桑浩
丁志杨
屈亚威
韩军伟
付威威
张贺晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202210956364.1A priority Critical patent/CN115248498A/zh
Publication of CN115248498A publication Critical patent/CN115248498A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了基于LED光源的结构光超分辨自适应显微镜装置及成像方法,涉及显微镜领域,本发明结构简单,使用DMD作为结构光产生器件,通过控制器调制出不同的相位,可以使得显微镜获取的图像分辨率最高提高一倍,并且无运动部件,简化了调节流程,便于***的稳定可靠,深层次组织成像像差导致的图像分辨率降低问题,通过在探测器前端加装自适应光学装置与***,实时校正由于生物样本折射率不均匀或者变化导致的像差,便于荧光显微镜对活体生物组织的深层部位进行高分辨率成像,并结合DMD自身的特点,加装光源强度监控装置,便于实时监控光源强度的变化,当光强变化时,给使用者提供一个实时反馈,从而进行更换光源操作或者检查电压变化的情况等。

Description

基于LED光源的结构光超分辨自适应显微镜装置及成像方法
技术领域
本发明涉及显微镜领域,具体是基于LED光源的结构光超分辨自适应显微镜装置及成像方法。
背景技术
结构光照明的超分辨率荧光显微镜,其基本原理为:利用有空间结构的光束来激发荧光,激发图形和荧光团密度的混合频率,将样品中通常不可见的高频信息携带到显微镜的可见低通频带;通过改变图案的方向和相位,记录荧光结果并对得到的多个图像数据集进行适当的处理,提取携带的高频信息,并重建出检测物体超分辨率图像。SIM(Structure Illumination Microscopy)横向分辨率理论上可以达到传统荧光显微镜的两倍,且其成像速度快,对荧光标记没有特殊要求。
传统的结构光显微镜都是采用光栅作为空间光调制器,由压电陶瓷驱动光栅实现相移,该方法简单,但不能对照明的稳定性或空间均匀性进行校正,并且容易引起光栅相移的不稳定性,需要很繁琐的标定,此外,在结构光使用中,轴向分辨率越高,要求调制频率越高,因此在使用不同参数的物镜时,要求调制频率也跟着变化,而光栅的空间频率是固定的,这样,在切换物镜时,需要手动更换合适频率的光栅,操作使用起来较为麻烦。
荧光显微镜借助荧光探针对生物组织或细胞等进行特异性标记,并能够实现活体和高分辨率成像,但是由于光的波动性质,传统的光学显微镜受到衍射极限的限制,并且由于像差的存在,其很难达到衍射极限的分辨率,显微镜中的像差主要来源有下面三种:1)光学***装调和光学器件不理想引入的低阶像差;2)生物样本折射率不均匀引起的像差;3)生物样本与显微镜浸润介质折射率不匹配引起的像差。像差会导致图像对比度和分辨率的降低,生物组织的复杂性(如对光产生反射、散射等效应)影响了光线的传播,使得荧光显微镜无法对活体生物组织的深层进行高分辨率成像。
因此在对活体组织或者具有一定深度的组织显微成像时,结构光调节起来较为繁琐,影响成像速度,有一定深度的组织成像时,组织的厚度不均匀带来折射率不均匀的情况出现,导致像差难以校正,影响成像的清晰度。
荧光显微镜使用时一般使用氙灯或者卤素灯作为照明光源,照明到DMD芯片上产生结构光,DMD出射光通过滤光片、分光镜、物镜等器件后照射到物体表面,卤素光源或者氙灯相对于LED光源寿命较短,因此使用一定的时间之后,光源的亮度会有所降低,需经常性的替换光源;如果外界电压有所波动,卤素光源或者氙灯的光源强度也势必有所变化,光强的变化会导致获取的物体荧光信息失真或者效果变差,甚至由于光强的不足,激发不了物体的荧光信号,因此光源强度的变化信息需实时监控,稳定良好的照明是荧光显微镜正常工作的基本保证。
发明内容
本发明的目的在于提供基于LED光源的结构光超分辨自适应显微镜装置及成像方法,通过各个结构之间的配合作用,能够对显微镜成像的像差进行实时校正,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
基于LED光源的结构光超分辨自适应显微镜装置,光源,所述光源射出后经过科勒照明投射到DMD器件表面;DMD器件,所述DMD器件产生余弦结构光照明依次经过反光镜和聚焦透镜,进入荧光模块滤光片立方;荧光模块滤光片立方,所述荧光模块滤光片立方用于反射激发光至载物台上,并透过载物台上物体表面的荧光至波前校正器;波前校正器,所述波前校正器与波前控制器相连,用于对波前误差进行校正;以及相机,所述相机用于采集并拍摄像差校正后的荧光图像。
作为本发明进一步的方案:所述DMD器件包括若干个反光镜以及用于控制反光镜的微电机,所述反光镜包括角度不偏转的第一反光镜,相对第一反光镜偏转+12°的第二反光镜以及相对第一反光镜偏转-12°的第三反光镜。
作为本发明进一步的方案:位于DMD器件偏转+12°或-12°的位置处设有光源探测器,用于对DMD器件的结构光强实时监测并记录。
作为本发明进一步的方案:所述荧光模块滤光片立方由一片激发光滤光片、一片发射光滤光片和一片二向色镜组成。
作为本发明进一步的方案:所述波前矫正器在光路的一侧设有分光镜,所述波前传感器设置在分光镜的反射光路上,所述相机位于分光镜透射光的光路上。
作为本发明进一步的方案:所述荧光模块滤光片立方与载物台之间设有聚焦物镜,所述相机与分光镜之间设有用于聚焦光的聚焦镜。
基于LED光源的结构光超分辨自适应显微镜装置的成像方法,包括:
S1、在待探测组织的同一深度处注入荧光微球;
S2、照明光源经过科勒照明投射到DMD器件表面,DMD器件产生余弦结构光并投射到反光镜上,反光镜将结构光反射到物镜上,形成平行结构光投射到荧光模块滤光片立方上,只让特定波段的光通过;
S3、特定波段的光反射到载物台上,激发物体荧光,物体荧光通过荧光模块滤光片立方;
S4、波前校正器接收到待探测组织的荧光信号,获取荧光微球处到探测器的像差情况;
S5、将探测荧光微球的发光作为参考光源测量波前误差,通过重构矩阵方式,利用波前信息产生波前校正器控制电压,波前控制器对波前校正器施加电流校正电压直至波前误差最小;
S6、相机采集像差校正后的荧光图像。
与现有技术相比,本发明的有益效果是:本发明结构新颖,使用DMD作为结构光产生器件,通过控制器调制出不同的相位,可以使得显微镜获取的图像分辨率最高提高一倍,并且无运动部件,简化了调节流程,便于***的稳定可靠,深层次组织成像像差导致的图像分辨率降低问题,通过在探测器前端加装自适应光学装置与***,实时校正由于生物样本折射率不均匀或者变化导致的像差,便于荧光显微镜对活体生物组织的深层部位进行高分辨率成像,并结合DMD自身的特点,加装光源强度监控装置,便于实时监控光源强度的变化,当光强变化时,给使用者提供一个实时反馈,从而进行更换光源操作或者检查电压变化的情况等。
附图说明
图1为一种显微镜***的整体结构示意图;
图2为一种DMD器件的侧视图;
图3为一种DMD器件的主视图;
图4为波前矫正器中变形反射镜的结构示意图;
图中:1-照明光源、2-第一透镜、3-狭缝、4-第二透镜、5-DMD器件、6-反光镜、7-聚焦透镜、8-激发光滤光片、9-二向色镜、10-聚焦物镜、11-载物台、12-发射光滤光片、13-波前校正器、14-分光镜、15-波前传感器、16-波前控制器、17-聚焦镜、18-相机、21-第一反光镜镜、22-第二反光镜、23-第三反光镜、31-薄反射镜面、32-驱动器、33-基板、34-导线。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,基于LED光源的结构光超分辨自适应显微镜***,包括,
光源,所述光源射出后经过科勒照明***投射到DMD器件5表面;
DMD器件5,所述DMD器件5产生余弦结构光照明依次经过反光镜6和聚焦透镜7,进入荧光模块滤光片立方;
荧光模块滤光片立方,所述荧光模块滤光片立方用于反射激发光至载物台11上,并透过载物台11上物体表面的荧光至波前校正器13;
波前校正器13,所述波前校正器13与波前控制器16相连,用于对波前误差进行校正;
以及相机18,所述相机18用于采集并拍摄像差校正后的荧光图像。
所述科勒照明***包括沿光路依次设置的第一透镜2、狭缝3以及第二透镜4,所述第一透镜2用于将光源的像焦距于夹缝处,所述狭缝3用于遮挡杂散光,所述第二透镜4用于将光源转化为平行光出射。所述聚焦透镜7用于把光转化为平行光,所述荧光模块滤光片立方中包含激发光滤光片8、二向色镜9以及发射光滤光片12,所述激发光滤光片8具有光的选择透过性,可透过特定波段的光;所述二向色镜9根据表面镀膜的特点,可选择性的反射和透射特定波段的光;所述发射光滤光片12和激发光滤光片8类似,可通过特定波段的光。
所述荧光模块滤光片立方与载物台11之间设有聚焦物镜10,用于将荧光模块滤光片立方反射的激发光聚焦在载物台11上的物体;所述载物台11用于放置待检测的物体;所述波前校正器13用于改变不同位置入射光的光程。
所述波前校正器13在光路的一侧设有分光镜14,所述波前传感器15设置在分光镜14的反射光路上,所述相机18位于分光镜14透射光的光路上,所述相机18与分光镜14之间设有用于聚焦光的聚焦镜17;所述分光镜14对波长没有选择性,一般分光镜14是把入射光按照强度分为两路,两路光走向垂直。所述波前传感器15,可以获取不同位置的波前特征,所述波前控制器16用于控制波前校正器13,使不同位置处的结构发生微小的变化。
所述DMD器件5(数字微镜器件)是一种由多个高速数字式光反射开光组成的阵列,DMD器件5是由许多小型铝制反射镜面构成的,镜片的多少由显示分辨率决定,一个小镜片对应一个像素。DMD是一种电子输入、光学输出的微机电***(MEMS),开发人员可借助该***执行高速、高效及可靠的空间光调制,每一个DMD都含有数百万个独立控制的微镜(构建于相应的CMOS存储单元上)。在运行期间,DMD控制器为每个基本存储单元加载一个“1”或一个“0”,接下来会施加镜像复位脉冲,这会引起每个微镜静电偏离大约一个铰链,从而达到相应的+/-12°状态。由于会受到两个弹簧顶针的阻力而物理停止,这两个有效状态的偏离角度是可重复的。
DMD是计算机通过DMD驱动板来控制DMD上小反光镜的偏转,调整DMD的PWM值以在DMD的+12°反射方向上产生空间均匀的照明,并产生结构光方法中所需的调制图案。
如图3所示,所述DMD器件5包括若干个反光镜6以及用于控制反光镜6的微电机,所述反光镜6包括角度不偏转的第一反光镜21,相对第一反光镜21偏转+12°的第二反光镜22以及相对第一反光镜21偏转-12°的第三反光镜23。所述反光镜尺寸约为10um的方形,所述反光镜存在三种状态,如图3中,第一反光镜21为不偏转状态,第二反光镜22为偏转+12°的状态,第三反光镜23为偏转-12°的状态,入射到DMD表面的一般是平行光,不同的偏转状态反光镜,反射光的方向不一样,如图2所示,平行光入射到DMD表面,第二反光镜22的反光方向竖直偏左24°,第三反光镜23的反光方向竖直偏右24°。
图3是DMD表面的小反光镜阵列简图,根据要输入的结构光图案,比如把某几列的反光镜偏转+12°或者-12°,如图3中所示,第1列表示反光镜偏转+12°,第2列不偏转或者偏转-12°,然后第3列偏转+12°,这样构成循环,如果偏转+12°是需要的结构光图案,则剩余的小反光镜可以偏转-12°,把光投射到光源探测器上,完成了在不影响结构光照明的前提下,利用剩余的小反光镜可以检测光源的光强变化。
所述自适应显微镜***还包括光源探测器,所述光源探测器位于DMD器件5偏转+12°或-12°的位置,用于对DMD器件5的结构光强进行实时监测并记录。入射光通过科勒照明匀光***之后,照射到DMD表面,DMD表面已经有输入进去的固定图案,比如某些列的小反光镜6偏转+12°来构成结构光图案,其余的偏转-12°的反光镜6是不需要的位置,则可以合理布局光源探测器,使得这些偏转-12°的反光镜6反射光方向在光源探测器上,完成了在不影响结构光照明的前提下,光源探测器可以实时监测和记录入射光强的变化。
所述荧光模块滤光片立方由一片激发光滤光片8、一片发射光滤光片12和一片二向色镜9组成,余弦结构光照明经过二向色镜9的反射照射到聚焦物镜10上,然后聚焦到样品表面,物体表面的发射光经过聚焦透镜7然后到二向色镜9,由于激发出的荧光波长较长,因此波长可透过二向色镜9,进入到发射光滤光片12,发射光滤光片12进一步滤除激发光的波段,只让荧光信号通过,便于提高相机18采集图像的对比度。
基于LED光源的结构光超分辨自适应显微镜成像方法,包括,
S1、在待探测组织的同一深度处注入荧光微球;
S2、照明光源1经过科勒照明投射到DMD器件5表面,DMD器件5产生余弦结构光并投射到反光镜6上,反光镜6将结构光反射到物镜上,形成平行结构光投射到荧光模块滤光片立方上,只让特定波段的光通过;
S3、特定波段的光反射到载物台上,激发物体荧光,物体荧光通过荧光模块滤光片立方;
S4、波前校正器13接收到待探测组织的荧光信号,获取荧光微球处到探测器的像差情况;
S5、将探测荧光微球的发光作为参考光源测量波前误差,通过重构矩阵方式,利用波前信息产生波前校正器13控制电压,波前控制器16对波前校正器13施加一定的电流校正电压直至波前误差最小;
S6、相机18采集像差校正后的荧光图像。
本申请中自适应显微镜成像方法所依据的原理为:
自适应光学来源于天文观测,由于大气湍流产生的动态波前误差的影响,在望远镜放大倍率较大时,成像光斑会发生模糊和抖动,这极大的影响了观测的分辨率。组织深层的内部信息由于折射率的差异,甚至由于组织的微小移动导致的折射率变化,会导致相机18像面上不同成像位置处光程有所差异,进而产生像差,导致图像的模糊不清晰,因此通过在组织深度方向上注入荧光微球的方式,可以获取从微球处到探测器的像差情况,通过波前校正器13的调整,使得荧光微球的图像调整到最为清晰,则同一深度处物体组织的像也因矫正了像差而变的清晰。荧光信号通过自适应光学***的波前校正器13,在待探测组织的同一深度处注入荧光微球的方式,通过探测荧光微球的发光作为参考光源测量波前误差,然后通过重构矩阵方式,并利用波前信息产生波前校正器13控制电压,最后对波前校正器13施加一定的电流校正电压直到波前误差最小,闭合自适应矫正***,如图1所示,通过发射光滤光片12的物体荧光信号,一路通过波前校正器13,分光镜14,波前传感器15,波前控制器16***,矫正好荧光图像的像差,另外一路通过聚焦镜17的聚焦,成像到科学相机18的探测器表面,也就是说,相机18接收到的荧光图像像差已经被矫正过了,因此荧光图像的清晰度会比矫正之前的更好。
所述像差会导致聚焦光斑的展宽、成像分辨率、亮度和对比度下降,显微镜的误差来源主要有两个方面:1、显微镜光学***自身的设计和装调误差;2、由样品折射率的不均匀性引起的误差,一般随着成像深度的增加而增大,而且样品内不同位置的像差差别较大。
利用已知直径的荧光微球、光蛋白等导引星发出的荧光或利用样品的背向散射光作为WFS的信标光对波前畸变进行直接测量,常用的WFS有夏克-哈特曼波前传感器15(SHWS)、剪切干涉仪、四棱锥波前传感器15等,其中SHWS应用最为广泛,哈特曼传感器是采用孔径分割的方法将入射波面分割成一系列小的区域——子孔径,然后将各个子孔径分别聚焦到一个探测面上。通过光电探测器如等记录下各个子孔径的信号,然后分别计算出各个子孔径区域的波前相位平均斜率,由一定的复原算法重构出输入波面的波前相位,哈特曼传感器所探测的波前斜率是入射波前相位的一阶导数,因此可以通过一定的算法实现从波前斜率到波前相位的复原。在天文上常用光线追迹的点列图来表示实际像差,也可用波像差来表示像差,由一个物点发出的光波是球面波,经过光学***后,波面一般就不再是球面的,因此通常是使用点列图或者波前差来表示像差。
波前校正器13是一种可以快速改变波前相位的主动光学器件,同时也是AO***的核心器件,可以通过改变经过传输介质的路程或传输介质的折射率对畸变波前进行校正。所述波前校正器13包括变形反射镜,由粘接在驱动器上的薄反射镜面组成,驱动器当施加正负外电压时,会产生正负变形,从而带动薄镜面变形而改变***的波前,从而达到校正波前误差的作用。
所述显微镜装置的成像方法的S2中的照明光源1,一般使用氙灯或卤素光源,光谱范围较宽,便于后续选取特定的波段光源使用;所述第一透镜22将光源的像焦距于狭缝3处;所述狭缝3可遮挡杂散光;所述第二透镜4,能够把光源转化为平行光出射;所述第一透镜2、狭缝3以及第二透镜4组成科勒照明***,使得出射光较为均匀,然后投射到DMD器件5表面。
光源通过对宽谱光源进行光谱过滤的方案,产生特定谱段的激发光,达到能配合多种荧光探针使用的目的。其中宽谱光源可以为大功率氙灯、卤灯光源或汞灯光源,其出射光谱段覆盖可见光到近红外波长范围,约400nm~2500nm。宽谱光源能产生在可见光到近红外波长范围内光强分布均匀的白光。激发光滤光片8位置处可切换安装不同的激发光滤光片8,用户可根据所使用的荧光探针,选取合适的激发光滤光片8,使出射光为能充分激发荧光探针,又不引入其他谱段光干扰的窄谱段激发光。其中激发光滤光片8为小直径带通干涉滤光片,其通带谱段应与所用荧光探针的吸收谱相匹配。
光源出射的光先经过科勒照明***,进行匀光处理,然后经过DMD的表面反射到反光镜6上,然后通过聚光镜,二向色镜9,物镜等到达待检测样品表面,物体表面的结构光。
光学信号传导采集部将激发光传导到载物台11上的检测区,检测区上有待检测的物体,采集部可以从检测区收集感兴趣光学信号。如图1所示,荧光模块滤光片立方包括激发光滤光片8、二向色镜9以及发射光滤光片12,余弦结构光照明经过二向色镜9的反射照射到聚焦物镜10前焦面上,然后光透过物镜照射到载物台11上的物体表面,物体表面的位置平面就是物镜的焦平面处,二向色镜9的反射波段和透波段可以根据需要自行选择。
所述放大物镜为带有RMS外螺纹的有限远平场消色差物镜,放大倍数一般可以为4X,10X,20X,40X,各物镜之间齐焦,可对荧光图像进行放大,并在放大物镜共轭点上形成放大的实像,通过各种光学器件之后,最后投射到科学相机18的探测芯片上。
如图1所示,选取不同的滤光片进入相应的光路,就可以激发不同的荧光探针并采集相应荧光探针被激发后的荧光图像,方便地实现了不同荧光探针的多光谱成像,载物台11上物体被激发后的荧光图像首先被物镜所接收,然后通过二向色镜9,二向色镜9对波长具有选择性反射和透射特性,此处激发的荧光可以透过二向色镜9,然后投射到发射光滤光片12上,发射光滤光片12对波长具有选择透过性,可以滤除除了荧光之外的杂散光,减少干扰,光继续传输,到达自适应光学校正器的表面反射到分光镜14上,分光镜14不具有波长选择性,一般只是按照光强度等分或者不等分为两路,一路通过波前校正器1313,分光镜14,波前传感器15,波前控制器16***,这个闭环构成自适应光学像差校正***,可以实时校正待检测物体像面处由于折射率不均匀导致的像差,校正好荧光图像的像差,另外一路通过聚焦镜17的聚焦,成像到科学相机18的探测器表面,也就是说,相机18接收到的荧光图像像差已经被校正过了,因此荧光图像的清晰度会比校正之前的更好。
相机18一般使用科学级互补型金属氧化物半导体管(SCMOS)相机,用于接收成像强度微弱的光信号,并将其采样转换为数字图像,其有效成像光强微弱的荧光信号,得到原始荧光图像,也能采集激发光、白光图像。
上述的波前相位误差是由变形镜产生一定的变形来进行校正的,驱动器的驱动电压直接与波前相位误差相关,通常的控制方法是,先求得驱动点所在位置处的波前相位误差,然后经过比例算法计算出该位置的控制误差电压。
具体为:
1、计算波前
哈特曼传感器是采用孔径分割的方法将入射波面分割成一系列小的区域—子孔径,然后将各个子孔径分别聚焦到一个探测面上。通过光电探测器如等记录下各个子孔径的信号,然后分别计算出各个子孔径区域的波前相位平均斜率,由一定的复原算法重构出输入波面的波前相位。
子孔径内波像差与探测器测量到的波前斜率有如下关系:
Figure BDA0003791528700000101
其中:
Figure BDA0003791528700000102
第j个子孔径质心坐标
Ii:CCD上第i个像素点的信号强度
(Xi,Yi):CCD上第i个像素的坐标位置
λ:入射光束波长
f:成像***焦距
Sj:第j个子孔径入射光瞳面积
Φ(,y):入射光瞳面上(x,y)位置处的波像差
Figure BDA0003791528700000111
第j个子孔径入射波前x方向斜率
Figure BDA0003791528700000112
第j个子孔径入射波前y方向斜率
可以看出,哈特曼传感器所探测的波前斜率是入射波前相位的一阶导数,因此可以通过一定的算法实现从波前斜率到波前相位的复原。
2、波前复原
由于H-S传感器测得的量是子孔径内的平均波前斜率,需要有一套算法求得波前误差以及各个驱动器应施加的校正电压,这一过程称为波前复原。目前针对哈特曼波前传感器所用的波前复原算法主要有Zernike模式法。
模式法波前复原是将波前相位分解成一系列正交模式,然后对这些模式分别对x和y求偏导数。CCD所探测的信号实质上就是这些偏导数。对于圆形光瞳,目前比较通用的波前相位分解的解析式是Zernike模式分解:
Figure BDA0003791528700000113
其中:
Figure BDA0003791528700000114
式中,m,n分别为轴向级次和径向级次。
这样,波前相位可以用Zernike模式分解:
Figure BDA0003791528700000115
其中:
ak:第k阶Zernike多项式系数
Zk(x,y):第k阶Zernike多项式
因此,哈特曼传感器探测的波前斜率与入射光束的波前相位的关系为:
Figure BDA0003791528700000121
记为:
G=DA+ε
由于Zernike函数偏导数的不完全正交性以及在有限的采样点上函数的非正交性,都有可能使矩阵D的秩不完备,且方程的条件数也不一样。对于任意的2m和n,上述方程的最小二乘解可用广义逆D+表示:
A=D+G+(1-D+D)Y
Y是任意向量,当Y=0时方程在最小二乘‖D+D-A‖=min和最小范数‖A‖=min意义下的解为:
A=D+G
这样,只要求出D的逆矩阵D+,即可以求出Zernike系数ak,将ak代入(2-4),就可以计算出波前相位。
3、波前矫正
波前校正器是实现自适应光学***动态误差校正的关键器件,包括高速倾斜镜和变形反射镜两种主要器件。
如图4所示是变形反射镜的结构示意图,由粘接在驱动器上的薄反射镜面31构成,同时依次设置有基板33和导线34。驱动器32当施加正负外电压时,会产生正负变形,从而带动薄镜面变形而改变***的波前,达到校正波前误差的作用。
采用Gram-Schmidt正交化方法或奇异值分解方法计算出D矩阵的Moore-Penrose型广义逆矩阵D+之后,便可给出方程的最小二乘最小范数解A=D+G。于是波前相位误差由下式给出:
Φ(x,y)=∑akZk(x,y)
波前相位误差是由变形镜产生一定的变形来加以校正的,驱动器的驱动电压直接与波前相位误差相关,需要由Φ(x,y)求出产生这一波前相位误差所需的变形镜驱动电压,通常可以使用直接比例控制法来求。
直接比例控制方法的原理是,先求得驱动点所在位置处的波前相位误差,然后经过比例算法计算出该位置的控制误差电压。由于变形镜镜面与驱动器之间的胶合面有一定大小,而在胶合区内不应产生高阶变形,否则变形镜将产生脱胶。所以应计算镜面误差在镜面胶合区内的平均相位,由(2-4)式得第j个胶合区的波前相位:
Figure BDA0003791528700000131
可简化为:
Figure BDA0003791528700000132
T为矫正单元,a0为待定波前的相位平移常数,当a0=0时,波前相位Φ(j)的模接近最小,可以将上式写为:
Φ=TZA=(TZD+)G
控制电压为:
V=PΦ=(PTZD+)G=VpG
矩阵Pt*t为相位比例矩阵,它将波前相位Φ转换成变形镜的驱动电压V,Vp则为比例控制矩阵,它将斜率G转换成控制电压V。
通过上述控制方法能够得出实时校正由于生物样本折射率不均匀或者变化导致的像差,有效提升荧光显微镜对活体生物组织的深层部位进行高分辨率成像。
实施例2:
所述S2中,通过调整DMD产生不同相位的结构光,可通过算法反推出高频信息,也即提高了获取图像的分辨率,理论上分辨率最多可以提高一倍,具体为:
通过设计不同倾斜方向条纹图案,一般是三种倾斜方向,方向相差120°,不同相位的条纹图案,一般是三种相位,相位差为2π/3,投射到待检测物体上,一共是9张图案,得到的图像也是有三种频率信息组成,包括低频信息(或者称为零频信息),相对于零频信息向左右两侧平移后得到的高频和低频信息,通过合适的算法可以把获取图像中混在一起的低频信息、高频信息分离出来,并分别移动到原来的正确位置后再做叠加,从而实现样品信息在频域的扩展,极大的改善了重构后的分辨率水平,一般待检测物体的低频分量表示低分辨率信息,而高频分量表示高分辨率信息,通过一系列的数据反演,可以把高频分量得到,从而提高待检测物体的分辨率。
本发明结构新颖,运行稳定,本发明在使用时,使用DMD作为结构光产生器件,通过控制器调制出不同的相位,可以使得显微镜获取的图像分辨率最高提高一倍,并且无运动部件,简化了调节流程,便于***的稳定可靠,深层次组织成像像差导致的图像分辨率降低问题,通过在探测器前端加装自适应光学装置与***,实时校正由于生物样本折射率不均匀或者变化导致的像差,便于荧光显微镜对活体生物组织的深层部位进行高分辨率成像,并结合DMD自身的特点,加装光源强度监控装置,便于实时监控光源强度的变化,当光强变化时,给使用者提供一个实时反馈,从而进行更换光源操作或者检查电压变化的情况等等。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.基于LED光源的结构光超分辨自适应显微镜装置,其特征在于,包括:
光源,所述光源射出后经过科勒照明投射到DMD器件表面;
DMD器件,所述DMD器件产生余弦结构光照明依次经过反光镜和聚焦透镜,进入荧光模块滤光片立方;
荧光模块滤光片立方,所述荧光模块滤光片立方用于反射激发光至载物台上,并透过载物台上物体表面的荧光至波前校正器;
波前校正器,所述波前校正器与波前控制器相连,用于对波前误差进行校正;
以及相机,所述相机用于采集并拍摄像差校正后的荧光图像。
2.根据权利要求1所述的基于LED光源的结构光超分辨自适应显微镜装置,其特征在于,所述DMD器件包括若干个反光镜以及用于控制反光镜的微电机,所述反光镜包括角度不偏转的第一反光镜,相对第一反光镜偏转+12°的第二反光镜以及相对第一反光镜偏转-12°的第三反光镜。
3.根据权利要求2所述的基于LED光源的结构光超分辨自适应显微镜装置,其特征在于,位于DMD器件偏转+12°或-12°的位置处设有光源探测器,用于对DMD器件的结构光强实时监测并记录。
4.根据权利要求1所述的基于LED光源的结构光超分辨自适应显微镜装置,其特征在于,所述荧光模块滤光片立方由一片激发光滤光片、一片发射光滤光片和一片二向色镜组成。
5.根据权利要求1所述的基于LED光源的结构光超分辨自适应显微镜装置,其特征在于,所述波前矫正器在光路的一侧设有分光镜,所述波前传感器设置在分光镜的反射光路上,所述相机位于分光镜透射光的光路上。
6.根据权利要求5所述的基于LED光源的结构光超分辨自适应显微镜装置,其特征在于,所述荧光模块滤光片立方与载物台之间设有聚焦物镜,所述相机与分光镜之间设有用于聚焦光的聚焦镜。
7.根据权利要求1-6任一所述的基于LED光源的结构光超分辨自适应显微镜装置的成像方法,其特征在于,包括:
S1、在待探测组织的同一深度处注入荧光微球;
S2、照明光源经过科勒照明投射到DMD器件表面,DMD器件产生余弦结构光并投射到反光镜上,反光镜将结构光反射到物镜上,形成平行结构光投射到荧光模块滤光片立方上,只让特定波段的光通过;
S3、特定波段的光反射到载物台上,激发物体荧光,物体荧光通过荧光模块滤光片立方;
S4、波前校正器接收到待探测组织的荧光信号,获取荧光微球处到探测器的像差情况;
S5、将探测荧光微球的发光作为参考光源测量波前误差,通过重构矩阵方式,利用波前信息产生波前校正器控制电压,波前控制器对波前校正器施加电流校正电压直至波前误差最小;
S6、相机采集像差校正后的荧光图像。
CN202210956364.1A 2022-08-10 2022-08-10 基于led光源的结构光超分辨自适应显微镜装置及成像方法 Withdrawn CN115248498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210956364.1A CN115248498A (zh) 2022-08-10 2022-08-10 基于led光源的结构光超分辨自适应显微镜装置及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210956364.1A CN115248498A (zh) 2022-08-10 2022-08-10 基于led光源的结构光超分辨自适应显微镜装置及成像方法

Publications (1)

Publication Number Publication Date
CN115248498A true CN115248498A (zh) 2022-10-28

Family

ID=83700484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210956364.1A Withdrawn CN115248498A (zh) 2022-08-10 2022-08-10 基于led光源的结构光超分辨自适应显微镜装置及成像方法

Country Status (1)

Country Link
CN (1) CN115248498A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116430570A (zh) * 2023-06-13 2023-07-14 睿励科学仪器(上海)有限公司 光强校正、照明、显微镜成像、硅片缺陷检测装置及方法
CN117420657A (zh) * 2023-05-26 2024-01-19 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种用于多光谱成像的微型宽视场物镜

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117420657A (zh) * 2023-05-26 2024-01-19 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种用于多光谱成像的微型宽视场物镜
CN116430570A (zh) * 2023-06-13 2023-07-14 睿励科学仪器(上海)有限公司 光强校正、照明、显微镜成像、硅片缺陷检测装置及方法
CN116430570B (zh) * 2023-06-13 2023-09-01 睿励科学仪器(上海)有限公司 光强校正、照明、显微镜成像、硅片缺陷检测装置及方法

Similar Documents

Publication Publication Date Title
EP2732326B1 (en) Microscopy with adaptive optics
CN106461925B9 (zh) 用于具有自适应光学***的拉曼散射光学显微镜的***和方法
CN107941763B (zh) 一种共轴三维受激辐射损耗超分辨显微成像方法和装置
US9575302B2 (en) Stimulated emission depletion microscopy
JP5738765B2 (ja) 構造化照明を備えた顕微鏡法のための改良された方法および装置
US6038067A (en) Scanning computed confocal imager
JP5690394B2 (ja) 焦点調整装置および焦点調整方法
US9411140B2 (en) Method and system for calibrating a spatial optical modulator in an optical microscope
CN115248498A (zh) 基于led光源的结构光超分辨自适应显微镜装置及成像方法
US7230697B2 (en) Method and apparatus for multi-mode spectral imaging
US8946619B2 (en) Talbot-illuminated imaging devices, systems, and methods for focal plane tuning
JP6061958B2 (ja) ソフトウェア定義式顕微鏡
US20140368904A1 (en) Software Defined Microscope
CN112485232A (zh) 基于一维暗斑分时照明的亚十纳米定位测向方法和装置
JP2004317741A (ja) 顕微鏡およびその光学調整方法
CN111175954B (zh) 一种基于Nipkow盘的快速高对比度图像扫描显微成像装置
Fuseler et al. Types of confocal instruments: basic principles and advantages and disadvantages
Carlsson Light microscopy
Ghosh Automated aberration correction for STED microscopy
Schuetz et al. Confocal microscanner technique for endoscopic vision
Havranek Overview of OTF measurement
WO2021079232A1 (en) Integrated system for the correction of optical aberrations
CN116413218A (zh) 一种共焦角分辨光谱检测方法及装置
Müllenbroich Sensorless adaptive optics in advanced microscopy techniques
Roth et al. Performance of the PMAS 3D spectrophotometer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221028

WW01 Invention patent application withdrawn after publication