CN109528161A - 一种基于机器学习的高速高分辨扫描显微成像***与方法 - Google Patents

一种基于机器学习的高速高分辨扫描显微成像***与方法 Download PDF

Info

Publication number
CN109528161A
CN109528161A CN201811314921.XA CN201811314921A CN109528161A CN 109528161 A CN109528161 A CN 109528161A CN 201811314921 A CN201811314921 A CN 201811314921A CN 109528161 A CN109528161 A CN 109528161A
Authority
CN
China
Prior art keywords
zernike polynomial
laboratory sample
distribution
module
polynomial coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811314921.XA
Other languages
English (en)
Other versions
CN109528161B (zh
Inventor
龚薇
斯科
胡淑文
章叶
章一叶
胡乐佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingnao Technology Co ltd
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201811314921.XA priority Critical patent/CN109528161B/zh
Publication of CN109528161A publication Critical patent/CN109528161A/zh
Application granted granted Critical
Publication of CN109528161B publication Critical patent/CN109528161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6486Measuring fluorescence of biological material, e.g. DNA, RNA, cells

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于机器学习的高速高分辨扫描显微成像***与方法。通过泽尼克多项式的系数组合获得相位分布并加载到空间光调制器后得到畸变聚焦光斑;将各畸变聚焦光斑的光强分布与对应泽尼克多项式系数输入机器学习网络训练得到校正模型;将畸变聚焦光斑光强分布输入校正模型计算得到各项泽尼克多项式系数,得到校正相位分布;将校正相位加载于空间光调制器上实现像差校正以重建高质量聚焦光斑。本发明提升了光学像差校正速度,实现了光学显微成像过程中的快速像差校正,为活体生物组织内部深处高分辨成像及高精度检测提供了一种新思路,在生物医学研究领域有较好的应用前景。

Description

一种基于机器学习的高速高分辨扫描显微成像***与方法
技术领域
本发明属于光遗传学与光学显微成像领域,特别涉及一种基于机器学习的高速高分辨扫描显微成像***与方法,并应用于厚散射介质内部深处高分辨光学显微成像及光遗传学精准光刺激。
背景技术
在生物医学研究中,常利用光学显微成像技术获得生物组织信息。但对生物组织内部深处成像时,由于生物组织的折射率不均匀性、光学元器件的生产精度误差以及介质间的折射率失配,成像过程中常会产生光学像差,从而引起波前畸变,严重影响了入射光的聚焦情况,进而影响成像质量。并且随着深度的增加,引入的光学像差不断累积,使图像的信噪比和分辨率降低,成像质量急剧下降,大大限制了光学显微成像的深度。针对这一现象,目前研究者提出了各种方式克服成像过程中光学散射的影响,其中自适应光学技术效果良好,是目前较为普遍的一种像差校正的方式。
早先自适应光学技术应用于天文学中,修正天体观察中大气湍流所造成的影响。在光学显微成像领域中,基于自适应光学技术的像差校正方法原理如下:利用直接(波前探测器)或间接测量方法获得各种因素引起的入射波面的波前畸变,然后通过波前校正器(如变形镜、空间光调制器等)对畸变进行补偿,恢复光学衍射极限。代表性技术如相干光自适应技术,其将入射光瞳划分为若干区域,利用分块可变形镜或者空间光调制器利用不用频率对不同分区进行相位调制,探测焦平面中心各光束相干光强值计算得到不同分区所需的补偿相位,将补偿相位加载在分块可变形镜或者空间光调制器上,完成畸变相位的校正。
但是以上的相位校正过程需要消耗大量的时间,无法兼顾时间成本与成像质量,不利于活体生物中进行实时成像检测,制约了其在生物医学领域中的实际应用。
发明内容
为了解决背景技术中存在的问题,本发明提供了一种基于机器学习的高速高分辨扫描显微成像***与方法。本发明结合了机器学习理论与泽尼克多项式的思想进行快速像差校正,重构入射波前,并结合扫描模块重建高分辨率图像。
为了实现上述目的,本发明采用的技术方案包括以下步骤:
一、一种基于机器学习的高速高分辨扫描显微成像***:
***包括激光器、光纤、准直透镜、反射镜、空间光调制器、前缩束模块透镜、后缩束模块透镜、二向色镜、扫描模块、前扩束模块透镜、后扩束模块透镜、第一显微物镜、实验样品、第二显微物镜、第一光学滤波器、第一显微透镜、第一探测模块、第二光学滤波器、第二显微透镜、光学针孔和第二探测模块;成像光路传播为:激光器发射出激光光束经光纤之后通过准直透镜入射到反射镜上,经反射镜反射到空间光调制器上再次发生反射,经空间光调制器的反射光依次经过前缩束模块透镜、后缩束模块透镜入射到二向色镜发生反射,二向色镜反射光入射到扫描模块,扫描模块出射后依次经前扩束模块透镜、后扩束模块透镜后透过第一显微物镜到实验样品内聚焦;激光光束一部分经实验样品发生透射,激光光束另一部分经实验样品发生反射,激光光束经实验样品的透射光继续依次经第二显微物镜、第一光学滤波器和第一显微透镜后第一探测模块接收,激光光束经实验样品的反射光原路返回,即依次经第一显微物镜、后扩束模块透镜、前扩束模块透镜和扫描模块后入射到二向色镜,经二向色镜透射后再依次经第二光学滤波器与第二显微透镜后被针孔空间滤波后由第二探测模块进行光强探测。
所述的激光光束经过实验样品时激发实验样品发出荧光,第一光学滤波器用于滤去荧光,第二光学滤波器用于滤去荧光以外的激光,荧光的透射光束经第一光学滤波器后滤除,荧光的反射光束经第二光学滤波器后保留。
所述的第一探测模块采集经加载相位分布的空间光调制器调制后的畸变聚焦光斑,将畸变聚焦光斑输入校正模型中获得对应的校正相位,校正相位再加载于空间光调制器上进行波前整形,再由第二探测模块探测获得高速像差校正的扫描成像。
所述扫描模块为但不限于扫描振镜。
所述第一探测模块为但不限于CCD、COMS,所述第二探测模块为但不限于PMT、APD。
所述实验用散射样品为但不限于活体生物组织、离体生物组织及含有荧光小球的仿生物体组织等。
二、一种基于机器学习的高速高分辨扫描显微成像方法:
1)入射光经过未加载相位分布的空间光调制器并经成像光路传播后由第一显微透镜在焦平面处形成理想聚焦光斑,在第二显微物镜和第一显微物镜之间未放置实验样品,由第一探测模块记录焦平面处理想聚焦光斑的光强分布;
2)利用泽尼克多项式系数ak随机不同组合生成获得一系列不同的相位分布,用于机器学习网络的训练;
3)将步骤2)获得的每一相位分布加载到空间光调制器上,入射光经过加载了步骤2)的每一相位分布的空间光调制器并经成像光路传播后由第一显微透镜在焦平面处形成畸变聚焦光斑,在第二显微物镜和第一显微物镜之间未放置实验样品,由第一探测模块记录焦平面处畸变聚焦光斑的光强分布I;
4)将步骤2)与步骤3)获得的各个畸变聚焦光斑的光强分布I与其各自对应的各项泽尼克多项式系数ak作为机器学习的输入参数,训练校正模型获得训练后的校正模型;
5)入射光经过未加载相位分布的空间光调制器并经成像光路传播后由第一显微物镜在焦平面处聚焦在待测实验样品上,在第二显微物镜和第一显微物镜之间放置有实验样品,在实验样品内部形成聚焦光斑激发出荧光,由第一探测模块记录待测实验样品处聚焦光斑的光强分布;
6)将待测实验样品聚焦光斑的光强分布输入到步骤4)获得的校正模型中,输出获得对应的各项泽尼克多项式系数ak
7)利用步骤6)中得到的各项泽尼克多项式系数ak根据泽尼克多项式函数计算获得校正相位分布,将校正相位分布加载到空间光调制器上,入射光经过加载校正相位分布的空间光调制器并经成像光路传播后由第一显微物镜在焦平面处聚焦在待测实验样品上,在第二显微物镜和第一显微物镜之间放置有实验样品,在实验样品内部形成接近理想聚焦光斑激发出的荧光,由第一探测模块记录待测实验样品处接近理想聚焦光斑的光强分布,实现像差校正。
8)通过扫描模块使入射光照射于实验样品的不同区域,重复步骤5)至步骤7)进行快速像差校正,在每个区域形成接近理想的聚焦光斑,利用第二探测模块接收对应各区域的荧光信号获得高分辨率的光学成像图。
所述步骤2)中,具体采用以下公式计算生成入射光的相位分布所对应的各项泽尼克多项式系数:
其中,Ψ(r,θ)表示光束的相位分布,ak表示第k项泽尼克多项式系数,k,k’=1,2,3,4,5,6,...n,Zk(r,θ)表示泽尼克多项式的第k项基函数,n代表泽尼克多项式的总项数,r表示空间光调制器中每一点的径向距离,θ表示空间光调制器中每一点的方位角,Zk'(r,θ)表示泽尼克多项式的第k’项基函数,δk,k'表示冲激函数(当k=k’时δk,k'=1,当k≠k’时δk,k'=0);
其中,每一项泽尼克多项式系数ak依据校正模型的校正对象设定参数范围,并在范围内进行等间隔取值,组合后计算获得一系列的相位分布。
反之,利用泽尼克多项式的正交归一性,可获得相位分布对应的各项泽尼克多项式系数。所述的对每一项泽尼克多项式系数ak依次进行等间隔取值获得一系列的相位分布具体是:先对第一项泽尼克多项式系数a1等间隔取值,在第一项泽尼克多项式系数a1每一取值下对第二项泽尼克多项式系数a2等间隔取值,再在第二项泽尼克多项式系数a2每一取值下对第三项泽尼克多项式系数a3等间隔取值,以此方式完成对所有项泽尼克多项式系数ak的等间隔取值,以各项泽尼克多项式系数ak的不同取值组合作为一个相位分布,从而获得一系列的相位分布。
所述各项泽尼克多项式系数ak之间的取值的间隔可以相同或者不同。所述步骤7)中任意实验样品的校正相位分布具体采用以下方式获得:
将步骤6)中得到的各项泽尼克多项式系数ak的数值取负,代入以下公式表示的泽尼克多项式相位函数中,获得校正相位分布:
其中,Ψ(r,θ)表示波前的相位分布,ak表示第k项泽尼克多项式系数,k=1,2,3,4,5,6,...n,Zk(r,θ)表示泽尼克多项式的第k项基函数,n表示泽尼克多项式的总项数。
所述步骤4)中,具体是对获得的各个畸变聚焦光斑的光强分布I与对应各项泽尼克多项式系数ak先依次进行降维降噪分析、权重分析的处理后提取关键特征,然后利用机器学习的校正模型建立泽尼克多项式系数和光强分布二者之间的非线性映射关系y=f(x1,x2,...,xn),其中xk表示泽尼克多项式系数的数值,y表示畸变聚焦光斑的光强分布。
所述步骤5)、7)和8)中的成像过程具体是:入射光束在空间光调制器上反射,经过显微物镜聚焦于实验样品中,形成畸变聚焦光斑;畸变聚焦光斑在实验样品内激发出荧光,畸变聚焦光斑的光强分布由第一探测模块记录,计算获得各项泽尼克多项式系数ak与校正相位;在空间光调制器上加载校正相位,由第二探测模块收集经透镜聚焦后的荧光信号,配合扫描模块进行扫描探测获得实验样品的荧光图像。
本发明针对厚组织样品中高速高分辨显微成像的需求,通过泽尼克多项式的系数组合获得一系列相位分布,相位分布加载到空间光调制器后在实验样品处得到对应的畸变聚焦光斑;将各畸变聚焦光斑的光强分布与其入射相位对应的各项泽尼克多项式系数输入机器学习网络中训练得到校正模型;将未知泽尼克多项式系数的实验样品的畸变聚焦光斑光强分布输入校正模型中,可计算得到相应的各项泽尼克多项式系数,计算后得到校正相位分布;将校正相位加载于空间光调制器上实现像差校正以重建高质量聚焦光斑;利用扫描模块,对实验样品进行扫描,获得成像质量提升的光学成像图。
本发明能够通过大量的样本训练学习,建立起畸变聚焦光斑光强分布I与各项泽尼克多项式系数ak之间的非线性映射关系,快速得到任意实验样品所对应的入射波前泽尼克多项式系数组合,从而重构波前,进行高速像差校正;并结合扫描模块,形成一定视场下的高分辨率图像。
本发明的核心是首先通过实验测量产生足量的样本库,样本库中包含一系列一一对应的焦斑光强分布图和泽尼克多项式系数组合,通过机器学习对其进行降维分解,提取关键信息训练样本库,初步得到一个非线性映射关系。接着给定一定数量的散射后的焦斑光强分布图作为测试样本,对泽尼克多项式每一项进行影响因子权重分析与误差允许范围分析,最后调整算法参数得到一个高精度的非线性映射关系作为最终的校正模型,此时输入任意实验样品造成的散射焦斑光强分布图,均能快速构建对应的校正相位,极大地提升了在一定深度的生物体内获得高质量图像的速度。
本发明的有益效果是:
在前期发展的大深度无创光学显微术的基础上,本发明提出的方法校正速度快,且精确度高。通过本发明方法能够高速而准确地校正波前像差,解决了传统自适应光学算法速度慢的问题。
本发明的实施将实现机器学习理论与光学像差校正的结合,显著提高光在散射介质内部深处的聚焦质量,如应用于光遗传领域,将提高光遗传技术的可靠性,为精神疾病治疗手段提供了新的方式,同时也为大深度无创光学显微技术提供一种全新的光学像差校正算法。
本发明中使用了扫描模块,将对于聚焦点的像差校正拓展到成像的像差校正,实现高速的大深度高分辨成像,并且本发明可与各种点扫描显微成像技术相结合,有利于脑科学研究的进一步发展。
附图说明
图1为本发明***的结构示意图;
图2为本发明方法流程图。
图3为实施例中在聚焦情形下,利用机器学习建立的非线性映射关系得到的泽尼克多项式系数组合用于像差校正的结果。其中(a)为校正前的焦斑;(b)为校正后的光斑。
图4为实施例中利用机器学习像差校正算法得到的不同区域下点扩散函数的校正效果。其中(a)为校正前点扩散函数;(b)为校正后的点扩散函数。
图5为实施例中用机器学习像差校正算法得到的成像结果。其中(a)为校正前的成像结果;(b)为校正后的成像结果;(c)为(a)、(b)中线段标识部分的剖面光强比较图,实线为校正前,虚线为校正后。
图中:激光器(1)、光纤(2)、准直透镜(3)、反射镜(4)、空间光调制器(5)、前缩束模块透镜(6)、后缩束模块透镜(7)、二向色镜(8)、扫描模块(9)、前扩束模块透镜(10)、后扩束模块透镜(11)、第一显微物镜(12)、实验样品(13)、第二显微物镜(14)、第一光学滤波器(15)、第一显微透镜(16)、第一探测模块(17)、第二光学滤波器(18)、第二显微透镜(19)、光学针孔(20)、第二探测模块(21)。
具体实施方式
下面结合附图和实施例对本发明作进一步说明,其具体过程如下:
如图1所示,本发明具体实施的***包括激光器1、光纤2、准直透镜3、反射镜4、空间光调制器5、前缩束模块透镜6、后缩束模块透镜7、二向色镜8、扫描模块9、前扩束模块透镜10、后扩束模块透镜11、第一显微物镜12、实验样品13、第二显微物镜14、第一光学滤波器15、第一显微透镜16、第一探测模块17、第二光学滤波器18、第二显微透镜19、光学针孔20和第二探测模块21;成像光路传播为:激光器1发射出激光光束经光纤2空间滤波之后通过准直透镜3入射到反射镜4上,经反射镜4反射到空间光调制器5上再次发生反射,经空间光调制器5的反射光依次经过前缩束模块透镜6、后缩束模块透镜7入射到二向色镜8发生反射,二向色镜8反射光入射到扫描模块9,扫描模块9出射后依次经前扩束模块透镜10、后扩束模块透镜11后透过第一显微物镜12到实验样品13内聚焦;激光光束一部分经实验样品13发生透射,激光光束另一部分经实验样品13发生反射,激光光束经实验样品13的透射光继续依次经第二显微物镜14、第一光学滤波器15和第一显微透镜16后第一探测模块17接收,激光光束经实验样品13的反射光原路返回,即依次经第一显微物镜12、后扩束模块透镜11、前扩束模块透镜10和扫描模块9后入射到二向色镜8,经二向色镜8透射后再依次经第二光学滤波器18与第二显微透镜19后被针孔20空间滤波后由第二探测模块21进行光强探测。
激光光束经过实验样品13时激发实验样品13发出荧光,第一光学滤波器15用于滤去荧光,第二光学滤波器18用于滤去荧光以外的激光,荧光的透射光束经第一光学滤波器15后滤除,荧光的反射光束经第二光学滤波器18后保留。
第一探测模块17采集经加载相位分布的空间光调制器5调制后的畸变聚焦光斑,将畸变聚焦光斑输入校正模型中获得对应的校正相位,校正相位再加载于空间光调制器5上进行波前整形,再由第二探测模块21探测获得高速像差校正的扫描成像。
整个方法的流程如图2所示,本发明实施例过程具体如下:
1)入射光经过未加载相位分布的空间光调制器5并经成像光路传播后由第一显微透镜16在焦平面处形成理想聚焦光斑,在第二显微物镜14和第一显微物镜12之间未放置实验样品13,由第一探测模块17记录焦平面处理想聚焦光斑的光强分布;
2)利用泽尼克多项式系数ak随机不同组合生成获得一系列不同的相位分布,具体采用以下公式计算生成入射光的相位分布所对应的各项泽尼克多项式系数:
其中,Ψ(r,θ)表示光束的相位分布,ak表示第k项泽尼克多项式系数,k,k’=1,2,3,4,5,6,...n,Zk(r,θ)表示泽尼克多项式的第k项基函数,n代表泽尼克多项式的总项数,r表示空间光调制器中每一点的径向距离,θ表示空间光调制器中每一点的方位角,Zk'(r,θ)表示泽尼克多项式的第k’项基函数,δk,k'表示冲激函数。
对每一项泽尼克多项式系数ak依次进行等间隔取值获得一系列的相位分布具体是:先对第一项泽尼克多项式系数a1等间隔取值,在第一项泽尼克多项式系数a1每一取值下对第二项泽尼克多项式系数a2等间隔取值,再在第二项泽尼克多项式系数a2每一取值下对第三项泽尼克多项式系数a3等间隔取值,以此方式完成对所有项泽尼克多项式系数ak的等间隔取值,以各项泽尼克多项式系数ak的不同取值组合作为一个相位分布,从而获得一系列的相位分布。
举例:在(-5,5)范围内以0.2为间隔选择前15项泽尼克多项式系数,排列组合可得到765个不同的相位分布。其中一个表达式为Ψ1=-0.6Z1+0.2Z2+1.4Z3-3.2Z4-0.8Z5+0.2Z6-1.2Z7+3.4Z8+0.4Z9+1.8Z10+2.2Z11-2.4Z12-0.4Z13+3.6Z14-1.8Z15
3)将步骤2)获得的每一相位分布加载到空间光调制器上,入射光经过加载了步骤2)的每一相位分布的空间光调制器5并经成像光路传播后由第一显微透镜16在焦平面处形成畸变聚焦光斑,在第二显微物镜14和第一显微物镜12之间未放置实验样品13,由第一探测模块17记录焦平面处畸变聚焦光斑的光强分布I,共765个;
4)将步骤2)与步骤3)获得的各个畸变聚焦光斑的光强分布I与其各自对应的各项泽尼克多项式系数ak作为机器学习的输入参数,训练校正模型获得训练后的校正模型;
具体实施中,校正模型采用卷积神经网络CNN模型。对获得的各个畸变聚焦光斑的光强分布I与对应各项泽尼克多项式系数ak先依次进行降维降噪分析、权重分析的处理后提取关键特征,然后利用机器学习的校正模型建立泽尼克多项式系数和光强分布二者之间的非线性映射关系y=f(x1,x2,...,xn),其中xk表示泽尼克多项式系数的数值,y表示畸变聚焦光斑的光强分布。
5)入射光经过未加载相位分布的空间光调制器5并经成像光路传播后由第一显微物镜12在焦平面处聚焦在待测实验样品13上,在第二显微物镜14和第一显微物镜12之间放置有实验样品13,在实验样品13内部形成聚焦光斑激发出荧光,由第一探测模块17记录待测实验样品13处聚焦光斑的光强分布;
6)将待测实验样品13聚焦光斑的光强分布输入到步骤4)获得的校正模型中,输出获得对应的各项泽尼克多项式系数ak
7)利用步骤6)中得到的各项泽尼克多项式系数ak根据泽尼克多项式函数计算获得校正相位分布:
其中,Ψ(r,θ)表示波前的相位分布,ak表示第k项泽尼克多项式系数,k=1,2,3,4,5,6,...n,Zk(r,θ)表示泽尼克多项式的第k项基函数,n表示泽尼克多项式的总项数。
将校正相位分布加载到空间光调制器上,入射光经过加载校正相位分布的空间光调制器5并经成像光路传播后由第一显微物镜12在焦平面处聚焦在待测实验样品13上,在第二显微物镜14和第一显微物镜12之间放置有实验样品13,在实验样品13内部形成接近理想聚焦光斑激发出的荧光,由第一探测模块17记录待测实验样品13处接近理想聚焦光斑的光强分布,聚焦情形下的校正前后效果对比如图3所示。
8)扫描模块9使入射光在样品内的聚焦位置在x、y方向上移动,将一幅图像分为5×5个子区域,对于不同的子区域,校正前后的聚焦斑如图4所示。在不同的子区域重复步骤5至步骤7,逐点扫描成像,拼接获得高分辨率大视场图像,如图5所示。
现有的并行自适应光学聚焦技术的扫描成像处理时间受限于空间光调制器的刷新率。假设将空间光调制器分成8×8个分区,每个分区的相位以不同频率调制,从而获得具有最好校正效果的相位值。假设空间光调制器工作时的图像加载速率上限为60Hz,则完成一次光学聚焦相位探测所需时间为:
而本发明应用机器学习方法建立起畸变聚焦光斑图样I与各项泽尼克多项式系数ak之间的非线性映射关系,可以在0.2s内完成聚焦情形下的像差校正过程。
以5×5分区为例,基于传统的最优化自适应光学聚焦技术的扫描成像所需时间为:
T2=4.3×25=107.5s
在相同的5×5分区情形下,本发明所提出的方法扫描成像所需时间为:
T3=0.2×25=5s
由上述实施可见,本发明通过机器学习算法与光学显微成像技术,有效避免了空间光调制器刷新率的时间限制,显著提升了成像速度和光学像差校正速度,实现了光学显微成像过程中的快速像差校正,具有突出显著的技术效果。此外,本发明提出了一种适应于机器学习像差校正方法的显微***,将聚焦情形下的像差校正拓展为高分辨率大视场成像为活体生物组织内部深处高分辨成像及高精度检测提供了一种新思路,在生物医学研究领域有较好的应用前景。

Claims (10)

1.一种基于机器学习的高速高分辨扫描显微成像***,其特征在于:包括激光器(1)、光纤(2)、准直透镜(3)、反射镜(4)、空间光调制器(5)、前缩束模块透镜(6)、后缩束模块透镜(7)、二向色镜(8)、扫描模块(9)、前扩束模块透镜(10)、后扩束模块透镜(11)、第一显微物镜(12)、实验样品(13)、第二显微物镜(14)、第一光学滤波器(15)、第一显微透镜(16)、第一探测模块(17)、第二光学滤波器(18)、第二显微透镜(19)、光学针孔(20)和第二探测模块(21);成像光路传播为:激光器(1)发射出激光光束经光纤(2)之后通过准直透镜(3)入射到反射镜(4)上,经反射镜(4)反射到空间光调制器(5)上再次发生反射,经空间光调制器(5)的反射光依次经过前缩束模块透镜(6)、后缩束模块透镜(7)入射到二向色镜(8)发生反射,二向色镜(8)反射光入射到扫描模块(9),扫描模块(9)出射后依次经前扩束模块透镜(10)、后扩束模块透镜(11)后透过第一显微物镜(12)到实验样品(13)内聚焦;激光光束一部分经实验样品(13)发生透射,激光光束另一部分经实验样品(13)发生反射,激光光束经实验样品(13)的透射光继续依次经第二显微物镜(14)、第一光学滤波器(15)和第一显微透镜(16)后第一探测模块(17)接收,激光光束经实验样品(13)的反射光原路返回,即依次经第一显微物镜(12)、后扩束模块透镜(11)、前扩束模块透镜(10)和扫描模块(9)后入射到二向色镜(8),经二向色镜(8)透射后再依次经第二光学滤波器(18)与第二显微透镜(19)后被针孔(20)空间滤波后由第二探测模块(21)进行光强探测。
2.根据权利要求1所述的一种基于机器学习的高速高分辨扫描显微成像***,其特征在于:所述的激光光束经过实验样品(13)时激发实验样品(13)发出荧光,第一光学滤波器(15)用于滤去荧光,第二光学滤波器(18)用于滤去荧光以外的激光,荧光的透射光束经第一光学滤波器(15)后滤除,荧光的反射光束经第二光学滤波器(18)后保留。
3.根据权利要求1所述的一种基于机器学习的高速高分辨扫描显微成像***,其特征在于:所述的第一探测模块(17)采集经加载相位分布的空间光调制器(5)调制后的畸变聚焦光斑,将畸变聚焦光斑输入校正模型中获得对应的校正相位,校正相位再加载于空间光调制器(5)上进行波前整形,再由第二探测模块(21)探测获得高速像差校正的扫描成像。
4.根据权利要求1所述的一种基于机器学习的高速高分辨扫描显微成像***,其特征在于:所述第一探测模块为但不限于CCD、COMS,所述第二探测模块为但不限于PMT、APD。
5.根据权利要求1所述的一种基于机器学习的高速高分辨扫描显微成像方法,其特征在于:所述实验用散射样品为但不限于活体生物组织、离体生物组织及含有荧光小球的仿生物体组织等。
6.一种基于机器学习的高速高分辨扫描显微成像方法,其特征在于采用权利要求1-5任一所述成像***,并采用以下步骤:
1)入射光经过未加载相位分布的空间光调制器(5)并经成像光路传播后由第一显微透镜(16)在焦平面处形成理想聚焦光斑,在第二显微物镜(14)和第一显微物镜(12)之间未放置实验样品(13),由第一探测模块(17)记录焦平面处理想聚焦光斑的光强分布;
2)利用泽尼克多项式系数ak随机不同组合生成获得一系列不同的相位分布;
3)将步骤2)获得的每一相位分布加载到空间光调制器上,入射光经过加载了步骤2)的每一相位分布的空间光调制器(5)并经成像光路传播后由第一显微透镜(16)在焦平面处形成畸变聚焦光斑,在第二显微物镜(14)和第一显微物镜(12)之间未放置实验样品(13),由第一探测模块(17)记录焦平面处畸变聚焦光斑的光强分布I;
4)将步骤2)与步骤3)获得的各个畸变聚焦光斑的光强分布I与其各自对应的各项泽尼克多项式系数ak作为机器学习的输入参数,训练校正模型获得训练后的校正模型;
5)入射光经过未加载相位分布的空间光调制器(5)并经成像光路传播后由第一显微物镜(12)在焦平面处聚焦在待测实验样品(13)上,在第二显微物镜(14)和第一显微物镜(12)之间放置有实验样品(13),在实验样品(13)内部形成聚焦光斑激发出荧光,由第一探测模块(17)记录待测实验样品(13)处聚焦光斑的光强分布;
6)将待测实验样品(13)聚焦光斑的光强分布输入到步骤4)获得的校正模型中,输出获得对应的各项泽尼克多项式系数ak
7)利用步骤6)中得到的各项泽尼克多项式系数ak根据泽尼克多项式函数计算获得校正相位分布,将校正相位分布加载到空间光调制器上,入射光经过加载校正相位分布的空间光调制器(5)并经成像光路传播后由第一显微物镜(12)在焦平面处聚焦在待测实验样品(13)上,在第二显微物镜(14)和第一显微物镜(12)之间放置有实验样品(13),在实验样品(13)内部形成接近理想聚焦光斑激发出的荧光,由第一探测模块(17)记录待测实验样品(13)处接近理想聚焦光斑的光强分布;
8)通过扫描模块(9)使入射光照射于实验样品(13)的不同区域,重复步骤5)至步骤7)进行像差校正,在每个区域形成接近理想的聚焦光斑,利用第二探测模块(21)接收对应各区域的荧光信号获得高分辨率的光学成像图。
7.根据权利要求6所述的一种基于机器学习的高速高分辨扫描显微成像方法,其特征在于:所述步骤2)中,具体采用以下公式计算生成入射光的相位分布所对应的各项泽尼克多项式系数:
其中,Ψ(r,θ)表示光束的相位分布,ak表示第k项泽尼克多项式系数,k,k’=1,2,3,4,5,6,...n,Zk(r,θ)表示泽尼克多项式的第k项基函数,n代表泽尼克多项式的总项数,r表示空间光调制器中每一点的径向距离,θ表示空间光调制器中每一点的方位角,Zk'(r,θ)表示泽尼克多项式的第k’项基函数,δk,k'表示冲激函数;
其中,每一项泽尼克多项式系数ak依据校正模型的校正对象设定参数范围,并在范围内进行等间隔取值,组合后计算获得一系列的相位分布。
8.根据权利要求7所述的一种基于机器学习的高速高分辨扫描显微成像方法,其特征在于:所述的对每一项泽尼克多项式系数ak依次进行等间隔取值获得一系列的相位分布具体是:先对第一项泽尼克多项式系数a1等间隔取值,在第一项泽尼克多项式系数a1每一取值下对第二项泽尼克多项式系数a2等间隔取值,再在第二项泽尼克多项式系数a2每一取值下对第三项泽尼克多项式系数a3等间隔取值,以此方式完成对所有项泽尼克多项式系数ak的等间隔取值,以各项泽尼克多项式系数ak的不同取值组合作为一个相位分布,从而获得一系列的相位分布。
9.根据权利要求6所述的一种基于机器学习的高速高分辨扫描显微成像方法,其特征在于:所述步骤7)中任意实验样品的校正相位分布具体采用以下方式获得:
将步骤6)中得到的各项泽尼克多项式系数ak的数值取负,代入以下公式表示的泽尼克多项式相位函数中,获得校正相位分布:
其中,Ψ(r,θ)表示波前的相位分布,ak表示第k项泽尼克多项式系数,k=1,2,3,4,5,6,...n,Zk(r,θ)表示泽尼克多项式的第k项基函数,n表示泽尼克多项式的总项数。
10.根据权利要求6所述的一种基于机器学习的高速高分辨扫描显微成像方法,其特征在于:所述步骤4)中,具体是对获得的各个畸变聚焦光斑的光强分布I与对应各项泽尼克多项式系数ak先依次进行降维降噪分析、权重分析的处理后提取关键特征,然后利用机器学习的校正模型建立泽尼克多项式系数和光强分布二者之间的非线性映射关系y=f(x1,x2,...,xn),其中xk表示泽尼克多项式系数的数值,y表示畸变聚焦光斑的光强分布。
CN201811314921.XA 2018-11-06 2018-11-06 一种基于机器学习的高速高分辨扫描显微成像***与方法 Active CN109528161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811314921.XA CN109528161B (zh) 2018-11-06 2018-11-06 一种基于机器学习的高速高分辨扫描显微成像***与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811314921.XA CN109528161B (zh) 2018-11-06 2018-11-06 一种基于机器学习的高速高分辨扫描显微成像***与方法

Publications (2)

Publication Number Publication Date
CN109528161A true CN109528161A (zh) 2019-03-29
CN109528161B CN109528161B (zh) 2021-01-12

Family

ID=65846066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811314921.XA Active CN109528161B (zh) 2018-11-06 2018-11-06 一种基于机器学习的高速高分辨扫描显微成像***与方法

Country Status (1)

Country Link
CN (1) CN109528161B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309910A (zh) * 2019-07-03 2019-10-08 清华大学 基于机器学习的最优化自适应显微成像方法及装置
CN110349095A (zh) * 2019-06-14 2019-10-18 浙江大学 基于深度迁移学习预测波前泽尼克系数的自适应光学波前补偿方法
CN110497075A (zh) * 2019-09-18 2019-11-26 中国科学院福建物质结构研究所 一种振镜校正***及振镜校正方法
CN111008945A (zh) * 2019-12-31 2020-04-14 哈工大机器人(中山)无人装备与人工智能研究院 基于机器学习的多像质参数自适应像差矫正方法及装置
CN111077085A (zh) * 2019-12-31 2020-04-28 哈工大机器人(中山)无人装备与人工智能研究院 基于深度学习的无波前探测器自适应点扫描成像方法
CN112327327A (zh) * 2020-11-05 2021-02-05 哈尔滨工业大学 一种基于遗传算法的激光雷达成像质量探测方法及***
CN112666135A (zh) * 2020-11-26 2021-04-16 中国科学技术大学 一种三维显微成像装置及方法
CN114185168A (zh) * 2021-11-05 2022-03-15 华中科技大学 一种无像差的激光扫描方法及***
CN114460049A (zh) * 2021-12-14 2022-05-10 中国科学院深圳先进技术研究院 一种时分多脉冲间接像差测量方法
CN114556182A (zh) * 2019-10-11 2022-05-27 阿贝里奥仪器有限责任公司 用于在荧光显微技术中像差校正的方法和装置
CN114839789A (zh) * 2022-05-20 2022-08-02 西南科技大学 一种基于二值化空间调制的衍射聚焦方法以及装置
CN117754120A (zh) * 2023-12-28 2024-03-26 剑芯光电(苏州)有限公司 一种无损探测像差修正装置及其方法
CN117870574A (zh) * 2024-03-13 2024-04-12 广东普洛宇飞生物科技有限公司 一种实时校正的激光光学装置及其校正方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101738949A (zh) * 2009-11-20 2010-06-16 苏州大学 一种膜基反射镜面形控制***及控制方法
US20120314196A1 (en) * 2011-06-13 2012-12-13 Micron Technology, Inc Lithography wave-front control system and method
CN103162846A (zh) * 2013-02-07 2013-06-19 中国科学院光电技术研究所 一种构建Zernike多项式像差模式与Walsh函数像差模式之间系数转换矩阵的方法
CN105527027A (zh) * 2016-01-05 2016-04-27 中国计量学院 亚微米孔径光纤点衍射波前测量的结构误差校正方法
CN105933060A (zh) * 2016-06-24 2016-09-07 温州大学 一种基于动力学反馈神经网络的波前重构方法
CN106873152A (zh) * 2017-01-11 2017-06-20 浙江大学 一种基于机器学习的高速像差校正方法
CN206876950U (zh) * 2017-05-09 2018-01-12 浙江大学 一种基于干涉增强的快速高效自适应光学成像补偿***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101738949A (zh) * 2009-11-20 2010-06-16 苏州大学 一种膜基反射镜面形控制***及控制方法
US20120314196A1 (en) * 2011-06-13 2012-12-13 Micron Technology, Inc Lithography wave-front control system and method
CN103162846A (zh) * 2013-02-07 2013-06-19 中国科学院光电技术研究所 一种构建Zernike多项式像差模式与Walsh函数像差模式之间系数转换矩阵的方法
CN105527027A (zh) * 2016-01-05 2016-04-27 中国计量学院 亚微米孔径光纤点衍射波前测量的结构误差校正方法
CN105933060A (zh) * 2016-06-24 2016-09-07 温州大学 一种基于动力学反馈神经网络的波前重构方法
CN106873152A (zh) * 2017-01-11 2017-06-20 浙江大学 一种基于机器学习的高速像差校正方法
CN206876950U (zh) * 2017-05-09 2018-01-12 浙江大学 一种基于干涉增强的快速高效自适应光学成像补偿***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KESI等: ""Machine learning guided rapid focusing with sensor-less aberration corrections"", 《OPTICS EXPRESS》 *
SCOTT 等: ""Machine learning for improved image-based wavefront sensing"", 《OPTICS LETTERS》 *
李鹏: "光学反馈***与相位校正研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349095A (zh) * 2019-06-14 2019-10-18 浙江大学 基于深度迁移学习预测波前泽尼克系数的自适应光学波前补偿方法
CN110349095B (zh) * 2019-06-14 2021-08-27 浙江大学 基于深度迁移学习预测波前泽尼克系数的自适应光学波前补偿方法
CN110309910A (zh) * 2019-07-03 2019-10-08 清华大学 基于机器学习的最优化自适应显微成像方法及装置
CN110497075A (zh) * 2019-09-18 2019-11-26 中国科学院福建物质结构研究所 一种振镜校正***及振镜校正方法
CN114556182A (zh) * 2019-10-11 2022-05-27 阿贝里奥仪器有限责任公司 用于在荧光显微技术中像差校正的方法和装置
CN111008945A (zh) * 2019-12-31 2020-04-14 哈工大机器人(中山)无人装备与人工智能研究院 基于机器学习的多像质参数自适应像差矫正方法及装置
CN111077085A (zh) * 2019-12-31 2020-04-28 哈工大机器人(中山)无人装备与人工智能研究院 基于深度学习的无波前探测器自适应点扫描成像方法
CN111008945B (zh) * 2019-12-31 2024-03-29 哈工大机器人(中山)无人装备与人工智能研究院 基于机器学习的多像质参数自适应像差矫正方法及装置
CN111077085B (zh) * 2019-12-31 2022-09-27 哈工大机器人(中山)无人装备与人工智能研究院 基于深度学习的无波前探测器自适应点扫描成像方法
CN112327327A (zh) * 2020-11-05 2021-02-05 哈尔滨工业大学 一种基于遗传算法的激光雷达成像质量探测方法及***
CN112327327B (zh) * 2020-11-05 2022-08-05 哈尔滨工业大学 一种基于遗传算法的激光雷达成像质量探测方法及***
CN112666135A (zh) * 2020-11-26 2021-04-16 中国科学技术大学 一种三维显微成像装置及方法
CN114185168A (zh) * 2021-11-05 2022-03-15 华中科技大学 一种无像差的激光扫描方法及***
CN114460049A (zh) * 2021-12-14 2022-05-10 中国科学院深圳先进技术研究院 一种时分多脉冲间接像差测量方法
CN114460049B (zh) * 2021-12-14 2023-07-04 中国科学院深圳先进技术研究院 一种时分多脉冲间接像差测量方法
CN114839789A (zh) * 2022-05-20 2022-08-02 西南科技大学 一种基于二值化空间调制的衍射聚焦方法以及装置
CN114839789B (zh) * 2022-05-20 2023-09-12 西南科技大学 一种基于二值化空间调制的衍射聚焦方法以及装置
CN117754120A (zh) * 2023-12-28 2024-03-26 剑芯光电(苏州)有限公司 一种无损探测像差修正装置及其方法
CN117870574A (zh) * 2024-03-13 2024-04-12 广东普洛宇飞生物科技有限公司 一种实时校正的激光光学装置及其校正方法
CN117870574B (zh) * 2024-03-13 2024-05-14 广东普洛宇飞生物科技有限公司 一种实时校正的激光光学装置及其校正方法

Also Published As

Publication number Publication date
CN109528161B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN109528161A (zh) 一种基于机器学习的高速高分辨扫描显微成像***与方法
CN110346340B (zh) 基于波前传感器的机器学习快速像差测量***与方法
CN110389119B (zh) 基于机器学习的快速自适应光学扫描显微成像***与方法
CN106873152B (zh) 一种基于机器学习的高速像差校正方法
CN110378473B (zh) 基于深度学习和随机图案的相位层析方法及装置
CN107966801A (zh) 一种基于环形照明的高速傅立叶叠层成像装置及重构方法
CN111626997B (zh) 基于深度学习的高速单图直接探测光学畸变相位的方法
Kubby et al. Wavefront shaping for biomedical imaging
CN111627085B (zh) 一种波前分视场曲率传感方法和装置、自适应oct***
CN111812836A (zh) 大口径大视场相机的标校装调方法、装置、设备及介质
Hu et al. Deep learning based wavefront sensor for complex wavefront detection in adaptive optical microscopes
CN107132646A (zh) 基于干涉增强的快速高效自适应光学成像补偿方法与***
NL2010457A (en) Hartmann wavefront measuring instrument adapted for non-uniform light illumination.
CN103393401B (zh) 一种双波前矫正器活体人眼视网膜高分辨力成像***
CN111751013B (zh) 光学成像的像差测量方法及光学成像方法
CN206876950U (zh) 一种基于干涉增强的快速高效自适应光学成像补偿***
CN107219617A (zh) 基于数字微镜器件的快速精准光学聚焦增强方法与***
CN109091108B (zh) 基于视场子区分割的相位滤波器搜索算法
CN113566984B (zh) 基于傅里叶频谱消除的扩展物体波前传感装置及方法
CN110160663A (zh) 一种高分辨率的近场波前测量装置和测量方法
CN110221421B (zh) 基于机器学习的结构光照明超分辨显微成像方法
CN115047619A (zh) 一种相位型空间光调制器的快速原位校准方法及***
CN109916854B (zh) 基于相干门虚拟夏克-哈特曼波前探测技术的ao-oct成像***与方法
CN206848565U (zh) 一种基于数字微镜器件的快速精准光学聚焦增强***
CN114460049B (zh) 一种时分多脉冲间接像差测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230823

Address after: Room 202, 2nd Floor, Building 1, Chunshu Yunzhu, No. 36 Jiyuan Road, Xihu District, Hangzhou City, Zhejiang Province, 310000

Patentee after: Hangzhou Lingnao Technology Co.,Ltd.

Address before: 310058 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866

Patentee before: ZHEJIANG University