CN110567959A - 一种自适应像差校正图像扫描显微成像方法与装置 - Google Patents

一种自适应像差校正图像扫描显微成像方法与装置 Download PDF

Info

Publication number
CN110567959A
CN110567959A CN201910874087.8A CN201910874087A CN110567959A CN 110567959 A CN110567959 A CN 110567959A CN 201910874087 A CN201910874087 A CN 201910874087A CN 110567959 A CN110567959 A CN 110567959A
Authority
CN
China
Prior art keywords
aberration correction
aberration
scanning
evaluation function
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910874087.8A
Other languages
English (en)
Other versions
CN110567959B (zh
Inventor
王伟波
吴必伟
王绍凯
谭久彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute Of Unmanned Equipment And Artificial Intelligence Of Harbin University Of Technology Robot (zhongshan)
Original Assignee
Research Institute Of Unmanned Equipment And Artificial Intelligence Of Harbin University Of Technology Robot (zhongshan)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute Of Unmanned Equipment And Artificial Intelligence Of Harbin University Of Technology Robot (zhongshan) filed Critical Research Institute Of Unmanned Equipment And Artificial Intelligence Of Harbin University Of Technology Robot (zhongshan)
Priority to CN201910874087.8A priority Critical patent/CN110567959B/zh
Publication of CN110567959A publication Critical patent/CN110567959A/zh
Application granted granted Critical
Publication of CN110567959B publication Critical patent/CN110567959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/127—Calibration; base line adjustment; drift compensation

Landscapes

  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明涉及一种自适应像差校正图像扫描显微成像方法与装置，属于光学显微测量领域；本发明在图像扫描显微成像方法中引入像差校正***进行自适应像差校正。在校正前直接利用sCOMS进行全像素预成像，并利用全像素图像形成自适应像差校正评价函数。在校正过程中实时测试图像评价函数，并利用计算机控制像差校正***进行自适应像差校正。这一过程无须扫描，快速、简单。利用像差校正过程中的评价函数变化重新设定像素重分配过程的参数，优化像素重分配过程。利用残余像差大小来设定激光扫描显微过程中，sCMOS相机有效像元的个数。该方法可有效校正图像扫描显微成像***的像差，提升像素重分配过程的有效性，最大限度实现图像扫描成像分辨率的提升。

Description

一种自适应像差校正图像扫描显微成像方法与装置
技术领域
本发明属于光学显微测量领域，主要涉及一种用于微型器件、表面形貌和生物样品中三维微细结构测量的超精密非接触测量方法。
背景技术
传统光学显微成像技术的分辨率受到衍射极限的限制。针对这一问题，科学家们提出了许多显微成像方法以提升成像分辨率。共焦扫描显微采用点探测，通过聚焦光斑扫描样品，并采用光学针孔进行切趾，有效提升了成像分辨率。但由于针孔的存在，也带来了成像信噪比降低的问题。结构光照明技术通过对照明光进行调制，可实现分辨率提升。但是结构光显微成像***结构复杂，且图像后续处理数据量大。受激辐射损耗(STED)显微技术可将显微成像分辨率提升到几十纳米，但该技术需要对样品进行荧光染色，影响生物样品活性。
图像扫描显微是近几年快速发展起来的一种光学显微方法。该方法将传统扫描显微成像方法中的点探测替代为阵列探测，并经过后续信号处理、像素重新分配等技术将传统扫描显微成像方法的分辨率提升了近两倍。该方法在保证分辨率提升的同时，还保持了良好的信噪比。
在图像扫描显微成像方法中，像素重新分配这一技术至关重要，是分辨率提升的关键步骤。选定像素所探测到光强分布，直接决定最后重构的图像。但是，当利用图像扫描显微成像方法对样品进行深度测量时，由于折射率失配，从而影响像素重分配的效果，降低图像扫描显微成像分辨率。
发明内容
针对上述技术问题，本发明提出一种自适应像差校正图像扫描显微成像方法与装置，其创新在于：在图像扫描显微成像方法中引入像差校正***进行自适应像差校正。在校正前直接利用sCOMS进行全像素预成像，并利用全像素图像形成自适应像差校正评价函数。在校正过程中实时测试图像评价函数，并利用计算机控制像差校正***进行自适应像差校正。这一过程无须扫描，快速、简单。利用像差校正过程中的评价函数变化重新设定像素重分配过程的参数，优化像素重分配过程。该方法可有效校正图像扫描显微成像***的像差，提升像素重分配过程的有效性，最大限度实现图像扫描成像分辨率的提升。
本发明的目的是这样实现的：
一种自适应像差校正图像扫描显微成像装置，所述装置包括：激光器、准直扩束***、第一分束器、像差校正***、二维扫描振镜、扫描透镜、管镜、宽场照明光源、第二分束器、物镜、样品、三维位移台、探测透镜、sCOMS相机、计算机控制***。
其中，所述激光器发出的激光经过准直扩束***后由第一分束器反射进入像差校正***；通过计算机连接像差校正***对入射光场的波面进行相位调制；经调制后的激光依次经过二维扫描振镜、扫描透镜、管镜，透过第二分束器后由物镜聚焦后对样品进行点探测；样品放置于三维位移台上；携带样品信息的反射光由物镜收集，沿原光路返回透过第一分束器，由探测透镜成像于sCMOS相机成像面；宽场照明光源通过第二分束器反射对样品进行宽场照明；完整成像过程由计算机控制***进行控制。
进一步地，所述的宽场照明光源可以是白光光源或者单色光源。
进一步地，所述的像差校正***包括空间光调制器和可变形反射镜。
一种自适应像差校正图像扫描显微成像方法，包括以下步骤：
步骤一：开启宽场照明光源照明样品，设置sCMOS相机对样品进行全像素成像。根据图像计算像差评价函数；
步骤二：根据评价函数，利用像差校正***进行自适应像差校正。在校正过程中，sCMOS相机实时成像，并计算评价函数反馈给计算机。计算机根据评价函数控制像差校正***进行自适应像差校正；
步骤三：通过二维扫描振镜来控制激光扫描样品，设定sCOMS特定像素采集信号。sCOMS有效像元数量根据像差校正过程的评价函数来确定；
步骤四：对于每一个扫描位置，计算机同步控制sCOMS均采集一次信号；
步骤五：对每个扫描位置采集到的信号求和；对于所有信号根据扫描位置进行像素重分配，重构出最终图像。
所述成像方法，是利用像差校正过程中的评价函数变化重新设定像素重分配过程中的参数阈值，优化像素重分配过程。
进一步地，所述评价函数为sCMOS相机图像的峰值强度或图像锐度。
进一步地，所述像素重分配过程中的参数阈值设定方法为，像差越大，参数阈值设定越小。
所述成像方法，是通过计算最终自适应像差校正后的评价函数来设定激光扫描显微过程中sCMOS相机有效像元的个数。
进一步地，sCOMS有效像元数量确定方法为若评价函数显示经过校正后的残余像差较小，则选择较少的有效像元数量；若评价函数显示经过校正后的残余像差较大，则选择较多的有效像元数量。
本发明的有益效果在于，由于在本发明的图像扫描成像方法中，通过在成像路径中引入像差校正***，对波前进行了相位调制，从而实现了像差的实时校正。且通过sCMOS相机预成像，并由预成像结果计算评价函数，反馈到计算机，从而进一步控制像差校正***，实现自适应像差校正。该方法提升了图像扫描显微成像的对比度和分辨率。
附图说明
图1是本发明所述的一种自适应像差校正图像扫描显微成像方法与装置光路示意图。
图2是本发明所述的一种自适应像差校正图像扫描显微成像方法与装置实现流程图。
图3是本发明所述的一种自适应像差校正图像扫描显微成像方法与装置sCMOS相机有效像元分布示意图。
图1中：1-激光器、2-准直扩束***、3-第一分束器、4-相位型像差校正***、5-二维扫描振镜、6-扫描透镜、7-管镜、8-宽场照明光源、9-第二分束器、10-物镜、11-样品、12-三维位移台、13-探测透镜、14-sCOMS相机、15-计算机控制***。
具体实施方式
以下结合附图对本发明的实施实例进行详细的描述。
一种自适应像差校正图像扫描显微成像方法与装置实施例的示意图如图1所示。激光器1发出的激光经过整形扩束***2整形扩束后由第一分束器3反射进入像差校正***4。通过计算机控制像差校正***对入射光场的波面进行相位调制。经调制后的激光依次经过二维扫描振镜5、扫描透镜6、管镜7，透过第二分束器9后由物镜10聚焦后对样品11进行点探测。通过三维位移台12的移动，实现三维测量。携带样品信息的反射光依然由物镜10收集，去扫描化后透过第一分束器3，由探测透镜13成像于sCMOS相机14成像面。宽场照明光源8搭配sCMOS相机14在获得亮场图像的同时，可以在激光扫描前进行sCMOS相机全像素预成像，根据预成像结果计算评价函数，进行自适应像差校正，且定位样品中目标成像区域。
本实施例中，实现流程如图2所示：
步骤一：开启宽场照明光源照明样品，设置sCMOS相机对样品进行全像素成像。根据图像计算像差评价函数。
步骤二：根据评价函数，利用像差校正***进行自适应像差校正。在上述校正过程中，sCMOS相机实时成像，并计算评价函数反馈给计算机***。计算机***根据评价函数控制像差校正***进行自适应像差校正。
步骤三：使激光扫描样品，设定sCOMS特定像素采集信号。有效像元数量根据像差校正过程的评价函数来确定。
步骤四：对于每一个扫描位置，计算机同步控制sCOMS均采集一次信号。
步骤五：对每个扫描位置采集到的信号求和；对于所有信号根据扫描位置进行像素重分配，重构出最终图像。像素重分配的参数阈值根据像差校正过程的评价函数来进行优化。
本实施例中，参数阈值设定方法为，像差越大，参数阈值设定越小。
本实施例中，sCMOS相机有效像元分布示意图如图3所示。有效像元分布根据残余像差大小进行优化。若评价函数显示经过校正后的残余像差较小，则选择较少的有效像元数量；若评价函数显示经过校正后的残余像差较大，则选择较多的有效像元数量。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效装置或等效方法变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种自适应像差校正图像扫描显微成像装置，其特征在于，所述装置包括：激光器、准直扩束***、第一分束器、像差校正***、二维扫描振镜、扫描透镜、管镜、宽场照明光源、第二分束器、物镜、样品、三维位移台、探测透镜、sCOMS相机、计算机控制***；
其中，所述激光器发出的激光经过准直扩束***后由第一分束器反射进入像差校正***；通过计算机连接像差校正***对入射光场的波面进行相位调制；经调制后的激光依次经过二维扫描振镜、扫描透镜、管镜，透过第二分束器后由物镜聚焦后对样品进行点探测；样品放置于三维位移台上；携带样品信息的反射光由物镜收集，沿原光路返回透过第一分束器，由探测透镜成像于sCMOS相机成像面；宽场照明光源通过第二分束器反射对样品进行宽场照明；完整成像过程由计算机控制***进行控制。
2.根据权利要求1所述的自适应像差校正图像扫描显微成像装置，其特征在于，所述的宽场照明光源可以是白光光源或者单色光源。
3.根据权利要求1所述的自适应像差校正图像扫描显微成像装置，其特征在于，所述的像差校正***包括以下至少任一：空间光调制器和可变形反射镜。
4.一种自适应像差校正图像扫描显微成像方法，其特征在于，所述方法基于权利要求1-3任一项所述的自适应像差校正图像扫描显微成像装置，所述方法包括以下步骤：
步骤一：使所述宽场照明光源照明样品，使sCMOS相机对样品进行全像素宽场预成像；所述sCMOS相机根据图像计算像差评价函数；
步骤二：根据评价函数，利用像差校正***进行自适应像差校正，在所述自适应像差校正过程中，所述sCMOS相机实时成像，并计算评价函数实时反馈给计算机控制***；计算机根据评价函数控制像差校正***进行自适应像差校正；
步骤三：通过二维扫描振镜来控制激光扫描样品，使sCOMS相机特定像素采集信号；其中，sCOMS相机有效像元数量根据像差校正过程的评价函数来确定；
步骤四：对于每一个扫描位置，计算机控制***同步控制sCOMS相机均采集一次信号；
步骤五：对每个扫描位置采集到的信号求和；对于所有信号根据扫描位置进行像素重分配，重构出最终图像。
5.根据权利要求4所述的方法，其特征在于，所述评价函数为sCMOS相机图像的峰值强度或图像锐度。
6.根据权利要求4或5所述的方法，其特征在于，利用像差校正过程中的评价函数变化重新设定像素重分配过程中的参数阈值，优化像素重分配过程。
7.根据权利要求6所述的方法，其特征在于，像素重分配过程中参数阈值设定包括：像差越大，参数阈值设定值越小。
8.根据权利要求4至7任一项所述的方法，其特征在于，通过计算最终自适应像差校正后的评价函数来设定激光扫描显微过程中sCMOS相机有效像元的个数。
9.根据权利要求5所述的方法，其特征在于，所述sCOMS相机有效像元数量确定包括：若评价函数显示经过校正后的残余像差较小，则选择较少的有效像元数量；若评价函数显示经过校正后的残余像差较大，则选择较多的有效像元数量。
CN201910874087.8A 2019-09-17 2019-09-17 一种自适应像差校正图像扫描显微成像方法 Active CN110567959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910874087.8A CN110567959B (zh) 2019-09-17 2019-09-17 一种自适应像差校正图像扫描显微成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910874087.8A CN110567959B (zh) 2019-09-17 2019-09-17 一种自适应像差校正图像扫描显微成像方法

Publications (2)

Publication Number Publication Date
CN110567959A true CN110567959A (zh) 2019-12-13
CN110567959B CN110567959B (zh) 2022-05-17

Family

ID=68780381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910874087.8A Active CN110567959B (zh) 2019-09-17 2019-09-17 一种自适应像差校正图像扫描显微成像方法

Country Status (1)

Country Link
CN (1) CN110567959B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111208635A (zh) * 2020-02-26 2020-05-29 哈工大机器人(中山)无人装备与人工智能研究院 一种图像扫描显微成像***及方法
CN111580271A (zh) * 2020-06-24 2020-08-25 哈工大机器人(中山)无人装备与人工智能研究院 自适应像差校正方法及基于该方法的光片显微成像装置
CN113176278A (zh) * 2021-03-19 2021-07-27 哈工大机器人(中山)无人装备与人工智能研究院 一种面板缺陷检测设备及面板缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060012871A1 (en) * 2004-07-16 2006-01-19 Joerg-Michael Funk Light scanning electron microscope and use
CN101788483A (zh) * 2010-02-23 2010-07-28 中国人民解放军第四军医大学 一种基于激光共聚焦扫描显微镜***的外周神经***氯成像方法
CN102008289A (zh) * 2010-12-08 2011-04-13 苏州六六宏医疗器械有限公司 基于自动寻优算法的像差补偿眼底显微镜
CN103065917A (zh) * 2011-10-19 2013-04-24 Fei公司 用于调整配备有像差校正器的stem的方法
US20150077844A1 (en) * 2013-09-19 2015-03-19 Carl-Zeiss Microscopy GmbH Laser scanning microscope and method for correcting imaging errors particularly in high-resolution scanning microscopy
US20160363538A1 (en) * 2014-02-27 2016-12-15 Horiba Jobin Yvon Sas Optical microscopy system and method for raman scattering with adaptive optics

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060012871A1 (en) * 2004-07-16 2006-01-19 Joerg-Michael Funk Light scanning electron microscope and use
CN101788483A (zh) * 2010-02-23 2010-07-28 中国人民解放军第四军医大学 一种基于激光共聚焦扫描显微镜***的外周神经***氯成像方法
CN102008289A (zh) * 2010-12-08 2011-04-13 苏州六六宏医疗器械有限公司 基于自动寻优算法的像差补偿眼底显微镜
CN103065917A (zh) * 2011-10-19 2013-04-24 Fei公司 用于调整配备有像差校正器的stem的方法
US20150077844A1 (en) * 2013-09-19 2015-03-19 Carl-Zeiss Microscopy GmbH Laser scanning microscope and method for correcting imaging errors particularly in high-resolution scanning microscopy
US20160363538A1 (en) * 2014-02-27 2016-12-15 Horiba Jobin Yvon Sas Optical microscopy system and method for raman scattering with adaptive optics

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘辰光: ""基于中介层散射原理的共焦显微测量技术及理论研究"", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111208635A (zh) * 2020-02-26 2020-05-29 哈工大机器人(中山)无人装备与人工智能研究院 一种图像扫描显微成像***及方法
CN111208635B (zh) * 2020-02-26 2022-09-27 哈工大机器人(中山)无人装备与人工智能研究院 一种图像扫描显微成像***及方法
CN111580271A (zh) * 2020-06-24 2020-08-25 哈工大机器人(中山)无人装备与人工智能研究院 自适应像差校正方法及基于该方法的光片显微成像装置
CN113176278A (zh) * 2021-03-19 2021-07-27 哈工大机器人(中山)无人装备与人工智能研究院 一种面板缺陷检测设备及面板缺陷检测方法
CN113176278B (zh) * 2021-03-19 2022-07-22 哈工大机器人(中山)无人装备与人工智能研究院 一种面板缺陷检测设备及面板缺陷检测方法

Also Published As

Publication number Publication date
CN110567959B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US10922789B2 (en) Super-resolution lattice light field microscopic imaging system and method
CN110567959B (zh) 一种自适应像差校正图像扫描显微成像方法
CN108982456B (zh) 基于倏逝波照明的三维活细胞超分辨显微成像方法和装置
US11482021B2 (en) Adaptive sensing based on depth
US11454781B2 (en) Real-time autofocus focusing algorithm
JP2016534389A (ja) 開口走査フーリエタイコグラフィ撮像
KR20220092999A (ko) 디지털 스캐닝 장치
US10955650B2 (en) Two pass macro image
AU2018352821A1 (en) Image reconstruction method, device and microscopic imaging device
CN116183568B (zh) 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
US10776955B2 (en) Method for the analysis of spatial and temporal information of samples by means of optical microscopy
TWI500963B (zh) An image capturing device and method
US11356593B2 (en) Methods and systems for single frame autofocusing based on color- multiplexed illumination
CN115839935A (zh) 基于共振扫描稀疏结构光照明的层析显微成像装置及方法
US11422349B2 (en) Dual processor image processing
CN117631249B (zh) 线扫共聚焦扫描光场显微成像装置及方法
US20240053594A1 (en) Method and Device for Microscopy
CN114813564A (zh) 一种高保真的超分辨显微成像方法和***
CN117571707A (zh) 一种基于二次谐波偏振成像的纤维取向超分辨解析方法
CN116124778A (zh) 一种差动共焦轴向有效测量区域判定装置、方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant