CN113049550B - 一种基于图像重构算法的纵向层析成像方法和装置 - Google Patents

一种基于图像重构算法的纵向层析成像方法和装置 Download PDF

Info

Publication number
CN113049550B
CN113049550B CN202110158098.3A CN202110158098A CN113049550B CN 113049550 B CN113049550 B CN 113049550B CN 202110158098 A CN202110158098 A CN 202110158098A CN 113049550 B CN113049550 B CN 113049550B
Authority
CN
China
Prior art keywords
sample
longitudinal
evanescent wave
intensity
reconstruction algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110158098.3A
Other languages
English (en)
Other versions
CN113049550A (zh
Inventor
杨青
刘小威
汤明炜
刘旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110158098.3A priority Critical patent/CN113049550B/zh
Publication of CN113049550A publication Critical patent/CN113049550A/zh
Application granted granted Critical
Publication of CN113049550B publication Critical patent/CN113049550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks

Landscapes

  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开一种基于图像重构算法的纵向层析成像方法，包括：利用激光产生的倏逝波，照明具有非线性效应的样品，并拍摄激发的荧光强度图像；将样品的归一化非线性发光效率与激光输入强度之间的关系曲线和倏逝波沿纵向强度分布曲线联立，获得描述样品纵向位置与其对拍摄的图像强度贡献之间关系的贡献曲线；改变倏逝波照明强度，使贡献曲线的线型发生改变，拍摄N幅对应不同强度下的图像，构建包含N个方程的方程组；使用图像重构算法在约束条件下求解方程组，获得倏逝波穿透深度内样品高分辨率、高精度的纵向空间分布。本发明可获得远高于倏逝波穿透深度的纵向分辨率和定位精度，无需控制倏逝波照明的全内反射角，适用于基于片上波导结构的倏逝波照明。

Description

一种基于图像重构算法的纵向层析成像方法和装置
技术领域
本发明涉及显微成像领域，尤其是涉及一种基于图像重构算法的纵向层析成像方法和装置。
背景技术
实现高精度的纵向层析成像，对获取纳米结构、生物分子的三维空间分布具有重要作用。倏逝波照明在横向上具有高波矢，在纵向上具有波长量级或优于波长的穿透深度，因此在实现亚波长级分辨率上具有较大潜力。再加之其宽场的特点，可实现较快的成像速度，倏逝波照明被广泛应用于高分辨纵向层析成像。目前的倏逝波照明层析方法实现的纵向分辨率与其穿透深度相当；或者需要精确控制光学***全内反射角。
例如在公开号CN1588003A提供的一种单分子荧光样品快速纵向超分辨的方法中，采用全内反射荧光探测***，通过在探测过程中改变激光光束的入射角从而改变激发场的渗透深度，根据单分子荧光成像强度随渗透深度的变化函数关系，重构出荧光分子之间的纵向间隔、荧光分子的绝对纵向位置和荧光分子半径大小的信息。该成像方法需要改变激光光束的入射角，至少需要两种入射角度。
基于控制激光光束的入射角度的方法可以实现单分子量级的超高分辨率，但会使光学***较为复杂，而且在基于波导倏逝波照明的装置中，几乎无法控制激光光束的入射角度。而在已有的激光光束入射角度固定的成像方法中，如公开号CN109358031A公开的基于饱和光吸收的纵向层析成像方法，在倏逝波穿透深度内仍无法实现超高分辨率的深度信息获取。因此，发明一种无需改变全内反射角，且可对倏逝波的穿透深度内的样品进行高分辨率层析的成像方法具有重要的实用价值。
发明内容
为解决现有技术中存在的技术问题，本发明提供一种基于图像重构算法的纵向层析成像方法，是通过结合倏逝波照明和图像重构算法而实现的具有高纵向分辨率的层析成像方法。
本发明采用的技术方案如下：
一种基于图像重构算法的纵向层析成像方法，包括：
利用激光产生的倏逝波，照明具有非线性效应的样品，并拍摄激发的荧光强度图像；
将样品的归一化非线性发光效率与激光输入强度之间的关系曲线和倏逝波沿纵向强度分布曲线联立，获得描述样品纵向位置与其对拍摄的图像强度贡献之间关系的贡献曲线；
改变倏逝波照明强度，使贡献曲线的线型发生改变，拍摄N幅对应不同强度下的图像，构建包含N个方程的方程组；
使用图像重构算法在约束条件下求解方程组，获得倏逝波穿透深度内样品高分辨率、高精度的纵向空间分布。
优选的，所述的样品纵向分布为样品在弱光照明下处于线性状态时的发光效率或散射效率的空间分布。所述弱光表示不超过饱和光强的十分之一。
优选的，在所述的方程组中，方程组中未知数为被均分为多层的在倏逝波穿透深度内的样品的纵向分布，方程组中的系数通过离散化不同倏逝波照明强度下的贡献曲线获得。
优选的，构建方程组时，未知数为被均分为M层的在倏逝波穿透深度内的样品纵向分布，M小于或等于N，其中N为拍摄图像数目。
优选的，所述约束条件为待求解的样品空间分布大于等于0，优化的目标为使求解出的样品分布对应的理想图像与拍摄到的图像之间的强度差距最小。
优选的，样品非线性效应的机理是饱和光吸收、饱和光散射。且所成像样品在不同空间位置的非线性效应差异较小。
优选的，可通过在倏逝波照明的界面处放置薄层同类样品，对激光输入光强与样品的归一化非线性响应信号之间的关系进行预先标定。
本发明中，当使用波导倏逝波照明时，图像重构算法要对由波导模式分布引起的照明强度空间不均匀性进行校正。
根据上述的基于图像重构算法的纵向层析成像方法，本发明还提供对应的成像装置，包括依次布置的激光器、四分之一波片、第一偏振片和第二偏振片和分光片；
所述分光片的反射光路上设有的功率计；
所述分光片的透射光通过单模光纤进入一平板波导，在平板波导内产生倏逝波照明样品并激发荧光；
还包括采集荧光信号的物镜和相机。
本发明具有的有益效果是：
可获得远高于倏逝波穿透深度的纵向分辨率，无需控制倏逝波照明的全内反射角，因此结构简单，适用范围广，可适用于基于片上波导结构的倏逝波照明。
附图说明
图1是基于交替方向乘子法(ADMM)优化算法处理一系列不同倏逝波照明强度下的图像从而实现纵向层析成像的流程图；
图2是实施例子的实验装置图；
图3是具体实施例子中的样品饱和曲线；
图4是具体实施例子中的重构出的不同深度的样品图像；
图5是具体实施例子中使用的30个倏逝波强度中，从低至高数第15个(实线所示)与第30个(虚线所示)倏逝波强度所对应的贡献曲线；
图6是将重构出的样品纵向位置与真实纵向位置之间的差值的统计分布；
图中：1、具有饱和吸收效应的样品在不同强度的倏逝波照明下拍摄到的原始图片；2、贡献曲线构建的系数矩阵；3、ADMM算法优化过程；4、重建的层析图像；5、激光器；6、1/4波片；7、偏振片；8、偏振片；9、分光片；10、功率计；11、透镜；12、单模光纤；13、衬底；14、波导层；15、倏逝波；16、样品；17、物镜；18、滤光片；19、场镜；20、相机；21、滤高阶模模单元；22、单模绝热拉伸单元。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本实施例中的基于图像重构算法的纵向层析成像方法，包括：
将激光输入全内反射装置或波导结构，产生倏逝波，照明具有非线性效应的样品；
将样品的非线性发光效率与照明强度之间的归一化关系曲线和倏逝波沿纵向强度分布曲线联立，可获得描述样品纵向位置与其对拍摄的图像强度贡献之间关系的贡献曲线；
改变倏逝波照明的整体强度，拍摄N幅对应不同强度下的图像，构建包含N个方程的方程组，方程组中未知数为被均分为多层的在倏逝波穿透深度内的样品的纵向分布，方程组中的系数通过离散化不同倏逝波照明强度下的贡献曲线获得；
使用优化算法在约束条件下求解方程组，获得倏逝波穿透深度内样品高分辨率、高精度的纵向空间分布。
如图1所示，具有饱和吸收效应的样品在不同强度的倏逝波照明下拍摄到的原始图片1与不同倏逝波照明强度下的一系列贡献曲线组成的***矩阵2一起构成线性方程组。通过ADMM优化算法3求解方程组，最终可得到位于不同纵向位置的多层样品分布信息4。
可通过图2所示的装置实现强度可调的倏逝波照明。脉冲激光从激光器5出射，准直，滤波。通过四分之一波片6，偏振状态变为圆偏。接下来先后通过两片线偏振片7和线偏振片8。通过调节偏振片7的角度，控制激光光强。光束经过分光片9，一部分固定比例的激光能量被反射，进入功率计10实现光强监测。透射光被透镜11聚焦耦合进入单模光纤12。通过端面耦合的方式，单模光纤12另一端的输出光进入平板波导14，平板波导14中设计有弯曲单元21滤除高阶模，以及单模绝热拉伸单元将窄波导区的单模导入至宽波导区22，保证最终有大面积的单模分布为样品16提供均匀的、大视场的倏逝波照明。样品被具有饱和吸收效应的荧光染色剂标记，荧光信号被物镜17收集，并经过滤光片18滤除照明光，提高信噪比。最终信号光经过场镜19汇聚，被相机接收20。
在该具体实施例中，波导模式有效折射率为3.38。表格一显示了在该具体实施例中使用的激光器的参数以及荧光染色剂的参数。
表格一
激光脉宽 激光波长 荧光波长 荧光寿命 荧光能级 吸收截面
5ns 561nm 600nm 10ns 2 10<sup>-16</sup>cm<sup>2</sup>
基于以上参数，图3计算了理想的饱和曲线。图4为重构出的一个三维样品在不同纵向位置处的层析成像(仿真结果)，其中所使用的优化算法为ADMM算法。在该具体实施例中，共使用30个倏逝波强度，如表格二所示：
表格二
Figure BDA0002934608710000051
Figure BDA0002934608710000061
拍摄了30幅照片；每幅照片的信噪比设为1000；从低往高数第15个和第30个倏逝波照明强度对应的贡献曲线分别如图5中的实线和虚线所示。可以看出，贡献曲线的变化为分离出纵向上各层的分布信息提供了基础。在观察实际样品时，需要在波导表面放置薄层染色剂，使用功率计10对饱和曲线进行标定，将标定的饱和曲线与倏逝波的纵向分布曲线联合得到贡献曲线。
通过统计仿真中设置的物的纵向位置与重构出的纵向位置之间的误差，并进行高斯拟合，可得出该方法的纵向分辨率优于3纳米(荧光波长/200)，如图6所示。
以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像重构算法的纵向层析成像方法，其特征在于，包括：
利用激光产生的倏逝波，照明具有非线性效应的样品，并拍摄激发的荧光强度图像；
将样品的归一化非线性发光效率与激光输入强度之间的关系曲线和倏逝波沿纵向强度分布曲线联立，获得描述样品纵向位置与其对拍摄的图像强度贡献之间关系的贡献曲线；
改变倏逝波照明强度，使贡献曲线的线型发生改变，拍摄N幅对应不同强度下的图像，构建包含N个方程的方程组；
使用图像重构算法在约束条件下求解方程组，获得倏逝波穿透深度内样品高分辨率、高精度的纵向空间分布；所述约束条件为待求解的样品空间分布大于等于0，优化的目标为使求解出的样品分布对应的理想图像与拍摄到的图像之间的强度差距最小。
2.根据权利要求1所述的基于图像重构算法的纵向层析成像方法，其特征在于，所述样品的纵向分布为样品在弱光照明下处于线性状态时的发光效率或散射效率的空间分布。
3.根据权利要求1所述的基于图像重构算法的纵向层析成像方法，其特征在于，在所述的方程组中，方程组中未知数为被均分为多层的在倏逝波穿透深度内的样品的纵向分布，方程组中的系数通过离散化不同倏逝波照明强度下的贡献曲线获得。
4.根据权利要求3所述的基于图像重构算法的纵向层析成像方法，其特征在于，构建方程组时，未知数为被均分为M层的在倏逝波穿透深度内的样品纵向分布，M小于或等于N，其中N为拍摄图像数目。
5.根据权利要求1所述的基于图像重构算法的纵向层析成像方法，其特征在于，所述约束条件为待求解的样品空间分布大于等于0，优化的目标为使求解出的样品分布对应的理想图像与拍摄到的图像之间的强度差距最小。
6.根据权利要求1所述的基于图像重构算法的纵向层析成像方法，其特征在于，样品非线性效应的机理是饱和光吸收、饱和光散射。
7.根据权利要求1所述的基于图像重构算法的纵向层析成像方法，其特征在于，可通过在倏逝波照明的界面处放置薄层同类样品，对激光输入光强与样品的归一化非线性响应信号之间的关系进行预先标定。
8.根据权利要求1所述的基于图像重构算法的纵向层析成像方法的装置，其特征在于，包括依次布置的激光器、四分之一波片、第一偏振片和第二偏振片和分光片；
所述分光片的反射光路上设有的功率计；
所述分光片的透射光通过单模光纤进入一平板波导，在平板波导内产生倏逝波照明样品并激发荧光；
还包括采集荧光信号的物镜和相机。
CN202110158098.3A 2021-02-04 2021-02-04 一种基于图像重构算法的纵向层析成像方法和装置 Active CN113049550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110158098.3A CN113049550B (zh) 2021-02-04 2021-02-04 一种基于图像重构算法的纵向层析成像方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110158098.3A CN113049550B (zh) 2021-02-04 2021-02-04 一种基于图像重构算法的纵向层析成像方法和装置

Publications (2)

Publication Number Publication Date
CN113049550A CN113049550A (zh) 2021-06-29
CN113049550B true CN113049550B (zh) 2022-05-27

Family

ID=76508881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110158098.3A Active CN113049550B (zh) 2021-02-04 2021-02-04 一种基于图像重构算法的纵向层析成像方法和装置

Country Status (1)

Country Link
CN (1) CN113049550B (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384044B2 (en) * 2007-02-19 2013-02-26 Japan Science And Technology Agency Apparatus and method for reading fluorescence
DE102008049878A1 (de) * 2008-09-30 2010-04-01 Carl Zeiss Microlmaging Gmbh Verbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung
US8507877B2 (en) * 2009-11-25 2013-08-13 Ofs Fitel, Llc Non-linear optical system and techniques
DE102011084315A1 (de) * 2011-10-12 2013-04-18 Carl Zeiss Microscopy Gmbh Hochauflösende Lumineszenzmikroskopie
CN105556317B (zh) * 2013-03-15 2017-12-15 布鲁克纳米股份有限公司 使用归一化近场光谱对样品的化学纳米识别
WO2017008078A2 (en) * 2015-07-09 2017-01-12 Advanced Nuclear Devices Corporation Apparatuses, methods and systems for downhole imaging
CN106980174B (zh) * 2017-02-28 2019-04-16 浙江大学 一种综合性荧光超分辨显微成像装置
CN107356566B (zh) * 2017-03-30 2019-07-30 浙江大学 宽场三维超高分辨定位和成像方法与装置
CN108061965B (zh) * 2017-11-30 2019-09-20 浙江大学 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置
CN108181282B (zh) * 2018-01-03 2019-03-15 宁波纳美致生物科技有限公司 一种三通道荧光定位超分辨率生物显微***及方法
CN108982456B (zh) * 2018-07-31 2020-08-18 浙江大学 基于倏逝波照明的三维活细胞超分辨显微成像方法和装置
EP3623796A1 (en) * 2018-09-12 2020-03-18 Centre National de la Recherche Scientifique - CNRS Calibration standard for evanescence microscopy
DE102018124984A1 (de) * 2018-10-10 2020-04-16 Friedrich-Schiller-Universität Jena Verfahren und Vorrichtung zur hochaufgelösten Fluoreszenzmikroskopie
CN109358031B (zh) * 2018-11-30 2021-04-06 浙江大学 一种基于饱和光吸收的纵向层析成像方法
CN112213865B (zh) * 2020-09-04 2022-01-04 浙江大学 一种高速倏逝场移频超分辨显微成像***及成像方法

Also Published As

Publication number Publication date
CN113049550A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN110398479B (zh) 一种基于光学芯片基底的显微光谱测量装置及方法
JP7200127B2 (ja) 層特定的照明スペクトルによる計量システム及び方法
EP3469425B1 (en) Radiation source
US7821640B2 (en) Method and device for reconstructing a three-dimensional fluorescence optical tomography image by double measurement
TWI421486B (zh) 光學異方性參數測定方法及測定裝置
CN105044897B (zh) 基于稀疏约束的快速随机光学重构成像***及方法
CN110308125B (zh) 三维显微层析计算摄像方法及装置
US20120133937A1 (en) Imaging system
DE112013004424T5 (de) Festkörper-Beleuchtungsquelle und Inspektionssystem
CN102183466A (zh) 一种时间分辨椭圆偏振光谱测量***
WO2014055970A1 (en) Chemical characterization of surface features
JP2013531816A (ja) 微分干渉コントラストの連続した時間でエンコードされた増幅顕微鏡検査法
CN103323410A (zh) 一种基于液晶滤波器件的显微光谱成像装置和方法
Tua et al. Imaging-based intelligent spectrometer on a plasmonic rainbow chip
US11016022B2 (en) Multimodal imaging system
Frisbie et al. Image formation in wide-field microscopes based on leakage of surface plasmon-coupled fluorescence
CN113049550B (zh) 一种基于图像重构算法的纵向层析成像方法和装置
US7352467B2 (en) Surface plasmon resonance imaging system and method
KR20220120588A (ko) 결합된 ocd 및 광반사변조 방법 및 시스템
Kong et al. Surface imaging microscopy with tunable penetration depth as short as 20 nm by employing hyperbolic metamaterials
US11422032B2 (en) Multicolor optical resonator for imaging methods
CN108469412A (zh) 一种多光子显微镜中轴向色差的自参考测量装置
DE19708036C2 (de) Ellipsometrisches Mikroskop
Kim et al. Ptychographic lens-less birefringence microscopy using a mask-modulated polarization image sensor
CN110763341B (zh) 一种Stokes-Mueller光谱成像***和检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant