CN115619646A - 一种深度学习的亚五十纳米结构光照明超分辨成像方法 - Google Patents

一种深度学习的亚五十纳米结构光照明超分辨成像方法 Download PDF

Info

Publication number
CN115619646A
CN115619646A CN202211577360.9A CN202211577360A CN115619646A CN 115619646 A CN115619646 A CN 115619646A CN 202211577360 A CN202211577360 A CN 202211577360A CN 115619646 A CN115619646 A CN 115619646A
Authority
CN
China
Prior art keywords
resolution
network
sim
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211577360.9A
Other languages
English (en)
Other versions
CN115619646B (zh
Inventor
刘文杰
叶子桐
匡翠方
谢舜宇
陈友华
刘旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Zhejiang Lab
Original Assignee
Zhejiang University ZJU
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Zhejiang Lab filed Critical Zhejiang University ZJU
Priority to CN202211577360.9A priority Critical patent/CN115619646B/zh
Publication of CN115619646A publication Critical patent/CN115619646A/zh
Application granted granted Critical
Publication of CN115619646B publication Critical patent/CN115619646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种亚五十纳米结构光照明超分辨显微成像方法,涉及光学超分辨显微成像领域,先通过图像退化获得高分辨STORM图像和低分辨SIM图像并进行配对、再对配对的数据进行训练数据集制作,然后通过训练的去噪网络进行去噪优化,最后通过SIM超分辨重构,输出高分辨率图像,本发明将传统SIM技术的分辨率提升至50 nm,同时不损失其快速、低光毒性、长时程成像能力;所需的训练集通过高分辨图像退化得到,无需实验获取,无需复杂的配准过程,大大降低了训练集的制作难度;本方法不增加任何***复杂度,可基于任何已有SIM***实现,应用范围广。

Description

一种深度学习的亚五十纳米结构光照明超分辨成像方法
技术领域
本发明涉及光学超分辨显微成像的技术领域,尤其涉及一种深度学习的亚五十纳米结构光照明超分辨成像方法。
背景技术
在生命科学中,荧光显微镜是研究细胞时空动态的关键工具,在过去的几十年里,人们发明出许多技术对细胞内的生物过程进行超分辨成像,如可达到百纳米分辨率的结构光照明显微镜(SIM)、可达到亚五十纳米分辨率的受激发射损耗显微术(STED)和随机光学重构显微术(STORM)。这些生物过程的观测质量不仅取决于所用光学设备的空间分辨率,还取决于所需的时间分辨率、成像深度、采集的荧光密度、光漂白和光毒性等。然而这些成像参数之间往往都是矛盾,难以在一套成像技术中同时优化分辨率、速度、曝光和成像深度等方面,必须进行权衡。例如,SIM中通过减少曝光时间可以获得成像速度但是会牺牲信噪比,STED中通过提高光功率可以提升空间分辨率但是会增大光漂白,STORM中通过获取更多帧原始图像也可以提高分辨率但是会延长成像时间。
SIM是公认的最适用于快速超分辨成像的技术,其可以在百纳米分辨率水平尽可能平衡其他成像参数,实现对活细胞的快速和长时程成像。近年来也有提高其空间分辨率的探索,但都会导致其他性能的降低,如非线性SIM可以将分辨率提升至~50 nm,但所需的光功率急剧升高,从而难以适用于活细胞成像,稀疏反卷SIM可以将分辨率提升至60 nm左右,也适用于活细胞成像,但是其需要针对特定结构进行调参,大大限制了应用范围。因此,目前SIM仍然无法在亚五十纳米分辨率水平下对活细胞进行更具普适性的快速、长时程成像。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,本发明提供了一种深度学习的亚五十纳米结构光照明超分辨成像方法。
本发明的一种深度学习的亚五十纳米结构光照明超分辨成像方法,包括以下步骤:
S1:图像退化,通过仿真或实验获得SIM光学显微***的点扩散函数图像,将点扩散函数图像与开源或实验获得的高分辨STORM图像进行卷积、向下采样获得低分辨SIM成像结果,将对应的高分辨STORM图像和低分辨SIM图像进行配对得到配对数据;
S2:训练数据集制作,对配对数据进行随机分割,并通过旋转进行数据增强,将高分辨STORM图像归一化后设置阈值,去除信息密度低于阈值的图像对;
S3:去噪网络、超分辨网络结构与训练,训练去噪网络得到去噪网络初始参数,将该参数导入联合网络去噪部分,进行联合训练,当联合网络对测试集测试所得均方根误差最小时则得到联合网络最优参数;
S4:SIM超分辨重构,将若干张低分辨SIM图像输入对应的去噪网络与超分辨网络联合训练组成的跨模态网络,加载网络训练过程中保存的均方根误差最低时得到的最优权重,输出高分辨率结果。
作为优选,所述步骤S1包括以下子步骤:
S1.1:将开源或实验获得的高分辨STORM图像与至少3个方向、至少3个相位的照明条纹相乘;
S1.2:通过仿真或实验获得SIM光学显微***的点扩散函数图像,并与步骤S1.1的相乘结果进行卷积;
S1.3:对步骤S1.2的卷积结果根据像素尺寸对应关系进行下采样,得到仿真的高信噪比SIM初始数据;
S1.4:在仿真的高信噪比SIM初始数据中加入高斯噪声和泊松噪声模拟低信噪比下的SIM成像结果。
作为优选,所述步骤S2包括以下子步骤:
S2.1:利用matlab对配对数据进行随机分割;
S2.2:对分割图像进行90°,180°旋转进行数据增强;
S2.3:将STORM图归一化后设置阈值,去除信息密度低的图像对;
S2.4:重复上述步骤,形成5000对训练数据和500对验证数据集。
作为优选,所述步骤S3包括以下子步骤:
S3.1:将仿真的高信噪比SIM初始数据作为网络输入,单独训练去噪网络,损失函数的取值降低至网络收敛,保存参数;
S3.2:将提前训练好的去噪网络参数重新加载至联合网络中的去噪部分;
S3.3:将仿真的高信噪比SIM初始数据作为网络输入,高分辨STORM图像作为真值;
S3.4:经迭代优化缩小输出与真值间差距,至网络收敛,保存训练中联合网络最优权重。
作为优选,所述步骤S4包括以下子步骤:
S4.1:利用正弦条纹光照明样品,得到9张原始图片;
S4.2:将在低分辨率、低信噪比成像条件下得到的SIM九张初始图像数据输入联合网络;
S4.3:加载训练中保存的联合网络最优权重,网络输出则为高分辨率结果。
与现有技术相比,本发明具有以下有益的技术效果:
(1)可将传统SIM技术的分辨率提升至亚50 nm,同时不损失其快速、低光毒性、长时程成像能力;
(2)本方法不增加任何***复杂度,可基于任何已有SIM***实现;
(3)本方法所需的训练集通过高分辨图像退化得到,无需实验获取,无需复杂的配准过程,大大降低了训练集的制作难度;
(4)本方法也可用于将其他低分辨率技术,如光片显微镜、共聚焦显微镜等的分辨率提升至亚五十纳米水平。
附图说明
下面结合附图和实施方式对本发明作进一步详细的说明。
图1是本发明的一种深度学习的亚五十纳米结构光照明超分辨成像方法流程图;
图2是本发明的图像退化流程图;
图3是本发明的训练集制作流程图;
图4是本发明的SIM超分辨重构流程图;
图5是本发明所使用的去噪深度学习网络结构与超分辨网络结构示意图;
图6是本发明在宽场照明下成像结果图;
图7是本发明的重建结果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例1
以SIM到STORM的跨模态实施场景为例,参阅图1,其为本发明的步骤流程图,包括以下步骤:
(1)图像退化:
如图2所示,图像退化过程包括仿真/实际采集SIM***的点扩散函数,将开源或实验获取的STORM图像与三个方向、三个相位的照明条纹相乘后再与点扩散函数卷积,并根据像素尺寸对应关系进行下采样,得到仿真的高信噪比SIM初始数据。向下采样图像中加入高斯噪声和泊松噪声模拟低信噪比下的SIM成像结果,与原始STORM图像配对。
(2)训练数据集制作:
利用matlab对配对数据进行随机分割,并进行90°,180°旋转进行数据增强,此外将STORM图归一化后设置阈值,去除信息密度低的图像对(如背景噪声区域),以增强数据间的相关性,本实施例中阈值设置为0.01,当信号强度大于0.01,则被判定为样品信号,若样品信号像素总数低于总图像数1/3,则抛弃该图像对,从而形成5000对训练数据和500对验证数据集。
(3)去噪网络、超分辨网络结构与训练流程
如图3所示,首先,单独训练去噪网络,将仿真的不同信噪比的SIM原始数据作为网络输入,仿真高信噪比SIM重构数据作为真值,经迭代将损失函数的取值降低至网络收敛,保存参数,作为联合优化的前置条件。其次,将仿真不同信噪比的SIM原始数据作为网络输入,STORM数据作为真值,将提前训练好的去噪网络参数重新加载至去噪和超分辨联合网络中的去噪部分,经迭代优化缩小输出与真值间差距,至网络收敛。
网络结构如图3所示,左侧所示为去噪重建网络,该网络的作用为,将低信噪比的SIM数据输入网络,经网络重建后得到高质量、无伪影的SIM重建结果。由图中所示,该网络主要由四个下采样模块和四个上采样模块组成,每个模块之间引入残差机制,为实现与SIM重建结果像素大小匹配,在网络末端加入上采样模块。图2右侧所示为分辨率提升网络,该网络的功能为进一步提升高质量SIM重建结果的分辨率。包含四个残差模块,每个残差模块由四个残差组组成,模块之间通过残差连接。此外,残差组中每个残差块中均引入注意力机制,对卷积层采集到的特征权重进行重新分配,此外,为实现SIM与STORM数据的像素匹配,需要进行4倍上采样。该网络在网络输出端加入两个上采样模块,由卷积层等组成。
(4)低信噪比荧光显微图像超分辨重构:
如图4所示,将在低分辨率、低信噪比成像条件下得到的SIM九张初始图像数据输入对应跨模态网络,加载训练中保存的最优权重,网络输出则为高分辨率结果,图5是本发明所使用的去噪深度学习网络结构与超分辨网络结构示意图。
图6为微管样品宽场荧光图像,分辨率较低,经去噪网络重建后,分辨率有所提升,经联合网络处理后,分辨率进一步提升亚五十纳米分辨率水平,如图7所示。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围内。

Claims (5)

1.一种深度学习的亚五十纳米结构光照明超分辨成像方法,其特征在于,包括以下步骤:
S1:图像退化,通过仿真或实验获得SIM光学显微***的点扩散函数图像,将点扩散函数图像与开源或实验获得的高分辨STORM图像进行卷积、向下采样获得低分辨SIM成像结果,将对应的高分辨STORM图像和低分辨SIM图像进行配对得到配对数据;
S2:训练数据集制作,对配对数据进行随机分割,并通过旋转进行数据增强,将高分辨STORM图像归一化后设置阈值,去除信息密度低于阈值的图像对;
S3:去噪网络、超分辨网络结构与训练,训练去噪网络得到去噪网络初始参数,将该参数导入联合网络去噪部分,进行联合训练,当联合网络对测试集测试所得均方根误差最小时则得到联合网络最优参数;
S4:SIM超分辨重构,将若干张低分辨SIM图像输入对应的去噪网络与超分辨网络联合训练组成的跨模态网络,加载网络训练过程中保存的均方根误差最低时得到的最优权重,输出高分辨率结果。
2.根据权利要求1所述的一种深度学习的亚五十纳米结构光照明超分辨成像方法,其特征在于:所述步骤S1包括以下子步骤:
S1.1:将开源或实验获得的高分辨STORM图像与至少3个方向、至少3个相位的照明条纹相乘;
S1.2:通过仿真或实验获得SIM光学显微***的点扩散函数图像,并与步骤S1.1的相乘结果进行卷积;
S1.3:对步骤S1.2的卷积结果根据像素尺寸对应关系进行下采样,得到仿真的高信噪比SIM初始数据;
S1.4:在仿真的高信噪比SIM初始数据中加入高斯噪声和泊松噪声模拟低信噪比下的SIM成像结果。
3.根据权利要求1所述的一种深度学习的亚五十纳米结构光照明超分辨成像方法,其特征在于:所述步骤S2包括以下子步骤:
S2.1:利用matlab对配对数据进行随机分割;
S2.2:对分割图像进行90°,180°旋转进行数据增强;
S2.3:将STORM图归一化后设置阈值,去除信息密度低的图像对;
S2.4:重复上述步骤,形成5000对训练数据和500对验证数据集。
4.根据权利要求1所述的一种深度学习的亚五十纳米结构光照明超分辨成像方法,其特征在于:所述步骤S3包括以下子步骤:
S3.1:将仿真的高信噪比SIM初始数据作为网络输入,单独训练去噪网络,损失函数的取值降低至网络收敛,保存参数;
S3.2:将提前训练好的去噪网络参数重新加载至联合网络中的去噪部分;
S3.3:将仿真的高信噪比SIM初始数据作为网络输入,高分辨STORM图像作为真值;
S3.4:经迭代优化缩小输出与真值间差距,至网络收敛,保存训练中联合网络最优权重。
5.根据权利要求1所述的一种深度学习的亚五十纳米结构光照明超分辨成像方法,其特征在于:所述步骤S4包括以下子步骤:
S4.1:利用正弦条纹光照明样品,得到9张原始图片;
S4.2:将在低分辨率、低信噪比成像条件下得到的SIM九张初始图像数据输入联合网络;
S4.3:加载训练中保存的联合网络最优权重,网络输出则为高分辨率结果。
CN202211577360.9A 2022-12-09 2022-12-09 一种深度学习的亚五十纳米结构光照明超分辨成像方法 Active CN115619646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211577360.9A CN115619646B (zh) 2022-12-09 2022-12-09 一种深度学习的亚五十纳米结构光照明超分辨成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211577360.9A CN115619646B (zh) 2022-12-09 2022-12-09 一种深度学习的亚五十纳米结构光照明超分辨成像方法

Publications (2)

Publication Number Publication Date
CN115619646A true CN115619646A (zh) 2023-01-17
CN115619646B CN115619646B (zh) 2023-04-18

Family

ID=84879626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211577360.9A Active CN115619646B (zh) 2022-12-09 2022-12-09 一种深度学习的亚五十纳米结构光照明超分辨成像方法

Country Status (1)

Country Link
CN (1) CN115619646B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309073A (zh) * 2023-03-24 2023-06-23 之江实验室 一种基于深度学习的低对比度条纹sim重建方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033308A (zh) * 2010-10-22 2011-04-27 浙江大学 一种超高分辨率的光学显微成像方法及装置
CN108152941A (zh) * 2017-11-20 2018-06-12 北京航空航天大学 基于微纳米透镜阵列的高速光学超分辨率成像***和方法
US20200250794A1 (en) * 2017-07-31 2020-08-06 Institut Pasteur Method, device, and computer program for improving the reconstruction of dense super-resolution images from diffraction-limited images acquired by single molecule localization microscopy
CN111524064A (zh) * 2020-03-11 2020-08-11 浙江大学 基于深度学习的荧光显微图像超分辨重建方法
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033308A (zh) * 2010-10-22 2011-04-27 浙江大学 一种超高分辨率的光学显微成像方法及装置
US20200250794A1 (en) * 2017-07-31 2020-08-06 Institut Pasteur Method, device, and computer program for improving the reconstruction of dense super-resolution images from diffraction-limited images acquired by single molecule localization microscopy
CN108152941A (zh) * 2017-11-20 2018-06-12 北京航空航天大学 基于微纳米透镜阵列的高速光学超分辨率成像***和方法
CN111524064A (zh) * 2020-03-11 2020-08-11 浙江大学 基于深度学习的荧光显微图像超分辨重建方法
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄球: ""基于深度学习的超分辨率重建研究"" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309073A (zh) * 2023-03-24 2023-06-23 之江实验室 一种基于深度学习的低对比度条纹sim重建方法和***
CN116309073B (zh) * 2023-03-24 2023-12-29 之江实验室 一种基于深度学习的低对比度条纹sim重建方法和***

Also Published As

Publication number Publication date
CN115619646B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
de Haan et al. Deep-learning-based image reconstruction and enhancement in optical microscopy
CN108062744B (zh) 一种基于深度学习的质谱图像超分辨率重建方法
CN115619646B (zh) 一种深度学习的亚五十纳米结构光照明超分辨成像方法
CN111310903B (zh) 基于卷积神经网络的三维单分子定位***
CN108537862B (zh) 一种自适应降噪的傅里叶衍射扫描显微镜成像方法
CN114331911A (zh) 一种基于卷积神经网络的傅里叶叠层显微图像去噪方法
CN113256772B (zh) 一种基于视角转换的双角度光场高分辨重构***及方法
CN115841423B (zh) 一种基于深度学习的宽场照明荧光超分辨显微成像方法
Christensen et al. ML-SIM: a deep neural network for reconstruction of structured illumination microscopy images
CN116721017A (zh) 自监督显微图像超分辨处理方法和***
Fazel et al. Analysis of super-resolution single molecule localization microscopy data: A tutorial
CN109785234B (zh) 一种拉曼成像方法、***以及装置
TWI754764B (zh) 由低解析度影像產生高解析度影像以用於半導體應用
CN111524078B (zh) 一种基于稠密网络的显微镜图像去模糊方法
CN113850902A (zh) 一种基于光场显微***的光场三维重建方法
CN115984107B (zh) 自监督多模态结构光显微重建方法和***
Labouesse et al. Random illumination microscopy from variance images
CN115293981B (zh) 结构光照明荧光显微图像去噪和超分辨率重建方法及***
CN111476125A (zh) 基于生成对抗网络的三维荧光显微信号去噪方法
CN116109768A (zh) 一种傅里叶光场显微镜超分辨成像方法及***
CN115541550A (zh) 基于主成分分析的结构光照明显微成像方法
CN115272123A (zh) 自监督三维显微图像去噪方法和***
CN115586164A (zh) 一种基于快照时间压缩的光片显微成像***及方法
Wang et al. Enhanced image reconstruction of Fourier ptychographic microscopy with double-height illumination
Yu et al. Confocal bi‐protocol: a new strategy for isotropic 3D live cell imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant