CN113947565A - 基于深度学习的结构光照明超分辨成像基因检测方法 - Google Patents
基于深度学习的结构光照明超分辨成像基因检测方法 Download PDFInfo
- Publication number
- CN113947565A CN113947565A CN202111031935.2A CN202111031935A CN113947565A CN 113947565 A CN113947565 A CN 113947565A CN 202111031935 A CN202111031935 A CN 202111031935A CN 113947565 A CN113947565 A CN 113947565A
- Authority
- CN
- China
- Prior art keywords
- sim
- deep
- resolution
- super
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 94
- 108090000623 proteins and genes Proteins 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000005286 illumination Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 230000010363 phase shift Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000003287 optical effect Effects 0.000 abstract description 6
- 206010034972 Photosensitivity reaction Diseases 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 208000007578 phototoxic dermatitis Diseases 0.000 abstract description 5
- 231100000018 phototoxicity Toxicity 0.000 abstract description 5
- 230000004907 flux Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000007405 data analysis Methods 0.000 abstract 1
- 101100277917 Caenorhabditis elegans dmd-3 gene Proteins 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 5
- 238000010870 STED microscopy Methods 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 238000009994 optical bleaching Methods 0.000 description 2
- 238000000399 optical microscopy Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于光学显微成像技术和人工智能领域,提供了一种基于深度学习的结构光照明超分辨成像基因检测方法,从而克服基因检测成像中分辨率受衍射极限限制、结构光照明超分辨成像需要大数据量采集以及重构速度受限等问题。该方法充分利用端到端深度神经网络,可以直接从两个或三个方向各一幅的正弦条纹调制原始图像中获得高质量基因检测成像结果,具有与普通SIM超分辨成像相当的空间分辨率和数据分析能力,但原始采集数据量比普通SIM减少3倍。该方法在不丢失细节和成像视场的情况下,可以显著提高基因检测的数据通量,同时降低照明光对基因样品的光漂泊和光毒性污染风险。
Description
技术领域
本发明属于光学显微成像技术和人工智能领域,具体涉及一种低数据获取、高时空分辨的基于深度学习的结构光照明超分辨成像基因检测方法。
背景技术
传统光学显微镜的空间分辨率受制于光的衍射极限,极大地限制了包含基因检测在内的光学显微镜的应用范围。实现高空间分辨率成像一直是光学显微领域的重要研究课题之一。在各类超分辨成像技术中,结构照明显微术(Structured IlluminationMicroscopy,SIM)经过几十年的发展,已逐渐成为除了单分子定位显微术(SingleMolecule Localization Microscopy,SMLM)和受激发射损耗显微术(StimulatedEmission Depletion Microscopy,STED)的另一种远场超分辨成像技术。
SIM采用空间编码的结构光场代替均匀光场照明样品,通过计算得到超衍射极限分辨率图像。在空间频率为k0的正弦条纹调制照明模式的最简单情况下,获取的图像通常是样本频谱的三个副本(即偏移+k0、0和-k0)的叠加。通过分离三个叠加的空间频谱并将它们移到频率空间的正确位置来获得样品的扩展频谱。然后将得到的频谱变换回空域空间,从而得到分辨率加倍的图像。普通的SIM成像中,在一个方向的正弦条纹照明下,需要至少采集三个不同相移的原始条纹图像。理想情况下,相移以2π/3为增量,以确保总体照明(即所有图案的总和)产生均匀的照明场。此外,为了在空间各个方向上获得各向同性分辨率增强,通常还需要沿二或三个方向重复该照明过程,以产生多个原始图像来计算最终的超分辨成像结果。目前,线性SIM可以获得约100nm的成像分辨率,且具有较低的激发光强、不需要特殊荧光染料等优点,十分适合基因检测的高时空分辨率成像。
然而,SIM的缺点是超分辨率图像重建过程耗时且容易产生伪影。在普通SIM***中,生成超分辨率图像的基本工作流程是建立在傅立叶变换和空间谱处理的基础上,由于重建过程复杂,不可避免地降低了图像重建速度。此外,与预期成像模型的偏差或对实验参数(如光学传递函数、频谱滤波器、条纹初相位、相移精度等)的错误估计还会引入伪影,降低最终图像质量。为了提高成像的重构速度和精度,基于空域重构(Spatial DomainReconstruction,SDR)的SIM超分辨成像方法被成功用于进行快速的超分辨重构(中国发明专利:CN111077121A),且具有与传统基于频域的重构方法具有相当的成像分辨率。但是,该方法仍受限于传统的数据采集方式,需要采集二或三个方向的6幅或9幅原始图像才能计算重构出一幅超分辨成像结果。这对于基因检测成像中需要快速成像和减少对检测试剂光漂白和光毒性的要求,还需要进一步优化。
发明内容
本发明的目的在于联合深度学习、结构光照明显微成像与基因检测需求,提供一种基于深度学习的结构光照明超分辨成像基因检测方法,即Deep-SIM-Net(Deep-learningSIM Network),以克服基因检测成像中分辨率受衍射极限限制、结构光照明超分辨成像需要大数据量采集以及重构速度受限等问题。
深度学习技术已在光学显微成像中逐渐被发展成为背景信息去除及分辨率增强的有效方法。利用卷积神经网络(Convolutional Neural Network,CNN)等已成功实现在显微成像中提高成像效率和分辨率。深度学习神经网络可以在不需要先验信息的条件下,实现高性能的基因检测超分辨成像,在提高成像质量的同时,有效降低SIM成像的数据采集量。
本发明通过采集两个或三个方向各一幅正弦条纹调制的原始图像,利用卷积神经网络重构出超分辨成像结果,在不丢失细节和成像视场的前提下,显著提高基因检测的数据通量,同时降低照明光对基因检测试剂的光漂泊和光毒性污染风险。
为了实现上述目的,本发明采用了以下技术方案:
一种基于深度学习的结构光照明超分辨成像基因检测方法,其特殊之处在于,包括以下步骤:
步骤1、构建并训练Deep-SIM-Net神经网络模型;
步骤1.1、获得训练Deep-SIM-Net神经网络模型所需数据;
步骤1.11、获得Di,1(x,y),i=1,2或i=1,2,3,即在两个或三个空间方向各获得一幅正弦条纹调制的原始图像;
步骤1.12、获得R(x,y),R(x,y)即为采用常规SIM方法得到的超分辨图像;
步骤1.2、利用步骤1.1所得Di,1(x,y)和R(x,y)数据训练Deep-SIM-Net神经网络模型;
步骤1.21、利用CNN建立Deep-SIM-Net神经网络模型;
步骤1.22、对Di,1(x,y)和R(x,y)分别进行分割,获得T组中心到中心的子数据图像对,即和R*(x,y);将T组中心到中心的子数据图像对和R*(x,y)组成的数据集作为训练数据集;其中作为Deep-SIM-Net神经网络模型的输入,R*(x,y)作为Deep-SIM-Net神经网络模型的输出,T为自然数;
步骤1.23、确定Deep-SIM-Net神经网络模型的目标为:
步骤1.24、将步骤1.23中f所估计的预测值与对应超分辨图像的平均均方误差作为损失函数,学习Deep-SIM-Net神经网络模型的可训练参数l(Θ),该过程表述为:
步骤1.25、利用优化求解算法对Deep-SIM-Net神经网络模型的参数进行求解,获得训练好的Deep-SIM-Net神经网络模型;
步骤2、利用训练好的Deep-SIM-Net神经网络模型,获得高质量超分辨基因检测图像;
将待检基因样本的两个或三个空间方向各一幅正弦条纹调制的原始数据输入步骤1训练好的Deep-SIM-Net神经网络模型中,即可得出相应的高质量超分辨图像。
进一步地,在基因检测中,所述步骤1.11中,选用两个正交方向各一幅正弦条纹调制的原始图像,即Di,1(x,y),i=1,2。
进一步地,步骤1.12具体通过下述方法得到的超分辨图像R(x,y):
将两个正交方向各3幅相移正弦条纹照明图像Di,j(x,y),i=1,2,j=1,2,3,按照如下公式获得:
进一步地,Deep-SIM-Net神经网络模型的深度为17或20层。
进一步地,步骤1.25中优化求解算法选用自适应矩估计ADAM算法。
本发明的有益效果是:
1、本发明将深度学习技术、结构光照明超分辨成像技术与基因检测应用相结合,克服了基因检测成像中分辨率受衍射极限限制、结构光照明超分辨成像需要大数据量采集以及重构速度受限等问题,实现了低数据获取、高时空分辨的基于深度学习的结构光照明基因检测超分辨成像方法。
2、本发明可以从两幅或三幅正弦条纹调制的原始成像数据中直接预测超分辨成像结果,与普通SIM超分辨成像相比,数据量减少3倍,且降低照明光对基因样品的光漂泊和光毒性污染风险。
附图说明
图1是实施例中一种基于DMD产生结构光照明的基因检测超分辨成像***示意图。
1-激光光源,2-TIR棱镜,3-DMD,4-准直透镜,5-二向色镜,6-物镜,7-基因样品,8-反射棱镜,9-带通滤光片,10-镜筒透镜,11-相机。
图2是以一幅正弦条纹调制条件下的基因检测成像结果为例,将其沿窗扫描方向滑动并分割成若干子数据图像,随后将子数据图像随机排序构成训练数据集。对应的超分辨图像按同样方式进行预处理。
图3是本发明Deep-SIM-Net方法处理原理图。其中:(a)是训练神经网络过程,(b)是使用经过训练的网络进行超分辨图像输出过程。
图4是本发明Deep-SIM-Net方法与普通宽场显微成像、SIM超分辨成像的基因检测结果对比图,其中:(a)是普通宽场显微成像结果,(b)是SIM超分辨成像结果,(c)是本发明Deep-SIM-Net输出结果。
图5为图4中随机选取的一个基因检测亮点区域的强度横向分布曲线分辨率比较。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
参照图1所示,本发明举例说明一种基于DMD(数字微镜)产生结构光照明的基因检测超分辨成像***。其使用扩束准直的激光1作为照明源来执行SDR-SIM超分辨成像和Deep-SIM-Net成像。激光进入全内反射棱镜(TIR棱镜2),然后反射到DMD3上之后,调制光通过光学投影***,包括准直透镜4、二向色镜5和物镜6,将正弦条纹图案投射到待检测基因样品7上。样品荧光信号经过物镜6收集,通过二向色镜5和反射棱镜8,并由带通滤光片9过滤,然后由镜筒透镜10成像到相机11上。
在该***上,可进行SDR-SIM与Deep-SIM-Net成像。进行SDR-SIM成像时,通过控制DMD3先后加载两个空间方向夹角为90°、每个空间方向的三步相移的相移步长为π/2,则两个正交方向的成像过程会产生6幅正弦条纹照明图像Di,j(x,y),i=1,2,j=1,2,3。也可以通过控制DMD3先后加载三个空间方向夹角互为120°、每个空间方向的三步相移的相移步长为2π/3,则三个空间方向的成像过程会产生9幅正弦条纹照明图像Di,j(x,y),i=1,2,3,j=1,2,3。每个方向超分辨图像R(x,y)的获得采用空域重构SDR-SIM方法得到(参见中国发明专利CN111077121A)。
进行Deep-SIM-Net成像时,通过控制DMD3先后加载两个空间方向夹角为90°,每个空间方向各一幅正弦条纹调制的原始图像进行成像,即Di,1(x,y),i=1,2。也可以通过控制DMD3先后加载三个空间方向夹角为120°,每个空间方向各一幅正弦条纹调制的原始图像进行成像,即Di,1(x,y),i=1,2,3。
相较于SDR-SIM成像,在本发明Deep-SIM-Net成像方法在神经网络训练成功后,便可以直接利用两个空间方向或三个空间方向各一幅正弦条纹调制的原始图像数据直接预测超分辨成像结果,其在不丢失细节和成像视场的情况下,可以显著提高基因检测的数据通量,同时降低照明光对基因样品的光漂泊和光毒性污染风险。
为了实现上述目标,下述实施例以在两个正交方向获得相应图像为例进行说明:
首先获得SDR-SIM的超分辨图像R(x,y),其具体步骤为:
然后,获得Di,1(x,y),i=1,2,即两个正交方向各一幅正弦条纹调制的原始图像。
之后,确定训练数据集,由于分别将整个Di,1(x,y)原始图像及超分辨图像R(x,y)作为Deep-SIM-Net神经网络模型的输入/输出将极大地增加训练数据集的大小和计算成本,因此,参照图2所示,本发明对超分辨图像R(x,y)及Di,1(x,y)原始图像分别进行分割,产生中心到中心的子数据图像对,即和R*(x,y)。本发明将子数据图像对作为训练数据集。由于中心点的信息受到周围区域的影响,因此可以根据点扩散函数确定子数据图像对的边长。具体的,子数据图像对边长256×256像素,扫描步长64像素。为了更精确,将多个不同视场的实验数据结合起来使用,从而可以获得几千个子数据图像对,以满足神经网络训练数据集规模要求。
随后,参照图3所示,利用CNN建立Deep-SIM-Net神经网络模型,对Deep-SIM-Net神经网络模型进行训练。利用前述所得和R*(x,y)数据训练Deep-SIM-Net神经网络模型并进行成像,其具体步骤为:
1)、Deep-SIM-Net神经网络模型的目标是学***均均方误差作为损失函数,确定Deep-SIM-Net神经网络模型的可训练参数l(Θ),该过程表述为:
2)、在此基础上,利用ADAM优化求解算法对Deep-SIM-Net神经网络模型的参数进行求解。其中,动量和重量衰减参数分别设置为0.9和0.0001。为了更快地训练网络,学习率最初设置为0.1,然后每30个阶段降低10倍,90个阶段后停止。该训练过程利用GPU Titan V实现。
3)、如图3中(b)所示,在得到相应的Deep-SIM-Net神经网络模型后,将待检测基因的两个正交方向各一幅正弦条纹调制SIM成像原始数据输入至训练好的Deep-SIM-Net神经网络模型中,即可得出相应的高质量超分辨图像。
参照图4所示,举例说明激光照明条件下基因检测成像结果。与普通宽场显微成像结果相比,基于本发明***的SDR-SIM超分辨成像能够有效地提高成像分辨率。相比之下,Deep-SIM-Net的成像质量与SDR-SIM成像相当。在计算时间方面,Deep-SIM-Net具有非常出色的计算效率,例如它可以在大约0.01s内处理得到一幅2048×2048像素的超分辨图像。
参照表1所示,我们利用结构相似性(Structural Similarity,SSIM)和相关系数(Correlation Coefficient,CC)来衡量Deep-SIM-Net的成像质量,它们的指标范围均为0至1,且高数值表示高相似性。具体地,Deep-SIM-Net与SDR-SIM成像结果之间的SSIM数值为0.97,CC数值为0.98,从而量化地表明两者成像结果的高度一致性。进一步地,我们还利用峰值信噪比(Peak Signal to Noise Ratio,PSNR)来评价不同成像结果的性能。具体地,Deep-SIM-Net成像的PSNR为36.72dB,SDR-SIM成像的PSNR为36.45dB,再次证明本发明实现了低数据获取、高时空分辨的基于深度学习的结构光照明基因检测超分辨成像方法的有效性。
表1为图4成像质量量化分析结果对比表。
参照图5所示,在相同成像条件下,举例说明不同成像方法在成像分辨率上的性能比较。我们在图4中随机选取一个基因检测亮点区域,对其强度横向分布绘制曲线,并利用高斯函数进行拟合。通过测量曲线的半高宽(Full Width at Half Maximum,FWHM),可以看出Deep-SIM-Net和SDR-SIM成像的分辨率是相同的,都约是宽场分辨率的1.5倍。
因此,本发明以深度学习技术为核心,与结构光照明超分辨成像技术和基因检测应用相结合,克服了基因检测成像中分辨率受衍射极限限制、结构光照明超分辨成像需要大数据量采集以及重构速度受限等问题。本发明另一方面,有效提高了成像速度,对于高帧率、高采样率条件下的超快速二维成像以及三维基因检测成像都具有重要意义。
Claims (5)
1.一种基于深度学习的结构光照明超分辨成像基因检测方法,其特征在于,包括以下步骤:
步骤1、构建并训练Deep-SIM-Net神经网络模型;
步骤1.1、获得训练Deep-SIM-Net神经网络模型所需数据;
步骤1.11、获得Di,1(x,y),i=1,2或i=1,2,3,即在两个或三个空间方向各获得一幅正弦条纹调制的原始图像;
步骤1.12、获得R(x,y),R(x,y)即为采用常规SIM方法得到的超分辨图像;
步骤1.2、利用步骤1.1所得Di,1(x,y)和R(x,y)数据训练Deep-SIM-Net神经网络模型;
步骤1.21、利用CNN建立Deep-SIM-Net神经网络模型;
步骤1.22、对Di,1(x,y)和R(x,y)分别进行分割,获得T组中心到中心的子数据图像对,即和R*(x,y);将T组中心到中心的子数据图像对和R*(x,y)组成的数据集作为训练数据集;其中作为Deep-SIM-Net神经网络模型的输入,R*(x,y)作为Deep-SIM-Net神经网络模型的输出,T为自然数;
步骤1.23、确定Deep-SIM-Net神经网络模型的目标为:
步骤1.24、将步骤1.23中f所估计的预测值与对应超分辨图像的平均均方误差作为损失函数,学习Deep-SIM-Net神经网络模型的可训练参数l(Θ),该过程表述为:
步骤1.25、利用优化求解算法对Deep-SIM-Net神经网络模型的参数进行求解,获得训练好的Deep-SIM-Net神经网络模型;
步骤2、利用训练好的Deep-SIM-Net神经网络模型,获得高质量超分辨基因检测图像;
将待检基因样本的两个或三个空间方向各一幅正弦条纹调制的原始数据输入步骤1训练好的Deep-SIM-Net神经网络模型中,即可得出相应的高质量超分辨图像。
2.根据权利要求1所述的基于深度学习的结构光照明超分辨成像基因检测方法,其特征在于:在基因检测中,所述步骤1.11中,选用两个正交方向各一幅正弦条纹调制的原始图像,即Di,1(x,y),i=1,2。
4.根据权利要求1-3任一所述的基于深度学习的结构光照明超分辨成像基因检测方法,其特征在于:所述Deep-SIM-Net神经网络模型的深度为17或20层。
5.根据权利要求4所述的基于深度学习的结构光照明超分辨成像基因检测方法,其特征在于:步骤1.25中优化求解算法选用自适应矩估计ADAM算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111031935.2A CN113947565B (zh) | 2021-09-03 | 2021-09-03 | 基于深度学习的结构光照明超分辨成像基因检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111031935.2A CN113947565B (zh) | 2021-09-03 | 2021-09-03 | 基于深度学习的结构光照明超分辨成像基因检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113947565A true CN113947565A (zh) | 2022-01-18 |
CN113947565B CN113947565B (zh) | 2023-04-18 |
Family
ID=79327813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111031935.2A Active CN113947565B (zh) | 2021-09-03 | 2021-09-03 | 基于深度学习的结构光照明超分辨成像基因检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113947565B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342984A (zh) * | 2023-05-31 | 2023-06-27 | 之江实验室 | 一种模型训练的方法以及图像处理的方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110243828A (zh) * | 2019-07-18 | 2019-09-17 | 华中科技大学 | 基于卷积神经网络的生物组织三维成像方法 |
US20190333199A1 (en) * | 2018-04-26 | 2019-10-31 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
CN110415201A (zh) * | 2019-07-30 | 2019-11-05 | 北京理工大学 | 基于结构光和深度学习的单曝光超分辨率成像方法及装置 |
CN111077121A (zh) * | 2019-12-06 | 2020-04-28 | 中国科学院西安光学精密机械研究所 | 空域中直接重构结构光照明超分辨图像的快速方法及*** |
CN111429562A (zh) * | 2020-02-25 | 2020-07-17 | 中国科学院西安光学精密机械研究所 | 基于深度学习的宽场彩色光切片显微成像方法 |
CN111524064A (zh) * | 2020-03-11 | 2020-08-11 | 浙江大学 | 基于深度学习的荧光显微图像超分辨重建方法 |
CN111829782A (zh) * | 2020-07-16 | 2020-10-27 | 苏州大学 | 一种基于自适应流形嵌入动态分布对齐的故障诊断方法 |
-
2021
- 2021-09-03 CN CN202111031935.2A patent/CN113947565B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190333199A1 (en) * | 2018-04-26 | 2019-10-31 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
CN110243828A (zh) * | 2019-07-18 | 2019-09-17 | 华中科技大学 | 基于卷积神经网络的生物组织三维成像方法 |
CN110415201A (zh) * | 2019-07-30 | 2019-11-05 | 北京理工大学 | 基于结构光和深度学习的单曝光超分辨率成像方法及装置 |
CN111077121A (zh) * | 2019-12-06 | 2020-04-28 | 中国科学院西安光学精密机械研究所 | 空域中直接重构结构光照明超分辨图像的快速方法及*** |
CN111429562A (zh) * | 2020-02-25 | 2020-07-17 | 中国科学院西安光学精密机械研究所 | 基于深度学习的宽场彩色光切片显微成像方法 |
CN111524064A (zh) * | 2020-03-11 | 2020-08-11 | 浙江大学 | 基于深度学习的荧光显微图像超分辨重建方法 |
CN111829782A (zh) * | 2020-07-16 | 2020-10-27 | 苏州大学 | 一种基于自适应流形嵌入动态分布对齐的故障诊断方法 |
Non-Patent Citations (6)
Title |
---|
CHEN BAI 等: "Full-color optically-sectioned imaging by wide-field microscopy via deep-learning" * |
N. CHRISTENSEN 等: "ML-SIM: A deep neural network for reconstruction of structured illumination microscopy images" * |
XU CHEN 等: "Accelerated Phase Shifting for Structured Illumination Microscopy Based on Deep Learning" * |
于湘华;刘超;柏晨;杨延龙;彭彤;但旦;闵俊伟;姚保利;: "光片荧光显微成像技术及应用进展" * |
周兴;但旦;千佳;姚保利;雷铭;: "结构光照明显微中的超分辨图像重建研究" * |
王梓欣;牟叶;王德睿;: "基于深度学习的单图像超分辨算法比较探究" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342984A (zh) * | 2023-05-31 | 2023-06-27 | 之江实验室 | 一种模型训练的方法以及图像处理的方法及装置 |
CN116342984B (zh) * | 2023-05-31 | 2023-08-08 | 之江实验室 | 一种模型训练的方法以及图像处理的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113947565B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shah et al. | Deep-learning based denoising and reconstruction of super-resolution structured illumination microscopy images | |
US11828924B2 (en) | Systems and methods for structured illumination microscopy | |
Chen et al. | Superresolution structured illumination microscopy reconstruction algorithms: a review | |
Xiong et al. | Optimized sensing of sparse and small targets using lens-free holographic microscopy | |
CN113947565B (zh) | 基于深度学习的结构光照明超分辨成像基因检测方法 | |
CN115841423B (zh) | 一种基于深度学习的宽场照明荧光超分辨显微成像方法 | |
Zhang et al. | Super-resolution algorithm based on Richardson–Lucy deconvolution for three-dimensional structured illumination microscopy | |
Zhang et al. | Deep learning-based single-shot structured illumination microscopy | |
Righolt et al. | Image filtering in structured illumination microscopy using the Lukosz bound | |
Zhang et al. | Correction of out-of-focus microscopic images by deep learning | |
Heintzmann | Structured illumination methods | |
Christensen et al. | ML-SIM: a deep neural network for reconstruction of structured illumination microscopy images | |
Van Der Jeught et al. | Optimized loss function in deep learning profilometry for improved prediction performance | |
Li et al. | Deep adversarial network for super stimulated emission depletion imaging | |
Maalouf | Contribution to fluorescence microscopy, 3D thick samples deconvolution and depth-variant PSF | |
Liu et al. | Reconstruction of structured illumination microscopy with an untrained neural network | |
Luo et al. | Fast and stable Fourier ptychographic microscopy based on improved phase recovery strategy | |
Park et al. | Enhancing the isotropy of lateral resolution in coherent structured illumination microscopy | |
Luo et al. | Reduction in required volume of imaging data and image reconstruction time for adaptive‐illumination Fourier ptychographic microscopy | |
Saguy et al. | This microtubule does not exist: Super-resolution microscopy image generation by a diffusion model | |
Shah et al. | Impact of different loss functions on denoising of microscopic images | |
Zhang et al. | A novel reconstruction algorithm for polarization modulated fluorescence super-resolution microscopy | |
Boland et al. | Improving axial resolution in SIM using deep learning | |
Yeh et al. | 3D super-resolution optical fluctuation imaging (3D-SOFI) with speckle illumination | |
CN117315060A (zh) | 一种基于纯空域的快速结构光照明成像重构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |