CN115220211A - 基于深度学习和光场成像的显微成像***及方法 - Google Patents
基于深度学习和光场成像的显微成像***及方法 Download PDFInfo
- Publication number
- CN115220211A CN115220211A CN202210902191.5A CN202210902191A CN115220211A CN 115220211 A CN115220211 A CN 115220211A CN 202210902191 A CN202210902191 A CN 202210902191A CN 115220211 A CN115220211 A CN 115220211A
- Authority
- CN
- China
- Prior art keywords
- camera sensor
- dimensional image
- resolution
- imaging
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 93
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 16
- 238000000386 microscopy Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000007334 copolymerization reaction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 241000244203 Caenorhabditis elegans Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000012292 cell migration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Chemical & Material Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Optics & Photonics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了基于深度学习和光场成像的显微成像***及方法，属于光场显微成像技术领域。所述显微成像***包括：显微成像***、深度学习网络模块、图像输出模块。本发明通过由微透镜阵列和相机传感器构成的光场显微***获取二维图像阵列，经深度学习网路后从中获取多视角图像信息并进一步对图像进行超分辨率重构，最终获得强度分布均匀的高分辨率三维重构图像。相比于现有的基于卷积神经网络的超分辨率重构方法，本发明产生的图像具有更高的空间分辨率、较小的重建伪影和更大的重建吞吐量，从而有效地提升成像清晰度；且在透镜阵列***下，本发明还具备低成本、低***复杂度、无需扫描的超分辨率成像的优势。
Description
技术领域
本发明涉及基于深度学习和光场成像的显微成像***及方法，属于光场显微成像技术领域。
背景技术
光场成像***主要是通过光学装置采集捕捉到空间分布的四维光场，再根据不同的应用需求来计算出相应的图像。计算光场成像技术基于四维光场，旨在建立光在空域、视角、光谱和时域等多个维度的关系，实现耦合感知、解耦重建与智能处理，用于面向大范围动态场景的多维多尺度成像。光场成像技术正逐渐应用于生命科学、工业探测、国家安全、无人***和虚拟现实/增强现实等领域，具有重要的学术研究价值和产业应用前景。
光场显微(Light-Field Microscopy，LFM)是通过在传统光学显微镜的中继像面上***一块能够捕获光场信息的微透镜阵列来实现的。通过4D光场数据的反演能重建多视角图像和多层焦平面图像，引入去卷积算法和断层重建能实现三维显微成像。由于这些后续处理都可通过一次曝光实现，因而对观察运动的微生物和光敏感样品有其独特优势。光学显微镜凭借其非接触、无损伤等优点，长期以来是生物医学研究的重要工具。但是，自1873年以来，人们一直认为，光学显微镜的分辨率极限约为200nm，无法用于清晰观察尺寸在200nm以内的生物结构。
利用光场显微镜得到高分辨率图像在生物研究和医疗方面都有重要意义，其中数字显微成像技术有别于传统光学显微成像，可根据重建全息图获取细胞的生物学参数与形貌信息，是一种有效的非接触无损三维成像技术。随着图像传感器的发展与硬件计算能力的提升，数字全息显微成像技术在活体生物细胞检测尤其在血红细胞检测领域取得了显著进展和突破。如今数字显微成像技术已广泛运用于细胞迁移分析和异常细胞行为研究，同时也大量使用于描绘医学图像的仪器中。
但是，一方面，由于受设备以及成像技术的限制，数字显微成像技术获得的图像并不能有非常高的准确度；另一方面，由于传感器分辨率(传感器可感受到的被测量的最小变化的能力)的限制，光场相机通常通过牺牲空间分辨率(能够详细区分的最小单元的尺寸或大小)来换取角度分辨率(成像***或***元件能有差别地区分开两相邻物体最小间距的能力)，导致图像不清晰。因此，有限的空间分辨率是光场相机发展的难处所在。
为了解决上述问题，Yoon等人首次提出基于卷积神经网络的光场数据超分辨率重建(Yoon Y,Jeon H G,Yoo D,et al.Light Field Image SuperResolution usingConvolutional Neural Network[J].IEEE Signal Processing Letters,2017.)，其网络可分为空间分辨率重建卷积神经网络和角度分辨率重建卷积神经网络，但该模型并没有充分利用多视角图像间的有效信息，导致无法获得较高分辨率的重建图像，也无法快速获得无伪影、强度分布均匀的重建图像。
发明内容
为了解决目前显微成像中存在的伪影、非均匀分辨率以及重建速度慢等问题，本发明提供了基于深度学习和光场成像的显微成像***及方法，所述技术方案如下：
本发明的第一个目的在于提供一种基于深度学习和光场成像的显微成像***，所述显微成像***包括依次连接的：显微***、深度学习网络模块、图像输出模块；
所述显微***用于采集图像的多个二维数据，包括：显微镜头1、第一分色镜2、透镜3、第二分色镜4、带通滤波器5、第一相机传感器6、微透镜阵列7、中继透镜8、第二分色镜9、第二相机传感器10、第三相机传感器11；
所述显微镜头1采集图像数据，经过所述第一分色镜2过滤去除干扰光线，再经过所述透镜3折射使光线聚焦，再经过所述第二分色镜4，使采集到的信号一部分聚集到用于宽场成像的第一相机传感器6，进行宽场成像；另一部分分别经过所述微透镜阵列7、中继透镜8、第二分色镜9，分别在所述第二相机传感器10和第三相机传感器11上进行光场成像；
所述深度学习网络模块，用于将所述第一相机传感器6、第二相机传感器10和第三相机传感器11成像的二维图像数据重构成高分辨率三维图像；
所述图像输出模块用于输出重构后的高分辨率三维图像。
可选的，所述深度学习网络模块采用训练好的VCD深度网络VCD-Net进行高分辨率三维图像的重构。
可选的，第一相机传感器6、第二相机传感器10和第三相机传感器11采用sCMOS相机。
可选的，所述VCD深度网络VCD-Net的训练过程包括：
步骤1：初始化VCD-Net，包括：网络参数和损失函数；
步骤2：从真实静态样本及合成数据的共聚显微镜中获取高分辨率三维图像；
步骤3：构建波动光学模型，将步骤2中获取的高分辨率三维图像输入所述波动光学模型，输出相应的二维图像；
步骤4：基于步骤3获取的二维图像和步骤2获取的高分辨率三维图像构建训练集和测试集，将所述二维图像作为输入，将所述高分辨率三维图像作为输出，对所述VCD-Net进行训练，直至收敛，得到最优的VCD-Net网络模型。
可选的，对样本进行光场成像时，利用1：1的中继透镜8将所述第二相机传感器10、第三相机传感器11对焦在所述微透镜阵列7的后焦平面。
可选的，所述波动光学模型为：
F＝Hg
其中，矢量F表示采集到的原始光场图像，矢量g表示重建的物体3D离散点云，H是成像过程的点扩散函数矩阵表示。
本发明的第二个目的在于提供一种基于深度学习和光场成像的显微成像方法，包括：
步骤一：采用显微镜头采集图像数据，将所述图像数据输入显微***中的多个相机传感器和由微透镜阵列和CCD构成的传感器分别进行宽场成像和光场成像，得到多个二维图像；
步骤二：将所述步骤一中获取的二维图像输入训练好的深度神经网络，通过所述训练好的深度神经网络得到重构的高分辨率三维图像。
可选的，所述显微***包括：显微镜头1、第一分色镜2、透镜3、光束分离器4、带通滤波器5、第一相机传感器6、微透镜阵列7、中继透镜8、第二分色镜9、第二相机传感器10、第三相机传感器11；
所述显微镜头1采集图像数据，经过所述第一分色镜2过滤去除干扰光线，再经过所述透镜3折射使光线聚焦，再经过所述光束分离器4，使采集到的信号一部分聚集到用于宽场成像的第一相机传感器6，进行宽场成像；另一部分分别经过所述微透镜阵列7、中继透镜8、第二分色镜9，分别在所述第二相机传感器10和第三相机传感器11上进行光场成像。
可选的，所述深度神经网络采用VCD-Net网络，将所述第一相机传感器6、第二相机传感器10和第三相机传感器11成像的二维图像数据重构成高分辨率三维图像。
可选的，所述VCD-Net网络的训练过程包括：
步骤1：构建并初始化VCD-Net；
步骤2：从真实静态样本及其合成数据的共聚显微镜中获取高分辨率三维图像；
步骤3：构建波动光学模型，将步骤2中获取的高分辨率三维图像输入所述波动光学模型，输出相应的二维图像；
步骤4：基于步骤3获取的二维图像和步骤2获取的高分辨率三维图像构建训练集和测试集，将所述二维图像作为输入，将所述高分辨率三维图像作为输出，对所述VCD-Net进行训练，直至收敛，得到最优的VCD-Net网络模型。
本发明有益效果是：
本发明基于光场成像和深度学习网络构建光场显微成像***，通过由微透镜阵列和相机传感器构成的显微***获取多个二维图像，然后深度学习网络从这些二维图像中获取多视角图像信息对图像进行超分辨率重构，获得高分辨率的三维图像，相比于现有的基于卷积神经网络的超分辨率重构方法，本发明产生的图像具有更高的空间分辨率(1.0+0.15um)、较小的重建伪影和更大的重建吞吐量(200HZ)，从而有效地提升成像清晰度；且在透镜阵列***下，本发明的基于深度神经网络的超分辨率光场图像生成模型还具备低成本、低***复杂度、无需扫描的超分辨率成像的优势，有效提升了重构速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种显微成像***的平面示意图。
其中，1-显微镜头；2-第一分色镜；3-反射镜；4-光束分离器；5-带通滤波器；6-第一相机传感器；7-微透镜阵列；8-中继透镜；9-第二分色镜；10-第二相机传感器；11-第三相机传感器。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
首先对本发明涉及的基础理论知识介绍如下：
VCD-Net网络：
VCD网络为：在一般的卷积神经网络(CNN)中，某个第N卷积层从前(N-1)层接收特征图，并使用不同的卷积核生成新的特征图。网络最终产生多通道输出。其中每个通道都是原始输入的非线性组合，这个概念与光场摄影中的数字重聚算法有相似之处，其中重建体积的每个合成平面都可以理为从光场中提取的不同视图的叠加。通过级联层，我们的模型有望逐渐将原始角度信息从光场原始图像转换为深度特征，最终形成传统的3D图像堆栈并重建场景。在实现过程中，定制的VCD-Net基于修改后的U-Net架构(参考https://cloud.tencent.com/developer/article/1520224)。其中包含下采样路径和对称上采样路径，沿着两条路径，每一层有三个参数：n、f和s，分别表示输出通道数、卷积核的滤波器大小和移动核的步长。
实施例一：
本实施例提供一种基于深度学习和光场成像的显微成像***，所述显微成像***包括依次连接的：显微***、深度学习网络模块、图像输出模块；
所述显微***用于采集图像的多个二维数据，参见图1，包括：显微镜头1、第一分色镜2、反射镜3、光束分离器4、带通滤波器5、第一相机传感器6、微透镜阵列7、中继透镜8、第二分色镜9、第二相机传感器10、第三相机传感器11；
所述显微镜头1采集图像数据，经过所述第一分色镜2过滤去除干扰光线，再经过所述反射镜3使光线从竖直方向进入水平方向，再经过所述光束分离器4，使采集到的信号一部分聚集到用于宽场成像的第一相机传感器6，进行宽场成像；另一部分分别经过所述微透镜阵列7、中继透镜8、第二分色镜9，分别在所述第二相机传感器10和第三相机传感器11上进行光场成像；
所述深度学习网络模块，用于将所述第一相机传感器6、第二相机传感器10和第三相机传感器11成像的二维图像数据重构成高分辨率三维图像；
所述图像输出模块用于输出重构后的高分辨率三维图像。
实施例二：
本实施例一种基于深度学习和光场成像的显微成像***，所述显微成像***包括依次连接的：显微***、深度学习网络模块、图像输出模块；
所述显微***用于采集图像的多个二维数据，参见图1，包括：显微镜头1、第一分色镜2、反射镜3、光束分离器4、带通滤波器5、第一相机传感器6、微透镜阵列7、中继透镜8、第二分色镜9、第二相机传感器10、第三相机传感器11；三个相机传感器均采用sCMOS相机。
显微镜头1采集图像数据，经过所述第一分色镜2过滤去除干扰光线，再经过所述的反射镜3使收集到的光线从垂直方向进入水平方向，再经过所述光束分离器4，使采集到的信号一部分聚集到用于宽场成像的第一相机传感器6，进行宽场成像；另一部分分别经过所述微透镜阵列7、中继透镜8、第二分色镜9，分别在所述第二相机传感器10和第三相机传感器11上进行光场成像；进行光场成像时，利用1：1的中继透镜8将所述第二相机传感器10、第三相机传感器11对焦在所述微透镜阵列7的后焦平面。
深度学习网络模块采用训练好的VCD深度网络VCD-Net，根据第一相机传感器6、第二相机传感器10和第三相机传感器11成像的二维图像数据重构成高分辨率三维图像；
VCD-Net的训练过程包括：
步骤1：构建并初始化VCD-Net，本实施例在Window10环境中使用Tensorflow1.15.0,Tensorlayer 1.8.5和Python 3构建VCD-Net深度学习模型；
步骤2：从静态样本或合成数据的共聚显微镜中获取高分辨率三维图像；
步骤3：构建波动光学模型，将步骤2中获取的高分辨率三维图像输入所述波动光学模型，输出相应的二维图像；
波动光学模型为：F＝Hg，其中矢量F表示光场，矢量g表示正在重建的离散体积，H是正向成像过程的测量矩阵建模，H主要由光场显微镜的点扩散函数决定。
使用波动光学对光学显微镜的空间变化点扩散函数进行建模，光场点扩散函数映射了从三维物体到二维平面的转变，并且也是空间上的变化，对于感兴趣区域的每一个点都有一个独特的点扩散函数被考虑。为了生成点扩散函数，使用标量衍射理论计算通过微透镜阵列对体积中的多个点进行波前成像。
步骤4：基于步骤3获取的二维图像和步骤2获取的高分辨率三维图像构建训练集和测试集，将所述二维图像作为输入，将所述高分辨率三维图像作为输出，对所述VCD-Net进行训练，通过迭代最小化其中间输出和参考高分辨率图像之间的差异来逐步训练，通过设置适当损失参数，例如像素强度的均方误差，为每一层获得优化的核参数，并有效地收敛到一个得到最优的VCD-Net网络模型。
通过将显微***采集的多个二维图像(本实施例采集的是秀丽隐杆线虫的图像)输入到训练好的VCD-Net网络模型中，可以得到最终的高分辨率重构图像。
图像输出模块用于输出重构后的高分辨率三维图像。
实施例三：
本实施例提供一种基于深度学习和光场成像的显微成像方法，采用实施例二记载的基于深度学习和微透镜阵列的显微成像***实现，包括以下步骤：
步骤一：采用显微镜头采集图像数据，将所述图像数据输入显微***中的多个相机传感器和微透镜阵列分别进行宽场成像和光场成像，得到多个二维图像；
步骤二：将所述步骤一中获取的二维图像输入训练好的VCD-Net网络模型，通过所述训练好的VCD-Net网络模型得到重构的高分辨率三维图像。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习和光场成像的显微成像***，其特征在于，所述显微成像***包括依次连接的：显微***、深度学习网络模块、图像输出模块；
所述显微***用于采集图像的多个二维数据，包括：显微镜头(1)、第一分色镜(2)、透镜(3)、光束分离器(4)、带通滤波器(5)、第一相机传感器(6)、微透镜阵列(7)、中继透镜(8)、第二分色镜(9)、第二相机传感器(10)、第三相机传感器(11)；
所述显微镜头(1)采集图像数据，经过所述第一分色镜(2)过滤去除干扰光线，再经过所述透镜(3)折射使光线聚焦，再经过所述光束分离器(4)，使采集到的信号一部分聚集到用于宽场成像的第一相机传感器(6)，进行宽场成像；另一部分分别经过所述微透镜阵列(7)、中继透镜(8)、第二分色镜(9)，分别在所述第二相机传感器(10)和第三相机传感器(11)上进行光场成像；
所述深度学习网络模块，用于将所述第一相机传感器(6)、第二相机传感器(10)和第三相机传感器(11)成像的二维图像数据重构成高分辨率三维图像；
所述图像输出模块用于输出重构后的高分辨率三维图像。
2.根据权利要求1所述的显微成像***，其特征在于，所述深度学习网络模块采用训练好的VCD深度网络VCD-Net进行高分辨率三维图像的重构。
3.根据权利要求1所述的显微成像***，其特征在于，第一相机传感器(6)、第二相机传感器(10)和第三相机传感器(11)采用sCMOS相机。
4.根据权利要求1所述的显微成像***，其特征在于，所述VCD深度网络VCD-Net的训练过程包括：
步骤1：初始化VCD-Net，包括：网络参数和损失函数；
步骤2：从真实静态样本及合成数据的共聚显微镜中获取高分辨率三维图像；
步骤3：构建波动光学模型，将步骤2中获取的高分辨率三维图像输入所述波动光学模型，输出相应的二维图像；
步骤4：基于步骤3获取的二维图像和步骤2获取的高分辨率三维图像构建训练集和测试集，将所述二维图像作为输入，将所述高分辨率三维图像作为输出，对所述VCD-Net进行训练，直至收敛，得到最优的VCD-Net网络模型。
5.根据权利要求1所述的显微成像***，其特征在于，对样本进行光场成像时，利用1：1的中继透镜(8)将所述第二相机传感器(10)、第三相机传感器(11)对焦在所述微透镜阵列(7)的后焦平面。
6.根据权利要求4所述的显微成像***，其特征在于，所述波动光学模型为：
F＝Hg
其中，矢量F表示采集到的原始光场图像，矢量g表示重建的物体3D离散点云，H是成像过程的点扩散函数矩阵表示。
7.一种基于深度学习和光场成像的显微成像方法，其特征在于，所述显微成像方法包括：
步骤一：采用显微镜头采集图像数据，将所述图像数据输入显微***中的多个相机传感器和由微透镜阵列和CCD构成的传感器分别进行宽场成像和光场成像，得到多个二维图像；
步骤二：将所述步骤一中获取的二维图像输入训练好的深度神经网络，通过所述训练好的深度神经网络得到重构的高分辨率三维图像。
8.根据权利要求7所述的显微成像方法，其特征在于，所述显微***包括：显微镜头(1)、第一分色镜(2)、透镜(3)、光束分离器(4)、带通滤波器(5)、第一相机传感器(6)、微透镜阵列(7)、中继透镜(8)、第二分色镜(9)、第二相机传感器(10)、第三相机传感器(11)；
所述显微镜头(1)采集图像数据，经过所述第一分色镜(2)过滤去除干扰光线，再经过所述透镜(3)折射使光线聚焦，再经过所述光束分离器(4)，使采集到的信号一部分聚集到用于宽场成像的第一相机传感器(6)，进行宽场成像；另一部分分别经过所述微透镜阵列(7)、中继透镜(8)、第二分色镜(9)，分别在所述第二相机传感器(10)和第三相机传感器(11)上进行光场成像。
9.根据权利要求8所述的显微成像方法，其特征在于，所述深度神经网络采用VCD-Net网络，将所述第一相机传感器(6)、第二相机传感器(10)和第三相机传感器(11)成像的二维图像数据重构成高分辨率三维图像。
10.根据权利要求9所述的显微成像方法，其特征在于，所述VCD-Net网络的训练过程包括：
步骤1：构建并初始化VCD-Net；
步骤2：从真实静态样本及其合成数据的共聚显微镜中获取高分辨率三维图像；
步骤3：构建波动光学模型，将步骤2中获取的高分辨率三维图像输入所述波动光学模型，输出相应的二维图像；
步骤4：基于步骤3获取的二维图像和步骤2获取的高分辨率三维图像构建训练集和测试集，将所述二维图像作为输入，将所述高分辨率三维图像作为输出，对所述VCD-Net进行训练，直至收敛，得到最优的VCD-Net网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210902191.5A CN115220211B (zh) | 2022-07-29 | 2022-07-29 | 基于深度学习和光场成像的显微成像***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210902191.5A CN115220211B (zh) | 2022-07-29 | 2022-07-29 | 基于深度学习和光场成像的显微成像***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115220211A true CN115220211A (zh) | 2022-10-21 |
| CN115220211B CN115220211B (zh) | 2024-03-08 |
Family
ID=83614063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210902191.5A Active CN115220211B (zh) | 2022-07-29 | 2022-07-29 | 基于深度学习和光场成像的显微成像***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115220211B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116609942A (zh) * | 2023-07-18 | 2023-08-18 | 长春理工大学 | 一种分孔径压缩感知偏振超分辨率成像***及方法 |
| CN117876377A (zh) * | 2024-03-13 | 2024-04-12 | 浙江荷湖科技有限公司 | 一种基于大模型的显微成像通用神经提取方法 |
| CN117934285A (zh) * | 2024-02-04 | 2024-04-26 | 浙江荷湖科技有限公司 | 一种无扫描的高分辨率四维光场显微成像方法及*** |
| WO2024113316A1 (zh) * | 2022-12-01 | 2024-06-06 | 骆远 | 可携式量化差分相位对比显微模块以及其深度学习重建方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846463A (zh) * | 2017-01-13 | 2017-06-13 | 清华大学 | 基于深度学习神经网络的显微图像三维重建方法及*** |
| JP2018194634A (ja) * | 2017-05-16 | 2018-12-06 | オリンパス株式会社 | ライトフィールド顕微鏡 |
| CN109596588A (zh) * | 2018-12-16 | 2019-04-09 | 华中科技大学 | 一种基于光片照明的高分辨率四维光场显微成像*** |
| CN110441271A (zh) * | 2019-07-15 | 2019-11-12 | 清华大学 | 基于卷积神经网络的光场高分辨解卷积方法及*** |
| CN111105415A (zh) * | 2019-12-31 | 2020-05-05 | 北京理工大学重庆创新中心 | 一种基于深度学习的白细胞大视场图像检测***及方法 |
| CN113383225A (zh) * | 2018-12-26 | 2021-09-10 | 加利福尼亚大学董事会 | 使用深度学习将二维荧光波传播到表面上的***和方法 |
| CN114549318A (zh) * | 2022-02-23 | 2022-05-27 | 复旦大学 | 基于亚体素卷积神经网络的超高分辨荧光显微成像方法 |
-
2022
- 2022-07-29 CN CN202210902191.5A patent/CN115220211B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846463A (zh) * | 2017-01-13 | 2017-06-13 | 清华大学 | 基于深度学习神经网络的显微图像三维重建方法及*** |
| JP2018194634A (ja) * | 2017-05-16 | 2018-12-06 | オリンパス株式会社 | ライトフィールド顕微鏡 |
| CN109596588A (zh) * | 2018-12-16 | 2019-04-09 | 华中科技大学 | 一种基于光片照明的高分辨率四维光场显微成像*** |
| CN113383225A (zh) * | 2018-12-26 | 2021-09-10 | 加利福尼亚大学董事会 | 使用深度学习将二维荧光波传播到表面上的***和方法 |
| CN110441271A (zh) * | 2019-07-15 | 2019-11-12 | 清华大学 | 基于卷积神经网络的光场高分辨解卷积方法及*** |
| CN111105415A (zh) * | 2019-12-31 | 2020-05-05 | 北京理工大学重庆创新中心 | 一种基于深度学习的白细胞大视场图像检测***及方法 |
| CN114549318A (zh) * | 2022-02-23 | 2022-05-27 | 复旦大学 | 基于亚体素卷积神经网络的超高分辨荧光显微成像方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李浩宇 等: "基于深度学习的荧光显微成像技术及应用", 《激光与光电子学进展》, vol. 58, no. 18, pages 1811007 - 1 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024113316A1 (zh) * | 2022-12-01 | 2024-06-06 | 骆远 | 可携式量化差分相位对比显微模块以及其深度学习重建方法 |
| CN116609942A (zh) * | 2023-07-18 | 2023-08-18 | 长春理工大学 | 一种分孔径压缩感知偏振超分辨率成像***及方法 |
| CN116609942B (zh) * | 2023-07-18 | 2023-09-22 | 长春理工大学 | 一种分孔径压缩感知偏振超分辨率成像方法 |
| CN117934285A (zh) * | 2024-02-04 | 2024-04-26 | 浙江荷湖科技有限公司 | 一种无扫描的高分辨率四维光场显微成像方法及*** |
| CN117876377A (zh) * | 2024-03-13 | 2024-04-12 | 浙江荷湖科技有限公司 | 一种基于大模型的显微成像通用神经提取方法 |
| CN117876377B (zh) * | 2024-03-13 | 2024-05-28 | 浙江荷湖科技有限公司 | 一种基于大模型的显微成像通用神经提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115220211B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115220211B (zh) | 基于深度学习和光场成像的显微成像***及方法 | |
| US9952422B2 (en) | Enhancing the resolution of three dimensional video images formed using a light field microscope | |
| CN109884018B (zh) | 一种基于神经网络的亚微米级无透镜显微成像方法及*** | |
| US9426429B2 (en) | Scanning projective lensless microscope system | |
| CN106846463B (zh) | 基于深度学习神经网络的显微图像三维重建方法及*** | |
| CN110441271B (zh) | 基于卷积神经网络的光场高分辨解卷积方法及*** | |
| CN104849852B (zh) | 基于相机阵列的光场显微成像***及方法 | |
| CN115144371A (zh) | 基于波长扫描的无透镜傅里叶叠层衍射层析显微成像方法 | |
| Song et al. | 3D localization for light-field microscopy via convolutional sparse coding on epipolar images | |
| Huang et al. | Light-field reconstruction and depth estimation from focal stack images using convolutional neural networks | |
| CN113256772A (zh) | 一种基于视角转换的双角度光场高分辨重构***及方法 | |
| Shroff et al. | High resolution image reconstruction for plenoptic imaging systems using system response | |
| Yoo et al. | 3D image reconstruction from multi-focus microscope: axial super-resolution and multiple-frame processing | |
| Verinaz-Jadan et al. | Shift-invariant-subspace discretization and volume reconstruction for light field microscopy | |
| Tommasi et al. | 3-D reconstruction in optical microscopy by a frequency-domain approach | |
| Zhang et al. | Computational Super-Resolution Imaging With a Sparse Rotational Camera Array | |
| CN112967268B (zh) | 基于光场的数字光学层析方法和装置 | |
| Kwon et al. | Image quality enhancement of 4D light field microscopy via reference impge propagation-based one-shot learning | |
| Muniraj et al. | Subpixel based defocused points removal in photon-limited volumetric dataset | |
| CN110967827B (zh) | 一种基于光场微型显微***的成像建模方法及装置 | |
| Kauvar et al. | Aperture interference and the volumetric resolution of light field fluorescence microscopy | |
| Vijayanagaram | Application of Deep Learning Techniques to Digital Holographic Microscopy for Numerical Reconstruction. | |
| JP7378164B2 (ja) | 画像復元を応用する光学システム及び光学画像処理方法 | |
| Yang et al. | Wide-field, high-resolution reconstruction in computational multi-aperture miniscope using a Fourier neural network | |
| CN114943806B (zh) | 基于多角度光场成像装置的广角光场三维成像方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |