CN107958475B - 基于深度学习生成网络的变角度光照层析方法及装置 - Google Patents
基于深度学习生成网络的变角度光照层析方法及装置 Download PDFInfo
- Publication number
- CN107958475B CN107958475B CN201711372608.7A CN201711372608A CN107958475B CN 107958475 B CN107958475 B CN 107958475B CN 201711372608 A CN201711372608 A CN 201711372608A CN 107958475 B CN107958475 B CN 107958475B
- Authority
- CN
- China
- Prior art keywords
- network
- sample
- deep learning
- distribution
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000013135 deep learning Methods 0.000 title claims abstract description 64
- 238000005286 illumination Methods 0.000 title claims abstract description 30
- 238000004587 chromatography analysis Methods 0.000 title claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000001228 spectrum Methods 0.000 claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 230000000644 propagated effect Effects 0.000 claims abstract description 5
- 238000003325 tomography Methods 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 15
- 238000011112 process operation Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 10
- 230000001902 propagating effect Effects 0.000 claims description 8
- 238000009795 derivation Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 239000000523 sample Substances 0.000 description 49
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 4
- 239000012472 biological sample Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000008188 pellet Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于深度学习生成网络的变角度光照层析方法及装置，其中，方法包括：根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型；仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络；将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据；根据重建分辨率条件调整深度学习网络参数，以对网络进行训练；通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。该方法实现了低采集量、高分辨率的层析重建能力，有效提高样本层析重建的分辨率精度。
Description
技术领域
本发明涉及计算光学、计算机视觉和计算摄像学技术领域，特别涉及一种基于深度学习生成网络的变角度光照层析方法及装置。
背景技术
目前，对显微样本、特别是活体生物样本进行高分辨率的层析重建是当前计算光学成像、计算机视觉、计算摄像学等学科领域的热点研究问题。相关的层析技术中，由于大多数活体生物细胞具有强度上弱差异而相位上高差异的特点，因此广泛使用相位成像技术进行研究。但是，现有的相位层析技术大多需要采集大量的数据，包括不同角度照射的图像或者聚焦在不同深度拍摄的图像，而采集的速度限制了相位层析的发展应用。
活体生物样本层析重建中另一个普遍存在的问题在于，现有重建技术在光轴方向经常会发生较为严重的拉长现象，引起较大的误差，从而限制了光轴方向的层析分辨率，影响层析重建的效果，难以实现纳米级的层析。同时，在之前提出的层析方法中，使用的光场传播模型大多是忽略多重散射的线性传播模型。这样做可以使算法变得更简单便捷，但是会影响层析效果。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于深度学习生成网络的变角度光照层析方法，该方法实现了低采集量、高分辨率的层析重建能力，有效提高样本层析重建的分辨率精度。
本发明的另一个目的在于提出一种基于深度学习生成网络的变角度光照层析装置。
为达到上述目的，本发明一方面实施例提出了一种基于深度学习生成网络的变角度光照层析方法，包括以下步骤：根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型；根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，其中，待训练权重为待层析样本的体折射率分布，训练样本为输入光复数场分布以及对应角度的输出光复数场分布；在预设角度范围内对样本进行多组照射，并将相机固定在光轴后端进行数据采集，以将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据；根据重建分辨率条件调整深度学习网络参数，以对网络进行训练；通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。
本发明实施例的基于深度学习生成网络的变角度光照层析方法，可以通过利用基于光束传播方法的分层传播模型，综合考虑了光在多层透明样本中传播的散射和折射过程，将其与深度学习这一目前效果最为突出的优化方法结合起来，配合以数字全息采集方法，实现了低采集量、高分辨率的层析重建能力，有效提高样本层析重建的分辨率精度。
另外，根据本发明上述实施例的基于深度学习生成网络的变角度光照层析方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述衍射场和折射场的分布模型表示为：
其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。
进一步地，在本发明的一个实施例中，所述根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，进一步包括：
以光的分布场的包络复振幅a(r)为所述神经网络的结点，对于相邻两层的结点a(x，y，z)和a(x，y，z+δz)，运算关系分为对应于光传播过程中的衍射和折射的两部分：
其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，
为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。
进一步地，在本发明的一个实施例中，搭建所述神经网络过程中使用的框架为TensorFlow，网络中使用到的层包括输入层、衍射层、折射层以及低通滤波层，其中，所述衍射层和所述折射层分别对应上述的衍射过程运算和折射过程运算，所述低通滤波层对应于采集的频域特性。
进一步地，在本发明的一个实施例中，其特征在于，在网络中，损失函数的表达式如下：
loss＝∑|ypredict-ytrue|+S，
其中，ypredict表示网络生成的数据，ytrue表示真实采集的数据，S表示稀疏项约束。
为达到上述目的，本发明另一方面实施例提出了一种基于深度学习生成网络的变角度光照层析装置，包括：推导模块，用于根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型；搭建模块，用于根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，其中，待训练权重为待层析样本的体折射率分布，训练样本为输入光复数场分布以及对应角度的输出光复数场分布；采集模块，用于在预设角度范围内对样本进行多组照射，并将相机固定在光轴后端进行数据采集，以将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据；训练模块，用于根据重建分辨率条件调整深度学习网络参数，以对网络进行训练；重建模块，用于通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。
本发明实施例的基于深度学习生成网络的变角度光照层析装置，可以通过利用基于光束传播方法的分层传播模型，综合考虑了光在多层透明样本中传播的散射和折射过程，将其与深度学习这一目前效果最为突出的优化方法结合起来，配合以数字全息采集方法，实现了低采集量、高分辨率的层析重建能力，有效提高样本层析重建的分辨率精度。
另外，根据本发明上述实施例的基于深度学习生成网络的变角度光照层析装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述衍射场和折射场的分布模型表示为：
其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。
进一步地，在本发明的一个实施例中，所述搭建模块还用于以光的分布场的包络复振幅a(r)为所述神经网络的结点，对于相邻两层的结点a(x，y，z)和a(x，y，z+δz)，运算关系分为对应于光传播过程中的衍射和折射的两部分：
其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。
进一步地，在本发明的一个实施例中，搭建所述神经网络过程中使用的框架为TensorFlow，网络中使用到的层包括输入层、衍射层、折射层以及低通滤波层，其中，所述衍射层和所述折射层分别对应上述的衍射过程运算和折射过程运算，所述低通滤波层对应于采集的频域特性。
进一步地，在本发明的一个实施例中，在网络中，损失函数的表达式如下：
loss＝∑|ypredict-ytrue|+S，
其中，ypredict表示网络生成的数据，ytrue表示真实采集的数据，S表示稀疏项约束。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于深度学习生成网络的变角度光照层析方法的流程图；
图2为根据本发明一个实施例的基于光束传播方法分层传播模型的仿真图像的示意图；
图3为根据本发明一个实施例的基于深度学习生成网络的神经网络框架结构示意图；
图4为根据本发明一个实施例的基于变角度光照全息采集***结构示意图；
图5为根据本发明一个实施例的一种对于仿真小球的层析重建结果示意图；
图6为根据本发明一个具体实施例的基于深度学习生成网络的变角度光照层析方法的流程图；
图7为根据本发明一个实施例的基于深度学习生成网络的变角度光照层析装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于深度学习生成网络的变角度光照层析方法及装置，首先将参照附图描述根据本发明实施例提出的基于深度学习生成网络的变角度光照层析方法。
图1是本发明一个实施例的基于深度学习生成网络的变角度光照层析方法的流程图。
如图1所示，该基于深度学习生成网络的变角度光照层析方法包括以下步骤：
在步骤S101中，根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型。
可以理解的是，本发明实施例可以根据波的亥姆霍兹方程、光的傅里叶传播模型以及一系列合理的近似假设推导出光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型。
举例而言，如图2所示，本发明实施例中推导的BPM(Beam Propagation Method，光束传播方法)分层传播模型，可以使用计算机对理论模型进行仿真。设置输入光复数场为高斯光束的幅值和相位分布，将成像位置聚焦在样本的中心层，输出图像。
可选地，在本发明的一个实施例中，衍射场和折射场的分布模型表示为：
其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。
具体而言，本发明实施例的基本原理是不均匀介质中的亥姆霍兹方程及其推导出的近轴波的传播场分布公式，分别为等式1与等式2，
其中，r＝(x，y，z)表示空间位置分布，u是r位置光的分布场，
为拉普拉斯算子，I是特征算子，
是r位置的光的波数。
其中，
n0是背景介质的折射率，a(r)表示u(r)的复振幅包络
对上两式引入两种近似简化。第一种近似认为平面波的包络复幅值的变化是缓慢的，即
第二种近似是在折射率分布扰动δn(r)较小的前提下，忽略(δn(r))2及其他高阶项。由此可以推得：
等式3即为近轴波的亥姆霍兹方程。
对等式3进行傅里叶变换可以最终推出，
等式4可以分为衍射和折射两部分表示：
在步骤S102中，根据推导的分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，其中，待训练权重为待层析样本的体折射率分布，训练样本为输入光复数场分布以及对应角度的输出光复数场分布。
也就是说，本发明实施例可以根据推导出的光学传播模型，仿照该物理模型搭建以复数形式在时域和频域传播的深度学习生成神经网络，待训练权重为样本的体折射率分布，训练样本为输入光复数场分布以及对应角度的输出光复数场分布。其中，深度学习生成神经网络的框架结构如图3所示。
举例而言，本发明实施例应用微元的概念，将样本微元化、网格化，认为每一微元中的折射率是相同的。而这一微元的大小，也体现了层析分辨率的大小。应用之前推导得到的公式(4)，可以对网络进行搭建。
进一步地，在本发明的一个实施例中，根据推导的分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，进一步包括：以光的分布场的包络复振幅a(r)为神经网络的结点，对于相邻两层的结点a(x，y，z)和a(x，y，z+δz)，运算关系分为对应于光传播过程中的衍射和折射的两部分：
其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。
具体而言，本发明实施例可以以光的分布场的包络复振幅a(r)为神经网络的结点，对于相邻两层的结点a(x，y，z)和a(x，y，z+δz)，其运算关系可以分为两部分：
分别对应于光传播过程中的衍射和折射。
进一步地，在本发明的一个实施例中，搭建神经网络过程中使用的框架为TensorFlow，网络中使用到的层包括输入层、衍射层、折射层以及低通滤波层，其中，衍射层和折射层分别对应上述的衍射过程运算和折射过程运算，低通滤波层对应于采集的频域特性。
可以理解的是，本发明实施例可以在搭建深度学习神经网络过程中使用的框架为TensorFlow，网络中使用到的层包括输入层(Input)、衍射层(DiffractionLayer)、折射层(RefractionLayer)以及低通滤波层(LowPassLayer)，其中衍射层和折射层分别对应上述的衍射过程运算和折射过程运算，低通滤波层对应于采集***中采集装置的频域特性。对于给定的样本而言，衍射层是相同的，因此可以共享；折射层中包含待求参数δn(r)，不可共享，为待训练层，δn(r)为其待训练权重。
可选地，在本发明的一个实施例中，在网络中，损失函数的表达式如下：
loss＝∑|ypredic-ytrue|+S，
其中，ypredict表示网络生成的数据，ytrue表示真实采集的数据，S表示稀疏项约束。
具体而言，在网络中，定义的损失函数(loss function)表达式如下：
loss＝∑|ypredict-ytrue|+S，
其中，ypredict表示网络生成的数据，ytrue表示真实采集的数据，S表示稀疏项约束，其表达式如下：
其中，γ1表示数据项稀疏性约束，γ2表示微分项稀疏性约束，w表示权重，即δn(r)。
在步骤S103中，在预设角度范围内对样本进行多组照射，并将相机固定在光轴后端进行数据采集，以将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据。
可以理解的是，本发明实施例可以在一定角度范围内对样本进行多组照射，将相机固定在光轴后端进行数据采集，将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，将采集到的透过待重建样本的复数场作为输出光复数场数据。
举例而言，如图3所示，本发明实施例可以通过旋转振镜改变入射光的角度，固定采集端相机位置不变；通过与参考光的干涉效应，拍摄到全息图，从而得到输出光的复数场。
在步骤S104中，根据重建分辨率条件调整深度学习网络参数，以对网络进行训练。
可以理解的是，本发明实施例可以根据重建分辨率的要求调整深度学习生成网络参数，包括重建样本参数——重建三维网络尺寸、分辨率单元大小等以及深度学习超参数——初始学习率、批处理大小以及稀疏性约束项参数等对网络进行训练。
举例而言，本发明实施例可以利用之前内容搭建的深度学***面分辨率)、批处理大小(取决于采集数据的组数)、初始学习率以及迭代次数等，之后开始训练网络。
在步骤S105中，通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。
可以理解的是，本发明实施例可以通过使用自适应矩估计(Adam)优化方法训练，通过得到的权重求解得到样本的体折射率分布，实现对样本的三维重建。
具体而言，网络训练完毕后，取出训练的权重参数，即δn(r)，将其分层绘制，即实现了对样本的层析。其中，图5为对于仿真小球的层析重建结果示意图。
在本发明的一个具体实施例中，如图6所示，本发明实施例的方法包括以下步骤：
步骤S1，光在介质中衍射场合折射场的分布模型；
步骤S2，仿照物理过程搭建复数形式的深度学习生成网络；
步骤S3，不同角度相干光进行多组照射；
步骤S4，输出端采集光的复数场；
步骤S5，调整网络参数，进行训练；
步骤S6，根据训练权重计算体折射率分布，实现层析。
综上，本发明实施例利用深度学***面波光照采集***，实现高速采集、精准层析的功能。
根据本发明实施例提出的基于深度学习生成网络的变角度光照层析方法，可以通过利用基于光束传播方法的分层传播模型，综合考虑了光在多层透明样本中传播的散射和折射过程，将其与深度学习这一目前效果最为突出的优化方法结合起来，配合以数字全息采集方法，实现了低采集量、高分辨率的层析重建能力，有效提高样本层析重建的分辨率精度。
其次参照附图描述根据本发明实施例提出的基于深度学习生成网络的变角度光照层析装置。
图7是本发明一个实施例的基于深度学习生成网络的变角度光照层析装置的结构示意图。
如图7所示，该基于深度学习生成网络的变角度光照层析装置10包括：推导模块100、搭建模块200、采集模块300、训练模块400和重建模块500。
其中，推导模块100用于根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型。搭建模块200用于根据推导的分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，其中，待训练权重为待层析样本的体折射率分布，训练样本为输入光复数场分布以及对应角度的输出光复数场分布。采集模块300用于在预设角度范围内对样本进行多组照射，并将相机固定在光轴后端进行数据采集，以将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据。训练模块400用于根据重建分辨率条件调整深度学习网络参数，以对网络进行训练。重建模块500用于通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。本发明实施例的装置10实现了低采集量、高分辨率的层析重建能力，有效提高样本层析重建的分辨率精度。
进一步地，在本发明的一个实施例中，衍射场和折射场的分布模型表示为：
其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。
进一步地，在本发明的一个实施例中，搭建模块200还用于以光的分布场的包络复振幅a(r)为神经网络的结点，对于相邻两层的结点a(x，y，z)和a(x，y，z+δz)，运算关系分为对应于光传播过程中的衍射和折射的两部分：
其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。
进一步地，在本发明的一个实施例中，搭建神经网络过程中使用的框架为TensorFlow，网络中使用到的层包括输入层、衍射层、折射层以及低通滤波层，其中，衍射层和折射层分别对应上述的衍射过程运算和折射过程运算，低通滤波层对应于采集的频域特性。
进一步地，在本发明的一个实施例中，在网络中，损失函数的表达式如下：
loss＝∑|ypredict-ytrue|+S，
其中，ypredict表示网络生成的数据，ytrue表示真实采集的数据，S表示稀疏项约束。
需要说明的是，前述对基于深度学习生成网络的变角度光照层析方法实施例的解释说明也适用于该实施例的基于深度学习生成网络的变角度光照层析装置，此处不再赘述。
根据本发明实施例提出的基于深度学习生成网络的变角度光照层析装置，可以通过利用基于光束传播方法的分层传播模型，综合考虑了光在多层透明样本中传播的散射和折射过程，将其与深度学习这一目前效果最为突出的优化方法结合起来，配合以数字全息采集方法，实现了低采集量、高分辨率的层析重建能力，有效提高样本层析重建的分辨率精度。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种基于深度学习生成网络的变角度光照层析方法，其特征在于，包括以下步骤：
根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型，其中，所述衍射场和折射场的分布模型表示为：
其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重；
根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，其中，待训练权重为待层析样本的体折射率分布，训练样本为输入光复数场分布以及对应角度的输出光复数场分布；
在预设角度范围内对样本进行多组照射，并将相机固定在光轴后端进行数据采集，以将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据；
根据重建分辨率条件调整深度学习网络参数，以对网络进行训练；以及
通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。
2.根据权利要求1所述的基于深度学习生成网络的变角度光照层析方法，其特征在于，所述根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，进一步包括：
以光的分布场的包络复振幅a(r)为所述神经网络的结点，对于相邻两层的结点a(x,y,z)和a(x,y,z+δz)，运算关系分为对应于光传播过程中的衍射和折射的两部分：
其中，其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。
3.根据权利要求2所述的基于深度学习生成网络的变角度光照层析方法，其特征在于，搭建所述神经网络过程中使用的框架为TensorFlow，网络中使用到的层包括输入层、衍射层、折射层以及低通滤波层，其中，所述衍射层和所述折射层分别对应上述的衍射过程运算和折射过程运算，所述低通滤波层对应于采集的频域特性。
4.根据权利要求1-3任一项所述的基于深度学习生成网络的变角度光照层析方法，其特征在于，在网络中，损失函数的表达式如下：
loss＝∑|ypredct-ytrue|+S，
其中，ypredict表示网络生成的数据，ytrue表示真实采集的数据，S表示稀疏项约束。
5.一种基于深度学习生成网络的变角度光照层析装置，包括：
推导模块，用于根据波的亥姆霍兹方程、光的傅里叶传播模型推导出得到光在非均匀透明介质中逐层传播时衍射场和折射场的分布模型，其中，所述衍射场和折射场的分布模型表示为：
其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重；
搭建模块，用于根据推导的所述分布模型仿照物理过程搭建以复数形式在时域和频域传播的深度学习生成神经网络，其中，待训练权重为待层析样本的体折射率分布，训练样本为输入光复数场分布以及对应角度的输出光复数场分布；
采集模块，用于在预设角度范围内对样本进行多组照射，并将相机固定在光轴后端进行数据采集，以将采集到的未透过样本的输出光复数场通过角谱传播公式向后传播作为输入光复数场数据，并将采集到的透过待重建样本的复数场作为输出光复数场数据；
训练模块，用于根据重建分辨率条件调整深度学习网络参数，以对网络进行训练；以及
重建模块，用于通过训练得到的权重求解得到样本的三维折射率分布，实现对样本的层析重建。
6.根据权利要求5所述的基于深度学习生成网络的变角度光照层析装置，其特征在于，所述搭建模块还用于以光的分布场的包络复振幅a(r)为所述神经网络的结点，对于相邻两层的结点a(x,y,z)和a(x,y,z+δz)，运算关系分为对应于光传播过程中的衍射和折射的两部分：
其中，x、y、z为样本体折射率分布的三维坐标，δz为分层模型中光轴方向相邻层的间距，
分别为傅里叶变换运算符与傅里叶逆变换运算符，ωx、ωy为傅里叶域坐标，
为波数，n0为背景介质折射率，j为虚数单位，δn(r)为待训练权重。
7.根据权利要求6所述的基于深度学习生成网络的变角度光照层析装置，其特征在于，搭建所述神经网络过程中使用的框架为TensorFlow，网络中使用到的层包括输入层、衍射层、折射层以及低通滤波层，其中，所述衍射层和所述折射层分别对应上述的衍射过程运算和折射过程运算，所述低通滤波层对应于采集的频域特性。
8.根据权利要求5-7任一项所述的基于深度学习生成网络的变角度光照层析装置，其特征在于，在网络中，损失函数的表达式如下：
loss＝∑|ypredct-ytrue|+S，
其中，ypredict表示网络生成的数据，ytrue表示真实采集的数据，S表示稀疏项约束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711372608.7A CN107958475B (zh) | 2017-12-19 | 2017-12-19 | 基于深度学习生成网络的变角度光照层析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711372608.7A CN107958475B (zh) | 2017-12-19 | 2017-12-19 | 基于深度学习生成网络的变角度光照层析方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107958475A CN107958475A (zh) | 2018-04-24 |
| CN107958475B true CN107958475B (zh) | 2020-06-02 |
Family
ID=61959395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711372608.7A Active CN107958475B (zh) | 2017-12-19 | 2017-12-19 | 基于深度学习生成网络的变角度光照层析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107958475B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11215999B2 (en) * | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| CN111199574A (zh) * | 2018-11-16 | 2020-05-26 | 青岛海信激光显示股份有限公司 | 一种全息图像生成方法及设备 |
| CN109932818B (zh) * | 2019-05-07 | 2020-03-20 | 东北大学 | 一种对未知结构参数的光纤进行非简并模式功率分解方法 |
| CN110309916B (zh) * | 2019-06-05 | 2021-09-17 | 清华大学 | 多级空频域调制非线性全光学深度学习***及方法 |
| CN110243827B (zh) * | 2019-07-18 | 2020-11-20 | 华中科技大学 | 一种适用于光透明样本的快速三维成像方法 |
| CN110378473B (zh) * | 2019-07-26 | 2021-12-21 | 清华大学 | 基于深度学习和随机图案的相位层析方法及装置 |
| CN111582468B (zh) * | 2020-04-02 | 2022-08-09 | 清华大学 | 光电混合智能数据生成计算***及方法 |
| CN112926159B (zh) * | 2021-03-16 | 2022-02-22 | 中国科学院声学研究所 | 一种基于深度学习的二阶亥姆霍兹共鸣器设计方法 |
| JPWO2022195754A1 (zh) * | 2021-03-17 | 2022-09-22 | ||
| CN116310719B (zh) * | 2023-02-10 | 2024-04-19 | 中国人民解放军军事科学院国防科技创新研究院 | 基于时频域的光学衍射复数模型训练方法、图像处理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0943539A (ja) * | 1995-07-28 | 1997-02-14 | Konica Corp | ３次元画像表示方法及び３次元画像表示装置 |
| CN105070293A (zh) * | 2015-08-31 | 2015-11-18 | 武汉大学 | 基于深度神经网络的音频带宽扩展编码解码方法及装置 |
| CN105976408A (zh) * | 2016-04-28 | 2016-09-28 | 北京大学 | 一种量子逆向传播神经网络的数字全息压缩传输方法 |
| CN106124449A (zh) * | 2016-06-07 | 2016-11-16 | 中国科学院合肥物质科学研究院 | 一种基于深度学习技术的土壤近红外光谱分析预测方法 |
| CN106770287A (zh) * | 2016-12-07 | 2017-05-31 | 广东工业大学 | 一种单相机平衡型光学相干层析扫描装置及方法 |
-
2017
- 2017-12-19 CN CN201711372608.7A patent/CN107958475B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0943539A (ja) * | 1995-07-28 | 1997-02-14 | Konica Corp | ３次元画像表示方法及び３次元画像表示装置 |
| CN105070293A (zh) * | 2015-08-31 | 2015-11-18 | 武汉大学 | 基于深度神经网络的音频带宽扩展编码解码方法及装置 |
| CN105976408A (zh) * | 2016-04-28 | 2016-09-28 | 北京大学 | 一种量子逆向传播神经网络的数字全息压缩传输方法 |
| CN106124449A (zh) * | 2016-06-07 | 2016-11-16 | 中国科学院合肥物质科学研究院 | 一种基于深度学习技术的土壤近红外光谱分析预测方法 |
| CN106770287A (zh) * | 2016-12-07 | 2017-05-31 | 广东工业大学 | 一种单相机平衡型光学相干层析扫描装置及方法 |
Non-Patent Citations (2)
| Title |
|---|
| "微小生物体的数字全息显微层析成像技术研究";潘哲朗;《中国博士学位论文全文数据库（电子期刊）基础科学辑》;20170115;A005-4 * |
| "高精度数字全息显微衍射层析成像";马利红等;《光子学报》;20141031;第43卷(第10期);第1011005-1-5页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107958475A (zh) | 2018-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107958475B (zh) | 基于深度学习生成网络的变角度光照层析方法及装置 | |
| Liu et al. | SEAGLE: Sparsity-driven image reconstruction under multiple scattering | |
| CN110308547B (zh) | 一种基于深度学习的稠密样本无透镜显微成像装置与方法 | |
| CN110378473B (zh) | 基于深度学习和随机图案的相位层析方法及装置 | |
| Du et al. | Three dimensions, two microscopes, one code: Automatic differentiation for x-ray nanotomography beyond the depth of focus limit | |
| CN102881041B (zh) | 一种基于多源实测数据的火焰建模方法及其*** | |
| CN102034266B (zh) | 激发荧光断层成像的快速稀疏重建方法和设备 | |
| CN115099389A (zh) | 基于复数神经网络的非训练相位重建方法及装置 | |
| CN111956180B (zh) | 一种重建光声内窥层析图像的方法 | |
| CN112697751B (zh) | 多角度照明无透镜成像方法、***及装置 | |
| Shang et al. | Sparsity-based photoacoustic image reconstruction with a linear array transducer and direct measurement of the forward model | |
| CN109900355B (zh) | 成像方法及装置 | |
| Duarte et al. | Computed stereo lensless X-ray imaging | |
| Mohammadi et al. | Modeling skull's acoustic attenuation and dispersion on photoacoustic signal | |
| CN115200702A (zh) | 基于复数神经网络的计算成像方法及装置 | |
| Ali et al. | Open-source Gauss-Newton-based methods for refraction-corrected ultrasound computed tomography | |
| Lee et al. | Deep learning-based framework for fast and accurate acoustic hologram generation | |
| Wu et al. | Three-dimensional nanoscale reduced-angle ptycho-tomographic imaging with deep learning (RAPID) | |
| CN104867178B (zh) | 一种二维血管内光声图像的建模与仿真方法 | |
| Omidi et al. | PATLAB: A graphical computational software package for photoacoustic computed tomography research | |
| Labyed et al. | Toward real-time bent-ray breast ultrasound tomography using gpus | |
| Lou et al. | Impact of nonstationary optical illumination on image reconstruction in optoacoustic tomography | |
| Huthwaite et al. | On the convergence of finite element scattering simulations | |
| Wang et al. | Accelerating Monte Carlo simulation of light propagation in tissue mimicking turbid medium based on generative adversarial networks | |
| Smith et al. | Numerical ray tracing in media involving continuous and discrete refractive boundaries |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |