CN111751343A - 基于瓶颈残差gan的介观荧光分子层析成像方法及*** - Google Patents
基于瓶颈残差gan的介观荧光分子层析成像方法及*** Download PDFInfo
- Publication number
- CN111751343A CN111751343A CN202010640874.9A CN202010640874A CN111751343A CN 111751343 A CN111751343 A CN 111751343A CN 202010640874 A CN202010640874 A CN 202010640874A CN 111751343 A CN111751343 A CN 111751343A
- Authority
- CN
- China
- Prior art keywords
- data
- bottleneck residual
- gan
- layer
- light intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003325 tomography Methods 0.000 title claims abstract description 34
- 239000012472 biological sample Substances 0.000 claims abstract description 42
- 239000000523 sample Substances 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 102000034287 fluorescent proteins Human genes 0.000 claims abstract description 34
- 108091006047 fluorescent proteins Proteins 0.000 claims abstract description 34
- 238000009826 distribution Methods 0.000 claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims description 62
- 238000012549 training Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 33
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 26
- 235000012431 wafers Nutrition 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000013178 mathematical model Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000000342 Monte Carlo simulation Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000011423 initialization method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000035508 accumulation Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000001218 confocal laser scanning microscopy Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003068 molecular probe Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000004613 tight binding model Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本公开公开了基于瓶颈残差GAN的介观荧光分子层析成像方法及***，包括：将获取的待成像的生物样片表面荧光光强数据，输入到预先训练好的瓶颈残差GAN中；瓶颈残差GAN先对输入数据依次进行降噪、稀疏和映射处理；然后，对映射处理后的数据进行重建，得到反映荧光蛋白探针浓度及分布的数据；基于反映荧光蛋白探针浓度及分布的数据，得到介观荧光分子层析成像结果。
Description
技术领域
本公开涉及分子影像技术领域，特别是涉及基于瓶颈残差GAN(GenerativeAdversarial Networks,简称GAN)的介观荧光分子层析成像方法及***。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
随着分子影像诊疗技术的日益成熟，医学诊断正逐步从病理表征、常规生化检测到借助分子探针等微观特征对疾病进行早期检测、筛选和诊疗。大多数光学显微成像存在穿透极限(0.5～1mm)和扩散极限(>1cm)等弊端，不能满足介观尺度高分辨率成像需求。X-ray、CT、MRI等医学影像模态不能进行蛋白分子水平的肿瘤早期病变成像和筛查。共聚焦荧光成像或双光子光学显微镜成像深度受限于穿透极限，难以实现对几毫米厚的肿瘤病灶区的可视化和动态观察。动态PET仅能够对单一目标的局部积聚进行成像，且通常需要复杂的多房室药代动力学模型，其逆向求解问题通常不稳定，对输入的生理参数以及初始条件非常敏感。
介观荧光层析成像(Mesoscopic Fluorescence Molecular Tomography，简称MFMT)是一种利用荧光蛋白探针对特异性细胞进行标定，继而通过重建荧光蛋白探针在空间中的浓度及分布获得特异性生化分子分布、强度及其环境特征的一种非侵入式分子影像技术。该方法集中了光学显微成像物理***结构优势和荧光散射层析成像的光学原理优势，是介于宏观和微观领域之间的一种高分辨率光学成像技术，适用于1mm～5mm深度范围内的无创成像，在基因病理学、肿瘤诊断学、细胞和分子生物学、蛋白组学以及制药学等诸多重要学科领域中具有广泛的应用前景。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
由于生物样片的强散射、低吸收特性以及该成像模态的高空间分辨率等因素导致独立测量数据远少于待求解参数个数，使得MFMT重建问题具有高度不适定性和病态性。同时，由于荧光光子数量和强度随生物样片厚度的增加呈指数衰减，使得本就脆弱的逆向重建求解变得更加困难。此外，高密度采样和精细离散化使得介观荧光分子层析成像的逆向重建时间和运算量巨大，通常采用的迭代重建算法难以同时满足高精度和实时重建的需求。
发明内容
为了解决现有技术的不足，本公开提供了基于瓶颈残差GAN的介观荧光分子层析成像方法及***；借助设计的深度学习网络能够快速处理大量测量数据，获得稳健的重建结果，适用于介观尺度的荧光分子成像的三维重建。
第一方面，本公开提供了基于瓶颈残差GAN的介观荧光分子层析成像方法；
基于瓶颈残差GAN的介观荧光分子层析成像方法，包括：
将获取的待成像的生物样片表面荧光光强数据，输入到预先训练好的瓶颈残差GAN中；瓶颈残差GAN先对输入数据依次进行降噪、稀疏和映射处理；然后，对映射处理后的数据进行重建，得到反映荧光蛋白探针浓度及分布的数据；基于反映荧光蛋白探针浓度及分布的数据，得到介观荧光分子层析成像结果。
第二方面，本公开提供了基于瓶颈残差GAN的介观荧光分子层析成像***；
基于瓶颈残差GAN的介观荧光分子层析成像***，包括：
成像模块，其被配置为：将获取的待成像的生物样片表面荧光光强数据，输入到预先训练好的瓶颈残差GAN中；瓶颈残差GAN先对输入数据依次进行降噪、稀疏和映射处理；然后，对映射处理后的数据进行重建，得到反映荧光蛋白探针浓度及分布的数据；基于反映荧光蛋白探针浓度及分布的数据，得到介观荧光分子层析成像结果。
第三方面，本公开还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
第五方面，本公开还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。
与现有技术相比，本公开的有益效果是：
本公开对生物样片介观尺度范围内的荧光蛋白探针的浓度及分布进行重建。相较于传统的重建方法，该方法能获得更高的空间分辨率和更快的重建速度，同时重建性能更加稳健。本公开所提出的瓶颈残差GAN与残差GAN相比，在网络首尾处分别添加一个1×1的卷积核，从而令原来3×3的卷积核可以作用在相对较低的维度上，达到提高计算效率和减少计算代价的目的，且有效避免了深度卷积神经网络中梯度消失及***的弊端。
本公开采用的瓶颈残差GAN模块能够提取训练数据中的有效特征。生成器根据这些有效特征生成伪数据，再结合作为标签的凝胶仿体数据共同作用于判决器，使其自适应的训练网络，从而获得更高的重建分辨率和精度。将真实测量数据和含噪声的仿真测量数据混合后作为网络输入数据的一部分，使网络能够在无大量先验知识的前提下，使生成器和判别器相互博弈学习以挖掘更深层的特征信息，提高重建方法的鲁棒性和泛化性。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例一的方法流程图；
图2为本公开实施例一的瓶颈残差GAN架构图；
图3(a)和图3(b)为公开实施例一的瓶颈残差GAN生成器和判别器结构图；
图4为本公开实施例一的瓶颈残差块结构图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了基于瓶颈残差GAN的介观荧光分子层析成像方法；
如图1所示，基于瓶颈残差GAN的介观荧光分子层析成像方法，包括：
将获取的待成像的生物样片表面荧光光强数据，输入到预先训练好的瓶颈残差GAN中；瓶颈残差GAN先对输入数据依次进行降噪、稀疏和映射处理；然后，对映射处理后的数据进行重建，得到反映荧光蛋白探针浓度及分布的数据；基于反映荧光蛋白探针浓度及分布的数据，得到介观荧光分子层析成像结果。
作为一个或多个实施例，所述获取待成像的生物样片表面荧光光强数据，利用光源-探测器耦合的光栅扫描方式，经过电子增强型CCD相机获取的。
应理解的，所述生物样片，是指：对肿瘤病灶区的生理组织进行切割获得的毫米级厚度的生物组织切片。
作为一个或多个实施例，如图2所示，所述预先训练好的瓶颈残差GAN，包括：依次连接的数据预处理模块和瓶颈残差GAN模块；
所述数据预处理模块，包括：依次连接的去噪自编码器(Denoising Autoencoder，简称DAE)、稀疏自编码器(Sparse Autoencoder，简称SAE)和线性映射网络；
所述瓶颈残差GAN模块，包括：依次连接的生成器、判别器，所述生成器包括依次连接的编码器、一个全连接层和解码器，其中编码器和解码器的对应层之间采用跳连接，以保证局部信息可以最大化传输；
其中，线性映射网络与生成器的编码器连接。
进一步地，所述线性映射网络，是指：由五层全连接层组成的全连接映射网络，其输入为稀疏自编码器的输出数据，输出为反映荧光蛋白探针浓度及分布的预处理数据。
进一步地，如图3(a)所示，所述生成器，采用一个3×3的卷积核进行第一层卷积运算，之后顺次连接第一瓶颈残差块和第一个最大池化层、第二瓶颈残差块和第二个最大池化层、第三瓶颈残差块和第三个最大池化层，池化层步长均设置为2，完成下采样操作；接着连接一个全连接层，其后连接第一个上池化层和第四瓶颈残差块、第二个上池化层和第五瓶颈残差块、第三个上池化层和第六瓶颈残差块，最后连接一个3×3卷积核，同样设置步长为2，完成上采样操作。
进一步地，如图3(b)所示，所述判别器，将生成器输出数据和作为标签的凝胶仿体数据，同时输入到判别器中。第一层采用一个3×3卷积运算，之后顺次连接第七瓶颈残差块和第四个最大池化层、第八瓶颈残差块和第五个最大池化层、第九瓶颈残差块和第六个最大池化层，最后连接一个全连接层，池化层步长同样设置为2。其中的瓶颈残差块包含1×1和3×3的卷积核(共十个)以及ReLU激活函数。
进一步地，如图4所示，所述瓶颈残差块，包括：十个卷积层、十个ReLU激活函数层和一个加法器，其中前九个卷积层依次连接，相邻卷积层之间设有激活函数层，第九个卷积层与第十卷积层之间也设有激活函数层，第十卷积层之后顺次连接加法器和第十ReLU激活函数层；其中第一和第十卷积层采用1×1卷积核，第一卷积层输入端还与加法器的输入端连接，所述第一卷积层的输入端作为瓶颈残差块的输入端，所述第二到九层卷积层采用3×3卷积核，所述第十ReLU激活函数层的输出端作为瓶颈残差块的输出端。
生成器的编码器采用Leaky-ReLU激活函数，生成器的解码器采用ReLU激活函数，其最后连接一个sigmoid激活函数。
判别器采用Leaky-ReLU激活函数，其最后连接一个sigmoid激活函数。
损失函数采用带有稀疏惩罚项的交叉熵损失函数，应用自适应动量估计法(Adaptive Moment Estimation，简称Adam)优化网络。
损失函数采用带有稀疏惩罚项的交叉熵损失函数，以训练生成器，同时采用自适应动量估计法优化网络，其中交叉熵函数作为损失函数并添加惩罚项公式：
L＝-[Ylog(fdisc(Y*，X0))+(1-Y)log(1-fdisc(Y*，X0))]+λ||fdisc(Y*，X0)||1，2
其中，λ为正则化系数，Y*为生成器的输出数据，X0是作为标签的凝胶仿体数据，Y表示反映荧光蛋白探针浓度及分布的预处理数据，fdisc(·)为判别器函数。
作为一个或多个实施例，所述预先训练好的瓶颈残差GAN的工作原理，包括：
去噪自编码器DAE先对输入的待成像生物样片表面荧光光强数据进行降噪处理；稀疏自编码器SAE对降噪处理后的数据进行稀疏处理；
线性映射网络对稀疏处理后的数据进行线性映射，将荧光测量数据映射到荧光蛋白探针分布上；
生成器的编码器对线性映射后的数据进行编码处理；
生成器中的全连接层将编码器提取的部分潜在特征信息转换成一维矢量，输入至解码器；
解码器对其进行解码处理，通过潜在信息重构出反映荧光蛋白探针浓度及分布的预处理数据。
示例性的，所述去噪自编码器DAE，包括四个卷积层和两个全连接层，卷积核大小为3×3，步长为2，使用ReLU激活函数；
ReLU激活函数：f(x)＝max(0，x)。
应用He初始化方法对网络权重进行初始化操作，防止训练过程中出现梯度***和消失的情况。
示例性的，所述稀疏自编码器SAE，采用与去噪自编码器一样的设置，唯一区别在于最后一层卷积的激活函数采用sigmoid函数；
sigmoid函数：
示例性的，所述线性映射网络对稀疏处理后的数据进行线性映射，将荧光测量数据映射到荧光蛋白探针分布上；具体是指：
Y＝h(wgSAE(fDAE(d))+v)
Y表示预处理数据，反映荧光蛋白探针浓度及分布。d表示混合的荧光光强数据集，fDAE(·)表示去噪自编网络函数，用于对输入的混合荧光光强数据集d进行去噪；gSAE(·)表示稀疏自编码网络函数，输入为fDAE(·)去噪后的数据；h(·)表示线性映射网络函数，输入为稀疏自编码网络函数gSAE(·)的输出数据，其中w表示线性映射矩阵，v表示线性映射网络的偏置。
应理解的，所述预先训练好的瓶颈残差GAN的判别器，只有在训练阶段被使用。
示例性的，所述判别器的输入值为生成器中解码器的输出值和作为标签的凝胶仿体数据，判别器输出带有惩罚项的交叉熵损失值。
作为一个或多个实施例，所述预先训练好的瓶颈残差GAN的训练步骤包括：
构建训练集、验证集和测试集；所述训练集、验证集和测试集中均包括真实荧光光强测量数据、仿真荧光光强测量数据和作为标签的凝胶仿体数据；
将训练集和验证集一起输入到瓶颈残差GAN中，对瓶颈残差GAN进行训练和验证，调整网络超参数，使输出损失值最小化，得到并保存训练好的网络模型。然后，将测试集输入到训练好的网络模型中，以测试网络的泛化能力。
进一步地，所述构建训练集、验证集和测试集；具体步骤包括：
基于若干组生物样片表面荧光光强数据，构建真实荧光光强测量数据；
基于若干组凝胶仿体，构建仿真荧光光强测量数据；
将真实荧光光强测量数据和带有标签的仿真荧光光强测量数据进行混合，将混合后的数据按照设定比例划分为训练集、验证集和测试集。
示例性的，所述基于若干组生物样片表面荧光光强数据，构建真实荧光光强测量数据；具体步骤包括：
利用介观荧光分子层析成像平台，对多组生物样片采用光源-探测器耦合的光栅扫描方式，经电子增强型CCD相机获取生物样片表面荧光光强数据，作为真实荧光光强测量数据。
进一步地，所述基于若干组凝胶仿体，构建仿真荧光光强测量数据；具体步骤包括：
生成若干组凝胶仿体数据；模拟光子在生物样片和凝胶仿体中的传输特性，生成敏感矩阵；基于敏感矩阵和若干组凝胶仿体数据，使用前向数学模型，生成仿真测量数据；对仿真测量数据添加随机噪声，得到仿真荧光光强测量数据。
示例性的，所述基于若干组凝胶仿体，构建仿真荧光光强测量数据；具体步骤包括：
通过调整重建目标在凝胶仿体中的位置，并运用缩放、翻转、平移等数据扩增技术，生成多组凝胶仿体数据；
应用蒙特卡罗仿真模拟光子在生物样片和凝胶仿体中的传输特性，生成敏感矩阵。蒙特卡罗仿真中的光学特性参数(如吸收、散射系数)设置与生物样片的光学参数一致；
由于生物样片的高散射性和非均质性，光在其中的传播具有高散射、低吸收的特性，耦合的扩散方程将不能满足光子传输特性，故而采用蒙特卡罗模拟生物样片中各向异性的荧光光子传播，用以模拟生成光子在生物样片中的敏感矩阵：
UF(rs，rd)＝∫ΩA dr3
其中rs，rd和r是源、检测器和生物样片中任意点的位置。Gx和Gm分别是激发和发射光传播的格林函数，并且是与存储的光通量有关的物理量。在这里，η是量子效率，
是激发光带中的总吸收系数，μaf是荧光团的吸收系数。UF(rs，rd)是当使用光源rs激发时在探测器位置rd处测得的荧光强度，A为光子在生物样片中的敏感矩阵。
使用生成的敏感矩阵和多组凝胶仿体数据，通过MFMT前向数学模型，生成多组仿真测量数据；
经离散化操作可将MFMT重建问题转化为线性方程组求解问题，其前向数学模型如下：
AX＝b
A表示敏感矩阵，b表示荧光光强测量值，X表示待求解的荧光蛋白探针浓度数值。
对生成的每一组仿真测量数据随机添加不同水平的高斯噪声，得到仿真荧光光强测量数据。
示例性的，所述将真实荧光光强测量数据和带有标签的仿真荧光光强测量数据进行混合，将混合后的数据按照设定比例划分为训练集、验证集和测试集；具体步骤包括：
将真实荧光光强测量数据和带有标签的仿真荧光光强测量数据混合，产生10000组荧光光强测量数据，并按照7∶2∶1的比例分成训练数据集、验证数据集和测试数据集，分别用于训练模型、验证模型和测试模型。
应理解的，基于瓶颈残差的GAN架构，对生物样片中荧光蛋白探针浓度及分布进行介观尺度的三维重建。
作为一个或多个实施例，所述基于反映荧光蛋白探针浓度及分布的数据，得到介观荧光分子层析成像结果；具体步骤包括：通过电子增强型CCD获取生物样片表面的测量数据；根据真实生物组织光学参数，仿真生成敏感矩阵和凝胶仿体数据，通过MFMT前向数学模型以及添加高斯噪声模拟生成仿真荧光光强测量数据；将真实荧光光强测量数据与带有标签的仿真荧光光强测量数据混合制作数据集，按比例分成训练、验证、测试数据集，用于对网络进行训练、验证与测试；采用自适应动量估计法优化网络模型，并通过优化好的瓶颈残差GAN对介观荧光分子层析成像进行重建。
训练阶段，将真实荧光光强测量数据和仿真荧光光强测量数据混合构成混合的荧光光强数据集d和作为标签的凝胶仿体数据X0作为网络输入数据，网络输出为介观尺度的荧光蛋白探针的浓度及分布X*。
利用介观荧光分子层析成像平台，对多组生物样片采用光源-探测器耦合的光栅扫描方式，经电子增强型CCD相机获取生物样片表面荧光光强数据，作为真实荧光光强测量数据；
通过调整重建目标在凝胶仿体中的位置，并运用缩放、翻转、平移等数据扩增技术，生成多组凝胶仿体数据；
设置与生物样片一致的光学特性参数，应用蒙特卡罗模拟生成光子在生物样片中的敏感矩阵；
使用生成的敏感矩阵和多组凝胶仿体数据，生成多组仿真测量数据；
对生成的每一组仿真测量数据随机添加不同水平的高斯噪声，得到仿真荧光光强测量数据；
将真实荧光光强测量数据和带有标签的仿真荧光光强测量数据混合，按比例划分为训练数据集，验证数据集和测试数据集；
存储制作好的数据集、真实荧光光强测量数据、仿真荧光光强测量数据和多组凝胶仿体数据；
以Tensorflow-gpu来搭建整个训练环境，利用NVIDIA GeForce GTX1080显卡加速，采用Adam优化网络，He初始化方法初始化网络权重，设置batch size为25，epoch为400，反复训练瓶颈残差GAN以更新权重和偏置，得到相应的模型参数，保存训练好的模型和参数；
对生物样片内部介观尺度的荧光蛋白探针分布进行重建。
以上一个或多个实施例具有以下技术效果：
本公开将介观荧光分子层析成像与无监督和半监督的深度卷积神经网络相结合，根据采集的测量数据、光子在生物样片内部的传播特性以及生物样片对光的吸收、散射等特性对生物样片内部介观尺度的荧光蛋白探针浓度和分布进行重建，将真实荧光光强测量数据和带有标签的仿真荧光光强测量数据混合以构造训练数据集，增加训练样本数量。采用降噪与稀疏级联的无监督自编码网络获取生物样片内部荧光蛋白探针浓度及分布的预处理数据。相较于传统重建方法，半监督的瓶颈残差GAN模型具有更高的重建精度和鲁棒性，适于高度病态的介观尺荧光分子层析成像重建，有望填补分子影像中成像分辨率在介观尺度上的空白，获取生物样片中更高分辨率的生理信息。
本公开提出一种瓶颈残差GAN重建方法对生物样片介观尺度范围内的荧光蛋白探针浓度及分布进行重建，相较于传统的重建方法，能获得更高的空间分辨率和更快的重建速度，同时重建性能更加稳健。本公开所提出的瓶颈残差GAN所采用的瓶颈残差与普通残差相比，在首尾处各添加了一个1×1的卷积核，从而令3×3的卷积核可以作用在相对较低的维度上，达到提高计算效率和减少计算代价的目的，且有效避免了深度卷积神经网络中梯度消失及***的弊端。
本公开采用的瓶颈残差GAN模块能够提取训练数据中的有效特征，并根据这些有效特征生成伪数据，再将作为标签的凝胶仿体数据同时作用于判决器，使其自适应训练网络，从而获得更高的重建分辨率和精度。将真实荧光光强测量数据和仿真荧光光强测量数据进行混合后作为网络输入数据的一部分，使网络能够在无大量先验知识的前提下，使生成器和判别器相互博弈学习以挖掘更深层的特征信息，提高重建方法的鲁棒性和泛化性。
本公开采用自适应动量估计法优化网络。在训练过程中，网络架构的每个参数，都具有各自的学习率和动量，参数的独立更新特性提升了模型训练速度和稳定性，可对生物样片内部深层荧光蛋白探针浓度及分布进行快速精准重建。
本公开公开了一种基于瓶颈残差GAN的介观荧光分子层析成像重建方法及***，包括：通过电子增强型CCD获取生物样片表面真实荧光光强测量数据；仿真生成敏感矩阵和凝胶仿体数据，通过MFMT前向数学模型以及添加高斯噪声模拟生成仿真荧光光强测量数据；将真实荧光光强测量数据和、带有标签的仿真荧光光强测量数据混合制作数据集，按比例分成训练、验证、测试数据集，用于对网络进行训练、验证与测试；采用自适应动量估计法优化网络模型，并通过优化好的瓶颈残差GAN对介观荧光分子层析成像进行重建。本公开操作简单，可以实现对介观荧光分子层析成像的快速、鲁棒且高分辨率重建，可广泛应用于介观荧光分子重建领域。
实施例二
本实施例提供了基于瓶颈残差GAN的介观荧光分子层析成像***；
基于瓶颈残差GAN的介观荧光分子层析成像***，包括：
成像模块，其被配置为：将获取的待成像的生物样片表面荧光光强数据，输入到预先训练好的瓶颈残差GAN中；瓶颈残差GAN先对输入数据依次进行降噪、稀疏和映射处理；然后，对映射处理后的数据进行重建，得到反映荧光蛋白探针浓度及分布的数据；基于反映荧光蛋白探针浓度及分布的数据，得到介观荧光分子层析成像结果。
此处需要说明的是，上述成像模块对应于实施例一中的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的***，可以通过其他的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个***，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.基于瓶颈残差GAN的介观荧光分子层析成像方法，其特征是，包括：
将获取的待成像的生物样片表面荧光光强数据，输入到预先训练好的瓶颈残差GAN中；瓶颈残差GAN先对输入数据依次进行降噪、稀疏和映射处理；然后，对映射处理后的数据进行重建，得到反映荧光蛋白探针浓度及分布的数据；基于反映荧光蛋白探针浓度及分布的数据，得到介观荧光分子层析成像结果。
2.如权利要求1所述的方法，其特征是，所述预先训练好的瓶颈残差GAN，包括：依次连接的数据预处理模块和瓶颈残差GAN模块；
所述数据预处理模块，包括：依次连接的去噪自编码器DAE、稀疏自编码器SAE和线性映射网络；
所述瓶颈残差GAN模块，包括：依次连接的生成器、判别器，所述生成器包括依次连接的编码器、一个全连接层和解码器，其中编码器和解码器的对应层之间采用跳连接，以保证局部信息可以最大化传输；
其中，线性映射网络与生成器的编码器连接。
3.如权利要求2所述的方法，其特征是，所述线性映射网络，是指：由五层全连接层组成的全连接映射网络，其输入为稀疏自编码器的输出数据，输出为反映荧光蛋白探针浓度及分布的预处理数据；
或者，
所述生成器，采用一个3×3的卷积核进行第一层卷积运算，之后顺次连接第一瓶颈残差块和第一个最大池化层、第二瓶颈残差块和第二个最大池化层、第三瓶颈残差块和第三个最大池化层，池化层步长均设置为2，完成下采样操作；接着连接一个全连接层，其后连接第一个上池化层和第四瓶颈残差块、第二个上池化层和第五瓶颈残差块、第三个上池化层和第六瓶颈残差块，最后连接一个3×3卷积核，同样设置步长为2，完成上采样操作；
或者，
所述判别器，将生成器输出数据和凝胶仿体数据，同时输入到判别器中；第一层采用一个3×3卷积运算，之后顺次连接第七瓶颈残差块和第四个最大池化层、第八瓶颈残差块和第五个最大池化层、第九瓶颈残差块和第六个最大池化层，最后连接一个全连接层，池化层步长同样设置为2；其中的瓶颈残差块包含1×1和3×3的卷积核以及ReLU激活函数。
4.如权利要求3所述的方法，其特征是，所述瓶颈残差块，包括：十个卷积层、十个ReLU激活函数层和一个加法器，其中前九个卷积层依次连接，相邻卷积层之间设有激活函数层，第九个卷积层与第十卷积层之间也设有激活函数层，第十卷积层之后顺次连接加法器和第十ReLU激活函数层；其中第一和第十卷积层采用1×1卷积核，第一卷积层输入端还与加法器的输入端连接，所述第一卷积层的输入端作为瓶颈残差块的输入端，所述第二到九层卷积层采用3×3卷积核，所述第十ReLU激活函数层的输出端作为瓶颈残差块的输出端。
5.如权利要求1所述的方法，其特征是，所述预先训练好的瓶颈残差GAN的工作原理，包括：
去噪自编码器DAE先对输入的待成像生物样片表面荧光光强数据进行降噪处理；
稀疏自编码器SAE对降噪处理后的数据进行稀疏处理；
线性映射网络对稀疏处理后的数据进行线性映射，将荧光测量数据映射到荧光蛋白探针分布上；
生成器的编码器对线性映射后的数据进行编码处理；
生成器中的全连接层将编码器提取的部分潜在特征信息转换成一维矢量，输入至解码器；
解码器对其进行解码处理，通过潜在信息重构出反映荧光蛋白探针浓度及分布的预处理数据。
6.如权利要求1所述的方法，其特征是，所述预先训练好的瓶颈残差GAN的训练步骤包括：
构建训练集、验证集和测试集；所述训练集、验证集和测试集中均包括真实荧光光强测量数据、仿真荧光光强测量数据和作为标签的凝胶仿体数据；
将训练集和验证集一起输入到瓶颈残差GAN中，对瓶颈残差GAN进行训练和验证，调整网络超参数，使输出损失值最小化，得到并保存训练好的网络模型；然后，将测试集输入到训练好的网络模型中，以测试网络的泛化能力。
7.如权利要求1所述的方法，其特征是，所述构建训练集、验证集和测试集；具体步骤包括：
基于若干组生物样片表面荧光光强数据，构建真实荧光光强测量数据；
基于若干组凝胶仿体，构建仿真荧光光强测量数据；
将真实荧光光强测量数据和带有标签的仿真荧光光强测量数据进行混合，将混合后的数据按照设定比例划分为训练集、验证集和测试集；
或者，
所述基于若干组凝胶仿体，构建仿真荧光光强测量数据；具体步骤包括：
生成若干组凝胶仿体数据；模拟光子在生物样片和凝胶仿体中的传输特性，生成敏感矩阵；基于敏感矩阵和若干组凝胶仿体数据，使用前向数学模型，生成仿真测量数据；对仿真测量数据添加随机噪声，得到仿真荧光光强测量数据。
8.基于瓶颈残差GAN的介观荧光分子层析成像***，其特征是，包括：
成像模块，其被配置为：将获取的待成像的生物样片表面荧光光强数据，输入到预先训练好的瓶颈残差GAN中；瓶颈残差GAN先对输入数据依次进行降噪、稀疏和映射处理；然后，对映射处理后的数据进行重建，得到反映荧光蛋白探针浓度及分布的数据；基于反映荧光蛋白探针浓度及分布的数据，得到介观荧光分子层析成像结果。
9.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010640874.9A CN111751343A (zh) | 2020-07-06 | 2020-07-06 | 基于瓶颈残差gan的介观荧光分子层析成像方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010640874.9A CN111751343A (zh) | 2020-07-06 | 2020-07-06 | 基于瓶颈残差gan的介观荧光分子层析成像方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111751343A true CN111751343A (zh) | 2020-10-09 |
Family
ID=72679464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010640874.9A Withdrawn CN111751343A (zh) | 2020-07-06 | 2020-07-06 | 基于瓶颈残差gan的介观荧光分子层析成像方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111751343A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288033A (zh) * | 2020-11-19 | 2021-01-29 | 武汉生之源生物科技股份有限公司 | 一种全自动荧光免疫分析数据处理方法、***及装置 |
| CN112466320A (zh) * | 2020-12-12 | 2021-03-09 | 中国人民解放军战略支援部队信息工程大学 | 一种基于生成对抗网络的水声信号降噪方法 |
-
2020
- 2020-07-06 CN CN202010640874.9A patent/CN111751343A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288033A (zh) * | 2020-11-19 | 2021-01-29 | 武汉生之源生物科技股份有限公司 | 一种全自动荧光免疫分析数据处理方法、***及装置 |
| CN112288033B (zh) * | 2020-11-19 | 2023-04-14 | 武汉生之源生物科技股份有限公司 | 一种全自动荧光免疫分析数据处理方法、***及装置 |
| CN112466320A (zh) * | 2020-12-12 | 2021-03-09 | 中国人民解放军战略支援部队信息工程大学 | 一种基于生成对抗网络的水声信号降噪方法 |
| CN112466320B (zh) * | 2020-12-12 | 2023-11-10 | 中国人民解放军战略支援部队信息工程大学 | 一种基于生成对抗网络的水声信号降噪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gröhl et al. | Deep learning for biomedical photoacoustic imaging: A review | |
| Morales-Navarrete et al. | A versatile pipeline for the multi-scale digital reconstruction and quantitative analysis of 3D tissue architecture | |
| Svoboda et al. | Generation of digital phantoms of cell nuclei and simulation of image formation in 3D image cytometry | |
| Johnstonbaugh et al. | A deep learning approach to photoacoustic wavefront localization in deep-tissue medium | |
| Ming et al. | Rapid reconstruction of 3D neuronal morphology from light microscopy images with augmented rayburst sampling | |
| Lee et al. | High-throughput computer method for 3D neuronal structure reconstruction from the image stack of the Drosophila brain and its applications | |
| CN111915733B (zh) | 基于LeNet网络的三维锥束X射线发光断层成像方法 | |
| CN111751343A (zh) | 基于瓶颈残差gan的介观荧光分子层析成像方法及*** | |
| Ly et al. | Full-view in vivo skin and blood vessels profile segmentation in photoacoustic imaging based on deep learning | |
| Chung et al. | Missing cone artifact removal in ODT using unsupervised deep learning in the projection domain | |
| Matlock et al. | Physical model simulator-trained neural network for computational 3d phase imaging of multiple-scattering samples | |
| Liang et al. | Automatic 3-D segmentation and volumetric light fluence correction for photoacoustic tomography based on optimal 3-D graph search | |
| CN106852684A (zh) | 光声装置和显示控制方法 | |
| CN115349137A (zh) | 使用神经网络校正octa体积中的流投影伪影 | |
| Ziemczonok et al. | Optical diffraction tomography meets metrology—measurement accuracy on cellular and subcellular level | |
| Le et al. | Segmentation and quantitative analysis of photoacoustic imaging: a review | |
| CN117078692A (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及*** | |
| Wang et al. | Fluorescence molecular tomography reconstruction of small targets using stacked auto-encoder neural networks | |
| Brown et al. | Quantification of vascular networks in photoacoustic mesoscopy | |
| Zuo et al. | Spectral crosstalk in photoacoustic computed tomography | |
| Vaiyapuri et al. | Design of Metaheuristic Optimization‐Based Vascular Segmentation Techniques for Photoacoustic Images | |
| Tang et al. | Learning spatially variant degradation for unsupervised blind photoacoustic tomography image restoration | |
| Makra et al. | Enhancement of acoustic microscopy lateral resolution: A comparison between deep learning and two deconvolution methods | |
| CN115294300A (zh) | 多分支注意力先验参数化有限投影快速荧光断层重建方法 | |
| Wieslander et al. | Learning to see colours: generating biologically relevant fluorescent labels from bright-field images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201009 |