CN110974166B - 基于k近邻局部连接网络的光学断层成像方法、*** - Google Patents
基于k近邻局部连接网络的光学断层成像方法、*** Download PDFInfo
- Publication number
- CN110974166B CN110974166B CN201911259864.4A CN201911259864A CN110974166B CN 110974166 B CN110974166 B CN 110974166B CN 201911259864 A CN201911259864 A CN 201911259864A CN 110974166 B CN110974166 B CN 110974166B
- Authority
- CN
- China
- Prior art keywords
- light source
- network
- sample
- local connection
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000003287 optical effect Effects 0.000 title claims abstract description 39
- 238000003325 tomography Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 78
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 24
- 238000000342 Monte Carlo simulation Methods 0.000 claims abstract description 13
- 230000005284 excitation Effects 0.000 claims abstract description 7
- 230000001788 irregular Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 28
- 210000003484 anatomy Anatomy 0.000 claims description 19
- 238000000547 structure data Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 12
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 16
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 239000000523 sample Substances 0.000 description 98
- 230000005540 biological transmission Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000007850 fluorescent dye Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- CVOFKRWYWCSDMA-UHFFFAOYSA-N 2-chloro-n-(2,6-diethylphenyl)-n-(methoxymethyl)acetamide;2,6-dinitro-n,n-dipropyl-4-(trifluoromethyl)aniline Chemical compound CCC1=CC=CC(CC)=C1N(COC)C(=O)CCl.CCCN(CCC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O CVOFKRWYWCSDMA-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明属于数字图像领域,具体涉及一种基于K近邻局部连接网络的光学断层成像方法、***,旨在为了解决现有FMT成像的重建精度和成像速度不能兼顾的问题。本发明包括:利用蒙特卡洛仿真构建第一样本;利用第一样本,通过样本组合的方式实现训练样本集的扩充;对所搭建的K近邻局部连接网络,利用训练样本集训练,利用残差学习优化局部连接子网络;利用训练好的K近邻局部连接网络进行基于目标物外表荧光图像进行内部光源重建。本发明基于数据驱动的神经网络方法,直接学习光子在生物体内部的逆向传播过程,实现了准确而快速的激发荧光断层成像。
Description
技术领域
本发明属于数字图像领域,具体涉及一种基于K近邻局部连接网络的光学断层成像方法、***。
背景技术
激发荧光成像(Fluorescence Molecular Imaging,FMI)是一种二维的光学分子成像技术,该技术可以无创地检测荧光探针在生物体内部的分布情况。相比于其他医学成像技术,FMI具有灵敏度高、无辐射、成像探针种类多的优势。
激发荧光断层成像(Fluorescence Molecular Tomography,FMT)是结合FMI和解剖结构成像(MRI/CT)的三维荧光断层成像技术。该成像技术首先将FMI获得的表面光斑信息配准到三维的解剖结构影像中,然后逆向重建出荧光光源在生物体内部的三维分布信息。相比于FMI,FMT可以实现荧光探针在生物体内分布的三维可视化,进一步拓展了荧光成像在肿瘤边缘检测、生物分子观测等生物医学研究方面的应用。
FMT成像技术包括前向问题和逆向问题两个核心的过程。其中,前向问题是利用复杂的数学模型来模拟光子在生物体内的传播过程,进而构建光学传输模型,从而在表面光斑信息和真实的光源分布之间建立一种线性关系。逆向问题是利用最优化方法求解前向问题建立的线性方程,从而得到真实光源在生物体内的三维分布信息。传统的FMT成像方法依赖于光学传输模型,而光子在生物体内的传输具有较强的吸收和散射特性,光学传输模型无法准确描述复杂的光子传输过程,所以光子传输模型的偏差影响着FMT成像的准确度。此外,逆向问题具有较强的病态性,求解过程复杂,这降低了FMT成像的重建精度和成像速度。因此,为了进一步拓展FMT成像在生物医学研究中的应用,需要研究一种快速而又准确的FMT成像技术。
发明内容
为了解决现有技术中的上述问题,即为了解决现有FMT成像的重建精度和成像速度不能兼顾的问题,本发明的第一方面,提出了一种基于K近邻局部连接网络的光学断层成像方法,所述成像方法包括以下步骤:
获取目标物内部光源在所述目标物表面形成的荧光图像;
将所述荧光图像配准到第一网格数据中,得到输入图像;所述第一网格数据为所述目标物的解剖结构数据离散化形成的网格数据;
基于所述所输入图像,利用训练好的K近邻局部连接网络,重建所述内部光源在所述目标物内的三维分布;
其中,所述K近邻局部连接网络的训练方法包括:
步骤S100,获取所述目标物的解剖结构数据,利用蒙特卡洛仿真构建激发内部光源的训练样本集,作为第一样本;
步骤S200,基于所述第一样本,组合出多光源样本和不规则的大光源样本,扩充到第一样本作为第二样本;
步骤S300,基于所述第二样本,使用残差学习和Adam最优化方法迭代训练所述K近邻局部连接网络;所述K近邻局部连接网络由全连接子网络和局部连接子网络级联构成,输入是所述目标物表面顶点的荧光强度,输出是所述目标物内部可行域顶点的荧光强度。
在一些优选实施方式中,步骤S100中“利用蒙特卡洛仿真构建激发内部光源的训练样本集”,其方法为:
步骤S110,所述目标物的解剖结构数据离散化,形成网格数据;
步骤S120,将步骤S110得到的网格数据,输入到蒙特卡洛仿真软件中,同时输入所述目标物各个部位的光学参数;
步骤S130,基于蒙特卡洛仿真软件,模拟在所述目标物内部不同光源设置状态下所述目标物的表面荧光分布;
步骤S140,基于步骤S130,获取所述目标物内部光源分布及对应的表面荧光分布作为训练样本,构建第一样本。
在一些优选实施方式中,步骤S200中所述多光源样本,其获取方法为:
从所述第一样本中选取多个训练样本,将其对应的内部光源和表面荧光分别叠加至其中一个训练样本,得到一个多光源样本。
所述多光源样本的计算方法为:
其中,Xmul、Φmul分别为组合后多光源样本的内部光源信息和表面光斑信息。i为样本的编号,Sn为随机选出的n个样本的集合,Xi、Φi分别为从所述第一样本中选取多个训练样本中第i个样本的内部光源信息和表面光斑信息。
在一些优选实施方式中,步骤S200中所述不规则的大光源样本,其获取方法为:
对所述第一样本中第t个训练样本,利用K近邻的方法选取出与之距离最近的K个训练样本,将这K个训练样本的内部光源和表面荧光分别叠加至第t个训练样本,得到一个不规则的大光源样本。
所述不规则的大光源样本的计算方法为:
其中,Xbig、Φbig分别为组合后的不规则的大光源的内部光源信息和表面光斑信息,Xt、Φt分别为第t个训练样本的内部光源信息和表面光斑信息,SK为利用K近邻的方法选出的K个样本集合,Xi、Φi分别为第i个训练样本的内部光源信息和表面光斑信息。
在一些优选实施方式中,所述K近邻局部连接网络中,全连接子网络的层数为4,该子网络的输入为所述K近邻局部连接网络的输入,隐含层的节点数为所述目标物内部可行域的顶点数目。
所述全连接子网络中采用Dropout函数以设定百分比的概率随机丢弃隐含层的神经元。
在一些优选实施方式中,所述K近邻局部连接网络中,局部连接子网络的层数为3,该子网络的输入为全连接子网络的输出,隐含层的节点数目为所述目标物内部可行域的顶点数目,隐含层的每个神经元与所述目标物内部可行域的顶点一一对应。
在一些优选实施方式中,所述局部连接子网络的局部连接依据以下公式进行:
N=(ni,j)N×N
其中,N代表所述目标物内部可行域点的邻接矩阵,矩阵的行代表的是隐含层的输出节点i,矩阵的列代表隐含层的输入节点j;Sout表示的是隐含层的输出节点集合,Sin表示的是隐含层的输入节点集合,Sknn(i)表示的是节点i的K个近邻节点集合,其中存放的是K个与顶点i距离最近的K个顶点的标签;
如果隐含层的输入节点j属于隐含层输出节点i的K近邻节点集合Sknn(i),则这两个节点是连接的,反之,如果隐含层的输入节点j不属于输出层节点i的K近邻节点集合Sknn(i),则这两个节点是不相连的。
在一些优选实施方式中,步骤S300中,所述K近邻局部连接网络训练的激励函数为Relu函数,该函数为正值修正响应单元,用于修正结果中小于0的元素X,公式如下:
在一些优选实施方式中,步骤S300中,所述K近邻局部连接网络训练的优化函数为Adam最优化方法,网络训练的损失函数为均方差函数,公式如下:
其中,Xout为网络的输出,Xtrue为内部光源信息。
在一些优选实施方式中,步骤S300中,采取残差学习的策略训练所述局部连接子网络,其对应的优化函数如下:
其中,Xf_out表示的是全连接子网络的输出,Xtrue为内部光源信息。
在一些优选实施方式中,“所述获取目标物内部光源在所述目标物表面形成的荧光图像”,其方法为,通过激发内部光源在所述目标物表面形成光斑,并获取此时的所述目标物表面图像作为目标物内部光源在所述目标物表面形成的荧光图像;
其中,所述内部光源为注射入所述目标物内部的荧光剂。
本发明的第二方面,提出了一种基于K近邻局部连接网络的目标物光源三维成像***,所述成像***包括第一模块、第二模块、第三模块;
所述第一模块,配置为获取目标物内部光源在所述目标物表面形成的荧光图像;
所述第二模块,配置为将所述荧光图像配准到第一网格数据中,得到输入图像;所述第一网格数据为所述目标物的解剖结构数据离散化形成的网格数据;
所述第三模块,配置为基于所述所输入图像,利用训练好的K近邻局部连接网络,重建所述内部光源在所述目标物内的三维分布;
其中,所述K近邻局部连接网络,通过训练***获取,所述训练***包括第四模块、第五模块、第六模块
所述第四模块,配置为获取所述目标物的解剖结构数据,利用蒙特卡洛仿真构建激发内部光源的训练样本集,作为第一样本;
所述第五模块,配置为基于所述第一样本,组合出多光源样本和不规则的大光源样本,扩充到第一样本作为第二样本;
所述第六模块,配置为基于所述第二样本,使用残差学习和Adam最优化方法迭代训练所述K近邻局部连接网络;所述K近邻局部连接网络由全连接子网络和局部连接子网络级联构成,输入是所述目标物表面顶点的荧光强度,输出是所述目标物内部可行域顶点的荧光强度。
本发明的第三方面,提出了一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于K近邻局部连接网络的光学断层成像方法。
本发明的第四方面,提出了一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于K近邻局部连接网络的光学断层成像方法。
本发明的有益效果:
(1)基于统计学习的机器学习理论,利用神经网络直接学习光子在生物体内部传输的逆过程;
(2)不需要构建光子传输模型,避免了不准确的光子传输模型带来的重建误差,提高了激发荧光断层成像的重建精度;
(3)不需要求解病态的逆向问题,该策略利用训练好的网络进行重建,极大的提高了重建速度;
(4)使用蒙特卡洛仿真构建训练样本,利用样本组合方法构造多光源和不规则的大光源样本,提高了K近邻局部连接网络的重建能力。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明一种实施例的基于K近邻局部连接网络的光学断层成像方法流程示意图;
图2是本发明一种实施例中K近邻局部连接网络结构框示意图;
图3是本发明一种实施例的基于K近邻局部连接网络的光学断层成像***框架示意图;
图4适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种基于K近邻局部连接网络的光学断层成像方法,如图1所示,包括以下步骤:
获取目标物内部光源在所述目标物表面形成的荧光图像;
将所述荧光图像配准到第一网格数据中,得到输入图像;所述第一网格数据为所述目标物的解剖结构数据离散化形成的网格数据;
基于所述所输入图像,利用训练好的K近邻局部连接网络,重建所述内部光源在所述目标物内的三维分布;
其中,所述K近邻局部连接网络的训练方法包括:
步骤S100,获取所述目标物的解剖结构数据,利用蒙特卡洛仿真构建激发内部光源的训练样本集,作为第一样本;
步骤S200,基于所述第一样本,组合出多光源样本和不规则的大光源样本,扩充到第一样本作为第二样本;
步骤S300,基于所述第二样本,使用残差学习和Adam最优化方法迭代训练所述K近邻局部连接网络;所述K近邻局部连接网络由全连接子网络和局部连接子网络级联构成,输入是所述目标物表面顶点的荧光强度,输出是所述目标物内部可行域顶点的荧光强度。
本发明为基于数据驱动的神经网络方法,直接学习光子在生物体内部的逆向传播过程,实现了准确而快速的激发荧光断层成像。
为了更清晰地对本发明基于K近邻局部连接网络的光学断层成像方法进行说明,下面结合附图对本方发明方法一种实施例中各步骤进行展开详述。
本发明一种实施例的基于K近邻局部连接网络的光学断层成像方法的描述中,为了更清晰描述技术方案,分两部分进行说明:K近邻局部连接网络的训练、目标物光源三维成像。针对同一个或同一类目标物,可以采用训练好的K近邻局部连接网络,分别进行目标物内部光源的三维成像重建,以下实施例中按次序描述,仅为了说明技术方案,不能理解为每一次的三维成像重建均需经过K近邻局部连接网络的训练步骤。
1、K近邻局部连接网络的训练
步骤S100,获取所述目标物的解剖结构数据,利用蒙特卡洛仿真构建激发内部光源的训练样本集,作为第一样本。
该步骤可以进一步拆分为以下步骤:
步骤S110,所述目标物的解剖结构数据离散化,形成网格数据;
步骤S120,将步骤S110得到的网格数据,输入到蒙特卡洛仿真软件中,同时输入所述目标物各个部位的光学参数;
步骤S130,基于蒙特卡洛仿真软件,模拟在所述目标物内部不同光源设置状态下所述目标物的表面荧光分布;
步骤S140,基于步骤S130,获取所述目标物内部光源分布及对应的表面荧光分布作为训练样本,构建第一样本。
本实施例中所述解剖结构数据解剖结构数据通过电子计算机断层扫描(ComputedTomography,CT)或磁共振成像(Magnetic Resonance Imaging,MRI)获取。
本实施例中,步骤S120中输入所述目标物各个部位的光学参数,在目标物为生物体或生物体的一部分时,目标物各个部位为所包含的各个器官。
步骤S200,基于所述第一样本,组合出多光源样本和不规则的大光源样本,扩充到第一样本作为第二样本。
步骤S210,构建多光源样本,扩充到第一样本。
多光源样本的获取方法为:从所述第一样本中选取多个训练样本,将其对应的内部光源和表面荧光分别叠加至其中一个训练样本,得到一个多光源样本。计算公式为
计算方法为:
其中,Xmul、Φmul分别为组合后多光源样本的内部光源信息和表面光斑信息。i为样本的编号,Sn为随机选出的n个样本的集合,Xi、Φi分别为从所述第一样本中选取多个训练样本中第i个样本的内部光源信息和表面光斑信息。
一个实施例中,可以从第一样本中随机选择n(n=2,3,4)个训练样本来构建多光源样本。当然还可以选择其他数量的训练样本来构建。
步骤S220,构建不规则的大光源样本,扩充到第一样本。
不规则的大光源样本,其获取方法为:对所述第一样本中第t个训练样本,利用K近邻的方法选取出与之距离最近的K个训练样本,将这K个训练样本的内部光源和表面荧光分别叠加至第t个训练样本(即K+1个训练样本叠加在一起),得到一个不规则的大光源样本。计算方法为:
其中,Xbig、Φbig分别为组合后的不规则的大光源的内部光源信息和表面光斑信息,Xt、Φt分别为第t个训练样本的内部光源信息和表面光斑信息,SK为利用K近邻的方法选出的K个样本集合,Xi、Φi分别为第i个训练样本的内部光源信息和表面光斑信息。
构建不规则的大光源样本的步骤,具体包括以下内容:
步骤S221:对于第一样本中的每个训练样本t,计算其实际光源中心与其他样本的实际光源中心之间的距离,计算公式如下:
Dti=‖Ct-Ci‖2
其中,Dti代表样本t与样本i的实际光源距离,Ct和Ci分别表示样本t与样本i的三维坐标信息。
步骤S222:对于第一样本中每个训练样本t,基于步骤S221计算的距离信息,选取K个与之距离最近的样本。
步骤S223:对于第一样本中每个训练样本t,将其与步骤S222选出的K个样本的真实光源和表面荧光信息分别对应相加,从而得到不规则的大光源样本。
步骤S300,基于所述第二样本,使用残差学习和Adam最优化方法迭代训练所述K近邻局部连接网络。
(1)K近邻局部连接网络结构
本实施例的K近邻局部连接网络,如图2所示,由全连接子网络和局部连接子网络级联构成,输入是所述目标物表面顶点的荧光强度,输出是所述目标物内部可行域顶点的荧光强度。
参看图2,全连接子网络的层数为4,该子网络的输入为所述K近邻局部连接网络的输入,隐含层的节点数为所述目标物内部可行域的顶点数目。为了减轻网络过拟合的问题,采用Dropout函数以设定百分比的概率随机丢弃隐含层的神经元。本实施例中此处的设定百分比为20%。
继续参看图2,局部连接子网络的层数为3,该子网络的输入为全连接子网络的输出,隐含层的节点数目为所述目标物内部可行域的顶点数目,隐含层的每个神经元与所述目标物内部可行域的顶点一一对应。
局部连接子网络的局部连接依据以下公式进行:
N=(ni,j)N×N
其中,N代表所述目标物内部可行域点的邻接矩阵,矩阵的行代表的是隐含层的输出节点i,矩阵的列代表隐含层的输入节点j;Sout表示的是隐含层的输出节点集合,Sin表示的是隐含层的输入节点集合,Sknn(i)表示的是节点i的K个近邻节点集合,其中存放的是K个与顶点i距离最近的K个顶点的标签;
如果隐含层的输入节点j属于隐含层输出节点i的K近邻节点集合Sknn(i),则这两个节点是连接的,反之,如果隐含层的输入节点j不属于输出层节点i的K近邻节点集合Sknn(i),则这两个节点是不相连的。
(2)K近邻局部连接网络训练
本实施中,K近邻局部连接网络训练的激励函数为Relu函数,该函数为正值修正响应单元,用于修正结果中小于0的元素X,公式如下:
K近邻局部连接网络训练的优化函数为Adam最优化方法,网络训练的损失函数为均方差函数,公式如下:
其中,Xout为网络的输出,Xtrue为内部光源信息。
采取残差学习的策略训练所述局部连接子网络,其对应的优化函数如下:
其中,Xf_out表示的是全连接子网络的输出,Xtrue为内部光源信息。
2、目标物光源三维成像
本实施例中,对目标物内部光源的三维重建的方法包括:
获取目标物内部光源在所述目标物表面形成的荧光图像;
将所述荧光图像配准到第一网格数据中,得到输入图像;所述第一网格数据为所述目标物的解剖结构数据离散化形成的网格数据;
基于所述所输入图像,利用训练好的K近邻局部连接网络,重建所述内部光源在所述目标物内的三维分布。
在一些实施中,“所述获取目标物内部光源在所述目标物表面形成的荧光图像”,其方法为:通过激发内部光源在所述目标物表面形成光斑,并获取此时的所述目标物表面图像作为目标物内部光源在所述目标物表面的荧光图像;其中,所述内部光源为注射入所述目标物内部的荧光剂。
例如,对一种生物病灶模型的实施例中,其内部光源的三维重建方法包括:
步骤A100:建立生物病灶模型;
步骤A200:将荧光探针注射到步骤A100建立的生物病灶模型中;
步骤A300:采集荧光图像和解剖结构数据(电子计算机断层扫描(ComputedTomography,CT)或者磁共振成像(Magnetic Resonance Imaging,MRI)),将荧光图像配准到步骤S110生成的网格数据中;
步骤B400:利用步骤S300训练好的K近邻局部连接网络重建荧光探针在生物体内的三维分布。
本公开提供一种基于K近邻局部连接网络的光学断层成像方法,是一种基于数据驱动的激发荧光断层重建策略,该策略不依赖于光子传输模型的构建,不需要逆向求解病态的逆向问题。该策略基于统计学习的机器学习理论,通过构建表面光斑和真实光源之间的关系来直接学习光子在生物体内传输的逆过程。由于蒙特卡洛仿真被认为是最接近真实光子传播过程的仿真方法,因此,依靠蒙特卡洛仿真构建大量训练样本,并使用样本组合的方法扩充训练样本集,从而支撑K近邻局部连接网络的训练,提高K近邻局部连接网络的重建能力。
本发明第二实施例的一种基于K近邻局部连接网络的目标物光源三维成像***,如图3所示,包括第一模块、第二模块、第三模块;
所述第一模块,配置为获取目标物内部光源在所述目标物表面的荧光图像;
所述第二模块,配置为将所述荧光图像配准到第一网格数据中,得到输入图像;所述第一网格数据为所述目标物的解剖结构数据离散化形成的网格数据;
所述第三模块,配置为基于所述所输入图像,利用训练好的K近邻局部连接网络,重建所述内部光源在所述目标物内的三维分布;
其中,所述K近邻局部连接网络,通过训练***获取,所述训练***包括第四模块、第五模块、第六模块
所述第四模块,配置为获取所述目标物的解剖结构数据,利用蒙特卡洛仿真构建激发内部光源的训练样本集,作为第一样本;
所述第五模块,配置为基于所述第一样本,组合出多光源样本和不规则的大光源样本,扩充到第一样本作为第二样本;
所述第六模块,配置为基于所述第二样本,使用残差学习和Adam最优化方法迭代训练所述K近邻局部连接网络;所述K近邻局部连接网络由全连接子网络和局部连接子网络级联构成,输入是所述目标物表面顶点的荧光强度,输出是所述目标物内部可行域顶点的荧光强度。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的基于K近邻局部连接网络的目标物光源三维成像***,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于K近邻局部连接网络的光学断层成像方法。
本发明第四实施例的一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于K近邻局部连接网络的光学断层成像方法。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明基于激发荧光断层成像问题提出,但不能理解为本发明技术方案仅限于激发荧光断层成像技术,还可以应用于其他方式的目标物内部光源的三维重建,所述目标物可以为生物体,也可以为具有透光性能的非生物体。
下面参考图4,其示出了适于用来实现本申请方法、***、装置实施例的服务器的计算机***的结构示意图。图4示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示,计算机***包括中央处理单元(CPU,Central Processing Unit)401,其可以根据存储在只读存储器(ROM,Read Only Memory)402中的程序或者从存储部分408加载到随机访问存储器(RAM,Random Access Memory)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有***操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O,Input/Output)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(CRT,Cathode Ray Tube)、液晶显示器(LCD,Liquid Crystal Display)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN(局域网,Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (12)
1.一种基于K近邻局部连接网络的光学断层成像方法,其特征在于,所述成像方法包括以下步骤:
获取目标物内部光源在所述目标物表面形成的荧光图像;
将所述荧光图像配准到第一网格数据中,得到输入图像;所述第一网格数据为所述目标物的解剖结构数据离散化形成的网格数据;
基于所述输入图像,利用训练好的K近邻局部连接网络,重建所述内部光源在所述目标物内的三维分布;
所述K近邻局部连接网络中,局部连接子网络的层数为3,该子网络的输入为全连接子网络的输出,隐含层的节点数目为所述目标物内部可行域的顶点数目,隐含层的每个神经元与所述目标物内部可行域的顶点一一对应;
所述局部连接子网络的局部连接依据以下公式进行:
N=(ni,j)M×M
其中,N代表所述目标物内部可行域点的邻接矩阵,矩阵的行代表的是隐含层的输出节点i,矩阵的列代表隐含层的输入节点j;Sout表示的是隐含层的输出节点集合,Sin表示的是隐含层的输入节点集合,Sknn(i)表示的是节点i的K个近邻节点集合,其中存放的是K个与顶点i距离最近的K个顶点的标签;
如果隐含层的输入节点j属于隐含层输出节点i的K近邻节点集合Sknn(i),则这两个节点是连接的,反之,如果隐含层的输入节点j不属于输出层节点i的K近邻节点集合Sknn(i),则这两个节点是不相连的;
其中,所述K近邻局部连接网络的训练方法包括:
步骤S100,获取所述目标物的解剖结构数据,利用蒙特卡洛仿真构建激发内部光源的训练样本集,作为第一样本;
步骤S200,基于所述第一样本,组合出多光源样本和不规则的大光源样本,扩充到第一样本作为第二样本;
步骤S300,基于所述第二样本,使用残差学习和Adam最优化方法迭代训练所述K近邻局部连接网络;所述K近邻局部连接网络由全连接子网络和局部连接子网络级联构成,输入是所述目标物表面顶点的荧光强度,输出是所述目标物内部可行域顶点的荧光强度。
2.根据权利要求1所述的基于K近邻局部连接网络的光学断层成像方法,其特征在于,步骤S100中“利用蒙特卡洛仿真构建激发内部光源的训练样本集”,其方法为:
步骤S110,所述目标物的解剖结构数据离散化,形成网格数据;
步骤S120,将步骤S110得到的网格数据,输入到蒙特卡洛仿真软件中,同时输入所述目标物各个部位的光学参数;
步骤S130,基于蒙特卡洛仿真软件,模拟在所述目标物内部不同光源设置状态下所述目标物的表面荧光分布;
步骤S140,基于步骤S130,获取所述目标物内部光源分布及对应的表面荧光分布作为训练样本,构建第一样本。
5.根据权利要求1所述的基于K近邻局部连接网络的光学断层成像方法,其特征在于,所述K近邻局部连接网络中,全连接子网络的层数为4,该子网络的输入为所述K近邻局部连接网络的输入,隐含层的节点数为所述目标物内部可行域的顶点数目;
所述全连接子网络中采用Dropout函数以设定百分比的概率随机丢弃隐含层的神经元。
9.根据权利要求1-5任一项所述的基于K近邻局部连接网络的光学断层成像方法,其特征在于,“所述获取目标物内部光源在所述目标物表面形成的荧光图像”,其方法为,通过激发内部光源在所述目标物表面形成光斑,并获取此时的所述目标物表面图像作为目标物内部光源在所述目标物表面的荧光图像;
其中,所述内部光源为注射入所述目标物内部的荧光剂。
10.一种基于K近邻局部连接网络的光学断层成像***,其特征在于,所述成像***包括第一模块、第二模块、第三模块;
所述第一模块,配置为获取目标物内部光源在所述目标物表面形成的荧光图像;
所述第二模块,配置为将所述荧光图像配准到第一网格数据中,得到输入图像;所述第一网格数据为所述目标物的解剖结构数据离散化形成的网格数据;
所述第三模块,配置为基于所述输入图像,利用训练好的K近邻局部连接网络,重建所述内部光源在所述目标物内的三维分布;
所述K近邻局部连接网络中,局部连接子网络的层数为3,该子网络的输入为全连接子网络的输出,隐含层的节点数目为所述目标物内部可行域的顶点数目,隐含层的每个神经元与所述目标物内部可行域的顶点一一对应;
所述局部连接子网络的局部连接依据以下公式进行:
N=(ni,j)M×M
其中,N代表所述目标物内部可行域点的邻接矩阵,矩阵的行代表的是隐含层的输出节点i,矩阵的列代表隐含层的输入节点j;Sout表示的是隐含层的输出节点集合,Sin表示的是隐含层的输入节点集合,Sknn(i)表示的是节点i的K个近邻节点集合,其中存放的是K个与顶点i距离最近的K个顶点的标签;
如果隐含层的输入节点j属于隐含层输出节点i的K近邻节点集合Sknn(i),则这两个节点是连接的,反之,如果隐含层的输入节点j不属于输出层节点i的K近邻节点集合Sknn(i),则这两个节点是不相连的;
其中,所述K近邻局部连接网络,通过训练***获取,所述训练***包括第四模块、第五模块、第六模块
所述第四模块,配置为获取所述目标物的解剖结构数据,利用蒙特卡洛仿真构建激发内部光源的训练样本集,作为第一样本;
所述第五模块,配置为基于所述第一样本,组合出多光源样本和不规则的大光源样本,扩充到第一样本作为第二样本;
所述第六模块,配置为基于所述第二样本,使用残差学习和Adam最优化方法迭代训练所述K近邻局部连接网络;所述K近邻局部连接网络由全连接子网络和局部连接子网络级联构成,输入是所述目标物表面顶点的荧光强度,输出是所述目标物内部可行域顶点的荧光强度。
11.一种存储装置,其中存储有多条程序,其特征在于,所述程序适于由处理器加载并执行以实现权利要求1-9任一项所述的基于K近邻局部连接网络的光学断层成像方法。
12.一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;其特征在于,所述程序适于由处理器加载并执行以实现权利要求1-9任一项所述的基于K近邻局部连接网络的光学断层成像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911259864.4A CN110974166B (zh) | 2019-12-10 | 2019-12-10 | 基于k近邻局部连接网络的光学断层成像方法、*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911259864.4A CN110974166B (zh) | 2019-12-10 | 2019-12-10 | 基于k近邻局部连接网络的光学断层成像方法、*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110974166A CN110974166A (zh) | 2020-04-10 |
CN110974166B true CN110974166B (zh) | 2021-03-12 |
Family
ID=70091930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911259864.4A Active CN110974166B (zh) | 2019-12-10 | 2019-12-10 | 基于k近邻局部连接网络的光学断层成像方法、*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110974166B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112612260A (zh) * | 2020-12-18 | 2021-04-06 | 安阳师范学院 | 一种基于动态估计的深度自编码网络过程监控方法 |
CN113238375B (zh) * | 2021-04-20 | 2022-04-08 | 北京理工大学 | 一种基于深度学习的自由曲面成像***初始结构生成方法 |
CN113409466B (zh) * | 2021-07-06 | 2023-08-25 | 中国科学院自动化研究所 | 基于gcn残差连接网络的激发荧光断层成像方法 |
CN115868923A (zh) * | 2022-04-21 | 2023-03-31 | 华中科技大学 | 基于展开式循环神经网络的荧光分子断层成像方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011003996A1 (en) * | 2009-07-09 | 2011-01-13 | F. Hoffmann-La Roche Ag | In vivo tumor vasculature imaging |
CN103645170A (zh) * | 2013-12-03 | 2014-03-19 | 北京航空航天大学 | 一种利用拉曼光谱检测肿瘤性质的装置 |
CN107330883A (zh) * | 2017-07-04 | 2017-11-07 | 南京信息工程大学 | 一种医学图像病变区域定位和分类方法 |
CN108095686A (zh) * | 2017-11-06 | 2018-06-01 | 西北大学 | 一种荧光分子断层成像目标可行域选取方法 |
CN109166103A (zh) * | 2018-07-27 | 2019-01-08 | 中国科学院自动化研究所 | 基于多层感知网络的激发荧光断层成像方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108451508B (zh) * | 2018-04-28 | 2020-05-05 | 中国科学院自动化研究所 | 基于多层感知机的生物自发荧光三维成像方法 |
-
2019
- 2019-12-10 CN CN201911259864.4A patent/CN110974166B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011003996A1 (en) * | 2009-07-09 | 2011-01-13 | F. Hoffmann-La Roche Ag | In vivo tumor vasculature imaging |
CN103645170A (zh) * | 2013-12-03 | 2014-03-19 | 北京航空航天大学 | 一种利用拉曼光谱检测肿瘤性质的装置 |
CN107330883A (zh) * | 2017-07-04 | 2017-11-07 | 南京信息工程大学 | 一种医学图像病变区域定位和分类方法 |
CN108095686A (zh) * | 2017-11-06 | 2018-06-01 | 西北大学 | 一种荧光分子断层成像目标可行域选取方法 |
CN109166103A (zh) * | 2018-07-27 | 2019-01-08 | 中国科学院自动化研究所 | 基于多层感知网络的激发荧光断层成像方法 |
Non-Patent Citations (1)
Title |
---|
Improved Block Sparse Bayesian Learning Method Using K-Nearest Neighbor Strategy for Accurate Tumor Morphology Reconstruction in Bioluminescence Tomography;Lin Yin等;《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》;20191115;第67卷(第7期);第2023-2032页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110974166A (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110974166B (zh) | 基于k近邻局部连接网络的光学断层成像方法、*** | |
Wang et al. | Deep learning for tomographic image reconstruction | |
Kong et al. | Classical testing in functional linear models | |
CN109191564B (zh) | 基于深度学习的激发荧光断层成像三维重建方法 | |
CN113409466B (zh) | 基于gcn残差连接网络的激发荧光断层成像方法 | |
US20110022369A1 (en) | Modeling States of an Entity | |
Gillmann et al. | Uncertainty‐aware Visualization in Medical Imaging‐A Survey | |
Manninen et al. | Leukemia prediction using sparse logistic regression | |
Barbano et al. | Uncertainty quantification in medical image synthesis | |
CN107713995B (zh) | 一种基于惩罚算法的生物发光断层成像光源重建方法 | |
Ezhov et al. | Learn-Morph-Infer: a new way of solving the inverse problem for brain tumor modeling | |
Vaiyapuri et al. | Design of Metaheuristic Optimization‐Based Vascular Segmentation Techniques for Photoacoustic Images | |
Orellana Figueroa et al. | A proof of concept for machine learning-based virtual knapping using neural networks | |
Barrett | Is there a role for image science in the brave new world of artificial intelligence? | |
Huo et al. | Brain lesion synthesis via progressive adversarial variational auto-encoder | |
Tiago et al. | A domain translation framework with an adversarial denoising diffusion model to generate synthetic datasets of echocardiography images | |
Hossain et al. | A systematic review and identification of the challenges of deep learning techniques for undersampled magnetic resonance image reconstruction | |
Røvang et al. | Segmenting white matter hyperintensities on isotropic three-dimensional Fluid Attenuated Inversion Recovery magnetic resonance images: Assessing deep learning tools on a Norwegian imaging database | |
Chintaluri et al. | kCSD-python, a tool for reliable current source density estimation | |
Winkler et al. | Global sensitivity analysis and uncertainty quantification for simulated atrial electrocardiograms | |
Pnevmatikakis et al. | Fast spatiotemporal smoothing of calcium measurements in dendritic trees | |
Li et al. | [Retracted] Design of an Incremental Music Teaching and Assisted Therapy System Based on Artificial Intelligence Attention Mechanism | |
Kadah et al. | Parallel computation in medical imaging applications | |
Coveney et al. | Calibrating cardiac electrophysiology models using latent Gaussian processes on atrial manifolds | |
Ho et al. | Inter-individual deep image reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |