CN115880440B - 一种基于生成对抗网络的磁粒子三维重建成像方法 - Google Patents
一种基于生成对抗网络的磁粒子三维重建成像方法 Download PDFInfo
- Publication number
- CN115880440B CN115880440B CN202310047876.0A CN202310047876A CN115880440B CN 115880440 B CN115880440 B CN 115880440B CN 202310047876 A CN202310047876 A CN 202310047876A CN 115880440 B CN115880440 B CN 115880440B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- mpi
- images
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 53
- 239000006249 magnetic particle Substances 0.000 title claims abstract description 39
- 238000009792 diffusion process Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 123
- 230000004913 activation Effects 0.000 claims description 71
- 230000007246 mechanism Effects 0.000 claims description 46
- 239000002245 particle Substances 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 210000002569 neuron Anatomy 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 238000002059 diagnostic imaging Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于医学成像技术领域，具体涉及一种基于生成对抗网络的磁粒子三维重建成像方法、***、装置，旨在解决现有MPI高分辨率图像重建时间长、成像分辨率低的问题。本方法包括：采集待成像重建物体的仿体的多视角的稀疏二维MPI图像，并进行下采样，得到下采样后的稀疏二维MPI图像；将下采样后的稀疏二维MPI图像输入训练好的邻域点平均扩散搜索自注意力生成对抗网络的生成模型中，得到密集二维MPI图像；通过滤波反投影重建算法对各密集二维MPI图像进行重建，最终得到待成像重建物体的三维MPI图像；本发明加快了MPI图像重建速度，提高了成像分辨率，使磁粒子成像设备在医学领域有更大的应用前景。
Description
技术领域
本发明属于医学成像技术领域，具体涉及一种基于生成对抗网络的磁粒子三维重建成像方法、***、装置。
背景技术
磁粒子成像是目前新型的一种成像技术，其具有无辐射、灵敏度高等成像优点。目前磁粒子成像设备在临床研究中展现出广阔的应用前景，包括病灶早期检查和药物靶向治疗等前沿方向。在目前已有的磁粒子成像设备中，如何快速实现对物体的扫描以及高分辨率的三维图像重建是当前具有挑战性的难题。目前，部分设备通过将设备线圈旋转的方式实现对物体进行断层扫描，通过对被成像线圈的物理旋转来扫描物体不同角度的二维图像，然后对扫描后的图像进行滤波反投影重建。但该成像技术需进行线圈旋转移动，转速过快会降低设备使用寿命。其次，如果想提高扫描的时间分辨率，则需要多次扫描，其过程费时费力。因此，如何在兼顾硬件设备搭建成本的情况下，提高成像的重建速度和成像分辨率是当前亟需面对的难题。基于此，本发明提出了一种基于生成对抗网络的磁粒子三维重建成像方法。
发明内容
为了解决现有技术中的上述问题，即为了解决现有MPI三维高分辨率图像重建时间长、成像分辨率低的问题，本发明提供了一种基于生成对抗网络的磁粒子三维重建成像方法，该方法包括以下步骤：
步骤S100，采集待成像重建物体的仿体的多视角的稀疏二维MPI图像，并进行下采样，得到下采样后的稀疏二维MPI图像；所述多视角的稀疏二维MPI图像为依次按照设定角度旋转采集的多张MPI投影图像；
步骤S200，将下采样后的稀疏二维MPI图像输入训练好的邻域点平均扩散搜索自注意力生成对抗网络的生成模型中，得到密集二维MPI图像；
步骤S300，通过滤波反投影重建算法对各密集二维MPI图像进行重建，最终得到待成像重建物体的三维MPI图像；
所述邻域点平均扩散搜索自注意力生成对抗网络包括生成模型、判别模型；
所述生成模型包括五个扩散搜索注意力机制卷积模块；所述扩散搜索注意力机制卷积模块基于依次连接的邻域点平均扩散卷积子网络、自注意力融合网络和激活函数层构建；前四个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为Leaky ReLU，第五个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为双曲正切函数；
所述邻域点平均扩散卷积子网络，配置为通过编码函数对下采样后的稀疏二维MPI图像进行顺序编码，得到顺序编码图像；对各顺序编码图像进行区域卷积运算，获取各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息；
所述自注意力融合网络，配置为将各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息与对应的权重矩阵相乘进行线性变换，并通过多头注意力机制进行融合，融合后进行上采样，得到密集二维MPI图像；
所述判别模型包括五个卷积神经网络模块；所述卷积神经网络模块基于依次连接的卷积层、正则化层和激活函数层构建；前四个卷积神经网络模块的激活函数层采用的激活函数为Leaky ReLU，第五个卷积神经网络模块的激活函数层采用的激活函数为softmax。
在一些优选的实施方式中，所述邻域点平均扩散搜索自注意力生成对抗网络的训练过程为：
步骤A100，通过MPI成像设备采集待成像重建物体的仿体的多视角的稀疏二维MPI图像，并进行下采样，得到下采样后的稀疏二维MPI图像；基于所述下采样后的稀疏二维MPI图像及其对应的真值标签，得到训练数据集；
步骤A200，将下采样后的稀疏二维MPI图像输入预构建的邻域点平均扩散搜索自注意力生成对抗网络的生成模型中，得到密集二维MPI图像；
步骤A300，将所述密集二维MPI图像及其对应的真值标签输入所述邻域点平均扩散搜索自注意力生成对抗网络的判别模型，获取密集二维MPI图像的判别结果；
步骤A400，基于所述判别结果，结合各密集二维MPI图像、各稀疏二维MPI图像及其对应的真值标签，通过预构建的损失函数，计算总损失值，并更新所述邻域点平均扩散搜索自注意力生成对抗网络的生成模型、判别模型的网络参数；
步骤A500，循环对所述邻域点平均扩散搜索自注意力生成对抗网络的生成器网络、判别器网络进行训练，直至得到训练好的邻域点平均扩散搜索自注意力生成对抗网络。
在一些优选的实施方式中，设生成角度的数目为，在角度为时，第张稀疏二维MPI图像的编码函数为：
。
在一些优选的实施方式中，对所述顺序编码图像进行区域卷积运算，其方法为：对所述顺序编码图像中的像素点的浓度值进行处理，处理后采用3×3卷积核进行运算；
对所述顺序编码图像中的像素点的浓度值进行处理的方法为：
其中，表示所述顺序编码图像中第行第列的像素点，表示点邻域内所有值的平均值，表示点邻域内所有值的最小值，表示点邻域内所有值的最大值，表示点邻域内的变量值，由横向、纵向以及对角线相邻的点组成。
在一些优选的实施方式中，将各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息与对应的权重矩阵相乘进行线性变换，其方法为：
；
；
其中，表示自注意力机制，向量表示粒子浓度信息，；向量表示角度信息，；向量表示图像间的关联度信息，，表示将矩阵变形为一维列向量，向量表示输入邻域点平均扩散卷积子网络的顺序编码图像；、、分别表示与顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息对应的权重矩阵，表示各顺序编码图像在所有输出层中的神经元从1到N的输出结果之和，表示各顺序编码图像经过第个神经元的输出值，表示各顺序编码图像经过第个神经元的输出值，表示各顺序编码图像经过第个神经元的输出值占总输出值的比重。
在一些优选的实施方式中，通过多头注意力机制对各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息进行融合，其方法为：
其中，是拼接函数，表示第个注意力机制子模块的输出，表示多头注意力机制输出的总权重矩阵，表示顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息融合后的信息。
在一些优选的实施方式中，通过预构建的损失函数，计算总损失值，其方法为：
其中，为总损失函数，表示像素损失函数与对抗损失函数，表示角度顺序排序优化函数，表示像素信息误差，表示生成模型的损失，表示稀疏二维MPI图像，表示生成的第张密集二维MPI图像，表示生成的第张密集二维MPI图像，表示第张稀疏二维MPI图像对应的真值标签，表示像素损失的系数，表示对抗损失的系数，表示由判别网络判别是否为真的概率，表示生成模型的输出，表示角度差值函数，为双曲正切函数，表示在对应输入下角度的预测值，，表示任意两张密集二维MPI图像角度判断函数， 和分别表示第张生成的密集二维MPI图像对应的角度标签，表示对于不同仿体包含信息的丰富度设定的参数。
本发明的第二方面，提出了一种基于生成对抗网络的磁粒子三维重建成像***，该***包括：图像采集模块100、图像重建模块200、三维重建模块300；
所述图像采集模块100，配置为采集待成像重建物体的仿体的多视角的稀疏二维MPI图像，并进行下采样，得到下采样后的稀疏二维MPI图像；所述多视角的稀疏二维MPI图像为依次按照设定角度旋转采集的多张MPI投影图像；
所述图像重建模块200，配置为将下采样后的稀疏二维MPI图像输入训练好的邻域点平均扩散搜索自注意力生成对抗网络的生成模型中，得到密集二维MPI图像；
所述三维重建模块300，配置为通过滤波反投影重建算法对各密集二维MPI图像进行重建，最终得到待成像重建物体的三维MPI图像；
所述邻域点平均扩散搜索自注意力生成对抗网络包括生成模型、判别模型；
所述生成模型包括五个扩散搜索注意力机制卷积模块；所述扩散搜索注意力机制卷积模块基于依次连接的邻域点平均扩散卷积子网络、自注意力融合网络和激活函数层构建；前四个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为Leaky ReLU，第五个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为双曲正切函数；
所述邻域点平均扩散卷积子网络，配置为通过编码函数对下采样后的稀疏二维MPI图像进行顺序编码，得到顺序编码图像；对各顺序编码图像进行区域卷积运算，获取各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息；
所述自注意力融合网络，配置为将各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息与对应的权重矩阵相乘进行线性变换，并通过多头注意力机制进行融合，融合后进行上采样，得到密集二维MPI图像；
所述判别模型包括五个卷积神经网络模块；所述卷积神经网络模块基于依次连接的卷积层、正则化层和激活函数层构建；前四个卷积神经网络模块的激活函数层采用的激活函数为Leaky ReLU，第五个卷积神经网络模块的激活函数层采用的激活函数为softmax。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行以实现上述的一种基于生成对抗网络的磁粒子三维重建成像方法。
本发明的第四方面，提出了一种处理设置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的一种基于生成对抗网络的磁粒子三维重建成像方法。
本发明的有益效果：
本发明提高了MPI成像的重建速度和成像分辨率；
本发明将邻域点平均扩散搜索自注意力机制融入生成对抗网络，利用角度顺序排序优化函数进行优化，加快了MPI图像重建速度，提高了MPI图像重建质量，弥补了当下设备存在的硬件缺陷，使磁粒子成像设备在医学领域有更大的应用前景。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的基于生成对抗网络的磁粒子三维重建成像方法的流程示意图；
图2是本发明一种实施例的基于生成对抗网络的磁粒子三维重建成像方法的训练流程示意图；
图3是本发明一种实施例的注意力机制的网络模块示意图；
图4是本发明一种实施例的基于生成对抗网络的磁粒子三维重建成像方法的网络结构示意图；
图5是本发明一种实施例的基于生成对抗网络的磁粒子三维重建成像***的框架示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供了一种基于生成对抗网络的磁粒子三维重建成像方法，如图1所示，该方法包括以下步骤：
步骤S100，采集待成像重建物体的仿体的多视角的稀疏二维MPI图像，并进行下采样，得到下采样后的稀疏二维MPI图像；所述多视角的稀疏二维MPI图像为依次按照设定角度旋转采集的多张MPI投影图像；
步骤S200，将下采样后的稀疏二维MPI图像输入训练好的邻域点平均扩散搜索自注意力生成对抗网络的生成模型中，得到密集二维MPI图像；
步骤S300，通过滤波反投影重建算法对各密集二维MPI图像进行重建，最终得到待成像重建物体的三维MPI图像；
所述邻域点平均扩散搜索自注意力生成对抗网络包括生成模型、判别模型；
所述生成模型包括五个扩散搜索注意力机制卷积模块；所述扩散搜索注意力机制卷积模块基于依次连接的邻域点平均扩散卷积子网络、自注意力融合网络和激活函数层构建；前四个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为Leaky ReLU，第五个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为双曲正切函数；
所述邻域点平均扩散卷积子网络，配置为通过编码函数对下采样后的稀疏二维MPI图像进行顺序编码，得到顺序编码图像；对各顺序编码图像进行区域卷积运算，获取各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息；
所述自注意力融合网络，配置为将各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息与对应的权重矩阵相乘进行线性变换，并通过多头注意力机制进行融合，融合后进行上采样，得到密集二维MPI图像；
所述判别模型包括五个卷积神经网络模块；所述卷积神经网络模块基于依次连接的卷积层、正则化层和激活函数层构建；前四个卷积神经网络模块的激活函数层采用的激活函数为Leaky ReLU，第五个卷积神经网络模块的激活函数层采用的激活函数为softmax。
为了更清晰地对本发明一种基于生成对抗网络的磁粒子三维重建成像方法进行说明，下面结合附图对本发明方法实施例中各步骤展开详述。
在已有的商业设备实现磁粒子(Magnetic particle Imaging, MPI)成像过程中，为了对物体内部粒子的分布进行成像，需对物体进行扫描，但目前基于线圈转动的物理扫描方式重建图像的时间较长，进行多角度断层扫描受到线圈转速的限制，大大增加设备的硬件成本和缩短设备的使用寿命。为了有效降低重建时间，节省硬件成本，本发明设计了一种基于生成判别模型的多角度三维磁粒子成像(Multi-view Three DimensionalMagnetic Particle Imaging, MV-3D-MPI)方法及***。本发明提出了一种邻域点平均扩散搜索自注意力生成对抗网络模型，旨在实现MPI高分辨率图像的快速重建以及提高成像分辨率。
在下述实施例中，先对邻域点平均扩散搜索自注意力生成对抗网络的训练过程进行说明，再对邻域点平均扩散搜索自注意力生成对抗网络的测试过程进行详述。
1、邻域点平均扩散搜索自注意力生成对抗网络的训练过程，具体步骤如下：
步骤A100，通过MPI成像设备采集待成像重建物体的仿体的多视角的稀疏二维MPI图像，并进行下采样，得到下采样后的稀疏二维MPI图像；基于所述下采样后的稀疏二维MPI图像及其对应的真值标签，得到训练数据集；
在本实施例中，通过自有MPI设备采集多视角密集的MPI投影图像，将15000例图像作为训练集；针对一个仿体，优选每隔5°采集一张图像（在其他实施例中，可以根据实际需求，设定角度间隔采集图像），共计采集36个角度的投影MPI图像；通过任意常规的下采样方法将其像素大小变为12×12，将下采样后的图像作为网络的输入对象。
步骤A200，将下采样后的稀疏二维MPI图像输入预构建的邻域点平均扩散搜索自注意力生成对抗网络的生成模型中，得到密集二维MPI图像；
在本实施例中，所述邻域点平均扩散搜索自注意力生成对抗网络包括生成模型、判别模型；
所述生成模型包括五个扩散搜索注意力机制卷积模块；所述扩散搜索注意力机制卷积模块基于依次连接的邻域点平均扩散卷积子网络、自注意力融合网络和激活函数层构建；前四个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为Leaky ReLU，第五个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为双曲正切函数；
所述邻域点平均扩散卷积子网络，配置为通过编码函数对下采样后的稀疏二维MPI图像进行顺序编码，得到顺序编码图像；对各顺序编码图像进行区域卷积运算，获取各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息；
所述自注意力融合网络，配置为将各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息与对应的权重矩阵相乘进行线性变换，并通过多头注意力机制进行融合，融合后进行上采样，得到密集二维MPI图像；
在本发明中，由于输入存在角度的顺序关系，为了让模型能学习到相邻角度的关联性和不同角度的全局相关性，网络的输入层采用顺序编码，设定模型的输入包括6个不同角度的图像，在[0°,180°)中每隔30°取一张，在角度为时，对于第张稀疏二维MPI图像的编码函数为：
其中， 表示生成角度的数目，式中的正弦和余弦函数可以保证构建的模型学习到不同图像之间的相对位置关系。
针对MPI图像特点，将邻域点扩散搜索取值主要用于更充分的建模MPI图像某一像素值和其邻域的关系，由于磁场自由区的磁粒子响应会受到旁边粒子的影响，导致部分点处成像的浓度值和其他周边像素点浓度值存在关联。对所述顺序编码图像进行区域卷积运算，其方法为：对所述顺序编码图像中的像素点的浓度值进行处理，处理后优选采用3×3卷积核进行运算；
对所述顺序编码图像中的像素点的浓度值进行处理的方法为：
以点为例进行浓度值处理的方法为：
其中，表示所述顺序编码图像中第行第列的像素点，表示点邻域内所有值的平均值，表示点邻域内所有值的最小值，表示点邻域内所有值的最大值，表示点邻域内的变量值，由横向、纵向以及对角线相邻的点组成。
本发明为了在生成网络模型部分将不同子网络对图像提取的关键信息进行融合，提出自注意力融合网络模块。设每个子网络的输入为预处理后的图像，采用三个子网络对输入进行处理得到不同类型的信息，将得到的三类不同信息分别与对应的权重矩阵相乘进行线性变换，对应的权重矩阵分别为、、，然后通过自注意力融合网络模块对不同类型的信息进行融合，将各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息与对应的权重矩阵相乘进行线性变换，其方法为：
其中，表示自注意力机制，向量表示粒子浓度信息，；向量表示角度信息，；向量表示图像间的关联度信息，，表示将矩阵变形为一维列向量，向量表示输入邻域点平均扩散卷积子网络的顺序编码图像；、、分别表示与顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息对应的权重矩阵，表示各顺序编码图像在所有输出层中的神经元从1到N的输出结果之和，表示各顺序编码图像经过第个神经元的输出值，表示各顺序编码图像经过第个神经元的输出值，表示各顺序编码图像经过第个神经元的输出值占总输出值的比重。
通过多头注意力机制对各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息进行融合，其方法为：
{X}_{O}=Upsample\left [ {MF\left ( {{H}_{i}\left ( {{X}_{1},{X}_{2},{X}_{3}} \right )} \right )} \right ]
其中，是拼接函数，表示第个注意力机制子模块的输出，表示多头注意力机制输出的总权重矩阵，表示顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息融合后的信息，对每个注意力子模块的输出进行拼接后通过与 相乘进行线性变换，最后通过上采样得到生成模型的输出 ， 表示上采样函数。
步骤A300，将所述密集二维MPI图像及其对应的真值标签输入所述邻域点平均扩散搜索自注意力生成对抗网络的判别模型，获取密集二维MPI图像的判别结果；
所述判别模型包括五个卷积神经网络模块；所述卷积神经网络模块基于依次连接的卷积层、正则化层和激活函数层构建；前四个卷积神经网络模块的激活函数层采用的激活函数为Leaky ReLU，第五个卷积神经网络模块的激活函数层采用的激活函数为softmax。
所述卷积层对判别模型的输入数据进行卷积运算，再通过所述正则化层进行正则化，最后输入所述激活函数层进行函数运算。
步骤A400，基于所述判别结果，结合各密集二维MPI图像、各稀疏二维MPI图像及其对应的真值标签，通过预构建的损失函数，计算总损失值，并更新所述邻域点平均扩散搜索自注意力生成对抗网络的生成模型、判别模型的网络参数；
在本实施例中，通过预构建的损失函数，计算总损失值，其方法为：
其中，为总损失函数，表示像素损失函数与对抗损失函数，表示角度顺序排序优化函数，表示像素信息误差，表示生成模型的损失，表示稀疏二维MPI图像，表示生成的第张密集二维MPI图像，表示生成的第张密集二维MPI图像，表示第张稀疏二维MPI图像对应的真值标签，表示像素损失的系数，表示对抗损失的系数，本实施例中 和 优选设置为1，表示由判别网络判别是否为真的概率，表示生成模型的输出，表示角度差值函数，为双曲正切函数，表示在对应输入下角度的预测值，，表示任意两张密集二维MPI图像角度判断函数，如果其判断值为真，则取值为1，否则为0， 和分别表示第张生成的密集二维MPI图像对应的角度标签；表示对于不同仿体包含信息的丰富度设定的参数，在本发明中，若采集的仿体为字母仿体，对于字母仿体优选设置为1，对于较复杂的汉字仿体优选设置为2，对于专门用于评估分辨率的仿体由于细节比较丰富，优选设置为3。在取图像对时以仿体为单位，对每个仿体图像所取的图像对进行监督，惩罚其中错误排序。这三组仿体填充内径优选为0.5mm含10mg /ml Perimag溶液。三组仿体的视场(FOV)分别优选为6 cm×6 cm×6 cm（字母）、6 cm×6 cm×10 cm（螺旋，一个稀疏投影的采集时间为3分钟），6cm×6cm×cm（容器，一个稀疏投影的采集时间为2分钟）。
步骤A500，循环对所述邻域点平均扩散搜索自注意力生成对抗网络的生成器网络、判别器网络进行训练，直至得到训练好的邻域点平均扩散搜索自注意力生成对抗网络；
2、邻域点平均扩散搜索自注意力生成对抗网络的测试过程
步骤S100，采集待成像重建物体的仿体的多视角的稀疏二维MPI图像，并进行下采样，得到下采样后的稀疏二维MPI图像；所述多视角的稀疏二维MPI图像为依次按照设定角度旋转采集的多张MPI投影图像；
在本实施例中，将通过MPI设备采集的200例图像作为测试集。
步骤S200，将下采样后的稀疏二维MPI图像输入训练好的邻域点平均扩散搜索自注意力生成对抗网络的生成模型中，得到密集二维MPI图像；
在本实施例中，基于训练好的邻域点平均扩散搜索自注意力生成对抗网络，优选对稀疏的二维MPI图像进行从[0°,5°,10°,15°,20°,25°, 30°,35°,40°,45°,50°,55°,60°,65°,…,170°,175°]任意角度的生成，生成的密集二维MPI图像的像素大小为48×48。
步骤S300，通过滤波反投影重建算法对各密集二维MPI图像进行重建，最终得到待成像重建物体的三维MPI图像；
本发明第二实施例的一种基于生成对抗网络的磁粒子三维重建成像***，如图4所示，包括：图像采集模块100、图像重建模块200、三维重建模块300；
所述图像采集模块100，配置为采集待成像重建物体的仿体的多视角的稀疏二维MPI图像，并进行下采样，得到下采样后的稀疏二维MPI图像；所述多视角的稀疏二维MPI图像为依次按照设定角度旋转采集的多张MPI投影图像；
所述图像重建模块200，配置为将下采样后的稀疏二维MPI图像输入训练好的邻域点平均扩散搜索自注意力生成对抗网络的生成模型中，得到密集二维MPI图像；
所述三维重建模块300，配置为通过滤波反投影重建算法对各密集二维MPI图像进行重建，最终得到待成像重建物体的三维MPI图像；
所述邻域点平均扩散搜索自注意力生成对抗网络包括生成模型、判别模型；
所述生成模型包括五个扩散搜索注意力机制卷积模块；所述扩散搜索注意力机制卷积模块基于依次连接的邻域点平均扩散卷积子网络、自注意力融合网络和激活函数层构建；前四个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为Leaky ReLU，第五个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为双曲正切函数；
所述邻域点平均扩散卷积子网络，配置为通过编码函数对下采样后的稀疏二维MPI图像进行顺序编码，得到顺序编码图像；对各顺序编码图像进行区域卷积运算，获取各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息；
所述自注意力融合网络，配置为将各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息与对应的权重矩阵相乘进行线性变换，并通过多头注意力机制进行融合，融合后进行上采样，得到密集二维MPI图像；
所述判别模型包括五个卷积神经网络模块；所述卷积神经网络模块基于依次连接的卷积层、正则化层和激活函数层构建；前四个卷积神经网络模块的激活函数层采用的激活函数为LeakyReLU，第五个卷积神经网络模块的激活函数层采用的激活函数为softmax。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的***的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的一种基于生成对抗网络的磁粒子三维重建成像***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的一种基于生成对抗网络的磁粒子三维重建成像方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的一种基于生成对抗网络的磁粒子三维重建成像方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于生成对抗网络的磁粒子三维重建成像方法，其特征在于，该方法包括以下步骤：
步骤S100，采集待成像重建物体的仿体的多视角的稀疏二维MPI图像，并进行下采样，得到下采样后的稀疏二维MPI图像；所述多视角的稀疏二维MPI图像为依次按照设定角度旋转采集的多张MPI投影图像；
步骤S200，将下采样后的稀疏二维MPI图像输入训练好的邻域点平均扩散搜索自注意力生成对抗网络的生成模型中，得到密集二维MPI图像；
步骤S300，通过滤波反投影重建算法对各密集二维MPI图像进行重建，最终得到待成像重建物体的三维MPI图像；
所述邻域点平均扩散搜索自注意力生成对抗网络包括生成模型、判别模型；
所述生成模型包括五个扩散搜索注意力机制卷积模块；所述扩散搜索注意力机制卷积模块基于依次连接的邻域点平均扩散卷积子网络、自注意力融合网络和激活函数层构建；前四个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为Leaky ReLU，第五个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为双曲正切函数；
所述邻域点平均扩散卷积子网络，配置为通过编码函数对下采样后的稀疏二维MPI图像进行顺序编码，得到顺序编码图像；对各顺序编码图像进行区域卷积运算，获取各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息；
所述自注意力融合网络，配置为将各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息与对应的权重矩阵相乘进行线性变换，并通过多头注意力机制进行融合，融合后进行上采样，得到密集二维MPI图像；
所述判别模型包括五个卷积神经网络模块；所述卷积神经网络模块基于依次连接的卷积层、正则化层和激活函数层构建；前四个卷积神经网络模块的激活函数层采用的激活函数为Leaky ReLU，第五个卷积神经网络模块的激活函数层采用的激活函数为softmax。
2.根据权利要求1所述的一种基于生成对抗网络的磁粒子三维重建成像方法，其特征在于，所述邻域点平均扩散搜索自注意力生成对抗网络的训练过程为：
步骤A100，通过MPI成像设备采集待成像重建物体的仿体的多视角的稀疏二维MPI图像，并进行下采样，得到下采样后的稀疏二维MPI图像；基于所述下采样后的稀疏二维MPI图像及其对应的真值标签，得到训练数据集；
步骤A200，将下采样后的稀疏二维MPI图像输入预构建的邻域点平均扩散搜索自注意力生成对抗网络的生成模型中，得到密集二维MPI图像；
步骤A300，将所述密集二维MPI图像及其对应的真值标签输入所述邻域点平均扩散搜索自注意力生成对抗网络的判别模型，获取密集二维MPI图像的判别结果；
步骤A400，基于所述判别结果，结合各密集二维MPI图像、各稀疏二维MPI图像及其对应的真值标签，通过预构建的损失函数，计算总损失值，并更新所述邻域点平均扩散搜索自注意力生成对抗网络的生成模型、判别模型的网络参数；
步骤A500，循环对所述邻域点平均扩散搜索自注意力生成对抗网络的生成器网络、判别器网络进行训练，直至得到训练好的邻域点平均扩散搜索自注意力生成对抗网络。
3.根据权利要求1所述的一种基于生成对抗网络的磁粒子三维重建成像方法，其特征在于，设生成角度的数目为 ，在角度为时，第张稀疏二维MPI图像的编码函数为：。
4.根据权利要求1所述的一种基于生成对抗网络的磁粒子三维重建成像方法，其特征在于，对所述顺序编码图像进行区域卷积运算，其方法为：对所述顺序编码图像中的像素点的浓度值进行处理，处理后采用3×3卷积核进行运算；
对所述顺序编码图像中的像素点的浓度值进行处理的方法为：
；
其中，表示所述顺序编码图像中第行第列的像素点，表示点邻域内所有值的平均值，表示点邻域内所有值的最小值，表示点邻域内所有值的最大值，表示点邻域内的变量值。
5.根据权利要求1所述的一种基于生成对抗网络的磁粒子三维重建成像方法，其特征在于，将各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息与对应的权重矩阵相乘进行线性变换，其方法为：
；
；
其中，表示自注意力机制，向量表示粒子浓度信息，；向量表示角度信息，；向量表示图像间的关联度信息，，表示将矩阵变形为一维列向量，向量表示输入邻域点平均扩散卷积子网络的顺序编码图像；、、分别表示与顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息对应的权重矩阵，表示各顺序编码图像在所有输出层中的神经元从1到N的输出结果之和，表示各顺序编码图像经过第个神经元的输出值，表示各顺序编码图像经过第个神经元的输出值，表示各顺序编码图像经过第个神经元的输出值占总输出值的比重。
6.根据权利要求5所述的一种基于生成对抗网络的磁粒子三维重建成像方法，其特征在于，通过多头注意力机制对各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息进行融合，其方法为：
；
；
其中，是拼接函数，表示第个注意力机制子模块的输出，表示多头注意力机制输出的总权重矩阵，表示顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息融合后的信息。
7.根据权利要求2所述的一种基于生成对抗网络的磁粒子三维重建成像方法，其特征在于，通过预构建的损失函数，计算总损失值，其方法为：
；
；
；
；
其中，为总损失函数，表示像素损失函数与对抗损失函数，表示角度顺序排序优化函数，表示像素信息误差，表示生成模型的损失，表示稀疏二维MPI图像，表示生成的第张密集二维MPI图像，表示生成的第张密集二维MPI图像，表示第张稀疏二维MPI图像对应的真值标签，表示像素损失的系数，表示对抗损失的系数，表示由判别网络判别是否为真的概率，表示生成模型的输出，表示角度差值函数，为双曲正切函数，表示在对应输入下角度的预测值，，表示任意两张密集二维MPI图像角度判断函数， 和分别表示第张生成的密集二维MPI图像对应的角度标签，表示对于不同仿体包含信息的丰富度设定的参数。
8.一种基于生成对抗网络的磁粒子三维重建成像***，其特征在于，该***包括：图像采集模块100、图像重建模块200、三维重建模块300；
所述图像采集模块100，配置为采集待成像重建物体的仿体的多视角的稀疏二维MPI图像，并进行下采样，得到下采样后的稀疏二维MPI图像；所述多视角的稀疏二维MPI图像为依次按照设定角度旋转采集的多张MPI投影图像；
所述图像重建模块200，配置为将下采样后的稀疏二维MPI图像输入训练好的邻域点平均扩散搜索自注意力生成对抗网络的生成模型中，得到密集二维MPI图像；
所述三维重建模块300，配置为通过滤波反投影重建算法对各密集二维MPI图像进行重建，最终得到待成像重建物体的三维MPI图像；
所述邻域点平均扩散搜索自注意力生成对抗网络包括生成模型、判别模型；
所述生成模型包括五个扩散搜索注意力机制卷积模块；所述扩散搜索注意力机制卷积模块基于依次连接的邻域点平均扩散卷积子网络、自注意力融合网络和激活函数层构建；前四个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为Leaky ReLU，第五个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为双曲正切函数；
所述邻域点平均扩散卷积子网络，配置为通过编码函数对下采样后的稀疏二维MPI图像进行顺序编码，得到顺序编码图像；对各顺序编码图像进行区域卷积运算，获取各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息；
所述自注意力融合网络，配置为将各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息与对应的权重矩阵相乘进行线性变换，并通过多头注意力机制进行融合，融合后进行上采样，得到密集二维MPI图像；
所述判别模型包括五个卷积神经网络模块；所述卷积神经网络模块基于依次连接的卷积层、正则化层和激活函数层构建；前四个卷积神经网络模块的激活函数层采用的激活函数为Leaky ReLU，第五个卷积神经网络模块的激活函数层采用的激活函数为softmax。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的一种基于生成对抗网络的磁粒子三维重建成像方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的一种基于生成对抗网络的磁粒子三维重建成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310047876.0A CN115880440B (zh) | 2023-01-31 | 2023-01-31 | 一种基于生成对抗网络的磁粒子三维重建成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310047876.0A CN115880440B (zh) | 2023-01-31 | 2023-01-31 | 一种基于生成对抗网络的磁粒子三维重建成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115880440A CN115880440A (zh) | 2023-03-31 |
| CN115880440B true CN115880440B (zh) | 2023-04-28 |
Family
ID=85758588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310047876.0A Active CN115880440B (zh) | 2023-01-31 | 2023-01-31 | 一种基于生成对抗网络的磁粒子三维重建成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115880440B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563412B (zh) * | 2023-06-26 | 2023-10-20 | 中国科学院自动化研究所 | 基于稀疏***矩阵的mpi图像重建方法、***及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
| CN113808234A (zh) * | 2021-11-08 | 2021-12-17 | 北京航空航天大学 | 一种基于欠采样的快速磁粒子成像重建方法 |
| CN113850883A (zh) * | 2021-10-14 | 2021-12-28 | 北京航空航天大学 | 基于注意力机制的磁粒子成像重建方法 |
| CN114792287A (zh) * | 2022-03-25 | 2022-07-26 | 南京航空航天大学 | 一种基于多图像融合的医学超声图像超分辨率重建方法 |
| CN115409945A (zh) * | 2022-09-01 | 2022-11-29 | 中国科学院自动化研究所 | 融合成像参数进行量化分析的三维磁粒子成像***及方法 |
| CN115526946A (zh) * | 2022-10-13 | 2022-12-27 | 中国科学院自动化研究所 | 基于特征融合的磁粒子成像图像去噪声方法、***、设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110420026B (zh) * | 2019-07-15 | 2020-05-19 | 中国科学院自动化研究所 | 基于ffl的磁粒子成像三维立体重建方法、***、装置 |
-
2023
- 2023-01-31 CN CN202310047876.0A patent/CN115880440B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
| CN113850883A (zh) * | 2021-10-14 | 2021-12-28 | 北京航空航天大学 | 基于注意力机制的磁粒子成像重建方法 |
| CN113808234A (zh) * | 2021-11-08 | 2021-12-17 | 北京航空航天大学 | 一种基于欠采样的快速磁粒子成像重建方法 |
| CN114792287A (zh) * | 2022-03-25 | 2022-07-26 | 南京航空航天大学 | 一种基于多图像融合的医学超声图像超分辨率重建方法 |
| CN115409945A (zh) * | 2022-09-01 | 2022-11-29 | 中国科学院自动化研究所 | 融合成像参数进行量化分析的三维磁粒子成像***及方法 |
| CN115526946A (zh) * | 2022-10-13 | 2022-12-27 | 中国科学院自动化研究所 | 基于特征融合的磁粒子成像图像去噪声方法、***、设备 |
Non-Patent Citations (2)
| Title |
|---|
| Jiwon Kim 等.Accurate Image Super-Resolution Using Very Deep Convolutional Networks.IEEE:COMPUTE` .\R SOCIETY.2016,正文第1646-1654页. * |
| 基于改进超分辨率生成对抗网络的图像重建算法;查体博 等;基于改进超分辨率生成对抗网络的图像重建算法;第58卷(第8期);08100050-1-11 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115880440A (zh) | 2023-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shen et al. | Patient-specific reconstruction of volumetric computed tomography images from a single projection view via deep learning | |
| EP3506209B1 (en) | Image processing method, image processing device and storage medium | |
| CN109509235B (zh) | Ct图像的重建方法、装置、设备及存储介质 | |
| CN112085829A (zh) | 基于神经网络的螺旋ct图像重建方法和设备及存储介质 | |
| Liu et al. | Isotropic reconstruction of electron tomograms with deep learning | |
| Nguyen et al. | Evaluating transformer-based semantic segmentation networks for pathological image segmentation | |
| CN115880440B (zh) | 一种基于生成对抗网络的磁粒子三维重建成像方法 | |
| Lee et al. | High-throughput computer method for 3D neuronal structure reconstruction from the image stack of the Drosophila brain and its applications | |
| CN112884820B (zh) | 一种影像初始配准及神经网络的训练方法、装置和设备 | |
| CN113628296B (zh) | 一种从时频域信号到二维图像的磁粒子成像重建方法 | |
| CN114170146A (zh) | 图像处理方法、装置、电子设备以及计算机可读存储介质 | |
| Tang et al. | Point scene understanding via disentangled instance mesh reconstruction | |
| Topal et al. | Deep learning-based inaccuracy compensation in reconstruction of high resolution XCT data | |
| CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及*** | |
| Kim et al. | A convolutional neural network-based anthropomorphic model observer for signal detection in breast CT images without human-labeled data | |
| Powell et al. | Learning structural heterogeneity from cryo-electron sub-tomograms with tomoDRGN | |
| Zheng et al. | Identifying sets of favorable projections for few-view low-dose cone-beam CT scanning | |
| Venkatesan et al. | Nodule detection with convolutional neural network using apache spark and GPU frameworks | |
| Yan et al. | Vaccine-style-net: Point cloud completion in implicit continuous function space | |
| CN116188615A (zh) | 一种基于正弦域和图像域的稀疏角度ct重建方法 | |
| Guo et al. | Iterative Image Reconstruction for Limited‐Angle CT Using Optimized Initial Image | |
| US20230360366A1 (en) | Visual Explanation of Classification | |
| Guo et al. | Noise-resilient deep learning for integrated circuit tomography | |
| Sokolov et al. | Generation and study of the synthetic brain electron microscopy dataset for segmentation purpose | |
| Wang et al. | Optimization algorithm of CT image edge segmentation using improved convolution neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |