CN115311135A - 一种基于3dcnn的各向同性mri分辨率重建方法 - Google Patents
一种基于3dcnn的各向同性mri分辨率重建方法 Download PDFInfo
- Publication number
- CN115311135A CN115311135A CN202210729637.9A CN202210729637A CN115311135A CN 115311135 A CN115311135 A CN 115311135A CN 202210729637 A CN202210729637 A CN 202210729637A CN 115311135 A CN115311135 A CN 115311135A
- Authority
- CN
- China
- Prior art keywords
- reconstruction
- image
- dcnn
- model
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004913 activation Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims description 29
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 15
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 25
- 230000004927 fusion Effects 0.000 abstract description 14
- 230000003044 adaptive effect Effects 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于3DCNN的各向同性MRI分辨率重建方法，具体包括基于3D插值的各项异性扫描融合、基于3D卷积神经网络的特征提取和图像重建、基于自适应通道串接的3D特征融合等三部分内容。本发明提出采用3DCNN来解决MR图像各向同性分辨率重建的同时，也关注其实际部署的兼容性，通过线性插值对三个正交的MR扫描进行融合，再用3D CNN执行推理。为了获得高分辨率的增强图像，我们还采用了宽激活和加权通道串接技术。大量实验表明，所提方法能够实现优异的各向同性分辨率重建。由于简单的正交扫描融合策略，所提方法能够在保证重建精度的条件下执行快速推理和重建，因此更利于实际部署和应用。
Description
技术领域
本发明涉及MRI超分辨重建技术领域，具体涉及一种基于3DCNN的各向同性MRI分辨率重建方法。
背景技术
磁共振成像(Magnetic Resonance Imaging,MRI)是临床诊断和图像引导治疗中非常重要的多用途成像模态。在很多MRI成像实验中，一个基本考量是如何确定图像空间分辨率、信噪比和成像时间之间的平衡效果。为提高图像信噪比和缩短成像时间，很多MRI扫描仪都以较大的切片厚度(Slice Thickness)采集数量较少的切片。因此，大多数3D磁共振(Magnetic Resonance,MR)图像都在平面内有较高的分辨率而在跨平面方向有较低的分辨率，即各向异性分辨率(Anisotropic Resolution)。这对后续计算机辅助诊断和其他定量分析都是不利的，因为跨平面方向丢失了更多的高频信息。采集各向同性分辨率(Isotropic Resolution)3D MR图像的直接方式是通过硬件设备来实现，比如更高的磁场强度、更快的梯度、更灵敏的射频线圈等。不过，这些解决方案往往成本较高，需要对硬件进行升级但仍然受物理规律和***噪声等复杂因素的影响。
另一种实现各向同性分辨率重建的替代方法是图像后处理，能够实现该目标的一类典型后处理方法叫做图像超分辨(Super-Resolution,SR)，其主要目标是从一幅或多幅低分辨(Low Resolution,LR)图像重建出相同场景的一幅高分辨率(High Resolution,HR)图像。图像超分辨重建作为一个经典的低级计算机视觉问题，由于其严重的病态性和较高的实用性，在自然图像和医学图像处理领域都是一个活跃而富有挑战性的研究热点。早期方法主要包括基于插值的方法、基于重建的方法和基于传统机器学习的方法。由于这些方法仅使用了有限的附加信息来求解病态逆问题，加上模型本身的表达能力有限，这些方法的重建性能往往非常有限。
最近，随着深度学习(Deep Learning)技术不断发展和进步，尤其是卷积神经网络(Convolutional Neural Networks,CNNs)在计算机视觉领域的不断盛行，基于CNN的图像SR方法正在不断涌现，不断刷新着SR领域的性能记录。对自然图像而言，一个开创性工作是SRCNN，这是一个只有三层的端到端CNN模型，将特征提取、模型推理和图像重建三个过程融合在一个整体框架中，实现了协同增效。后续的一些工作，大多以SRCNN模型为基准，从提高模型性能和降低模型参数两个方面开展，比如VDSR、EDSR、MemNet等。在医学图像领域，也有一些相关工作被提出，包括CSN、mDCSRN以及FSCWRN等。一个与本发明更接近的工作可能是文献，但该工作更侧重于用3D CNN来处理一般意义上的超分辨重建为，而非本发明所解决的各向同性分辨率重建问题。
现有技术中，也有采用传统机器学习方法、深度学习方法来解决上述问题，传统机器学习方法通常在测试阶段采用迭代优化方法，计算效率很低。同时，由于稀疏表达和样本学习等传统机器学习方法本质上属于浅层学习技术，模型本身的表达能力十分有限，所以算法性能往往不尽人意。另一方面，由于这传统机器学习方法结合了字典学习、小波融合、自相似性学习等复杂的子过程，很不利于实际应用和部署。深度学习方法虽然能在一定程度上缓解了传统机器学习的缺陷，但其网络结构采用简单的卷积和残差连接构建，使得模型表达能力不强，重建精度较差。
发明内容
为解决现有技术中存在的问题，本发明提供了一种基于3DCNN的各向同性MRI分辨率重建方法，针对MRI成像的各向同性分辨率重建问题，采用3D卷积神经网络来实现高效的精确重建，具体包括基于3D插值的各项异性扫描融合、基于3D卷积神经网络的特征提取和图像重建、基于自适应通道串接的3D特征融合等，在有效提高重建效果与重建效率之间平衡效果的同时，充分考虑模型的执行效率和实际部署潜力，解决了上述背景技术中提到的问题。
为实现上述目的，本发明提供如下技术方案：一种基于3DCNN的各向同性MRI分辨率重建方法，包括如下步骤：
步骤一、基于线性插值将正交的MRI扫描融合为初始各向同性分辨率图像x；
步骤二、构建3D CNN网络模型；
步骤三、初始化模型参数，采用L1损失函数训练模型，训练结束后保存模型；
步骤四、将初始图像x作为3D CNN网络的输入，输入到训练后的3D CNN模型执行SR推理，完成各向同性MRI分辨率重建。
进一步的，所述步骤一具体包括：采用线性插值将三个正交的MRI扫描上采样至HR图像空间，得到三个形状大小一样的上采样输入图像，然后通过元素级平均得到融合后的初始各向同性分辨率图像x，公式表达如下：
其中，xv表示各向异性分辨率的输入，Uv表示第v个方向上的上采样操作，即线性插值，
表示第v个方向上采样过后的初始图像。
进一步的，所述3D CNN网络模型包含浅层特征提取、非线性推理和SR重建三个部分。
进一步的，所述浅层特征提取采用一个3D卷积层来实现，得到的浅层特征用x0表示；所述非线性推理由一组堆叠的3D通道串接模块3D CB组成，每个3D CB模块的输出表示为xi(i＝1，...，n)，其中，n表示3D CB模块的个数；所述SR重建由两个3×3×3卷积层完成。
进一步的，在非线性推理部分，采用3D CB模块来提取深层特征，每个3DCB模块由恒等映射和非线性映射两个分支组成，其中非线性映射分支包括两个3×3×3卷积层和一个ReLU非线性激活层，在每个3D CB模块中，采用了一种自适应的3D加权通道串接技术；设第i个3D CB模块的输入为xi-1，输出为xi，3D CB模块的映射关系表示为：
其中
表示3D CB模块尾部-个1×1×1的3D卷积层
表示3D CB模块的非线性映射分支，πi和λi表示恒等映射和非线性映射分支上的权重系数。
进一步的，所述非线性映射分支的两个3×3×3卷积层中，采用3D宽激活策略，将第一个3×3×3卷积层的输出通道扩大a倍，并由第二个卷积层恹复为原来的通道数。
进一步的，所述步骤三中，采用L1损失函数训练模型具体包括：给定一个数据集D，其中包含|D|个训练样本
L1损失函数表达如下：
其中，
表示整个模型对应的映射函数，||·||1表示L1范数，即矩阵或向量之间元素级的绝对差。
本发明的有益效果是：
1)本发明提出采用3D CNN来解决MR图像各向同性分辨率重建的同时，也关注其实际部署的兼容性，通过线性插值对三个正交的MR扫描进行融合，再用3D CNN执行推理。为了获得高分辨率的增强图像，我们还采用了宽激活和加权通道串接技术。大量实验表明，所提方法能够实现优异的各向同性分辨率重建。由于简单的正交扫描融合策略，所提方法能够在保证重建精度的条件下执行快速推理和重建，因此更利于实际部署和应用。
2)本发明的围绕MR图像的各向同性分辨率重建，以实现简单、高效执行、易于部署为主要目标，设计了基于线性插值的各向异性分辨率图像融合和基于3D CNN网络的重建模型，在保持算法简易高效的同时提高了模型重建效果，提高了模型运行效率与重建效果之间的折中。
附图说明
图1为用线性插值融合初始各向同性分辨率图像示意图；
图2为本发明基于3D CNN的各向同性分辨率重建的整体网络结构图；
图3为自适应通道串接模块中的宽激活策略示意图；
图4为在Set7上执行SR×7重建时不同模型重建结果的可视化对比图，从上至下：矢状面视图、轴状面视图和冠状面视图；
图5为各个模型的SR重建结果与Ground Truth之间的残差可视化图，从上至下：矢状面视图、轴状面视图和冠状面视图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1-图5，本发明主要包括两个部分：基于线性插值的正交MR扫描融合和基于3D卷积神经网络的SR推理，具体如下：一种基于3DCNN的各向同性MRI分辨率重建方法，包括如下步骤：
步骤一、基于线性插值将正交的MRI扫描融合为初始各向同性分辨率图像x；
步骤二、构建3D CNN网络模型；
步骤三、初始化模型参数，采用L1损失函数训练模型，训练结束后保存模型；
步骤四、将初始图像x作为3D CNN网络的输入，输入到训练后的3D CNN模型执行SR推理，完成各向同性MRI分辨率重建。
基于3D卷积神经网络的SR推理又包含自适应3D加权通道串接和3D宽激活两部分内容，接下来我们将分别对其进行阐述。
基于线性插值的正交MR扫描融合
为了简化预处理过程，我们采用简单的线性插值将三个正交的MRI扫描(轴向面扫描、冠状面扫描和矢状面扫描)上采样至HR图像空间，得到三个形状大小一样的上采样输入图像，如图1所示。最后通过元素级平均，即可得到3DCNN网络的输入。形式上，可以将该过程描述成如下公式：
其中，xv表示各向异性分辨率的输入，Uv表示第v个方向上的上采样操作，即线性插值，
表示第v个方向上采样过后的初始图像。由于
在形状上保持一致，所以能够按照上述公式进行元素级平均。x表示融合后得到的初始图像。上述将多个正交MR扫描融合为单个MR图像只由简单的线性插值和元素级平均组成，在实际部署中很容易实现。
基于3D卷积神经网络的SR推理
在得到融合后的初始图像x之后，我们就可以将其输入到3D CNN模型执行SR推理。整个推理网络的结构如图2所示，与很多其他基于CNN的图像SR模型一样，本发明的3D CNN网络也包含浅层特征提取、非线性推理和SR重建三个部分。其中，浅层特征提取我们采用一个3D卷积层来实现(得到的浅层特征用x0表示)；非线性推理由一组堆叠的3D通道串接模块(3D Channel Concatenation，3D CB)组成(每一个3D CB模块的输出表示为xi(i＝1，...，n)，其中n表示3D CB模块的个数)；而SR重建由两个3×3×3卷积层完成，如图2所示。
本发明的网络结构如图2所示，我们的实验中宽激活的倍率a＝4。另外，我们设置图2中的3D CB模块数n＝16，中间层特征映射的通道数C＝32。对于可学习的权重参数πi和λi，它们都被初始化为1.0，随后由模型训练自动调节。模型优化采用Adam算法，其参数分别设为β1＝0.9，β2＝0.999和ε＝10-8。学习率初始化为2×10-4，每隔10万次迭代就减半，总共训练40万次迭代。训练阶段，我们从基于线性插值融合后的初始图像x中提取24×24×24的LR图像块，并从HR图像中采样对应的HR图像块，二者的大小保持一致。另外，我们通过对3D图像块进行前后、左右、上下三个维度的翻转来执行训练数据的增强。
从图像重建的角度，相关研究表明L1损失此传统的L2损失更能促进模型收敛。所以我们也采用L1损失函数来训练模型。给定一个数据集D，其中包含|D|个训练样本
那么典型的L1损失函数被定义为如下形式：
其中，
表示整个模型对应的映射函数，||·||1表示L1范数，即矩阵或向量之间元素级的绝对差。
自适应3D加权通道串接
在非线性推理阶段，我们设计了3D CB模块来提取深层特征，而在每个3DCB模块中，我们又采用了一种自适应的3D加权通道串接技术。每个3D CB模块由恒等映射和非线性映射两个分支组成，其中非线性映射分支包括两个卷积层和一个非线性激活层。设第i个3DCB模块的输入为xi-1，输出为xi，那么3D CB模块的映射关系(通道加权)可以表示为：
其中
表示3D CB模块尾部一个1×1×1的3D卷积层，如图2所示。
表示3DCB模块的非线性映射分支，πi和λi表示恒等映射和非线性映射分支上的权重系数。由于πi和λi都是可学习的参数(也就是自适应)，所以整个模型的表达能力得到了显著提升。
3D宽激活策略
如图2所示，本发明的SR推理网络主要由一组堆叠的3D CB模块组成，而每一个3DCB模块中包含两个分支：恒等映射分支和非线性映射分支。在非线性映射分支，我们设置了两个3×3×3卷积层，它们中间夹着一个ReLU激活函数层。由于MR图像的各向同性分辨率重建任务属于典型的低级计算机视觉问题，第一个卷积层的输出增大通道数，将有助于低级视觉特征的前向传输。为此，我们采用了宽激活策略的3D版本，将第一个3×3×3卷积层的输出通道扩大a倍，并由第二个卷积层恹复为原来的通道数，整个流程如图3所示。
本发明的围绕MR图像的各向同性分辨率重建，以实现简单、高效执行、易于部署为主要目标，设计了基于线性插值的各向异性分辨率图像融合和基于3DCNN网络的重建模型，在保持算法简易高效的同时提高了模型重建效果，提高了模型运行效率与重建效果之间的折中。
实施例2
为阐述本发明的技术效果，我们从HCP数据集中随机选取了155对结构MR图像，其中包括T1和T2两种类型的图像。这些图像的空间分辨率都是0.7mm×0.7mm×0.7mm，图像大小为260×311×260.我们将它们划分为100幅训练图像、50幅测试图像和5幅验证图像。另外，我们还收集了一个真实采集的数据集Set7用于测试，里面包括7幅T1测试图像。
表1展示了本发明所提方法(Isotropic Super-Resolution Network,isoSRN)在不同切片厚度(缩放因子)的情况下，与其他三种方法的定量对比结果。其中，CubeAvg表示只执行简单的线性插值融合，而没有基于3DCNN的SR重建过程；NLM表示Nonlocal Mean，这是一种传统的SR重建方法；SRCNN3D是SRCNN模型的3D版本。从表1可以看出，本发明提出的isoSRN模型在所有尺度上都大幅超越了这三种对比方法。例如，与CubeAvg方法相比，isoSRN在T1图像上执行2倍各向同性分辨率重建的PSNR值提升了11.58dB，而在T2图像上更是获得了14.01dB的提升幅度。另外，我们可以看到随着切片厚度增加，所有算法的PSNR/SSIM值都呈现出逐渐降低的趋势。即便如此，isoSRN在T2图像上执行SR×7的重建时也获得了7.50dB/0.0844的性能提升。这说明本发明的方法采用3DCNN可以显著提升基于线性插值得到的初步结果的性能。SRCNN3D也遵循了本发明的基本流程，而3DCNN采用的是SRCNN的模型结构，所以表1的结果也表明3D CB模块具有更好的表达能力，由3D CB模块组成的推理网络具有更高的重建精度。
表1不同模型在HCP Test数据集上的性能对比
表1中(包括2～7共6个尺度因子)。每个对比网格中的最大值用加粗表示，定量评估指标分别为PSNR(dB)和SSIM。
为了更充分地与其他先进方法进行对比，同时也验证所提方法在真实数据上的泛化能力，我们添加了两个对比模型：ReCNN和VDSR3D。前者是深度学习的一种，它由10个卷积层组成。后者是VDSR模型的3D版本，与SRCNN3D类似，采用了与本发明一样的流程，如表2所示。
表2不同模型在Set7数据集上的性能对比
表2中(包括2～7共6个尺度因子)。每个对比网格中的最大值用加粗表示，定量评估指标分别为PSNR(dB)和SSIM。从表2可以看出，尽管Set7是根据不同硬件设备、被试、成像参数和成像环境得到的，但我们的isoSRN模型依旧在所有缩放尺度上表现最好，并且性能增幅较大。注意，我们这里没有另外两种传统机器学习方法，主要是因为它们的性能比ReCNN更差，而且这两种方法没有提供参考代码，难以重现。
图4展示了这些对比方法在Set7中一幅测试图像执行SR×7重建时的可视化对比，从上至下：矢状面视图、轴状面视图和冠状面视图。我们可以清楚地观察到深度学习方法对传统方法的性能优势。另外，SRCNN3D、ReCNN、VDSR3D和isoSRN四种深度学习方法中，表现最好的还是本发明的isoSRN模型，其重建中的边缘、轮廓更加清晰，纹理细节也更接近GroundTruth的实际情况。为了更充分地展示本发明的性能优势，我们将这些算法的重建结果与Ground Truth之间的重建误差进行了可视化，从上至下：矢状面视图、轴状面视图和冠状面视图，如图5所示。可以看到isoSRN的重建结果具有最小的重建误差，这说明其结果与Ground Truth最接近。注意，图4和图5中有一个包含了一组名为isoSRN+的结果，这些结果是本发明的方法采用几何自集成(Geometric Self-Ensemble)策略得到的增强版本。但无论是isoSRN本身还是增强版isoSRN+，都在对比方法中取得了最好的SR效果。本发明受国家自然科学基金青年科学基金项目62102330、四川省自然科学基金青年科学基金项目2022NSFSC0947、中央高校基本科研业务费专项资金2682021CX040的资助。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于3DCNN的各向同性MRI分辨率重建方法，其特征在于，包括如下步骤：
步骤一、基于线性插值将正交的MRI扫描融合为初始各向同性分辨率图像x；
步骤二、构建3D CNN网络模型；
步骤三、初始化模型参数，采用L1损失函数训练模型，训练结束后保存模型；
步骤四、将初始图像x作为3D CNN网络的输入，输入到训练后的3D CNN模型执行SR推理，完成各向同性MRI分辨率重建。
2.根据权利要求1所述的基于3DCNN的各向同性MRI分辨率重建方法，其特征在于：所述步骤一具体包括：采用线性插值将三个正交的MRI扫描上采样至HR图像空间，得到三个形状大小一样的上采样输入图像，然后通过元素级平均得到融合后的初始各向同性分辨率图像x，公式表达如下：
其中，xv表示各向异性分辨率的输入，Uv表示第v个方向上的上采样操作，即线性插值，
表示第v个方向上采样过后的初始图像。
3.根据权利要求1所述的基于3DCNN的各向同性MRI分辨率重建方法，其特征在于：所述3D CNN网络模型包含浅层特征提取、非线性推理和SR重建三个部分。
4.根据权利要求3所述的基于3DCNN的各向同性MRI分辨率重建方法，其特征在于：所述浅层特征提取采用一个3D卷积层来实现，得到的浅层特征用x0表示；所述非线性推理由一组堆叠的3D通道串接模块3D CB组成，每个3D CB模块的输出表示为xi(i＝1，...，n)，其中，n表示3D CB模块的个数；所述SR重建由两个3×3×3卷积层完成。
5.根据权利要求4所述的基于3DCNN的各向同性MRI分辨率重建方法，其特征在于：在非线性推理部分，采用3D CB模块来提取深层特征，每个3D CB模块由恒等映射和非线性映射两个分支组成，其中非线性映射分支包括两个3×3×3卷积层和一个ReLU非线性激活层，在每个3D CB模块中，采用了一种自适应的3D加权通道串接技术；设第i个3D CB模块的输入为xi-1，输出为xi，3D CB模块的映射关系表示为：
其中，
表示3DCB模块尾部一个1×1×1的3D卷积层，
表示3D CB模块的非线性映射分支，πi和λi表示恒等映射和非线性映射分支上的权重系数。
6.根据权利要求5所述的基于3DCNN的各向同性MRI分辨率重建方法，其特征在于：所述非线性映射分支的两个3×3×3卷积层中，采用3D宽激活策略，将第一个3×3×3卷积层的输出通道扩大a倍，并由第二个卷积层恢复为原来的通道数。
7.根据权利要求1所述的基于3DCNN的各向同性MRI分辨率重建方法，其特征在于：所述步骤三中，采用L1损失函数训练模型具体包括：给定一个数据集D，其中包含|D|个训练样本
L1损失函数表达如下：
其中，
表示整个模型对应的映射函数，||·||1表示L1范数，即矩阵或向量之间元素级的绝对差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210729637.9A CN115311135A (zh) | 2022-06-24 | 2022-06-24 | 一种基于3dcnn的各向同性mri分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210729637.9A CN115311135A (zh) | 2022-06-24 | 2022-06-24 | 一种基于3dcnn的各向同性mri分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115311135A true CN115311135A (zh) | 2022-11-08 |
Family
ID=83855127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210729637.9A Pending CN115311135A (zh) | 2022-06-24 | 2022-06-24 | 一种基于3dcnn的各向同性mri分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115311135A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974448A (zh) * | 2024-04-02 | 2024-05-03 | 中国科学院自动化研究所 | 三维医学图像各向同性超分辨方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507462A (zh) * | 2020-04-15 | 2020-08-07 | 华中科技大学鄂州工业技术研究院 | 一种端对端的三维医学图像超分辨率重建方法及*** |
| CN112837224A (zh) * | 2021-03-30 | 2021-05-25 | 哈尔滨理工大学 | 一种基于卷积神经网络的超分辨率图像重建方法 |
| CN113256772A (zh) * | 2021-05-10 | 2021-08-13 | 华中科技大学 | 一种基于视角转换的双角度光场高分辨重构***及方法 |
| CN114503159A (zh) * | 2019-08-14 | 2022-05-13 | 豪夫迈·罗氏有限公司 | 通过对象检测定位的医学图像的三维对象分割 |
-
2022
- 2022-06-24 CN CN202210729637.9A patent/CN115311135A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114503159A (zh) * | 2019-08-14 | 2022-05-13 | 豪夫迈·罗氏有限公司 | 通过对象检测定位的医学图像的三维对象分割 |
| CN111507462A (zh) * | 2020-04-15 | 2020-08-07 | 华中科技大学鄂州工业技术研究院 | 一种端对端的三维医学图像超分辨率重建方法及*** |
| CN112837224A (zh) * | 2021-03-30 | 2021-05-25 | 哈尔滨理工大学 | 一种基于卷积神经网络的超分辨率图像重建方法 |
| CN113256772A (zh) * | 2021-05-10 | 2021-08-13 | 华中科技大学 | 一种基于视角转换的双角度光场高分辨重构***及方法 |
Non-Patent Citations (2)
| Title |
|---|
| XIAOLE ZHAO: "Isotropic MRI Reconstruction with 3D Convolutional Neural Network", 《ISMRM 2020》 * |
| 赵小乐: "图像超分辨技术及其在MRI中的应用研究", 《中国博士学位论文全文数据库 (信息科技辑)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974448A (zh) * | 2024-04-02 | 2024-05-03 | 中国科学院自动化研究所 | 三维医学图像各向同性超分辨方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qiu et al. | Multiple improved residual networks for medical image super-resolution | |
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN111932460B (zh) | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 | |
| CN111047515A (zh) | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| Li et al. | Deep learning methods in real-time image super-resolution: a survey | |
| Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
| CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、***及装置 | |
| CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
| CN111899165A (zh) | 一种基于功能模块的多任务图像重建卷积网络模型 | |
| Wei et al. | Channel rearrangement multi-branch network for image super-resolution | |
| CN115311135A (zh) | 一种基于3dcnn的各向同性mri分辨率重建方法 | |
| Fan et al. | An interpretable MRI reconstruction network with two-grid-cycle correction and geometric prior distillation | |
| Pham | Deep learning for medical image super resolution and segmentation | |
| CN116071239B (zh) | 一种基于混合注意力模型的ct图像超分辨方法和装置 | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| WO2024021796A1 (zh) | 一种图像处理方法、装置、电子设备、存储介质及程序产品 | |
| Lepcha et al. | An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering | |
| CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 | |
| CN116630178A (zh) | 基于U-Net的极低场磁共振图像工频伪影抑制方法 | |
| CN116152060A (zh) | 一种双特征融合引导的深度图像超分辨率重建方法 | |
| CN110895790A (zh) | 基于后验降质信息估计的场景图像超分辨方法 | |
| CN110322528A (zh) | 基于3t、7t的核磁共振脑部图像血管重建方法 | |
| CN114140404A (zh) | 基于人工智能的肺部多核mri双域超分辨率重建方法 | |
| Guo et al. | Semi‐supervised super‐resolution of diffusion‐weighted images based on multiple references |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221108 |
|
| RJ01 | Rejection of invention patent application after publication |