CN117333750A - 空间配准与局部全局多尺度的多模态医学图像融合方法 - Google Patents
空间配准与局部全局多尺度的多模态医学图像融合方法 Download PDFInfo
- Publication number
- CN117333750A CN117333750A CN202311513745.3A CN202311513745A CN117333750A CN 117333750 A CN117333750 A CN 117333750A CN 202311513745 A CN202311513745 A CN 202311513745A CN 117333750 A CN117333750 A CN 117333750A
- Authority
- CN
- China
- Prior art keywords
- image
- scale
- fusion
- network
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 107
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000000605 extraction Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 17
- 230000000295 complement effect Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000153 supplemental effect Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 9
- 238000013527 convolutional neural network Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于医学图像融合领域，具体涉及空间配准与局部全局多尺度的多模态医学图像融合方法。本发明主要利用空间配准网络对图像进行配准处理，同时消除图像分布差异对配准结果的影响，之后使用多尺度减法CNN分支与MPViT分支对图像进行局部与全局多尺度特征提取，并利用提取到的局部与全局多尺度特征进行自适应图像融合。结果表明空间配准网络在配准过程中取得了良好的效果，有效的消除了图像分布差异对配准结果的影响；多尺度减法CNN提供的局部多尺度特征很好的保留了图像的亮度与细节信息，MPViT提供的全局多尺度特征很好的保留了图像的边缘信息，两者的结合使融合图像结构清晰且纹理细节丰富。
Description
技术领域
本发明属于医学图像融合领域，具体涉及空间配准与局部全局多尺度的多模态医学图像融合方法。
背景技术
随着医学影像技术的发展，医学影像在临床诊断和治疗中扮演着越来越重要的角色。不同类型的医学影像，如CT(计算机断层扫描)、MRI(磁共振成像)和PET(正电子发射计算机断层扫描)等，各自具有其独特的优势和不足。由于单一模态提供的信息有限，不利于医生对病情的正确诊断，医生往往需要查看不同模态的影像信息，工作量大效率低。多模态医学图像融合通过将不同模态医学图像的信息融合于一张图像，弥补单一模态信息表征的局限性，提高医生诊断的效率和准确性。
现有多模态图像融合方法是在已配准图像的基础上进行的。目前多模态图像配准有传统配准方法和基于深度学习的配准方法。传统配准方法中，有的因为需要不断地迭代优化，所以配准时间较长，且计算量较大，不适合大规模的配准任务，还有的对提取的关键点质量比较敏感，算法的鲁棒性较差。目前主流的基于深度学习的配准方法中，都没有考虑不同模态间图像分布差异对配准结果的影响。由于不同模态存在分布差异，不同模态的分布差异会使配准精度降低，很难保证配准后的图像与目标图像在空间上完全对齐。
现有的融合方法有传统融合方法和基于深度学习的融合方法两大类。传统融合方法主要集中在融合策略的设计上，主要有基于多尺度变换的融合方法、基于稀疏表示的融合方法、基于子空间的融合方法、基于显著性的融合方法和基于混合的融合方法。这些方法主要致力于手工设计融合算法和融合策略，在复杂多样的融合任务中，不能为每个任务设计不同的算法和融合策略，融合效率较低。为了解决传统融合方法存在的问题，出现了基于深度学习的图像融合方法，这类方法主要通过网络模型对图像进行特征提取，特征融合以及图像重建。例如DenseNetFuse提出密集连接网络结构，编码部分采用残差密集连接的方式连接密集块来进行特征提取，但此结构仅能提取单一尺度上的特征。虽然基于CNN融合方法通过学习局部特征来提高泛化能力，克服了传统方法的缺点，但由于其有限的感受野，导致CNN会丢失一些对融合图像有用的全局上下文信息。SwinFuse采用纯Transformer结构对图像进行特征提取，但造成了对图像纹理细节的丢失；TransMEF提出了一种CNN与Transformer块并联的多曝光图像融合框架，使用CNN和Transformer来同时提取图像的局部与全局信息，但该结构仅针对单一尺度的特征提取。
综上，针对现有图像配准方法效率低下，且在配准过程中忽略了图像分布差异对配准结果的影响，以及在图像融合过程中对全局上下文特征表征不足和单一尺度特征提取能力有限的问题。本发明提出了空间配准与局部全局多尺度的多模态医学图像融合方法，本发明的主要贡献如下：1)通过空间评估器对配准网络进行训练，使配准网络消除图像分布差异对配准结果的影响。2)通过设计编码器网络实现对图像局部全局多尺度特征的提取。3)将图像配准任务与图像融合任务进行结合，提高图像融合效率。
发明内容
为解决上述现有技术中存在的技术问题，本发明提供了一种空间配准与局部全局多尺度的多模态医学图像融合方法。
为实现上述目的，本发明是通过以下技术方案来实现：
本发明提供了一种空间配准与局部全局多尺度的多模态医学图像融合方法。采用空间配准网络和融合网络，具体包括以下步骤：
步骤1：在空间配准网络中，将未配准的浮动图像M与目标图像T按通道拼接，输入到训练好的变形场网络R中，得到预测变形场∮T2M；
步骤2：将浮动图像M根据预测变形场∮T2M进行配准，得到配准后图像并输入到融合网络中；
步骤3：在融合网络中，将配准后图像与目标图像T，分别经过融合网络中的相同编码器进行局部全局多尺度特征提取；
步骤4：经过步骤3后，对两幅图像提取到的特征分别进行聚合，然后依据自适应融合策略进行融合，得到融合特征，融合网络中的解码器根据融合特征进行图像重建，得到融合图像。
本发明的解码器采用了一种包含三个相同结构的卷积层和一个卷积核大小为1x1的卷积层的架构。在这三个相同结构的卷积层中，每个卷积层包括两个3x3大小的卷积块和两个ReLU激活函数。在不改变特征图的空间大小的情况下，将自适应融合层传来的特征作为解码器的输入，逐步还原并生成融合后的图像。
进一步地，步骤1中空间配准网络的训练为：
首先将目标图像T与浮动图像M按通道拼接输入到变形场网络R中，进行特征提取，得到基于目标图像T的变形场∮T2M和基于浮动图像M的变形场∮M2T，公式如下：
uT＝Rθ(T，M) (1)
uM＝Rθ(M，T) (2)
∮T2M＝Id+uT (3)
∮M2T＝Id+uM (4)
其中，uT与uM分别表示学习到的基于目标图像T的和基于浮动图像M的变形场；Id表示一恒等变形场；θ表示变形场网络相关参数；表示通过最小化图像相似度损失，/>表示最小化变形场正则化约束来优化配准网络；
之后，采用空间变换网络根据变形场∮M2T与∮T2M分别对目标图像T与浮动图像M的每一个像素点进行位移变换，得到配准后图像与/> 最后，将配准后图像/>和浮动图像M以及配准后图像/>和目标图像T，分别输送到训练好的空间评估器中得到空间误差e1与e2；并通过公式(5)最小化空间误差e1与e2，同时根据公式(6)最小化变形场的空间正则化约束来优化空间配准网络的参数。
进一步地，步骤2中空间评估器的结构：一个7×7初始卷积块对输入图像周围进行填充，之后两个3×3的卷积进行浅层特征提取，并在其后顺序堆叠9个残差块进行更深层次的特征提取，从而保留更多的空间信息，最后通过两次3×3上采样和一个Tanh激活函数，核大小为7×7的卷积层，将特征向量转化为一个标量，表示两幅图像的空间差异。
进一步地，步骤3中融合网络的结构为：采用编码器-解码器结构；其中编码器由多尺度减法CNN和MPViT两个分支组成，分别用于提取图像的局部与全局多尺度特征；
多尺度减法CNN分支，利用多尺度减法单元计算相邻尺度间的差异特征，并将其融合得到包含不同尺度间差异信息的互补特征；
MPViT分支，采用多尺度patch和多路径的结构，共有4个阶段，每个阶段由一个多尺度patch模块和一个多路径Transformer模块组成。
进一步地，多尺度减法CNN分支的结构为，采用Res2Net-50作为骨干网络，提取不同尺度的特征，将每个不同尺度的特征经过3×3卷积，将通道数减少至64，以减少后续操作的参数数量，在水平和垂直方向上添加多个多尺度减法单元，并将其连接起来，计算出一系列不同阶数和跨尺度的补充特征将相应尺度的特征/>和跨尺度补充特征/>进行逐元相加，得到互补增强特征CEi，公式如下：
其中，i表示对应的尺度，n表示不同的阶数。
进一步地，多尺度减法单元为，通过固定大小的多尺度卷积滤波器，分别对两个特征图FA和FB进行特征提取，之后对同一尺度卷积滤波器所提取到的两个特征采用逐元减法进行相减，得到相邻尺度特征之间的细节和结构差值i表示不同大小的卷积核，最后将得到的尺度的细节和结构差值进行聚合得到相邻尺度的互补特征/>
进一步地，MPViT分支有4个阶段，每个阶段首先将同一特征同时嵌入到不同尺度的patch中，然后通过多个路径将不同尺度的patch序列单独输入到Transformer编码器中，进行全局特征提取，聚合得到不同尺度patch序列下的全局特征，从而在同一特征级上实现不同尺度的特征表示；
多尺度patch模块的结构为：在第一阶段中，给定来自Conv-stem得到的输出特征采用核大小为k的卷积Fk×k(·)将输入Xi映射为新的token特征Fk×k(Xi)，公式如下：
其中，其中k为卷积核大小，s为步长，p为填充；
在给定前一阶段的输出特征时，通过多尺度patch模块得到patch尺度不同，但特征图大小相同的特征，再通过reshape操作映射为长度为Hi×Wi，通道数为Ci的特征序列，并将特征序列分别输送到多路径Transformer模块，进行全局特征提取与聚合；
多路径Transformer模块，先对每个尺度的patch添加一个对应的Transformer分支，之后为更好的捕捉每个patch的结构信息和局部关系，在多路径Transformer模块中额外添加一个局部卷积分支。特征提取后，将Transformer分支的全局特征经过二维重塑变为特征图的形式和卷积分支的局部特征进行串联，得到聚合特征Ai，并通过1×1的卷积输出最终特征Xi+1，作为下一阶段的输入；
其中Transformer分支由两个归一化层、一个多头自注意层、一个前馈网络层、平均池化层组成，所述局部卷积分支由两个1×1卷积和一个3×3深度卷积以及残差连接组成。
进一步地，采用损失函数来训练所述融合网络，所述损失函数为均方误差损失，结构相似度损失以及总变差损失之和；
均方误差损失通过计算重构图像与源图像之间对应像素值的差平方，并求平均值来衡量生成图像与目标图像之间的差异，保证像素级重建，公式如下：
其中，Iout为输出的重建图像，Iin为输入的源图像，i，j分别为图像像素点的横坐标和纵坐标；
结构相似度损失通过对比重构图像与源图像之间的结构相似性来训练网络，公式如下：
Lssim＝1-SSIM(Iout，Iin) (11)
其中，SSIM函数表示重构图像与源图像之间的结构相似度；
总变差损失用于惩罚图像中的空间变换，公式如下：
R(i，j)＝Iout(i，j)-Iin(i，j) (12)
LTV＝∑i，j(||R(i，j+1)-R(i，j)||2+||R(i+1，j)-R(i，j)||2) (13)
其中，R(i，j)为原始图像与重建图像的差值，||.||2为L2范数；
损失函数公式如下：
L＝Lmse+λ1Lssim+λ2LTV (14)
其中，λ1与λ2分别为结构相似度损失与总变差损失在总损失中的权重系数。
进一步地，自适应融合策略为：
首先用GLKMM(i，j)(K∈A，B)表示特征图在(i，j)处的能量值，K代表特定图像特征图的编号，M为特征图的通道数量。通过设置阈值T来确定对应位置所应用的策略。具体规则如下：
1)若即两幅图像在对应位置上的能量小于阈值T时，采用最大值策略进行融合，融合特征F(i，j)，公式如下：
2)若即两幅图像在对应位置上的能量大于阈值T时，采用L1范式进行融合，融合特征F(i，j)，公式如下：
其中，CK(i，j)代表初始活动水平，||·||1表示第一范数，WA与WB分别代表两幅特征图对应位置的权重。
与现有技术相比，本发明的有益效果如下：
本发明提出了空间配准与局部全局多尺度的多模态医学图像融合方法，利用空间配准网络对图像进行配准处理，同时消除图像分布差异对配准结果的影响，之后使用多尺度减法CNN分支与MPViT分支对图像进行局部与全局多尺度特征提取，并利用提取到的局部与全局多尺度特征进行自适应图像融合。实验结果表明空间配准网络在配准过程中取得了良好的效果，有效的消除了图像分布差异对配准结果的影响；多尺度减法CNN提供的局部多尺度特征很好的保留了图像的亮度与细节信息，MPViT提供的全局多尺度特征很好的保留了图像的边缘信息，两者的结合使融合图像结构清晰且纹理细节丰富。
附图说明
图1为本发明完整框架图；
图2为空间配准网络训练图；
图3为空间评估器结构图；
图4为空间评估器训练流程图；
图5为多尺度减法CNN分支结构图；
图6为MPViT结构图多尺度减法；
图7为多尺度减法单元图；
图8为多尺度patch模块结构图；
图9为多路径Transformer模块结构图；
图10(a)为Transformer块结构图，图10(b)为局部卷积块结构图；
图11为本发明配准融合流程；
图12为配准结果对比图；
图13为融合结果对比图。
具体实施方式
为了便于理解本发明，下面将对本发明进行更全面的描述。但是，本发明可以以许多不同的形式来实现，并不限于本发明所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
实施例1
如图1所示，本实施例提供了一种空间配准与局部全局多尺度的多模态医学图像融合方法，采用空间配准网络和融合网络，完整框架如图1所示，具体包括以下步骤：
步骤1：在空间配准网络中，将未配准的浮动图像M与目标图像T按通道拼接，输入到训练好的变形场网络R中，得到预测变形场∮T2M；
空间配准网络的训练过程为：
在空间配准网络中，采用一个具有残差连接的类似U-NET结构的变形场网络R用于产生两幅图像之间的变形场。其训练过程如图2所示。首先将目标图像T与浮动图像M按通道拼接输入到变形场网络R中，进行特征提取，得到基于目标图像T的变形场∮T2M和基于浮动图像M的变形场∮M2T，公式如下：
uT＝Rθ(T，M) (1)
uM＝Rθ(M，T) (2)
∮T2M＝Id+uT (3)
∮M2T＝Id+uM (4)
其中，uT与uM分别表示学习到的基于目标图像T的和基于浮动图像M的变形场；Id表示一恒等变形场；θ表示变形场网络相关参数；表示通过最小化图像相似度损失，/>表示最小化变形场正则化约束来优化配准网络；
之后，采用空间变换网络根据变形场∮M2T与∮T2M分别对目标图像T与浮动图像M的每一个像素点进行位移变换，得到配准后图像与/> 最后，将配准后图像/>和浮动图像M以及配准后图像/>和目标图像T，分别输送到训练好的空间评估器中得到空间误差e1与e2；并通过公式(5)最小化空间误差e1与e2，同时根据公式(6)最小化变形场的空间正则化约束来优化空间配准网络的参数。使配准网络在T向M的配准任务以及M向T的配准任务中都具有良好的性能。
配准后的图像消除了原有不同模态之间的空间误差，从而消除了图像在融合阶段可能出现的各种畸变与图像模糊等情况。
空间评估器的结构如图3所示，一个7×7初始卷积块对输入图像周围进行填充，之后两个3×3的卷积进行浅层特征提取，并在其后顺序堆叠9个残差块进行更深层次的特征提取，从而保留更多的空间信息，最后通过两次3×3上采样和一个Tanh激活函数，核大小为7×7的卷积层，将特征向量转化为一个标量，表示两幅图像的空间差异。
空间评估器的主要作用是计算配准后图像与源图像之间的空间差异，并在配准网络的训练过程中利用训练好的空间评估器进行反向传播使网络模型在配准过程中消除图像分布差异对配准结果的影响，提高配准精度。
空间评估器的训练流程如图4所示。将两个随机空间变换T1和T2应用于原始输入图像I，分别生成转换后的图像I1和I2。由于I1和I2来自相同的原始图像，因此它们仅在空间位置上有所不同。I1和I2之间的空间误差通过I1和I2的差来计算，该空间误差用作训练空间评估器的真实标签。将随机噪声ε添加到I1或I2中，以在它们之间创建分布差异。通过将I1+ε和I2输入空间评估器来获得预测误差。最后，通过最小化预测误差和实际空间误差之间的平均绝对值误差(MAE)来使空间评估器更加关注于图像在空间上的差异，进一步提高空间评估器的预测精度。其损失函数如下：
训练好的空间评估器用于计算配准后图像与目标图像之间的空间差异，从而对配准网络进行优化，提升配准效果。
步骤2：将浮动图像M根据预测变形场∮T2M进行配准，得到配准后图像并输入到融合网络中；
步骤3：在融合网络中，将配准后图像与目标图像T，分别经过融合网络中的相同编码器进行局部全局多尺度特征提取；融合网络的结构为采用编码器-解码器结构；其中编码器由多尺度减法CNN和MPViT两个分支组成，结构图分别为如图5和图6，分别用于提取图像的局部与全局多尺度特征；
多尺度减法CNN分支，利用多尺度减法单元计算相邻尺度间的差异特征，并将其融合得到包含不同尺度间差异信息的互补特征；
MPViT分支，采用多尺度patch和多路径的结构，共有4个阶段，每个阶段由一个多尺度patch模块和一个多路径Transformer模块组成。
多尺度减法CNN利用多尺度减法单元计算相邻尺度间的差异特征，并将其融合得到包含不同尺度间差异信息的互补特征。多尺度减法CNN分支的结构为，采用Res2Net-50作为骨干网络，提取不同尺度的特征，将每个不同尺度的特征经过3×3卷积，将通道数减少至64，以减少后续操作的参数数量，在水平和垂直方向上添加多个多尺度减法单元，并将其连接起来，计算出一系列不同阶数和跨尺度的补充特征将相应尺度的特征/>和跨尺度补充特征/>进行逐元相加，得到互补增强特征CEi，公式如下：
其中，i表示对应的尺度，n表示不同的阶数。
将CE5上采样到与CE4相同大小，并通过逐元相加的方式对CE5与CE4进行融合，得到包含Stage4与Stage5两个尺度信息的融合特征CF5-4。然后将CF5-4上采样到与CE3相同大小，并于CE3进行融合，得到包含Stage5到Stage3三个尺度信息的融合特征CF5-3。根据上述融合流程，经过多次上采样与融合，最终得到包含丰富纹理信息的局部特征CF，用以与全局特征进行融合。在多尺度特征融合的过程中，通过减法单元计算不同尺度特征之间的差异信息，得到不同尺度的互补增强特征，提升了局部特征的丰富性。
进一步地，多尺度减法单元结构如图7所示，通过三个固定大小的多尺度卷积滤波器(1×1，3×3，5×5)，分别对两个特征图FA和FB进行特征提取，之后对同一尺度卷积滤波器所提取到的两个特征采用逐元减法进行相减，得到相邻尺度特征之间的细节和结构差值i表示不同大小的卷积核，最后将得到的尺度的细节和结构差值进行聚合得到相邻尺度的互补特征/>多尺度减法单元公式表示为：
其中，θ为逐元减法，Filter为卷积滤波器。
Transformer由于拥有自注意力机制使其能够建模任意两个位置之间的依赖关系，从而拥有强大的全局感知能力。为使编码器能够获得详细的多尺度全局上下文信息，使用MPViT作为编码器的一个分支进行全局多尺度特征提取。MPViT分支有4个阶段，每个阶段首先将同一特征同时嵌入到不同尺度的patch中，然后通过多个路径将不同尺度的patch序列单独输入到Transformer编码器中，进行全局特征提取，聚合得到不同尺度patch序列下的全局特征，从而在同一特征级上实现不同尺度的特征表示；相比于传统VisioTransformer，多尺度patch与多路径Transformer结构获得更加多样化的多尺度特征表示，从而使融合图像保留更多全局上下文信息。
多尺度patch模块的结构如图8所示，多尺度patch模块通过使用不同的卷积核大小，在同一特征级别上实现了细粒度和粗粒度的不同尺度patch表示。在第一阶段中，给定来自Conv-stem得到的输出特征采用核大小为k的卷积Fk×k(·)将输入Xi映射为新的token特征Fk×k(Xi)，公式如下：
其中，其中k为卷积核大小，s为步长，p为填充；通过调整卷积的填充与步长调整不同尺度patch下token序列的长度，因此通过构建不同核尺寸(3×3，5×5，7×7)的卷积来构建大小相同但patch尺度不同的特征。由于具有相同通道数和卷积核大小的连续卷积操作扩大感受野，因此在实际过程中选择两个连续的3×3卷积层代替5×5卷积，三个连续的3×3卷积层代替7×7卷积。同时为了减少模型参数和计算开销，卷积采用3×3的深度可分离卷积，包括3×3深度卷积和1×1点卷积。通道大小为C′，padding为1，步幅为s，其中s在降低空间分辨率时为2，否则为1。在给定前一阶段的输出特征时，通过多尺度patch模块得到patch尺度不同，但特征图大小相同的特征F3×3(Xi)，F5×5(Xi)，F7×7(Xi)，之后，通过reshape操作映射为长度为Hi×Wi，通道数为Ci的特征序列，并将特征序列分别输送到多路径Transformer模块，进行全局特征提取与聚合；
所述多路径Transformer模块，先对每个尺度的patch添加一个对应的Transformer分支，之后为更好的捕捉每个patch的结构信息和局部关系，在多路径Transformer模块中额外添加一个局部卷积分支。将Transformer分支的全局特征经过二维重塑变为特征图的形式和卷积分支的局部特征进行串联，得到聚合特征Ai，并通过1×1的卷积输出最终特征Xi+1，作为下一阶段的输入；并采用高效分解自注意力机制，以减轻多路径结构的计算负担。同时，在Transformer的特征映射阶段，使用多类令牌Transformer弱监督语义分割中的多CLS令牌代替全局平均池化来获取更多的空间结构信息，Transformer分支结构如图10(a)所示，图中Transformer块是Transformer分支。其中Transformer分支由两个归一化层、一个多头自注意层、一个前馈网络层、平均池化层组成。
虽然Transformer中的self-attention机制可以捕获长期依赖关系(即全局上下文)，但可能会忽略每个patch中的结构性信息和局部关系。相比之下，CNN可以利用平移不变性中的局部连通性更好的捕捉每个patch的结构信息和局部关系，因此，在多路径Transformer模块中，添加了一个卷积分支，用于表示局部特征，局部卷积块结构如图10(b)所示，图中局部卷积块是局部卷积分支，所述局部卷积分支由两个1×1卷积和一个3×3深度卷积以及残差连接组成。其中深度卷积是为了减少计算量。
步骤4：经过步骤3后，对两幅图像提取到的特征分别进行聚合，然后依据自适应融合策略进行融合，得到融合特征，融合网络中的解码器根据融合特征进行图像重建，得到融合图像。
采用损失函数来训练所述融合网络，所述损失函数为均方误差损失，结构相似度损失以及总变差损失之和；
均方误差损失通过计算重构图像与源图像之间对应像素值的差平方，并求平均值来衡量生成图像与目标图像之间的差异，保证像素级重建，公式如下：
其中，Iout为输出的重建图像，Iin为输入的源图像，i，j分别为图像像素点的横坐标和纵坐标；
结构相似度损失通过对比重构图像与源图像之间的结构相似性来训练网络，公式如下：
Lssim＝1-SSIM(Iout，Iin) (13)
其中，SSIM函数表示重构图像与源图像之间的结构相似度；
总变差损失用于惩罚图像中的空间变换，公式如下：
R(i，j)＝Iout(i，j)-Iin(i，j) (14)
LTV＝∑i，j(||R(i，j+1)-R(i，j)||2+||R(i+1，j)-R(i，j)||2) (15)
其中，R(i，j)为原始图像与重建图像的差值，||.||2为L2范数；
损失函数公式如下：
L＝Lmse+λ1Lssim+λ2LTV (16)
其中，λ1与λ2分别为结构相似度损失与总变差损失在总损失中的权重系数。
本发明采用自适应融合策略，可以根据特征图各位置所含能量的不同，自适应的选择合适的融合规则，较好地保存了重要特征信息。
首先用GLKM(i，j)(K∈A，B)表示特征图在(i，j)处的能量值，K代表特定图像特征图的编号，M为特征图的通道数量。通过设置阈值T来确定对应位置所应用的策略。具体规则如下：
1)若即两幅图像在对应位置上的能量小于阈值T时，采用最大值策略进行融合，融合特征F(i，j)，公式如下：
2)若即两幅图像在对应位置上的能量大于阈值T时，采用L1范式进行融合，融合特征F(i，j)：
其中，CK(i，j)代表初始活动水平，||·||1表示第一范数，WA与WB分别代表两幅特征图对应位置的权重。
经编码器得到两幅图像的特征后，根据上述融合规则分别计算对应通道上每个位置处的能量值，根据能量值的高低，选择最大值策略或L1范数对特征进行融合，得到最终的融合特征，融合特征经解码器逐步调整通道数，得到最终融合图像。
将不同模态图像经过空间配准网络进行空间上的对齐，之后经过具有局部-全局多尺度特征提取能力的编码器进行特征提取，然后将基于该编码器提取的图像特征进行自适应融合，最后通过解码器重建得到融合图像。本发明的配准融合流程如图11所示。
本发明的融合方法分为训练阶段和测试阶段两部分，具体过程如下：
(1)训练阶段
本发明的融合网络训练也就是编码器-解码器训练，训练过程如算法1所示。每次迭代输入batchsize张医学图像，图像image经编码器多尺度减法CNN与MPViT分支进行局部与全局多尺度特征提取，得到特征flg，将提取到的特征flg输入到解码器中进行图像重建，得到重建图像img_d，经过多轮训练，根据重建图像与与原始输入图像的均方误差损失LMSE以及相似度损失Lssim和总变差损失LTV对编码器与解码器参数进行优化。
(2)测试阶段
为验证模型在实际应用中的可靠性和稳定性，对网络模型进行验证测试，测试过程如算法2。输入未配准成对医学图像T与M，将图像T与M经训练好的配准网络得到配准后图像MO∮T2M和T(或M与TO∮T2M)，之后将配准后图像MO∮T2M和T输入到训练好的编码器中进行特征提取，得到特征GLMO∮T2M与特征GLT，提取到特征经自适应融合模块进行融合，得到融合特征，融合特征经训练好的解码器进行图像重建，得到融合后图像。
实施例2
为验证本发明在配准融合上的效果，在配准阶段选择了基于局部邻域的特征描述符的图像配准，基于VoxelMorph的医学图像配准和基于RegGAN的多模态图像配准作为配准对比方法。在融合阶段选择了基于卷积神经网络的图像融合方法U2Fusion，基于卷积自编码器的图像融合方法SeAFusion，基于残差密集网络的图像融合方法UMF-CMGR，以及基于UNET架构的图像融合方法DPE-MEF和基于CNN与Transformer并行的图像融合方法TransMEF作为融合对比方法。
(1)配准对比
采用本发明配准方法和上述三种配准方法分别对CT向MR配准和MR向CT配准进行测试，配准结果如图12所示。通过将配准后图像与目标图像进行重叠，并调整透明度，观察两幅图像重叠程度来判断图像配准精度。在CT向MR的配准测试中，MIND方法配准后图像出现了较大程度的畸变，将配准后图像与目标图像进行重叠对比可以看到图像轮廓未能很好的重叠，VoxelMorph和RegGAN相比MIND方法配准误差较小，仅在图像边缘处存在部分未对齐现象。相比之下，本发明方法在图像畸变处理和边缘对齐精度上都有良好的表现。在MR向CT的配准测试中，MIND，VoxelMorph以及RegGan三种方法均在图像边缘处存在未对齐现象，其中VoxelMorph在图像边缘处的未对齐现象最明显，本发明方法相比上述三种方法消除了不同模态间分布差异的影响，能较好贴合图像边缘。
为客观评价本发明配准方法与上述三种配准方法的优劣，实验选取5种客观评价指标：Dice系数，HD95，均方根误差(RMSE)，平均绝对误差(MAE)，互信息(MI)对配准结果进行客观评价。其中Dice系数是一种用于评估两个集合的相似性或重叠度的统计指标，Dice系数的值越大代表两个集合的重叠度越高；HD95是Hausdorff距离的百分之95，其中Hausdorff距离用于度量两个点集之间相似性的距离度量，HD95的值越小，表示两个图像越相似；均方根误差(RMSE)和平均绝对误差(MAE)是一种用于度量观测值和实际值之间差异的统计指标，RMSE和MAE的值越小代表观测值与实际值之间的差异越小；互信息(MI)衡量了两幅图像的信息重叠程度，互信息值越高，配准质量越好。
本发明配准方法与上述三种配准方法的观评价指标均值如表1所示：
表1配准客观评价指标均值
/>
从表1中可以看出本发明配准方法在所有五个客观评价指标中均高于其他三种配准方法。
(2)融合对比
本发明所提出的方法与上述五种对比方法进行了融合结果的对比，如图13所示。从图中可以观察到不同融合方法在结果上的差异。U2Fusion的融合结果由于仅采用多尺度卷积的特征提取方式，从而导致在图像边缘呈现出一定程度的模糊和信息的丢失。SeAFusion仅使用残差连接来强化网络对特征提取的能力，忽视了不同尺度的特征信息，导致融合结果的对比度较差，细节信息不清晰。UMF-CMGR采用和SeAFusion类似的特征提取方式，导致融合结果中存在一些伪影和噪声。DPE-MEF的融合结果虽然保留了图像的细节信息但图像亮度不高，不能很好地突出病灶信息。TransMEF由于仅使用单一尺度的卷积和Transfromer来进行特征提取，导致提取到的特征中局部信息与全局信息不充分，使融合结果的边缘平滑度和亮度保持不足。相比之下，本发明所提出的融合方法对局部多尺度信息和全局多尺度信息都进行了很好的保留，因此在融合结果中不仅很好地保留了不同模态的细节信息，同时在亮度保持方面也有出色的表现，整体图像的视觉效果最佳，可以较好地帮助医生进行病情的正确判断。
为客观评价本发明融合效果与上述五种对比方法融合效果的优劣，实验选取7个客观评价指标：标准差(SD)，空间频率(SF)，互信息(MI)，差异相关和(SCD)，视觉保真度(VIFF)，梯度融合性能(QAB/F)，结构相似度(SSIM)对融合效果进行比较。其中SD衡量了图像中像素值的变化程度，较高的SD值意味着图像具有更大的灰度变化，表示图像具有更丰富的细节和对比度；SF表示图像中的变化率，较高的SF值表示图像包含更多的边缘细节信息；MI衡量了融合图像与源图像之间的信息量共享程度，较高的MI值表示融合图像与源图像更相关，保留了更多的共同信息；SCD利用一幅源图像和融合图像之间的差值来描述另一幅源图像在融合图像中的信息，CD值为正且越大，表示融合图像与源图像的相关性越高；VIFF衡量融合图像与源图像之间的信息一致性，较高的VIFF值表示融合图像能更好的保留原始图像的视觉信息；QAB/F表示从输入图像中获得的视觉信息的质量，QAB/F值越高表示融合图像的质量越好；SSIM衡量融合图像与源图像之间的结构和纹理相似性，较高的SSIM值表示融合图像保留了更多源图像的结构信息。
本发明融合效果与上述五种对比方法融合效果的客观评价指标均值如表2所示：
表2融合客观评价指标均值
从表2可以看出本发明融合方法性能在六个指标中全部高于五种对比方法，在SF指标中也处于其他五种方法前列。
Claims (9)
1.空间配准与局部全局多尺度的多模态医学图像融合方法，其特征在于，采用空间配准网络和融合网络，包括以下步骤：
步骤1：在空间配准网络中，将未配准的浮动图像M与目标图像T按通道拼接，输入到训练好的变形场网络R中，得到预测变形场∮T2M；
步骤2：将浮动图像M根据预测变形场∮T2M进行配准，得到配准后图像并输入到融合网络中；
步骤3：在融合网络中，将配准后图像与目标图像T，分别经过融合网络中的相同编码器进行局部全局多尺度特征提取；
步骤4：经过步骤3后，对两幅图像提取到的特征分别进行聚合，然后依据自适应融合策略进行融合，得到融合特征，融合网络中的解码器根据融合特征进行图像重建，得到融合图像。
2.根据权利要求1所述的空间配准与局部全局多尺度的多模态医学图像融合方法，其特征在于，所述步骤1中空间配准网络的训练为：
首先将目标图像T与浮动图像M按通道拼接输入到变形场网络R中，进行特征提取，得到基于目标图像T的变形场∮T2M和基于浮动图像M的变形场∮M2T，公式如下：
uT＝Rθ(T,M) (1)
uM＝Rθ(M,T) (2)
∮T2M＝Id+uT (3)
∮M2T＝Id+uM (4)
其中，uT与uM分别表示学习到的基于目标图像T的和基于浮动图像M的变形场；Id表示一恒等变形场；θ表示变形场网络相关参数；表示通过最小化图像相似度损失，表示最小化变形场正则化约束来优化配准网络；
之后，采用空间变换网络根据变形场∮M2T与∮T2M分别对目标图像T与浮动图像M的每一个像素点进行位移变换，得到配准后图像与/> 最后，将配准后图像和浮动图像M以及配准后图像/>和目标图像T，分别输送到训练好的空间评估器中得到空间误差e1与e2；并通过公式(5)最小化空间误差e1与e2，同时根据公式(6)最小化变形场的空间正则化约束来优化空间配准网络的参数。
3.根据权利要求2所述的空间配准与局部全局多尺度的多模态医学图像融合方法，其特征在于，所述空间评估器的结构：为一个7×7初始卷积块对输入图像周围进行填充，之后两个3×3的卷积进行浅层特征提取，并在其后顺序堆叠9个残差块进行更深层次的特征提取，从而保留更多的空间信息，最后通过两次3×3上采样和一个Tanh激活函数，核大小为7×7的卷积层，将特征向量转化为一个标量，表示两幅图像的空间差异。
4.根据权利要求1所述的空间配准与局部全局多尺度的多模态医学图像融合方法，其特征在于，所述步骤3中融合网络的结构为：采用编码器-解码器结构；其中编码器由多尺度减法CNN和MPViT两个分支组成，分别用于提取图像的局部与全局多尺度特征；
所述多尺度减法CNN分支，利用多尺度减法单元计算相邻尺度间的差异特征，并将其融合得到包含不同尺度间差异信息的互补特征；
所述MPViT分支，采用多尺度patch和多路径的结构，共有4个阶段，每个阶段由一个多尺度patch模块和一个多路径Transformer模块组成。
5.根据权利要求4所述的空间配准与局部全局多尺度的多模态医学图像融合方法，其特征在于，所述多尺度减法CNN分支的结构为，采用Res2Net-50作为骨干网络，提取不同尺度的特征，将每个不同尺度的特征经过3×3卷积，将通道数减少至64，以减少后续操作的参数数量，在水平和垂直方向上添加多个多尺度减法单元，并将其连接起来，计算出一系列不同阶数和跨尺度的补充特征将相应尺度的特征/>和跨尺度补充特征/>进行逐元相加，得到互补增强特征CEi，公式如下：
其中，i表示对应的尺度，n表示不同的阶数。
6.根据权利要求5所述的空间配准与局部全局多尺度的多模态医学图像融合方法，其特征在于，所述多尺度减法单元为，通过固定大小的多尺度卷积滤波器，分别对两个特征图FA和FB进行特征提取，之后对同一尺度卷积滤波器所提取到的两个特征采用逐元减法进行相减，得到相邻尺度特征之间的细节和结构差值i表示不同大小的卷积核，最后将得到的尺度的细节和结构差值进行聚合得到相邻尺度的互补特征/>
7.根据权利要求4所述的空间配准与局部全局多尺度的多模态医学图像融合方法，其特征在于，所述MPViT分支有4个阶段，每个阶段首先将同一特征同时嵌入到不同尺度的patch中，然后通过多个路径将不同尺度的patch序列单独输入到Transformer编码器中，进行全局特征提取，聚合得到不同尺度patch序列下的全局特征，从而在同一特征级上实现不同尺度的特征表示；
所述多尺度patch模块的结构为：在第一阶段中，给定来自Conv-stem得到的输出特征采用核大小为k的卷积Fk×k(·)将输入Xi映射为新的token特征Fk×k(Xi)，公式如下：
其中，其中k为卷积核大小，s为步长，p为填充；
在给定前一阶段的输出特征时，通过多尺度patch模块得到patch尺度不同，但特征图大小相同的特征，再通过reshape操作映射为长度为Hi×Wi，通道数为Ci的特征序列，并将特征序列分别输送到多路径Transformer模块，进行全局特征提取与聚合；
所述多路径Transformer模块，先对每个尺度的patch添加一个对应的Transformer分支，之后为更好的捕捉每个patch的结构信息和局部关系，在多路径Transformer模块中额外添加一个局部卷积分支，特征提取后，将Transformer分支的全局特征经过二维重塑变为特征图的形式和卷积分支的局部特征进行串联，得到聚合特征Ai，并通过1×1的卷积输出最终特征Xi+1，作为下一阶段的输入；
其中Transformer分支由两个归一化层、一个多头自注意层、一个前馈网络层、平均池化层组成，所述局部卷积分支由两个1×1卷积和一个3×3深度卷积以及残差连接组成。
8.根据权利要求1所述的空间配准与局部全局多尺度的多模态医学图像融合方法，其特征在于，采用损失函数来训练所述融合网络，所述损失函数为均方误差损失，结构相似度损失以及总变差损失之和；
所述均方误差损失通过计算重构图像与源图像之间对应像素值的差平方，并求平均值来衡量生成图像与目标图像之间的差异，保证像素级重建，公式如下：
其中，Iout为输出的重建图像，Iin为输入的源图像，i，j分别为图像像素点的横坐标和纵坐标；
所述结构相似度损失通过对比重构图像与源图像之间的结构相似性来训练网络，公式如下：
Lssim＝1-SSIM(Iout,Iin) (11)
其中，SSIM函数表示重构图像与源图像之间的结构相似度；
所述总变差损失用于惩罚图像中的空间变换，公式如下：
R(i,j)＝Iout(i,j)-Iin(i,j) (12)
LTV＝Σi,j(||R(i,j+1)-R(i,j)||2+||R(i+1,j)-R(i,j)||2) (13)
其中，R(i,j)为原始图像与重建图像的差值，||.||2为L2范数；
所述损失函数公式如下：
L＝Lmse+λ1Lssim+λ2LTV (14)
其中，λ1与λ2分别为结构相似度损失与总变差损失在总损失中的权重系数。
9.根据权利要求1所述的空间配准与局部全局多尺度的多模态医学图像融合方法，其特征在于，所述自适应融合策略为：
首先用GLKM(i,j)(K∈A,B)表示特征图在(i,j)处的能量值，K代表特定图像特征图的编号，M为特征图的通道数量；通过设置阈值T来确定对应位置所应用的策略，具体规则如下：
1)若即两幅图像在对应位置上的能量小于阈值T时，采用最大值策略进行融合，融合特征F(i,j)，公式如下：
2)若即两幅图像在对应位置上的能量大于阈值T时，采用L1范式进行融合，融合特征F(i,j)：
其中，CK(i,j)代表初始活动水平，||·||1表示第一范数，WA与WB分别代表两幅特征图对应位置的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311513745.3A CN117333750A (zh) | 2023-11-14 | 2023-11-14 | 空间配准与局部全局多尺度的多模态医学图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311513745.3A CN117333750A (zh) | 2023-11-14 | 2023-11-14 | 空间配准与局部全局多尺度的多模态医学图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117333750A true CN117333750A (zh) | 2024-01-02 |
Family
ID=89275814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311513745.3A Pending CN117333750A (zh) | 2023-11-14 | 2023-11-14 | 空间配准与局部全局多尺度的多模态医学图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333750A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974475A (zh) * | 2024-04-02 | 2024-05-03 | 华中科技大学同济医学院附属同济医院 | 四维超声内镜观测下病灶影像融合方法及*** |
-
2023
- 2023-11-14 CN CN202311513745.3A patent/CN117333750A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974475A (zh) * | 2024-04-02 | 2024-05-03 | 华中科技大学同济医学院附属同济医院 | 四维超声内镜观测下病灶影像融合方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN108734659B (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN107194912B (zh) | 基于稀疏表示的改进耦合字典学习的脑部ct/mr图像融合方法 | |
| CN112116601B (zh) | 基于生成对抗残差网络的压缩感知采样重建方法及*** | |
| CN111870245B (zh) | 一种跨对比度引导的超快速核磁共振成像深度学习方法 | |
| CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及*** | |
| CN110136122B (zh) | 一种基于注意力深度特征重建的脑mr图像分割方法 | |
| CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
| CN112132878B (zh) | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 | |
| CN115457020B (zh) | 一种融合残差图像信息的2d医学图像配准方法 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| CN110853048A (zh) | 基于粗、精训练的mri图像分割方法、装置和存储介质 | |
| CN115456927A (zh) | 一种脑部医学图像合成方法、***、电子设备及存储介质 | |
| CN115511767A (zh) | 一种自监督学习的多模态图像融合方法及其应用 | |
| CN114331849B (zh) | 一种跨模态核磁共振超分网络及图像超分辨率方法 | |
| CN115578427A (zh) | 基于深度学习的无监督单模态医学图像配准方法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN116843679B (zh) | 基于深度图像先验框架的pet图像部分容积校正方法 | |
| Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
| CN117593199A (zh) | 一种基于高斯先验分布自注意力的双流遥感图像融合方法 | |
| Yang et al. | MGDUN: An interpretable network for multi-contrast MRI image super-resolution reconstruction | |
| CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
| CN110866888A (zh) | 基于潜在信息表征gan的多模态mri合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |