CN116862765A - 一种医学影像超分辨率重建方法及*** - Google Patents

一种医学影像超分辨率重建方法及*** Download PDF

Info

Publication number
CN116862765A
CN116862765A CN202310594669.7A CN202310594669A CN116862765A CN 116862765 A CN116862765 A CN 116862765A CN 202310594669 A CN202310594669 A CN 202310594669A CN 116862765 A CN116862765 A CN 116862765A
Authority
CN
China
Prior art keywords
module
feature map
resolution
channel
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310594669.7A
Other languages
English (en)
Inventor
张瑜
马涵骁
刘丽霞
张友梅
李彬
张明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202310594669.7A priority Critical patent/CN116862765A/zh
Publication of CN116862765A publication Critical patent/CN116862765A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种医学影像超分辨率重建方法及***，涉及计算机视觉技术领域，获取待重建的低分辨率医学图像；通过训练后的超分辨率重建模型处理所述低分辨率图像，以生成并输出最终的高分辨率医学图像；超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块，所述深层特征提取模块中，并行的卷积模块和局部窗口自注意力模块通过权值共享模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图和信道特征图，通道拼接后得到深层特征图；本发明相比基于Transformer和CNN的模型，更好地恢复黑色背景和中心区域的重要信息，恢复出医学影像更多的细节信息，提高医学影像超分辨率重建精度。

Description

一种医学影像超分辨率重建方法及***
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种医学影像超分辨率重建方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在医学成像技术进步的推动下，磁共振成像(MRI)在常规临床诊断评估中发挥着越来越重要的作用，而高分辨率(HR)磁共振成像可以提供更为丰富的细节，更有利于诊断。然而，由于时间限制、所需的信噪比和身体运动等原因，用成像设备很难捕捉到高质量的高分辨率MRI图像；近年来，图像超分辨率(SR)已被应用于从低分辨率(LR)的图像中重新构建高分辨率(HR)的图像；因此，作为一种提高MRI图像质量的可行方案，受到了广泛的关注。
图像超分辨率方法通过学习LR图像和HR图像之间的映射来重建HR图像，很多传统的插值方法已经被提出来用于图像超分辨率，如双三次插值、Lanczos-σ，然而，这些方法的性能并不令人满意；随着深度学习技术的蓬勃发展，深度神经网络，特别是卷积神经网络(CNN)和Transformer，已经主导了图像超分辨率的任务；很多方法已经被提出来用于处理MRI图像。MRI图像通常包含大面积的背景区域，这些区域的信息比中心区域少得多。
大多数基于CNN的方法有两个缺点：首先，CNN很难捕捉到长距离的依赖关系，使得很难充分利用大区域的相似性，导致建模信息的效率降低；其次，以前大多数基于CNN的方法对图像的所有空间像素都一视同仁，阻碍了其表示能力。基于Transformer的方法在图像超分辨率SR中的表现非常惊人，这取决于捕捉全局信息的强大能力，Liang等人提出的基于SwinTransformer的SwinIR在SR中取得了良好的效果，然而，单独利用Transformer会大大增加计算时间，这在MRI中是无法承受的。
发明内容
为克服上述现有技术的不足，本发明提供了一种医学影像超分辨率重建方法及***，相比基于Transformer和CNN的现有模型，更好地恢复黑色背景和中心区域的重要信息，恢复出医学影像更多的细节信息，提高医学影像超分辨率重建精度。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了一种医学影像超分辨率重建方法；
一种医学影像超分辨率重建方法，包括：
获取待重建的低分辨率医学图像；
通过训练后的超分辨率重建模型处理所述低分辨率图像，以生成并输出最终的高分辨率医学图像；
其中，所述超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块，所述深层特征提取模块中，并行的卷积模块和局部窗口自注意力模块通过权值共享模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图和信道特征图，通道拼接后得到深层特征图。
进一步的，所述浅层特征提取模块，使用3×3的卷积层从低分辨率医学图像中提取浅层特征图。
进一步的，所述深层特征提取模块的处理过程，具体为：输入的浅层特征图经过依次连接的多个共享残差SwinTransformer模块和一个3×3的卷积层，得到深层特征图。
进一步的，所述共享残差SwinTransformer模块的处理过程，具体为：输入的特征图经过依次连接的多个共享SwinTransformer模块，得到共享特征图，共享特征图与输入的特征图进行残差连接，得到共享残差特征图。
进一步的，所述共享SwinTransformer模块，由通道拆分操作、局部窗口自注意力模块、卷积核大小为3×3的卷积模块、权值共享模块、通道拼接操作和前馈神经网络组成，处理过程具体为：
通过通道拆分操作将输入的特征图拆分为两个特征子图，分别输入到局部窗口自注意力模块和卷积模块中；
所述局部窗口自注意力模块和卷积模块，基于权值共享模块共享的动态权值，生成空间特征图和信道特征图；
空间特征图、信道特征图和输入的特征图通过通道拼接操作进行拼接；
拼接后的特征图输入到前馈神经网络中，得到共享特征图。
进一步的，所述空间特征图和信道特征图的具体生成过程为：
(1)卷积模块从拆分后的特征子图X1中提取卷积特征图和初始信道特征图X′C；
(2)基于卷积特征信道权重共享子模块计算信道权重WC，并共享给局部窗口自注意力模块；
(3)基于信道权重WC，局部窗口自注意力模块从拆分后的特征子图X2中提取空间特征图XA；
(4)基于空间特征图XA，空间权重共享子模块计算空间权重WA，并共享给卷积模块；
(5)基于空间权重WA，卷积模块对初始信道特征图X′C进行空间加权，得到信道特征图XC。
进一步的，所述重建模块，利用由亚像素卷积层和3×3的卷积组成的上采样层，对深层特征图MD和浅层特征图MS相加后的特征图进行上采样，将信息流重整为指定上采样倍率的特征图，得到高分辨率图像ISR。
本发明第二方面提供了一种医学影像超分辨率重建***。
一种医学影像超分辨率重建***，包括获取模块和生成模块：
获取模块，被配置为：获取待重建的低分辨率医学图像；
生成模块，被配置为：通过训练后的超分辨率重建模型处理所述低分辨率图像，以生成并输出最终的高分辨率医学图像；
其中，所述超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块，所述深层特征提取模块中，并行的卷积模块和局部窗口自注意力模块通过权值共享模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图和信道特征图，通道拼接后得到深层特征图。
本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种医学影像超分辨率重建方法中的步骤。
本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种医学影像超分辨率重建方法中的步骤。
以上一个或多个技术方案存在以下有益效果：
本发明采用卷积模块和局部窗口自注意力模块并行处理，通过通道分离技术，将特征图拆分为两个特征子图分别输入到并行的两个模块中，在两个模块间实现动态权值的计算和共享，同时获取了特征图的长距离依赖和中心区域的细节信息。
本发明通过权值共享模块的信道权重共享子模块和空间权重共享子模块，动态计算信道权值和空间权值，生成空间特征图和信道特征图，通道拼接后得到深层特征图，将注意力机制与卷积相结合，提高了卷积获取信道特征的能力，也提高了获取空间特征的能力；克服了卷积模块受限于卷积感受野，难以获取长距离依赖的难题，增强了局部窗口自注意力获取图像细节的能力。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例超分辨率重建模型的结构图。
图2为第一个实施例共享残差SwinTransformer模块RSSTB的结构图。
图3为第一个实施例共享SwinTransformer模块SACB的结构图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中，公开了一种医学影像超分辨率重建方法，包括如下步骤：
(1)获取待重建的低分辨率医学图像。
(2)通过训练后的超分辨率重建模型处理所述低分辨率图像，以生成并输出最终的高分辨率医学图像。
其中，所述超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块，所述深层特征提取模块中，并行的卷积模块和局部窗口自注意力模块通过权值共享模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图和信道特征图，经过处理后得到深层特征图。
下面对本实施例一种医学影像超分辨率重建方法的实现过程，从超分辨率重建模型构建、训练和使用的角度进行详细说明，即如下三个方面：
一、构建基于卷积和自注意力的超分辨率重建模型，并实现卷积和自注意力的权值共享。
图1是超分辨率重建模型的结构图，如图1所示，超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块。浅层特征提取模块对输入的低分辨率医学图像进行浅层特征图提取；深层特征提取模块由多个共享残差SwinTransformer模块RSSTB和卷积层级联而成，提取深层特征图；重建模块由亚像素卷积和一个3×3卷积层组成，负责对深层特征图和浅层特征图相加得到的特征图进行上采样，得到最终的高分辨率医学图像。
浅层特征提取模块
对输入的低分辨率医学图像进行浅层特征提取，使用一个3×3大小的卷积层提取浅层特征图，具体操作如下：
MS＝FS(ILR) (1)
其中，FS表示浅层特征提取模块，ILR表示输入的低分辨率医学图像，MS表示浅层特征图。
深层特征提取模块
如图1中的深层特征提取所示，利用n个共享残差SwinTransformer模块RSSTB和一个3×3的卷积层组成的深层特征提取模块，对浅层特征图进行特征融合，提取深层特征图，其中，共享残差SwinTransformer模块RSSTB中包含m个共享SwinTransformer模块SACB，本实施例中取n＝3，m＝3,深层特征提取模块的结构用公式表示为：
Mi＝FRSSTB(Mi-1)，i＝1，2，...，n
MD＝Fconv(Mn) (2)
其中，FRSSTB表示共享残差SwinTransformer模块，n表示共享残差SwinTransformer模块的数量，Mi、Mi-1、Mn分别表示第i个、第i-1个、第n个共享残差SwinTransformer模块输出的共享残差特征图，Fconv表示卷积核大小为3X3的卷积操作，MD表示深层特征图。
图2是共享残差SwinTransformer模块RSSTB的结构图，如图2所示，共享残差SwinTransformer模块，包含多个共享SwinTransformer模块SACB和一个残差连接，第i个共享残差SwinTransformer模块RSSTB，用公式表示为：
Mt＝F3*SACB(Mi-1)，i＝1，2，...，n
Mi＝Mt+Mi-1 (3)
其中，F3*SACB表示经过3个共享SwinTransformer模块SACB，Mt表示经过3个共享SwinTransformer模块输出的共享特征图，Mi、Mi-1分别表示第i个、第i-1个共享残差SwinTransformer模块输出的共享残差特征图。
图3是共享SwinTransformer模块SACB的结构图，如图3所示，共享SwinTransformer模块SACB由通道拆分操作、局部窗口自注意力模块、卷积核大小为3×3的卷积模块、权值共享模块、通道拼接操作和前馈神经网络组成，处理过程具体为：
(1)通过通道拆分操作将输入的特征图X拆分为两个特征子图X1和X2，分别输入到局部窗口自注意力模块和卷积模块中；
(2)所述局部窗口自注意力模块和卷积模块，基于权值共享模块共享的动态权值，生成空间特征图XA和信道特征图Xc；
(3)空间特征图XA、信道特征图XC和输入的特征图X通过通道拼接操作进行拼接；
(4)拼接后的特征图输入到前馈神经网络中，得到共享特征图。
在步骤(2)空间特征图XA和信道特征图XC的生成过程中，并行的卷积模块和局部窗口自注意力模块通过权值共享模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图和信道特征图。
具体的，权值共享模块包括信道权重共享子模块和空间权重共享子模块，局部窗口自注意力模块和卷积模块通过权值共享模块的两个子模块进行权值共享，特征图的具体生成过程为：
(1)卷积模块从拆分后的特征子图X1中提取卷积特征图和初始信道特征图X′C；
(2)基于卷积特征信道权重共享子模块计算信道权重WC，并共享给局部窗口自注意力模块；
(3)基于信道权重WC，局部窗口自注意力模块从拆分后的特征子图X2中提取空间特征图XA；
(4)基于空间特征图XA，空间权重共享子模块计算空间权重WA，并共享给卷积模块；
(5)基于空间权重WA，卷积模块对初始信道特征图X′C进行空间加权，得到信道特征图XC。
信道权重共享模块计算信道权重WC，具体过程为：将卷积模块提取的卷积特征依次经过全局平均池化(GAP)、卷积核为1×1的卷积、Leaky Relu激活函数、卷积核为1×1的卷积和sigmoid激活函数，得到信道权重WC；空间权重共享模块计算空间权重WA，具体过程为：将空间特征图XA依次经过卷积核为1×1的卷积、Leaky Relu激活函数、卷积核为1×1的卷积和sigmoid激活函数，得到空间权重WA。
基于以上说明，生成空间特征图XA和信道特征图XC的具体过程，用公式表示为：
X1，X2＝FSP(F1×1(X))
Q＝X2PQ
K＝X2PK
V＝X2PVWC
WA＝FSig(F1×1(FLRelu(F1×1(XA))))
XC＝X′CWA
其中，X表示输入的特征图，X1、X2为X被拆分后的两个特征子图，F1×1、F3×3分别为1×1、3×3的卷积操作；FLRelu表示表示LeakyRelu激活函数，表示卷积特征图，X′C表示初始信道特征图，WC表示信道权重，GAP表示全局1平均池化操作，FSig表示sigmoid激活函数，Q、K和V分别表示查询、键和值矩阵，PQ、PK、PV表示Q、K、V的变换矩阵，XA表示空间特征图，Attention表示自注意力计算，SoftMax表示SoftMax函数，B表示可学习的相对位置编码，WA表示空间权重，XC表示信道特征图，FCAT表示通道拼接操作，/>表示拼接后的特征图，FFN表示前馈网络，Y表示共享特征图，即共享SwinTransformer模块SACB输出的特征。
重建模块
重建模块，利用由亚像素卷积层和3×3的卷积组成的上采样层，对深层特征图MD和浅层特征图MS相加后的特征图进行上采样，将信息流重整为指定上采样倍率的特征图，得到高分辨率图像ISR，该过程描述为：
ISR＝FUP(MD+MS) (6)
其中，ISR表示超分辨率重建后的高分辨率图像，FUP表示重建模块。
二、使用横断面MRI图像oasis数据集训练超分辨率重建模型，并测试模型的训练效果。
具体的，在横断面MRI图像oasis数据集中处理得到N个低分辨率图像与其对应的高分辨率图像，对图像进行不同的缩放尺度，得到训练数据集。
利用训练数据集对超分辨率重建模型进行训练，训练过程中，通过损失函数对模型进行优化，采用L2构建损失函数，具体公式为：
其中，Isr表示恢复后的超分辨率图像，Ihr表示原高分辨率图像，i、j表示图像矩阵中对应的像素点，H和W分别表示图像的高和宽，L2表示L2损失函数。
在训练完成后，通过PSNR和SSIM这两个指标测试模型的训练效果，两个指标的值越高，训练效果越好。
PSNR全称为Peak Signal to Noise Ratio，即峰值信噪比，是一种评价图像质量的客观标准，经常用于计算两张图像的可视误差，如衡量原图与经过压缩后图像之间的可视化差异、去雨网络生成的图像与真实图像之间的差异等等，计算方法具体为：
假设处理后的图像为I，真实图像为K，尺寸均为m×n，则峰值噪声比定义为：
其中，MAX表示图像上像素点最大的数值，由于网络输出的图像为归一化后的图像，因此在本实施例中定义为1，MSE定义为：
SSIM全称为Structural Similarity，即结构相似性，用于评估两幅图像相似度的指标，常用于衡量图像失真前与失真后的相似性，也用于衡量模型生成图像的真实性，如图像去雨、图像去雾、图像和谐化等等，计算方法具体为：
SSIM的计算基于滑动窗口实现，即每次计算均从图片上取一个尺寸为N×N的窗口，基于窗口计算SSIM指标，遍历整张图像后再将所有窗口的数值取平均值，作为整张图像的SSIM指标。
假设x表示第一张图像窗口中的数据，y表示第二张图像窗口中的数据；其中图像的相似性由三部分构成：luminance(亮度)、contrast(对比度)和structure(结构)。
luminance计算公式为：
contrast计算公式为：
structure计算公式为：
其中，μx和μy依次表示x和y的均值，σx和σy依次表示x和y的方差，σxy表示x和y之间的协方差，c1＝(k1L)2、c2＝(k2L)2以及表示三个常数，避免分母为0，k1与k2依次默认为0.01和0.03，L表示图像像素值的范围，本实施例中L设为1。
最后SSIM的计算公式为：
SSIM(x,y)＝[l(x,y)α·c(x,y)β·s(x,y)γ] (13)
本实施例中令α,β,γ均为1，即：
这也是常用的SSIM计算公式。
三、使用训练好的超分辨率重建模型进行实际的医学影像超分辨率重建。
在模型训练完成后，封装训练好的超分辨率模型用于实际的重建，具体为：将待重建的低分辨率医学图像输入到训练好的超分辨率模型中，以生成并输出最终的高分辨率医学图像。
实施例二
在一个或多个实施例中，公开了一种医学影像超分辨率重建***，包括获取模块和生成模块：
获取模块，被配置为：获取待重建的低分辨率医学图像；
生成模块，被配置为：通过训练后的超分辨率重建模型处理所述低分辨率图像，以生成并输出最终的高分辨率医学图像；
其中，所述超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块，所述深层特征提取模块中，并行的卷积模块和局部窗口自注意力模块通过权值共享模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图和信道特征图，通道拼接后得到深层特征图。
实施例三
本实施例的目的是提供计算机可读存储介质。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的一种医学影像超分辨率重建方法中的步骤。
实施例四
本实施例的目的是提供电子设备。
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的一种医学影像超分辨率重建方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种医学影像超分辨率重建方法，其特征在于，包括：
获取待重建的低分辨率医学图像；
通过训练后的超分辨率重建模型处理所述低分辨率图像，以生成并输出最终的高分辨率医学图像；
其中，所述超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块，所述深层特征提取模块中，并行的卷积模块和局部窗口自注意力模块通过权值共享模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图和信道特征图，通道拼接后得到深层特征图。
2.如权利要求1所述的一种医学影像超分辨率重建方法，其特征在于，所述浅层特征提取模块，使用3×3的卷积层从低分辨率医学图像中提取浅层特征图。
3.如权利要求1所述的一种医学影像超分辨率重建方法，其特征在于，所述深层特征提取模块的处理过程，具体为：输入的浅层特征图经过依次连接的多个共享残差SwinTransformer模块和一个3×3的卷积层，得到深层特征图。
4.如权利要求1所述的一种医学影像超分辨率重建方法，其特征在于，所述共享残差SwinTransformer模块的处理过程，具体为：输入的特征图经过依次连接的多个共享SwinTransformer模块，得到共享特征图，共享特征图与输入的特征图进行残差连接，得到共享残差特征图。
5.如权利要求4所述的一种医学影像超分辨率重建方法，其特征在于，所述共享SwinTransformer模块，由通道拆分操作、局部窗口自注意力模块、卷积核大小为3×3的卷积模块、权值共享模块、通道拼接操作和前馈神经网络组成，处理过程具体为：
通过通道拆分操作将输入的特征图拆分为两个特征子图，分别输入到局部窗口自注意力模块和卷积模块中；
所述局部窗口自注意力模块和卷积模块，基于权值共享模块共享的动态权值，生成空间特征图和信道特征图；
空间特征图、信道特征图和输入的特征图通过通道拼接操作进行拼接；
拼接后的特征图输入到前馈神经网络中，得到共享特征图。
6.如权利要求1所述的一种医学影像超分辨率重建方法，其特征在于，所述空间特征图和信道特征图的具体生成过程为：
(1)卷积模块从拆分后的特征子图X1中提取卷积特征图和初始信道特征图X′C；
(2)基于卷积特征信道权重共享子模块计算信道权重WC，并共享给局部窗口自注意力模块；
(3)基于信道权重WC，局部窗口自注意力模块从拆分后的特征子图X2中提取空间特征图XA；
(4)基于空间特征图XA，空间权重共享子模块计算空间权重WA，并共享给卷积模块；
(5)基于空间权重WA，卷积模块对初始信道特征图X′C进行空间加权，得到信道特征图XC。
7.如权利要求1所述的一种医学影像超分辨率重建方法，其特征在于，所述重建模块，利用由亚像素卷积层和3×3的卷积组成的上采样层，对深层特征图MD和浅层特征图MS相加后的特征图进行上采样，将信息流重整为指定上采样倍率的特征图，得到高分辨率图像ISR。
8.一种医学影像超分辨率重建***，其特征在于，包括获取模块和生成模块：
获取模块，被配置为：获取待重建的低分辨率医学图像；
生成模块，被配置为：通过训练后的超分辨率重建模型处理所述低分辨率图像，以生成并输出最终的高分辨率医学图像；
其中，所述超分辨率重建模型包括浅层特征提取模块、深层特征提取模块和重建模块，所述深层特征提取模块中，并行的卷积模块和局部窗口自注意力模块通过权值共享模块，进行信道权值和空间权值的动态计算和共享，基于动态计算的权值，生成空间特征图和信道特征图，通道拼接后得到深层特征图。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
CN202310594669.7A 2023-05-23 2023-05-23 一种医学影像超分辨率重建方法及*** Pending CN116862765A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310594669.7A CN116862765A (zh) 2023-05-23 2023-05-23 一种医学影像超分辨率重建方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310594669.7A CN116862765A (zh) 2023-05-23 2023-05-23 一种医学影像超分辨率重建方法及***

Publications (1)

Publication Number Publication Date
CN116862765A true CN116862765A (zh) 2023-10-10

Family

ID=88232898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310594669.7A Pending CN116862765A (zh) 2023-05-23 2023-05-23 一种医学影像超分辨率重建方法及***

Country Status (1)

Country Link
CN (1) CN116862765A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649344A (zh) * 2024-01-29 2024-03-05 之江实验室 磁共振脑影像超分辨率重建方法、装置、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649344A (zh) * 2024-01-29 2024-03-05 之江实验室 磁共振脑影像超分辨率重建方法、装置、设备和存储介质
CN117649344B (zh) * 2024-01-29 2024-05-14 之江实验室 磁共振脑影像超分辨率重建方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨***
CN111192200A (zh) 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111598778B (zh) 一种绝缘子图像超分辨率重建方法
CN109872305B (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN111861884B (zh) 一种基于深度学习的卫星云图超分辨率重建方法
Chen et al. Single image super-resolution using deep CNN with dense skip connections and inception-resnet
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
CN113298718A (zh) 一种单幅图像超分辨率重建方法及***
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
CN116862765A (zh) 一种医学影像超分辨率重建方法及***
Yang et al. A survey of super-resolution based on deep learning
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN116934592A (zh) 一种基于深度学习的图像拼接方法、***、设备及介质
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN115526777A (zh) 一种盲超分网络建立方法、盲超分方法及存储介质
CN117593199A (zh) 一种基于高斯先验分布自注意力的双流遥感图像融合方法
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN116385265B (zh) 一种图像超分辨率网络的训练方法及装置
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
CN116563110A (zh) 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法
Chilukuri et al. Analysing Of Image Quality Computation Models Through Convolutional Neural Network
CN114511470A (zh) 一种基于注意力机制的双分支全色锐化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination