CN110322402B - 基于稠密混合注意力网络的医学图像超分辨率重建方法 - Google Patents

基于稠密混合注意力网络的医学图像超分辨率重建方法 Download PDF

Info

Publication number
CN110322402B
CN110322402B CN201910361678.5A CN201910361678A CN110322402B CN 110322402 B CN110322402 B CN 110322402B CN 201910361678 A CN201910361678 A CN 201910361678A CN 110322402 B CN110322402 B CN 110322402B
Authority
CN
China
Prior art keywords
resolution
super
network
image
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910361678.5A
Other languages
English (en)
Other versions
CN110322402A (zh
Inventor
刘可文
马圆
熊红霞
刘朝阳
房攀攀
李小军
陈亚雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201910361678.5A priority Critical patent/CN110322402B/zh
Publication of CN110322402A publication Critical patent/CN110322402A/zh
Application granted granted Critical
Publication of CN110322402B publication Critical patent/CN110322402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于稠密混合注意力网络的医学图像超分辨率重建方法。本发明在稠密神经网络的基础引入了混合注意力机制，使神经网络更加关注含有丰富高频信息的通道和区域，加速网络收敛、进一步提升超分辨率的精度。主要包括以下步骤：设计并搭建基于稠密神经网络与混合注意力机制的网络；预处理数据集，数据增强，构建训练样本；使用L2损失训练网络模型直至网络模型达到收敛；在超分辨率重建阶段，输入低分辨率的医学图像，利用训练好的网络模型超分辨重建出最终的高分辨率图像。本发明所述的方法相比主流的超分辨率方法精度更高，是一种有效的医学图像超分辨率重建方法。

Description

基于稠密混合注意力网络的医学图像超分辨率重建方法
技术领域
本发明涉及医学图像超分辨率重建技术，具体涉及一种基于稠密混合注意力网络的医学图像超分辨率重建方法，属于数字图像处理领域。
背景技术
医学图像广泛应用于临床诊断与治疗，但是在获取医学图像的过程中，由于硬件限制、环境影响，缺失高频信息导致医学图像分辨率低、模糊。从硬件角度改善上述问题受制造工艺和成本的限制，从软件角度改进，使用图像超分辨率方法对低分辨率的医学图像进行超分辨率重建可以高效的得到相应的高分辨率图像。
当前图像超分辨率方法主要有三类，分别是基于插值、基于建模和基于学***等地对待特征图的每一通道和区域，降低了网络含有丰富高频信息的通道和区域的特征表达能力。除此之外，常规卷积神经网络在前向传播时会丢失记忆信息，可以引入稠密神经网络的思想，添加大量的跳连结构，复用特征，进一步提升网络性能。综上所述，基于学习的图像超分辨率方法的性能仍有提升的空间。
发明内容
本发明所要解决的技术问题是：在获取医学图像的过程中，由于硬件限制、环境影响，缺失高频信息导致的医学图像分辨率低、模糊问题。
本发明解决其技术问题采用以下的技术方案：
本发明提供的医学图像超分辨率重建方法，是一种基于稠密混合注意力网络的医学图像超分辨率重建方法，该方法是在稠密神经网络的基础引入混合注意力机制，添加的混合注意力机制单元使神经网络更加关注含有丰富高频信息的通道和区域，增加网络的特征表达能力，加速网络收敛、进一步提升超分辨率的精度。
所述的医学图像超分辨率重建方法，包括以下步骤：
步骤一：设计并搭建基于稠密神经网络与混合注意力机制的网络；
步骤二：对输入图像进行预处理，数据增强，构建训练样本；
步骤三：使用L2损失训练网络模型直至网络模型达到收敛；
步骤四：在超分辨率重建阶段，输入低分辨率的医学图像，利用训练好的网络模型超分辨重建出最终的高分辨率图像。
所述的混合注意力机制是指网络具有增强特征表示、同时关注具有丰富高频信息的通道和区域的能力，该混合注意力机制单元内有2个级联的卷积层、激活层。
所述的稠密神经网络包括N(N≥8)个基本单元，每个基本单元内有N(N≥8)个级联的卷积层、激活层，每个基本单元的最后级联一个混合注意力机制单元；每个基本单元内与基本单元之间，添加大量稠密的跳连结构，提取更深层次的特征表示。
上述方法中，稠密神经网络可以分五个阶段，分别为特征提取，特征非线性映射，特征降维，反卷积上采样，卷积得到最终的输出，其中：特征提取阶段使用级联的卷积和激活层，特征非线性映射阶段使用上述方法所述的稠密神经网络，特征降维阶段使用瓶颈层降维，使用反卷积上采样，卷积得到最终的输出。
上述方法中，步骤二所述的预处理、数据增强，是对输入图像进行裁剪，对裁剪得到的子图进行下采样操作，得到对应的低分辨率图像，使用数据增强获取更多的训练样本。
上述方法步骤三中，采用基于L2范数的损失L2量化超分辨得到的高分辨率图像和真实高分辨率图像的相似程度，训练过程采用小批量学习，采用的损失函数的表达式为：
式中：IHR为真实的高分辨率图像；ISR为执行超分辨率得到的高分辨率图像；H,W,C分别为输入图像的尺寸(长、宽)和通道数，n为小批量学习的数目，v为小批量n中的第v张特征图，k为第v张特征图的第k个通道，(i,j)为特征图内的坐标位置，Iv,i,j,k为第v张特征图的第k通道的位置为(i,j)的像素值。
上述方法步骤四中，所述的超分辨率重建得到的医学图像是由低分辨率图像放大倍得到的，/>
本发明提出的方法和技术过程，包括方法扩展所实现的软件***。
本发明方法可以通过设置更多的基本单元或在基本单元内设置更多的卷积、激活层，进一步提高超分辨率精度。凡是在该方法提出的网络基础上设置更多的基本单元或在基本单元内设置更多的卷积、激活层，进而提高超分辨率精度的方法都是与本发明相抵触的。
实验结果表明(具体实验数据参见具体实施方法中的描述)，提出的方法相比主流的图像超分辨率方法在峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和结构相似性(Structural similarity，SSIM)上分别有0.146db-5.874dB和0.1％-7.66％的提升。
本发明与现有技术相比具有以下主要的优点：
引入混合注意力机制，提出了一种新的混合注意力机制单元，在网络结构中添加该机制单元可以加速网络收敛，增强特征表示能力，进一步提升网络的性能，该混合注意力机制单元的结构设计具有首创性；
基于稠密神经网络，添加大量稠密的跳连结构充分利用不同阶段、不同尺度的特征，使梯度信息直接传输到网络前层，改善常规神经网络在前向传播时丢失记忆信息、梯度消失、网络退化的问题，进一步提升网络性能；
本发明构建了一种基于混合注意力机制和稠密神经网络的医学图像超分辨率方法，相比主流的方法，提升了网络性能，混合注意力机制与稠密神经网络的融合具有首创性。
附图说明
图1是本发明提出的混合注意力机制单元的结构图。
图2是本发明提出的基于稠密混合注意力网络的基本单元结构图。
图3是本发明基于稠密混合注意力网络的医学图像超分辨率重建方法的网络结构图。
图4是本发明与另外三种方法超分辨率2倍得到的医学图像超分辨率重建的效果对比图。
具体实施方式
本发明公开的一种基于稠密混合注意力网络的医学图像超分辨率重建方法，是在稠密神经网络的基础上引入了混合注意力机制，使神经网络更加关注含有丰富高频信息的通道和区域，加速网络收敛、进一步提升超分辨率的精度。主要包括以下步骤：设计并搭建基于稠密神经网络与混合注意力机制的网络；预处理数据集，数据增强，构建训练样本；使用L2损失训练网络模型直至网络模型达到收敛；在超分辨率重建阶段，输入低分辨率的医学图像，利用训练好的网络模型超分辨重建出最终的高分辨率图像。本发明所述的方法相比主流的超分辨率方法精度更高，是一种有效的医学图像超分辨率重建方法。
下面结合实施例和附图对本发明作进一步描述，但不限定本发明。
本发明提供的基于稠密混合注意力网络的医学图像超分辨率重建方法，是在稠密神经网络的基础引入混合注意力机制，添加的混合注意力机制单元使神经网络更加关注含有丰富高频信息的通道和区域，增加网络的特征表达能力，加速网络收敛、进一步提升超分辨率的精度。
上述稠密混合注意力网络的医学图像超分辨率重建方法，包括以下步骤：
步骤一：设计并搭建基于稠密神经网络与混合注意力机制的网络；
步骤二：对输入图像进行预处理，数据增强，构建训练样本；
步骤三：使用L2损失训练网络模型直至网络模型达到收敛；
步骤四：在超分辨率重建阶段，输入低分辨率的医学图像，利用训练好的网络模型超分辨重建出最终的高分辨率图像。
如图1所示，步骤一所述的混合注意力机制单元由所述的混合注意力机制单元内有2个级联的卷积层、激活层。输入注意力机制单元维度为H*W*C的图像，其中H、W为图像的长和宽，C为通道数，经过两次级联的卷积、激活，得到维度为H*W*C的描述符τ：
τ＝f(W2δ(W1x)),τ∈RC，
式中：x为输入，W1为第一层卷积的参数，第一层卷积执行因子为16的特征图通道数降维，得到维度为H*W*C/16的特征图，δ(g)为RELU激活操作，W2为第二层卷积的参数，第二次卷积执行因子为16的特征图通道数升维，f(g)为sigmoid激活操作。两次卷积、激活对通道维度进行通道数降维和通道数升维，学习C个对应不同通道的描述矩阵τi，其中i＝0,1,2...C，自适应的将更稀疏的描述矩阵赋给含有大量冗余低频信息的通道，使得神经网络更加关注含有丰富高频信息的通道。每个描述矩阵τi的大小为H*W，对应原输入图像第i通道的每个元素。经过两次卷积、激活，原输入图像含有丰富高频信息的区域得以保留，含有大量冗余低频信息的区域被抑制，将得到的描述符τi与原输入第i通道进行Hadamard乘积，使得神经网络更加关注第i通道内含有丰富高频信息的区域。将得到的描述符与输入图像Hadamard相乘，得到通过混合注意力机制单元的特征图。
所述卷积层是卷积神经网络的基本单元，用于提取输入图像的不同特征，第一层卷积层只能提取一些低级的特征如边缘、线条和角等层级，更深层的网络能从低级特征中迭代提取更复杂的特征。
所述激活层是卷积神经网络的基本单元，用于增强判定函数和整个神经网络的非线性特性，本身并不会改变卷积层，常用的激活函数有Sigmoid(S)函数、RELU线性整流函数等。
图3中，步骤一所述的设计并搭建的基于稠密神经网络与混合注意力机制的网络分为五个阶段，分别为特征提取，特征非线性映射，特征降维，反卷积上采样，卷积得到最终的输出：
阶段一：特征提取阶段是指从输入的图像抽取数据，构建非冗余的特征信息，用于促使后续学习与泛化，提取的特征在某些情况下能优于人类手工提取的特征。如图3所示，本发明在低分辨率图像输入之后使用级联的卷积层和RELU激活层来完成特征提取，卷积层参数设置为128×3×3×3，即128个大小为3通道数为3的卷积核。
阶段二：特征非线性映射阶段是指使用不满足线性条件的算子，用于完成向量空间(包括由函数构成的抽象的向量空间)的映射。如图3所示，本发明使用网络中部的稠密神经网络来完成非线性映射，其使用的稠密神经网络包括n个基本单元，每个基本单元有n个级联的卷积、激活层，基本单元的最后级联一个混合注意力块，基本单元内卷积层的参数设置为16×3×3，即16个大小为3×3的卷积核，激活函数使用RELU函数，卷积操作的步长为1，在边缘使用补零(zero padding)操作，保持特征图的尺寸一致。由于添加了大量稠密的跳连结构，不同阶段、不同尺度的特征图被聚合起来，随着网络层数的加深，输入卷积核的通道数线性增加，每个基本单元内第一层卷积每个卷积核的通道数为16，之后每层卷积的卷积核的通道数在上一层的基础上增加16。
阶段三：特征降维阶段是指从包含大量冗余或无关特征的特征信息找出主要特征信息，用于降低计算复杂度。如图3所示，本发明使用瓶颈层降维，瓶颈层是一层卷积层，用于完成高维空间到低维空间的映射，瓶颈层的卷积核参数设置为256×1152×1×1，即256个大小为1通道数为1152的卷积核，卷积操作的步长为1。
阶段四：反卷积上采样的卷积核参数设置为256×256×2×2，卷积操作的步长为2，在边缘使用补零(zero padding)操作。
阶段五：卷积得到最终的输出，卷积核的参数设置为3×256×3×3，卷积操作的步长为1，在边缘使用补零(zero padding)操作。
步骤二所述的预处理、数据增强，具体实施方式为对输入图像进行裁剪，裁剪为大小为96×96的子图，使用Matlab的imresize函数对裁剪得到的子图进行双三次下采样操作，得到对应的大小为48×48的低分辨率图像，使用数据增强如旋转、镜像等，获取更多的训练样本。
步骤三所述的实验L2损失训练网络模型直至网络模型收敛，具体实施方式为采用基于L2范数的损失L2量化超分辨得到的高分辨率图像和真实高分辨率图像的相似程度，训练训练过程采用小批量(mini-batch)学习，小批量学习的数目设置为16。采用的损失函数的表达式为：
式中：IHR为真实的高分辨率图像；ISR为执行超分辨率得到的高分辨率图像；H,W,C分别为输入图像的尺寸(长、宽)和通道数，n为小批量学习的数目，v为小批量n中的第v张特征图，k为第v张特征图的第k个通道，(i,j)为特征图内的坐标位置，Iv,i,j,k为第v张图像的第k通道的位置为(i,j)的像素值。
步骤四所述的超分辨率重建，具体实施方式为将低分辨率的医学图像输入网络，得到输出的高分辨率图像，所述的超分辨率重建得到的医学图像相当于所述低分辨率图像放大 倍得到的。
通过实验验证，本发明的稠密混合注意力网络可以充分复用不同阶段、不同尺度的特征，进一步提升网络性能；混合注意力机制可以使神经网络更加关注含有丰富高频信息的通道和区域，抑制含有大量冗余信息的通道和区域，加速网络收敛、进一步提升网络性能。
为了证明本发明的有效性，从美国国家肺癌中心的公开数据集中挑选出400张清晰度高、细节丰富的大小为512×512的CT图像作为训练集，挑选出100张图像作为测试集。发明内容步骤二所述，对输入图像进行裁剪，裁剪为大小为96×96的子图，使用Matlab的imresize函数对裁剪得到的子图进行双三次下采样操作，得到对应的大小为48×48的低分辨率图像，使用数据增强如旋转、镜像等，获取更多的训练样本。
实验中，选取双三次插值法和两种具有代表性的基于卷积神经网络的方法进行对比。为保证对比的公正性，各方法均在相同的硬件环境下进行实验。
选取的两种具有代表性的基于卷积神经网络的方法为：
方法1：Kim等人提出的方法，参考文献为：Kim J,Kwon Lee J,Mu Lee K.Accurateimage super-resolution using very deep convolutional networks[C]//Proceedingsof the IEEE conference on computer vision and pattern recognition.2016:1646-1654.
方法2：Tong等人提出的方法，参考文献为：童同,高钦泉.一种基于密集连接网络的图像超分辨率方法[P].福建：CN106991646A,2017-07-28.
实验的硬件环境参数设置：
表1
选取的评价指标：
广泛用于评价图像超分辨率效果的客观指标有峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和结构相似性(Structural similarity，SSIM)，本发明选用PSNR和SSIM作为客观评价的指标。除此之外，本发明将完成单张图像超分辨率所需的时间也作为参考的客观评价指标之一。
各超分辨率方法的客观评价对比：
表2
从表2各方法的实验数据可以看出，本发明在峰值信噪比(PSNR)和结构相似性(SSIM)相比双三次插值法分别有5.874dB和7.66％的提升，相比方法1分别有0.259dB和0.37％的提升，相比方法2有0.146dB和0.1％的提升。单帧图像超分辨率耗时方面，双三次插值法最快，方法1、方法2、本发明的耗时均高于Bicubic方法，但均在0.5s内，实时性较好。
图4展示的各超分辨率方法的效果，选取了四组纹理细节比较丰富的图像，展示各超分辨率方法的效果，分别是主动脉、肺尖部、肺部、肺叶的CT图像。各方法得到的高分辨率图像与真实高分辨率图像(Ground Truth，GT)的对比如所示，相应的客观评价指标值标注在图像下方。相比对比方法，本发明超分辨率重建的图像具有较好的图像锐度，视觉感知效果最好，图像清晰、细节真实、亮度均匀，超分辨率得到的图像最接近真实图像。结合客观评价与主观评价结果，本发明是一种有效的医学图像超分辨率重建方法。
本发明适用的医学图像包括但不限于CT图像，核磁共振(MRI)图像、X光(X-ray)图像和正电子发射计算机断层扫描(PET)图像。
本发明利用稠密神经网络的优点，充分复用不同阶段、不同尺度的特征，进一步提升网络性能，降低参数量，改善梯度消失与网络退化问题；利用混合注意力机制的优点，提出了一种新的混合注意力机制单元，在网络结构中添加该机制单元使神经网络更加关注含有丰富高频信息的通道和区域，加速网络收敛、进一步提升网络性能；结合稠密神经网络和混合注意力机制，构建一种有效的医学图像超分辨重建方法。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (8)

1.一种医学图像超分辨率重建方法，其特征是一种基于稠密混合注意力网络的医学图像超分辨率重建方法，该方法是在稠密神经网络的基础引入混合注意力机制，添加的混合注意力机制单元使神经网络更加关注含有丰富高频信息的通道和区域，增加网络的特征表达能力，加速网络收敛、进一步提升超分辨率的精度；
所述的混合注意力机制是指网络具有增强特征表示、同时关注具有丰富高频信息的通道和区域的能力，该混合注意力机制单元内有2个级联的卷积层、激活层；
所述的稠密神经网络分五个阶段，分别为特征提取，特征非线性映射，特征降维，反卷积上采样，卷积得到最终的输出，其中：特征提取阶段使用级联的卷积和激活层，特征降维阶段使用瓶颈层降维，使用反卷积上采样，卷积得到最终的输出。
2.根据权利要求1所述的医学图像超分辨率重建方法，其特征在于包括以下步骤：
步骤一：设计并搭建基于稠密神经网络与混合注意力机制的网络；
步骤二：对输入图像进行预处理，数据增强，构建训练样本；
步骤三：使用L2损失训练网络模型直至网络模型达到收敛；
步骤四：在超分辨率重建阶段，输入低分辨率的医学图像，利用训练好的网络模型超分辨重建出最终的高分辨率图像。
3.根据权利要求2所述的医学图像超分辨率重建方法，其特征在于：所述的稠密神经网络包括N个基本单元，每个基本单元内有N个级联的卷积层、激活层，N≥8，每个基本单元的最后级联一个混合注意力机制单元；每个基本单元内与基本单元之间，添加大量稠密的跳连结构，提取更深层次的特征表示。
4.根据权利要求2所述的医学图像超分辨率重建方法，其特征在于步骤二所述的预处理、数据增强，是对输入图像进行裁剪，对裁剪得到的子图进行下采样操作，得到对应的低分辨率图像，使用数据增强获取更多的训练样本。
5.根据权利要求2所述的医学图像超分辨率重建方法，其特征在于步骤三中，采用基于L2范数的损失L2量化超分辨得到的高分辨率图像和真实高分辨率图像的相似程度，
训练过程采用小批量学习，采用的损失函数的表达式为：
式中：IHR为真实的高分辨率图像；ISR为执行超分辨率得到的高分辨率图像；H,W,C分别为输入图像的尺寸(长、宽)和通道数，n为小批量学习的数目，v为小批量n中的第v张特征图，k为第v张特征图的第k个通道，(i,j)为特征图内的坐标位置，Iv,i,j,k为第v张特征图的第k通道的位置为(i,j)的像素值。
6.根据权利要求2所述的医学图像超分辨率重建方法，其特征在于步骤四中：所述的超分辨率重建得到的医学图像是由低分辨率图像放大倍得到的，/>
7.根据权利要求1至6中任一所述的医学图像超分辨率重建方法，其特征在于提出的方法和技术过程，包括方法扩展所实现的软件***。
8.根据权利要求1至6中任一所述的医学图像超分辨率重建方法，其特征是通过设置更多的基本单元或在基本单元内设置更多的卷积、激活层，进而提高超分辨率精度。
CN201910361678.5A 2019-04-30 2019-04-30 基于稠密混合注意力网络的医学图像超分辨率重建方法 Active CN110322402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910361678.5A CN110322402B (zh) 2019-04-30 2019-04-30 基于稠密混合注意力网络的医学图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910361678.5A CN110322402B (zh) 2019-04-30 2019-04-30 基于稠密混合注意力网络的医学图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN110322402A CN110322402A (zh) 2019-10-11
CN110322402B true CN110322402B (zh) 2023-07-25

Family

ID=68113374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910361678.5A Active CN110322402B (zh) 2019-04-30 2019-04-30 基于稠密混合注意力网络的医学图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN110322402B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969579A (zh) * 2019-12-06 2020-04-07 北京理工大学 一种基于树状聚合轻量化的单张图像超分辨率方法
CN111445390B (zh) * 2020-02-28 2022-03-25 天津大学 基于宽残差注意力的三维医学图像超分辨率重建方法
CN111461987B (zh) * 2020-04-01 2023-11-24 中国科学院空天信息创新研究院 一种网络构建方法、图像超分辨率重建方法及***
CN111861880B (zh) * 2020-06-05 2022-08-30 昆明理工大学 基于区域信息增强与块自注意力的图像超分与融合方法
CN112529825B (zh) * 2020-12-11 2022-05-31 平安科技（深圳）有限公司 人脸图像分辨率重建方法、装置、设备及存储介质
CN112801881B (zh) * 2021-04-13 2021-06-22 湖南大学 一种高分辨率高光谱计算成像方法、***及介质
CN113222823B (zh) * 2021-06-02 2022-04-15 国网湖南省电力有限公司 基于混合注意力网络融合的高光谱图像超分辨率方法
CN116071239B (zh) * 2023-03-06 2023-07-11 之江实验室 一种基于混合注意力模型的ct图像超分辨方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710830A (zh) * 2018-04-20 2018-10-26 浙江工商大学 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN109035233A (zh) * 2018-07-24 2018-12-18 西安邮电大学 视觉注意力网络及工件表面缺陷检测方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765290A (zh) * 2018-05-29 2018-11-06 天津大学 一种基于改进的稠密卷积神经网络的超分辨率重建方法
CN108765291A (zh) * 2018-05-29 2018-11-06 天津大学 基于稠密神经网络和双参数损失函数的超分辨率重建方法
CN109636721B (zh) * 2018-11-29 2023-06-23 武汉大学 基于对抗学习和注意力机制的视频超分辨率方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710830A (zh) * 2018-04-20 2018-10-26 浙江工商大学 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN109035233A (zh) * 2018-07-24 2018-12-18 西安邮电大学 视觉注意力网络及工件表面缺陷检测方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于通道注意力的卷积神经网络在图像超分辨率重建中的应用;王东飞;;广播与电视技术(第06期);全文 *

Also Published As

Publication number Publication date
CN110322402A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110322402B (zh) 基于稠密混合注意力网络的医学图像超分辨率重建方法
CN108805814B (zh) 基于多频段深度卷积神经网络的图像超分辨重建方法
CN111598778B (zh) 一种绝缘子图像超分辨率重建方法
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
Tang et al. Deep inception-residual Laplacian pyramid networks for accurate single-image super-resolution
CN111986092B (zh) 一种基于双重网络的图像超分辨率重建方法及***
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
CN112508794B (zh) 医疗图像超分辨率重建方法及***
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN109242771A (zh) 一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备
CN108460723B (zh) 基于邻域相似性的双边全变分图像超分辨率重建方法
CN111325695B (zh) 基于多剂量等级的低剂量图像增强方法、***及存储介质
CN111667407A (zh) 一种深度信息引导的图像超分辨率方法
CN114494018A (zh) 一种磁共振图像超分辨率重建方法、***及装置
CN114140442A (zh) 一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法
Ma et al. Back-projection-based progressive growing generative adversarial network for single image super-resolution
CN109146792A (zh) 基于深度学习的芯片图像超分辨率重建方法
Liu et al. Medical image super-resolution method based on dense blended attention network
KR102488037B1 (ko) 인공 지능에 기반한 실시간 초해상도 구현 방법 및 장치
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN117726602A (zh) 基于带状池化的息肉分割方法及***
CN117036162B (zh) 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN116612009A (zh) 一种多尺度连接生成对抗网络医学图像超分辨率重建方法
Zou et al. LMSN: a lightweight multi-scale network for single image super-resolution
CN112070676B (zh) 一种双通道多感知卷积神经网络的图片超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant