CN109727197A - 一种医学图像超分辨率重建方法 - Google Patents

一种医学图像超分辨率重建方法 Download PDF

Info

Publication number
CN109727197A
CN109727197A CN201910004840.8A CN201910004840A CN109727197A CN 109727197 A CN109727197 A CN 109727197A CN 201910004840 A CN201910004840 A CN 201910004840A CN 109727197 A CN109727197 A CN 109727197A
Authority
CN
China
Prior art keywords
image
resolution
medical image
resolution ratio
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910004840.8A
Other languages
English (en)
Other versions
CN109727197B (zh
Inventor
柏正尧
陶劲宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN201910004840.8A priority Critical patent/CN109727197B/zh
Publication of CN109727197A publication Critical patent/CN109727197A/zh
Application granted granted Critical
Publication of CN109727197B publication Critical patent/CN109727197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种医学图像超分辨率重建方法，通过卷积层提取图像的特征信息并封装在一个胶囊结构中；然后，通过路由结构层运算输入并预测图像的高分辨率细节；最后，将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构，得到分辨率大幅提升的高分辨率图像，本发明提出了一种新的采用路由结构残差网络来对医学图像进行超分辨率重建。准确性、实时性、图像质量方面优于传统CNN方法如SRCNN，该方法精度高、重建速度快、鲁棒性好，在医学疾病等计算机辅助诊断***等领域有广阔的应用前景。

Description

一种医学图像超分辨率重建方法
技术领域
本发明是医学图像超分辨率重建方法，适用于机器学习、模式识别和医学影像处理技术领域。
背景技术
医学图像广泛应用于计算机辅助诊断中，如X射线图像、计算机断层扫描、核磁共振图像等改变了现代医学。因此获取高质量的医学图像对于精确诊断患病原因起到至关重要的作用，但是高分辨率图像的硬件设备价格昂贵和以及在特定环境下的成像技术的限制，必须通过软件的方式来获取高分辨率和清晰度的图像。以便于更好识别和确定疾病的精确位置，希望得到尽可能清晰的CT,MRI图像，为医生提供更好的辅助诊断，便于观测相关特征甚至细微纹理。在数据驱动机器学习被广泛应用之前，传统的图像重建方法大多采用优化问题的形式，将观测到的LR图像与模型估计之间的成本最小化，通常采用某种形式的正则化项。然而，这些非学习方法通常有一个限制，它们需要关于良好的数据表示的先验知识，能提高的精度也有限。
随着深度学习的发展，图像的超分辨率表现有了很大的提高。其中，超分辨率卷积网络(SRCNN)因其网络结构简单、恢复精度高而备受关注。但所需训练时间较长，依赖于小图像区域的上下文信息，训练收敛太慢，且网络仅针对单一尺度使用。设计一种能达到实时要求，拥有更高重建信噪比和结构相似度的超分辨率重建方法在临床应用中有着极其重要的意义，对医生诊断各类疾病起到更好的辅助作用，医学图像的超分辨率重建是计算机视觉领域的一个研究热点。
发明内容
本发明的目的就是针对医学图像超分辨率重建存在重建速度慢、重建图像质量低等缺点，现有的重建方法无法达到高精度的同时满足实时要求。提出一种路由结构残差网络的医学图像超分辨率重建方法。
本发明采用的技术方案是：一种医学图像超分辨率重建方法，包括：
1)数据集来源The Cancer Imaging Archive(TCIA)，该数据库是癌症研究的医学图像的开放获取数据库；
2)对医学图像数据进行归一化、旋转、扩增等预处理；
3)用基于路由的深度网络结构对原图像的胶囊残差特征图通过有监督训练方式学习其更深层特征；
4)在精准得到低分辨率到高分辨率映射关系后，将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构；
5)重构之后的图像得到了更高的分辨率以及更优的PSNR,SSIM等指标。
本文发明是基于深度学***台：处理器为Intel i7-7700 CPU，内存为16GB，显卡NVIDIA GeForceGTX 1070。由于GPU显存不大，所以规模较大的神经网络无法在现有的机器中运行，这也是本实验做图像预处理之后采用小规模训练神经网络的原因。为了与现有的深度学习方法进行一个定量的比较，本文使用相同的TCIA医学图像数据集对提出的方法进行评估。
目前有很多的重建和学习的方法用于医学图像超分辨率重建，但是重建速度和重建质量始终是超分辨率重建任务中面临的重要挑战之一。从TCIA数据集中选出部分图像进行实验，对比SRCNN等网络和本文网络的检测效果图，可以看出本文方法对图像中的超分辨率重建有更好的PSNR,SSIM和更低的重建时间。
本发明的效果是：提出了一种新的采用路由结构残差网络来对医学图像进行超分辨率重建。首先，通过卷积层提取图像的特征信息并封装在一个胶囊结构中；然后，通过路由结构层运算输入并预测图像的高分辨率细节。最后，将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构，得到分辨率大幅提升的高分辨率图像。本方法在准确性、实时性、图像质量方面优于传统CNN方法如SRCNN，该方法精度高、重建速度快、鲁棒性好，在医学疾病等计算机辅助诊断***等领域有广阔的应用前景。
附图说明
图1为本发明采用的网络拓扑结构图；
图2为本发明采用的胶囊残差特征图；
图3为本发明采用的路由结构网络流程图；
图4(a)为本发明放大尺度为3的重建效果图原图；
图4(b)为本发明放大尺度为3的重建效果图SRCNN重建图；
图4(c)为本发明放大尺度为3的重建效果图DRCN重建；
图4(d)为本发明放大尺度为3的重建效果图VDSR重建图；
图4(e)为本发明放大尺度为3的重建效果图本发明重建图。
具体实施方法
见图1，图2，图3，图4(a)-图4(e)，一种医学图像超分辨率重建方法，通过卷积层提取图像的特征信息并封装在一个胶囊结构中；然后，通过路由结构层运算输入并预测图像的高分辨率细节。最后，将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构，得到分辨率大幅提升的高分辨率图像；方法包括：
1)数据集来源The Cancer Imaging Archive(TCIA)，该数据库是癌症研究的医学图像的开放获取数据库；
2)对医学图像数据进行归一化、旋转、扩增等预处理；
3)用基于路由的深度网络结构对原图像的胶囊残差特征图通过有监督训练方式学习其更深层特征；
4)在精准得到低分辨率到高分辨率映射关系后，将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构；
5)重构之后的图像得到了更高的分辨率以及更优的PSNR,SSIM等指标。
本发明所述的目标为医学图像超分辨率重建，将该医学图像超分辨率重建视为一个模式的转化问题，即医学图像为第一模式，胶囊残差特征图为第二模式；采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系。
本发明所述的医学图像超分辨率重建方法是：采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系；用损失函数表示当前神经网络重构图与标准图之间的误差；在训练过程中反复迭代误差损失函数，当损失函数尽可能小时，训练得到模型已能够有效提取对医学图像低分辨率到高分辨率的映射规律，通过所学到的规律准确重构出HR医学图像。整个医学图像超分辨率重建过程由图像胶囊残差特征提取、神经网络映射学习、重构图的合成三部分组成。
本发明基于路由结构残差神经网络架构设计了一个能够有效提取图像特征的神经网络；该网络包含特征的提取和特征重建两部分；该网络的思想是提出一个具有路由结构的残差神经网络，即在网络结构中用动态路由操作代替池化操作，提高对特征的有效利用，减少图像大量特征信息的丢失，并将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构，在基于综合特征信息之后的重建图像有更高的分辨率和PSNR,SSIM。
本发明采用的深度网络是一个能预测特征检测概率的重复架构，每一层卷积层之后都有多个同样的路由结构网络来连接，其卷积核大小均为9x9，且每个卷积层后都有一个激活函数ReLU；在连续几个块之后是一个大小为3x3,步长为1的路由层，作用是降低图像分辨率，得到提取胶囊残差图像的深度特征；特征重建部分是将其得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构；深度网络的输入是插值后的低分辨率医学图像，输出则是重构之后的高分辨率HR医学图像。

Claims (5)

1.一种医学图像超分辨率重建方法，其特征在于：通过卷积层提取图像的特征信息并封装在一个胶囊结构中；然后，通过路由结构层运算输入并预测图像的高分辨率细节；最后，将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构，得到分辨率大幅提升的高分辨率图像；方法包括：
1)数据集来源The Cancer ImagingArchive，该数据库是癌症研究的医学图像的开放获取数据库；
2)对医学图像数据进行归一化、旋转、扩增等预处理；
3)用基于路由的深度网络结构对原图像的胶囊残差特征图通过有监督训练方式学习其更深层特征；
4)在精准得到低分辨率到高分辨率映射关系后，将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构；
5)重构之后的图像得到了更高的分辨率以及更优的PSNR,SSIM指标。
2.根据权利要求1所述的一种医学图像超分辨率重建方法，其特征在于，将该医学图像超分辨率重建方法视为一个模式的转化问题，即医学图像为第一模式，胶囊残差特征图为第二模式；采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系。
3.根据权利要求1所述的一种医学图像超分辨率重建方法，其特征在于，所述用感受野更大的胶囊残差深度网络替代传统的CNN网络；采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系；用损失函数表示当前深度网络重构图与标准图之间的误差；在训练过程中反复迭代误差损失函数，当损失函数尽可能小时，训练得到模型已能够有效提取对医学图像低分辨率到高分辨率的映射规律，通过所学到的规律准确重构出HR医学图像；整个医学图像超分辨率重建过程由图像胶囊残差特征提取、深度网络映射学习、重构图的合成三部分组成。
4.根据权利要求1或2或3所述的一种医学图像超分辨率重建方法，其特征在于，基于路由结构残差神经网络架构设计了一个能够有效提取图像特征的神经网络；该网络包含特征的提取和特征重建两部分；该网络的思想是提出一个具有路由结构的残差神经网络，即在网络结构中用动态路由操作代替池化操作，提高对特征的有效利用，减少图像大量特征信息的丢失，并将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构，在基于综合特征信息之后的重建图像有更高的分辨率和PSNR,SSIM。
5.根据权利要求1或2或3所述的一种医学图像超分辨率重建方法，其特征在于，采用的深度网络是一个能预测特征检测概率的重复架构，每一层卷积层之后都有多个同样的路由结构网络来连接，其卷积核大小均为9x9，且每个卷积层后都有一个激活函数ReLU；在连续几个块之后是一个大小为3x3,步长为1的路由层，作用是降低图像分辨率，得到提取胶囊残差图像的深度特征；特征重建部分是将其得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构；深度网络的输入是插值后的低分辨率医学图像，输出则是重构之后的高分辨率HR医学图像。
CN201910004840.8A 2019-01-03 2019-01-03 一种医学图像超分辨率重建方法 Active CN109727197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910004840.8A CN109727197B (zh) 2019-01-03 2019-01-03 一种医学图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910004840.8A CN109727197B (zh) 2019-01-03 2019-01-03 一种医学图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN109727197A true CN109727197A (zh) 2019-05-07
CN109727197B CN109727197B (zh) 2023-03-14

Family

ID=66299605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910004840.8A Active CN109727197B (zh) 2019-01-03 2019-01-03 一种医学图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN109727197B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866870A (zh) * 2019-10-29 2020-03-06 中山大学 一种医学图像任意倍数放大的超分辨处理方法
CN112082915A (zh) * 2020-08-28 2020-12-15 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN115115727A (zh) * 2022-05-18 2022-09-27 首都医科大学附属北京友谊医院 核磁图像处理方法、***、设备及存储介质
CN115272084A (zh) * 2022-09-27 2022-11-01 成都信息工程大学 一种影像高分辨率重建方法及装置
CN115545110A (zh) * 2022-10-12 2022-12-30 中国电信股份有限公司 生成对抗网络的高分辨率数据重构方法及相关方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647775A (zh) * 2018-04-25 2018-10-12 陕西师范大学 基于全卷积神经网络单张图像的超分辨率图像重建方法
CN108985316A (zh) * 2018-05-24 2018-12-11 西南大学 一种改进重构网络的胶囊网络图像分类识别方法
WO2019202292A1 (en) * 2018-04-20 2019-10-24 DrugAI Limited Interaction property prediction system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019202292A1 (en) * 2018-04-20 2019-10-24 DrugAI Limited Interaction property prediction system and method
CN108647775A (zh) * 2018-04-25 2018-10-12 陕西师范大学 基于全卷积神经网络单张图像的超分辨率图像重建方法
CN108985316A (zh) * 2018-05-24 2018-12-11 西南大学 一种改进重构网络的胶囊网络图像分类识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SANJIB KUMAR SAHU，PANKAJ KUMAR: "Dynamic Routing Using Inter Capsule Routing Protocol Between Capsules", 《2018 UKSIM-AMSS 20TH INTERNATIONAL CONFERENCE ON MODELLING & SIMULATION》 *
朱应钊，胡颖茂，李嫚: "胶囊网络技术及发展趋势研究", 《广东通信技术》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866870A (zh) * 2019-10-29 2020-03-06 中山大学 一种医学图像任意倍数放大的超分辨处理方法
CN110866870B (zh) * 2019-10-29 2023-04-28 中山大学 一种医学图像任意倍数放大的超分辨处理方法
CN112082915A (zh) * 2020-08-28 2020-12-15 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN112082915B (zh) * 2020-08-28 2024-05-03 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN115115727A (zh) * 2022-05-18 2022-09-27 首都医科大学附属北京友谊医院 核磁图像处理方法、***、设备及存储介质
CN115115727B (zh) * 2022-05-18 2023-08-01 首都医科大学附属北京友谊医院 核磁图像处理方法、***、设备及存储介质
CN115272084A (zh) * 2022-09-27 2022-11-01 成都信息工程大学 一种影像高分辨率重建方法及装置
CN115272084B (zh) * 2022-09-27 2022-12-16 成都信息工程大学 一种影像高分辨率重建方法及装置
CN115545110A (zh) * 2022-10-12 2022-12-30 中国电信股份有限公司 生成对抗网络的高分辨率数据重构方法及相关方法和设备
CN115545110B (zh) * 2022-10-12 2024-02-02 中国电信股份有限公司 生成对抗网络的高分辨率数据重构方法及相关方法和设备

Also Published As

Publication number Publication date
CN109727197B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN111709953B (zh) Ct影像的肺叶段分割中的输出方法、装置
CN109727197A (zh) 一种医学图像超分辨率重建方法
CN110288609B (zh) 一种注意力机制引导的多模态全心脏图像分割方法
Mall et al. A comprehensive review of deep neural networks for medical image processing: Recent developments and future opportunities
Tong et al. RIANet: Recurrent interleaved attention network for cardiac MRI segmentation
CN107492071A (zh) 医学图像处理方法及设备
Banerjee et al. A completely automated pipeline for 3D reconstruction of human heart from 2D cine magnetic resonance slices
CN109636802A (zh) 基于深度卷积神经网络的肺实质经ct图像分割方法
WO2022032824A1 (zh) 图像分割方法、装置、设备及存储介质
Tian et al. Multi-step medical image segmentation based on reinforcement learning
Zhang et al. Multi-task learning with multi-view weighted fusion attention for artery-specific calcification analysis
Chen et al. Shape registration with learned deformations for 3D shape reconstruction from sparse and incomplete point clouds
Shen et al. Smart health of ultrasound telemedicine based on deeply represented semantic segmentation
Lin et al. Cascaded triplanar autoencoder M-Net for fully automatic segmentation of left ventricle myocardial scar from three-dimensional late gadolinium-enhanced MR images
CN107146263B (zh) 一种基于张量字典约束的动态pet图像重建方法
Du et al. Segmentation and visualization of left atrium through a unified deep learning framework
Qi et al. Cascaded conditional generative adversarial networks with multi-scale attention fusion for automated bi-ventricle segmentation in cardiac MRI
Yong et al. Automatic ventricular nuclear magnetic resonance image processing with deep learning
Zhao et al. AGMN: association graph-based graph matching network for coronary artery semantic labeling on invasive coronary angiograms
CN113689441A (zh) 一种基于DeepLabV3网络的左心室超声动态分割方法
CN109637629A (zh) 一种bi-rads分级模型建立方法
Beetz et al. Mesh U-Nets for 3D cardiac deformation modeling
Tang et al. Work like a doctor: Unifying scan localizer and dynamic generator for automated computed tomography report generation
Lu et al. AugMS-Net: Augmented multiscale network for small cervical tumor segmentation from MRI volumes
Yang et al. A lightweight fully convolutional network for cardiac MRI segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant