CN113361689A - 超分辨率重建网络模型的训练方法和扫描图像处理方法 - Google Patents
超分辨率重建网络模型的训练方法和扫描图像处理方法 Download PDFInfo
- Publication number
- CN113361689A CN113361689A CN202110642809.4A CN202110642809A CN113361689A CN 113361689 A CN113361689 A CN 113361689A CN 202110642809 A CN202110642809 A CN 202110642809A CN 113361689 A CN113361689 A CN 113361689A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- network model
- training image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 204
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 16
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 11
- 238000011084 recovery Methods 0.000 abstract description 9
- 210000001519 tissue Anatomy 0.000 description 34
- 239000010410 layer Substances 0.000 description 28
- 238000003745 diagnosis Methods 0.000 description 22
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 15
- 201000010099 disease Diseases 0.000 description 14
- 210000004556 brain Anatomy 0.000 description 11
- 210000001320 hippocampus Anatomy 0.000 description 11
- 206010063629 Hippocampal sclerosis Diseases 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 8
- 230000000971 hippocampal effect Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 206010003694 Atrophy Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 208000034189 Sclerosis Diseases 0.000 description 2
- 230000037444 atrophy Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 206010015037 epilepsy Diseases 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000004884 grey matter Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000000053 physical method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008733 trauma Effects 0.000 description 2
- 210000004885 white matter Anatomy 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 206010002660 Anoxia Diseases 0.000 description 1
- 241000976983 Anoxia Species 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 206010010904 Convulsion Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 208000005392 Spasm Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000012152 algorithmic method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000007953 anoxia Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003376 axonal effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000004641 brain development Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 210000000877 corpus callosum Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 210000001947 dentate gyrus Anatomy 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001353 entorhinal cortex Anatomy 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 208000028867 ischemia Diseases 0.000 description 1
- 210000003140 lateral ventricle Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种超分辨率重建网络模型的训练方法和扫描图像处理方法,训练方法包括:获取低分辨率训练图像和与对应的高分辨率训练图像;将低分辨率训练图像输入至待训练的超分辨率重建网络模型;通过超分辨率重建网络模型对低分辨率训练图像进行图像重建处理以获取与低分辨率训练图像对应的超分辨率训练图像;计算超分辨率及高分辨率训练图像之间的第一损失;从超分辨率训练图像中识别出注意力区域并从高分辨率训练图像中识别出同样的注意力区域,计算识别出注意力区域的超分辨率及高分辨率训练图像之间的第二损失;根据第一及第二损失训练超分辨率重建网络模型。本发明可以灵活选择图像细节恢复,明显提升了对图像关注区域的还原效果。
Description
技术领域
本发明涉及人工智能领域,特别涉及一种超分辨率重建网络模型的训练方法和扫描图像处理方法。
背景技术
形态学的磁共振(MR)分析是神经影像领域诊断脑疾病,研究大脑发育的一种重要手段。低分辨率的图像使得视野受到限制,提供的病理信息有限;高分辨率的图像意味着图像的像素密度很高,能够提供更多的细节,例如:解剖信息、生理信息、功能代谢信息。如果能够提供高分辨率的图像,那么就可以极大的帮助医生做出正确的诊断,也可以提升计算机辅助诊断方面的性能。
现代医学成像依赖于高科技的设备—X线机、CT(电子计算机断层扫描)、MR等。虽然随着硬件设备的升级,成像的质量也会随之提高,但由于现实条件的限制,得到高分辨率的图像的难度较大。例如,CT想要得到高分辨的图像,最简单有效的就是增加剂量,但是这意味着更高的辐射;而MR想要的得到高分辨率的图像,就需要更长的扫描时间,而这可能导致成本成倍增长。因此,大部分医院一般情况下都不会选择扫描分辨率很高的图像,高分辨率的图像往往不容易得到。相反,随着临床诊断对于影像学的依赖,医院已经存储了大量的用于疾病初筛的厚层图像。
因此,不管对于新的疾病精确诊断治疗,还是对于旧的图像信息挖掘研究,低分辨率的图像映射到高分辨率的图像都有着重要的意义。
目前,提高医学图像分辨率的方法主要有两类:物理方法和算法方法。
物理方法主要可以依靠提升传感器的数量、增加MR磁场强度,但是可能会导致严重的噪声,同时成像成本极大增加。
算法方法主要分为三类:基于插值的方法,基于重构的方法,基于学习的方法。1)基于插值的方法:主要有最近邻插值、双线性插值、三次样条插值,虽然简单快速,但是会导致重建图像模糊,且不能引入额外有效的高频信息,提升图像分辨率的作用有限;2)基于重构的方法:迭代反投影法、凸集反投影法、最大后验概率法,收敛比较慢,依赖于图像的降质模型,受原始图像质量的影响比较大;3)基于某种规则的学习方法:基于稀疏学习、基于字典学习、基于神经网络学习的方法,前两者依赖于一定的样本库,而基于神经网络的深度学习可以通过网络有监督的学习图像的特征,再用于图像重建,目前来看这种方法效果要明显优于其余几种方法。
基于神经网络学习的方法,大多源自自然图像,采用高分辨率的图像下采样得到的低分辨率的图像作为网络输入,然后经过多层卷积来补充图像的细节,重建出与高分辨率图像相似的结果。但是,采用现有的基于神经网络学习的方法重建出的图像对图像的每个区域的还原程度完全一致,甚至对某区域的还原效果明显较差,导致无法有效地应用于医学图像的还原重建上,无法满足对医学诊断和科研的各项要求。
发明内容
本发明要解决的技术问题是为了克服现有技术中基于神经网络学习的方法无法有效地应用于医学图像的还原重建上的缺陷,提供一种超分辨率重建网络模型的训练方法、扫描图像处理方法、电子设备和计算机可读介质。
本发明是通过下述技术方案来解决上述技术问题:
根据本发明的一实施方式,提供一种超分辨率重建网络模型的训练方法,包括:
获取低分辨率训练图像和与所述低分辨率训练图像对应的高分辨率训练图像,所述高分辨率训练图像的像素密度高于对应的所述低分辨率训练图像的像素密度;
将所述低分辨率训练图像输入至待训练的超分辨率重建网络模型;
通过所述超分辨率重建网络模型对所述低分辨率训练图像进行图像重建处理以获取与所述低分辨率训练图像对应的超分辨率训练图像,所述超分辨率训练图像的像素密度高于或等于对应的所述高分辨率训练图像的像素密度;
计算所述超分辨率训练图像及所述高分辨率训练图像之间的第一损失;
从所述超分辨率训练图像中识别出注意力区域并从所述高分辨率训练图像中识别出同样的注意力区域,计算识别出注意力区域的所述超分辨率训练图像及所述高分辨率训练图像之间的第二损失;
根据所述第一损失及所述第二损失训练所述超分辨率重建网络模型。
可选地,所述获取低分辨率训练图像和与所述低分辨率训练图像对应的高分辨率训练图像的步骤之后,所述训练方法还包括:
将低分辨率训练图像和高分辨率训练图像进行配准以保持图像的一致性。
可选地,所述从所述超分辨率训练图像中识别出注意力区域并从所述高分辨率训练图像中识别出同样的注意力区域,计算识别出注意力区域的所述超分辨率训练图像及所述高分辨率训练图像之间的第二损失的步骤,具体包括:
从所述超分辨率训练图像中识别出注意力区域并从所述高分辨率训练图像中识别出同样的注意力区域;
根据训练图像的像素点与识别出的注意力区域的距离,对训练图像的每个像素点分别赋予对应的损失计算权重,其中,像素点与注意力区域的距离和赋予该像素点的损失计算权重为相对关系;
通过每个像素点对应的损失计算权重来计算识别出注意力区域的所述超分辨率训练图像及所述高分辨率训练图像之间的第二损失。
可选地,所述训练方法还包括:
利用组织结构图分别对所述超分辨率训练图像和所述高分辨率训练图像进行组织分割以获取所述超分辨率训练图像的组织分割图和所述高分辨率训练图像的组织分割图;
计算所述超分辨率训练图像的组织分割图和所述高分辨率训练图像的组织分割图之间的第三损失;
根据所述第一损失和及所述第三损失训练所述超分辨率重建网络模型。
可选地,所述超分辨率重建网络模型包括若干个残差块;
每个所述残差块至少包括两个第一卷积层、激活函数、两个第二卷积层及恒定缩放层;
其中,所述第一卷积层包括尺寸为3×1×1的卷积层,所述第二卷积层包括尺寸为1×3×3的卷积层。
可选地,所述超分辨率重建网络模型包括动态神经网络模型、卷积神经网络模型、全卷积网络模型、深度神经网络模型、生成对抗网络模型、循环神经网络模型、深度残差网络模型及长短时记忆网络模型中的任意一种或多种。
根据本发明的另一实施方式,提供一种扫描图像处理方法,包括:
获取扫描图像;
将所述扫描图像输入至通过如上述的超分辨率重建网络模型的训练方法训练出的超分辨率重建网络模型;
通过所述超分辨率重建网络模型对所述扫描图像进行图像重建处理;
输出进行图像重建处理后的超分辨率重建图像。
可选地,输出超分辨率重建图像的步骤之后,所述扫描图像处理方法还包括:
从所述超分辨率重建图像中重建出针对所述注意力区域的图像,对针对所述注意力区域的图像进行异常检测以筛查出所述注意力区域中的异常。
根据本发明的另一实施方式,提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行计算机程序时实现如上述的超分辨率重建网络模型的训练方法或如上述的扫描图像处理方法。
根据本发明的另一实施方式,提供一种计算机可读介质,其上存储有计算机指令,所述计算机指令在由处理器执行时实现如上述的超分辨率重建网络模型的训练方法或如上述的扫描图像处理方法。
在符合本领域常识的基础上,所述各优选条件,可任意组合,即得本发明各较佳实施例。
本发明的积极进步效果在于:
本发明不仅使用成对的真实的低分辨率图像和高分辨率图像训练网络以输出超分辨率图像,还加入了注意力区域,可以根据关注的组织不同,设置不同的注意力区域,灵活选择图像细节恢复,明显提升了对图像关注区域的还原效果,从而可有效地应用于医学图像的还原重建上,满足对医学诊断和科研的各项要求。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后,能够更好地理解本发明的所述特征和优点。在附图中,各组件不一定是按比例绘制,并且具有类似的相关特性或特征的组件可能具有相同或相近的附目标记。
图1为根据本发明的一实施例的超分辨率重建网络模型的训练方法的流程示意图。
图2为根据本发明的另一实施例的扫描图像处理方法的流程示意图。
图3a为训练超分辨率重建网络模型的过程示意图。
图3b为超分辨率重建网络模型的结构示意图。
图3c为计算超分辨率训练图像及高分辨率训练图像之间的损失的示意图。
图4为基于超分辨率重建网络模型获取的图像结果的对比展示图。
图5为根据本发明的另一实施例的临床诊断工作流的示意图。
图6a为患左侧海马硬化病人常规磁共振成像的示意图。
图6b为患左侧海马硬化病人超分辨率重建图像的示意图。
图6c为患左侧海马硬化病人真实高分辨率图像的示意图。
图7为根据本发明另一实施例的实现超分辨率重建网络模型的训练方法或扫描图像处理方法的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
为了克服目前存在的上述缺陷,本实施例提供一种超分辨率重建网络模型的训练方法,包括:获取低分辨率训练图像和与低分辨率训练图像对应的高分辨率训练图像,高分辨率训练图像的像素密度高于对应的低分辨率训练图像的像素密度;将低分辨率训练图像输入至待训练的超分辨率重建网络模型;通过超分辨率重建网络模型对低分辨率训练图像进行图像重建处理以获取与低分辨率训练图像对应的超分辨率训练图像,超分辨率训练图像的像素密度高于或等于对应的高分辨率训练图像的像素密度;计算超分辨率训练图像及高分辨率训练图像之间的第一损失;从超分辨率训练图像中识别出注意力区域并从高分辨率训练图像中识别出同样的注意力区域,计算识别出注意力区域的超分辨率训练图像及高分辨率训练图像之间的第二损失;根据第一损失及第二损失训练超分辨率重建网络模型。
图像分辨率指图像中存储的信息量,是每英寸图像内有多少个像素点,分辨率的单位为PPI(Pixels Per Inch),通常叫做像素每英寸。一般情况下,图像分辨率越高,图像中包含的细节就越多,信息量也越大。图像分辨率分为空间分辨率和时间分辨率。通常,分辨率被表示成每一个方向上的像素数量,例如64*64的二维图像。但分辨率的高低其实并不等同于像素数量的多少,例如一个通过插值放大了5倍的图像并不表示它包含的细节增加了多少。图像超分辨率重建关注的是恢复图像中丢失的细节,即高频信息。在大量的电子图像应用领域,人们经常期望得到高分辨率(简称HR)图像。但由于设备、传感器等原因,我们得到的图像往往是低分辨率图像(LR)。增加空间分辨率最直接的解决方法就是通过传感器制造技术减少像素尺寸(例如增加每单元面积的像素数量);另外一个增加空间分辨率的方法是增加芯片的尺寸,从而增加图像的容量。因为很难提高大容量的偶合转换率,所以这种方法一般不认为是有效的,因此,引出了图像超分辨率技术。
超分辨率图像是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。
超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率,通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。
在本实施例中,超分辨率重建网络模型可以包括动态神经网络模型(DMN)、卷积神经网络模型(CNN)、全卷积网络模型(FCN)、深度神经网络模型(DNN)、生成对抗网络模型(GAN)、循环神经网络模型(RNN)、深度残差网络模型(DRN)及长短时记忆网络模型(LSTM)中的任意一种或多种,可根据实际需求进行相应的选择及调整。
在本实施例中,不仅使用成对的真实的低分辨率图像和高分辨率图像训练网络以输出超分辨率图像,还加入了注意力区域,可以根据关注的组织不同,设置不同的注意力区域,灵活选择图像细节恢复,明显提升了对图像关注区域的还原效果,从而可有效地应用于医学图像的还原重建上,满足对医学诊断和科研的各项要求。
具体地,作为一实施例,如图1所示,本实施例提供的超分辨率重建网络模型的训练方法,主要包括以下步骤:
步骤101、获取低分辨率训练图像和对应的高分辨率训练图像。
在本步骤中,作为一可选实施方式,使用成对的真实的脑部MR的T1加权低分辨率图像和高分辨率图像作为低分辨率训练图像和对应的高分辨率训练图像。
当然,图像并不仅限于脑部图像,也可以为腹部图像、肺部图像或胸部图像等,而且图像也并不仅限于MR图像,也可以为CT图像、DR(数字化X射线图像)图像或自然图像等,本实施例并不具体限定图像类型,只需增加所需的相应训练数据,均可根据实际需求进行相应的选择及调整。
在本步骤中,获取低分辨率训练图像和对应的高分辨率训练图像之后,还将低分辨率训练图像和高分辨率训练图像进行配准以保持图像的一致性。本实施例虽然不局限方向性,但作为一可选实施方式,也可以将高分辨率训练图像配准至低分辨率训练图像以保持图像的一致性。
作为一优选实施方式,将低分辨率训练图像和高分辨率训练图像进行线性配准以保持图像的一致性。
具体地,对所有获得的脑部MR图像进行数据预处理:首先,将低分辨率的原始训练图像从层内分辨率为0.75×0.75mm2,层厚约4-5mm重采样为1×1×1mm3的标准分辨率;然后,将标准低分辨率训练图像和高分辨率的训练图像进行线性配准,以保持图像的一致性;然后,使用分割工具得到低分辨率训练图像的脑区分割mask(膜),再利用得到的mask去除低分辨率训练图像和高分辨率训练图像的头骨。
步骤102、将低分辨率训练图像输入至待训练的超分辨率重建网络模型。
作为一优选实施方式,在本步骤汇总,超分辨率重建网络模型采用动态神经网络模型(DMN)来实现,并不仅限于此。
步骤103、通过超分辨率重建网络模型对低分辨率训练图像进行图像重建处理以获取对应的超分辨率训练图像。
在本步骤中,参考图3a、图3b及图3c所示,在训练时,基于稀疏表示的超分辨率重建(SCSR)技术,使用原始的低分辨率训练图像和高分辨率训练图像作为DMN的输入,经过DMN中的图像预处理部分(preprocess),得到不带头骨并且已经与低分辨率图像域进行配准的HR图像。经过DMN网络其余部分,得到超分重建之后的超分辨率训练图像(SR图像)。
在测试时,只需要输入新的原始的低分辨率数据到训练好的DMN网络,即可得到分辨率更高的SR图像。
具体参考图3b所示,在本实施例中,DMN主体一般由32个residual blocks(残差块)构成,每个残差块均包括:两个第一卷积层、激活函数(Relu),两个第二卷积层、恒定缩放层(scale),其中,第一卷积层包括尺寸为3×1×1的卷积层,第二卷积层包括尺寸为1×3×3的卷积层。
对于超分辨率重建网络模型,由于采取的是直接补充图像信息的恢复策略,所以网络的输入(低分辨率训练图像)与输出(高分辨率训练图像)采用同等大小的尺寸,同样在网络靠近输出层的部分也无需上采样模块。在每个残差块中,都使用连续的3×1×1(网络中尺寸)和1×3×3两个卷积层(conx)来适应数据信息的各向异性—层内已有信息较多,层间需要补充的信息更多,与只使用一个3×3×3的卷积相比,计算量更小。
即,经过一个1×3×3的卷积,提取初级特征;接下来经过32个残差块,让网络学习高分辨率图像的深层次特征;最后使用3×3×3的卷积将这些高级特征与低分辨率图像相融合,来为低分辨率图像补充医生看片所需的细节信息。在每个残差块中,由于实验所用的低分辨率数据的层间层内分辨率不同,所需要的高级信息量也就有所不同,所以设计了3×1×1和1×3×3的连续卷积来适配,减少计算量。
作为一实验例,使用了成对的1740例真实的数据,其中1328例数据用来训练模型,其余数据用来做测试。
由于计算力的限制,对于3D(三维)的图像进行了crop(剪裁)操作,网络输入的path(通道)大小为[32,32,32],并将其灰度值归一化到[-1,1],对于高分辨率训练图像也做了相应的处理。
步骤104、计算超分辨率训练图像及高分辨率训练图像之间的第一损失。
在本步骤中,参考图3a所示,使用得到的SR图像和HR图像计算第一损失(Loss),使用梯度回传的方式更新DMN网络的参数。
具体地,使用DMN得到的SR图像和HR图像的灰度图,计算两者之间的第一损失:
步骤105、判断从训练图像中是否能够识别出注意力区域,若是,执行步骤106,若否,执行步骤107。
在本步骤中,检测训练图像中是否指定想要重点关注的注意力区域,若有,则执行步骤106,若没有,执行步骤107。
步骤106、计算识别出注意力区域的超分辨率训练图像及高分辨率训练图像之间的第二损失。执行步骤106之后,执行步骤109。
在本步骤中,从所述超分辨率训练图像中识别出注意力区域并从所述高分辨率训练图像中识别出同样的注意力区域,计算识别出注意力区域的所述超分辨率训练图像及所述高分辨率训练图像之间的第二损失。
作为一可选实施方式,本步骤可具体包括:
从超分辨率训练图像中识别出注意力区域并从高分辨率训练图像中识别出同样的注意力区域;
根据训练图像的像素点与识别出的注意力区域的距离,对训练图像的每个像素点分别赋予对应的损失计算权重,其中,像素点与注意力区域的距离和赋予该像素点的损失计算权重为相对关系,在本实施例中,像素点与注意力区域的距离和赋予该像素点的损失计算权重可以为反比关系,即像素点与注意力区域的距离越小,赋予该像素点的损失计算权重就越大,相反,像素点与注意力区域的距离越大,赋予该像素点的损失计算权重则越小;
通过每个像素点对应的损失计算权重来计算识别出注意力区域的超分辨率训练图像及高分辨率训练图像之间的第二损失。
具体地,使用灰度图计算SR图像与HR图像之间加权的第二损失:
这里的权重来自于两个部分:在注意力区域(本实施例为海马部分)与计算DiceLoss加权方法一致;但是为了更好的区分白质灰质脑脊液的组织边缘,遂加入了组织分割权重—使用组织分割结果图,计算每个点距离其最近的组织边缘的距离,得到组织分割的距离矩阵,同样按照这个矩阵进行赋权,规则也是距离越小,权重越大。然后将两个权值矩阵组合起来,即为MSE Loss的权重矩阵。
在本步骤中,上述注意力区域可以为预先定义的区域,也可以为利用组织分割结果图选取的重点关注部分区域,因此,本实施例并不具体限定上述注意力区域的类型以及设定或识别的方式,均可根据实际需求进行相应的选择及调整。
作为一可选实施方式,具体地,使用预训练好的组织分割工具对MR训练图像进行分割以获取相应的组织分割结果图,并且从获取到的组织分割结果图中选取特定组织区域及周围几个区域作为重点关注部分,以此设定该MR训练图像中的注意力区域。
步骤107、利用组织结构图分别对超分辨率训练图像和高分辨率训练图像进行组织分割。执行步骤107之后,执行步骤108。
在本步骤中,利用组织结构图分别对超分辨率训练图像和高分辨率训练图像进行组织分割以获取超分辨率训练图像的组织分割图和高分辨率训练图像的组织分割图。
步骤108、计算超分辨率训练图像和高分辨率训练图像的组织分割图之间的第三损失。执行步骤108之后,执行步骤109。
具体地,使用预训练好的分割工具对SR图像、HR图像进行分割,得到组织分割结果图,以及HR图像的脑区分割结果图,并从脑区分割结果图中选取海马以及周围几个区域作为重点关注部分。
使用脑区分割结果图计算每个位置与关注区域的相对距离得到一个距离矩阵,然后使用分割图计算SR图像与HR图像之间的第三损失:
步骤109、根据第一损失、第二损失及第三损失训练超分辨率重建网络模型。
在本步骤中,当然,也可根据实际情况根据第一损失和第二损失或根据第一损失和第三损失训练超分辨率重建网络模型。
具体地,最终用于更新训练超分辨率重建网络模型的参数的损失L,即为三个损失的加权和:
其中,α、β、γ分别为超参数。
在本实施例中,注意力区域可以通过以下两种规则有多种变化:1)可以关注于单个脑区,只以一个脑区及周围区域作为注意力区域;2)可以多个脑区组合,任意排列组合出n种注意力区域。
图4展示了一组低分辨率图像,经过本实施例提供的训练方法训练出的网络模型重建的超分辨率图像,以及直接采集的高分辨率图像。可以看到对于冠状位图像,低分辨率图像(网络输入)由于层厚比较大,是非常模糊的。经过网络模型重建出的超分辨率图像,在人眼视觉上,看起来非常的平滑,但是细节部分--例如海马部分也可以很有效的和周围区域—海马旁回等区别开来。超分辨图的效果几乎可以和高分辨率图像媲美。Zoom-in(放大显示)的部分也很好的说明了这个问题。
在本实施例中,通过超分辨率重建网络模型得到的超分辨率图像与花费超长时间代价扫描得到的高分辨率图像,期望它们是尽可能相像的。但是由于网络对于整张图像的关注度都是均等的,在结构相对精细的部分,超分辨率图像无法符合视觉要求。为了更好的区别组织的边缘结构,本实施例加入了组织分割图来监督超分辨网络。使用预训练好的组织分割的工具,固定参数后,使用这个工具得到超分辨率图像和高分辨率图像的组织分割结果,如果两张图像足够的相似,那么它们的组织分割图也应该充分相像。秉承着这个原则,在组织边界部分加大了惩罚力度。
正如上述提出的具体问题具体分析,不同的病症往往由于不同的病变引起。那么这种情况下,重点关注的区域就会有所不同。带着问题导向的理念,加入了注意力区域。首先,确定想要重点关注的部分(海马和海马周围部分);然后使用预处理部分得到的脑区分割结果生成注意力区域mask。在计算超分辨率图像与高分辨率图像的损失前,先计算每个点与注意力区域的距离,得到整幅图像关于注意力区域的距离矩阵。根据距离的大小为图像上每个点赋予不同的权重,距离注意力区域越近,所得到的损失权重就会越大,网络赋予它的关注度就会越强,重建结果就会越接近高分辨率图像。
作为另一实施例,如图2所示,本实施例提供的扫描图像处理方法,主要包括以下步骤:
步骤201、获取扫描图像。
在本实施例中,扫描图像可以为MR图像、CT图像、DR图像或自然图像等,本实施例并不具体限定扫描图像类型,可根据实际需求进行相应的选择及调整。
步骤202、将扫描图像输入至训练出的超分辨率重建网络模型。
在本步骤中,将扫描图像输入至通过如上述实施例的超分辨率重建网络模型的训练方法训练出的超分辨率重建网络模型。
步骤203、通过超分辨率重建网络模型对扫描图像进行图像重建处理以获取超分辨率重建图像。
在本步骤中,通过对扫描图像的预设注意力区域执行细节还原处理以获取到针对注意力区域细节还原的超分辨率重建图像。
步骤204、从超分辨率重建图像中重建出针对注意力区域的图像并进行异常检测以筛查出注意力区域中的异常。
在本步骤中,可通过人工智能等方式对针对注意力区域的图像进行异常检测以筛查出注意力区域中的异常,从而便于医学诊断或科研。
本实施例提供的扫描图像处理方法,不仅能够输出超分辨率图像,还加入了注意力区域,可以根据关注的组织不同,设置不同的注意力区域,灵活选择图像细节恢复,明显提升了对图像关注区域的还原效果,从而可有效地应用于医学图像的还原重建上,满足对医学诊断和科研的各项要求。
本实施例还提供一种简单便捷的基于影像分析的临床疾病辅助诊断的工作流,该工作流利用如上述实施例的扫描图像处理方法来实现,该工作流能够极大地减少患者做影像检查所需的时间、费用,简化微小病变的检出步骤;减轻影像科的排片负担,让设备资源效用最大化;改变医生以往疑似病症需要反复拍片的诊断流程。
目前,现有的基于影像学分析的临床疾病辅助诊断工作流,一般都是经由患者口述病情,医生进行初步分析,给出拍片建议;然后患者按照检查单去影像科拍片,拿到结果之后再去找医生进行病情确认。影像科医生为患者做MR常规扫描。MR常规扫描又叫MR平扫,通常只包括几个二维序列,如T1WI,T2WI,T2FLAIR。二维序列的含义是扫描时,会沿着一个方向如从下到上的横断位一次扫描一个二维平面,然后向上移动比如常规为5mm再扫下一个层面。
这样得到的常规MRI,也就是厚层图像只能做到大体结构的筛查,比如排除大的肿瘤及占位性病变,在其他方向如冠状位和矢状位对于细节的表达是非常模糊的,只有扫描的方向如横断面的图像表现比较清晰。如果病变的大小小于层厚(此图例为5mm)那么在这种常规的MRI中是无法表现出来的,这种精细结构的微小病变就会被忽略,尤其不足以达到类似海马虽然体积不大,但是却在人体中占据举足轻重地位的结构疾病检查的要求。
有经验的医生在排除大结构疾病之后,一般情况下,会要求患者(那些有明显临床表现,常规平扫图像未见异常的就诊人群,一定程度上会患有神经退行性疾病)再次扫描高分辨率的MR图像来进行疾病确诊。这个过程将会进一步增加患者的时间与金钱的花费,同时也为医院的设备运转又增添一份负担。
针对目前的存在的上述缺陷,本实施例提供的如上述的基于影像分析的临床疾病辅助诊断的工作流,主要具有以下效果:
1)本方法基于临床常规扫描图像,使用如上述的扫描图像处理方法进行超分辨率图像重建,得到拥有更多高频信息的图像。
2)临床医生基于重建的超分辨率图像进行疾病分析,做诊断。
3)精简了临床多次诊断多次反馈的流程。
4)无需为确认病灶精细位置反复进行高分辨率图像扫描。
5)一般情况下,多病灶的病人也无需进行多次高分辨率图像扫描。
6)可选择是否加入AI(人工智能)多病例样本诊断结果,人工智能与人智能相结合,降低由于生理疲劳误诊的可能性。
作为一可选实施方式,以海马硬化疾病的诊断为例说明如上述的临床辅助诊断工作流,当然该工作流也可有效地适用于包括但不限于需要分析图像微小改变的疾病:肿瘤早期诊断、阿尔兹海默症的诊断治疗、微小出血病灶的定位等。
海马是一个极易受损的敏感部位。创伤、缺血缺氧、炎症反应和变性等过程均可以引起海马病变。海马硬化(hippocampal sclerosis)最早是由Falcomer(人名)等人提出的,又叫做颞叶内侧硬化,是一种难治性颞叶癫痫最常见的病理类型,与癫痫互为因果。其病因可能与婴幼儿、儿童时期的各种损伤(外伤、惊厥、高热痉挛等)有关。海马结构包括海马、下托、齿状回、临近的内嗅皮质和周围胼胝体的海马残件。常见的MRI表现为:海马萎缩(最常见最可靠的指征);海马头部浅沟消失;海马内部解剖结构消失;颞叶萎缩;患侧的侧脑室颞角扩大。
参考图5所示,应用本实施例的临床工作流对海马硬化患者的诊断流程主要为:患者表现出某些临床征兆———摸索、咂嘴等自动症,及时到医院就医;医生对患者所描述的症状做出初步诊断,然后建议患者使用影像学手段检查确认;医生开具检查单——扫描临床常规MRI;经过如上述的超分辨率重建网络模型重建,得到可用于辅助诊断的超分辨率医学图像;这个时候可以经由有经验的医生根据精细图像的微小病变、临床症状给出诊断结果,做出治疗方案。
作为一种可选方案,也可以由学习了无数病例的AI给出影像标志物检测并附上其相关的病例检测结果、量化特征等信息,医生参考AI给出的结果,结合自身经验,给出最终诊断。例如,通过使用临床厚层图像作为输入,在自动图像超分辨率重建之后,AI算法可以将海马区域精细分割,得到量化特征。通过组学方法将这些量化特征输送入分类器,可以对左侧海马硬化患者、右侧海马硬化患者及正常对照进行自动三分类,从而在临床上起到自动提示医师此患者可能为海马硬化并给出单侧信息,以方便医生找到问题并进行诊断。作为一实验例,在182个病例上进行实验,结果表明左侧海马患者分类正确率为92.3%,右侧海马患者分类正确率为94.0%。
使用上述工作流之后,拍片这个过程将会大大简化。参考图6b及图6c所示,经过超分辨率重建的图像在视觉效果上与直接采集耗时费力采集的高分辨率图像非常的接近,对于海马部分的分割效果也基本保持一致。
对比图6a、图6b和图6c,可以看到现有的临床常规MR平扫图像在冠状位和矢状位已经将海马区域完全模糊化,包括各种组织边界也很难判定,只有在横断面才可以有较为清晰的观察到GM/WM/CSF(灰质/白质/脑脊液),病变范围大于5mm的疾病才可以跨层显现在轴壮位图像。但是与超分辨率图像和高分辨率图像相比较而言,视觉效果还是略逊一筹,由于其在扫描的时候层间距离比较大,丢失了一部分有效信息,也同样会影响到层内图像的重建结果。这种情况下,使用本实施例提供的新的工作流,直接使用重建的超分辨率图像来进行疾病诊断无疑是一种既经济又有说服力的选择。
图7为根据本发明另一实施例提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如上实施例中的超分辨率重建网络模型的训练方法或扫描图像处理方法。图7显示的电子设备30仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,电子设备30可以以通用计算设备的形式表现,例如其可以为服务器设备。电子设备30的组件可以包括但不限于:上述至少一个处理器31、上述至少一个存储器32、连接不同***组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器,例如随机存取存储器(RAM)321和/或高速缓存存储器322,还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325,这样的程序模块324包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序,从而执行各种功能应用以及数据处理,例如本发明如上实施例中的超分辨率重建网络模型的训练方法或扫描图像处理方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且,模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图7所示,网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白,尽管图中未示出,可以结合模型生成的设备30使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)***、磁带驱动器以及数据备份存储***等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现如上实施例中的超分辨率重建网络模型的训练方法或扫描图像处理方法中的步骤。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行实现如上实施例中的超分辨率重建网络模型的训练方法或扫描图像处理方法中的步骤。
其中,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
Claims (10)
1.一种超分辨率重建网络模型的训练方法,其特征在于,包括:
获取低分辨率训练图像和与所述低分辨率训练图像对应的高分辨率训练图像,所述高分辨率训练图像的像素密度高于对应的所述低分辨率训练图像的像素密度;
将所述低分辨率训练图像输入至待训练的超分辨率重建网络模型;
通过所述超分辨率重建网络模型对所述低分辨率训练图像进行图像重建处理以获取与所述低分辨率训练图像对应的超分辨率训练图像,所述超分辨率训练图像的像素密度高于或等于对应的所述高分辨率训练图像的像素密度;
计算所述超分辨率训练图像及所述高分辨率训练图像之间的第一损失;
从所述超分辨率训练图像中识别出注意力区域并从所述高分辨率训练图像中识别出同样的注意力区域,计算识别出注意力区域的所述超分辨率训练图像及所述高分辨率训练图像之间的第二损失;
根据所述第一损失及所述第二损失训练所述超分辨率重建网络模型。
2.如权利要求1所述的训练方法,其特征在于,所述获取低分辨率训练图像和与所述低分辨率训练图像对应的高分辨率训练图像的步骤之后,所述训练方法还包括:
将低分辨率训练图像和高分辨率训练图像进行配准以保持图像的一致性。
3.如权利要求2所述的训练方法,其特征在于,所述从所述超分辨率训练图像中识别出注意力区域并从所述高分辨率训练图像中识别出同样的注意力区域,计算识别出注意力区域的所述超分辨率训练图像及所述高分辨率训练图像之间的第二损失的步骤,具体包括:
从所述超分辨率训练图像中识别出注意力区域并从所述高分辨率训练图像中识别出同样的注意力区域;
根据训练图像的像素点与识别出的注意力区域的距离,对训练图像的每个像素点分别赋予对应的损失计算权重,其中,像素点与注意力区域的距离和赋予该像素点的损失计算权重为相对关系;
通过每个像素点对应的损失计算权重来计算识别出注意力区域的所述超分辨率训练图像及所述高分辨率训练图像之间的第二损失。
4.如权利要求1所述的训练方法,其特征在于,所述训练方法还包括:
利用组织结构图分别对所述超分辨率训练图像和所述高分辨率训练图像进行组织分割以获取所述超分辨率训练图像的组织分割图和所述高分辨率训练图像的组织分割图;
计算所述超分辨率训练图像的组织分割图和所述高分辨率训练图像的组织分割图之间的第三损失;
根据所述第一损失和及所述第三损失训练所述超分辨率重建网络模型。
5.如权利要求1~4中任意一项所述的训练方法,其特征在于,所述超分辨率重建网络模型包括若干个残差块;
每个所述残差块至少包括两个第一卷积层、激活函数、两个第二卷积层及恒定缩放层;
其中,所述第一卷积层包括尺寸为3×1×1的卷积层,所述第二卷积层包括尺寸为1×3×3的卷积层。
6.如权利要求1所述的训练方法,其特征在于,所述超分辨率重建网络模型包括动态神经网络模型、卷积神经网络模型、全卷积网络模型、深度神经网络模型、生成对抗网络模型、循环神经网络模型、深度残差网络模型及长短时记忆网络模型中的任意一种或多种。
7.一种扫描图像处理方法,其特征在于,包括:
获取扫描图像;
将所述扫描图像输入至通过如权利要求1~6中任意一项所述的超分辨率重建网络模型的训练方法训练出的超分辨率重建网络模型;
通过所述超分辨率重建网络模型对所述扫描图像进行图像重建处理;
输出进行图像重建处理后的超分辨率重建图像。
8.如权利要求7所述的扫描图像处理方法,其特征在于,输出超分辨率重建图像的步骤之后,所述扫描图像处理方法还包括:
从所述超分辨率重建图像中重建出针对所述注意力区域的图像,对针对所述注意力区域的图像进行异常检测以筛查出所述注意力区域中的异常。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行计算机程序时实现如权利要求1~6中任意一项所述的超分辨率重建网络模型的训练方法或如权利要求7至8中任意一项所述的扫描图像处理方法。
10.一种计算机可读介质,其上存储有计算机指令,其特征在于,所述计算机指令在由处理器执行时实现如权利要求1~6中任意一项所述的超分辨率重建网络模型的训练方法或如权利要求7至8中任意一项所述的扫描图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110642809.4A CN113361689A (zh) | 2021-06-09 | 2021-06-09 | 超分辨率重建网络模型的训练方法和扫描图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110642809.4A CN113361689A (zh) | 2021-06-09 | 2021-06-09 | 超分辨率重建网络模型的训练方法和扫描图像处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113361689A true CN113361689A (zh) | 2021-09-07 |
Family
ID=77533438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110642809.4A Pending CN113361689A (zh) | 2021-06-09 | 2021-06-09 | 超分辨率重建网络模型的训练方法和扫描图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113361689A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114202464A (zh) * | 2021-12-15 | 2022-03-18 | 清华大学 | 基于深度学习的x射线ct局部高分辨率成像方法及装置 |
CN114693831A (zh) * | 2022-05-31 | 2022-07-01 | 深圳市海清视讯科技有限公司 | 一种图像处理方法、装置、设备和介质 |
WO2024066044A1 (zh) * | 2022-09-27 | 2024-04-04 | 深圳先进技术研究院 | 基于超分辨率重建的危险行为识别方法、***及相关设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109410239A (zh) * | 2018-11-07 | 2019-03-01 | 南京大学 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
CN110211059A (zh) * | 2019-05-17 | 2019-09-06 | 武汉奥贝赛维数码科技有限公司 | 一种基于深度学习的图像重建方法 |
CN111062872A (zh) * | 2019-12-17 | 2020-04-24 | 暨南大学 | 一种基于边缘检测的图像超分辨率重建方法及*** |
-
2021
- 2021-06-09 CN CN202110642809.4A patent/CN113361689A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109410239A (zh) * | 2018-11-07 | 2019-03-01 | 南京大学 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
CN110211059A (zh) * | 2019-05-17 | 2019-09-06 | 武汉奥贝赛维数码科技有限公司 | 一种基于深度学习的图像重建方法 |
CN111062872A (zh) * | 2019-12-17 | 2020-04-24 | 暨南大学 | 一种基于边缘检测的图像超分辨率重建方法及*** |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114202464A (zh) * | 2021-12-15 | 2022-03-18 | 清华大学 | 基于深度学习的x射线ct局部高分辨率成像方法及装置 |
CN114693831A (zh) * | 2022-05-31 | 2022-07-01 | 深圳市海清视讯科技有限公司 | 一种图像处理方法、装置、设备和介质 |
WO2024066044A1 (zh) * | 2022-09-27 | 2024-04-04 | 深圳先进技术研究院 | 基于超分辨率重建的危险行为识别方法、***及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yi et al. | Generative adversarial network in medical imaging: A review | |
US6687329B1 (en) | Computer aided acquisition of medical images | |
JP5366356B2 (ja) | 医用画像処理装置及び医用画像処理方法 | |
CN113361689A (zh) | 超分辨率重建网络模型的训练方法和扫描图像处理方法 | |
JP7129869B2 (ja) | 疾患領域抽出装置、方法及びプログラム | |
TW201219013A (en) | Method for generating bone mask | |
CN111815735B (zh) | 一种人体组织自适应的ct重建方法及重建*** | |
CN111584066B (zh) | 基于卷积神经网络与对称信息的脑部医学影像诊断方法 | |
CN111062997A (zh) | 一种血管造影成像方法、***、设备和存储介质 | |
Amirrajab et al. | Label-informed cardiac magnetic resonance image synthesis through conditional generative adversarial networks | |
JP7456928B2 (ja) | 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置 | |
CN111445575A (zh) | 威利斯环的图像重建方法、装置、电子设备、存储介质 | |
CN115312198A (zh) | 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及*** | |
US20230263493A1 (en) | Maskless 2D/3D Artificial Subtraction Angiography | |
Ogawa et al. | Utility of unsupervised deep learning using a 3D variational autoencoder in detecting inner ear abnormalities on CT images | |
CN114881914A (zh) | 基于医学影像确定三维功能肝段的***及方法 | |
Zhao et al. | Residual-atrous attention network for lumbosacral plexus segmentation with MR image | |
CN113614788A (zh) | 计算机辅助读取和分析的深度强化学习 | |
US11176413B2 (en) | Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program | |
Vrettos et al. | Generative adversarial networks for spine imaging: A critical review of current applications | |
CN108010093A (zh) | 一种pet图像重建方法和装置 | |
Amara et al. | Augmented reality for medical practice: a comparative study of deep learning models for ct-scan segmentation | |
Huang et al. | Arterial spin labeling image synthesis from structural MRI using improved capsule-based networks | |
US20240071052A1 (en) | Method and system for removing foreign material from images | |
Pandey et al. | A Framework for Mathematical Methods in Medical Image Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |