CN116977466B - 一种增强ct图像生成模型的训练方法和存储介质 - Google Patents
一种增强ct图像生成模型的训练方法和存储介质 Download PDFInfo
- Publication number
- CN116977466B CN116977466B CN202310899743.6A CN202310899743A CN116977466B CN 116977466 B CN116977466 B CN 116977466B CN 202310899743 A CN202310899743 A CN 202310899743A CN 116977466 B CN116977466 B CN 116977466B
- Authority
- CN
- China
- Prior art keywords
- image
- enhanced
- generator
- scan
- flat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000002708 enhancing effect Effects 0.000 title claims description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 74
- 210000000056 organ Anatomy 0.000 claims abstract description 49
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 239000002872 contrast media Substances 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 238000001959 radiotherapy Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 210000003734 kidney Anatomy 0.000 description 4
- 206010020751 Hypersensitivity Diseases 0.000 description 3
- 206010029155 Nephropathy toxic Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 231100000417 nephrotoxicity Toxicity 0.000 description 3
- 230000007694 nephrotoxicity Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000000920 organ at risk Anatomy 0.000 description 2
- 230000003439 radiotherapeutic effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 208000006678 Abdominal Neoplasms Diseases 0.000 description 1
- 101100379080 Emericella variicolor andB gene Proteins 0.000 description 1
- 208000008839 Kidney Neoplasms Diseases 0.000 description 1
- 206010062237 Renal impairment Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000029142 excretion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000003090 iliac artery Anatomy 0.000 description 1
- 210000003111 iliac vein Anatomy 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 229910052740 iodine Inorganic materials 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 231100000857 poor renal function Toxicity 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种增强CT图像生成模型的训练方法和存储介质，属于CT图像生成技术领域，解决了现有技术中缺乏根据平扫CT图像直接生成高质量增强CT图像的模型的问题。方法包括以下步骤：获取平扫CT图像、增强CT图像以及平扫CT图像和增强CT图像分别对应的的器官轮廓分割图像，构建训练样本集；构建多任务循环生成对抗网络模型，所述多任务循环生成对抗网络模型的生成器为采用基于高效Transformer的编码器‑解码器结构的生成器；基于所述训练样本集对所述多任务循环生成对抗网络模型进行训练得到增强CT图像生成模型。实现了快速得到高质量增强CT图像生成模型。
Description
技术领域
本发明涉及CT图像生成技术领域，尤其涉及一种增强CT图像生成模型的训练方法和存储介质。
背景技术
在放射诊断和放射治疗中，增强计算机断层扫描(Contrast-enhanced CT，CECT)相比非增强计算机断层扫描(Non-contrast enhanced CT，NECT)具有独特的优势，并发挥重要作用。进行CECT扫描时，将含碘造影剂注入患者的静脉，通过在不同时间点扫描，观察造影剂在器官和组织中的动态分布和***情况，增加血管和组织的对比度，使得器官和病变更加清晰可见。这对于疾病的影像诊断、放射治疗中的肿瘤定位，尤其是自动化的肿瘤分割和轮廓勾画，以及评估肿瘤血供和治疗效果至关重要。
然而，造影剂可能引发过敏反应和肾毒性，并且对肾功能受损的患者存在禁忌。此外，多期CECT扫描会延长扫描时间并增加辐射暴露，对儿童等辐射敏感群体的健康有害。目前缺乏直接根据平扫CT图像生成高质量增强CT图像的模型。
发明内容
鉴于上述的分析，本发明实施例旨在提供增强CT图像生成模型的训练方法和存储介质，用以解决现有现有技术中缺乏根据平扫CT图像直接生成高质量增强CT图像的模型问题。
一方面，本发明实施例提供了一种增强CT图像生成模型的训练方法，包括以下步骤：
获取平扫CT图像、增强CT图像以及平扫CT图像和增强CT图像分别对应的的器官轮廓分割图像，构建训练样本集；
构建多任务循环生成对抗网络模型，所述多任务循环生成对抗网络模型的生成器为采用基于高效Transformer的编码器-解码器结构的生成器；
基于所述训练样本集对所述多任务循环生成对抗网络模型进行训练得到增强CT图像生成模型。
基于上述方法的进一步改进，所述基于高效Transformer的编码器-解码器结构的生成器包括编码器、基于高效Transformer的瓶颈层、基于高效Transformer的跳跃连接、解码器和后处理模块；
所述编码器用于通过多个卷积模块和下采样层对输入的图像进行逐步浅层特征提取；
所述基于高效Transformer的瓶颈层用于基于高效多头注意力机制从编码器输出的浅层特征中提取深层特征并输出到解码器；
所述基于高效Transformer的跳跃连接用于基于高效多头注意力机制，将从编码器每一层的浅层特征中提取深层特征并与解码器对应层的特征进行融合；
所述解码器用于根据融合特征逐步进行上采样解码输出解码特征；
后处理模块，用于根据解码器输出的特征生成CT图像以及生成器官轮廓分割图像。
基于上述方法的进一步改进，所述基于高效Transformer的瓶颈层通过高效Transformer块从编码器输出的浅层特征中提取深层特征；
所述高效Transformer块的多头自注意力模块为高效多头注意力模块，所述高效多头注意力模块的前后均设有层归一化层，所述高效Transformer块的前馈层前后均设置有层归一化层。
基于上述方法的进一步改进，所述多任务循环生成对抗网络模型包括用于生成增强CT图像以及对应的器官轮廓分割图像的增强CT生成器、用于生成平扫CT图像以及对应的器官轮廓分割图像的平扫CT生成器、用于对增强CT生成器的生成结果进行真伪判别的增强CT判别器和用于对平扫CT生成器的生成结果进行真伪判别的平扫CT判别器；所述增强CT生成器和平扫CT生成器结构相同，均为采用基于高效Transformer的编码器-解码器结构的生成器。
基于上述方法的进一步改进，采用以下公式计算多任务循环生成对抗网络模型的总损失
其中，GN2C表示增强CT生成器，GC2N表示平扫CT生成器，DC表示增强CT判别器，DN表示平扫CT判别器，表示判别器的对抗损失，/>表示图像层的一致性约束损失，/>表示分割轮廓层的分割损失，表示感兴趣区域层的感兴趣区域感知损失，λ1、λ2、λ3和λ4表示权重系数。
基于上述方法的进一步改进，采用以下公式计算图像层的一致性约束损失：
其中，N表示输入的平扫CT图像，C表示输入的增强CT图像，GC2N(GN2C(N))表示将增强CT生成器得到的增强CT图像输入平扫CT生成器后输出的平扫CT图像；GN2C(GC2N(C))表示将平扫CT生成器得到的平扫CT图像输入增强CT生成器后输出的增强CT图像，SC表示输入的增强CT图像的对应的器官轮廓分割图像，SN表示输入的平扫CT图像的对应的器官轮廓分割图像，║·║1表示矩阵的一范数，表示全局循环一致性约束损失，/>表示感兴趣区域循环一致性约束损失。
基于上述方法的进一步改进，根据以下公式计算分割损失：
其中，表示增强CT生成器输出的增强器官轮廓分割图像，/>表示平扫CT生成器输出的平扫器官轮廓分割图像，/>表示将增强CT生成器得到的增强CT图像输入平扫CT生成器后输出的器官轮廓分割图像，/>表示将平扫CT生成器得到的平扫CT图像输入增强CT生成器后输出的增强器官轮廓分割图像，/>表示Dice损失。
基于上述方法的进一步改进，根据以下公式计算感兴趣区域感知损失：
其中，表示平扫CT生成器输出的平扫器官轮廓分割图像，/>表示将增强CT生成器得到的增强CT图像输入平扫CT生成器后输出的平扫器官轮廓分割图像，/>表示感知损失；
采用以下公式计算感知损失：
计算两个图像x和x’的感知损失，φi(·)表示预训练的神经网络第i层输出的特征图，NP表示预训练的神经网络的特征提取层数，║·║1表示矩阵的一范数。
基于上述方法的进一步改进，根据以下公式计算判别器的对抗损失：
其中，E[·]表示期望，DN(GC2N(C))表示平扫判别器对平扫CT生成器输出的平扫CT图像的判别结果；DC(GN2C(N))表示增强判别器对增强CT生成器输出的增强CT图像的判别结果。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述存储介质用于存储计算机程序，当处理器执行所述计算机程序时，实现前述任一项所述的增强CT图像生成模型的训练方法的步骤。
与现有技术相比，本发明通过收集成对的平扫CT图像和对应的增强CT图像以及对应的器官分割图像构建训练样本集，训练多任务循环生成对抗网络模型得到增强CT图像生成模型，从而便于后续利用训练好的模型直接对平扫CT图像进行转换即可得到对应的增强CT图像，不需要再进行造影剂增强成像，从而快速得到增强CT图像；并且由于不使用造影剂，从而避免对患者的治疗造成不良影响(例如过敏反应和肾毒性)，也降低了患者的辐射暴露；通过采用基于高效Transformer的编码器-解码器结构融入高效注意力机制，从而提取更加有效的特征，提高图像生成的质量；通过训练多任务循环生成网络，同时实现图像模态转换的图像生成与分割，多任务间相辅相成，更加高效的进行图像转换和分割，生成的CECT图像能够提供与实际CECT图像相似的对比度，提高了肿瘤检测和分割的准确性，为放射治疗的规划和评估提供更可靠的依据。训练好的多任务循环生成对抗网络模型不仅可以合成CECT图像，还能同时进行图像分割。另外，还可以通过利用合成的CECT图像，结合现有先进的图像分割算法，实现自动化的肿瘤靶区和危及器官的轮廓勾画，这大大提高了放射治疗的效率和准确性，减轻了放疗师的工作负担，并降低了人为误差的风险。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件；
图1为本发明实施例增强CT图像生成模型的训练方法的流程图；
图2为本发明实施例的生成器的示意图；
图3为本发明实施例中不同模型在内部数据集上的结果示意图；
图4为本发明实施例中不同模型在HCC-TACE-Seg数据集上的结果示意图；
图5为本发明实施例中不同模型在KiTS数据集上的结果示意图；
图6为本发明实施例中不同模型生成的增强CT图像在器官分割任务上的可视化结果示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种增强CT图像生成模型的训练方法，如图1所示，包括以下步骤：
S1、获取平扫CT图像、增强CT图像以及平扫CT图像和增强CT图像分别对应的的器官轮廓分割图像，构建训练样本集；
S2、构建多任务循环生成对抗网络模型，所述多任务循环生成对抗网络模型的生成器为采用基于高效Transformer的编码器-解码器结构的生成器；
S3、基于所述训练样本集对所述多任务循环生成对抗网络模型进行训练得到增强CT图像生成模型。
需要说明的是，多任务包括图像转换任务和图像分割任务。
本发明通过收集成对的平扫CT图像和对应的增强CT图像以及对应的器官分割图像构建训练样本集，训练多任务循环生成对抗网络模型得到增强CT图像生成模型，从而便于后续利用训练好的模型直接对平扫CT图像进行转换即可得到对应的增强CT图像，不需要再进行造影剂增强成像，从而快速得到增强CT图像；并且由于不使用造影剂，从而避免对患者的治疗造成不良影响(例如过敏反应和肾毒性)，也降低了患者的辐射暴露；通过采用基于高效Transformer的编码器-解码器结构融入高效注意力机制，从而提取更加有效的特征，提高图像生成的质量；通过训练多任务循环生成网络，同时实现图像模态转换的图像生成与分割，多任务间相辅相成，更加高效的进行图像转换和分割，生成的CECT图像能够提供与实际CECT图像相似的对比度，提高了肿瘤检测和分割的准确性，为放射治疗的规划和评估提供更可靠的依据。训练好的多任务循环生成对抗网络模型不仅可以合成CECT图像，还能同时进行图像分割。另外，还可以通过利用合成的CECT图像，结合现有先进的图像分割算法，实现自动化的肿瘤靶区和危及器官的轮廓勾画，这大大提高了放射治疗的效率和准确性，减轻了放疗师的工作负担，并降低了人为误差的风险。
实施时，可通过测试集进行指标的计算以评判多任务循环生成对抗网络模型的优劣。
需要说明的是，获取的平扫CT图像和增强CT图像是成对的。获取平扫CT图像和对应的增强CT图像后，可先对CT图像进行预处理，以便于后续更准确的进行图像转换和分割。例如，利用分割模型获取皮肤的分割标签，去除CT图像中的床板，同时设置CT图像的窗宽窗位为全窗(例如，窗宽:2000，窗位:0)，以排除异常体素值对后续训练的干扰。
平扫CT图像和增强CT图像的器官分割图可通过现有的CT图像分割模型进行分割，标注出目标器官的轮廓，即将整个器官部分标注为1，其他部分标注为0。实施时，分割模型可采用RTP-Net轻量级自动分割网络。
成对的平扫和增强CT图像以及对应的分割图像作为一个样本，构建训练样本集。
具体的，构建的多任务循环生成对抗网络模型包括用于生成增强CT图像以及对应的器官轮廓分割图像的增强CT生成器、用于生成平扫CT图像以及对应的器官轮廓分割图像的平扫CT生成器、用于对增强CT生成器的生成结果进行真伪判别的增强CT判别器和用于对平扫CT生成器的生成结果进行真伪判别的平扫CT判别器。
实施时，增强CT生成器和平扫CT生成器的网络结构相同，即都采用基于高效Transformer的编码器-解码器结构。基于高效Transformer的编码器-解码器结构的生成器包括编码器、基于高效Transformer的瓶颈层、基于高效Transformer的跳跃连接、解码器和后处理模块；
所述编码器用于通过多个卷积模块和下采样层对输入的图像进行逐步浅层特征提取；
所述基于高效Transformer的瓶颈层用于基于高效多头注意力机制从编码器输出的浅层特征中提取深层特征并输出到解码器；
所述基于高效Transformer的跳跃连接用于基于高效多头注意力机制，将从编码器每一层的浅层特征中提取深层特征并与解码器对应层的特征进行融合；
所述解码器用于根据融合特征逐步进行上采样解码输出解码特征；
后处理模块，用于根据解码器输出的特征生成CT图像以及生成器官轮廓分割图像。
实施时，为了提高处理效率，在编码器之前可先通过预处理模对图像进行预处理，提高特征提取效率。
如图2所示，首先采用预处理模块(Pre Block)对输入的图像进行特征提取预处理，然后通过编码器的多个卷积模块和下采样层和逐步进行浅层特征提取，并且逐渐减小特征图的大小。预处理模块包括一个2D卷积层和一个LeakyReLU激活层。每个下采样层包含一个2D卷积层。每个卷积模块包含两个实例归一化层、两个步幅为1的卷积层和两个LeakyReLU激活函数。
与之相对的，解码器包括多个卷积模块和上采样层，解码器的卷积模块结构与编码器中的卷积模块结构一致，如此可以逐步对特征进行解码并逐步增大特征图的大小。可采用反卷积作为上采样层。经过上采样层和卷积模块后，解码器通过后处理模块(PostBlock)做双通道输出，一个通道进行CT图像生成，一个通道进行器官轮廓分割。后处理模块的网络结构和预处理模块相同。通过添加图像分割任务，在分割轮廓和感兴趣区域上进行约束，从而在反向传播时更好地优化网络的参数。
为了提高CT图像生成质量，在编码器和解码器之间设置了基于高效Transformer的瓶颈层，瓶颈层通过高效Transformer块(ETB)从而将编码器输出的特征进行高效注意力特征提取输出至解码器，将输入CT域的浅层特征转移到目标CT域。在编码器和解码器之间的瓶颈层中利用ETB从编码器输出的特征中进行深层特征提取。实施时，瓶颈层包括12个高效Transformer块(ETB)，用于从输入特征映射中提取深层特征。
为了避免过拟合和增强深层特征学习，如图2所示，高效Transformer块的多头自注意力模块为高效多头注意力模块，所述高效多头注意力模块的前后均设有层归一化层，高效Transformer块的前馈层前后均设置有层归一化(LayerNorm)层。采用高效多头注意力机制从而实现对GPU资源的高效利用。
实施时，通过跳跃连接，将对应的编码器与解码器对应层上的浅层特征和深层特征进行融合，使得解码器在进行上采样时能够获取到更多的高分辨率信息，进而更完善地恢复原始图像中的细节信息，提高图像转换和分割精度。
为了进一步提高体征图像转换和分割的精度，将ETB也用在跳跃连接当中，即跳跃连接为基于高效Transformer的跳跃连接，用于从浅层特征中进一步进行特征提取，将提取的特征与解码器所得特征图进行按通道数堆叠的合并融合。解码器可根据融合特征逐步进行上采样解码输出解码特征。
生成器结合了卷积神经网络和Transformer网络的优势，融入了高效注意力模块，显著提升了网络性能，能够生成高质量的CT图像。
实施时，判别器采用PatchGAN。
构建好多任务循环生成对抗网络后，根据训练样本集对网络模型进行训练，得到训练好的多任务循环生成对抗网络模型。训练过程中，根据模型的损失进行反向传播，更新模型参数。
实施时，为了提高图像生成质量，多任务循环生成对抗网络模型在图像层、分割轮廓层和感兴趣区域层进行一致性损失约束。
具体的，采用以下公式计算多任务循环生成对抗网络模型的总损失
其中，GN2C表示增强CT生成器，GC2N表示平扫CT生成器，DC表示增强CT判别器，DN表示平扫CT判别器，表示判别器的对抗损失，/>表示图像层的一致性约束损失，/>表示分割轮廓层的分割损失，表示感兴趣区域层的感兴趣区域感知损失，λ1、λ2、λ3和λ4表示权重系数。
图像层的一致性约束损失，包括全局损失和感兴趣区域损失。具体的，采用以下公式计算图像层的一致性约束损失：
其中，N表示输入的平扫CT图像，C表示输入的增强CT图像，GC2N(GN2C(N))表示将增强CT生成器得到的增强CT图像输入平扫CT生成器后输出的平扫CT图像；GN2C(GC2N(C))表示将平扫CT生成器得到的平扫CT图像输入增强CT生成器后输出的增强CT图像，SC表示输入的增强CT图像的对应的器官轮廓分割图像，SN表示输入的平扫CT图像的对应的器官轮廓分割图像，║·║1表示矩阵的一范数，表示全局循环一致性约束损失，/>表示感兴趣区域循环一致性约束损失。
具体的，根据以下公式计算判别器的对抗损失：
其中，E[·]表示期望，DN(GC2N(C))表示平扫判别器对平扫CT生成器输出的平扫CT图像的判别结果；DC(GN2C(N))表示增强判别器对平扫CT生成器输出的增强CT图像的判别结果。
具体的，根据以下公式计算分割损失：
其中，表示增强CT生成器输出的增强器官轮廓分割图像，/>表示平扫CT生成器输出的平扫器官轮廓分割图像，/>表示将增强CT生成器得到的增强CT图像输入平扫CT生成器后输出的器官轮廓分割图像，/>表示将平扫CT生成器得到的平扫CT图像输入增强CT生成器后输出的增强器官轮廓分割图像，/>表示Dice损失。
其中，Dice损失可根据计算得到。其中|A∩B|表示A和B的交集，|A|和|B|表示其元素个数。
实施时，根据以下公式计算感兴趣区域感知损失：
其中，表示感知损失。感知损失通常是用预训练神经网络(例如VGG网络)作为特征提取器进行高维空间的距离度量。通过感兴趣区域感知损失在高维空间进行约束，提升模型的泛化性。
实施时，通过计算两个图像x和x’的感知损失，φi(·)表示预训练的神经网络第i层输出的特征图，NP表示预训练的神经网络的特征提取层数，║·║1表示矩阵的一范数。
多任务循环生成对抗网络模型的损失不仅包括图像层级的一致性约束损失和判别器的对抗损失，还包括分割任务中的轮廓分割损失和感兴趣区域感知损失，从而通过分割任务辅助图像生成任务，提高图像生成质量。本发明结合多任务学习策略，在图像层级对整体进行约束，保证CT图像的部分区域的生成质量；在分割轮廓层级上对目标ROI区域进行学习，保证模型能捕捉到增强区域的轮廓信息；感兴趣区域层级，对ROI区域进行额外的监督约束，保证生成区域真实性和可靠性。
实施时，可根据不同增强期的CT图像(如动脉期增强CT和静脉期增强CT)生成对应的不同期的多任务循环生成对抗网络模型，实现不同期的增强CT图像生成(例如，一个平扫转动脉期增强CT的多任务循环生成对抗网络模型，一个平扫转静脉期增强CT的多任务循环生成对抗网络模型)。
实施时，为了说明本发明的效果，在内部数据集和两个公开数据集(HCC-TACE-Seg和KiTS)上对本发明的多任务循环生成对抗网络(MT-CTGAN)和常用的网络模型(U-Net、TransUNet和PTNet)进行对比。此外，还对生成的增强CT图像进行分割实验，以评价生成的增强CT图像在器官分割上的性能表现。
为了评估生成CT图像的质量并确保其与真实CT图像的相似性，我们使用了生成对抗网络中常用的两个评估指标:FID和LPIPS来评价生成增强CT图像的质量，FID和LPIPS是两个评价指标，衡量伪图像和真实图像在高维特征空间里的距离，越低越好。此外，采用医学图像分割领域中常用的4个指标，分别是Dice相似系数(DSC)、95％Hausdorff距离(HD95)、平均表面距离(ASD)和Jaccard系数(JC)来综合的评价生成的增强CT图像的器官分割性能，DSC和JC是基于区域的指标，而HD95和ASD是基于边界的指标，从而提供综合和准确的评价。
图3、图4和图5显示了不同网络模型在不同的数据集上生成的动脉期增强CT图像和静脉期增强CT的对比结果。图3为不同模型在内部数据集上的结果，图4为不同模型在HCC-TACE-Seg数据集上的结果，图5为不同模型在KiTS数据集上的结果。而表1显示了相应的指标。通过比较这些网络模型的生成的增强图与真实增强图(GT)之间的差异，我们可以很容易地评估每种模型的相对性能。在动脉期，主要的增强区域是髂动脉和髂静脉。MT-CTGAN在增强这些小血管的同时确保增强区域的准确性，图3可以看出我们的网络模型优于其他模型。在静脉期，我们评估肾脏和主动脉区域的增强，此阶段的挑战是很难恢复肾脏内部和主动脉边界的结构和血管。MT-CTGAN在准确定位主动脉边界和恢复肾脏的详细纹理信息方面表现较好。在HCC-TACE-Seg数据集中，动脉期的主动脉、肾脏和脾脏以及静脉期的肝脏是主要的挑战。对于KiTS数据集的结果，主要的挑战不仅在于ROI的增强，还在于肿瘤的接近性。图5显示了两种类型的肾肿瘤及其在增强图中的表现。而从图中可以看出我们提出的模型在生成更接近真实增强CT图像的增强图方面优于其他模型。表1显示了结果的定量度量，这些定量结果表明，MT-CTGAN生成的增强CT图像与真实增强CT图像非常相似。因此，定量和可视化结果都证明了所提出的MT-CTGAN在处理域偏移和实现泛化方面的有效性。
表1不同网络模型生成的增强CT图像的定量结果
表2给出了不同模型生成的CT图像在器官分割任务的性能度量，图6给出了它们的可视化结果对比。表2中，NE表示平扫CT；AP表示动脉期增强CT；VP表示门静脉期增强CT；S-AP表示网络模型生成的伪动脉期增强CT；S-VP表示网络模型生成的伪静脉期增强CT，avs.c列和a vs.e列中粗体的p值表明平扫CT与网络生成的增强CT的分割性能存在显著差异。b vs.c列和d vs.e列中粗体的p值表明真实增强CT和生成的增强CT的分割性能不存在显著差异。对于HCC-TACE-Seg数据集的结果，静脉期增强CT(无论是真实的还是网络生成的)都优于其他期。这是因为造影剂通常在注射造影剂几分钟后进入静脉期，这使得造影剂有更多的时间在HCC病变中循环和积聚，进一步增强了造影剂的可见性。而在KiTS数据集中，图6的(b)所示的生成动脉期增强CT可以增强肾脏的准确边界，辅助分割模型更准确地检测肿瘤。我们提出的模型生成的增强CT图像，产生了比单独依赖平扫CT图像更准确的肿瘤边界。这些显著的结果表明，我们提出的模型可以通过生成增强CT图像来辅助腹部肿瘤的分割。
表2不同网络模型生成的增强CT图像的在器官分割任务上的结果
此外，为了说明本发明提出的损失函数的有效性，通过分别删除这些损失函数中的一个，同时保留了其他损失函数来评估最终的性能，结果如表3所示。表3可以看到到每个损失函数对模型的整体性能都有显著贡献。基于MT-CTGAN的分割分支设计的这些损失函数，进一步证实了我们提出的多任务学习机制的有效性。这些发现为图像生成任务中的损失函数设计和多任务学习策略提供了有价值的见解。
表3不同损失函数的性能结果
本发明的一个具体实施例，公开了一种计算机可读存储介质，所述存储介质用于存储计算机程序，当处理器执行所述计算机程序时，实现前述实施例的增强CT图像生成模型的训练方法的步骤。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (2)
1.一种增强CT图像生成模型的训练方法，其特征在于，包括以下步骤：
获取平扫CT图像、增强CT图像以及平扫CT图像和增强CT图像分别对应的器官轮廓分割图像，构建训练样本集；
构建多任务循环生成对抗网络模型，所述多任务循环生成对抗网络模型的生成器为采用基于高效Transformer的编码器-解码器结构的生成器；
基于所述训练样本集对所述多任务循环生成对抗网络模型进行训练得到增强CT图像生成模型；
所述基于高效Transformer的编码器-解码器结构的生成器包括编码器、基于高效Transformer的瓶颈层、基于高效Transformer的跳跃连接、解码器和后处理模块；
所述编码器用于通过多个卷积模块和下采样层对输入的图像进行逐步浅层特征提取；
所述基于高效Transformer的瓶颈层用于基于高效多头注意力机制从编码器输出的浅层特征中提取深层特征并输出到解码器；
所述基于高效Transformer的跳跃连接用于基于高效多头注意力机制，将从编码器每一层的浅层特征中提取深层特征并与解码器对应层的特征进行融合；
所述解码器用于根据融合特征逐步进行上采样解码输出解码特征；
后处理模块，用于根据解码器输出的特征生成CT图像以及生成器官轮廓分割图像；
所述基于高效Transformer的瓶颈层通过高效Transformer块从编码器输出的浅层特征中提取深层特征；
所述高效Transformer块的多头自注意力模块为高效多头注意力模块，所述高效多头注意力模块的前后均设有层归一化层，所述高效Transformer块的前馈层前后均设置有层归一化层；
所述多任务循环生成对抗网络模型包括用于生成增强CT图像以及对应的器官轮廓分割图像的增强CT生成器、用于生成平扫CT图像以及对应的器官轮廓分割图像的平扫CT生成器、用于对增强CT生成器的生成结果进行真伪判别的增强CT判别器和用于对平扫CT生成器的生成结果进行真伪判别的平扫CT判别器；所述增强CT生成器和平扫CT生成器结构相同，均为采用基于高效Transformer的编码器-解码器结构的生成器；
采用以下公式计算多任务循环生成对抗网络模型的总损失
其中，GN2C表示增强CT生成器，GC2N表示平扫CT生成器，DC表示增强CT判别器，DN表示平扫CT判别器，表示判别器的对抗损失，/>表示图像层的一致性约束损失，/>表示分割轮廓层的分割损失，表示感兴趣区域层的感兴趣区域感知损失，λ1、λ2、λ3和λ4表示权重系数；
采用以下公式计算图像层的一致性约束损失：
其中，N表示输入的平扫CT图像，C表示输入的增强CT图像，GC2N(GN2C(N))表示将增强CT生成器得到的增强CT图像输入平扫CT生成器后输出的平扫CT图像；GN2C(GC2N(C))表示将平扫CT生成器得到的平扫CT图像输入增强CT生成器后输出的增强CT图像，SC表示输入的增强CT图像的对应的器官轮廓分割图像，SN表示输入的平扫CT图像的对应的器官轮廓分割图像，║·║1表示矩阵的一范数，表示全局循环一致性约束损失，/>表示感兴趣区域循环一致性约束损失；
根据以下公式计算分割损失：
其中，表示增强CT生成器输出的增强器官轮廓分割图像，/>表示平扫CT生成器输出的平扫器官轮廓分割图像，/>表示将增强CT生成器得到的增强CT图像输入平扫CT生成器后输出的平扫器官轮廓分割图像，/>表示将平扫CT生成器得到的平扫CT图像输入增强CT生成器后输出的增强器官轮廓分割图像，/>表示Dice损失；
根据以下公式计算感兴趣区域感知损失：
其中，表示平扫CT生成器输出的平扫器官轮廓分割图像，/>表示将增强CT生成器得到的增强CT图像输入平扫CT生成器后输出的平扫器官轮廓分割图像，表示感知损失；
采用以下公式计算感知损失：
计算两个图像x和x’的感知损失，φi(·)表示预训练的神经网络第i层输出的特征图，NP表示预训练的神经网络的特征提取层数，║·║1表示矩阵的一范数；
根据以下公式计算判别器的对抗损失：
其中，E[·]表示期望，DN(GC2N(C))表示平扫CT判别器对平扫CT生成器输出的平扫CT图像的判别结果；DC(GN2C(N))表示增强CT判别器对增强CT生成器输出的增强CT图像的判别结果。
2.一种计算机可读存储介质，其特征在于，所述存储介质用于存储计算机程序，当处理器执行所述计算机程序时，实现如权利要求1所述的增强CT图像生成模型的训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310899743.6A CN116977466B (zh) | 2023-07-21 | 2023-07-21 | 一种增强ct图像生成模型的训练方法和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310899743.6A CN116977466B (zh) | 2023-07-21 | 2023-07-21 | 一种增强ct图像生成模型的训练方法和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116977466A CN116977466A (zh) | 2023-10-31 |
| CN116977466B true CN116977466B (zh) | 2024-06-25 |
Family
ID=88478928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310899743.6A Active CN116977466B (zh) | 2023-07-21 | 2023-07-21 | 一种增强ct图像生成模型的训练方法和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977466B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630463A (zh) * | 2023-07-21 | 2023-08-22 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于多任务学习的增强ct图像生成方法和*** |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11232541B2 (en) * | 2018-10-08 | 2022-01-25 | Rensselaer Polytechnic Institute | CT super-resolution GAN constrained by the identical, residual and cycle learning ensemble (GAN-circle) |
| US20210272237A1 (en) * | 2020-02-29 | 2021-09-02 | University Of Florida Research Foundation, Inc. | Multimodal ct image super-resolution via transfer generative adversarial network |
| WO2022246677A1 (zh) * | 2021-05-26 | 2022-12-01 | 深圳高性能医疗器械国家研究院有限公司 | 一种增强ct图像的重建方法 |
| CN113222852B (zh) * | 2021-05-26 | 2024-06-28 | 深圳高性能医疗器械国家研究院有限公司 | 一种增强ct图像的重建方法 |
| CN115564982A (zh) * | 2021-06-30 | 2023-01-03 | 中国人民解放军战略支援部队信息工程大学 | 一种基于对抗学习的同域遥感影像分类方法 |
| CN113763390B (zh) * | 2021-08-31 | 2024-06-04 | 山东师范大学 | 基于多任务生成对抗网络的脑肿瘤图像分割及增强*** |
| CN113808106B (zh) * | 2021-09-17 | 2023-05-30 | 浙江大学 | 一种基于深度学习的超低剂量pet图像重建***及方法 |
| US20230146676A1 (en) * | 2021-11-05 | 2023-05-11 | Lemon Inc. | Portrait stylization framework to control the similarity between stylized portraits and original photo |
| CN113963015A (zh) * | 2021-11-12 | 2022-01-21 | 深圳市联影高端医疗装备创新研究院 | 图像分割方法、装置、计算机设备和存储介质 |
| CN114266926A (zh) * | 2021-12-17 | 2022-04-01 | 深圳先进技术研究院 | 一种基于平扫ct的物质分解方法、智能终端及存储介质 |
| CN115578404B (zh) * | 2022-11-14 | 2023-03-31 | 南昌航空大学 | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 |
| CN116030249A (zh) * | 2022-12-30 | 2023-04-28 | 长沙理工大学 | 一种基于生成对抗网络的交互式图像多目标分割方法及*** |
| CN116309107A (zh) * | 2022-12-30 | 2023-06-23 | 合肥学院 | 基于Transformer和生成式对抗网络的水下图像增强方法 |
| CN116168291A (zh) * | 2023-01-18 | 2023-05-26 | 福州大学 | 基于深度学习的中等分辨率遥感影像茶园信息提取方法 |
| CN116188410A (zh) * | 2023-02-10 | 2023-05-30 | 广东省人民医院 | 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、***、设备及介质 |
| CN116137043A (zh) * | 2023-02-21 | 2023-05-19 | 长春理工大学 | 一种基于卷积和Transformer的红外图像彩色化方法 |
| CN116309217A (zh) * | 2023-02-24 | 2023-06-23 | 武汉大学 | Mri合成ct影像的方法、装置、设备及可读存储介质 |
-
2023
- 2023-07-21 CN CN202310899743.6A patent/CN116977466B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630463A (zh) * | 2023-07-21 | 2023-08-22 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于多任务学习的增强ct图像生成方法和*** |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的主动脉CT增强扫描图像合成研究;李伟;《中国优秀硕士学位论文全文数据库(医药卫生科技辑)》;第E062-47页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116977466A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116630463B (zh) | 一种基于多任务学习的增强ct图像生成方法和*** | |
| Liu et al. | Multimodal MR image synthesis using gradient prior and adversarial learning | |
| JP2022544229A (ja) | オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション | |
| CN108257134A (zh) | 基于深度学习的鼻咽癌病灶自动分割方法和*** | |
| CN107451983A (zh) | Ct图像的三维融合方法和*** | |
| CN100561518C (zh) | 基于感兴趣区域的自适应医学序列图像插值方法 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| Song et al. | Bridging the gap between 2D and 3D contexts in CT volume for liver and tumor segmentation | |
| Zhou et al. | 3D segmentation guided style-based generative adversarial networks for pet synthesis | |
| CN116612174A (zh) | 软组织的三维重建方法、***及计算机存储介质 | |
| Feng et al. | MRI generated from CT for acute ischemic stroke combining radiomics and generative adversarial networks | |
| CN113935976A (zh) | 一种增强ct图像的脏器内血管自动分割方法及*** | |
| Luo et al. | An optimized two-stage cascaded deep neural network for adrenal segmentation on CT images | |
| Marin et al. | Numerical surrogates for human observers in myocardial motion evaluation from SPECT images | |
| Ahn et al. | Co-attention spatial transformer network for unsupervised motion tracking and cardiac strain analysis in 3D echocardiography | |
| CN116977466B (zh) | 一种增强ct图像生成模型的训练方法和存储介质 | |
| Thaler et al. | Efficient multi-organ segmentation using spatialconfiguration-net with low GPU memory requirements | |
| Asma-Ull et al. | Data efficient segmentation of various 3d medical images using guided generative adversarial networks | |
| Rezaei | Generative adversarial network for cardiovascular imaging | |
| CN110852993A (zh) | 一种造影剂作用下的成像方法与设备 | |
| CN116563402A (zh) | 跨模态mri-ct图像合成方法、***、设备和介质 | |
| Peng et al. | 2d brain mri image synthesis based on lightweight denoising diffusion probabilistic model | |
| EP2174292A1 (en) | A method, apparatus, computer-readable medium and use for pharmacokinetic modeling | |
| CN115861172A (zh) | 基于自适应正则化光流模型的室壁运动估计方法及装置 | |
| CA3104607A1 (en) | Contrast-agent-free medical diagnostic imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |