CN114299082A - 一种新冠肺炎ct图像分割方法、装置及存储介质 - Google Patents
一种新冠肺炎ct图像分割方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114299082A CN114299082A CN202111561105.0A CN202111561105A CN114299082A CN 114299082 A CN114299082 A CN 114299082A CN 202111561105 A CN202111561105 A CN 202111561105A CN 114299082 A CN114299082 A CN 114299082A
- Authority
- CN
- China
- Prior art keywords
- image
- feature map
- coronary pneumonia
- new coronary
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003709 image segmentation Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 22
- 210000004072 lung Anatomy 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 206010025080 Lung consolidation Diseases 0.000 claims description 2
- 239000005337 ground glass Substances 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 241001678559 COVID-19 virus Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007596 consolidation process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种新冠肺炎CT图像分割方法、设备、装置及计算机存储介质。本发明所提供的新冠肺炎CT图像分割方法，包括：将待检图像输入预先训练及优化后的TRUNet网络中的编码部分，利用残差结构模块卷积得到组合特征图，将所述组合特征图输入Transformer网络结构，得到浅层特征图，将所述浅层特征图输入多个残差结构模块卷积得到深层特征图，将所述深层特征图输入TRUNet网络中的解码部分构建图像得到新冠肺炎特征图，将所述新冠肺炎特征图转换为单通道得到新冠肺炎特征分割图。既考虑了长距离依赖关系，又保留了局部特征提取，提高了分割精度。
Description
技术领域
本发明涉及医学图像分割技术领域，尤其是指一种新冠肺炎CT图像分割方法、设备、装置及计算机存储介质。
背景技术
随着CT成像分辨率越来越高，更多的组织信息能够被检测到，而且患者短期内病情变化较快，需多次复查，这无疑给影像医师带来了极大的读片工作量，增加误判和漏判的概率，因此亟需一种高效、精准的CT图像分割的方法来进行辅助诊断和治疗，而CT图像分割面临的主要的课题是如何准确、快速的识别出CT图像中的肺野和病灶区域，目前深度学习拥有许多优秀的神经网络模型，但在新冠肺炎CT图像这一类数据中，大多数研究都是针对于分类任务，即区分出正常CT图像与病例CT图像，目前对于分割病灶区域的研究较少，加上新冠肺炎的突然出现，很难在短时间内收集到足够的带有标注的数据来进行模型的训练；在医学图像领域现有的技术大都采用的全卷积网络，受限于卷积的局限性，使得提取特征时只能关注局部特征，而忽略了长距离依赖关系，从而导致分割的精度一般，因此，如何提供一种既考虑到长距离依赖关系又保留局部特征提取的新冠肺炎CT图像分割方法是目前有待解决的问题。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中提取特征时只能关注局部特征，而忽略了长距离依赖关系，从而导致分割的精度一般的问题。
为解决上述技术问题，本发明提供了一种新冠肺炎CT图像分割方法、设备、装置及计算机存储介质，包括：
将待检图像输入预先训练及优化后的TRUNet网络中的编码部分，所述TRUNet网络包括：Transformer网络结构、残差结构模块和UNet网络结构，所述残差结构模块包括卷积层和激活函数FRelu层；
利用残差结构模块卷积得到组合特征图；
将所述组合特征图输入所述Transformer网络结构，得到浅层特征图；
将所述浅层特征图输入多个所述残差结构模块逐层卷积得到深层特征图；
将所述深层特征图输入所述TRUNet网络中的解码部分进行多次上采样恢复到原始分辨率，得到新冠肺炎特征图；
利用卷积层将所述新冠肺炎特征图输出为单通道，得到新冠肺炎特征分割图。
优选地，所述将待检图像输入预先训练和优化好的TRUNet网络中的编码部分前包括：
将收集到的数据集进行预处理，所述预处理包括：去除图像噪声、图像黑色区域剪裁和图像增强处理；
对预处理后的所述数据集进行数据扩增并按照预设比例划分出训练集和测试集。
优选地，所述数据集为四类分割数据集，所述四类分割数据集像素包含四个类别，即背景、肺野、磨玻璃样影和肺实变。
优选地，所述将待检图像输入预先训练和优化好的TRUNet网络中的编码部分前还包括：
利用所述训练集训练TRUNet网络参数；
利用所述测试集验证训练好的所述TRUNet网络参数，计算目标评价指标，得到目标评价指标结果,所述目标评价指标包括Dice系数、敏感度和特异性；
根据所述目标评价指标结果调整所述TRUNet网络参数。
优选地，所述组合特征图包括原图信息和卷积后提取的特征信息。
优选地，所述将所述组合特征图输入所述Transformer网络结构，得到浅层特征图包括：
将所述组合特征图输入所述Transformer网络结构得到隐藏特征，所述Transformer网络结构共有12层；
将所述隐藏特征重构成所需的维度和通道，得到所述浅层特征图。
优选地，所述将所述深层特征图输入所述TRUNet网络中的解码部分进行多次上采样恢复到原始分辨率，得到新冠肺炎特征图包括：
将所述深层特征图进行多次上采样的同时与所述编码部分相同维度的特征图拼接，形成长跳跃连接；
在所述解码部分构建图像直到恢复到原始图像维度，得到所述新冠肺炎特征图。
本发明还提供了一种新冠肺炎CT图像分割的装置，包括：
输入模块，用于将所述待检图像输入预先训练和优化好的所述TRUNet网络中的所述编码部分，所述TRUNet网络包括：所述Transformer网络结构、所述残差结构和所述UNet网络结构，所述残差结构模块包括卷积层和激活函数FRelu层；
图像信息组合模块，用于利用所述残差结构模块卷积得到所述组合特征图；
浅层特征提取模块，用于将所述组合特征图输入所述Transformer网络结构，得到所述浅层特征图；
深层特征提取模块，用于将所述浅层特征图输入多个所述残差结构模块逐层卷积得到深层特征图；
图像解码构建模块，用于将所述深层特征图输入所述TRUNet网络中的解码部分进行多次上采样恢复到原始分辨率，得到新冠肺炎特征图；
图像转换模块，用于利用卷积层将所述新冠肺炎特征图输出为单通道，得到新冠肺炎特征分割图。
本发明还提供了一种新冠肺炎CT图像分割的设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述一种新冠肺炎CT图像分割的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种新冠肺炎CT图像分割的方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的新冠肺炎CT图像分割方法，包括：将待检图像输入预先训练及优化后的TRUNet网络中的编码部分，所述TRUNet网络包括：Transformer网络结构、残差结构模块和UNet网络结构，所述残差结构模块包括卷积层和激活函数FRelu层，利用所述残差结构模块卷积得到组合特征图，本发明所使用的残差结构将原本残差结构中的Relu函数层替换为FRelu函数，避免了由于原激活函数空间不敏感阻碍视觉任务显著改善的影响；将所述组合特征图输入所述Transformer网络结构，得到浅层特征图，所述Transformer网络结构考虑到长距离依赖关系，具有全局上下文提取优势，改善了现有技术中受限卷积的局限性；将所述浅层特征图输入多个所述残差结构模块逐层卷积得到深层特征图，将所述深层特征图输入所述TRUNet网络中的解码部分进行多次上采样恢复到原始分辨率，得到新冠肺炎特征图，利用卷积层将所述新冠肺炎特征图输出为单通道，得到新冠肺炎特征分割图；本发明通过将用于序列到序列预测的Transformer和卷积神经网络中的残差结构相结合，既充分发挥了Transformer对于提取全局上下文的优势，又保留了卷积神经网络对局部特征的提取，加上使用的残差结构可以大量减少训练过程中的计算量，有利于网络的进一步优化。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1是本发明新冠肺炎CT图像分割的实现流程图；
图2是本发明TRUNet神经网络模型的主体结构图；
图3是本发明改进的残差结构模块示意图；
图4是非线性激活函数FReLU的结构示意图；
图5是新冠肺炎CT图像分割算法的流程示意图；
图6是本发明实施例提供的一种新冠肺炎CT图像分割装置的结构框图。
具体实施方式
本发明的核心是提供一种新冠肺炎CT图像分割的方法、装置、设备及计算机存储介质，既考虑到长距离依赖关系又保留局部特征提取，提高了图像分割精度。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的基于新冠肺炎CT图像分割的实现流程图；具体操作步骤如下：
S101：将待检图像输入预先训练及优化后的TRUNet网络中的编码部分；
所述TRUNet网络包括：Transformer网络结构、残差结构模块和UNet网络结构，请参考图2，图2为本发明TRUNet神经网络模型的主体结构图；
所述残差结构模块包括3×3卷积层和激活函数FRelu层，请参考图3和图4，图3为本发明改进的残差结构模块示意图，图4为非线性激活函数FReLU的结构示意图；
S102：利用一个所述残差结构模块卷积得到组合特征图；
所述组合特征图包括原图信息和卷积后提取的特征信息；
S103:将所述组合特征图输入所述Transformer网络结构，得到浅层特征图；
将所述组合特征图输入所述Transformer网络结构得到隐藏特征，所述Transformer网络结构共有12层；
将所述隐藏特征重构成所需的维度和通道，得到所述浅层特征图；
S104:将所述浅层特征图输入三个所述残差结构模块逐层卷积得到深层特征图；
S105：将所述深层特征图输入所述TRUNet网络中的解码部分进行多次上采样恢复到原始分辨率，得到新冠肺炎特征图；
将所述深层特征图进行多次上采样的同时与所述编码部分相同维度的特征图拼接，形成长跳跃连接；
在所述解码部分构建图像直到恢复到原始图像维度，得到所述新冠肺炎特征图；
解码部分采用级联上采样，并带有残差结构。
S106：利用1×1卷积层将所述新冠肺炎特征图输出为单通道，得到新冠肺炎特征分割图。
本发明所述的新冠肺炎CT图像分割方法，包括：将待检图像输入预先训练及优化后的TRUNet网络中的编码部分，所述TRUNet网络包括：Transformer网络结构、残差结构和UNet网络结构，利用残差结构模块卷积得到组合特征图，所述残差结构模块包括卷积层和激活函数FRelu层，本发明所使用的残差结构将原本残差结构中的Relu函数层替换为FRelu函数，避免了由于原激活函数空间不敏感阻碍视觉任务显著改善的影响；将所述组合特征图输入所述Transformer网络结构，得到浅层特征图，所述Transformer网络结构考虑到长距离依赖关系，具有全局上下文提取优势，改善了现有技术中受限卷积的局限性；将所述浅层特征图输入多个所述残差结构模块逐层卷积得到深层特征图，将所述深层特征图输入所述TRUNet网络中的解码部分进行多次上采样恢复到原始分辨率，得到新冠肺炎特征图；所述UNet网络结构的长跳跃连接不直接在高级语义特征上进行监督和loss反传，保证了最后恢复出来的特征图融合了更多的low-level的特征，也使得不同维度的特征得到了的融合，从而可以进行多尺度预测和深监督，多次上采样也使得分割图恢复边缘等信息更加精细；利用卷积层将所述新冠肺炎特征图输出为单通道，得到新冠肺炎特征分割图；本发明通过将用于序列到序列预测的Transformer和卷积神经网络中的残差结构相结合，既充分发挥了Transformer对于提取全局上下文的优势，又保留了卷积神经网络对局部特征的提取，加上使用的残差结构可以大量减少训练过程中的计算量，有利于网络的进一步优化。
请参考图5，图5是新冠肺炎CT图像分割算法的流程示意图；
基于以上实施例，本实施例对新冠肺炎CT图像分割算法流程进行详细说明，具体如下：
S201：收集数据集并对所述数据集预处理和数据扩增，按照预设比例划分为训练集和测试集；
本实施例所用数据集为二类分割数据集；
将收集到的数据集进行预处理，所述预处理包括：去除图像噪声、图像黑色区域剪裁和图像增强处理；
对预处理后的所述数据集进行数据扩增并按照预设比例划分出训练集和测试集。
数据集的选取来自来自国家生物信息中心的2019新型冠状病毒信息库(2019nCoVR)的原始数据样本，其中包含了新冠肺炎病例的肺部CT图像750张，并带有4个类别的标签图像数据，和来自苏州大学附属第二医院的张万军医生的标注，原始肺部CT图像来自2019新型冠状病毒信息库(2019nCoVR)。CT图像和相应的标签图像数据的分辨率都是512x512，标签文件的每个像素是一个数字，从0-3分别为背景(BG)、肺野(LF)、磨玻璃样影(GGO)和肺实变(CO)。由于采集设备和环境等因素等的影响，有部分图片存在着较为严重的噪声，噪声主要包含以下几种类型：第一种是由于CT图像是横断面图像，到了肺底时会和膈肌重叠，导致部分图片出现大块阴影，严重影响到肺野和病灶的识别；第二种是光线过强产生过曝而引起的噪声；第三种是图像中几乎没有有效信息。对于存在严重噪声的图像，直接进行删除，以确保训练的图像具有较高的质量，以免影响模型的性能；图像中的黑色背景属于无效区域，没有任何有用的特征信息，分割病灶时，肺野区域内才是网络模型需要去学***滑滤波处理，抑制图像噪声。最后，通过随机旋转一定角度(0-90度)、水平或垂直镜像等方法对图像进行数据扩增以增加训练数据的数量，提高模型的泛化能力，避免出现过拟合的现象。最后对数据按照8：2的比例划分出训练集和测试集。
S202：构建TRUNet网络模型并利用所述数据集进行训练；
利用所述训练集训练TRUNet网络参数，将S201中训练集的数据作为神经网络的输入，初始学习率设置为0.0001，进行迭代500个epoch，学习率衰减规则为：分别在每100个epoch时降低学习率为当前学习率的10％，使用CrossEntropyLoss损失函数，通过Adam优化器优化进行优化，并对网络中的各参数使用L2正则化；
S203：验证并优化TRUNet模型；
利用所述测试集验证训练好的所述TRUNet网络参数，计算目标评价指标，得到目标评价指标结果；
根据所述目标评价指标结果调整所述TRUNet网络参数；
网络的目标评价指标有Dice系数、敏感度(SE)和特异性(SP)，几项指标分别定义为：
式中的TP、FP、TN、FN分别代表实际为分割区域且正确检测为分割区域、实际为背景区域但错误检测为分割区域、实际为背景区域且正确检测为背景区域、实际为分割区域但错误检测为背景区域；
将训练好的TRUNet模型在测试集上进行评估，本方法在肺野的分割任务上达到了0.976的Dice系数，在病灶的分割任务上达到了0.783的Dice系数；
使用S201中测试集数据对S202中的方法训练生成的模型进行验证，同时根据验证的结果不断调整模型的参数，实现对S202建立的TRUNet模型进行参数优化；
S204：将S203最终优化好的TRUNet模型在测试集中进行测试，分别得到相同分辨率的肺野分割图像和病灶分割图像；
S205：对所述肺野分割图像和所述病灶分割图像进行综合分析。
计算所述肺野分割图像和所述病灶分割图像各自面积占比，综合得出该CT图像中病灶占肺部的面积比例，给医生提供最精确的数据，便于后续诊断和治疗。
本发明所提供的新冠肺炎CT分割图像方法能够分割病灶区域和肺野区域，方便通过计算各自面积比，给医生提供准确数据便于后续诊断和治疗，相对于现有技术中针对分类任务，即区分正常CT图像和病例CT图像的神经网络模型，更加有利于新冠肺炎的研究，同时，本发明收集数据集进行预处理和数据广增，并对模型训练及优化，使得模型识别更加精确。
基于以上实施例，本实施例对数据集进行调整，制作成四类分割的数据集，使得模型训练更加精细，提高模型分割精确度。调整后的数据集像素包含四个类别，即背景(BG)、肺野(LF)、磨玻璃样影(GGO)和肺实变(CO)，其他步骤与实施方式一相同，本方法测试集得到的mIOU为0.785。
本发明所述的新冠肺炎CT图像分割方法，包括：将待检图像输入预先训练及优化后的TRUNet网络中的编码部分，所述TRUNet网络包括：Transformer网络结构、残差结构和UNet网络结构，本发明收集数据集并进行预处理和数据广增，并且调整常规二类分割数据集，制作成四类分割数据集训练和优化模型，使得模型训练更加精细，提高模型分割精确度；利用残差结构模块卷积得到组合特征图，所述残差结构模块包括卷积层和激活函数FRelu层，本发明所使用的残差结构将原本残差结构中的Relu函数层替换为FRelu函数，避免了由于原激活函数空间不敏感阻碍视觉任务显著改善的影响；将所述组合特征图输入所述Transformer网络结构，得到浅层特征图，所述Transformer网络结构考虑到长距离依赖关系，具有全局上下文提取优势，改善了现有技术中受限卷积的局限性；将所述浅层特征图输入多个所述残差结构模块逐层卷积得到深层特征图，将所述深层特征图输入所述TRUNet网络中的解码部分进行多次上采样恢复到原始分辨率，得到新冠肺炎特征图；所述UNet网络结构的长跳跃连接不直接在高级语义特征上进行监督和loss反传，保证了最后恢复出来的特征图融合了更多的low-level的特征，也使得不同维度的特征得到了的融合，从而可以进行多尺度预测和深监督，多次上采样也使得分割图恢复边缘等信息更加精细；利用卷积层将所述新冠肺炎特征图输出为单通道，得到新冠肺炎特征分割图；本发明提出了一种基于Transformer和残差结构的神经网络新冠肺炎CT图像的分割方法，所述的TRUNet神经网络将用于序列到序列预测的Transformer和卷积神经网络中的残差结构相结合，既充分发挥了Transformer对于提取全局上下文的优势，又保留了卷积神经网络对局部特征的提取，加上使用的残差结构可以大量减少训练过程中的计算量。在一定程度上提高了分割的精度。该网络模型的鲁棒性较好，在新冠肺炎CT图像的分割上有较强的适应性。与此同时，本发明也在一定程度上推动了Transformer与卷积网络相结合在医学图像分析领域的发展与应用。
请参考图6，图6为本发明实施例提供的一种新冠肺炎CT图像分割的装置的结构框图；具体装置可以包括：
输入模块100，用于将所述待检图像输入预先训练和优化好的所述TRUNet网络中的所述编码部分，所述TRUNet网络包括：所述Transformer网络结构、所述残差结构模块和所述UNet网络结构，所述残差结构模块包括卷积层和激活函数FRelu层；
图像信息组合模块200，用于利用所述残差结构模块卷积得到所述组合特征图；
浅层特征提取模块300，用于将所述组合特征图输入所述Transformer网络结构，得到所述浅层特征图；
深层特征提取模块400，用于将所述浅层特征图输入多个所述残差结构模块逐层卷积得到深层特征图；
图像解码构建模块500，用于将所述深层特征图输入所述TRUNet网络中的解码部分进行多次上采样恢复到原始分辨率，得到新冠肺炎特征图；
图像转换模块600，用于利用卷积层将所述新冠肺炎特征图输出为单通道，得到新冠肺炎特征分割图。
本实施例的新冠肺炎CT图像分割装置用于实现前述的新冠肺炎CT图像分割方法，因此新冠肺炎CT图像分割装置中的具体实施方式可见前文新冠肺炎CT图像分割方法的实施例部分，例如，输入模块100，图像信息组合模块200，浅层特征提取模块300，深层特征提取模块400，图像解码构建模块500，图像转换模块600，分别用于实现上述新冠肺炎CT图像分割方法中步骤S101，S102，S103，S104，S105和S106，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种新冠肺炎CT图像分割的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种新冠肺炎CT图像分割的方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种新冠肺炎CT图像分割的方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种新冠肺炎CT图像分割方法，其特征在于，包括：
将待检图像输入预先训练及优化后的TRUNet网络中的编码部分，所述TRUNet网络包括：Transformer网络结构、残差结构模块和UNet网络结构，所述残差结构模块包括卷积层和激活函数FRelu层；
利用所述残差结构模块卷积得到组合特征图；
将所述组合特征图输入所述Transformer网络结构，得到浅层特征图；
将所述浅层特征图输入多个所述残差结构模块逐层卷积得到深层特征图；
将所述深层特征图输入所述TRUNet网络中的解码部分进行多次上采样恢复到原始分辨率，得到新冠肺炎特征图；
利用卷积层将所述新冠肺炎特征图输出为单通道，得到新冠肺炎特征分割图。
2.根据权利要求1所述的新冠肺炎CT图像分割方法，其特征在于，所述将待检图像输入预先训练和优化好的TRUNet网络中的编码部分前包括：
将收集到的数据集进行预处理，所述预处理包括：去除图像噪声、图像黑色区域剪裁和图像增强处理；
对预处理后的所述数据集进行数据扩增并按照预设比例划分出训练集和测试集。
3.根据权利要求2所述的新冠肺炎CT图像分割方法，其特征在于，所述数据集为四类分割数据集，所述四类分割数据集像素包含四个类别，即背景、肺野、磨玻璃样影和肺实变。
4.根据权利要求2所述的新冠肺炎CT图像分割方法，其特征在于，所述将待检图像输入预先训练和优化好的TRUNet网络中的编码部分前还包括：
利用所述训练集训练TRUNet网络参数；
利用所述测试集验证训练好的所述TRUNet网络参数，计算目标评价指标，得到目标评价指标结果，所述目标评价指标包括Di ce系数、敏感度和特异性；
根据所述目标评价指标结果调整所述TRUNet网络参数。
5.根据权利要求1所述的新冠肺炎CT图像分割方法，其特征在于，所述组合特征图包括原图信息和卷积后提取的特征信息。
6.根据权利要求1所述的新冠肺炎CT图像分割方法，其特征在于，所述将所述组合特征图输入所述Transformer网络结构，得到浅层特征图包括：
将所述组合特征图输入所述Transformer网络结构得到隐藏特征，所述Transformer网络结构共有12层；
将所述隐藏特征重构成所需的维度和通道，得到所述浅层特征图。
7.根据权利要求1所述的新冠肺炎CT图像分割方法，其特征在于，所述将所述深层特征图输入所述TRUNet网络中的解码部分进行多次上采样恢复到原始分辨率，得到新冠肺炎特征图包括：
将所述深层特征图进行多次上采样的同时与所述编码部分相同维度的特征图拼接，形成长跳跃连接；
在所述解码部分构建图像直到恢复到原始图像维度，得到所述新冠肺炎特征图。
8.一种新冠肺炎CT图像分割的装置，其特征在于，包括：
输入模块，用于将所述待检图像输入预先训练和优化好的所述TRUNet网络中的所述编码部分，所述TRUNet网络包括：所述Transformer网络结构、所述残差结构模块和所述UNet网络结构，所述残差结构模块包括卷积层和激活函数FRelu层；
图像信息组合模块，用于利用所述残差结构模块卷积得到所述组合特征图；
浅层特征提取模块，用于将所述组合特征图输入所述Transformer网络结构，得到所述浅层特征图；
深层特征提取模块，用于将所述浅层特征图输入多个所述残差结构模块逐层卷积得到深层特征图；
图像解码构建模块，用于将所述深层特征图输入所述TRUNet网络中的解码部分进行多次上采样恢复到原始分辨率，得到新冠肺炎特征图；
图像转换模块，用于利用卷积层将所述新冠肺炎特征图输出为单通道，得到新冠肺炎特征分割图。
9.一种新冠肺炎CT图像分割的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述一种新冠肺炎CT图像分割的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种新冠肺炎CT图像分割的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561105.0A CN114299082A (zh) | 2021-12-15 | 2021-12-15 | 一种新冠肺炎ct图像分割方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561105.0A CN114299082A (zh) | 2021-12-15 | 2021-12-15 | 一种新冠肺炎ct图像分割方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299082A true CN114299082A (zh) | 2022-04-08 |
Family
ID=80967892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111561105.0A Pending CN114299082A (zh) | 2021-12-15 | 2021-12-15 | 一种新冠肺炎ct图像分割方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299082A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937022A (zh) * | 2022-05-31 | 2022-08-23 | 天津大学 | 一种新型冠状肺炎的疾病检测分割方法 |
| CN115115523A (zh) * | 2022-08-26 | 2022-09-27 | 中加健康工程研究院(合肥)有限公司 | 一种融合CNN和Transformer的医学图像深度信息提取方法 |
| CN116523840A (zh) * | 2023-03-30 | 2023-08-01 | 苏州大学 | 一种基于深度学习的肺部ct图像检测***以及方法 |
| CN117994518A (zh) * | 2024-02-21 | 2024-05-07 | 山东师范大学 | 基于多视图特征融合网络的胰腺癌图像分割*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233117A (zh) * | 2020-12-14 | 2021-01-15 | 浙江卡易智慧医疗科技有限公司 | 一种新冠肺炎ct检测识别定位***及计算设备 |
| CN113191285A (zh) * | 2021-05-08 | 2021-07-30 | 山东大学 | 基于卷积神经网络和Transformer的河湖遥感图像分割方法及*** |
| CN113793275A (zh) * | 2021-08-27 | 2021-12-14 | 西安理工大学 | 一种Swin Unet低照度图像增强方法 |
-
2021
- 2021-12-15 CN CN202111561105.0A patent/CN114299082A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233117A (zh) * | 2020-12-14 | 2021-01-15 | 浙江卡易智慧医疗科技有限公司 | 一种新冠肺炎ct检测识别定位***及计算设备 |
| CN113191285A (zh) * | 2021-05-08 | 2021-07-30 | 山东大学 | 基于卷积神经网络和Transformer的河湖遥感图像分割方法及*** |
| CN113793275A (zh) * | 2021-08-27 | 2021-12-14 | 西安理工大学 | 一种Swin Unet低照度图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| JIENENG CHEN ET AL: "TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation", 《ARXIV:2102.04306V1》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937022A (zh) * | 2022-05-31 | 2022-08-23 | 天津大学 | 一种新型冠状肺炎的疾病检测分割方法 |
| CN114937022B (zh) * | 2022-05-31 | 2023-04-07 | 天津大学 | 一种新型冠状肺炎的疾病检测分割方法 |
| CN115115523A (zh) * | 2022-08-26 | 2022-09-27 | 中加健康工程研究院(合肥)有限公司 | 一种融合CNN和Transformer的医学图像深度信息提取方法 |
| CN116523840A (zh) * | 2023-03-30 | 2023-08-01 | 苏州大学 | 一种基于深度学习的肺部ct图像检测***以及方法 |
| CN116523840B (zh) * | 2023-03-30 | 2024-01-16 | 苏州大学 | 一种基于深度学习的肺部ct图像检测***以及方法 |
| CN117994518A (zh) * | 2024-02-21 | 2024-05-07 | 山东师范大学 | 基于多视图特征融合网络的胰腺癌图像分割*** |
| CN117994518B (zh) * | 2024-02-21 | 2024-07-23 | 山东师范大学 | 基于多视图特征融合网络的胰腺癌图像分割*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11580646B2 (en) | Medical image segmentation method based on U-Net | |
| CN114299082A (zh) | 一种新冠肺炎ct图像分割方法、装置及存储介质 | |
| CN107247971B (zh) | 一种超声甲状腺结节风险指标的智能分析方法及*** | |
| CN110796199B (zh) | 一种图像处理方法、装置以及电子医疗设备 | |
| CN115661144B (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN112733961A (zh) | 基于注意力机制的糖尿病视网膜病变的分类方法及*** | |
| CN115019405A (zh) | 一种基于多模态融合的肿瘤分类方法及*** | |
| KR20190105180A (ko) | 합성곱 신경망 기반의 병변 진단 장치 및 방법 | |
| CN112862830A (zh) | 一种多模态图像分割方法、***、终端及可读存储介质 | |
| CN111275686A (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN112037212A (zh) | 一种基于深度学习的肺结核dr影像识别方法 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN113129310B (zh) | 一种基于注意力路由的医学图像分割*** | |
| CN113192076B (zh) | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 | |
| CN114419000A (zh) | 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测*** | |
| CN111325282B (zh) | 适应多机型的乳腺x射线影像识别方法和装置 | |
| CN112861881A (zh) | 一种基于改进MobileNet模型的蜂窝肺识别方法 | |
| CN111554384A (zh) | 基于先验感知和多任务学习的腺癌病理图像分析方法 | |
| CN116228759A (zh) | 肾细胞癌类型的计算机辅助诊断***及设备 | |
| CN115762721A (zh) | 一种基于计算机视觉技术的医疗影像质控方法和*** | |
| Yang et al. | Label refinement with an iterative generative adversarial network for boosting retinal vessel segmentation | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| CN115830005A (zh) | 一种融合3d特征计算的***切缘阳性预测方法 | |
| CN116091427A (zh) | 一种皮肤病分类装置、分类方法及存储介质 | |
| CN115294093A (zh) | 一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220408 |