CN116883341A - 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 - Google Patents

一种基于深度学习的肝脏肿瘤ct图像自动分割方法 Download PDF

Info

Publication number
CN116883341A
CN116883341A CN202310802870.XA CN202310802870A CN116883341A CN 116883341 A CN116883341 A CN 116883341A CN 202310802870 A CN202310802870 A CN 202310802870A CN 116883341 A CN116883341 A CN 116883341A
Authority
CN
China
Prior art keywords
image
convolution
layer
segmented
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310802870.XA
Other languages
English (en)
Inventor
陶晓玲
贾茂宁
李为坤
杨晨
赵琳琳
于越康
谢春燕
谢泽宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202310802870.XA priority Critical patent/CN116883341A/zh
Publication of CN116883341A publication Critical patent/CN116883341A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及数字医疗技术领域，具体涉及一种基于深度学习的肝脏肿瘤CT图像自动分割方法，包括如下步骤：提取待分割CT图像；利用多尺度特征识别网络，提取所述待分割CT图像的多尺度特征；利用注意力机制网络，通过所述多尺度特征识别所述待分割CT图像中的病变区域；根据识别结果，在所述待分割CT图像中分割出肝脏肿瘤图像。本发明首先基于深度学习技术，解决了传统方法存在的手动标注、分割精度和效率低下等问题，同时相较于现有技术，本发明具有更高的自动化程度、更精准的分割结果和更高的分割效率。

Description

一种基于深度学习的肝脏肿瘤CT图像自动分割方法
技术领域
本发明涉及数字医疗技术领域，具体涉及一种基于深度学习的肝脏肿瘤CT图像自动分割方法。
背景技术
肝癌是世界上最常见和致死率最高的肿瘤，它严重威胁人们的生命健康。随着科技进步，计算机应用技术和医学信息化水平也得到了极大提升，医学图像设施也更加完善。
计算机断层扫描成像(Computed Tomography，CT)具有扫描时间快，图像分辨率高等特点，是目前肝脏病变普遍采取的诊断方式。目前临床上肝脏肿瘤的分割通常由经验丰富的医生手动标注轮廓，不仅费时费力，同一病人的肝脏CT影响的肿瘤区域，在不同医生的标注下可能会造成不同的结果，而且标注结果的精准程度严重依赖医生的经验与技巧。
传统的医学图像分割方法包括阈值法(threshold)、水平集(level set)、区域生长(region growing)等。由于CT图像中肝脏肿瘤通常具有对比度低、边界模糊、并且大小、形状、位置、数量不固定等特点，传统的分割方法需要人工干预，难以有效适应肝脏肿瘤的复杂性和多样性，对目标的分割精度较差，效率较低，无法实现肿瘤区域的自动分割。
近年来，深度学习技术得到飞速发展并被广泛地应用于医学图像分割领域。Ronneberger等人提出了一种U形卷积网络，首次将跳跃连接引入卷积网络中，该网络通过编码-解码操作实现了图像端到端的语义分割：编码器对提取的特征进行下采样来捕捉图像上下文信息，解码器对提取的特征进行上采样来精准定位分割区域。Li等人提出了一种瓶颈监督的Unet模型(Bottleneck Supervised Unet，BS-net)，该模型是一种混合的紧密连接结构，通过充分利用网络各层之间的信息进行分割。Schlemper等人将注意力机制融入Unet网络中，提出A-Unet(Attention Unet)模型。该模型可自动学习与分割任务相关的区域特征,抑制不相关特征。
尽管这些网络被广泛地应用于肝脏肿瘤分割领域，但也存在边界分割不精确，小肿瘤难以检测，数据类别不平衡造成的肿瘤分割困难等问题。同时，现有其他网络卷积层中感受野的局部性仍然将它们的学习能力限制在相对较小的区域，会严重影响分割性能。
发明内容
本发明的目的在于提供一种基于深度学习的肝脏肿瘤CT图像自动分割方法，旨在解决基于深度学习的肝脏肿瘤分割方法中存在的边界分割不精确以及小肿瘤难以检测的技术问题，实现更精准地定位并识别病变区域。
为实现上述目的，本发明提供了一种基于深度学习的肝脏肿瘤CT图像自动分割方法，包括下列步骤：
提取待分割CT图像；
利用多尺度特征识别网络，提取所述待分割CT图像的多尺度特征；
利用注意力机制网络，通过所述多尺度特征识别所述待分割CT图像中的病变区域；
根据识别结果，在所述待分割CT图像中分割出肝脏肿瘤图像。
可选的，所述待分割CT图像为只包含肝脏区域的CT图像。
可选的，提取待分割CT图像的过程，包括下列步骤：
获取原始CT数据集；
调整原始CT数据集中任一CT图像的窗宽和窗位，标注所述CT图像中的肝脏标签；
根据标记结果，剔除原始CT数据集中不含肝脏标签的CT图像，获得目标CT数据集；
预切割目标CT数据集中任一CT图像，获得待分割CT图像数据集。
可选的，所述多尺度特征识别网络包括两个以上的卷积模块，相邻两个卷积模块通过池化模块连接。
可选的，每个所述卷积模块包括三个卷积层、一个第一加法器和一个归一化层；
任一个卷积层的空洞率大于等于1；
任一个卷积层的输入端与一池化模块或者导入层连接；
三个卷积层并行，三个卷积层的三个输出端连接至所述第一加法器；
所述第一加法器通过注意力机制通道与所述归一化层连接；
所述归一化层与另一池化模块连接。
可选的，每个所述池化模块包括标准卷积层、池化层和减法器，所述标准卷积层和所述池化层的输入端连接同一卷积模块，所述标准卷积层和所述池化层的输入端连接所述减法器，所述减法器与另一卷积模块连接。
可选的，所述池化模块的输入通道数量和输出通道数量，满足如下规则：其中，Cout表示池化模块的输出通道数量，Cin表示池化模块的输入通道数量，ΔC表示池化模块的补偿通道数量。
可选的，所述注意力机制网络包括两个以上的上采样模块，相邻两个上采样模块通过残差模块连接，所述上采样模块与所述残差模块数量相同。
可选的，所述残差模块包括第一卷积层、第二卷积层、第三卷积层、CA注意力机制层以及第二加法器；
所述第一卷积层和所述第三卷积层的输入端分别与上采样模块连接；
所述第二卷积层与所述第一卷积层串联，所述CA注意力机制层与所述第三卷积层串联；
所述第三卷积层和所述CA注意力机制层的输入端均与所述第二加法器连接；
所述第二加法器与另一上采样模块或输出网络连接。
本发明提供了一种基于深度学习的肝脏肿瘤CT图像自动分割方法，包括如下步骤：提取待分割CT图像；利用多尺度特征识别网络，提取所述待分割CT图像的多尺度特征；利用注意力机制网络，通过所述多尺度特征识别所述待分割CT图像中的病变区域；根据识别结果，在所述待分割CT图像中分割出肝脏肿瘤图像。本发明首先基于深度学习技术，解决了传统方法存在的手动标注、分割精度和效率低下等问题，同时相较于现有技术，本发明具有更高的自动化程度、更精准的分割结果和更高的分割效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种基于深度学习的肝脏肿瘤CT图像自动分割方法的流程示意图。
图2是本发明的具体实施例所提供的待分割CT图像。
图3本发明的提取待分割CT图像过程的实施流程示意图。
图4是本发明的多尺度特征识别网络的结构示意图。
图5是本发明的卷积模块的结构示意图。
图6是本发明的池化模块的结构示意图。
图7是本发明的注意力机制网络的结构示意图。
图8是本发明的残差模块的结构示意图。
图9是本发明的具体实施例中CT图像输入到输出的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1，本发明提供了一种基于深度学习的肝脏肿瘤CT图像自动分割方法，包括下列步骤：
S1：提取待分割CT图像；
S2：利用多尺度特征识别网络，提取所述待分割CT图像的多尺度特征；
S3：利用注意力机制网络，通过所述多尺度特征识别所述待分割CT图像中的病变区域；
S4：根据识别结果，在所述待分割CT图像中分割出肝脏肿瘤图像。
以下结合具体实施例和实施步骤做进一步说明：
S1、提取待分割CT图像；
CT图像通常是以二维切片的形式呈现，每个切片包含了关于人体内横截面的信息。
所述待分割CT图像通常是由医疗设备(如CT扫描仪)生成的，并以数字化的形式保存在计算机***中。进一步地，待分割CT图像可以是一张，也可以是多张，任一张待分割CT图像包含有肝脏图像以及身体其他器官和组织的图像。
图2为本发明实施例所提供的待分割CT图像。如图2所示，在图2中框选中的位置为肝脏所述的位置，待分割CT图像中除了包含肝脏图像，大部分图像还是身体其他器官和组织的图像。肝脏图像占待分割CT图像的比例小，进而，生长在肝脏上的肝脏肿瘤占待分割CT图像的比例更小，因此，在未经分割之前，很难直观地提取和分析这些信息。
S2、利用多尺度特征识别网络，提取所述待分割CT图像的多尺度特征。
所述多尺度特征识别网络是一种基于深度学习的卷积网络，用于从待分割CT图像中提取多个尺度的特征表示。
多尺度特征识别网络通常由多个并行的分支组成，每个分支负责处理不同尺度的输入图像，每个分支都包含卷积层、池化层和其他特征提取层，以便有效地捕捉不同尺度上的图像信息。
具体地，所述多尺度特征识别网络可以是U-Net、FCN(Fully ConvolutionalNetwork)、DeepLab等深度学习网络中任意一种或者是多种结合。
所述多尺度特征是利用多尺度特征识别网络从待分割CT图像中提取的具有不同尺度和抽象程度的图像特征表示。
在本实施例中，所述多尺度特征具体包括低层级特征和高层级特征，其中，低层级特征包含边缘、纹理等细节信息，对小尺度结构有很好的捕捉能力；高层级特征包含器官的整体形状、肿瘤的分布模式等信息，对于更大尺度的结构和语义信息具有较好的表示能力。
进一步地，多尺度特征的表现形式通常是由多个不同尺度特征图(feature map)组成的张量。每个特征图对应着多尺度特征识别网络中的一个分支或卷积层，它们在不同的空间分辨率和通道数上编码有图像的特征信息。
本发明实施例利用多尺度特征识别网络提取多尺度特征，克服了单一尺度特征的局限性，并通过综合多个尺度的信息提高了对肝脏肿瘤等病变区域的准确性和鲁棒性。
S3、利用注意力机制网络，通过所述多尺度特征识别所述待分割CT图像中的病变区域。
所述注意力机制网络也是一种深度学习网络，其主要是通过增强网络对输入数据中目标特征的关注和权重分配以实现目标特征的识别。
注意力机制网络通常由两个主要组件组成：编码器(Encoder)和解码器(Decoder)，其中，编码器负责将输入数据(如待分割CT图像)转化为一系列特征表示，解码器则使用这些特征表示来生成注意力权重或者对输入数据进行重新加权，以便聚焦于目标区域。
应当理解，本发明中所述注意力机制网络只使用其解码器部分，即通过注意力机制网络的解码性能，实现对利用多尺度特征识别网络提取多尺度特征的解码分析，并最终识别出所述待分割CT图像中的病变区域。本发明的实施例中的编码器部分功能已在步骤S2中实现。
利用注意力机制网络对多尺度特征进行加权和处理，通过学习图像中不同区域的相关性和重要性，将注意力权重分配给具有更高影响力的目标特征，提高了病变区域的分割效果。
S4、根据识别结果，在所述待分割CT图像中分割出肝脏肿瘤图像。
步骤S3中获得的识别结果中包含了对肝脏肿瘤区域的定位和边界信息。步骤S4可以根据这些识别结果结合图像处理技术，将肝脏肿瘤区域与其他组织和结构进行分离和提取。
进一步的，由于肝脏肿瘤占待分割CT图像的比例小对比度差，边界模糊，在一个可选的实施例中，本发明中步骤S1提取待分割CT图像的过程，有进一步设置。请参见图3，图3为本发明实施例中所提供的步骤S1实施流程图，如图3所示，步骤S1中提取待分割CT图像，包括如下步骤：
S11、获取原始CT数据集。
当一个病人进行CT扫描后，原始CT数据集通常是一个包含多个图像的三维数据集，其中，每个图像代表了身体在不同切面(通常是横断面)上的断层图像。
原始CT数据集可能包含几十张甚至上百张图像，具体数量取决于扫描的范围和层厚度。进一步地，原始CT数据集中，并不是每张图像都一定包含肝脏。肝脏可能在某些图像中完整可见，而在其他图像中可能只有部分可见或根本不可见。
S12、调整原始CT数据集中任一CT图像的窗宽和窗位，标注所述CT图像中的肝脏标签。
窗宽(Window Width)和窗位(Window Level)是用于调整医学影像的显示方式，常用于CT(计算机断层扫描)图像的可视化，其中，窗宽指的是图像显示的灰度范围，表示了在图像中可见的灰度级别的宽度；窗位表示了图像中心灰度值的位置，决定了图像显示的亮度级别。通过调整窗宽和窗位，可以改变图像的对比度和显示范围。
较宽的窗宽会增加图像的对比度，使得不同组织和结构之间的差异更加明显；较窄的窗宽可以凸显特定区域的细节。在本实施例中，将原始CT数据集中任一CT图像的窗宽和窗位分别设置为200Hu和60Hu，此时，肝脏和其他器官能被容易地区分出来。
进一步地，步骤S12可使用RadiAnt DICOM Viewer、3D Slicer、ITK-SNAP等医学影像软件，手动标注具有肝脏图像的CT图像；或者步骤S12可使用计算机辅助方法来实现自动化标注。可以理解的是，具体标注方式取决于具体情况和可用资源。
S13、根据标记结果，剔除原始CT数据集中不含肝脏标签的CT图像，获得目标CT数据集。
应当理解，步骤S13所获得的目标CT数据集中任一张CT图像上均包含有肝脏图像，任一张肝脏图像可能包含肝脏肿瘤图像，也可能不包含肝脏肿瘤图像。
S14、预切割目标CT数据集种任一CT图像，获得待分割CT图像数据集。
虽然肝脏肿瘤密度与正常肝脏组织密度存在差异，但是肝脏肿瘤密度与腹部其他器官的组织密度相近，因此直接利用目标CT数据集中的CT图像进行分割难以获得理想效果。
步骤S14通过对目标CT数据集中的CT图像进行初步切割，使得切割后的图像只只包含肝脏区域的CT图像，以有效避免腹部其他器官对肝脏肿瘤分割的干扰。
具体地，预切割的实现方法包括但不限于阈值分割法、区域生长算法、Canny边缘检测等方法实现，具体选择哪种方法取决于具体情况和可用资源。在选择和实施分割方法时，需要考虑图像质量、肝脏形态的变化、病变的特征等因素，并进行适当的参数调整和验证。
在本实施例中，选用训练好的UNet深度学习网络模型在CT图像中分割出肝脏区域，并将肝脏区域作为待分割CT图像，任一待分割CT图像的像素均为512×512。
通过提取目标CT图像、调整窗宽窗位和初步切割操作，可以减少非肝脏区域的干扰，使得肝脏及其肿瘤在分割过程中更加明确和准确，提高分割结果的质量；同时，通过预处理和初步切割，可以减少分割任务中需要处理的像素数量，缩小分割区域的范围，从而提高分割的速度和效率。
在具体实施例中，为实现待分割CT图像中多尺度特征的提取，本发明提供了一种多尺度特征识别网络，请参见图4，如图4所示，所述多尺度特征识别网络包括两个或者两个以上的卷积模块，相邻两个卷积模块通过池化模块连接。
多尺度特征识别网络，通过多个卷积模块和池化模块的组合，实现了多尺度的特征提取和融合，使网络能够同时捕捉图像的细节、纹理和语义信息。同时，池化模块的连接促进了不同尺度特征之间的信息传递和集成，提升了网络的表达能力和性能。并且，通过多层级的特征表示，网络能够更好地理解图像的结构和内容，实现精准的图像分割。
具体的，图5为本发明的卷积模块的结构示意图。如图4和图5所示，在加强分割网络特征图感受野的多尺度特征识别网络中，任一所述卷积模块包括三个卷积层、一个第一加法器和一个归一化层；任一个卷积层的空洞率大于等于1；任一个卷积层的输入端与一池化模块或者导入层连接；三个卷积层并行，三个卷积层的三个输出端连接至所述第一加法器；所述第一加法器通过注意力机制通道与所述归一化层连接；所述归一化层与另一池化模块连接。
在本实施方式中，任一卷积模块中任一卷积层的卷积核为3×3，三个并行的卷积层的空洞率分别是1、2、4，三个并行的卷积层的感受野分别是3，5，7。在本实施例中，基于加强分割网络特征图感受野的多尺度特征识别网络，通过设置三组并行的卷积层和注意力机制通道连接归一化层，实现了精准且高效的多尺度特征提取。这种设计能够捕获不同尺度的图像信息、增强特征的表达能力和多样性，并有效融合重要特征信息。同时，与池化模块的连接实现了下采样和尺度统一。
进一步的，图6为本发明的池化模块的结构示意图。如图4和图6所示，在本实施例所提供的加强分割网络特征图感受野的多尺度特征识别网络中，任一所述池化模块包括标准卷积层、池化层和减法器；所述标准卷积层和所述池化层的输入端连接同一卷积模块；所述标准卷积层和所述池化层的输入端连接所述减法器；所述减法器与另一卷积模块连接。
通过这样的设置，使得任一所述池化模块的输入通道数量和输出通道数量，满足如下规则：其中，Cout表示池化模块的输出通道数量，Cin表示池化模块的输入通道数量，ΔC表示池化模块的补偿通道数量。
进一步地，ΔC＝|Cin-Cout|，即假设输入池化模块的特征图由Cin个通道，输出的特征图由cout个通道：如果Cin<Cout,则池化层会生成含有Cin个通道的特征图，标准卷积层会生成剩下Cout-Cin个通道的特征图；否则，池化层会被忽略，只保留标准卷积层生成Cout个通道的特征图。在本实施例中，任一卷池化模块中的标准卷积层的卷积核为3×3，步长为2，空洞率为2；池化层窗口为2×2。
池化模块通常被称为下采样模块，池化模块可以帮助多尺度特征识别网络捕捉多尺度的特征并减少计算量。池化模块通过降低特征图的分辨率，池化模块能够增加感受野的大小，使网络可以对更大范围的上下文信息进行建模。本实施例所提供多尺度特征识别网络，通过特定的池化模块结构实现多尺度特征提取，降低计算量，并提高感受野。同时，该模块简化了网络连接性，减少了参数数量和计算复杂度。
针对小肿瘤边界分割不精确，难以检测的问题，提出了一种可精准识别小肿瘤特征的多尺度特征识别网络，请参见图4、图5和图6，本实施例中所提供的多尺度特征识别网络包括两个或者两个以上的卷积模块，相邻两个卷积模块通过池化模块连接；任一卷积模块选用的上述实施例所提出的卷积模块结构；任一池化模块选用的上述实施例所提出的池化模块结构。
在本实施例中，所提供的多尺度特征识别网络包括5个卷积模块和4个池化模块。具体地，导入层中存储的512×512的待分割CT图像(RGB，3通道)，如图4所示，经过5个卷积模块后特征图的通道数分别为64、128、256、512、1024；经过4个卷积模块后特征图的通道数分别为128、256、512、1024。
为更好利用多尺度特征实现干燥肿瘤的识别，在解码器部分，本发明提供了一种注意力机制网络，请参见图7和图8，图7为本发明实施例所提供的注意力机制网络的结构示意图，图8为发明实施例所提供的残差模块的结构示意。如图7所示，包括两个或者两个以上的上采样模块，相邻两个上采样模块通过残差模块连接，所述上采样模块与所述残差模块数量相同。
在本实施例中，任一所述残差模块包括第一卷积层、第二卷积层、第三卷积层、CA注意力机制层以及第二加法器；所述第一卷积层和所述第三卷积层的输入端分别与上采样模块连接；所述第二卷积层与所述第一卷积层串联，所述CA注意力机制层与所述第三卷积层串联；所述第三卷积层和所述CA注意力机制层的输入端均与所述第二加法器连接；所述第二加法器与所述上采样模块或者输出网络连接。上述CA注意力机制是一种同时考虑通道维度和空间维度上的注意力机制，并且可以通过学习自适应的通道权重，使得模型更加关注有用的通道信息。具体的，注意力机制是近些年来提出的一种改进神经网络的方法，在图像分割领域取得了良好的效果，注意力机制的作用是使模型关注更有用的语义信息,忽略无用信息，从而获取更多的全局上下文信息，极大地丰富了神经网络的表示能力,本发明通过引入通道注意力机制GCT_B0和坐标注意力机制(Coordinate Attention)来提高网络对医学图像的分割性能。
在本实施例中，上述第一卷积层和第二卷积层的卷积核均为3×3，空洞率均为1；上述第三卷积层的卷积核为1×1，空洞率为1。对于输入本实施例所提供的残差模块的特征图，在串联卷积层上进行两次3×3普通卷积操作，在坐标注意力层上先进行1×1卷积操作，产生的特征图再经过CA注意力机制，最后将两个模块的特征图进行特征相加形成新的特征图。该残差模块加速训练网络的收敛，减少模型退化，从而有效避免梯度消失问题。
具体的执行步骤图如图9所示，待分割CT图像输入包括卷积模块(SPCB)和池化模块(SPPB)的多尺度特征识别网络进行特征提取，再进入包括上采样模块(UP sample)和残差模块(RA-Block)的注意力机制网络，根据多尺度特征识别网络和注意力机制网络的识别定位结果，将肝脏肿瘤图像从待分割CT图像中切割出来。
进一步的，以下结合技术特征说明本发明的优势：
1、U形结构：SPA-UNet的主要特点是其独特的U形结构，它由对称的下采样(编码器)和上采样(解码器)路径组成。下采样路径通过卷积和池化操作逐渐缩小输入图像的尺寸，提取不同层次的特征。上采样路径则通过反卷积和跳跃连接(skip connections)将编码器的特征与解码器的特征相结合，以恢复分辨率和细节信息。这种U形结构有效地捕捉到不同尺度的特征，在医学图像分割中能够准确地定位和分割目标区域。
2、跳跃连接：SPA-UNet采用跳跃连接将编码器和解码器的不同层次特征进行连接。这种跳跃连接可以帮助信息从较低层次快速传播到解码器，解决了传统卷积神经网络中信息丢失的问题，并保留了更多的细节和上下文信息。在医学图像分割中，这对于精确地定位和分割重要结构如肿瘤、器官等起到了关键作用。
3、数据增强和正则化：医学图像数据通常具有较小的样本量，且不平衡性较大。SPA-UNet在训练过程中采用一系列的数据增强技术，如随机裁剪、镜像翻转、旋转等，扩充训练样本的多样性，缓解了数据不足的问题。此外，SPA-UNet还使用了常见的正则化技术，如Dropout和BatchNormalization等，有助于提高模型的泛化能力和稳定性。
4、多尺度特征融合：SPA-UNet通过使用不同层次的特征融合策略，将来自不同分辨率的特征进行组合和综合。这种多尺度的特征融合使得模型能够对目标物体进行准确的边界检测和分割，尤其适用于医学图像中的结构复杂、尺度变化较大的问题。
本发明实施例中所提出的深度学习网络，其损失函数满足如下模型： 其中，Loss表示损失值，α表示可调超参数，N表示样本总数量，yi是第i个样本的所属类别，pi表示第i个样本属于类别yi的预测值。该损失数通过将预测概率与真实标签进入行比，并计算交叉毁损，促使网网络学习更准确地预测样本的种类；同时该损失数还通过计算预测率与真实标签的结合持续和边缘持续之间的差异，提升了学习网络的稳定性和鲁棒性。
进一步的，为了证明所提出模型的分割性能，本发明将SPA-UNet与UNet，Topfprmer，Segformer_B0，BiSeNetv2，OCRNet，Unet++，Unet_attention，Espnet等先进模型进行了对比实验。不同网络在对肝脏进行分割时，三个评价指标的性能如表1所示。
表1.不同网络进行肝脏分割的定量指标的性能对比
Model Iou Precision Recall
UNet 0.943 0.961 0.966
Topformer 0.903 0.943 0.956
Segformer_B0 0.943 0.969 0.973
BiSeNetV2 0.932 0.963 0.967
OCRNet 0.874 0.921 0.944
UNet++ 0.942 0.966 0.971
UNet_attention 0.952 0.971 0.977
ESPNet 0.925 0.961 0.961
Ours(本发明) 0.953 0.974 0.978
从表1可以看出，相对于原来的UNet模型，本发明提出的模型有着更好的性能，它的Iou,Precision,Recall指标相比原始的UNet分别提升了1.0％，1.3％，1.2％，相比OCRNet分别提升了7.9％，5.3％，3.4％。
不同网络在进行肝脏肿瘤分割时,三个评价指标的性能如表2所示。
表2.不同网络进行肝脏肿瘤分割的定量指标的性能对比
Model Iou Precision Recall
UNet 0.806 0.885 0.889
Topformer 0.662 0.805 0.787
Segformer_B0 0.792 0.884 0.883
BiSeNetV2 0.751 0.875 0.841
OCRNet 0.732 0.859 0.832
UNet++ 0.796 0.883 0.890
UNet_attention 0.821 0.908 0.896
ESPNet 0.774 0.874 0.820
Ours(本发明) 0.826 0.902 0.907
从表2可以看出，本发明提出的模型相对于原始的UNet在Iou,Precision,Recall指标上分别提高了2.0％，1.7％，1.8％，相对于Topformerf分别提升了14.4％，8.0％，10.2％，在肝脏肿瘤分割任务上的整体表现优于其他网络，对肿瘤的分割更加准确，对于肝癌的诊断具有重要的参考价值。
综上所述，本发明使用的空洞卷积能够扩大网络的感受野，从而获取更丰富的局部和全局上下文信息，提高网络的分割精度；进一步，本发明通过设计SPCB和SPPB两种多分支模块融合多尺度信息提取特征，将多个特征图进行融合以学习多尺度特征,增强卷积神经网络对于不同尺度和不同语义信息的感知,并引入注意力机制以提高网络对边缘及完整肿瘤的特征学习能力。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (9)

1.一种基于深度学习的肝脏肿瘤CT图像自动分割方法，其特征在于，包括下列步骤：
提取待分割CT图像；
利用多尺度特征识别网络，提取所述待分割CT图像的多尺度特征；
利用注意力机制网络，通过所述多尺度特征识别所述待分割CT图像中的病变区域；
根据识别结果，在所述待分割CT图像中分割出肝脏肿瘤图像。
2.如权利要求1所述的基于深度学习的肝脏肿瘤CT图像自动分割方法，其特征在于，
所述待分割CT图像为只包含肝脏区域的CT图像。
3.如权利要求2所述的基于深度学习的肝脏肿瘤CT图像自动分割方法，其特征在于，
提取待分割CT图像的过程，包括下列步骤：
获取原始CT数据集；
调整原始CT数据集中任一CT图像的窗宽和窗位，标注所述CT图像中的肝脏标签；
根据标记结果，剔除原始CT数据集中不含肝脏标签的CT图像，获得目标CT数据集；
预切割目标CT数据集中任一CT图像，获得待分割CT图像数据集。
4.如权利要求3所述的基于深度学习的肝脏肿瘤CT图像自动分割方法，其特征在于，
所述多尺度特征识别网络包括两个以上的卷积模块，相邻两个卷积模块通过池化模块连接。
5.如权利要求4所述的基于深度学习的肝脏肿瘤CT图像自动分割方法，其特征在于，
每个所述卷积模块包括三个卷积层、一个第一加法器和一个归一化层；
任一个卷积层的空洞率大于等于1；
任一个卷积层的输入端与一池化模块或者导入层连接；
三个卷积层并行，三个卷积层的三个输出端连接至所述第一加法器；
所述第一加法器通过注意力机制通道与所述归一化层连接；
所述归一化层与另一池化模块连接。
6.如权利要求5所述的基于深度学习的肝脏肿瘤CT图像自动分割方法，其特征在于，
每个所述池化模块包括标准卷积层、池化层和减法器，所述标准卷积层和所述池化层的输入端连接同一卷积模块，所述标准卷积层和所述池化层的输入端连接所述减法器，所述减法器与另一卷积模块连接。
7.如权利要求6所述的基于深度学习的肝脏肿瘤CT图像自动分割方法，其特征在于，
所述池化模块的输入通道数量和输出通道数量，满足如下规则： 其中，Cout表示池化模块的输出通道数量，Cin表示池化模块的输入通道数量，ΔC表示池化模块的补偿通道数量。
8.如权利要求7所述的基于深度学习的肝脏肿瘤CT图像自动分割方法，其特征在于，
所述注意力机制网络包括两个以上的上采样模块，相邻两个上采样模块通过残差模块连接，所述上采样模块与所述残差模块数量相同。
9.如权利要求8所述的基于深度学习的肝脏肿瘤CT图像自动分割方法，其特征在于，
所述残差模块包括第一卷积层、第二卷积层、第三卷积层、CA注意力机制层以及第二加法器；
所述第一卷积层和所述第三卷积层的输入端分别与上采样模块连接；
所述第二卷积层与所述第一卷积层串联，所述CA注意力机制层与所述第三卷积层串联；
所述第三卷积层和所述CA注意力机制层的输入端均与所述第二加法器连接；
所述第二加法器与另一上采样模块或输出网络连接。
CN202310802870.XA 2023-07-03 2023-07-03 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 Pending CN116883341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310802870.XA CN116883341A (zh) 2023-07-03 2023-07-03 一种基于深度学习的肝脏肿瘤ct图像自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310802870.XA CN116883341A (zh) 2023-07-03 2023-07-03 一种基于深度学习的肝脏肿瘤ct图像自动分割方法

Publications (1)

Publication Number Publication Date
CN116883341A true CN116883341A (zh) 2023-10-13

Family

ID=88259633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310802870.XA Pending CN116883341A (zh) 2023-07-03 2023-07-03 一种基于深度学习的肝脏肿瘤ct图像自动分割方法

Country Status (1)

Country Link
CN (1) CN116883341A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611610A (zh) * 2023-12-11 2024-02-27 苏州大学 一种基于多尺度特征补偿的微动脉瘤分割方法
CN118135556A (zh) * 2024-05-06 2024-06-04 江苏艾玮得生物科技有限公司 交互识别方法、装置、存储介质及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611610A (zh) * 2023-12-11 2024-02-27 苏州大学 一种基于多尺度特征补偿的微动脉瘤分割方法
CN117611610B (zh) * 2023-12-11 2024-05-24 苏州大学 一种基于多尺度特征补偿的微动脉瘤分割方法
CN118135556A (zh) * 2024-05-06 2024-06-04 江苏艾玮得生物科技有限公司 交互识别方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111402268B (zh) 一种医学图像中肝脏及其病灶分割的方法
CN107784647B (zh) 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及***
CN109615636B (zh) Ct影像的肺叶段分割中的血管树构造方法、装置
CN110930416B (zh) 一种基于u型网络的mri图像***分割方法
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断***
CN109614991A (zh) 一种基于Attention的多尺度扩张性心肌的分割分类方法
CN112258530A (zh) 基于神经网络的计算机辅助肺结节自动分割方法
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN111369574B (zh) 一种胸腔器官的分割方法及装置
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN112991365B (zh) 一种冠状动脉分割方法、***及存储介质
CN112329871B (zh) 一种基于自校正卷积与通道注意力机制的肺结节检测方法
CN113870238A (zh) 一种基于混合监督学习的肝脏ct图像分割***和算法
CN113744183A (zh) 肺结节检测方法及***
CN116188479B (zh) 基于深度学习的髋关节图像分割方法及***
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN117710760B (zh) 残差的注意神经网络用于胸部x线病灶检测的方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN116091458A (zh) 一种基于互补注意力的胰腺图像分割方法
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
CN115294151A (zh) 基于多任务卷积模型的肺部ct感兴趣区域自动检测方法
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法
CN113838020A (zh) 一种基于钼靶影像的病变区域量化方法
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination