CN109685807A - 基于深度学习的下肢深静脉血栓自动分割方法及*** - Google Patents

基于深度学习的下肢深静脉血栓自动分割方法及*** Download PDF

Info

Publication number
CN109685807A
CN109685807A CN201811365954.7A CN201811365954A CN109685807A CN 109685807 A CN109685807 A CN 109685807A CN 201811365954 A CN201811365954 A CN 201811365954A CN 109685807 A CN109685807 A CN 109685807A
Authority
CN
China
Prior art keywords
image
thrombus
sampling
deep learning
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811365954.7A
Other languages
English (en)
Inventor
陈汉威
黄炳升
黄晨
叶裕丰
黄�益
梁健科
何卓南
贺雪平
田君如
袁程朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Cardiovascular Disease Institute of Guangzhou Panyu Central Hospital
Original Assignee
Shenzhen University
Cardiovascular Disease Institute of Guangzhou Panyu Central Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University, Cardiovascular Disease Institute of Guangzhou Panyu Central Hospital filed Critical Shenzhen University
Priority to CN201811365954.7A priority Critical patent/CN109685807A/zh
Publication of CN109685807A publication Critical patent/CN109685807A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的下肢深静脉血栓自动分割方法及***，方法包括：采用深度学习的方法对CE‑MRI图像进行血栓病灶区域的检测与定位，得到包含血栓病灶的图像；对包含血栓病灶的图像采用深度学习的方法进行血栓病灶分割。本发明将CE‑MRI图像和深度学习技术相结合来应用于深静脉血栓的血栓自动分割上，通过2次深度学习来自动分割出血栓病灶，无需医生的手动参与，减轻了医生的负担，效率更高，更加客观和准确，且分割结果的一致性和可重复性更好。本发明可广泛应用于医学图像处理领域。

Description

基于深度学习的下肢深静脉血栓自动分割方法及***
技术领域
本发明涉及医学图像处理领域，尤其是一种基于深度学习的下肢深静脉血栓自动分割方法及***。
背景技术
深静脉血栓(Deep Vein Thrombosis，DVT)是发生于下肢深静脉的常见疾病，每年的发病率约为0.1％，呈逐年上升趋势，已成为第三大心血管疾病。DVT除了下肢肿痛等症状外，50％以上患者易并发肺栓塞，死亡率超过20％，被称为“沉默的杀手”。
当前用于DVT检查的影像学手段有多种，包括超声、计算机断层扫描技术(Computed Tomography,CT)、磁共振成像(Magnetic Resonance Imaging,MRI)、数字减影技术等。MRI作为一种无创性检查，具有良好软组织对比度、全视野和无辐射等优势。CE-MRI(Contrast Enhanced Magnetic Resonance Imaging，对比剂增强磁共振影像)相较于直接MRI能够更好地显示血栓部位周围组织情况及信号，是诊断下肢深静脉血栓的有效检查方法。
目前，下肢DVT的治疗方案以溶栓为主。在DVT的溶栓治疗过程中，临床医生需要在CE-MRI中勾画出血栓病灶区的边界，并计算出血栓病灶的体积，以便确定溶栓药物的剂量，达到对患者进行精确定量溶栓治疗的目的。临床上，一般由经验丰富的医生在CE-MRI影像中手动勾画血栓病灶。然而，这种手动勾画方式存在诸多不足：1)磁共振扫描图像是多种多样的，导致人工阅片会耗费大量的时间与精力，给医生增加沉重的负担；(2)依赖于医生的临床经验，具有较强的主观性，不能保证分割结果的一致性和可重复性。相对于手动勾画血栓，通过计算机自动分割血栓的速度更快，且可在保证准确率的同时，确保分割结果的一致性和可重复性。因此，迫切地需要基于MRI的下肢DVT自动分割方案，协助医生进行精准的溶栓治疗，同时提高医生的工作效率。
机器学习是一种通过计算机手段从数据中学习规律并利用规律对未知数据进行预测的方法。深度学习是机器学习的另一分支，其通过计算机的迭代算法，从海量的原始数据中自主学习能较好完成目标任务的有效特征，从而避免了耗时的手动特征设计和选择，能够实现较稳定和较有效率的诊断。
目前尚未有将深度学习应用于下肢DVT自动分割的相关报道。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种效率高、准确、一致性好和可重复性好的基于深度学习的下肢深静脉血栓自动分割方法及***。
本发明一方面所采取的技术方案是：
基于深度学习的下肢深静脉血栓自动分割方法，包括以下步骤：
采用深度学习的方法对CE-MRI图像进行血栓病灶区域的检测与定位，得到包含血栓病灶的图像；
对包含血栓病灶的图像采用深度学习的方法进行血栓病灶分割。
进一步，所述深度学习的方法采用U-net全卷积神经网络结构来训练模型，所述U-net全卷积神经网络结构包括若干个第一采样块、一个第二采样块、若干个第三采样块和一个卷积层，其中，每个第一采样块包括2个第一采样单元和一个池化层，第二采样块包括2个第一采样单元，每个第三采样块包括1个上采样层、1个连接层和2个第一采样单元，每个第一采样单元包括一个卷积层、一个组归一化层和一个修正线性单元层。
进一步，所述采用深度学习的方法对CE-MRI图像进行血栓病灶区域的检测与定位，得到包含血栓病灶的图像这一步骤，具体包括：
对CE-MRI图像依次经过第1至第N个第一采样块进行处理，分别得到CE-MRI图像的第一至第N特征图，其中，N为正整数；
将CE-MRI图像的第N特征图输入一个第二采样块进行处理，得到第一图像；
将第一图像依次经过第1至第N个第三采样块进行处理，得到第二图像，其中，第1至第N个第三采样块的连接层分别与CE-MRI图像的第N至第一特征图对应连接；
将第二图像输入一个卷积层进行卷积，得到包含血栓病灶的图像。
进一步，所述对包含血栓病灶的图像采用深度学习的方法进行血栓病灶分割这一步骤，具体包括：
将包含血栓病灶的图像依次经过第1至第M个第一采样块进行处理，分别得到第一至第M特征图，其中，M为正整数；
将第M特征图输入一个第二采样块进行处理，得到第三图像；
将第三图像依次经过第1至第M个第三采样块进行处理，得到第四图像，其中，第1至第M个第三采样块的连接层分别与第M至第一特征图对应连接；
将第四图像输入一个卷积层进行卷积，得到血栓分割结果。
进一步，所述深度学习的方法在采用U-net全卷积神经网络结构来训练模型时，所采用的损失函数为Focal Loss损失函数。
进一步，所述包含血栓病灶的图像为矩形框图像，所述将包含血栓病灶的图像依次经过第1至第M个第一采样块进行处理，分别得到第一至第M特征图这一步骤，具体包括：
将包含血栓病灶的图像放入标准的空白矩形框内，得到待血栓病灶分割的图像；
将待血栓病灶分割的图像依次经过第1至第M个第一采样块进行处理，得到第一至第M特征图。
本发明另一方面所采取的技术方案是：
基于深度学习的下肢深静脉血栓自动分割***，包括：
检测与定位模块，用于采用深度学习的方法对CE-MRI图像进行血栓病灶区域的检测与定位，得到包含血栓病灶的图像；
血栓病灶分割模块，用于对包含血栓病灶的图像采用深度学习的方法进行血栓病灶分割。
进一步，所述深度学习的方法采用U-net全卷积神经网络结构来训练模型，所述U-net全卷积神经网络结构包括若干个第一采样块、一个第二采样块、若干个第三采样块和一个卷积层，其中，每个第一采样块包括2个第一采样单元和一个池化层，第二采样块包括2个第一采样单元，每个第三采样块包括1个上采样层、1个连接层和2个第一采样单元，每个第一采样单元包括一个卷积层、一个组归一化层和一个修正线性单元层。
进一步，所述检测与定位模块具体包括：
第一处理单元，用于对CE-MRI图像依次经过第1至第N个第一采样块进行处理，分别得到CE-MRI图像的第一至第N特征图，其中，N为正整数；
第二处理单元，用于将CE-MRI图像的第N特征图输入一个第二采样块进行处理，得到第一图像；
第三处理单元，用于将第一图像依次经过第1至第N个第三采样块进行处理，得到第二图像，其中，第1至第N个第三采样块的连接层分别与CE-MRI图像的第N至第一特征图对应连接；
卷积单元，用于将第二图像输入一个卷积层进行卷积，得到包含血栓病灶的图像。
本发明另一方面所采取的技术方案是：
基于深度学习的下肢深静脉血栓自动分割***，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于执行所述程序以实现本发明所述的基于深度学习的下肢深静脉血栓自动分割方法。
本发明的有益效果是：本发明基于深度学习的下肢深静脉血栓自动分割方法及***，先采用深度学习的方法对CE-MRI图像进行血栓病灶区域的检测与定位，再采用深度学习的方法进行血栓病灶分割，将CE-MRI图像和深度学习技术相结合来应用于深静脉血栓的血栓自动分割上，通过2次深度学习来自动分割出血栓病灶，无需医生的手动参与，减轻了医生的负担，效率更高，更加客观和准确，且分割结果的一致性和可重复性更好。
附图说明
图1为本发明实施例提供的基于深度学习的下肢深静脉血栓自动分割方法流程图；
图2为本发明具体实施例的血栓自动分割总体流程图；
图3为本发明具体实施例的血栓病灶区域检测与定位网络结构图；
图4为下肢DVT患者的CE-MRI图像；
图5为图4对应的血栓病灶的金标准图像；
图6为采用图3的网络结构对图4进行处理得到的血栓病灶区域检测与定位结果图；
图7为本发明具体实施例的血栓病灶分割网络结构图；
图8为采用图7的网络结构对图6进行处理得到的血栓病灶分割结果图；
图9为图8的血栓病灶分割结果与金标准的血栓病灶分割结果之间的结果对比图。
具体实施方式
参照图1，本发明实施例提供了一种基于深度学习的下肢深静脉血栓自动分割方法，包括以下步骤：
采用深度学习的方法对CE-MRI图像进行血栓病灶区域的检测与定位，得到包含血栓病灶的图像；
对包含血栓病灶的图像采用深度学习的方法进行血栓病灶分割。
具体地，CE-MRI图像尺寸较大，而血栓区域在整个图像中所占的比例较小，若直接对整张图像进行血栓病灶分割，易受到其余无关背景的干扰，所以本发明先采用深度学习的方法(即第一次深度学习)从CE-MRI影像中自动检测与定位出有血栓病灶的MRI图像(其一般为比CE-MRI图像小的一个或多个区域图像，例如2个包含血栓区域的较小矩形区域图像)，这样便能去除掉绝大部分的背景信息，消除冗余信息带来的干扰。后续再对包含血栓病灶的图像采用深度学习的方法(即二次学习)即可自动分割出血栓病灶。
由此可见，本实施例首次将MRI图像和深度学习技术相结合来应用于下肢DVT的血栓自动分割上，克服了现有医生手动分割易受主观性和医生经验的影响的缺陷，能自动分割出血栓病灶，减轻了医生的负担，提高了后续的诊疗效率；同时自动分割的方式更加客观和准确，且分割结果的一致性和可重复性更好。
进一步作为优选的实施方式，所述深度学习的方法采用U-net全卷积神经网络结构来训练模型，所述U-net全卷积神经网络结构包括若干个第一采样块、一个第二采样块、若干个第三采样块和一个卷积层，其中，每个第一采样块包括2个第一采样单元和一个池化层，第二采样块包括2个第一采样单元，每个第三采样块包括1个上采样层、1个连接层和2个第一采样单元，每个第一采样单元包括一个卷积层、一个组归一化层和一个修正线性单元层。
其中，本实施例采用深度学习技术中的全卷积神经网络来训练出用于血栓病灶区域检测与定位以及用于血栓病灶分割的模型，可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸；与传统卷积神经网络相比，更加高效，因为其避免了由于使用像素块而带来的重复存储和计算卷积的问题。
具体地，全卷积神经网络可由对经典的分割网络U-net改进后得到，其主要包括编码阶段和解码阶段，编码阶段主要完成对图像特征的提取，解码阶段则对特征图进行重建放大，并得到检测与定位结果或分割结果。第一采样块和第二采样块用于编码阶段，第三采样块和卷积层用于解码阶段。
由于所处理的图像是没有经过裁剪的原始图像，分辨率较大，而显存资源有限，不能使用较大的batch训练我们的网络，而在小batch(一般使用的是2)的情况下，采用BN(批归一化)会导致网络性能下降，所以本实施例采用对batch大小不敏感的GN(组归一化)层。GN层是一种新的深度学习归一化方式，能够加速收敛，更为稳定地改善网络性能。
修正线性单元层能够增加全卷积神经网络的各层之间非线性，有利于加速全卷积神经网络收敛，使得模型能够拟合复杂的任务场景。
池化层则是用来减少特征图和网络参数的维数，将输入图像的长和宽都缩小为原来的二分之一。
上采样层的作用是将输入的特征图的长和宽都扩大为原来的两倍。然而，在上采样过程中，将数据的行和列分别重复2倍的方式会使得扩大后的图像丢失许多细节上的信息，降低图像分辨率。因此，本实施例在每一个上采样层后加入连接层，连接层能将编码阶段中与上采样层相对应的第一采样块所输出的高分辨率特征图，和上采样层所输出的低分辨率特征图进行叠加，从而能够整合全局上下文信息及特征融合，以达到更好的分割效果。
解码阶段中最后的那个卷积层主要是为了使得网络输出的图像的通道数符合要求。
进一步作为优选的实施方式，所述采用深度学习的方法对CE-MRI图像进行血栓病灶区域的检测与定位，得到包含血栓病灶的图像这一步骤，具体包括：
对CE-MRI图像依次经过第1至第N个第一采样块进行处理，分别得到CE-MRI图像的第一至第N特征图，其中，N为正整数；
将CE-MRI图像的第N特征图输入一个第二采样块进行处理，得到第一图像；
将第一图像依次经过第1至第N个第三采样块进行处理，得到第二图像，其中，第1至第N个第三采样块的连接层分别与CE-MRI图像的第N至第一特征图对应连接；
将第二图像输入一个卷积层进行卷积，得到包含血栓病灶的图像。
具体地，对CE-MRI图像依次经过第1至第N个第一采样块进行处理，分别得到CE-MRI图像的第一至第N特征图，是指：CE-MRI图像先经过第1个第一采样块处理后得到CE-MRI图像的第一特征图(可以包含不止一幅特征图，即可对应多个通道)，CE-MRI图像的第一特征图再经过第2个第一采样块处理后得到CE-MRI图像的第二特征图(可以包含不止一幅特征图，即可对应多个通道)，……，CE-MRI图像的第N-1特征图再经过第N个第一采样块处理后得到CE-MRI图像的第N特征图(可以包含不止一幅特征图，即可对应多个通道)。
本实施例第1至第N个第三采样块的连接层分别与CE-MRI图像的第N至第一特征图对应连接，是指第1个第三采样块的连接层与CE-MRI图像的第N特征图连接，第2个第三采样块的连接层与CE-MRI图像的第N-1特征图连接……第N个第三采样块的连接层与CE-MRI图像的第1特征图连接。N可为4等正整数。
进一步作为优选的实施方式，所述对包含血栓病灶的图像采用深度学习的方法进行血栓病灶分割这一步骤，具体包括：
S1、将包含血栓病灶的图像依次经过第1至第M个第一采样块进行处理，分别得到第一至第M特征图，其中，M为正整数；
S2、将第M特征图输入一个第二采样块进行处理，得到第三图像；
S3、将第三图像依次经过第1至第M个第三采样块进行处理，得到第四图像，其中，第1至第M个第三采样块的连接层分别与第M至第一特征图对应连接；
S4、将第四图像输入一个卷积层进行卷积，得到血栓分割结果。
具体地，将包含血栓病灶的图像依次经过第1至第M个第一采样块进行处理，分别得到第一至第M特征图，是指：包含血栓病灶的图像先经过第1个第一采样块处理后得到第一特征图(可以包含不止一幅特征图，即可对应多个通道)，第一特征图再经过第2个第一采样块处理后得到第二特征图(可以包含不止一幅特征图，即可对应多个通道)，……，第M-1特征图再经过第M个第一采样块处理后得到第M特征图(可以包含不止一幅特征图，即可对应多个通道)。
本实施例第1至第M个第三采样块的连接层分别与第M至第一特征图对应连接，是指第1个第三采样块的连接层与第M特征图连接，第2个第三采样块的连接层与第M-1特征图连接……第M个第三采样块的连接层与第1特征图连接。M可为3等正整数。
在进行血栓病灶分割时，将包含血栓病灶的图像先依次执行一次步骤S1-S4后得到该次的血栓分割结果，接着通过测试集判断是否已满足模型训练要求，若是，则以该次的分割结果作为最终的血栓分割结果，反之则重复依次执行若干次(如3次)步骤S1-S4，直至得到满足模型训练要求的最终的血栓分割结果。也就是说，本实施例在采用深度学习的方法进行血栓病灶分割时，可根据实际的需要通过迭代训练(重复依次执行若干次步骤S1-S4)来得到最终的血栓分割结果。
进一步作为优选的实施方式，所述深度学习的方法在采用U-net全卷积神经网络结构来训练模型时，所采用的损失函数为Focal Loss损失函数。
具体地，本实施例在进行模型训练时采用了Focal Loss损失函数，该损失函数是在标准交叉熵损失基础上修改得到的。Focal Loss可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本，并且更快收敛。
进一步作为优选的实施方式，所述包含血栓病灶的图像为矩形框图像，所述将包含血栓病灶的图像依次经过第1至第M个第一采样块进行处理，分别得到第一至第M特征图这一步骤，具体包括：
将包含血栓病灶的图像放入标准的空白矩形框内，得到待血栓病灶分割的图像；
将待血栓病灶分割的图像依次经过第1至第M个第一采样块进行处理，得到第一至第M特征图。
具体地，血栓病灶区域的检测与定位后可获得许多个尺寸不一的包含血栓病灶的矩形框图像，为了使输入分割网络的图像尺寸大小一致，先将所有的矩形框图像分别放入一个较大的标准空白矩形框(其尺寸大小可预先设定)内。
为了更好地利用CE-MRI所提供的影像信息，本具体实施例基于深度学习图像处理技术和磁共振影像，设计了卷积神经网络(Convolutional Neural Network，CNN)模型对下肢DVT进行自动分割，以此减轻医生的负担，提高诊疗效率。如图2所示，该方案主要分为以下两个部分：1)血栓病灶区域的检测与定位；2)血栓病灶分割。
第一部分血栓病灶区域检测与定位
由于获取的CE-MRI图像尺寸较大，而血栓区域在整个图像中所占的比例较小，若直接对整张图像进行血栓病灶分割，易受到其余无关背景的干扰。因此，本具体实施例需要先设计一个检测分类网络，从CE-MRI影像中自动检测出有病灶的MRI图像并在图中定位出包含出血栓区域的较小的矩形框图像，这样便能去除掉绝大部分的背景信息，消除冗余信息带来的干扰。
本具体实施例采用深度学习技术中的卷积神经网络进行血栓病灶区域的检测与定位，网络结构图如图3所示。图3的网络基于经典的分割网络U-net进行了改进，网络结构分为编码阶段和解码阶段，编码阶段主要完成对图像特征的提取，解码阶段对特征图进行重建放大，并得到分割结果。图3中矩形框表示网络中的图像大小，矩形框内的数字表示通道数，数字N1×M1(N1和M1为正整数)指单个通道的图像大小(如960×320)，conv(convolutional layer)指卷积层，concatenate指连接层，ReLU(Rectify Linear Unit)为修正线性单元，GN(group normalization layer)指组归一化，maxpooling层为最大池化层，upsampling为上采样层。
如图3所示，本具体实施例在编码阶段设计了4个第一采样块(主要用于下采样)和1个第二采样块。每个第一采样块都由2个第一采样单元和1个最大池化层组成，每个第一采样单元包括1个卷积层、1个GN层以及1个修正线性单元层。第二采样块则是由2个第一采样单元组成。第一采样块和第二采样块能够提取CE-MRI影像的基本特征，并进行排列组合，以得到更抽象的，具有语义信息的深层特征。由于所处理的CE-MRI图像是没有经过裁剪的原始图像，分辨率较大，而显存资源有限，不能使用较大的batch训练我们的网络，而在小batch(这里使用的是2)的情况下，采用BN会导致网络性能下降，所以本具体实施例采用对batch大小不敏感的GN层。GN层是一种新的深度学习归一化方式，能够加速收敛，更为稳定地改善网络性能。最大池化层则用来减少特征图和网络参数的维数，将输入图像的长和宽都缩小为原来的二分之一。Relu层的作用是增加网络各层之间的非线性关系，加速收敛，使得模型能够拟合复杂的任务场景。
故图3的网络结构在编码阶段的具体实现过程为：输入大小为960×320且通道数为64的CE-MRI图像依次经过4个第一采样块处理(图3的紫色箭头部分)后得到大小为60×20且通道数为1024的特征图；接着，将大小为60×20且通道数为1024的特征图经过第二采样块(图3的蓝色箭头部分)处理后得到大小为60×20且通道数为1024的得分图。
解码阶段的主要功能是将在编码阶段被缩小后的得分图，通过上采样操作使其重建至原图大小并输出分割结果。如图3所示，在解码阶段，本具体实施例设计了4个第三采样块卷积模块和1个卷积层。每个第三采样块包括1个上采样层和2个第一采样单元，每个第一采样单元包括1个卷积层、1个GN层以及1个修正线性单元层。上采样层的作用是将输入的特征图的长和宽都扩大为原来的两倍。然而，在上采样过程中，将数据的行和列分别重复2倍的方式会使得扩大后的图像丢失许多细节上的信息，降低图像分辨率。因此，本具体实施例在每一个上采样层后加入连接层，连接层能将编码阶段中，与上采样层相对应的第一采样块所输出的高分辨率特征图和上采样层所输出的低分辨率特征图进行叠加，从而能够整合全局上下文信息及进行特征融合，以达到更好的检测与定位效果。
故图3的网络结构在解码阶段的具体实现过程为：大小为60×20的得分图且通道数为1024依次经过4个第三采样块(图3的棕色箭头部分)处理后得到大小为960×320且通道数为64的候选检测与定位结果图，该候选检测与定位结果图再经过一次卷积处理(图3的白色箭头部分)即可得到大小为960×320且通道数为1的检测与定位结果图。
本具体实施例可使用Focal loss作为模型的损失函数，这个损失函数是在标准交叉熵损失基础上修改得到的。Focal Loss可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本，并且更快收敛。Focal Loss的具体表达式为：
式(1)中，pt代表概率值，FL(pt)为pt对应的Focal Loss交叉熵，和γ均为FocalLoss的权重调制系数(一般预先给定)，用于进行权重的协调与控制。
从图4、图5和图6可以看出，图6采用图3的检测与定位网络结构对图4的CE-MRI图像进行检测与定位得到的2个黄色矩形框图像很好地包含了金标准(即图5中的白色病灶区域)。
另外，可用准确率评判网络的检测分类性能，准确率越高表示网络自动检测正确的结果越准确，目前采用本实施例的检测与定位网络结构在58个下肢DVT患者的MRI图像上经过8折交叉验证的准确率平均值为91％，标准差为6％，可以看出，本具体实施例的检测与定位网络结构的检测分类性能较好。
第二部分血栓病灶的分割
在完成第一部分的血栓病灶区域的检测和定位后，将可获得许多个尺寸不一的包含血栓病灶的矩形框图像，为了使输入分割网络的图像尺寸大小一致，本具体实施例先将所有的矩形框图像分别放入一个较大的空白矩形框内，该空白矩形框的尺寸大小为200×120。
同样地，本具体实施例也采用深度学习技术中的卷积神经网络进行血栓病灶分割，其网络结构图如图7所示。本具体实施例的血栓病灶分割网络在检测与定位网络的基础上做了一些修改，其网络结构同样分为编码阶段和解码阶段。如图7所示，在编码阶段，本具体实施例设计了3个第一采样块和1个第二采样块，其具体过程为：大小为200×120且通道数为64的输入图像依次经过3个第一采样块(图7的紫色箭头部分)处理后得到大小为25×15且通道数为512的特征图；接着，将大小为25×15且通道数为512的特征图经过第二采样块(图7的蓝色箭头部分)处理后得到大小为25×15且通道数为512的得分图。在解码阶段，本具体实施例设计了3个第三采样块和1个卷积层，其具体过程为：25×15且通道数为512的得分图依次经过3个第三采样块(图7的棕色箭头部分)处理后得到大小为200×120且通道数为64的候选分割结果图，该候选分割结果图再经过一次卷积处理(图3的白色箭头部分)即可重建得到大小为200×120且通道数为1的分割结果图并输出分割结果。本具体实施例所采用的分割网络属于端到端的U-net网络，相比于基于小块的分割网络速度更快，能够提高分割速度，有利于提高分割精度。
从图4、图5、图6和图9可以看出，图8采用图7的分割网络结构对图6的图像进行分割后得到的分割结果与金标准(即图5中的白色病灶区域)非常接近且很好地包含了金标准，图9更好地反映了这一点，图9中红色为图8的分割结果，黄色为金标准的分割结果。
本具体实施例还分别采用了DSC、F1-Measure、精确度、敏感度、特异度、准确率、假阳率和假阴率等指标来对检测与定位模型以及分割模型的性能进行评估，其中DSC、F1-Measure、精确度、敏感度、特异度、准确率、假阳率和假阴率等指标的计算方法如下：
DSC＝2TP/(FP+2TP+FN)
F1-Measure＝2TP/(2TP+FP+FN)
精确度＝TP/(TP+FP)
敏感度Sensitivity＝TP/(TP+FN)
特异度Specificity＝TN/(TN+FP)
准确率Accuracy＝(TP+TN)/(TP+TN+FP+FN)
假阳率＝FP/(TP+FP)
假阴率＝FN/(TP+FN)
其中，TP：True Positive，被判定为正样本，事实上也是正样本的样本总数。
TN：True Negative，被判定为负样本，事实上也是负样本的样本总数。
FP：False Positive，被判定为正样本，但事实上是负样本的样本总数。
FN：False Negative，被判定为负样本，但事实上是正样本的样本总数。
检测与定位模型以及分割模型的性能评估结果如下表1所示。
表1
DSC F1-Measure 精确度 敏感度 特异度 准确率 假阳率 假阴率
检测与定位模型评估指标 / 0.85 0.87 0.85 0.92 0.91 / /
分割模型评估指标 0.89 / 0.89 0.88 0.99 1.00 0.11 0.12
表1中，“/”代表不采用该指标，检测与定位模型评估指标用于从患者MRI影像中判断有无血栓的结果与金标准的吻合程度，分割模型评估指标用于判断血栓区域的分割结果与金标准的吻合程度。
从表1可以看出，本具体实施例的检测与定位模型以及分割模型的性能较好，准确率能达到91％以上。
血栓研究临床意义重大，血栓自动分割目前未有成熟的方法，本具体实施例首次将MRI图像和深度学习技术相结合，应用于下肢DVT的血栓自动分割上，达到了91％的较高准确率，在后续进行血栓体积计算后，能达到对患者精确定量溶栓治疗的目的，有望提高患者治愈率；促进了DVT影像诊断和现代高科技整合发展，推广该技术应用于全身血栓性病变的诊治，具有较好的经济和社会效益。
与图1的方法相对应，本发明实施例还提供了一种基于深度学习的下肢深静脉血栓自动分割***，包括：
检测与定位模块，用于采用深度学习的方法对CE-MRI图像进行血栓病灶区域的检测与定位，得到包含血栓病灶的图像；
血栓病灶分割模块，用于对包含血栓病灶的图像采用深度学习的方法进行血栓病灶分割。
上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
进一步作为优选的实施方式，所述深度学习的方法采用U-net全卷积神经网络结构来训练模型，所述U-net全卷积神经网络结构包括若干个第一采样块、一个第二采样块、若干个第三采样块和一个卷积层，其中，每个第一采样块包括2个第一采样单元和一个池化层，第二采样块包括2个第一采样单元，每个第三采样块包括1个上采样层、1个连接层和2个第一采样单元，每个第一采样单元包括一个卷积层、一个组归一化层和一个修正线性单元层。
进一步作为优选的实施方式，所述检测与定位模块具体包括：
第一处理单元，用于对CE-MRI图像依次经过第1至第N个第一采样块进行处理，分别得到CE-MRI图像的第一至第N特征图，其中，N为正整数；
第二处理单元，用于将CE-MRI图像的第N特征图输入一个第二采样块进行处理，得到第一图像；
第三处理单元，用于将第一图像依次经过第1至第N个第三采样块进行处理，得到第二图像，其中，第1至第N个第三采样块的连接层分别与CE-MRI图像的第N至第一特征图对应连接；
卷积单元，用于将第二图像输入一个卷积层进行卷积，得到包含血栓病灶的图像。
与图1的方法相对应，本发明实施例还提供了一种基于深度学习的下肢深静脉血栓自动分割***，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于执行所述程序以实现本发明所述的基于深度学习的下肢深静脉血栓自动分割方法。
上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于深度学习的下肢深静脉血栓自动分割方法，其特征在于：包括以下步骤：
采用深度学习的方法对CE-MRI图像进行血栓病灶区域的检测与定位，得到包含血栓病灶的图像；
对包含血栓病灶的图像采用深度学习的方法进行血栓病灶分割。
2.根据权利要求1所述的基于深度学习的下肢深静脉血栓自动分割方法，其特征在于：所述深度学习的方法采用U-net全卷积神经网络结构来训练模型，所述U-net全卷积神经网络结构包括若干个第一采样块、一个第二采样块、若干个第三采样块和一个卷积层，其中，每个第一采样块包括2个第一采样单元和一个池化层，第二采样块包括2个第一采样单元，每个第三采样块包括1个上采样层、1个连接层和2个第一采样单元，每个第一采样单元包括一个卷积层、一个组归一化层和一个修正线性单元层。
3.根据权利要求2所述的基于深度学习的下肢深静脉血栓自动分割方法，其特征在于：所述采用深度学习的方法对CE-MRI图像进行血栓病灶区域的检测与定位，得到包含血栓病灶的图像这一步骤，具体包括：
对CE-MRI图像依次经过第1至第N个第一采样块进行处理，分别得到CE-MRI图像的第一至第N特征图，其中，N为正整数；
将CE-MRI图像的第N特征图输入一个第二采样块进行处理，得到第一图像；
将第一图像依次经过第1至第N个第三采样块进行处理，得到第二图像，其中，第1至第N个第三采样块的连接层分别与CE-MRI图像的第N至第一特征图对应连接；
将第二图像输入一个卷积层进行卷积，得到包含血栓病灶的图像。
4.根据权利要求2所述的基于深度学习的下肢深静脉血栓自动分割方法，其特征在于：所述对包含血栓病灶的图像采用深度学习的方法进行血栓病灶分割这一步骤，具体包括：
将包含血栓病灶的图像依次经过第1至第M个第一采样块进行处理，分别得到第一至第M特征图，其中，M为正整数；
将第M特征图输入一个第二采样块进行处理，得到第三图像；
将第三图像依次经过第1至第M个第三采样块进行处理，得到第四图像，其中，第1至第M个第三采样块的连接层分别与第M至第一特征图对应连接；
将第四图像输入一个卷积层进行卷积，得到血栓分割结果。
5.根据权利要求2所述的基于深度学习的下肢深静脉血栓自动分割方法，其特征在于：所述深度学习的方法在采用U-net全卷积神经网络结构来训练模型时，所采用的损失函数为Focal Loss损失函数。
6.根据权利要求4所述的基于深度学习的下肢深静脉血栓自动分割方法，其特征在于：所述包含血栓病灶的图像为矩形框图像，所述将包含血栓病灶的图像依次经过第1至第M个第一采样块进行处理，分别得到第一至第M特征图这一步骤，具体包括：
将包含血栓病灶的图像放入标准的空白矩形框内，得到待血栓病灶分割的图像；
将待血栓病灶分割的图像依次经过第1至第M个第一采样块进行处理，得到第一至第M特征图。
7.基于深度学习的下肢深静脉血栓自动分割***，其特征在于：包括：
检测与定位模块，用于采用深度学习的方法对CE-MRI图像进行血栓病灶区域的检测与定位，得到包含血栓病灶的图像；
血栓病灶分割模块，用于对包含血栓病灶的图像采用深度学习的方法进行血栓病灶分割。
8.根据权利要求7所述的基于深度学习的下肢深静脉血栓自动分割***，其特征在于：所述深度学习的方法采用U-net全卷积神经网络结构来训练模型，所述U-net全卷积神经网络结构包括若干个第一采样块、一个第二采样块、若干个第三采样块和一个卷积层，其中，每个第一采样块包括2个第一采样单元和一个池化层，第二采样块包括2个第一采样单元，每个第三采样块包括1个上采样层、1个连接层和2个第一采样单元，每个第一采样单元包括一个卷积层、一个组归一化层和一个修正线性单元层。
9.根据权利要求8所述的基于深度学习的下肢深静脉血栓自动分割***，其特征在于：所述检测与定位模块具体包括：
第一处理单元，用于对CE-MRI图像依次经过第1至第N个第一采样块进行处理，分别得到CE-MRI图像的第一至第N特征图，其中，N为正整数；
第二处理单元，用于将CE-MRI图像的第N特征图输入一个第二采样块进行处理，得到第一图像；
第三处理单元，用于将第一图像依次经过第1至第N个第三采样块进行处理，得到第二图像，其中，第1至第N个第三采样块的连接层分别与CE-MRI图像的第N至第一特征图对应连接；
卷积单元，用于将第二图像输入一个卷积层进行卷积，得到包含血栓病灶的图像。
10.基于深度学习的下肢深静脉血栓自动分割***，其特征在于：包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于执行所述程序以实现如权利要求1-6任一项所述的基于深度学习的下肢深静脉血栓自动分割方法。
CN201811365954.7A 2018-11-16 2018-11-16 基于深度学习的下肢深静脉血栓自动分割方法及*** Pending CN109685807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811365954.7A CN109685807A (zh) 2018-11-16 2018-11-16 基于深度学习的下肢深静脉血栓自动分割方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811365954.7A CN109685807A (zh) 2018-11-16 2018-11-16 基于深度学习的下肢深静脉血栓自动分割方法及***

Publications (1)

Publication Number Publication Date
CN109685807A true CN109685807A (zh) 2019-04-26

Family

ID=66184807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811365954.7A Pending CN109685807A (zh) 2018-11-16 2018-11-16 基于深度学习的下肢深静脉血栓自动分割方法及***

Country Status (1)

Country Link
CN (1) CN109685807A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223280A (zh) * 2019-06-03 2019-09-10 Oppo广东移动通信有限公司 静脉血栓检测方法和静脉血栓检测装置
CN110322445A (zh) * 2019-06-12 2019-10-11 浙江大学 一种基于最大化预测和标签间相关性损失函数的语义分割方法
CN111091541A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁组装螺母丢失故障识别方法
CN111145901A (zh) * 2019-12-04 2020-05-12 深圳大学 深静脉血栓溶栓疗效预测方法及***、存储介质与终端
CN111754452A (zh) * 2020-05-09 2020-10-09 广州市番禺区中心医院 基于深度学习的下肢深静脉血栓的检测方法、介质及终端
CN111862105A (zh) * 2019-04-29 2020-10-30 北京字节跳动网络技术有限公司 图像的区域处理方法、装置和电子设备
CN111968137A (zh) * 2020-10-22 2020-11-20 平安科技（深圳）有限公司 头部ct图像分割方法、装置、电子设备及存储介质
CN112365504A (zh) * 2019-10-29 2021-02-12 杭州脉流科技有限公司 Ct左心室分割方法、装置、设备和存储介质
CN113538451A (zh) * 2021-05-14 2021-10-22 广州医科大学 一种深静脉血栓的磁共振图像分割方法及装置，电子设备及存储介质
CN116258717A (zh) * 2023-05-15 2023-06-13 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测***
CN107507201A (zh) * 2017-09-22 2017-12-22 深圳天琴医疗科技有限公司 一种医学图像分割方法及装置
CN108010021A (zh) * 2017-11-30 2018-05-08 上海联影医疗科技有限公司 一种医学图像处理***和方法
CN108257134A (zh) * 2017-12-21 2018-07-06 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和***
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断***
CN108648172A (zh) * 2018-03-30 2018-10-12 四川元匠科技有限公司 一种基于3D-Unet的CT图肺结节检测***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测***
CN107507201A (zh) * 2017-09-22 2017-12-22 深圳天琴医疗科技有限公司 一种医学图像分割方法及装置
CN108010021A (zh) * 2017-11-30 2018-05-08 上海联影医疗科技有限公司 一种医学图像处理***和方法
CN108257134A (zh) * 2017-12-21 2018-07-06 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和***
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断***
CN108648172A (zh) * 2018-03-30 2018-10-12 四川元匠科技有限公司 一种基于3D-Unet的CT图肺结节检测***

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862105A (zh) * 2019-04-29 2020-10-30 北京字节跳动网络技术有限公司 图像的区域处理方法、装置和电子设备
CN110223280A (zh) * 2019-06-03 2019-09-10 Oppo广东移动通信有限公司 静脉血栓检测方法和静脉血栓检测装置
CN110223280B (zh) * 2019-06-03 2021-04-13 Oppo广东移动通信有限公司 静脉血栓检测方法和静脉血栓检测装置
CN110322445A (zh) * 2019-06-12 2019-10-11 浙江大学 一种基于最大化预测和标签间相关性损失函数的语义分割方法
CN112365504A (zh) * 2019-10-29 2021-02-12 杭州脉流科技有限公司 Ct左心室分割方法、装置、设备和存储介质
CN111145901A (zh) * 2019-12-04 2020-05-12 深圳大学 深静脉血栓溶栓疗效预测方法及***、存储介质与终端
CN111091541A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁组装螺母丢失故障识别方法
CN111754452B (zh) * 2020-05-09 2021-05-18 广州市番禺区中心医院 基于深度学习的下肢深静脉血栓的检测方法、介质及终端
CN111754452A (zh) * 2020-05-09 2020-10-09 广州市番禺区中心医院 基于深度学习的下肢深静脉血栓的检测方法、介质及终端
CN111968137A (zh) * 2020-10-22 2020-11-20 平安科技（深圳）有限公司 头部ct图像分割方法、装置、电子设备及存储介质
CN113538451A (zh) * 2021-05-14 2021-10-22 广州医科大学 一种深静脉血栓的磁共振图像分割方法及装置，电子设备及存储介质
CN113538451B (zh) * 2021-05-14 2024-03-26 深圳市青云智图医疗科技有限公司 一种深静脉血栓的磁共振图像分割方法及装置，电子设备及存储介质
CN116258717A (zh) * 2023-05-15 2023-06-13 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质
CN116258717B (zh) * 2023-05-15 2023-09-08 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN109685807A (zh) 基于深度学习的下肢深静脉血栓自动分割方法及***
CN111127482B (zh) 基于深度学习的ct影像肺气管的分割方法及***
CN107203989A (zh) 基于全卷积神经网络的端对端胸部ct图像分割方法
CN106504232A (zh) 一种基于3d卷积神经网络的肺部结节自动检测方法
CN110047082A (zh) 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及***
CN110070540A (zh) 图像生成方法、装置、计算机设备及存储介质
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能***
CN107767362A (zh) 一种基于深度学习的肺癌早筛装置
CN108932720A (zh) 一种磁共振图像的颅内斑块和颈动脉斑块智能分割方法
CN116579982A (zh) 一种肺炎ct图像分割方法、装置及设备
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN1681438A (zh) 血流动态分析设备及方法和图像诊断设备
Li et al. Multi-stage attention-unet for wireless capsule endoscopy image bleeding area segmentation
CN113935976A (zh) 一种增强ct图像的脏器内血管自动分割方法及***
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN117934499A (zh) 一种基于改进UNet++的肾肿瘤超声图像分割方法
CN117523204A (zh) 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质
CN112950555A (zh) 一种基于深度学习的2型糖尿病心血管病变图像分类方法
CN116883660A (zh) 基于类不平衡与多级降采样特征融合的蜂窝肺分割方法
Wang et al. Triplanar convolutional neural network for automatic liver and tumor image segmentation
Tan et al. Multi-Level Medical Image Segmentation Network Based on Multi-Scale and Context Information Fusion Strategy
CN115527670A (zh) 多模态融合驱动的职业性尘肺病智能筛查方法
KR20230092947A (ko) 의료용 이미지 내에서 적어도 하나의 관상 구조체를 세그멘트화하고 식별하기 위한 방법 및 시스템
CN113850794A (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426