CN111815569B - 基于深度学习的图像分割方法、装置、设备和存储介质 - Google Patents

基于深度学习的图像分割方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111815569B
CN111815569B CN202010544386.8A CN202010544386A CN111815569B CN 111815569 B CN111815569 B CN 111815569B CN 202010544386 A CN202010544386 A CN 202010544386A CN 111815569 B CN111815569 B CN 111815569B
Authority
CN
China
Prior art keywords
segmentation
image
image data
model
image segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010544386.8A
Other languages
English (en)
Other versions
CN111815569A (zh
Inventor
曹桂平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202010544386.8A priority Critical patent/CN111815569B/zh
Publication of CN111815569A publication Critical patent/CN111815569A/zh
Application granted granted Critical
Publication of CN111815569B publication Critical patent/CN111815569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明实施例公开了一种基于深度学习的图像分割方法、装置、终端设备和存储介质。基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集,所述脏器图像数据通过对脏器扫描得到;生成初始图像分割模型,将所述训练集输入所述初始图像分割模型进行模型训练,以获得用于图像结构分割的图像分割模型,所述初始图像分割模型在U‑Net框架的中心层添加与所述U‑Net框架的解码器分支并行的正则约束分支得到,所述正则约束分支用于对所述U‑Net框架的编码器分支进行正则约束;将待分割的脏器图像数据输入到所述图像分割模型,以对所述待分割的脏器图像数据进行分割标记。通过对U‑Net网络中的编码器权重进行额外的约束,可以提取到图像数据中更加鲁棒的特征。

Description

基于深度学习的图像分割方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及基于深度学习的图像分割方法、装置、终端设备和存储介质。
背景技术
近年来,通过无创的成像技术能够便捷获取脑部影像数据,并经影像学分析,可对大脑的解剖结构和内部病变进行定量分析,并作为疾病诊断和治疗的有效依据。核磁共振成像(Magnetic Resonance Imaging,MRI)技术是进行脑部影像分析的有效技术手段。脑部核磁共振图像各解剖结构(例如:灰质、白质、脑脊液等)的自动分割是脑部各组织区域进行定量分析的基础,同时也是病灶分析、三维可视化、手术导航的关键基础步骤。因此,研究精确、快速、高效的脑结构自动分割方法意义重大。
脑部的核磁共振图像能够显示大脑内部复杂的解剖结构。由于图像存在一定的边界模糊、低对比度、低空间分辨率、部分容积效应,以及各组织结构形态差异巨大等问题,使得脑MRI图像的结构分割难度大幅增加。
传统的脑结构分割方法主要以手动分割和半自动分割方法为主。手动分割方法费时耗力、过程枯燥、成本昂贵,分割结果严重受到个人经验的影响,且分割结果很难复现。半自动分割方法主要包括:基于灰度的方法(阈值方法、区域生长、模糊聚类等)、基于概率图谱的方法、基于主动轮廓的方法(测地线方法和水平集方法等),这些方法仍然依赖操作者的先验交互操作,分割精度和效率均难达到实际应用水平。
目前,在医学图像分割领域,基于深度学习的图像分割方法发展迅速。与传统方法相比,基于深度学习的图像分割方法在分割精度和全自动分割方面极具优势。
但是发明人在基于深度学习的图像分割方法进行脑部核磁共振图像的分割时发现,现有基于深度学习的图像分割方法因为神经网络结构的设计原因,在发生输入信息的有限摄动时,输出结果的准确性会降低,整个分割***的鲁棒性较差。并且,该现象较为普遍,除脑部MRI图像分割外,在其他脏器和模态的数据分割中,同样存在鲁棒性不足问题。
发明内容
本发明提供了一种基于深度学习的图像分割方法、装置、终端设备和存储介质,以解决现有技术在进行图像中区域划分明显的数据分割时鲁棒性不足的技术问题。
第一方面,本发明实施例提供了一种基于深度学习的图像分割方法,包括:
基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集,所述脏器图像数据通过对脏器扫描得到;
生成初始图像分割模型,将所述训练集输入所述初始图像分割模型进行模型训练,以获得用于图像结构分割的图像分割模型,所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到,所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束;
将待分割的脏器图像数据输入到所述图像分割模型,以对所述待分割的脏器图像数据进行分割标记。
第二方面,本发明实施例还提供了一种基于深度学习的图像分割装置,包括:
训练集生成单元,用于基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集,所述脏器图像数据通过对脏器扫描得到;
模型训练单元,用于生成初始图像分割模型,将所述训练集输入所述初始图像分割模型进行模型训练,以获得用于图像结构分割的图像分割模型,所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到,所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束;
分割标记单元,用于将待分割的脏器图像数据输入到所述图像分割模型,以对所述待分割的脏器图像数据进行分割标记。
第三方面,本发明实施例还提供了一种终端设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的基于深度学习的图像分割方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所述的基于深度学习的图像分割方法。
上述基于深度学习的图像分割方法、装置、终端设备和存储介质,基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集,所述脏器图像数据通过对脏器扫描得到;生成初始图像分割模型,将所述训练集输入所述初始图像分割模型进行模型训练,以获得用于图像结构分割的图像分割模型,所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到,所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束;将待分割的脏器图像数据输入到所述图像分割模型,以对所述待分割的脏器图像数据进行分割标记。通过在U-Net框架的中心层添加与解码器分支并行的正则约束分支,正则约束分支与U-Net框架的编码器结合为变分自编码器,整体模型中变分自编码器与U-Net框架共享编码器的权重,在变分自编码器的损失函数的作用下,能够对U-Net网络中的编码器权重进行额外的约束,从而使得整体模型可以提取到图像数据中更加鲁棒的特征。
附图说明
图1为本发明实施例一提供的一种基于深度学习的图像分割方法的流程图;
图2为脑部MRI图像数据的示意图;
图3为脑部MRI图像数据的人工分割标记的示意图;
图4为本方案图像分割模型的结构示意图;
图5为本方案中心设置的多尺度结构的示意图;
图6为基于本方案对MRBrainS18数据集中的脑部MRI图像数据进行分割的结果;
图7为基于本方案对IBSR中的脑部MRI图像数据进行分割的结果;
图8为本发明实施例二提供的一种基于深度学习的图像分割装置的结构示意图;
图9为本发明实施例三提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
需要注意的是,由于篇幅所限,本申请说明书没有穷举所有可选的实施方式,本领域技术人员在阅读本申请说明书后,应该能够想到,只要技术特征不互相矛盾,那么技术特征的任意组合均可以构成可选的实施方式。
例如,在实施例一的一个实施方式中,记载了一个技术特征:对脏器图像数据进行预处理主要是进行灰度密度和/或灰度范围相关的预处理,以获得灰度密度和/或灰度范围一致的脏器图像数据,在实施例一的另一个实施方式中,记载了另一个技术特征:针对脑部MRI图像数据的内容特征,所述编码器的下采样的次数为3次。由于以上两个技术特征不互相矛盾,本领域技术人员在阅读本申请说明书后,应该能够想到,同时具有这两个特征的实施方式也是一种可选的实施方式,即对脏器图像进行灰度密度和灰度范围相关的预处理之后,在训练过程中进行3次下采样。
另外需要注意的是,本方案的实施形态也不是实施例一中记载的所有技术特征的集合,其中某些技术特征的描述是为了方案的优化实现,实施例一中记载的若干技术特征的组合如果可以实现本方案的设计初衷,其即可作为一种未独立的实施方式,当然也可以作为一种具体的产品形态。
下面对各实施例进行详细说明。
实施例一
图1为本发明实施例一提供的一种基于深度学习的图像分割方法的流程图。实施例中提供的基于深度学习的图像分割方法可以由用于图像分割的各种操作设备执行,该操作设备可以通过软件和/或硬件的方式实现,该操作设备可以是两个或多个物理实体构成,也可以是一个物理实体构成
具体的,参考图1,该基于深度学习的图像分割方法具体包括:
步骤S101:基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集,所述脏器图像数据通过对脏器扫描得到。
本方案中所适用的脏器图像数据主要是同类图像中组织结构对应的区域分布相似的图像,例如眼底图像、脑部MRI图像数据,在本方案中,以脑部MRI图像数据为示例进行说明。通过核磁共振扫描仪对多人的脑部进行扫描得到脑部MRI图像数据,在具体生成脑部MRI图像数据时,可以有多种数据模式要求,例如T1加权成像(如图2所示)、T1lR加权成像、T2加权成像等。对于不同数据模式要求下的成像,在进行图像预处理时,需要进行额外的配准操作,在方案中,为提高分割效率和降低分割成本,仅使用T1加权成像数据。当然,在数据分割处理能力足够的情况下,也可以采用多数据模式的综合处理。
在仅使用T1加权成像数据不需要配准操作的情况下,对脏器图像数据进行预处理主要是进行灰度密度和/或灰度范围相关的预处理,以获得灰度密度和/或灰度范围一致的脏器图像数据。脑部MRI图像数据在成像过程中,受线圈等因素影响,最终采集的脑部MRI图像数据会呈现无规律的、缓慢的灰度密度变化,从而造成对数字图像分割和量化分析的干扰。在本方案中通过对脑部MRI图像数据进行偏差场校正得到灰度密度一致的脑部MRI图像数据,具体可以采用N4 Bias Field Correction方法进行偏差场校正。此外,由于核磁共振成像获得的每个图像切片的图像灰度范围不一致,需要进行灰度标准化操作,具体可以通过如下方法将图像灰度分布归一化至(0,1):
I=(I-Imin)/(Imax-Imin)
其中,I表示当前序列图像的灰度矩阵,Imin,Imax分别表示当前图像灰度矩阵的最小值和最大值。
在预处理得到的脏器图像数据的基础上,选择多个预处理后的脏器图像数据作为样本图像数据接收分割标记操作得到训练集。具体的标记操作由人工操作完成,标记内容包括分割的目标区域,如果是脑部MRI图像数据,目标区域如脑灰质(Cortical GrayMatter,GM)、脑白质(White Matter)、脑脊液(Cerebrospinal Fluid),通过对分割图像的人工标记,能够获得对应于该脏器图像数据的金标准图像(Ground Truth)。如图3所示即为金标准图像,其中,10为脑脊液区域,11为脑灰质区域,12为脑白质区域,脑部结构区域之外的黑色区域为背景区域。
步骤S102:生成初始图像分割模型,将所述训练集输入所述初始图像分割模型进行模型训练,以获得用于图像结构分割的图像分割模型,所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到,所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束。
如图4所示,本方案中的图像分割模型的主体为U-Net框架,即图4中左边两个分支组成的U型网络,U型网络中的左侧分支为编码器分支,右侧分支为解码器分支,最下方是U型网络的中心层。本方案中,整体神经网络的架构在U型网络的基础上,进一步在U型网络的中心层添加正则约束分支(图4中最右侧分支),正则约束分支与解码器分支并行,正则约束分支用于对编码器分支进行正则约束。
在本方案构建的图像分割模型中,可以视为U型网络与变分自编码器的综合实现。其中编码器分支的网络参数为U型网络与变分自编码器所共享,即编码器分支与解码器分支组成完整的U型网络,编码器分支受解码器分支的损失函数的约束,同时,编码器分支与正则约束分支组成完整的变分自编码器,编码器分支受变分自编码器的重建误差的约束。由此,编码器分支受到两个方面的约束,其中正则约束分支通过重建误差,能够捕获图像的特征。并且,正则约束分支仅在图像分割模型的训练过程中起作用,在模型训练完成后对脏器图像数据进行分割时,正则约束分支不参与分割标记的相关数据处理过程。正则约束分支相当于在图像分割模型中加入了图像生成对抗的思想,促使编码器分支提取更有效的信息。
整体而言,由于U型网络和变分自编码器共享编码器分支的权重,在正则约束分支的损失函数的作用下,能够对编码器分支的权重进行额外的约束,从而使得编码器分支提取更加鲁棒的特征,进而使得整体模型在训练完成之后对脏器图像数据进行分割时具备更好的鲁棒性。
在上述图像分割模型整体架构的基础上,步骤S102中图像分割模型的训练过程可以进一步通过步骤S1021-S1026实现。
步骤S1021:生成初始图像分割模型。
在初始化图像分割模型时,基于前文所述的整体模型架构,适应于不同类型的脏器图像数据,可以进一步初始化图像分割模型的参数细节。
对于正则约束分支的损失函数,可以通过后验概率分布qφ(z|x)与似然函数pθ(z|x)之间的KL散度进行计算,其中x为输入图像,z为所述正则约束分支和所述编码器分支组成的变分自编码器中的隐变量,φ,θ分别对应编码器分支和解码器分支中网络待学习的参数。
具体来说,损失函数LVAE(θ,φ)通过以下公式计算:
其中,表示重建均方误差,DKL(qφ(z|x)||pθ(z))表示先验分布pθ(z)与后验概率分布qφ(z|x)的反向KL散度,在模型中,希望两个分布尽可能接近,所以用该约束。由于变分自编码器和U型网络共享编码器分支的权重,在变分自编码器的损失函数(即正则约束分支的损失函数)的作用下,能够对编码器分支的权重进行额外的约束,使得编码器分支提取更加鲁棒的特征,也即提高整体模型的鲁棒性。
此外,所述中心层与所述正则约束分支之间添加有高斯噪声。正则约束分支在隐藏层加入高斯噪声,使得模型的抗干扰性能提升,提高泛化性能,对样本不均衡问题起到一定缓解作用。隐藏层是指网络的低维特征表达,即网络的中心部分,如图4所示,高斯噪声具体添加于网络中心与正则约束分支之间,从数学表达而言,高斯噪声通过图4中的N(μ,σ2)(即正态分布)约束来实现。
在具体的实现过程中,所述解码器的损失函数可以为二值交叉熵损失。即:
式中,y表示Ground Truth,pi表示逻辑层的输出值。
必要时,还可以在中心层设置多尺度结构。多尺度结构即空洞卷积模块(AtrousConv Module),其结构如图5所示。空洞卷积能够增加所提取特征的感受野,提升算法对不同尺度下物体的分割性能。本方案中,通过不同空洞卷积步长(r=1,r=2,r=5,r=7)的设置,可以获取不同尺度下的物体特征。
中心层还可以同时包括Droupout操作,以防止过拟合,增加模型的泛化性能。
针对脑部MRI图像数据的内容特征,所述编码器分支的每个卷积层的神经元的数量相同。与大多数U型网络不同,本方案增加了初始层的神经元数量,减少了深层神经元的数量。同时,考虑到深层神经元在内存占用、计算量等方面相对较小,故在网络的编码器分支设置相同的神经元数量。在对脑部MRI图像数据进行分析时发现,与低分辨率图像相比,高分辨率图像包含更加丰富的图像细节信息。与此类似,在特征图中,高分辨率特征图包含更加丰富和复杂的信息,需通过更多的神经元来学习这些特征;在低分辨率特征图中,其包含较少信息,可由较少的神经元来学习其中的有效特征。
另外,针对脑部MRI图像数据的内容特征,所述编码器的下采样的次数为3次。深度神经网络随着网络层的加深,网络的参数、训练难度、训练成本等会大幅增加。在脑结构分割任务中,虽然人与人之间的大脑结构存在较大差异,但总体结构特征相对一致,浅层网络已经可以学习到这些显著特征。与深层网络相比,浅层网络梯度回传更加有效,有助于分割精度的提升。当然,针对其他类型的脏器图像数据,可以对图像特征进行具体分析之后设置更合适的下采样次数。
本方案在网络层深度、神经元数量方面作的特殊处理,通过以上两个策略,能够将网络参数减小为传统U型网络的20%,减小计算量和算法运行时间,提升分割精度和速度,对实际应用具有重大意义。
步骤S1022:将所述训练集输入所述初始图像分割模型进行模型训练,得到过渡图像分割模型。
通常来说,在初始图像分割模型的基础上需要多次训练才能完成最终图像分割模型的生成。本方案中将每次训练之后得到的图像分割模型定义为过渡分割模型。也就是说,本方案中对初始图像分割模型和过渡图像分割模型的训练过程相同,区别主要在于训练集的更新变化,两个定义只是为方案表述清楚对不同阶段做的名称上的区分。
步骤S1023:将未分割标记的脏器图像数据输入所述过渡图像分割模型进行分割标记,对分割标记结果进行修正确定。
在实际的模型训练过程中,基于样本图像数据构造的训练集中的样本数据可能不会太多,为减少人工操作,在本方案中,将未分割标记的脏器图像数据输入过渡图像分割模型进行分割标记,既是对过渡图像分割模型的测试,也是对训练集中样本的增加。具体来说,对分割标记结果进行修正确定有两个结果,第一个结果是确定不用修正,第二个结果是确定需要修正。如果是第一个结果,则大体可以确定过渡图像分割模型通过测试,可以执行步骤S1026;如果是第二个结果,则对分割标记结果进行修正,修正后的分割标记结果可以添加到训练集进一步进行训练,即执行步骤S1024。通过这种修正分割标记结果的方案,通过人工确认和少量修正,就可以快速获得可靠的脏器图像数据的分割标记,快速增加训练集。
步骤S1024:将修正后的分割标记结果添加更新到所述训练集。
步骤S1025:根据添加更新后的训练集对所述过渡图像分割模型进行训练更新。
训练集的更新以及过渡图像分割模型的更新与前述的训练集构建以及初始图像数据分割模型的训练过程相似,在此不做重复说明。
步骤S1026:当所述分割标记结果确定准确,将当前过渡图像分割模型作为图像分割模型。
需要说明的是,步骤S1021-步骤S1026是对模型训练过程整体描述,步骤的编号不表示对执行顺序的绝对约束。各步骤具体可以根据模型训练的执行进度进行调整;例如在步骤S1023中,如果分割标记结果确定准确无需修正,可以视为当前的过渡图像分割模型的测试结果已经达到预设的性能测试标准,并将该过渡图像分割模型作为最终的图像分割模型,即在步骤S1023之后执行步骤S1026。各步骤具体还可能存在多个步骤间的循环;例如在步骤S1023-S1025,可能出现的情况是连续多次将未分割标记的脏器图像数据输入过渡图像分割模型,得到的分割标记结果均需要进行修正,则在该情况下需要循环执行步骤1023-S1025以完成每张未分割标记的脏器图像对应的分割标记、分割标记结果修正、训练集更新和过渡图像分割模型的更新。如果模型训练过程的进展顺利,基于步骤S1023中的修正确定判断操作,其中某些步骤甚至可以不用执行;例如在步骤S1022之后得到的过渡图像分割模型,经过步骤S1023中未分割标记的脏器图像数据的分割标记结果的修正确定判断无需修正,则可以直接执行步骤S1026而无需执行步骤S1024和步骤S1025。
此外,在具体执行过程中,为了提高图像分割模型的分割准确性和精度,可以进一步限定在连续若干个未分割图像数据的分割标记结果判断无需修正时才确定分割标记结果准确,并对应确认图像分割模型。
步骤S103:将待分割的脏器图像数据输入到所述图像分割模型,以对所述待分割的脏器图像数据进行分割标记。
在实际应用时,可通过将待分割的脏器图像数据输入到该图像分割模型中,并由图像分割模型自动预测,从而快速获得准确分割结果。图6和图7分别为基于本方案对MRBrainS18数据集中的脑部MRI图像数据和IBSR(Internet Brain SegmentationRepository,国际脑分割数据库)中的脑部MRI图像数据进行分割的结果。其中Image表示待分割的脏器图像数据,Ground Truth表示人工对待分割的脏器图像数据进行分割标记的结果,Predict表示图像分割模型对待分割的脏器图像数据的分割标记结果。
上述,基于深度学习的图像分割方法、装置、终端设备和存储介质,基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集,所述脏器图像数据通过对脏器扫描得到;生成初始图像分割模型,将所述训练集输入所述初始图像分割模型进行模型训练,以获得用于图像结构分割的图像分割模型,所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到,所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束;将待分割的脏器图像数据输入到所述图像分割模型,以对所述待分割的脏器图像数据进行分割标记。通过在U-Net框架的中心层添加与解码器分支并行的正则约束分支,正则约束分支与U-Net框架的编码器结合为变分自编码器,整体模型中变分自编码器与U-Net框架共享编码器的权重,在变分自编码器的损失函数的作用下,能够对U-Net网络中的编码器权重进行额外的约束,从而使得整体模型可以提取到图像数据中更加鲁棒的特征。
实施例二
图8为本发明实施例二提供的一种基于深度学习的图像分割装置的结构示意图。参考图8,该基于深度学习的图像分割装置包括:训练集生成单元201、模型训练单元202和分割标记单元203。
其中,训练集生成单元201,用于基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集,所述脏器图像数据通过对脏器扫描得到;模型训练单元202,用于生成初始图像分割模型,将所述训练集输入所述初始图像分割模型进行模型训练,以获得用于图像结构分割的图像分割模型,所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到,所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束;分割标记单元203,用于将待分割的脏器图像数据输入到所述图像分割模型,以对所述待分割的脏器图像数据进行分割标记。
在上述实施例的基础上,所述模型训练单元202,包括:
模型初始化模块,用于生成初始图像分割模型;
初始训练模块,用于将所述训练集输入所述初始图像分割模型进行模型训练,得到过渡图像分割模型;
中间测试模块,用于将未分割标记的脏器图像数据输入所述过渡图像分割模型进行分割标记,对分割标记结果进行修正确定;
训练集更新模块,用于将修正后的分割标记结果添加更新到所述训练集;
模型更新模块,用于根据添加更新后的训练集对所述过渡图像分割模型进行训练更新;
模型确定模块,用于当所述分割标记结果确定准确,将当前过渡图像分割模型作为图像分割模型。
在上述实施例的基础上,所述正则约束分支的损失函数通过后验概率分布qφ(z|x)与似然函数pθ(z|x)之间的KL散度进行计算,其中x为输入图像,z为所述正则约束分支和所述编码器分支组成的变分自编码器中的隐变量,φ,θ分别对应编码器分支和解码器分支中网络待学习的参数。
在上述实施例的基础上,所述损失函数LVAE(θ,φ)通过以下公式计算:
LVAE(θ,φ)=-Εz~qφ(z|x)logpθ(x|z)+DKL(qφ(z|x)||pθ(z))
其中,表示重建均方误差,DKL(qφ(z|x)||pθ(z))表示先验分布pθ(z)与后验概率分布qφ(z|x)的反向KL散度。
在上述实施例的基础上,所述中心层与所述正则约束分支之间添加有高斯噪声。
在上述实施例的基础上,所述解码器的损失函数为二值交叉熵损失。
在上述实施例的基础上,所述脏器图像数据为脑部MRI图像数据;
对应的,所述训练集生成单元201,包括:
图像预处理模块,用于对脏器图像数据进行预处理,以获得灰度密度和/或灰度范围一致的脏器图像数据;
分割标记模块,用于选择多个预处理后的脏器图像数据作为样本图像数据接收分割标记操作得到训练集。
在上述实施例的基础上,所述灰度密度通过偏差场校正进行预处理;所述灰度范围通过灰度标准化进行预处理。
在上述实施例的基础上,所述中心层包括多尺度结构。
在上述实施例的基础上,所述中心层包括Droupout操作。
在上述实施例的基础上,所述编码器的每个卷积层的神经元的数量相同。
在上述实施例的基础上,所述编码器的下采样的次数为3次。
本发明实施例提供的基于深度学习的图像分割装置包含在活体检测设备中,且可用于执行上述实施例一中提供的任一基于深度学习的图像分割方法,具备相应的功能和有益效果。
实施例三
图9为本发明实施例三提供的一种终端设备的结构示意图,该终端设备是前文所述基于深度学习的图像分割设备的一种具体的硬件呈现方案。如图9所示,该终端设备包括处理器310、存储器320、输入装置330、输出装置340以及通信装置350;终端设备中处理器310的数量可以是一个或多个,图9中以一个处理器310为例;终端设备中的处理器310、存储器320、输入装置330、输出装置340以及通信装置350可以通过总线或其他方式连接,图9中以通过总线连接为例。
存储器320作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的基于深度学习的图像分割方法对应的程序指令/模块(例如,基于深度学习的图像分割装置中的训练集生成单元201、模型训练单元202和分割标记单元203)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块,从而执行终端设备的各种功能应用以及数据处理,即实现上述的基于深度学习的图像分割方法。
存储器320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器320可进一步包括相对于处理器310远程设置的存储器,这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息,以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
上述终端设备包含基于深度学习的图像分割装置,可以用于执行任意基于深度学习的图像分割方法,具备相应的功能和有益效果。
实施例四
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本申请任意实施例中提供的基于深度学习的图像分割方法中的相关操作,且具备相应的功能和有益效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。
因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.基于深度学习的图像分割方法,其特征在于,包括:
基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集,所述脏器图像数据通过对脏器扫描得到;
生成初始图像分割模型,将所述训练集输入所述初始图像分割模型进行模型训练,以获得用于图像结构分割的图像分割模型,所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到,所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束;
将待分割的脏器图像数据输入到所述用于图像结构分割的图像分割模型,以对所述待分割的脏器图像数据进行分割标记。
2.根据权利要求1所述的方法,其特征在于,所述生成初始图像分割模型,将所述训练集输入所述初始图像分割模型进行模型训练,以获得用于图像结构分割的图像分割模型,包括:
生成初始图像分割模型;
将所述训练集输入所述初始图像分割模型进行模型训练,得到过渡图像分割模型;
将未分割标记的脏器图像数据输入所述过渡图像分割模型进行分割标记,对分割标记结果进行修正确定;
将修正后的分割标记结果添加更新到所述训练集;
根据添加更新后的训练集对所述过渡图像分割模型进行训练更新;
当所述分割标记结果确定准确,将当前过渡图像分割模型作为图像分割模型。
3.根据权利要求1所述的方法,其特征在于,所述正则约束分支的损失函数通过后验概率分布qφ(z|x)与似然函数pθ(z|x)之间的KL散度进行计算,其中x为输入图像,z为所述正则约束分支和所述编码器分支组成的变分自编码器中的隐变量,z服从标准正态分布,φ,θ分别对应编码器分支和解码器分支中网络待学习的参数。
4.根据权利要求3所述的方法,其特征在于,损失函数LVAE(θ,φ)通过以下公式计算:
其中,表示重建均方误差,DKL(qφ(z|x)||pθ(z))表示先验分布pθ(z)与后验概率分布qφ(z|x)的反向KL散度。
5.根据权利要求1所述的方法,其特征在于,所述解码器的损失函数为二值交叉熵损失。
6.根据权利要求1所述的方法,其特征在于,所述脏器图像数据为脑部MRI图像数据;
对应的,所述基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集,包括:
对脏器图像数据进行预处理,以获得灰度密度和/或灰度范围一致的脏器图像数据;
选择多个预处理后的脏器图像数据作为样本图像数据接收分割标记操作得到训练集。
7.根据权利要求6所述的方法,其特征在于,所述灰度密度通过偏差场校正进行预处理;所述灰度范围通过灰度标准化进行预处理。
8.基于深度学习的图像分割装置,其特征在于,包括:
训练集生成单元,用于基于对脏器图像数据中的样本图像数据的分割标记操作得到训练集,所述脏器图像数据通过对脏器扫描得到;
模型训练单元,用于生成初始图像分割模型,将所述训练集输入所述初始图像分割模型进行模型训练,以获得用于图像结构分割的图像分割模型,所述初始图像分割模型在U-Net框架的中心层添加与所述U-Net框架的解码器分支并行的正则约束分支得到,所述正则约束分支用于对所述U-Net框架的编码器分支进行正则约束;
分割标记单元,用于将待分割的脏器图像数据输入到所述用于图像结构分割的图像分割模型,以对所述待分割的脏器图像数据进行分割标记。
9.一种终端设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7任一所述的基于深度学习的图像分割方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一所述的基于深度学习的图像分割方法。
CN202010544386.8A 2020-06-15 2020-06-15 基于深度学习的图像分割方法、装置、设备和存储介质 Active CN111815569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010544386.8A CN111815569B (zh) 2020-06-15 2020-06-15 基于深度学习的图像分割方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010544386.8A CN111815569B (zh) 2020-06-15 2020-06-15 基于深度学习的图像分割方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111815569A CN111815569A (zh) 2020-10-23
CN111815569B true CN111815569B (zh) 2024-03-29

Family

ID=72846111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010544386.8A Active CN111815569B (zh) 2020-06-15 2020-06-15 基于深度学习的图像分割方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111815569B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613517B (zh) * 2020-12-17 2022-02-18 深圳大学 内窥镜仪器分割方法、装置、计算机设备及存储介质
CN113192025A (zh) * 2021-04-28 2021-07-30 珠海横乐医学科技有限公司 放射粒子内放疗介入手术机器人的多脏器分割方法及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440513A (zh) * 2013-09-17 2013-12-11 西安电子科技大学 基于稀疏非负张量分解的大脑特定视觉认知状态判定方法
CN107610121A (zh) * 2017-09-28 2018-01-19 河北大学 一种肝脏统计形状模型初始位姿设定方法
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及***
CN109919954A (zh) * 2019-03-08 2019-06-21 广州视源电子科技股份有限公司 目标对象的识别方法和装置
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN110517235A (zh) * 2019-08-19 2019-11-29 苏州大学 一种基于GCS-Net进行OCT图像脉络膜自动分割方法
CN110674824A (zh) * 2019-09-26 2020-01-10 五邑大学 基于R2U-Net的手指静脉分割方法、装置和存储介质
CN111210404A (zh) * 2019-12-24 2020-05-29 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 晶状体分割难度分类方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452109B2 (en) * 2010-01-11 2013-05-28 Tandent Vision Science, Inc. Image segregation system with method for handling textures
US9142030B2 (en) * 2013-03-13 2015-09-22 Emory University Systems, methods and computer readable storage media storing instructions for automatically segmenting images of a region of interest
US20160140438A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification
GB2538218B (en) * 2015-02-11 2021-06-30 Leo Greenfield Daniel System and method for compressing data using asymmetric numeral systems with probability distributions
US10896508B2 (en) * 2018-02-07 2021-01-19 International Business Machines Corporation System for segmentation of anatomical structures in cardiac CTA using fully convolutional neural networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440513A (zh) * 2013-09-17 2013-12-11 西安电子科技大学 基于稀疏非负张量分解的大脑特定视觉认知状态判定方法
CN107610121A (zh) * 2017-09-28 2018-01-19 河北大学 一种肝脏统计形状模型初始位姿设定方法
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及***
CN109919954A (zh) * 2019-03-08 2019-06-21 广州视源电子科技股份有限公司 目标对象的识别方法和装置
CN109949309A (zh) * 2019-03-18 2019-06-28 安徽紫薇帝星数字科技有限公司 一种基于深度学习的肝脏ct图像分割方法
CN110517235A (zh) * 2019-08-19 2019-11-29 苏州大学 一种基于GCS-Net进行OCT图像脉络膜自动分割方法
CN110674824A (zh) * 2019-09-26 2020-01-10 五邑大学 基于R2U-Net的手指静脉分割方法、装置和存储介质
CN111210404A (zh) * 2019-12-24 2020-05-29 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 晶状体分割难度分类方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的脑部核磁图像分割算法;程俊龙等;轻工科技(08);全文 *

Also Published As

Publication number Publication date
CN111815569A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN112017198B (zh) 基于自注意力机制多尺度特征的右心室分割方法及装置
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN110853009B (zh) 基于机器学习的视网膜病理图像分析***
CN111369525B (zh) 图像分析方法、设备和存储介质
CN116097302A (zh) 用于病灶检测的利用联合训练的连接式机器学习模型
CN111815569B (zh) 基于深度学习的图像分割方法、装置、设备和存储介质
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN112862805B (zh) 听神经瘤图像自动化分割方法及***
CN112750137B (zh) 基于深度学习的肝脏肿瘤分割方法及***
CN112037146B (zh) 医学图像伪影自动校正方法、装置和计算机设备
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
Benou et al. De-noising of contrast-enhanced MRI sequences by an ensemble of expert deep neural networks
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
Meissen et al. Unsupervised anomaly localization with structural feature-autoencoders
CN116758093B (zh) 一种图像分割方法、模型训练方法、装置、设备及介质
CN116228753B (zh) 肿瘤预后评估方法、装置、计算机设备和存储介质
CN117392082A (zh) 基于全尺度跳跃连接的肝脏ct图像分割方法及***
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
Çetingül et al. Estimation of local orientations in fibrous structures with applications to the Purkinje system
CN115578400A (zh) 图像处理方法、图像分割网络的训练方法及装置
Wang et al. Optimization algorithm of CT image edge segmentation using improved convolution neural network
CN113421270B (zh) 基于单中心标定数据实现医学图像域自适应分割的方法、***、装置、处理器及其存储介质
CN116013475B (zh) 多模态医学图像的勾画方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant