CN111899244B - 图像分割、网络模型的训练方法及装置，及电子设备 - Google Patents

Abstract

本申请公开了一种图像分割方法及装置，网络模型的训练方法及装置，及电子设备。该图像分割方法包括：根据包括背景、动脉和静脉的待分割图像，获取所述动脉和所述背景的第一分割结果；根据所述待分割图像，获取所述静脉和所述背景的第二分割结果；根据所述第一分割结果和所述第二分割结果，获取所述背景、所述动脉和所述静脉的分割结果，能够提高动脉与静脉的分割的准确性和分割的效率。

Description

图像分割、网络模型的训练方法及装置，及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像分割方法及装置，网络模型的训练方法及装置，及电子设备。

背景技术

图像分割在影像学诊断中大有用处。例如，将肺血管分为动脉/静脉可能有助于医生准确诊断可能以特定方式影响动脉或静脉树的肺部疾病。例如，最近的研究表明，动脉/静脉的分类可以更好地评估肺栓塞，而动脉树的变化与慢性血栓栓塞性肺动脉高压的发展相关。此外，肺实质内动脉的改变与右心室功能障碍有关。为了检测两棵血管树的变化，医生手动分析患者的胸部CT图像以寻找异常。这个过程是耗时的，难以标准化，因此不适合大型临床研究或在现实世界的临床决策。因此，在CT图像中实现动静脉的自动分离成为人们关注的热点，它可以帮助医生准确诊断病变。

发明内容

有鉴于此，本申请的实施例致力于提供一种图像分割方法及装置，网络模型的训练方法及装置，及电子设备，能够提高动脉与静脉的分割的准确性和分割的效率。

根据本申请实施例的第一方面，提供了一种图像分割方法，包括：根据包括背景、动脉和静脉的待分割图像，获取所述动脉和所述背景的第一分割结果；根据所述待分割图像，获取所述静脉和所述背景的第二分割结果；根据所述第一分割结果和所述第二分割结果，获取所述背景、所述动脉和所述静脉的分割结果。

根据本申请实施例的第二方面，提供了一种网络模型的训练方法，包括：确定样本图像，所述样本图像包括背景、动脉和静脉的标签；基于所述样本图像训练具有分支结构的神经网络，以生成用于分割所述背景、所述动脉和所述静脉的网络模型，其中，所述具有分支结构的神经网络包括用于特征提取的主干网络以及位于所述主干网络后的并列的多个分支网络，所述多个分支网络包括第一分支网络和第二分支网络，所述第一分支网络用于输出所述动脉和所述背景的第一分割结果，所述第二分支网络用于输出所述静脉和所述背景的第二分割结果。

根据本申请实施例的第三方面，提供了一种图像分割装置，包括：第一分割模块，配置为根据包括背景、动脉和静脉的待分割图像，获取所述动脉和所述背景的第一分割结果；第二分割模块，配置为根据所述待分割图像，获取所述静脉和所述背景的第二分割结果；获取模块，配置为根据所述第一分割结果和所述第二分割结果，获取所述背景、所述动脉和所述静脉的分割结果。

根据本申请实施例的第四方面，提供了一种网络模型的训练装置，包括：确定模块，配置为确定样本图像，所述样本图像包括背景、动脉和静脉的标签；训练模块，配置为基于所述样本图像训练具有分支结构的神经网络，以生成用于分割所述背景、所述动脉和所述静脉的网络模型，其中，所述具有分支结构的神经网络包括用于特征提取的主干网络以及位于所述主干网络后的并列的多个分支网络，所述多个分支网络包括第一分支网络和第二分支网络，所述第一分支网络用于输出所述动脉和所述背景的第一分割结果，所述第二分支网络用于输出所述静脉和所述背景的第二分割结果。

根据本申请实施例的第五方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器用于执行上述任一实施例所述的图像分割方法，或者用于执行上述任一实施例所述的网络模型的训练方法。

根据本申请实施例的第六方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的图像分割方法，或者用于执行上述任一实施例所述的网络模型的训练方法。

本申请的实施例所提供的一种图像分割方法，通过将动脉与静脉的分割任务分离开来，以分别获得动脉和背景的第一分割结果和静脉和背景的第二分割结果，可以避免直接对动脉、静脉和背景进行分割时动脉与静脉之间产生相互竞争，从而能够提高动脉与静脉的分割的准确性和分割的效率。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1a所示为本申请实施例所提供的一种实施环境的示意图。

图1b所示为本申请一个实施例提供的图像分割***的框图。

图2所示为本申请一个实施例提供的图像分割方法的流程示意图。

图3所示为本申请另一个实施例提供的图像分割方法的流程示意图。

图4所示为本申请另一个实施例提供的图像分割方法的流程示意图。

图5所示为本申请另一个实施例提供的图像分割方法的流程示意图。

图6a至6c所示为本申请一个实施例提供的肺部医学图像的示意图。

图7所示为本申请一个实施例提供的网络模型的训练方法的流程示意图。

图8所示为本申请一个实施例提供的网络模型的结构框图。

图9所示为本申请另一个实施例提供的网络模型的结构框图。

图10所示为本申请另一个实施例提供的网络模型的训练方法的流程示意图。

图11所示为本申请另一个实施例提供的网络模型的训练方法的流程示意图。

图12所示为本申请一个实施例提供的标记的样本图像的示意图。

图13所示为本申请一个实施例提供的样本图像的示意图。

图14所示为本申请一个实施例提供的图像分割装置的框图。

图15所示为本申请一个实施例提供的网络模型的训练装置的框图。

图16所示为本申请一个实施例提供的电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

申请概述

增强CT是在CT平扫基础上，对发现的可疑部位，在静脉注射造影剂后有重点的进行检查，从而提高诊断准确率的一种手段。许多病变在CT平扫时无明显特征。如：小的肝囊肿、肝血管瘤和小肝癌等。注射造影剂后，可以增加局部的对比度，以进一步确诊。由于肺血管增强CT中，肺动静脉中充盈造影剂，导致肺动静脉的HU值高于肺实质，体积远大于灰度相近的气管壁、肺裂纹和结节等，即使过分割对简单的血管分割影响很小，使血管分割难度远小于气管，因此现有方法大多针对的增强CT数据。

针对增强CT数据，现有的方案可以分为传统方法与深度学习方案。传统方案大多可以划分为如下五类：基于阈值的肺血管分割方案，基于空间滤波的肺血管分割方案，基于三维区域生长的肺血管分割方案，基于形态学的肺血管分割方案以及基于曲线演化的肺血管分割方案。这些传统方案需要人工参与选择参数，且包含有大量的预处理与后处理步骤，不仅费时费力且鲁棒性差。现有深度学习方案常见的技术路线为利用肺分割，血管增强以及血管中线提取技术，粗略提取CT数据中的肺血管中线，训练深度学习模型判断中线附近像素是否为肺血管，最后利用图像分割等技术后处理深度学习分割结果。这一技术路线中引入了大量的传统方案，不仅增加了肺血管分割的时间，同时，传统方法鲁邦性差，将其作为深度学习技术的预处理步骤，意味着深度学习模型的输入数据差异性较大，模型的收敛难度提高。同时，该技术方案着眼于血管中线附近像素的分类，模型的感受野有限，分割精度一般。

针对非增强CT数据，由于深度学习技术需要大量的标注数据，而非增强CT数据由于肺动静脉中未充盈造影剂，所以标注难度非常大，通常需要投入大量的人力物力，得到的标注质量也不尽如人意，因此现有方案主要集中在基于增强CT数据的肺血管分割的传统方案中。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性***

图1a是本申请实施例所提供的一种实施环境的示意图。该实施环境包括CT扫描仪130、服务器120和计算机设备110。计算机设备110可以从CT扫描仪130处获取肺部医学图像，同时，计算机设备110还可以与服务器120之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。

CT扫描仪130用于对人体组织进行X线扫描，得到人体组织的CT图像。在一实施例中，通过CT扫描仪130对肺部进行扫描，可以得到肺部医学图像。

计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。比如上述计算机设备110可以为一个，或者上述计算机设备110为几十个或几百个，或者更多数量。本申请实施例对计算机设备110的数量和设备类型不加以限定。计算机设备110中可以部署有网络模型，用于对肺部医学图像的静脉和动脉进行分割。计算机设备110可以利用其上部署的网络模型将其从CT扫描仪130获取的肺部医学图像进行图像分割，从而获得肺部医学图像的动脉和背景的第一分割结果以及肺部医学图像的静脉和背景的第二分割结果，进而获得肺部医学图像的背景、动脉和静脉的分割结果。这样，通过将动脉与静脉的分割任务分离开来，可以避免直接对动脉、静脉和背景进行分割时动脉与静脉之间产生相互竞争，从而能够提高动脉与静脉的分割的准确性和分割的效率。

服务器120是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。在一些可选的实施例中，服务器120接收计算机设备110采集到的训练图像，并通过训练图像对神经网络进行训练，以得到用于对肺部医学图像的静脉和动脉进行分割的网络模型。计算机设备110可以将其从CT扫描仪130获取到的肺部医学图像发送给服务器，服务器120利用其上训练得到的网络模型进行肺部医学图像的动脉和背景的分割以及静脉和背景的分割，从而获得肺部医学图像的背景、动脉和静脉的分割结果，并将该分割结果发送给计算机设备110，以供医护人员查看。这样，通过将动脉与静脉的分割任务分离开来，可以避免直接对动脉、静脉和背景进行分割时动脉与静脉之间的分割产生相互竞争，从而能够提高动脉与静脉的分割的准确性和分割的效率。

图1b是本申请一个实施例提供的图像分割***的框图。如图1b所示，该***包括：

预处理模块11，用于对原始分割图像A进行非线性加窗处理，获得待分割图像B，该原始分割图像A包括背景、动脉和静脉；

数据增强模块12，用于对待分割图像B进行数据增强处理，获得多个待分割图像C，数据增强处理包括对待分割图像B进行对比度的调整和/或风格转移。

数据切块模块13，用于对多个待分割图像C进行切块操作，获得多个切块图像D；

网络模型14，用于对多个切块图像D进行图像分割，获得多个切块图像对应的多个背景、动脉和静脉的分割结果E；

组合操作模块15，用于对多个背景、动脉和静脉的分割结果E进行组合操作，获得原始分割图像A的背景、动脉和静脉的分割结果F。

参照图1b中带箭头实线所示的数据流向，以此方式来实现本实施例中的原始分割图像A的背景、动脉和静脉的分割结果F。

但是需要说明的是，本申请实施例所示的图像分割***仅仅是一个示例，本申请还可以采用其他的方式来实现原始分割图像A的背景、动脉和静脉的分割结果F。

示例性方法

图2是本申请一个实施例提供的图像分割方法的流程示意图。图2所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图2所示，该方法包括如下内容。

S210：根据包括背景、动脉和静脉的待分割图像，获取动脉和背景的第一分割结果。

待分割图像可以为电子计算机断层成像(ComputedTomography，CT)、核磁共振成像(Magnetic Resonance Imaging，MRI)、计算机放射成像(Computed Radiography，CR)或数字放射成像(Digital radiography，DR)等医学影像，本申请实施例对此不作具体限定。

待分割图像可以为肺部图像、脑部图像、心脏图像等待分割图像，本申请实施例对此不作具体限定。本申请实施例也并不限定待分割图像的具体形式，可以是原始医学图像，也可以是经过预处理后的医学图像，还可以是原始医学图像的一部分。

在一实施例中，可以对包括背景、动脉和静脉的待分割图像进行第一分割，以获取动脉和背景的第一分割结果，但是需要说明的是，本申请实施例并不限定第一分割的具体实施手段。

S220：根据待分割图像，获取静脉和背景的第二分割结果。

在一实施例中，可以对包括背景、动脉和静脉的待分割图像进行第二分割，以获取静脉和背景的第一分割结果，但是需要说明的是，本申请实施例并不限定第二分割的具体实施手段。

本申请实施例也并不限定第一分割和第二分割的具体实施手段是否相同，二者可以相同，也可以不同；且本申请实施例也并不限定执行第一分割和第二分割的先后顺序，可以先执行第一分割，也可以先执行第二分割，还可以同时执行第一分割和第二分割，只要可以得到各自的分割结果即可。

S230：根据第一分割结果和第二分割结果，获取背景、动脉和静脉的分割结果。

在一实施例中，可以对第一分割结果和第二分割结果进行处理，来获取背景、动脉和静脉的分割结果，但是本申请实施例并不限定如何对第一分割结果和第二分割结果进行处理，只要可以获得最后的背景、动脉和静脉的分割结果即可。

例如，可以直接将第一分割结果和第二分割结果进行简单的叠加，以得到背景、动脉和静脉的分割结果；也可以将第一分割结果和第二分割结果仅作为一个中间结果，然后根据该中间结果和其它分割结果，来获得背景、动脉和静脉的分割结果。

由此可见，通过将动脉与静脉的分割任务分离开来，即，将第一分割和第二分割分为两个独立的分割任务来处理，以分别获得动脉和背景的第一分割结果和静脉和背景的第二分割结果，这样可以避免直接对动脉、静脉和背景进行分割时，动脉与静脉之间的分割产生相互竞争，从而能够提高动脉与静脉的分割的准确性和分割的效率。

在本申请另一个实施例中，当第一分割结果和第二分割结果存在冲突时，如图3所示的方法是图2所示的方法的示例，如图3所示的方法包括如下内容。

图3所示的方法中的步骤S310和S320分别与图2所示的方法中的步骤S210和S220相同，具体细节将不在此处进行赘述，请参见图2所示的方法中的步骤S210和S220。

S330：根据第一分割结果和第二分割结果，获取静脉和动脉的第三分割结果。

当第一分割结果和第二分割结果存在冲突时，即，当待分割图像的某一位置的第一分割结果为动脉，而该待分割图像的该位置的第二分割结果为静脉，那么就可以通过静脉和动脉的第三分割结果，作为额外的判断依据，进一步优化分割结果，以确定该待分割图像的该位置是静脉还是动脉。

S340：根据第一分割结果、第二分割结果和第三分割结果，获取背景、动脉和静脉的分割结果。

可以根据第一分割结果和第二分割结果，来获取静脉和动脉的第三分割结果，从而实现静脉和动脉的单独判断。当得到第三分割结果后，可以对第一分割结果、第二分割结果和第三分割结果进行处理，来获取背景、动脉和静脉的分割结果。但是本申请实施例并不限定如何对第一分割结果、第二分割结果和第三分割结果进行处理，只要可以获得最后的背景、动脉和静脉的分割结果即可。

例如，可以直接将第一分割结果、第二分割结果和第三分割结果进行简单的叠加，以得到背景、动脉和静脉的分割结果；也可以将第一分割结果和第二分割结果进行简单的叠加，再对第一分割结果和第二分割结果存在冲突的位置用第三分割结果来替代，以获得背景、动脉和静脉的分割结果。

在本申请另一个实施例中，如图4所示，图2所示的方法还包括如下内容。

S410：将待分割图像输入网络模型，其中，网络模型包括用于特征提取的主干网络以及位于主干网络后的并列的多个分支网络，多个分支网络包括第一分支网络和第二分支网络。

为了对待分割图像进行分割，可以将待分割图像输入到用于分割背景、动脉和静脉的网络模型中进行分割。该网络模型可以包括用于特征提取的主干网络以及位于主干网络后的并列的多个分支网络，多个分支网络可以包括第一分支网络和第二分支网络。

本申请实施例对网络模型的具体类型不作限定，该网络模型可以由任意类型的神经网络构成。可选地，该网络模型可以为卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep Neural Network，DNN)或循环神经网络(Recurrent NeuralNetwork，RNN)等。该网络模型可以包括输入层、卷积层、池化层、连接层等神经网络层，本申请实施例对此不作具体限定。另外，本申请实施例对每一种神经网络层的个数也不作限定。

本申请实施例也并不限定主干网络的具体类型，该主干网络可以为resnet、resnext或densenet等，也可以为SWM分类器，或线性回归分类器等等。

S420：根据待分割图像，通过主干网络，获取待分割图像的特征图。

将该待分割图像输入到网络模型中后，还可以通过该主干网络，对待分割图像进行特征提取，以获得待分割图像的特征图。

例如，该主干网络以Unet为基本框架，Unet由编码器与解码器两部分组成，使用resnet作为编码器和解码器的基础网络。编码器负责对待分割图像进行下采样，提取待分割图像的层次特征，解码器负责利用编码器提取到的层次特征进行上采样操作，以解码得到待分割图像的特征图。

在一实施例中，如图4所示，图2所示的方法中的步骤S210包括：

S430：根据待分割图像的特征图，通过第一分支网络，获取动脉和背景的第一分割结果。

当得到了待分割图像的特征图后，可以将待分割图像的特征图输入到第一分支网络中，以获取动脉和背景的第一分割结果。

在一实施例中，如图4所示，图2所示的方法中的步骤S220包括：

S440：根据待分割图像的特征图，通过第二分支网络，获取静脉和背景的第二分割结果。

当得到了待分割图像的特征图后，还可以将待分割图像的特征图输入到第二分支网络中，以获取静脉和背景的第二分割结果。

但是需要说明的是，本申请实施例并不限定待分割图像的特征图输入到第一分支网络和第二分支网络的先后顺序，可以将待分割图像的特征图先输入到第一分支网络，也可以将待分割图像的特征图先输入到第二分支网络，还可以将待分割图像的特征图同时输入到第一分支网络和第二分支网络。

图4所示的方法中的步骤S450与图2所示的方法中的步骤S230相同，具体细节将不在此处进行赘述，请参见图2所示的方法中的步骤S230。

在本申请另一个实施例中，多个分支网络还包括第三分支网络，当第一分割结果和第二分割结果存在冲突时，如图5所示的方法是图4所示的方法的示例，如图5所示的方法还包括以下内容。

图5所示的方法中的步骤S510至S540分别与图4所示的方法中的步骤S410至S440相同，具体细节将不在此处进行赘述，请参见图4所示的方法中的步骤S410至S440。

S550：根据第一分割结果和第二分割结果，通过第三分支网络，获取静脉和动脉的第三分割结果。

当第一分割结果和第二分割结果存在冲突时，即，当待分割图像的某一位置的第一分割结果为动脉，而该待分割图像的该位置的第二分割结果为静脉，那么该网络模型的多个分支网络还包括第三分支网络，用于输出静脉和动脉的第三分割结果，作为额外的判断依据，进一步优化分割结果，以确定该待分割图像的该位置是静脉还是动脉。

在一实施例中，可以将第一分支网络输出的第一分割结果和第二分支网络输出的第二分割结果输入到第三分支网络中，重新组合为一个二分类分割任务，对静脉和动脉进行分割，以获得静脉和动脉的第三分割结果。在另一实施例中，还可以将待分割图像的特征图直接输入到第三分支网络中，重新组合为一个二分类分割任务，对静脉和动脉进行分割，以获得静脉和动脉的第三分割结果。在另一实施例中，还可以将将第一分支网络输出的第一分割结果、第二分支网络输出的第二分割结果以及待分割图像的特征图均输入到第三分支网络中，重新组合为一个二分类分割任务，对静脉和动脉进行分割，以获得静脉和动脉的第三分割结果。本申请实施例对第三分支网络输出第三分割结果的实现过程不作具体限定。

S560：根据第一分割结果、第二分割结果和第三分割结果，获取背景、动脉和静脉的分割结果。

可以根据第一分割结果和第二分割结果，来获取静脉和动脉的第三分割结果，从而实现静脉和动脉的单独判断。当得到第三分割结果后，可以对第一分割结果、第二分割结果和第三分割结果进行处理，来获取背景、动脉和静脉的分割结果。但是本申请实施例并不限定如何对第一分割结果、第二分割结果和第三分割结果进行处理，只要可以获得最后的背景、动脉和静脉的分割结果即可。

例如，可以直接将第一分割结果、第二分割结果和第三分割结果进行简单的叠加，以得到背景、动脉和静脉的分割结果；也可以将第一分割结果和第二分割结果进行简单的叠加，再对第一分割结果和第二分割结果存在冲突的位置用第三分割结果来替代，以获得背景、动脉和静脉的分割结果。

通过设计一个具有第一分支网络、第二分支网络以及第三分支网络的网络模型，可以使背景、动脉和静脉的分割任务划分为多个二分类分割任务。常规的血管分割是一个三分类任务，即，将背景、动脉和静脉一起输入到神经网络中进行三分类分割，以获得背景、动脉和静脉的分割结果。尤其是对于肺血管，由于肺血管错综复杂，在CT成像过程中经常会模糊肺动脉和肺静脉的边界，或者由于扫描层厚的存在，使得原本空间不相交的肺动脉和肺静脉呈现出交叉穿过的状态，所以这就使三分类分割任务在区分肺动脉与肺静脉的相互黏连区域处的分类变得尤为困难。因此，本申请的网络模型直接进行多个二分类分割任务，可以避免在对肺动脉和肺静脉进行分割时，肺动脉与肺静脉存在相互竞争，从而降低网络模型的收敛难度。

在本申请另一个实施例中，将所述待分割图像输入网络模型，包括：将待分割图像进行切块操作，获得多个切块图像；将多个切块图像输入网络模型，其中，获取动脉和背景的第一分割结果，包括：获取多个切块图像对应的动脉和背景的多个第一分割结果，其中，获取静脉和背景的第二分割结果，包括：获取多个切块图像对应的静脉和背景的多个第二分割结果，其中，获取静脉和动脉的第三分割结果，包括：获取多个切块图像对应的静脉和动脉的多个第三分割结果，其中，根据所述第一分割结果、第二分割结果和第三分割结果，获取背景、动脉和静脉的分割结果，包括：通过高斯平滑处理，对多个第一分割结果、多个第二分割结果和多个第三分割结果进行组合操作，以获得背景、动脉和静脉的分割结果。

在一实施例中，该网络模型可以为3D分割网络模型，也可以为2D分割网络模型，本申请实施例对此并不作具体限定，本领域技术人员可以根据实际应用需求来设计网络模型的具体类型。

例如，对于3D分割网络模型，由于其精度高，3D表现优异的原因，被广泛使用于医疗图像分割领域。但是3D分割网络模型会对计算资源消耗极大，如果直接将完整的待分割图像(即，原始医学图像)输入3D分割网络模型中，训练3D分割网络模型所需要的显存会非常大。

为了兼顾计算资源的消耗与最终精度，可以将待分割图像进行切块操作，例如待分割图像的尺寸为512*512*400，可以将其分割为多个尺寸为192*192*64的且相互重叠的切块图像，然后将其输入到网络模型中进行分割。但是需要说明的是，本申请实施例并不限定将待分割图像分割为多少个切块图像，也并不限定相邻两个切块图像之间相互重叠的尺寸为多少。

在一实施例中，当得到了多个切块图像后，再将多个切块图像输入到网络模型中进行图像分割。此时，网络模型最后输出的背景、动脉和静脉的分割结果为多个切块图像的分割结果，即，一个切块图像分别对应一个第一分割结果，一个第二分割结果和一个第三分割结果，那么多个切块图像分别对应多个第一分割结果，多个第二分割结果和多个第三分割结果，多个第一分割结果对应待分割图像的第一分割结果，多个第二分割结果对应待分割图像的第二分割结果，多个第三分割结果对应待分割图像的第三分割结果。

在一实施例中，为了获得待分割图像的背景、动脉和静脉的分割结果，可以通过高斯平滑处理，对多个第一分割结果、多个第二分割结果和多个第三分割结果进行组合操作，以获得背景、动脉和静脉的分割结果。

但是需要说明的是，本申请实施例并不限定组合操作的具体实现方式，可以先将多个第一分割结果，多个第二分割结果和多个第三分割结果分别进行组合操作，以获得待分割图像的第一分割结果，待分割图像的第二分割结果，待分割图像的第三分割结果，最后再将第一分割结果，第二分割结果，第三分割结果进行组合操作，以获得背景、动脉和静脉的分割结果。当然，还可以直接将多个第一分割结果，多个第二分割结果和多个第三分割结果一起进行组合操作，以获得背景、动脉和静脉的分割结果。

应当理解，最简单的组合操作可以是将多个切块图像直接拼接在一起，其简单快捷，但是会带来栅栏效应(即，由于网络模型在切块图像的边界附近表现不好，一致性较差，当两个相邻切块图像对应的切割结果组合在一起时，会出现明显的组合痕迹)。由于网络模型在切块图像的中心位置的分割结果更可信，表现更好，所以可以只保留切块图像靠近中心位置的分割结果，例如，切块图像的尺寸为192*192*64，但是可以只保留中心位置附近的尺寸为160*160*48区域的分割结果。为了进一步缓解栅栏效应，使得网络模型的分割结果更加平滑，可以在直接拼接的组合操作的基础上，修改切块的步长，将两个160*160*48区域的分割结果的重叠区域求均值，但该组合操作的缺点在于没有使用前面的先验假设，因此，可以采用高斯平滑处理的组合操作来克服这一缺点，从而使得分割结果的精确度更高。

可以采用高斯函数，以切块图像的中心位置作为高斯核的均值，利用高斯加权的方式来进行平滑，这样，正好契合网络模型在切块图像的中心位置的置信度高的先验知识，可以更好的平滑经过组合操作所得到的背景、动脉和静脉的分割结果。

但是需要说明的是，本申请实施例并不限定高斯平滑处理所采用的函数，可以采用高斯函数，也可以采用其他钟形函数。

在本申请另一个实施例中，所述方法还包括：对原始分割图像进行非线性加窗处理，获得待分割图像。

下面为了描述的方便，以肺部医学图像(即，肺部CT图像)为例，对本实施例的非线性加窗处理进行详细的描述。

肺部医学图像可以是满足医学数字成像和通信(Digital Imaging andCommunications in Medicine，DICOM)标准的数据。DICOM医学图像的像素值范围为[0，4095]，将其转换成像素值范围为[0，255]的图像后可经显示设备显示。

HU(Hounsfiled Unit)值，亦称CT值，反映了组织对X射线吸收程度。以水的吸收程度作为参考，即水的HU＝0，衰减系数大于水的为正直，小于水的为负值。人体组织在CT上能分辨出2000个不同的灰度，这2000个不同的灰度中包含了血液，水，软组织，骨头，空气等等多种身体组织。

肺部医学图像中包括背景区域和肺部区域，为了使得肺部区域的显示更为清晰，便于医生的诊断或者便于模型的学习训练，需要调整肺部医学图像的显示参数，例如，对肺部医学图像进行加窗处理。加窗处理中的窗宽和窗位可以是肺部医学图像本身提供的，也可以是通过其他模型基于肺部医学图像进行确定的。

加窗处理中包括两个参数：窗宽W和窗位L，其本质是只保留原始CT值中处于[L-W/2,L+W/2]范围内的值，其余数字设为两个边界值。其数学公式如下：

其中，窗宽用于表示窗口区域的像素值范围，窗位用于表示窗口区域的中心位置的像素值。在窗宽一定的情况下，窗位不同，窗口区域的具体像素值范围也不同。肺部医学图像上高于窗口区域的像素值范围的区域，均为白影显示，低于窗口区域的像素值范围的区域，均为黑影显示，即，像素点对应的人体组织CT值越大，CT图像上该像素点的颜色越趋近白色(或说该像素点越亮)，像素点对应的人体组织CT值越小，CT图像上该像素点的颜色越趋近黑色(或说该像素点越暗)。

通过增大窗宽，显示设备最终显示的图像中具有不同密度的组织结构增多，但是各个结构间的对比度低，难以观察到图像中的细节部分；通过减小窗宽，显示设备最终显示的图像中具有不同密度的组织结构减少，但是各个结构间的对比度高，可以清晰地观察图像中的细节部分。

一般情况下，对于肺血管分割所需要的纵膈窗，其中，窗位L＝40，窗宽W＝350。在这一设置下，肺部医学图像中的纵膈内的肺血管显影明显，但是肺内的肺血管则显影较少。且由于窗宽较小，鲁棒性较差，在不同的增强CT数据上表现较为稳定，但是在不同的非增强CT数据上，表现差异较大，例如，个别非增强CT数据的4级血管可以显影，但是个别非增强CT数据的3级血管可能显影不全。

为了解决这个问题，可以适当的增大窗宽，来获得肺血管分割所需要的肺窗，其中，窗位L＝-600，窗宽W＝1500。窗宽增大为1500，可以覆盖大部分的肺血管的CT值，鲁棒性较高，同时，在这一设置下，肺部医学图像中的气管部分会显影，根据解剖结构，肺动脉与气管是伴行的，因此气管显影会有助于肺动脉的分割。

但是大的窗宽带来的问题是纵膈内的血管对比度降低，这会使得纵膈内的肺动脉和肺静脉的界限不明显，增加分割的难度。为了兼顾大窗宽与纵膈内的血管对比度，可以采用非线性窗。非线性加窗处理不仅保留了大的窗宽，同时在重点区域可以保证对比度差异较大。非线性加窗处理的实现方式是多变的，本申请实施例并对此并不作具体限定，最简单的方式为两个线性窗的组合，另外还可以通过多项式或者指数方式实现非线性加窗处理。利用非线性加窗处理，不仅可以保留气管以辅助肺动脉的分割，同时可以保证纵隔内的肺血管的边界清晰，同样有助于血管的分割。

如图6a至6c所示，6a为纵膈窗，6b为肺窗，6c为非线性窗，其中，黑色箭头指向纵膈内的肺血管边界(在图6b所示的肺窗中，黑色箭头处的边界远远不如图6a所示的纵膈窗和图6c所示的非线性窗中的边界明显)，白色箭头指向气管(在图6a所示的纵膈窗中，气管几乎不显影，在图6b所示的肺窗中，气管的显影最好，在6c所示的非线性窗中，气管的显影次之，但气管依然可见)。

图7是本申请一个实施例提供的网络模型的训练方法的流程示意图。图7所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图7所示，该方法包括如下内容。

S710：确定样本图像，样本图像包括背景、动脉和静脉的标签。

本实施例中提到的样本图像与上述实施例中的待分割图像属于同一种类型的图像。该样本图像经过了人工的标记，从而得到了具有背景、动脉和静脉的标签。

但是，需要说明的是，本申请实施例并不限定样本图像的具体形式，可以是一个原始医学图像，也可以是经过预处理后的医学图像，还可以是原始医学图像的一部分。

S720：基于样本图像训练具有分支结构的神经网络，以生成用于分割背景、动脉和静脉的网络模型，其中，具有分支结构的神经网络包括用于特征提取的主干网络以及位于主干网络后的并列的多个分支网络，多个分支网络包括第一分支网络和第二分支网络，第一分支网络用于输出动脉和背景的第一分割结果，第二分支网络用于输出静脉和背景的第二分割结果。

被训练的具有分支结构的神经网络可以为任意类型的神经网络。可选地，被训练的具有分支结构的神经网络可以为卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep Neural Network，DNN)或循环神经网络(Recurrent Neural Network，RNN)等，本申请实施例对被训练的具有分支结构的神经网络的具体类型不作限定。被训练的具有分支结构的神经网络可以包括输入层、卷积层、池化层、连接层等神经网络层，本申请实施例对此不作具体限定。另外，本申请实施例对每一种神经网络层的个数也不作限定。

如图8所示，训练得到的网络模型包括用于特征提取的主干网络以及位于主干网络后的并列的多个分支网络，多个分支网络可以包括第一分支网络和第二分支网络。但是本申请实施例并不限定主干网络的具体类型，该主干网络可以为resnet、resnext或densenet等，也可以为SWM分类器，或线性回归分类器等等。

通过将动脉与静脉的分割任务分离开来，即，分为第一分支网络和第二分支网络两个独立的二分类分割任务，这样能够避免常规分割网络直接进行三分类分割时，动脉与静脉之间产生相互竞争，从而降低网络模型的收敛难度。

在本申请另一个实施例中，如图9所示，多个分支网络还包括第三分支网络，第三分支网络用于输出动脉和静脉的第三分割结果。

通过将动脉与静脉的分割任务分离开来，并且增加动脉和静脉的判断分支，即，分为第一分支网络、第二分支网络和第三分支网络三个独立的二分类分割任务，这样能够避免常规分割网络直接进行三分类分割时，动脉与静脉之间产生相互竞争，从而降低网络模型的收敛难度，同时，在第一分割结果和第二分割结果存在矛盾时，第三分割结果作为额外的判断依据，进一步优化分割结果。

在本申请另一个实施例中，如图10所示的方法是图7所示的方法的示例，如图10所示的方法包括如下内容。

S1010：根据样本图像，通过主干网络，得到样本图像的特征图。

将样本图像输入到具有分支结构的神经网络中后，首先通过该主干网络，对样本图像进行特征提取，以获得样本图像的特征图。

例如，如图9所示，该主干网络以Unet为基本框架，Unet由编码器与解码器两部分组成，使用resnet作为编码器和解码器的基础网络。编码器负责对样本图像进行下采样，提取样本图像的层次特征，解码器负责利用编码器提取到的层次特征进行上采样操作，以解码得到样本图像的特征图。

S1020：根据样本图像的特征图和第一分支网络，获取第一分割结果，并根据第一分割结果和标签，获取第一分支网络的第一损失函数值。

将该样本图像的特征图输入到第一分支网络后，可以输出第一分割结果，该第一分割结果为动脉和背景的二分类结果。利用第一损失函数，计算该第一分割结果与样本图像的标签(即，目标结果)之间的相似度损失，可以得到第一分支网络的第一损失函数值。第一损失函数值越小，代表预测出的第一分割结果越接近目标结果，预测正确的准确率越高。相反，第一损失函数值越大，代表预测正确的准确率越低。

S1030：根据样本图像的特征图和第二分支网络，获取第二分割结果，并根据第二分割结果和标签，获取第二分支网络的第二损失函数值。

将该样本图像的特征图输入到第二分支网络后，可以输出第二分割结果，该第二分割结果为静脉和背景的二分类结果。利用第二损失函数，计算该第二分割结果与样本图像的标签(即，目标结果)之间的相似度损失，可以得到第二分支网络的第二损失函数值。第二损失函数值越小，代表预测出的第二分割结果越接近目标结果，预测正确的准确率越高。相反，第二损失函数值越大，代表预测正确的准确率越低。

需要说明的是，本申请实施例并不限定步骤S1020和S1030执行的先后顺序，可以先执行步骤S1020，也可以先执行步骤S1030，还可以同时执行步骤S1020和S1030。

S1040：根据第一分割结果、第二分割结果和第三分支网络，获取第三分割结果，并根据第三分割结果和标签，获取第三分支网络的第三损失函数值。

将第一分割结果和第二分割结果输入到第三分支网络后，可以输出第三分割结果，该第三分割结果为静脉和动脉的二分类结果。利用第三损失函数，计算该第三分割结果与样本图像的标签(即，目标结果)之间的相似度损失，可以得到第三分支网络的第三损失函数值。第三损失函数值越小，代表预测出的第三分割结果越接近目标结果，预测正确的准确率越高。相反，第三损失函数值越大，代表预测正确的准确率越低。

需要说明的是，第一损失函数、第二损失函数和第三损失函数可以为相同类型或不同类型的损失函数，第一损失函数、第二损失函数和第三损失函数也可以为部分类型相同或者部分类型不同的损失函数，例如，第一损失函数、第二损失函数和第三损失函数可以均为交叉熵损失函数，或者第一损失函数和第二损失函数为交叉熵损失函数，第三损失函数为均方差损失函数等。第一损失函数、第二损失函数和第三损失函数的具体类型可以根据不同应用场景进行选择，本申请实施例对此不作具体限定。

S1050：根据第一损失函数值、第二损失函数值和第三损失函数值，更新具有分支结构的神经网络中的参数。

在一实施例中，可以将第一损失函数值进行梯度反传，以更新该具有分支结构的神经网络中的主干网络和第一分支网络的参数，例如权重，偏值等，本申请对此不做限定。

在一实施例中，可以将第二损失函数值进行梯度反传，以更新该具有分支结构的神经网络中的主干网络和第二分支网络的参数，例如权重，偏值等，本申请对此不做限定。

在一实施例中，可以将第三损失函数值进行梯度反传，以更新该具有分支结构的神经网络中的主干网络、第一分支网络、第二分支网络以及第三分支网络的参数，例如权重，偏值等，本申请对此不做限定。

在本申请另一实施例中，如图11所示的方法是图10所示的方法的示例，如图11所示的方法包括以下内容。

S1110：将动脉标签和静脉标签所在区域进行最大池化操作，获得动脉标签和静脉标签所在区域膨胀后的样本图像的目标区域。

在现有的分割网络中，正样本(动脉与静脉)的像素点数量远远小于负样本(背景)的像素点数量，在深度学***衡。类不平衡会导致模型更加倾向于学习数量大的样本，也就是负样本(背景)。

为了缓解这一问题，可以通过最大值池化(max pooling)操作，将正样本所在的标记区域进行“膨胀”，如图12所示，左图为原始标记结果，其中，带有白色标签的区域为动脉和静脉，其余黑色区域为背景，右图为经过“膨胀”后的标记结果，其中，整个白色区域为带有白色标签的区域膨胀后得到的目标区域，其包括左图中的带有白色标签的区域和与该区域临近的黑色区域(即，背景)。这样，可以有效的降低正负样本不平衡问题，同时，加速网络模型的收敛。

本实施例中，将动脉标签和静脉标签所在区域(即，带有白色标签的区域)进行最大池化操作，可以获得动脉标签和静脉标签所在区域膨胀后的样本图像的目标区域(即，经过“膨胀”后的目标区域)。该目标区域包括动脉标签、静脉标签以及与动脉标签和静脉标签临近的背景标签。

S1120：根据目标区域对应的第一分割结果和标签，获取第一分支网络的第一损失函数值。

利用第一损失函数，计算该第一分割结果与样本图像的标签之间的相似度损失，可以得到第一分支网络的第一损失函数值。

S1130：根据目标区域对应的第二分割结果和标签，获取第二分支网络的第二损失函数值。

利用第二损失函数，计算目标区域对应的第二分割结果与样本图像的标签之间的相似度损失，可以得到第二分支网络的第二损失函数值。

S1140：根据所述目标区域对应的第三分割结果和所述标签，获取所述第三分支网络的第三损失函数值。

利用第三损失函数，计算目标区域对应的第三分割结果与样本图像的标签之间的相似度损失，可以得到第三分支网络的第三损失函数值。

在步骤S1120、S1130以及S1140中，可以只计算目标区域中的正负样本的损失，即，只计算目标区域内的像素值的损失函数，这样可以有效的克服类不平衡问题。

图11所示的方法中的步骤S1150与图10所示的方法中的步骤S1050相同，具体细节将不在此处进行赘述，请参见图10所示的方法中的步骤S1050。

在本申请另一个实施例中，根据第一损失函数值、第二损失函数值和第三损失函数值，更新具有分支结构的神经网络中的参数，包括：根据所述第一损失函数值，更新所述第一分支网络和所述主干网络中的参数；根据所述第二损失函数值，更新所述第二分支网络和所述主干网络中的参数；根据所述第三损失函数值，更新所述第一分支网络、所述第二分支网络、所述第三分支网络和所述主干网络中的参数。

如果只进行动脉、静脉和背景的三分类分割任务，那么只需要计算一个损失函数值来更新网络模型的参数，相比之下，通过第一损失函数值、第二损失函数值和第三损失函数值，来更新具有分支结构的神经网络中的参数，可以使网络模型达到更好的优化效果。

在一实施例中，第一分支网络的损失函数、第二分支网络的损失函数以及第三分支网络的损失函数可以均为聚焦损失函数(Focal Loss)。

在一实施例中，为了避免第三分支网络对静脉和动脉进行二分类分割时，静脉和动脉之间产生相互竞争，以提高模型的收敛难度，可以将第三分支网络的损失函数的权重设置为小于第一分支网络的损失函数的权重和第二分支网络的损失函数的权重。

但是，需要说明的是，本申请实施例并不具体限定各损失函数的权重的具体取值，可以根据不同应用场景进行选择。

在本申请另一个实施例中，确定样本图像，包括：将待训练图像进行切块操作，获得多个切块图像；以预设的比例，去除多个切块图像中仅包含背景的切块图像，以获得样本图像。

本实施例中的切块操作与本申请上述图像分割方法中的实施例相似，具体细节将不在此处进行赘述，具体细节请参考上述图像分割方法中的实施例。以下仅描述与上述图像分割方法中的实施例不同之处。

针对肺血管分割任务，由于肺动脉与肺静脉是两个完整的连通域，这意味着可以通过计算连通域的后处理方式去除大部分假阳，那么也就可以在网络模型训练的过程中仅仅关注肺血管附近的背景即可，而对于远离肺血管附近的背景，网络模型无需进行训练。因此，在切块操作后中，可以以预设的比例，去除多个切块图像中仅包含背景的切块图像(即，该切块图像远离肺血管区域，如图13所示的白色框所在区域)，以获得样本图像。

为了使网络模型可以学习到仅仅只包含背景的负样本，以增加网络模型学习的多样性，可以以预设的比例，去除多个切块图像中的部分仅包含背景的切块图像。但是本申请实施例并不限定预设的比例的具体取值，该预设的比例可以为99.9％，那么网络模型可以对剩余的0.1％的仅包含背景的切块图像进行训练学习。

在本申请另一个实施例中，确定样本图像，包括：根据增强图像和非增强图像，通过风格迁移算法，获得与增强图像对应的模拟非增强图像，其中，增强图像为经过人工静脉注射造影剂的图像，非增强图像为未经过人工静脉注射造影剂的图像；确定模拟非增强图像和/或增强图像为样本图像。

由前述申请概述中所述，非增强CT数据数量多，但是标记困难，增强CT数据数量少，但标记简单。为了有效利用增强CT数据来帮助非增强CT数据进行血管分割，可以将增强图像作为内容图像，非增强图像作为风格图像，使其通过风格迁移算法后，得到与增强图像对应的模拟非增强图像。

经过人工静脉注射造影剂的增强图像中的血管所呈现出的亮度比较亮，未经过人工静脉注射造影剂的非增强图像中的血管所呈现出的亮度较暗，该模拟非增强图像中的血管所呈现出的亮度介于增强图像和非增强图像之间，即，该模拟非增强图像中的血管所呈现出的亮度是比增强图像中的血管所呈现出的亮度低，但比非增强图像中的血管所呈现出的亮度高。

在一实施例中，增强图像可以是带有标签的图像，将其与非增强图像进行风格迁移后，可以得到与该增强图像对应的带有标签的模拟非增强图像，将该模拟非增强图像作为样本图像，输入到具有级联结构的神经网络中进行训练，以获得只针对非增强图像的网络模型。

在一实施例中，增强图像也可以是未带有标签的图像，将其与非增强图像进行风格迁移后，可以得到该增强图像对应的未带有标签的模拟非增强图像。由于该模拟非增强图像中的血管所呈现出的亮度介于增强图像和非增强图像之间，因此，比非增强图像更易于标注，对未带有标签的模拟非增强图像进行标记，可以得到带有标签的模拟非增强图像，将该带有标签的模拟非增强图像作为样本图像，输入到具有级联结构的神经网络中进行训练，以获得只针对非增强图像的网络模型。

在一实施例中，增强图像是带有标签的图像，将该增强图像作为样本图像，输入到具有级联结构的神经网络中进行训练，以获得只针对增强图像的网络模型。

由于已有用于血管分割的网络模型只可以对增强图像进训练，无法对非增强图像进行训练，本申请实施例通过对增强图像与非增强图像进行风格迁移算法，可以做到只需修改样本图像，即，将样本图像确定为增强图像，或者将样本图像确定为与增强图像对应的模拟非增强图像，就可以得到与之对应的网络模型，即，只针对增强图像的网络模型，或只针对非增强图像的网络模型。

当样本图像为与增强图像对应的模拟非增强图像，且网络模型为只针对非增强图像的网络模型时，上述图像分割方法的实施例中的待分割图像为非增强图像，可以通过风格迁移算法，使一个增强图像与该待分割图像进行风格转移，以获得模拟非增强图像，将该非增强图像输入到只针对非增强图像的网络模型后，所有分割的步骤同上述图像分割方法的实施例中的步骤，以获得分割结果。

当样本图像为增强图像，且网络模型为只针对增强图像的网络模型时，上述图像分割方法的实施例中的待分割图像为增强图像，将该增强图像输入到只针对增强图像的网络模型后，所有分割的步骤同上述图像分割方法的实施例中的步骤，以获得分割结果。

在一实施例中，可以将模拟非增强图像和增强图像作为样本图像，输入到具有级联结构的神经网络中进行训练，以获得既针对非增强图像又针对增强图像的网络模型。

通过将模拟非增强图像和增强图像共同作为样本图像，模拟非增强图像可以作为网络模型的辅助输入，从而有效地扩展了网络模型的训练数据量，以加速网络模型的收敛。同时，利用风格迁移技术，可以有效地在训练非增强图像的过程中使用增强图像，降低标记难度与成本，提高数据的利用率，使得网络模型的鲁棒性更高。

当样本图像既包括模拟非增强图像，又包括增强图像，且网络模型为既针对非增强图像又针对增强图像的网络模型时，上述图像分割方法的实施例中的待分割图像既可以为增强图像，也可以为非增强图像。当待分割图像为增强图像时，将该增强图像输入到既针对非增强图像又针对增强图像的网络模型后，所有分割的步骤同上述图像分割方法的实施例中的步骤，以获得分割结果。当待分割图像为非增强图像时，可以通过风格迁移算法，使一个增强图像与该待分割图像进行风格转移，以获得模拟非增强图像，将该模拟非增强图像输入到既针对非增强图像又针对增强图像的网络模型后，所有分割的步骤同上述图像分割方法的实施例中的步骤，以获得分割结果。

在本申请另一个实施例中，确定样本图像，还包括：对原始样本图像进行非线性加窗处理，获得样本图像。

本实施例中的非线性加窗处理与本申请上述图像分割方法中的实施例相似，具体细节将不在此处进行赘述，具体细节请参考上述图像分割方法中的实施例。

在本申请另一个实施例中，确定样本图像，还包括：对原始样本图像进行数据增强处理，获得样本图像。

数据增强处理是网络模型训练中常用的一种降低过拟合的手段，以提高网络模型的鲁棒性。可以通过对原始样本图像进行对比度的调整，例如，随机加入椒盐噪声以及gamma变换等数据增强方式，来获得不同类型的样本图像。但是需要说明的是，本申请实施例对数据增强方式不作具体限定。

需要说明的是，上述网络模型的训练方法的实施例中未披露的细节，请参照本申请图像分割方法的实施例，在此不再赘述。

示例性装置

本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图14所示为本申请一个实施例提供的图像分割装置的框图。如图14所示，该装置1400包括：

第一分割模块1410，配置为根据包括背景、动脉和静脉的待分割图像，获取动脉和背景的第一分割结果；

第二分割模块1420，配置为根据待分割图像，获取静脉和背景的第二分割结果；

获取模块1430，配置为根据第一分割结果和第二分割结果，获取背景、动脉和静脉的分割结果。

在一个实施例中，所述装置1400还包括：用于执行上述实施例提及的图像分割方法中的各个步骤的模块。

图15所示为本申请一个实施例提供的网络模型的训练装置的框图。如图15所示，该装置1500包括：

确定模块1510，配置为确定样本图像，样本图像包括背景、动脉和静脉的标签；

训练模块1520，配置为基于样本图像训练具有分支结构的神经网络，以生成用于分割背景、动脉和静脉的网络模型，其中，具有分支结构的神经网络包括用于特征提取的主干网络以及位于主干网络后的并列的多个分支网络，多个分支网络包括第一分支网络和第二分支网络，第一分支网络用于输出动脉和背景的第一分割结果，第二分支网络用于输出静脉和背景的第二分割结果。

在一个实施例中，所述装置1500还包括：用于执行上述实施例提及的网络模型的训练方法中的各个步骤的模块。

示例性电子设备

下面，参考图16来描述根据本申请实施例的电子设备。图16图示了根据本申请实施例的电子设备的框图。

如图16所示，电子设备1600包括一个或多个处理器1610和存储器1620。

处理器1610可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1600中的其他组件以执行期望的功能。

存储器1620可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1610可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像分割方法、网络模型的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备1600还可以包括：输入装置1630和输出装置1640，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

例如，该输入装置1630可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置1630可以是通信网络连接器。

此外，该输入设备1630还可以包括例如键盘、鼠标等等。

该输出装置1640可以向外部输出各种信息，包括确定出的征象类别信息等。该输出设备1640可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图16中仅示出了该电子设备1600中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1600还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像分割方法、网络模型的训练方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像分割方法、网络模型的训练方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种图像分割方法，其特征在于，包括：

根据包括背景、动脉和静脉的待分割图像，获取所述动脉和所述背景的第一分割结果；

根据所述待分割图像，获取所述静脉和所述背景的第二分割结果；

根据所述第一分割结果和所述第二分割结果，获取所述背景、所述动脉和所述静脉的分割结果，

其中，所述方法还包括：

将所述待分割图像输入网络模型，其中，所述网络模型包括用于特征提取的主干网络以及位于所述主干网络后的并列的多个分支网络，所述多个分支网络包括第一分支网络和第二分支网络；

根据所述待分割图像，通过所述主干网络，获取所述待分割图像的特征图，

其中，所述根据包括背景、动脉和静脉的待分割图像，获取所述动脉和所述背景的第一分割结果，包括：

根据所述待分割图像的特征图，通过所述第一分支网络，获取所述动脉和所述背景的第一分割结果，

其中，所述根据所述待分割图像，获取所述静脉和所述背景的第二分割结果，包括：

根据所述待分割图像的特征图，通过所述第二分支网络，获取所述静脉和所述背景的第二分割结果，

其中，所述多个分支网络还包括第三分支网络，

其中，当所述第一分割结果和所述第二分割结果存在冲突时，所述方法还包括：

根据所述第一分割结果和所述第二分割结果，通过所述第三分支网络，获取所述静脉和所述动脉的第三分割结果，

其中，所述根据所述第一分割结果和所述第二分割结果，获取所述背景、所述动脉和所述静脉的分割结果，包括：

根据所述第一分割结果、所述第二分割结果和所述第三分割结果，获取所述背景、所述动脉和所述静脉的分割结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述待分割图像输入网络模型，包括：

将所述待分割图像进行切块操作，获得多个切块图像；

将所述多个切块图像输入所述网络模型，

其中，所述获取所述动脉和所述背景的第一分割结果，包括：

获取所述多个切块图像对应的所述动脉和所述背景的多个第一分割结果，

其中，所述获取所述静脉和所述背景的第二分割结果，包括：

获取所述多个切块图像对应的所述静脉和所述背景的多个第二分割结果，

其中，所述获取所述静脉和所述动脉的第三分割结果，包括：

获取所述多个切块图像对应的所述静脉和所述动脉的多个第三分割结果，

其中，所述根据所述第一分割结果、所述第二分割结果和所述第三分割结果，获取所述背景、所述动脉和所述静脉的分割结果，包括：

通过高斯平滑处理，对所述多个第一分割结果、所述多个第二分割结果和所述多个第三分割结果进行组合操作，以获得所述背景、所述动脉和所述静脉的分割结果。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

对原始分割图像进行非线性加窗处理，获得所述待分割图像。

4.一种网络模型的训练方法，其特征在于，包括：

确定样本图像，所述样本图像包括背景、动脉和静脉的标签；

基于所述样本图像训练具有分支结构的神经网络，以生成用于分割所述背景、所述动脉和所述静脉的网络模型，其中，所述具有分支结构的神经网络包括用于特征提取的主干网络以及位于所述主干网络后的并列的多个分支网络，所述多个分支网络包括第一分支网络和第二分支网络，所述第一分支网络用于输出所述动脉和所述背景的第一分割结果，所述第二分支网络用于输出所述静脉和所述背景的第二分割结果，

其中，所述多个分支网络还包括第三分支网络，所述第三分支网络用于输出所述动脉和所述静脉的第三分割结果，

其中，所述基于所述样本图像训练具有分支结构的神经网络，以生成用于分割所述背景、所述动脉和所述静脉的网络模型，包括：

根据所述样本图像，通过所述主干网络，得到所述样本图像的特征图；

根据所述样本图像的特征图和所述第一分支网络，获取所述第一分割结果，并根据所述第一分割结果和所述标签，获取所述第一分支网络的第一损失函数值；

根据所述样本图像的特征图和所述第二分支网络，获取所述第二分割结果，并根据所述第二分割结果和所述标签，获取所述第二分支网络的第二损失函数值；

根据所述第一分割结果、所述第二分割结果和所述第三分支网络，获取所述第三分割结果，并根据所述第三分割结果和所述标签，获取所述第三分支网络的第三损失函数值；

根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，更新所述具有分支结构的神经网络中的参数。

5.根据权利要求4所述的训练方法，其特征在于，还包括：

将动脉标签和静脉标签所在区域进行最大池化操作，获得所述动脉标签和所述静脉标签所在区域膨胀后的所述样本图像的目标区域，

其中，所述根据所述第一分割结果和所述标签，获取所述第一分支网络的第一损失函数值，包括：

根据所述目标区域对应的第一分割结果和所述标签，获取所述第一分支网络的第一损失函数值，

其中，所述根据所述第二分割结果和所述标签，获取所述第二分支网络的第二损失函数值，包括：

根据所述目标区域对应的第二分割结果和所述标签，获取所述第二分支网络的第二损失函数值，

其中，所述根据所述第三分割结果和所述标签，获取所述第三分支网络的第三损失函数值，包括：

根据所述目标区域对应的第三分割结果和所述标签，获取所述第三分支网络的第三损失函数值。

6.根据权利要求4所述的训练方法，其特征在于，所述根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，更新所述具有分支结构的神经网络中的参数，包括：

根据所述第一损失函数值，更新所述第一分支网络和所述主干网络中的参数；

根据所述第二损失函数值，更新所述第二分支网络和所述主干网络中的参数；

根据所述第三损失函数值，更新所述第一分支网络、所述第二分支网络、所述第三分支网络和所述主干网络中的参数，

其中，所述第一分支网络的损失函数、所述第二分支网络的损失函数以及所述第三分支网络的损失函数为聚焦损失函数，且所述第三分支网络的损失函数的权重小于所述第一分支网络的损失函数的权重和所述第二分支网络的损失函数的权重。

7.根据权利要求4至6中任一项所述的训练方法，其特征在于，所述确定样本图像，包括：

将待训练图像进行切块操作，获得多个切块图像；

以预设的比例，去除所述多个切块图像中仅包含所述背景的切块图像，以获得所述样本图像。

8.根据权利要求4至6中任一项所述的训练方法，其特征在于，所述确定样本图像，包括：

根据增强图像和非增强图像，通过风格迁移算法，获得与所述增强图像对应的模拟非增强图像，其中，所述增强图像为经过人工静脉注射造影剂的图像，所述非增强图像为未经过人工静脉注射造影剂的图像；

确定所述模拟非增强图像和/或所述增强图像为所述样本图像。

9.一种图像分割装置，其特征在于，包括：

第一分割模块，配置为根据包括背景、动脉和静脉的待分割图像，获取所述动脉和所述背景的第一分割结果；

第二分割模块，配置为根据所述待分割图像，获取所述静脉和所述背景的第二分割结果；

获取模块，配置为根据所述第一分割结果和所述第二分割结果，获取所述背景、所述动脉和所述静脉的分割结果，

其中，所述第一分割模块和所述第二分割模块进一步配置为：

将所述待分割图像输入网络模型，其中，所述网络模型包括用于特征提取的主干网络以及位于所述主干网络后的并列的多个分支网络，所述多个分支网络包括第一分支网络和第二分支网络；

根据所述待分割图像，通过所述主干网络，获取所述待分割图像的特征图，

其中，所述第一分割模块根据所述待分割图像的特征图，通过所述第一分支网络，获取所述动脉和所述背景的第一分割结果，

所述第二分割模块根据所述待分割图像的特征图，通过所述第二分支网络，获取所述静脉和所述背景的第二分割结果，

其中，所述多个分支网络还包括第三分支网络，

其中，当所述第一分割结果和所述第二分割结果存在冲突时，所述获取模块进一步配置为：

根据所述第一分割结果和所述第二分割结果，通过所述第三分支网络，获取所述静脉和所述动脉的第三分割结果，

其中，所述获取模块在根据所述第一分割结果和所述第二分割结果，获取所述背景、所述动脉和所述静脉的分割结果时，配置为：

根据所述第一分割结果、所述第二分割结果和所述第三分割结果，获取所述背景、所述动脉和所述静脉的分割结果。

10.一种网络模型的训练装置，其特征在于，包括：

确定模块，配置为确定样本图像，所述样本图像包括背景、动脉和静脉的标签；

训练模块，配置为基于所述样本图像训练具有分支结构的神经网络，以生成用于分割所述背景、所述动脉和所述静脉的网络模型，其中，所述具有分支结构的神经网络包括用于特征提取的主干网络以及位于所述主干网络后的并列的多个分支网络，所述多个分支网络包括第一分支网络和第二分支网络，所述第一分支网络用于输出所述动脉和所述背景的第一分割结果，所述第二分支网络用于输出所述静脉和所述背景的第二分割结果，

其中，所述多个分支网络还包括第三分支网络，所述第三分支网络用于输出所述动脉和所述静脉的第三分割结果，

其中，所述训练模块在基于所述样本图像训练具有分支结构的神经网络时，配置为：

根据所述样本图像，通过所述主干网络，得到所述样本图像的特征图；

根据所述样本图像的特征图和所述第一分支网络，获取所述第一分割结果，并根据所述第一分割结果和所述标签，获取所述第一分支网络的第一损失函数值；

根据所述样本图像的特征图和所述第二分支网络，获取所述第二分割结果，并根据所述第二分割结果和所述标签，获取所述第二分支网络的第二损失函数值；

根据所述第一分割结果、所述第二分割结果和所述第三分支网络，获取所述第三分割结果，并根据所述第三分割结果和所述标签，获取所述第三分支网络的第三损失函数值；

根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值，更新所述具有分支结构的神经网络中的参数。

11.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1至8中任一项所述的方法。

Images