CN110910408A - 图像分割方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供一种图像分割方法、装置、电子设备及可读存储介质，通过根据预先配置的混合卷积训练模型提取内脏三维样本的卷积堆叠矩阵，并对卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征后，根据三维时空卷积特征和二维时空卷积特征对混合卷积训练模型进行训练。如此，可以根据所述二维时空卷积特征对混合卷积训练模型进行迁移学习训练，从而能够减少内脏三维样本的标注需求量，并增加训练过程中的归一化样本数量，从而提升计算结果的精确度，并且内脏三维样本被分解成二维时空卷积特征，使得计算量和计算资源需求下降，进而显著减少训练过程和分割过程中的参数量，有效提升计算速度，节省计算资源。

Description

图像分割方法、装置、电子设备及可读存储介质

技术领域

本申请涉及医学影像技术领域，具体而言，涉及一种图像分割方法、装置、电子设备及可读存储介质。

背景技术

近年来随着深度卷积神经网络应用条件的成熟，在内脏(例如肝脏)和内脏肿瘤领域出现一些深度学***衡训练过程和检测过程的参数计算量。基于传统方案中的深度学习的图像分割方法，对于在较少样本和有限计算资源的情况下的优化还存在较大的不足。

发明内容

有鉴于此，本申请的目的在于提供一种图像分割方法、装置、电子设备及可读存储介质，能够减少内脏三维样本的标注需求量，并显著减少训练过程和分割过程中的参数量，有效提升计算速度和计算结果的精确度，节省计算资源。

根据本申请的一方面，提供一种图像分割方法，应用于电子设备，所述方法包括：

获取内脏三维样本集，所述内脏三维样本集中包括标注有分类结果的多个内脏三维样本，所述分类结果包括内脏分类结果和肿瘤分类结果；

根据预先配置的混合卷积训练模型提取所述内脏三维样本的卷积堆叠矩阵，并对所述卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征；

根据所述三维时空卷积特征和二维时空卷积特征对所述混合卷积训练模型进行训练，得到训练后的图像分割模型，以通过所述图像分割模型对输入的内脏三维图像进行内脏分割和肿瘤分割，其中，在根据所述二维时空卷积特征对所述混合卷积训练模型进行训练的过程中，根据所述二维时空卷积特征对所述混合卷积训练模型进行迁移学习训练。

在一种可能的实施方式中，所述获取内脏三维样本集的步骤，包括：

获取来自多个检查中心中不同CT设备各自生成的内脏三维初始图像；

根据标注指令在各个内脏三维初始图像上添加对应的分类结果，得到对应的内脏三维标注图像；

对各个内脏三维标注图像进行预处理，得到预处理后的各个内脏三维标注图像，以形成所述内脏三维样本集。

在一种可能的实施方式中，所述对各个内脏三维标注图像进行预处理，得到预处理后的各个内脏三维标注图像的步骤，包括：

将每个内脏三维标注图像在各个坐标轴上的分辨率进行归一化处理；

将归一化处理分辨率后的内脏三维标注图像的影像体素值的Hu值限制在预设值范围内后，对所述Hu值进行归一化处理，使得所述内脏三维标注图像的图像值为均值为0、方差为1的图像值；

将归一化处理Hu值后的各个内脏三维标注图像进行数据扩充，得到预处理后的各个内脏三维标注图像。

在一种可能的实施方式中，所述混合卷积训练模型包括二维卷积网络和三维深度可分解卷积网络，所述三维深度可分解卷积网络，所述三维深度可分解卷积网络包括多个二维深度可分解卷积块；

所述根据预先配置的混合卷积训练模型提取所述内脏三维样本的卷积堆叠矩阵的步骤，包括：

根据所述二维卷积网络提取内脏三维样本的二维卷积特征；

分别通过所述多个二维深度可分解卷积块对所述二维卷积特征进行N次下采样后进行卷积提取，得到多个二维深度可分解卷积结果；

将所述多个二维深度可分解卷积结果进行堆叠，得到所述内脏三维样本的卷积堆叠矩阵，其中，所述卷积堆叠矩阵包括二维编码输出的特征图个数、特征图坐标层数、特征图高度以及特征图宽度。

在一种可能的实施方式中，所述对所述卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征的步骤，包括：

对所述卷积堆叠矩阵进行时域分解卷积，以融合所述卷积堆叠矩阵中的层间信息，并对所述卷积堆叠矩阵进行空域分解卷积，以融合所述卷积堆叠矩阵中的层内信息，从而得到对应的三维时空卷积特征和二维时空卷积特征。

在一种可能的实施方式中，所述混合卷积训练模型还包括三维空洞空间金字塔池化网络，所述三维深度可分解卷积网络还包括多个三维点卷积块，所述根据所述三维时空卷积特征和二维时空卷积特征对所述混合卷积训练模型进行训练，得到训练后的图像分割模型的步骤，包括：

通过所述三维空洞空间金字塔池化层对所述三维时空卷积特征和二维时空卷积特征进行不同采样率的空洞卷积操作后进行特征融合堆叠，得到空洞空间金字塔池化特征；

将所述二维卷积特征输入到对应的三维点卷积块中进行三维逐点卷积操作，得到第一三维点卷积特征，并将所述多个二维深度可分解卷积结果输入到对应的三维点卷积块中进行三维逐点卷积操作，得到第二三维点卷积特征；

将所述第二三维点卷积特征与所述空洞空间金字塔池化特征进行融合后执行N次上采样操作，并将N次上采样操作后的融合特征与所述第一三维点卷积特征进行堆叠，得到待分类特征；

将所述待分类特征进行分类映射得到对应的训练分类结果；

计算所述训练分类结果与对应的标注的分类结果之间的交叉熵损失函数值，并根据计算得到的所述交叉熵损失函数值调整所述混合卷积训练模型的网络模型参数后，返回所述根据预先配置的混合卷积训练模型提取所述内脏三维样本的卷积堆叠矩阵的步骤，直到满足训练终止条件时，得到训练后的图像分割模型。

在一种可能的实施方式中，所述方法还包括：

根据所述图像分割模型对输入的内脏三维图像进行内脏分割和肿瘤分割，得到分割结果，所述分割结果包括内脏分割结果和肿瘤分割结果。

根据本申请的另一方面，提供一种图像分割装置，应用于电子设备，所述装置包括：

获取模块，用于获取内脏三维样本集，所述内脏三维样本集中包括标注有分类结果的多个内脏三维样本，所述分类结果包括内脏分类结果和肿瘤分类结果；

提取卷积模块，用于根据预先配置的混合卷积训练模型提取所述内脏三维样本的卷积堆叠矩阵，并对所述卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征；

训练模块，用于根据所述三维时空卷积特征和二维时空卷积特征对所述混合卷积训练模型进行训练，得到训练后的图像分割模型，以通过所述图像分割模型对输入的内脏三维图像进行内脏分割和肿瘤分割，其中，在根据所述二维时空卷积特征对所述混合卷积训练模型进行训练的过程中，根据所述二维时空卷积特征对所述混合卷积训练模型进行迁移学习训练。

根据本申请的另一方面，提供一种电子设备，所述电子设备包括机器可读存储介质及处理器，所述机器可读存储介质存储有机器可执行指令，所述处理器在执行所述机器可执行指令时，该电子设备实现前述的图像分割方法。

根据本申请的另一方面，提供一种可读存储介质，所述可读存储介质中存储有机器可执行指令，所述机器可执行指令被执行时实现前述的图像分割方法。

基于上述任一方面，本申请通过根据预先配置的混合卷积训练模型提取内脏三维样本的卷积堆叠矩阵，并对卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征后，根据三维时空卷积特征和二维时空卷积特征对混合卷积训练模型进行训练。如此，可以根据所述二维时空卷积特征对混合卷积训练模型进行迁移学习训练，通过对三维特征进行时空分解，空间域为图像层内信息，时域为图像层间信息，根据二维时空卷积特征可以直接从自然图像数据集进行预训练和迁移学习，从而能够减少内脏三维样本的标注需求量，并增加训练过程中的归一化样本数量，从而提升计算结果的精确度，并且内脏三维样本被分解成二维时空卷积特征，使得计算量和计算资源需求下降，进而显著减少训练过程和分割过程中的参数量，有效提升计算速度，节省计算资源。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的图像分割方法的流程示意图之一；

图2示出了本申请实施例的内脏三维样本的标注示意图；

图3示出了本申请实施例所提供的三维时空域分解卷积的过程示意图；

图4示出了本申请实施例所提供的图像分割方法的流程示意图之二；

图5示出了本申请实施例所提供的图像分割装置的功能模块示意图；

图6示出了本申请实施例所提供的用于实现上述的图像分割方法的电子设备的结构示框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

如前述背景技术中所获知的技术问题，本申请实施例以内脏为肝脏为例进行进一步说明。

肝脏是人体最大的实质性器官，承担人体的各类重要代谢功能。肝脏一旦出现恶性肿瘤将导致危及生命的严重后果。又由于肝脏具有丰富的血流供应，与人体的重要血管关系密切且肝脏恶性肿瘤发病隐匿，生长快速，因此治疗甚为困难，目前总体疗效和预后不十分理想。肝脏肿瘤是指发生在肝脏部位的肿瘤病变。肝脏是肿瘤好发部位之一，良性肿瘤较少见，恶性肿瘤中转移性肿瘤较多。肝脏肿瘤的分割，基础的计算机辅助功能，可以辅助医生精确测量肿瘤的大小和形状，并降低医生的漏诊率。

在采用深度学习方法的过程中，对于医疗图像面临的主要问题包括计算资源限制和样本数据限制。详细地，计算资源限制造成网络结构太浅，特征表达能力不足，导致训练过程中的归一化样本数量太少，均值和方差不稳定。此外，内脏三维样本数据收集困难，且分类结果标注成本较高。然而深度学习方法严重依赖海量多样性的数据，通常在自然场景下可以使用迁移学习来缓解数据量需求，但是目前大多公开数据集都是二维自然图像，针对三维医疗图像并没有足够多的样本数据和分类结果标注。

为此，基于上述技术问题的发现，发明人提出下述技术方案以解决或者改善上述问题。需要注意的是，以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是发明人在发明创造过程中对本申请做出的贡献，而不应当理解为本领域技术人员所公知的技术内容。

图1示出了本申请实施例提供的图像分割方法的流程示意图，应当理解，在其它实施例中，本实施例的图像分割方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该图像分割方法的详细步骤介绍如下。

步骤S110，获取内脏三维样本集，内脏三维样本集中包括标注有分类结果的多个内脏三维样本，分类结果包括内脏分类结果和肿瘤分类结果。

步骤S120，根据预先配置的混合卷积训练模型提取内脏三维样本的卷积堆叠矩阵，并对卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征。

步骤S130，根据三维时空卷积特征和二维时空卷积特征对混合卷积训练模型进行训练，得到训练后的图像分割模型，以通过图像分割模型对输入的内脏三维图像进行图像分割。

本实施例提供的图像分割方法，通过根据预先配置的混合卷积训练模型提取内脏三维样本的卷积堆叠矩阵，并对卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征后，根据三维时空卷积特征和二维时空卷积特征对混合卷积训练模型进行训练。如此，可以根据二维时空卷积特征对混合卷积训练模型进行迁移学习训练，通过对三维特征进行时空分解，空间域为图像层内信息，时域为图像层间信息，根据二维时空卷积特征可以直接从自然图像数据集进行预训练和迁移学习，从而能够减少内脏三维样本的标注需求量，并增加训练过程中的归一化样本数量，从而提升计算结果的精确度，并且内脏三维样本被分解成二维时空卷积特征，使得计算量和计算资源需求下降，进而显著减少训练过程和分割过程中的参数量，有效提升计算速度，节省计算资源。

其中，因为时空域分解卷积得到了三维时空卷积特征和二维时空卷积特征，所以二维时空卷积特征可以使用迁移学习，迁移学习的方式具体可以是将二维时空卷积特征在ImageNet上进行训练，然后将训练参数作为迁移初始化，并冻结二维时空卷积部分后继续训练其它网络参数后，然后再训练所有网络参数。如此，能够减少内脏三维样本的标注需求量，避免内脏三维样本的标注量不足导致的训练效果降低的问题。

在一种可能的实施方式中，针对步骤S110，为了提高内脏三维样本集的差异性，以提高后续的训练效果和分割效果，本实施例可以获取来自多个检查中心中不同CT设备各自生成的内脏三维初始图像，并根据标注指令在各个内脏三维初始图像上添加对应的分类结果，得到对应的内脏三维标注图像，而后对各个内脏三维标注图像进行预处理，得到预处理后的各个内脏三维标注图像，以形成内脏三维样本集。

例如以肝脏为例，肝脏三维样本可以来源于多检查中心、多厂家的CT设备，以使得肝脏三维样本数据之间的差异性较大。在此基础上，可以对肝脏三维样本进行质控、伪影、异物等，将不合格的肝脏三维样本不加入到样本集中。在一些可能的实施方式中，肝脏三维样本数据中可以包含有肿瘤肝脏三维样本数据1/3、无肿瘤肝脏三维样本数据2/3。此外，由于肝脏结构较为清晰，且争议性较小，可以由低年资的医生进行标注，高年资医生进行审核。针对肿瘤区域，可以由多个低年资医生进行双盲标注，高年资医生审核的方式进行标注。

例如图2所示，图2中的上图为标注分类结果之前的内脏三维初始图像、下图为标注之后的内脏三维标注图像，其中分类结果1(如图2的深色区域)为肝脏，分类结果2(如图2中的浅色区域)为肿瘤。

在上述过程中，可以选择尺寸差异较大的肿瘤，例如直径可从10mm到100mm以上，从而使得肿瘤特征包含不同尺度的信息，以使得肿瘤敏感性和正确性更好地得到平衡。

在一种可能的实施方式中，对各个内脏三维标注图像进行预处理，得到预处理后的各个内脏三维标注图像，具体可以是将每个内脏三维标注图像在各个坐标轴(X、Y、Z轴)上的分辨率进行归一化处理，例如可以使得X、Y、Z轴上的分辨率都为1mm。然后将归一化处理分辨率后的内脏三维标注图像的影像体素值的Hu值限制在预设值范围内，其中该预设值范围可以是内脏区域的图像通常所处的数值范围，以肝脏为例，该预设值范围可以是0到600之间的范围。在此基础上，可以对Hu值进行归一化处理，使得内脏三维标注图像的图像值为均值为0、方差为1的图像值，而后将归一化处理Hu值后的各个内脏三维标注图像进行数据扩充，得到预处理后的各个内脏三维标注图像。例如，可以对归一化处理Hu值后的各个内脏三维标注图像进行随机的[-10，10]度之间的旋转。

在一种可能的实施方式中，针对步骤S120，为了进一步减少训练参数量和计算量，混合卷积训练模型具体可以包括二维卷积网络和三维深度可分解卷积(DepthwiseSeparable Convolution)网络，三维深度可分解卷积网络可以包括多个二维深度可分解卷积块。详细地，每个二维深度可分解卷积块可以包括由多层以残差网络跳转连接的深度可分解卷积。

在上述基础上，在根据预先配置的混合卷积训练模型提取内脏三维样本的卷积堆叠矩阵的过程中，可以根据二维卷积网络提取内脏三维样本的二维卷积特征，接着分别通过多个二维深度可分解卷积块对二维卷积特征进行N次下采样后进行卷积提取，得到多个二维深度可分解卷积结果，而后将多个二维深度可分解卷积结果进行堆叠，得到内脏三维样本的卷积堆叠矩阵(n，z，h，w)。其中，卷积堆叠矩阵(n，z，h，w)可以包括二维编码输出的特征图个数n、特征图坐标层数z、特征图高度h以及特征图宽度w。

采用上述步骤，本实施例将二维深度可分解卷积块应用于内脏三维样本。详细地，深度可分离卷积是一种可分解卷积操作，除了上述的二维深度可分解卷积块之外，还可以包括三维的1×1×1的三维点卷积块。通常标准卷积的卷积核是用在所有的输入通道上(Input Channels)的，假设一个3×3×3、输入通道是M、输出通道是N的卷积，标准卷积需要参数数量则为M×N×3×3×3，其中1×1×1和3×3×3分别代表三维图像(即内脏三维样本)的层和纵横轴。而深度可分离卷积则是将此操作先使用上述的二维深度可分解卷积块。二维深度可分解卷积块可以是使用M个3×3×3对M个输入通道进行卷积，也就是说训练过程中的参数量是M×3×3×3，然后再使用M×N×1×1×1的点卷积，将输入通道N映射到输出通道。因为卷积过程中，主要是空间下采样、特征上采样实现，也就是说输入M小于输出N，一般输入M＝0.5×N，因此相较于传统的卷积操作而言，采用上述步骤，训练参数量和计算量被显著压缩，从而极大提高训练速度，降低计算量和计算资源的浪费。

在上述基础上，在进一步的一种可能的实施方式中，在对卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征的过程中，具体可以是对卷积堆叠矩阵进行时域分解卷积，以融合卷积堆叠矩阵中的层间信息，并对卷积堆叠矩阵进行空域分解卷积，以融合卷积堆叠矩阵中的层内信息，从而得到对应的三维时空卷积特征和二维时空卷积特征。

例如请结合参阅图3，示出了本申请实施例所提供的一种时空域分解卷积的过程示意图。详细地，如图3所示，标准三维的核为3×3×3卷积需要的参数数量为3×3×3×M×N。本实施例可以将传统卷积分解为时空域分解卷积，即提供一种时空域分解卷积的方案。其中，时可以表示不同层之间的信息，空则可以表示单层内信息。图3中所示的时空域分解卷积结构中，当接收到前一层网络Previous Layer输入的图像特征信息时可以分别经过Spatial branch和Temporal branch。如图3中左侧的Spatial branch则表示空间域卷积分支，1×3×3×M×N，表示仅仅使用层内信息，融合层内信息。如图3中右侧的Temporalbranch则可以表示时间域卷积分支，3×1×1×M×N表示层间卷积，融合层间信息。而后，可以将得到的对应的三维时空卷积特征和二维时空卷积特征输入到下一层网络Next Layer。

采用图3中所示的示例性设计之后，可以是的同样的接受野参数量和计算速度提升将近3倍，另一方面可以直接将三维图像进行分解，由于内脏三维样本被分解成二维时空卷积特征，可以使得训练过程速度得到提升，增加训练过程中的归一化样本数量，使得计算量和计算资源需求下降，进而显著减少训练过程和分割过程中的参数量，有效提升计算速度，节省计算资源。

基于前述描述的基础上，在进一步的一种可能的实施方式中，为了增加特征接受野，提高训练效果进而提高后续的图像分割效果，针对步骤S130，混合卷积训练模型还可以进一步包括三维空洞空间金字塔池化网络(3D Atrous Spatial Pyramid Pooling，3DASPP)，此外，三维深度可分解卷积网络还可以包括多个三维点卷积块。

其中，SPP(Spatial Pyramid Pooling)是一种通过不同尺度的池化参数，将不同尺度信息堆叠到特征的一种方法。由于池化通常会造成缓解SPP不够连续，因此本实施例提供的三维空洞空间金字塔池化网络可以使用空洞卷积(Atrous Convolution)来替代池化以使得操作更加平滑。也就是说，在特征映射部分，可以使用不同采样率的空洞卷积将特征进行融合，不同采样率的空洞卷积可以有效捕获多尺度信息，并且相对于SPP，网络更平滑，收敛更容易。而通常内脏肿瘤的尺寸差异较大，局部信息不足以判断是否是肿瘤。在一种可能的实施方式中，可以分别使用1、4、8作为步长的三维空洞卷积，可以使得图像特征可以表示更大的接受野，而在特征融合部分可以使用堆叠的方法，局部信息依然被保留。以下将结合上述部分对步骤S130进行详细阐述。

首先，可以通过三维空洞空间金字塔池化层对三维时空卷积特征和二维时空卷积特征进行不同采样率的空洞卷积操作后进行特征融合堆叠，得到空洞空间金字塔池化特征。可选地，为了防止过学习的情况，可以在特征融合堆叠的过程中对输入的特征使用0.5的随机失活dropout处理。随机失活是指对具有深度结构的人工神经网络进行优化的方法，在学习过程中可以通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性，从而实现神经网络的正则化，降低其结构风险。

接着，可以将二维卷积特征输入到对应的三维点卷积块中进行三维逐点卷积操作，得到第一三维点卷积特征，并将多个二维深度可分解卷积结果输入到对应的三维点卷积块中进行三维逐点卷积操作，得到第二三维点卷积特征。

在此基础上，由于在前述部分进行了N次下采样操作，为了还原图像特征信息，可以将第二三维点卷积特征与空洞空间金字塔池化特征进行融合后执行N次上采样操作，并将N次上采样操作后的融合特征与第一三维点卷积特征进行堆叠，得到待分类特征。

由此，可以将待分类特征进行分类映射得到对应的训练分类结果，然后计算训练分类结果与对应的标注的分类结果之间的交叉熵损失函数值，并根据计算得到的交叉熵损失函数值调整混合卷积训练模型的网络模型参数后，返回根据预先配置的混合卷积训练模型提取内脏三维样本的卷积堆叠矩阵的步骤，直到满足训练终止条件时，得到训练后的图像分割模型。

在一种可能的实施方式中，在计算上述交叉熵损失函数值的过程中，本申请发明人考虑到内脏三维图像中的肿瘤分割存在严重的分类平衡问题，也就是说肿瘤体素占所有体素的几千分之一不等，为了平衡分类问题可以针对每类分别计算Dice损失，另一方面Dice损失对纯负样本考虑不足，为此可以同时使用交叉熵损失，具体公式可以如下：

其中，C可以表示类的个数，V可以表示提速个数。

可以表示体素i是类c的概率。

可以表示体素i是的ground trues是c。ε可以表示平滑参数。

可选地，上述的训练终止条件可以包括以下条件中的至少一种：

1)迭代训练次数达到设定次数；2)交叉熵损失函数值低于设定阈值；3)交叉熵损失函数值不再下降。

其中，在条件1)中，为了节省运算量，可以设置迭代次数的最大值，如果迭代次数达到设定次数，可以停止本迭代周期的迭代，将最后得到的混合卷积训练模型作为图像检测模型。在条件2)中，如果交叉熵损失函数值低于设定阈值，说明当前的图像检测模型已经基本可以满足条件，此时可以停止迭代。在条件3)中，交叉熵损失函数值不再下降，表明已经形成了最佳的图像检测模型，可以停止迭代。

需要说明的是，上述迭代停止条件可以结合使用，也可以择一使用，例如，可以在交叉熵损失函数值不再下降停止迭代，或者，在迭代次数达到设定次数时停止迭代，或者，在交叉熵损失函数值不再下降时停止迭代。或者，还可以在交叉熵损失函数值低于设定阈值，并且交叉熵损失函数值不再下降时，停止迭代。

此外，在实际实施过程中，也可以不限于采用上述示例作为训练终止条件，本领域技术人员可以根据实际需求设计与上述示例不同的训练终止条件。

在上述过程中，采用前述的二维卷积特征是为了保留分割的细节信息，避免后续池化造成的位置信息损失，二维深度可分解卷积结果以及空洞空间金字塔池化特征通过使用不同的网络深度和接受野，可以提供更丰富的空间信息，提高训练效果和后续的图像分割效果。

如此，通过使用深度可分解卷积和时空分解卷积可以使得网络参数大大降低，计算速度明显提升，并且由于参数量的降低，可以增加训练过程中的归一化样本数量，使得网络收敛性和正确性都得到极大提高。此外，通过分别二维卷积特征、二维深度可分解卷积结果以及空洞空间金字塔池化特征可以使得空间信息损失较少，并且在细节和边缘分割过程中达到更精确的效果。

由此，可以根据以上训练得到的图像分割模型进行实际图像分割，在进一步的一种可能的实施方式中，请参阅图4，在步骤S130之后，本实施例提供的图像分割方法还可以包括如下步骤：

步骤S140，根据图像分割模型对输入的内脏三维图像进行内脏分割和肿瘤分割，得到分割结果。

本实施例中，由于在训练过程中标注的分类结果包括内脏分类结果和肿瘤分类结果，因此可以根据图像分割模型对输入的内脏三维图像进行内脏分割和肿瘤分割，得到的分割结果也可包括内脏分割结果和肿瘤分割结果，如此可以辅助医生精确测量肿瘤的大小形状和区域，并降低医生的漏诊率。

进一步地，基于同一发明构思，请参阅图5，示出了本申请实施例提供的图像分割装置110的功能模块示意图，本实施例可以根据上述方法实施例对图像分割装置110进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图5示出的图像分割装置110只是一种装置示意图。其中，图像分割装置110可以包括获取模块111、提取卷积模块112以及训练模块113，下面分别对该图像分割装置110的各个功能模块的功能进行详细阐述。

获取模块111，用于获取内脏三维样本集，内脏三维样本集中包括标注有分类结果的多个内脏三维样本，分类结果包括内脏分类结果和肿瘤分类结果。可以理解，该获取模块111可以用于执行上述步骤S110，关于该获取模块111的详细实现方式可以参照上述对步骤S110有关的内容。

提取卷积模块112，用于根据预先配置的混合卷积训练模型提取内脏三维样本的卷积堆叠矩阵，并对卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征。可以理解，该提取卷积模块112可以用于执行上述步骤S120，关于该提取卷积模块112的详细实现方式可以参照上述对步骤S120有关的内容。

训练模块113，用于根据三维时空卷积特征和二维时空卷积特征对混合卷积训练模型进行训练，得到训练后的图像分割模型，以通过图像分割模型对输入的内脏三维图像进行图像分割，其中，在根据二维时空卷积特征对混合卷积训练模型进行训练的过程中，根据二维时空卷积特征对混合卷积训练模型进行迁移学习训练。可以理解，该训练模块113可以用于执行上述步骤S130，关于该训练模块113的详细实现方式可以参照上述对步骤S130有关的内容。

在一种可能的实施方式中，获取模块111可以通过以下方式获取内脏三维样本集：

获取来自多个检查中心中不同CT设备各自生成的内脏三维初始图像；

根据标注指令在各个内脏三维初始图像上添加对应的分类结果，得到对应的内脏三维标注图像；

对各个内脏三维标注图像进行预处理，得到预处理后的各个内脏三维标注图像，以形成内脏三维样本集。

在一种可能的实施方式中，获取模块111可以通过以下方式述对各个内脏三维标注图像进行预处理，得到预处理后的各个内脏三维标注图像：

将每个内脏三维标注图像在各个坐标轴上的分辨率进行归一化处理；

将归一化处理分辨率后的内脏三维标注图像的影像体素值的Hu值限制在预设值范围内后，对Hu值进行归一化处理，使得内脏三维标注图像的图像值为均值为0、方差为1的图像值；

将归一化处理Hu值后的各个内脏三维标注图像进行数据扩充，得到预处理后的各个内脏三维标注图像。

在一种可能的实施方式中，混合卷积训练模型包括二维卷积网络和三维深度可分解卷积网络，三维深度可分解卷积网络，三维深度可分解卷积网络包括多个二维深度可分解卷积块。

提取卷积模块112可以通过以下方式提取内脏三维样本的卷积堆叠矩阵：

根据二维卷积网络提取内脏三维样本的二维卷积特征；

分别通过多个二维深度可分解卷积块对二维卷积特征进行N次下采样后进行卷积提取，得到多个二维深度可分解卷积结果；

将多个二维深度可分解卷积结果进行堆叠，得到内脏三维样本的卷积堆叠矩阵，其中，卷积堆叠矩阵包括二维编码输出的特征图个数、特征图坐标层数、特征图高度以及特征图宽度。

在一种可能的实施方式中，提取卷积模块112可以通过以下方式对卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征：

对卷积堆叠矩阵进行时域分解卷积，以融合卷积堆叠矩阵中的层间信息，并对卷积堆叠矩阵进行空域分解卷积，以融合卷积堆叠矩阵中的层内信息，从而得到对应的三维时空卷积特征和二维时空卷积特征。

在一种可能的实施方式中，混合卷积训练模型还包括三维空洞空间金字塔池化网络，三维深度可分解卷积网络还包括多个三维点卷积块，训练模块113可以通过以下方式对混合卷积训练模型进行训练，得到训练后的图像分割模型：

通过三维空洞空间金字塔池化层对三维时空卷积特征和二维时空卷积特征进行不同采样率的空洞卷积操作后进行特征融合堆叠，得到空洞空间金字塔池化特征；

将二维卷积特征输入到对应的三维点卷积块中进行三维逐点卷积操作，得到第一三维点卷积特征，并将多个二维深度可分解卷积结果输入到对应的三维点卷积块中进行三维逐点卷积操作，得到第二三维点卷积特征；

将第二三维点卷积特征与空洞空间金字塔池化特征进行融合后执行N次上采样操作，并将N次上采样操作后的融合特征与第一三维点卷积特征进行堆叠，得到待分类特征；

将待分类特征进行分类映射得到对应的训练分类结果；

计算训练分类结果与对应的标注的分类结果之间的交叉熵损失函数值，并根据计算得到的交叉熵损失函数值调整混合卷积训练模型的网络模型参数后，返回根据预先配置的混合卷积训练模型提取内脏三维样本的卷积堆叠矩阵的步骤，直到满足训练终止条件时，得到训练后的图像分割模型。

在一种可能的实施方式中，图像分割装置110还可以包括图像分割模块114，图像分割模块114可以用于根据图像分割模型对输入的内脏三维图像进行内脏分割和肿瘤分割，得到分割结果，该分割结果包括内脏分割结果和肿瘤分割结果。

基于同一发明构思，请参阅图6，示出了本申请实施例提供的用于执行上述图像分割方法的电子设备100的结构示意框图，该电子设备100可以包括机器可读存储介质120和处理器130。

本实施例中，机器可读存储介质120与处理器130均位于电子设备100中且二者分离设置。然而，应当理解的是，机器可读存储介质120也可以是独立于电子设备100之外，且可以由处理器130通过总线接口来访问。可替换地，机器可读存储介质120也可以集成到处理器130中，例如，可以是高速缓存和/或通用寄存器。

处理器130是该电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分，通过运行或执行存储在机器可读存储介质120内的软件程序和/或模块，以及调用存储在机器可读存储介质120内的数据，执行该电子设备100的各种功能和处理数据，从而对电子设备100进行整体监控。可选地，处理器130可包括一个或多个处理核心；例如，处理器130可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。

其中，处理器130可以是一个通用的中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制上述方法实施例提供的图像分割方法的程序执行的集成电路。

机器可读存储介质120可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmabler-Only MEMory，EEPROM)、只读光盘(Compactdisc Read-Only MEMory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。机器可读存储介质120可以是独立存在，通过通信总线与处理器130相连接。机器可读存储介质120也可以和处理器集成在一起。其中，机器可读存储介质120用于存储执行本申请方案的机器可执行指令。处理器130用于执行机器可读存储介质120中存储的机器可执行指令，以实现前述方法实施例提供的图像分割方法。

图像分割装置110可以包括存储于机器可读存储介质120中的软件功能模块(例如获取模块111、提取卷积模块112以及训练模块113)，当处理器130执行图像分割装置110包括的各个软件功能模块时可以执行前述方法实施例提供的图像分割方法。

由于本申请实施例提供的电子设备100是上述电子设备100执行的方法实施例的另一种实现形式，且电子设备100可用于执行上述方法实施例提供的图像分割方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。

进一步地，本申请实施例还提供一种包含计算机可执行指令的可读存储介质，计算机可执行指令在被执行时可以用于实现上述方法实施例提供的图像分割方法。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本申请任意实施例所提供的图像分割方法中的相关操作。

本申请实施例是参照根据本申请实施例的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像分割方法，其特征在于，应用于电子设备，所述方法包括：

获取内脏三维样本集，所述内脏三维样本集中包括标注有分类结果的多个内脏三维样本，所述分类结果包括内脏分类结果和肿瘤分类结果；

根据预先配置的混合卷积训练模型提取所述内脏三维样本的卷积堆叠矩阵，并对所述卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征；

根据所述三维时空卷积特征和二维时空卷积特征对所述混合卷积训练模型进行训练，得到训练后的图像分割模型，以通过所述图像分割模型对输入的内脏三维图像进行内脏分割和肿瘤分割，其中，在根据所述二维时空卷积特征对所述混合卷积训练模型进行训练的过程中，根据所述二维时空卷积特征对所述混合卷积训练模型进行迁移学习训练。

2.根据权利要求1所述的图像分割方法，其特征在于，所述获取内脏三维样本集的步骤，包括：

获取来自多个检查中心中不同CT设备各自生成的内脏三维初始图像；

根据标注指令在各个内脏三维初始图像上添加对应的分类结果，得到对应的内脏三维标注图像；

对各个内脏三维标注图像进行预处理，得到预处理后的各个内脏三维标注图像，以形成所述内脏三维样本集。

3.根据权利要求2所述的图像分割方法，其特征在于，所述对各个内脏三维标注图像进行预处理，得到预处理后的各个内脏三维标注图像的步骤，包括：

将每个内脏三维标注图像在各个坐标轴上的分辨率进行归一化处理；

将归一化处理分辨率后的内脏三维标注图像的影像体素值的Hu值限制在预设值范围内后，对所述Hu值进行归一化处理，使得所述内脏三维标注图像的图像值为均值为0、方差为1的图像值；

将归一化处理Hu值后的各个内脏三维标注图像进行数据扩充，得到预处理后的各个内脏三维标注图像。

4.根据权利要求1所述的图像分割方法，其特征在于，所述混合卷积训练模型包括二维卷积网络和三维深度可分解卷积网络，所述三维深度可分解卷积网络，所述三维深度可分解卷积网络包括多个二维深度可分解卷积块；

所述根据预先配置的混合卷积训练模型提取所述内脏三维样本的卷积堆叠矩阵的步骤，包括：

根据所述二维卷积网络提取内脏三维样本的二维卷积特征；

分别通过所述多个二维深度可分解卷积块对所述二维卷积特征进行N次下采样后进行卷积提取，得到多个二维深度可分解卷积结果；

将所述多个二维深度可分解卷积结果进行堆叠，得到所述内脏三维样本的卷积堆叠矩阵，其中，所述卷积堆叠矩阵包括二维编码输出的特征图个数、特征图坐标层数、特征图高度以及特征图宽度。

5.根据权利要求4所述的图像分割方法，其特征在于，所述对所述卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征的步骤，包括：

对所述卷积堆叠矩阵进行时域分解卷积，以融合所述卷积堆叠矩阵中的层间信息，并对所述卷积堆叠矩阵进行空域分解卷积，以融合所述卷积堆叠矩阵中的层内信息，从而得到对应的三维时空卷积特征和二维时空卷积特征。

6.根据权利要求4所述的图像分割方法，其特征在于，所述混合卷积训练模型还包括三维空洞空间金字塔池化网络，所述三维深度可分解卷积网络还包括多个三维点卷积块，所述根据所述三维时空卷积特征和二维时空卷积特征对所述混合卷积训练模型进行训练，得到训练后的图像分割模型的步骤，包括：

通过所述三维空洞空间金字塔池化层对所述三维时空卷积特征和二维时空卷积特征进行不同采样率的空洞卷积操作后进行特征融合堆叠，得到空洞空间金字塔池化特征；

将所述二维卷积特征输入到对应的三维点卷积块中进行三维逐点卷积操作，得到第一三维点卷积特征，并将所述多个二维深度可分解卷积结果输入到对应的三维点卷积块中进行三维逐点卷积操作，得到第二三维点卷积特征；

将所述第二三维点卷积特征与所述空洞空间金字塔池化特征进行融合后执行N次上采样操作，并将N次上采样操作后的融合特征与所述第一三维点卷积特征进行堆叠，得到待分类特征；

将所述待分类特征进行分类映射得到对应的训练分类结果；

计算所述训练分类结果与对应的标注的分类结果之间的交叉熵损失函数值，并根据计算得到的所述交叉熵损失函数值调整所述混合卷积训练模型的网络模型参数后，返回所述根据预先配置的混合卷积训练模型提取所述内脏三维样本的卷积堆叠矩阵的步骤，直到满足训练终止条件时，得到训练后的图像分割模型。

7.根据权利要求1-6中任意一项所述的图像分割方法，其特征在于，所述方法还包括：

根据所述图像分割模型对输入的内脏三维图像进行内脏分割和肿瘤分割，得到分割结果，所述分割结果包括内脏分割结果和肿瘤分割结果。

8.一种图像分割装置，其特征在于，应用于电子设备，所述装置包括：

获取模块，用于获取内脏三维样本集，所述内脏三维样本集中包括标注有分类结果的多个内脏三维样本，所述分类结果包括内脏分类结果和肿瘤分类结果；

提取卷积模块，用于根据预先配置的混合卷积训练模型提取所述内脏三维样本的卷积堆叠矩阵，并对所述卷积堆叠矩阵进行时空域分解卷积，得到对应的三维时空卷积特征和二维时空卷积特征；

训练模块，用于根据所述三维时空卷积特征和二维时空卷积特征对所述混合卷积训练模型进行训练，得到训练后的图像分割模型，以通过所述图像分割模型对输入的内脏三维图像进行内脏分割和肿瘤分割，其中，在根据所述二维时空卷积特征对所述混合卷积训练模型进行训练的过程中，根据所述二维时空卷积特征对所述混合卷积训练模型进行迁移学习训练。

9.一种电子设备，其特征在于，所述电子设备包括机器可读存储介质及处理器，所述机器可读存储介质存储有机器可执行指令，所述处理器在执行所述机器可执行指令时，该电子设备实现权利要求1-7中任意一项所述的图像分割方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有机器可执行指令，所述机器可执行指令被执行时实现权利要求1-7中任意一项所述的图像分割方法。

Images