CN111681247A - 肺叶肺段分割模型训练方法和装置 - Google Patents

Abstract

本申请实施例提供了一种肺叶肺段分割模型训练方法和装置，解决了现有肺叶肺段分割模型训练方式的准确率低的问题。该肺叶肺段分割模型训练方法包括：获取包括肺区域标记、肺叶区域标记和肺段区域标记的样本影像数据；将所述样本影像数据输入实例分割模型以获取肺叶轮廓分割结果和肺段轮廓分割结果；根据所述肺叶轮廓分割结果和所述肺段轮廓分割结果与所述肺叶区域标记和所述肺段区域标记的差别计算损失函数值；以及基于所述损失函数值调整所述实例分割模型的网络参数。

Description

肺叶肺段分割模型训练方法和装置

技术领域

本申请涉及影像分析技术领域，具体涉及一种肺叶肺段分割模型训练方法、装置、电子设备和计算机可读存储介质。

背景技术

在肺部疾病的诊疗过程中，定位疾病位置是制定治疗方案的关键步骤。肺叶和肺段分割又是定位病灶位置的第一步。传统的肺叶和肺段分割是由诊疗医生手动勾画的。由于肺部结构复杂，不同医生勾画的结果相差较大，并且低年资的医生需要耗费更多的时间来判断肺叶和肺段的位置。随着计算机技术和医疗影像技术的发展，医生可以借助计算机辅助技术来提升肺叶和肺段的分割准确率与速度。近年来，随着深度学习技术的发展，一些医疗影像技术研究者就开始将深度学习技术与医疗影像处理相结合，其中基于深度学习的肺叶分割技术就是其中一个重要的研究方向。基于深度学习的肺叶分割目前已经达到很高的准确率，并且具有很好的泛化能力。

现有的肺叶和肺段分割技术基本都属于两阶段算法，即第一阶段先实现对肺叶的分割，第二阶段实现对肺段的分割。由于完全标注肺段分割的数据获取难度极大，所以现有的深度学习模型基本都只实现了肺叶的自动化分割。肺段的分割结果需要通过肺叶分割结果来与标准肺进行配准、对比才能获取。这样的方法虽然可以获得肺叶肺段的分割结果，但是肺段的准确率较低，无法提供一个高质量的肺段轮廓。

现有的肺结构分割方法可以分为传统的图像学算法和深度学习算法。传统的图像学算法对数据的需求量小，但是泛化能力和分割准确度都十分有限。深度学习算法在拥有大量训练数据的情况下可以达到很高的分割准确率和很好的泛化能力。因此深度学习算法在标记数据容易获取的肺分割和肺叶分割等任务上都被广泛地使用。由于完整肺段分割数据的标记成本太高，所以现有的肺段分割模型基本都是基于传统图像算法的。

发明内容

有鉴于此，本申请实施例提供了一种肺叶肺段分割模型训练方法和装置，解决了现有肺叶肺段分割模型训练方式的准确率低的问题。

根据本申请的一个方面，本申请一实施例提供的一种肺叶肺段分割模型训练方法包括：获取包括肺区域标记、肺叶区域标记和肺段区域标记的样本影像数据；将所述样本影像数据输入实例分割模型以获取肺叶轮廓分割结果和肺段轮廓分割结果；根据所述肺叶轮廓分割结果和所述肺段轮廓分割结果与所述肺叶区域标记和所述肺段区域标记的差别计算损失函数值；以及基于所述损失函数值调整所述实例分割模型的网络参数。

在本申请一实施例中，所述获取包括肺区域标记、肺叶区域标记和肺段区域标记的样本影像数据包括：获取包括所述肺区域标记和所述肺叶区域标记的所述样本影像数据；获取医生在所述样本影像数据的预设层面以任意闭合形状标记的肺段区域的肺段区域标记；以及基于肺段和肺叶的结构从属信息，修正错误的肺段区域标记。

在本申请一实施例中，所述预设层面通过如下步骤获取：将包括多个层面的所述样本影像数据分成多份；以及从每一份的所述样本影像数据中随机选择一个层面作为所述预设层面。

在本申请一实施例中，所述实例分割模型的预测输出结果包括18个肺段通道和1个背景通道，所述损失函数值包括前背景损失函数值；其中，所述前背景损失函数值的计算方法包括如下三种计算方式的一种或多种组合，其中每种计算方式对应不同的组合权重：在背景通道上，采用二分类的交叉熵来计算所述前背景损失函数值；将背景通道与18个肺段通道组合成一个19分类的结果，利用二分类的交叉熵损失来计算背景通道上的所述前背景损失函数值；将背景通道与从18个肺段通道中按照特定规则选出的前景通道做二分类的交叉熵损失作为所述前背景损失函数值；其中所述特定规则包括：对于有肺段标记的像素点的所述前景通道，按照肺段标记结果选择对应肺段通道上的对应点的值作为所述前景通道上对应的像素点的值；对于只标记了肺叶的所述前景通道，从属于该肺叶的多个肺段通道中选择最大值的作为对应所述前景通道上像素点的值；其他的所述前景通道，从18个所述肺段通道中选择最大值作为所述前景通道上对应的像素点的值。

在本申请一实施例中，所述损失函数值进一步包括肺叶输出损失函数值；其中，所述肺叶输出损失函数值的计算方法包括如下两种计算方式的一种或多种组合，其中每种计算方式对应不同的组合权重：对所述18个肺段通道的内容做逻辑回归处理以获得激励函数取值，将肺叶包含的肺段的激励函数取值的和作为该肺叶的输出值；以及对于标记了肺段区域的肺叶，则选择标记肺段区域所对应的所述肺段通道的内容作为该肺叶的输出值，对于没有标记肺段区域的肺叶，从该没有标记肺段区域的肺叶所属肺段通道中最大的输出值作为该肺叶的输出值，将各个肺叶的输出值做逻辑回归处理以获得激励函数取值。

在本申请一实施例中，所述损失函数值进一步包括肺段输出损失函数值；其中，所述方法进一步包括：对所述样本影像数据做增广，对于标记了肺叶和肺段的所述样本影像数据，如果在该层面该肺叶中只包含了该一个肺段，则将该一个肺段的输出值作为整个肺叶的输出值，然后对18个所述肺段通道做逻辑回归处理得到18个所述肺段通道的概率图；其中，所述肺段输出损失函数值的计算方法包括如下三种计算方式的一种或多种组合，其中每种计算方式对应不同的组合权重：对于标记了肺段的所述样本影像数据，计算18个所述肺段通道的交叉熵损失函数值；计算排他性损失值，对于一个层面的所述样本影像数据，将该层面出现和未出现的肺段所对应的输出值分别加和，得到该层面包含和不包含的两个概率通道值，然后利用二分类的交叉熵来计算出现和未出现的肺段的损失函数值；对于没有标记肺段但是标记了肺叶的所述样本影像数据，选择该肺叶所属的肺段通道中概率值最高的那个作为该点的肺段概率值，然后对这部分的所述样本影像数据计算二分类交叉熵损失；以及对于只标记了肺分割的所述样本影像数据，从18个所述肺段通道中选择输出值最大的值作为该点的肺段输出值，对这部分的所述样本影像数据计算二分类交叉熵损失。

根据本申请的另一个方面，本申请一实施例提供的一种肺叶肺段分割模型训练装置包括：标记获取模块，配置为获取包括肺区域标记、肺叶区域标记和肺段区域标记的样本影像数据；分割模块，配置为将所述样本影像数据输入实例分割模型以获取肺叶轮廓分割结果和肺段轮廓分割结果；损失计算模块，配置为根据所述肺叶轮廓分割结果和所述肺段轮廓分割结果与所述肺叶区域标记和所述肺段区域标记的差别计算损失函数值；以及调整模块，配置为基于所述损失函数值调整所述实例分割模型的网络参数。

在本申请一实施例中，所述标记获取模块进一步配置为：获取包括所述肺区域标记和所述肺叶区域标记的所述样本影像数据；获取医生在所述样本影像数据的预设层面以任意闭合形状标记的肺段区域的肺段区域标记；以及基于肺段和肺叶的结构从属信息，修正错误的肺段区域标记。

在本申请一实施例中，所述预设层面通过如下步骤获取：将包括多个层面的所述样本影像数据分成多份；以及从每一份的所述样本影像数据中随机选择一个层面作为所述预设层面。

在本申请一实施例中，所述实例分割模型的预测输出结果包括18个肺段通道和1个背景通道，所述损失函数值包括前背景损失函数值；其中，所述损失计算模块进一步配置为通过如下三种计算方式的一种或多种组合获取所述前背景损失函数值，其中每种计算方式对应不同的组合权重：在背景通道上，采用二分类的交叉熵来计算所述前背景损失函数值；将背景通道与18个肺段通道组合成一个19分类的结果，利用二分类的交叉熵损失来计算背景通道上的所述前背景损失函数值；将背景通道与从18个肺段通道中按照特定规则选出的前景通道做二分类的交叉熵损失作为所述前背景损失函数值；其中所述特定规则包括：对于有肺段标记的像素点的所述前景通道，按照肺段标记结果选择对应肺段通道上的对应点的值作为所述前景通道上对应的像素点的值；对于只标记了肺叶的所述前景通道，从属于该肺叶的多个肺段通道中选择最大值的作为对应所述前景通道上像素点的值；其他的所述前景通道，从18个所述肺段通道中选择最大值作为所述前景通道上对应的像素点的值。

在本申请一实施例中，所述损失函数值进一步包括肺叶输出损失函数值；其中，所述损失计算模块进一步配置为通过如下两种计算方式的一种或多种组合获取所述肺叶输出损失函数值，其中每种计算方式对应不同的组合权重：对所述18个肺段通道的内容做逻辑回归处理以获得激励函数取值，将肺叶包含的肺段的激励函数取值的和作为该肺叶的输出值；以及对于标记了肺段区域的肺叶，则选择标记肺段区域所对应的所述肺段通道的内容作为该肺叶的输出值，对于没有标记肺段区域的肺叶，从该没有标记肺段区域的肺叶所属肺段通道中最大的输出值作为该肺叶的输出值，将各个肺叶的输出值做逻辑回归处理以获得激励函数取值。

在本申请一实施例中，所述损失函数值进一步包括肺段输出损失函数值；其中，所述装置进一步包括：增广模块，配置为对所述样本影像数据做增广，对于标记了肺叶和肺段的所述样本影像数据，如果在该层面该肺叶中只包含了该一个肺段，则将该一个肺段的输出值作为整个肺叶的输出值，然后对18个所述肺段通道做逻辑回归处理得到18个所述肺段通道的概率图；其中，所述损失计算模块进一步配置为通过如下步骤获取所述肺段输出损失函数值：

对于标记了肺段的所述样本影像数据，计算18个所述肺段通道的交叉熵损失函数值；计算排他性损失值，对于一个层面的所述样本影像数据，将该层面出现和未出现的肺段所对应的输出值分别加和，得到该层面包含和不包含的两个概率通道值，然后利用二分类的交叉熵来计算出现和未出现的肺段的损失函数值；对于没有标记肺段但是标记了肺叶的所述样本影像数据，选择该肺叶所属的肺段通道中概率值最高的那个作为该点的肺段概率值，然后对这部分的所述样本影像数据计算二分类交叉熵损失；以及对于只标记了肺分割的所述样本影像数据，从18个所述肺段通道中选择输出值最大的值作为该点的肺段输出值，对这部分的所述样本影像数据计算二分类交叉熵损失。

根据本申请的另一方面，本申请一实施例提供了一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一项所述的肺叶肺段分割模型训练方法。

根据本申请的另一方面，本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的肺叶肺段分割模型训练方法。

根据本申请的另一方面，本申请一实施例提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得处理器执行如上述任一所述的肺叶肺段分割模型训练方法。

本申请实施例提供的一种肺叶肺段分割模型训练方法、装置、电子设备和计算机可读存储介质，通过结合弱监督学习算法和肺结构分布来降低肺段训练数据的标记标准，即标注医生只需要在标记层面的各个肺段中绘制一个任意的多边形。基于这种标注方式，大量带有肺段标注的数据可以以较低的成本获得。此外，通过对比一个层面内肺段和肺叶的标注结果，可以有效的排除医生标记错误的样本，从而提升标记数据的审核速度和质量。最后，深度学习网络通过同时学习肺分割、肺叶分割和肺段分割这三个相互关联的任务可以在一定程度上提升各个任务的效果。

附图说明

图1所示为本申请一实施例提供的一种肺叶肺段分割模型训练方法的流程示意图。

图2所示为本申请一实施例提供的一种肺叶肺段分割模型训练方法中的标记过程的流程示意图。

图3所示为本申请一实施例提供的一种肺叶肺段分割模型训练方法中预设层面的获取过程的流程示意图。

图4所示为本申请一实施例提供的肺叶肺段分割模型训练装置的结构示意图。

图5所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如前所述，鉴于肺和肺叶分割的完整标记成本较低且标注精度较高，当前肺结构分割中的肺和肺叶分割所用的算法基本都是基于深度学习的。但是肺段的完整标注成本极高且容易标错，故目前肺段分割所用的算法基本都是基于传统图像算法的。基于传统图像算法的肺段分割在处理肺结构变化较大或者做过切除手术的肺时，分割结果准确率非常低。此外，为了得到肺、肺叶和肺段的分割结果，需要经过两个及以上的算法，这需要耗费较多的时间，从而降低了算法的实时性。

本申请发明人通过观察发现，标记医生标记完整的肺段分割时速度慢的主要原因是需要绘制太多的轮廓。如果医生不需要绘制肺段的完整轮廓，转而在肺段内绘制一个任意的多边形，医生的标记速度会提升许多。此外，由于肺段是在具有肺、肺叶分割标记的数据上进行标记的，结合肺段和肺叶的结构信息，可以在标注***中实现对部分标注错误的实时反馈，从而进一步提升标记质量。在拥有大量完整标记的肺、肺叶分割数据和部分标记的肺段数据的基础上，本发明通过结合弱监督学习算法和肺结构分布的先验知识来实现肺、肺叶和肺段的同时分割。通过同时学习这三个相互关联的分割任务，有效地提升了算法的实时性和肺、肺叶与肺段的分割准确率和泛化能力。

图1所示为本申请一实施例提供的一种肺叶肺段分割模型训练方法的流程示意图。如图1所示，该肺叶肺段分割模型训练方法包括如下步骤：

步骤101：获取包括肺区域标记、肺叶区域标记和肺段区域标记的样本影像数据。

数据标记时，为了让训练出的模型具备很好的泛化性能，需要标记大量的各种情况的样本影像数据(例如肺部CT数据)。具体而言，如图2所示，步骤101所描述的标记过程可具体包括如下步骤：

步骤1011：获取包括肺区域标记和肺叶区域标记的样本影像数据。

肺区域标记和肺叶区域标记可采用现有的标记方式获取.

步骤1012：获取医生在样本影像数据的预设层面以任意闭合形状标记的肺段区域的肺段区域标记。

同一预设层面的所有肺段都需要标记出来。由于肺段的数量是有限的(一共18个肺段)，所以首先可以构建出一个排他的损失函数，也就是别的肺段在这个层面出现的概率应该都降到零。由于肺段的分布是相对固定的，并且与肺叶的分布紧密相连。对于有肺叶分割标记的层面，该层面所能出现的肺段最多为出现肺叶所包含的所有肺段，对于不属于出现肺叶的肺段可以直接排除；此外，有些肺段不可能同时出现在同一层面，利用排他的损失函数可以有效降低标记医生的标记难度。其次，肺段区域标记必须在所标记的肺段内部。这样可以将肺段区域标记全部用于训练，并且肺段区域标记都是正确的。最后，应尽可能地增大肺段区域标记所对应的标记区域。由于肺段的边界标记十分困难，尽可能地增大标记区域可以在保证标记准确率的情况下，获取更大的监督区域。

在本申请一实施例中，如图3所示，预设层面可通过如下步骤获取：步骤301：将包括多个层面的样本影像数据分成多份(例如按序分成20份)；以及步骤302：从每一份的样本影像数据中随机选择一个层面作为预设层面。在本申请一实施例中，标记完成后还需要统计各个肺段所对应的肺段区域标记的个数是否均衡，对于标记个数过少的肺段，需要在包含这些肺段的层面补充这些肺段的肺段区域标记。

步骤1013：基于肺段和肺叶的结构从属信息，修正错误的肺段区域标记。

由于肺段是肺叶的组成部分，可以通过检查医生标记的肺段是否属于该肺叶，结合肺段和肺叶的结构从属信息，可以在标注***中实现对部分错误肺段区域标记的实时反馈，以此来提升数据审核速度和提升数据的标记质量。

步骤102：将样本影像数据输入实例分割模型以获取肺叶轮廓分割结果和肺段轮廓分割结果。

实例分割模型可使用以ResNet50+FPN(特征金字塔网络，Feature PyramidNetworks)为主干网络的Mask-RCNN进行目标的检测和分割。需要通过构建损失函数以在后续的过程中计算损失函数值。

步骤103：根据肺叶轮廓分割结果和肺段轮廓分割结果与肺叶区域标记和肺段区域标记的差别计算损失函数值。

由于一个肺包含5个肺叶，5个肺叶又可以分为18个肺段。所以实例分割模型的预测输出结果的输出通道数为19，即包括18个肺段通道和1个背景通道。在本申请一实施例中，损失函数值可包括以下几项中的一种或多种组合：前背景损失函数值、肺叶输出损失函数值和肺段输出损失函数值。通过构建前背景损失函数、肺叶损失函数和肺段损失函数，可以实现对肺分割、肺叶分割和肺段分割的同时监督；此外，在计算前背景和肺叶损失函数时，其都使用到了肺段的预测通道，这充分利用了肺部的解剖结构，从而将前背景分割、肺叶分割和肺段分割有机地结合在一起。

步骤104：基于损失函数值调整实例分割模型的网络参数。

基于损失函数值调整实例分割模型的网络参数，通过大量的样本数据不断重复上述训练过，在满足回归精度后便可使得该实例分割模型具备基于医学影像直接输出肺部分割、肺叶分割和肺段分割的能力。

由此可见，本申请实施例提供的一种肺叶肺段分割模型训练方法，通过结合弱监督学习算法和肺结构分布来降低肺段训练数据的标记标准，即标注医生只需要在标记层面的各个肺段中绘制一个任意的多边形。基于这种标注方式，大量带有肺段标注的数据可以以较低的成本获得。此外，通过对比一个层面内肺段和肺叶的标注结果，可以有效的排除医生标记错误的样本，从而提升标记数据的审核速度和质量。

在本申请一实施例中，前背景损失函数值的预测标签获取方式包括如下三种计算方式的一种或多种组合，其中每种计算方式对应不同的组合权重：

a1)在背景通道上，采用二分类的交叉熵来计算前背景损失函数值；

a2)将背景通道与18个肺段通道组合成一个19分类的结果，利用二分类的交叉熵损失来计算背景通道上的前背景损失函数值；

a3)将背景通道与从18个肺段通道中按照特定规则选出的前景通道做二分类的交叉熵损失作为前背景损失函数值；其中特定规则包括：对于有肺段标记的像素点的前景通道，按照肺段标记结果选择对应肺段通道上的对应点的值作为前景通道上对应的像素点的值；对于只标记了肺叶的前景通道，从属于该肺叶的多个肺段通道中选择最大值的作为对应前景通道上像素点的值；其他的前景通道，从18个肺段通道中选择最大值作为前景通道上对应的像素点的值。

在本申请一实施例中，肺叶输出损失函数值的预测标签获取方式包括如下两种计算方式的一种或多种组合，其中每种计算方式对应不同的组合权重：

b1)对18个肺段通道的内容做逻辑回归处理以获得激励函数取值，将肺叶包含的肺段的激励函数取值的和作为该肺叶的输出值。这样做的好处是，肺叶训练时可以实现对所有肺段的监督。

b2)对于标记了肺段区域的肺叶，则选择标记肺段区域所对应的肺段通道的内容作为该肺叶的输出值，对于没有标记肺段区域的肺叶，从该没有标记肺段区域的肺叶所属肺段通道中最大的输出值作为该肺叶的输出值，将各个肺叶的输出值做逻辑回归处理以获得激励函数取值。即，每个肺叶只选一个肺段来做它的输出。选择时，如果标记了肺段，则选择标记肺段所对应的输出作为肺叶的输出；没有标记的就直接选择最大的输出作为肺叶的输出。得到各个肺叶的输出之后，可以直接做逻辑回归，进而计算多个分类的损失。这样可以实现预测与训练的一致性。

在本申请一实施例中，对于输出损失函数值的预测标签获取，有标签的数据采用正常的多分类训练策略；无标签的数据采用弱监督的形式参与训练。有标签部分在训练时通过前处理可以在一定程度上实现对标签数据的扩增。即，对样本影像数据做增广，对于标记了肺叶和肺段的样本影像数据，如果在该层面该肺叶中只包含了该一个肺段，则将该一个肺段的输出值作为整个肺叶的输出值，然后对18个肺段通道做逻辑回归处理得到18个肺段通道的概率图。

肺段输出损失函数值的计算方法可包括如下三种计算方式的一种或多种组合，其中每种计算方式对应不同的组合权重：

c1)对于标记了肺段的样本影像数据，计算18个肺段通道的交叉熵损失函数值；

c2)计算排他性损失值，对于一个层面的样本影像数据，将该层面出现和未出现的肺段所对应的输出值分别加和，得到该层面包含和不包含的两个概率通道值，然后利用二分类的交叉熵来计算出现和未出现的肺段的损失函数值；

c3)对于没有标记肺段但是标记了肺叶的样本影像数据，选择该肺叶所属的肺段通道中概率值最高的那个作为该点的肺段概率值，然后对这部分的样本影像数据计算二分类交叉熵损失；以及

c4)对于只标记了肺分割的样本影像数据，从18个肺段通道中选择输出值最大的值作为该点的肺段输出值，对这部分的样本影像数据计算二分类交叉熵损失。

由此可见，本申请首先通过简化肺段的分割标注来提升医生的标记速度，在相同标注成本下，可以获取到数量更多和样式更加丰富的标记数据，这有助于提升算法的泛化能力。其次，肺段数据是在肺叶标记数据基础上增加的。医生在给一个标记区域选择肺段的类别时容易选错，因为一个层面内标记的肺段种类较多。但是一个肺叶所包含的肺段数量相对就少了许多，所以通过对比医生标记的肺段标签和其所在的肺叶区域就可以消除大量的肺段选错的数据，有效地提升了标注医生和审核医生的速度和质量，进一步降低了数据的成本。最后，对于一个肺叶内只有一个肺段的数据，这个肺段的分割区域可以直接扩展到整个肺叶，这在一定程度上可以进一步增加训练数据。

本申请中所提供的方法是一次直接分割出肺、肺叶和肺段的区域，这具有以下优点。首先是整个过程的总时间相对于之前多模型分割算法所需的时间减少。并且，算法整个过程都可以放在GPU上运行，相对于仅支持CPU运行的算法可以进一步提升算法的实时性。其次是算法在训练时同时学习了肺、肺叶和肺段分割这三个相互关联的任务，在一定程度上可以降低各个任务的学习难度和提升各个任务的效果。训练时，构建结构损失函数不仅有助于模型学习到肺部的生理结构，还能够提升对标记数据的利用率。结合肺部生理结构，处理仅有肺叶分割标记的数据时，可以有效地减少对应区域肺段的候选项，从而在一定程度上训练了肺段分割。此外，结合弱监督学习算法，只标记了肺叶分割的数据可以进一步提升肺段分割的效果。相对于肺、肺叶分割，肺段分割模型需要从数据中提取更多的特征，这在一定程度上可以间接提升肺和肺叶的分割效果。

图4所示为本申请一实施例提供的肺叶肺段分割模型训练装置的结构示意图。如图4所示，该一种肺叶肺段分割模型训练方法装置40包括：

标记获取模块401，配置为获取包括肺区域标记、肺叶区域标记和肺段区域标记的样本影像数据；分割模块402，配置为将样本影像数据输入实例分割模型以获取肺叶轮廓分割结果和肺段轮廓分割结果；损失计算模块403，配置为根据肺叶轮廓分割结果和肺段轮廓分割结果与肺叶区域标记和肺段区域标记的差别计算损失函数值；以及调整模块404，配置为基于损失函数值调整实例分割模型的网络参数。

在本申请一实施例中，标记获取模块401进一步配置为：获取包括肺区域标记和肺叶区域标记的样本影像数据；获取医生在样本影像数据的预设层面以任意闭合形状标记的肺段区域的肺段区域标记；以及基于肺段和肺叶的结构从属信息，修正错误的肺段区域标记。

在本申请一实施例中，预设层面通过如下步骤获取：将包括多个层面的样本影像数据分成多份；以及从每一份的样本影像数据中随机选择一个层面作为预设层面。

在本申请一实施例中，实例分割模型的预测输出结果包括18个肺段通道和1个背景通道，损失函数值包括前背景损失函数值；其中，损失计算模块403进一步配置为通过如下三种计算方式的一种或多种组合获取前背景损失函数值，其中每种计算方式对应不同的组合权重：在背景通道上，采用二分类的交叉熵来计算前背景损失函数值；将背景通道与18个肺段通道组合成一个19分类的结果，利用二分类的交叉熵损失来计算背景通道上的前背景损失函数值；将背景通道与从18个肺段通道中按照特定规则选出的前景通道做二分类的交叉熵损失作为前背景损失函数值；其中特定规则包括：对于有肺段标记的像素点的前景通道，按照肺段标记结果选择对应肺段通道上的对应点的值作为前景通道上对应的像素点的值；对于只标记了肺叶的前景通道，从属于该肺叶的多个肺段通道中选择最大值的作为对应前景通道上像素点的值；其他的前景通道，从18个肺段通道中选择最大值作为前景通道上对应的像素点的值。

在本申请一实施例中，损失函数值进一步包括肺叶输出损失函数值；其中，损失计算模块403进一步配置为通过如下两种计算方式的一种或多种组合获取肺叶输出损失函数值，其中每种计算方式对应不同的组合权重：对18个肺段通道的内容做逻辑回归处理以获得激励函数取值，将肺叶包含的肺段的激励函数取值的和作为该肺叶的输出值；以及对于标记了肺段区域的肺叶，则选择标记肺段区域所对应的肺段通道的内容作为该肺叶的输出值，对于没有标记肺段区域的肺叶，从该没有标记肺段区域的肺叶所属肺段通道中最大的输出值作为该肺叶的输出值，将各个肺叶的输出值做逻辑回归处理以获得激励函数取值。

在本申请一实施例中，损失函数值进一步包括肺段输出损失函数值；其中，装置进一步包括：增广模块，配置为对样本影像数据做增广，对于标记了肺叶和肺段的样本影像数据，如果在该层面该肺叶中只包含了该一个肺段，则将该一个肺段的输出值作为整个肺叶的输出值，然后对18个肺段通道做逻辑回归处理得到18个肺段通道的概率图；其中，损失计算模块403进一步配置为通过如下步骤获取肺段输出损失函数值：对于标记了肺段的样本影像数据，计算18个肺段通道的交叉熵损失函数值；计算排他性损失值，对于一个层面的样本影像数据，将该层面出现和未出现的肺段所对应的输出值分别加和，得到该层面包含和不包含的两个概率通道值，然后利用二分类的交叉熵来计算出现和未出现的肺段的损失函数值；对于没有标记肺段但是标记了肺叶的样本影像数据，选择该肺叶所属的肺段通道中概率值最高的那个作为该点的肺段概率值，然后对这部分的样本影像数据计算二分类交叉熵损失；以及对于只标记了肺分割的样本影像数据，从18个肺段通道中选择输出值最大的值作为该点的肺段输出值，对这部分的样本影像数据计算二分类交叉熵损失。

本申请实施例提供的一种肺叶肺段分割模型训练装置40，通过结合弱监督学习算法和肺结构分布来降低肺段训练数据的标记标准，即标注医生只需要在标记层面的各个肺段中绘制一个任意的多边形。基于这种标注方式，大量带有肺段标注的数据可以以较低的成本获得。此外，通过对比一个层面内肺段和肺叶的标注结果，可以有效的排除医生标记错误的样本，从而提升标记数据的审核速度和质量。最后，深度学习网络通过同时学习肺分割、肺叶分割和肺段分割这三个相互关联的任务可以在一定程度上提升各个任务的效果。

上述肺叶肺段分割模型训练装置40中的各个模块的具体功能和操作已经在上面参考图1到图3描述的肺叶肺段分割模型训练方法中进行了详细介绍。因此，这里将省略其重复描述。

需要说明的是，根据本申请实施例的肺叶肺段分割模型训练装置40可以作为一个软件模块和/或硬件模块而集成到电子设备50中，换言之，该电子设备50可以包括该肺叶肺段分割模型训练装置40。例如，该肺叶肺段分割模型训练装置40可以是该电子设备50的操作***中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该肺叶肺段分割模型训练装置40同样可以是该电子设备50的众多硬件模块之一。

在本申请另一实施例中，该肺叶肺段分割模型训练装置40与该电子设备50也可以是分立的设备(例如，服务器)，并且该肺叶肺段分割模型训练装置40可以通过有线和/或无线网络连接到该电子设备50，并且按照约定的数据格式来传输交互信息。

图5所示为本申请一实施例提供的电子设备的结构示意图。如图5所示，该电子设备50包括：一个或多个处理器501和存储器502；以及存储在存储器502中的计算机程序指令，计算机程序指令在被处理器501运行时使得处理器501执行如上述任一实施例的肺叶肺段分割模型训练方法。

处理器501可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器502可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器501可以运行程序指令，以实现上文的本申请的各个实施例的肺叶肺段分割模型训练方法中的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。

在一个示例中，电子设备50还可以包括：输入装置503和输出装置504，这些组件通过总线***和/或其他形式的连接机构(图5中未示出)互连。

例如，在该电子设备是如工业生产线上的机器人时，该输入装置503可以是摄像头，用于捕捉待加工零件的位置。在该电子设备是单机设备时，该输入装置503可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入装置503还可以包括例如键盘、鼠标、麦克风等等。

该输出装置504可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备50中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备50还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的肺叶肺段分割模型训练方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性肺叶肺段分割模型训练方法”部分中描述的根据本申请各种实施例的肺叶肺段分割模型训练方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种肺叶肺段分割模型训练方法，其特征在于，包括：

获取包括肺区域标记、肺叶区域标记和肺段区域标记的样本影像数据；

将所述样本影像数据输入实例分割模型以获取肺叶轮廓分割结果和肺段轮廓分割结果；

根据所述肺叶轮廓分割结果和所述肺段轮廓分割结果与所述肺叶区域标记和所述肺段区域标记的差别计算损失函数值；以及

基于所述损失函数值调整所述实例分割模型的网络参数。

2.根据权利要求1所述的方法，其特征在于，所述获取包括肺区域标记、肺叶区域标记和肺段区域标记的样本影像数据包括：

获取包括所述肺区域标记和所述肺叶区域标记的所述样本影像数据；

获取医生在所述样本影像数据的预设层面以任意闭合形状标记的肺段区域的肺段区域标记；以及

基于肺段和肺叶的结构从属信息，修正错误的肺段区域标记。

3.根据权利要求2所述的方法，其特征在于，所述预设层面通过如下步骤获取：

将包括多个层面的所述样本影像数据分成多份；以及

从每一份的所述样本影像数据中随机选择一个层面作为所述预设层面。

4.根据权利要求1所述的方法，其特征在于，所述实例分割模型的预测输出结果包括18个肺段通道和1个背景通道，所述损失函数值包括前背景损失函数值；

其中，所述前背景损失函数值的计算方法包括如下三种计算方式的一种或多种组合，其中每种计算方式对应不同的组合权重：

在背景通道上，采用二分类的交叉熵来计算所述前背景损失函数值；

将背景通道与18个肺段通道组合成一个19分类的结果，利用二分类的交叉熵损失来计算背景通道上的所述前背景损失函数值；

将背景通道与从18个肺段通道中按照特定规则选出的前景通道做二分类的交叉熵损失作为所述前背景损失函数值；其中所述特定规则包括：对于有肺段标记的像素点的所述前景通道，按照肺段标记结果选择对应肺段通道上的对应点的值作为所述前景通道上对应的像素点的值；对于只标记了肺叶的所述前景通道，从属于该肺叶的多个肺段通道中选择最大值的作为对应所述前景通道上像素点的值；其他的所述前景通道，从18个所述肺段通道中选择最大值作为所述前景通道上对应的像素点的值。

5.根据权利要求4所述的方法，其特征在于，所述损失函数值进一步包括肺叶输出损失函数值；

其中，所述肺叶输出损失函数值的计算方法包括如下两种计算方式的一种或多种组合，其中每种计算方式对应不同的组合权重：

对所述18个肺段通道的内容做逻辑回归处理以获得激励函数取值，将肺叶包含的肺段的激励函数取值的和作为该肺叶的输出值；以及

对于标记了肺段区域的肺叶，则选择标记肺段区域所对应的所述肺段通道的内容作为该肺叶的输出值，对于没有标记肺段区域的肺叶，从该没有标记肺段区域的肺叶所属肺段通道中最大的输出值作为该肺叶的输出值，将各个肺叶的输出值做逻辑回归处理以获得激励函数取值。

6.根据权利要求5所述的方法，其特征在于，所述损失函数值进一步包括肺段输出损失函数值；

其中，所述方法进一步包括：

对所述样本影像数据做增广，对于标记了肺叶和肺段的所述样本影像数据，如果在该层面该肺叶中只包含了该一个肺段，则将该一个肺段的输出值作为整个肺叶的输出值，然后对18个所述肺段通道做逻辑回归处理得到18个所述肺段通道的概率图；

其中，所述肺段输出损失函数值的计算方法包括如下三种计算方式的一种或多种组合，其中每种计算方式对应不同的组合权重：

对于标记了肺段的所述样本影像数据，计算18个所述肺段通道的交叉熵损失函数值；

计算排他性损失值，对于一个层面的所述样本影像数据，将该层面出现和未出现的肺段所对应的输出值分别加和，得到该层面包含和不包含的两个概率通道值，然后利用二分类的交叉熵来计算出现和未出现的肺段的损失函数值；

对于没有标记肺段但是标记了肺叶的所述样本影像数据，选择该肺叶所属的肺段通道中概率值最高的那个作为该点的肺段概率值，然后对这部分的所述样本影像数据计算二分类交叉熵损失；以及

对于只标记了肺分割的所述样本影像数据，从18个所述肺段通道中选择输出值最大的值作为该点的肺段输出值，对这部分的所述样本影像数据计算二分类交叉熵损失。

7.一种肺叶肺段分割模型训练装置，其特征在于，包括：

标记获取模块，配置为获取包括肺区域标记、肺叶区域标记和肺段区域标记的样本影像数据；

分割模块，配置为将所述样本影像数据输入实例分割模型以获取肺叶轮廓分割结果和肺段轮廓分割结果；

损失计算模块，配置为根据所述肺叶轮廓分割结果和所述肺段轮廓分割结果与所述肺叶区域标记和所述肺段区域标记的差别计算损失函数值；以及

调整模块，配置为基于所述损失函数值调整所述实例分割模型的网络参数。

8.根据权利要求7所述的装置，其特征在于，所述标记获取模块进一步配置为：获取包括所述肺区域标记和所述肺叶区域标记的所述样本影像数据；获取医生在所述样本影像数据的预设层面以任意闭合形状标记的肺段区域的肺段区域标记；以及基于肺段和肺叶的结构从属信息，修正错误的肺段区域标记。

9.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至6中任一所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至6中任一所述的方法。

Images