CN112950554B

CN112950554B - 一种基于肺分割的肺叶分割优化方法及***

Info

Publication number: CN112950554B
Application number: CN202110164279.7A
Authority: CN
Inventors: 柴象飞; 郭娜; 张路; 刘鹏飞; 张莞舒
Original assignee: Huiying Medical Technology Beijing Co ltd
Current assignee: Huiying medical technology (Beijing) Co.,Ltd.
Priority date: 2021-02-05
Filing date: 2021-02-05
Publication date: 2021-12-21
Anticipated expiration: 2041-02-05
Also published as: CN112950554A

Abstract

本发明公开了一种基于肺分割的肺叶分割优化方法及***，涉及医学图像领域。该方法包括：步骤1，获取第一肺自动分割算法模型的第一输出结果以及第二肺叶自动分割算法模型的第二输出结果，其中，所述第一肺自动分割算法模型的精度大于所述第二肺叶自动分割算法模型；步骤2，将所述第一输出结果与所述第二输出结果点乘，得到每个肺叶的独立掩膜；步骤3，分别获取每个肺叶的独立掩膜的最大连通域矩阵；步骤4，通过对每个最大连通域矩阵进行叠加处理，得到第一优化数据；步骤5，对所述第一优化数据进行计算及剔除处理，得到最终优化结果。本发明能够达到提高预测精度的效果。

Description

一种基于肺分割的肺叶分割优化方法及***

技术领域

本发明涉及医学图像领域，尤其涉及考一种基于肺分割的肺叶分割优化方法及***。

背景技术

在医学图像领域，由于训练数据获取较为困难，神经网络的往往难以训练到最优状态，这会导致预测结果的不准确。肺叶分割由于勾画困难，常常只能得到少量的训练样本，因此通常需要对肺叶分割进行后处理，使预测结果中的错误尽量减少。与肺叶相比，肺由于其边界更清晰，勾画难度要小很多，获取训练数据容易很多；同时由于肺的边界特点明确，神经网络的训练也更为容易，预测结果会更加准确。

在深度学习肺叶分割预测任务中，常常以mask为监督的方式进行训练。即深度神经网络的输出为一个与原始输入图像尺寸一致的矩阵，且该矩阵每个像素填充为0或1～5的整数，其中，0代表预测该像素位置为非肺部区域， 1～5代表该像素位置对应不同的肺叶。这种预测方式，常常会导致预测出的肺叶mask中，每一个肺叶分割可能是不连续的，同时影响肺叶分割预测的准确率。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于肺分割的肺叶分割优化方法及***。

本发明解决上述技术问题的技术方案如下：一种基于肺分割的肺叶分割优化方法，包括：

步骤1，获取第一肺自动分割算法模型的第一输出结果以及第二肺叶自动分割算法模型的第二输出结果，其中，所述第一肺自动分割算法模型的精度大于所述第二肺叶自动分割算法模型；

步骤2，将所述第一输出结果与所述第二输出结果点乘，得到每个肺叶的独立掩膜；

步骤3，分别获取每个肺叶的独立掩膜的最大连通域矩阵；

步骤4，通过对每个最大连通域矩阵进行叠加处理，得到第一优化数据；

步骤5，对所述第一优化数据进行计算及剔除处理，得到最终优化结果。

本发明的有益效果是：对两个模型输出结果的计算处理可以对输出结果进行优化，在利用肺分割的预测结果对肺叶分割的预测结果进行优化的同时，还结合了肺叶的特性，并且可以对模型处理结果中的错误结果进行校正，使得后处理结果更加精确。

进一步，步骤2具体为：

将所述第一输出结果与所述第二输出结果点乘，得到第一数据，通过对第一数据进行公式运算得到五个肺叶的独立掩膜。

进一步，步骤3具体为：

通过对五个掩膜的识别，对应得到五个最大连通域矩阵。

进一步，步骤4具体为：

步骤401，将五个最大连通域矩阵相加，得到叠加矩阵；

步骤402，将所述第一结果与所述叠加矩阵进行异或运算，得到剔除掉属于第一结果且不属于叠加矩阵的第一优化数据。

采用上述进一步方案的有益效果是，通过剔除可以使结果更加精化，同时可以使后续的优化效果更佳。

进一步，步骤5具体为：

步骤501，对所述第一优化数据进行连通域计算，得到标签图像数据；

步骤502，对所述标签图像数据中的每一个最大连通域图像数据进行膨胀运算，得到膨胀运算结果，将所述膨胀运算结果中的最大连通域图像数据剔除，得到优化后的第二优化数据；

步骤503，将所述第二优化数据与所述第二结果相乘，得到最终优化结果。

本发明解决上述技术问题的另一种技术方案如下：一种基于肺分割的肺叶分割优化***，包括：

获取模块，用于获取第一肺自动分割算法模型的第一输出结果以及第二肺叶自动分割算法模型的第二输出结果，其中，所述第一肺自动分割算法模型的精度大于所述第二肺叶自动分割算法模型；

第一优化模块，用于将所述第一输出结果与所述第二输出结果点乘，得到每个肺叶的独立掩膜；

计算模块，用于分别获取每个肺叶的独立掩膜的最大连通域矩阵；

第二优化模块，用于通过对每个最大连通域矩阵进行叠加处理，得到第一优化数据；

结果模块，用于对所述第一优化数据进行计算及剔除处理，得到最终优化结果。

进一步，第一优化模块具体用于：

进一步，计算模块具体用于：

通过对五个掩膜的识别，对应得到五个最大连通域矩阵。

进一步，第二优化模块具体用于：

将五个最大连通域矩阵相加，得到叠加矩阵，将所述第一结果与所述叠加矩阵进行异或运算，得到剔除掉属于第一结果且不属于叠加矩阵的第一优化数据。

进一步，结果模块具体用于：

对所述第一优化数据进行连通域计算，得到标签图像数据，对所述标签图像数据中的每一个最大连通域图像数据进行膨胀运算，得到膨胀运算结果，将所述膨胀运算结果中的最大连通域图像数据剔除，得到优化后的第二优化数据，将所述第二优化数据与所述第二结果相乘，得到最终优化结果。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明一种基于肺分割的肺叶分割优化方法的实施例提供的流程示意图；

图2为本发明一种基于肺分割的肺叶分割优化***的实施例提供的结构示意图。

附图中，各标号所代表的部件列表如下：

100、获取模块，200、第一优化模块，300、计算模块，400、第二优化模块，500、结果模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于肺分割的肺叶分割优化方法，包括：

步骤1，获取第一肺自动分割算法模型的第一输出结果以及第二肺叶自动分割算法模型的第二输出结果，其中，第一肺自动分割算法模型的精度大于第二肺叶自动分割算法模型；

步骤2，将第一输出结果与第二输出结果点乘，得到每个肺叶的独立掩膜；

步骤3，分别获取每个肺叶的独立掩膜的最大连通域矩阵；

步骤5，对第一优化数据进行计算及剔除处理，得到最终优化结果。

在一些可能的实施方式中，对两个模型输出结果的计算处理可以对输出结果进行优化，在利用肺分割的预测结果对肺叶分割的预测结果进行优化的同时，还结合了肺叶的特性，并且可以对模型处理结果中的错误结果进行校正，使得后处理结果更加精确。

需要说明的是，第一肺自动分割算法模型可以是任意一个肺自动分割算法，第二肺叶自动分割算法模型可以是任意一个肺叶自动分割算法，可以是深度学习算法，也可以是Unet模型，但不限于Unet模型，还可以是传统分割算法，第一肺自动分割算法模型的输出结果是肺掩膜，肺部区域为前景，前景像素填充为1，非肺部区域为背景，背景填充为0；第二肺叶自动分割算法模型的输出结果是肺叶掩膜，左肺上叶、左肺下叶、右肺上叶、右肺中叶、右肺下叶这五个区域的像素值分别填充为1/2/3/4/5，其余背景区域填充为0；

对于一个待预测其肺叶分割的原始图像IMG，使用第一肺自动分割算法模型得到肺自动分割结果Lung，使用第二肺叶自动分割算法模型得到其肺叶自动分割算法结果Lobe_origin；将Lobe_origin与Lung点乘，目的是将Lobe_origin的前景中，Lung认为不是前景的像素点置为0，得到Lobe_origin'；因为Lung中前景为1，背景为0，所以点乘之后，Lung中认为是背景的像素点，都会变为0，Lung中认为是前景的点，仍然维持原值。因此，点乘的结果就是去将Lobe_origin中Lung认为不是前景的点置为了0，达到去除的目的。根据Lobe_origin' 获取每个肺叶的独立掩膜。即获取5个与原始输入图像尺寸一致的矩阵，该矩阵每个像素填充值为0或1。0代表该像素位置为非当前肺叶位置，1该像素位置对应当前肺叶位置。命名这5个掩膜为Lobe₁～Lobe₅；Lobe_origin'与 Lobe_origin类似，填充为0代表该像素位置为非肺部区域，1代表该像素位置为左肺上叶，2代表该像素位置是左肺下叶，3代表该像素位置是右肺上叶，4 代表该像素位置是右肺中叶，5代表该像素位置是右肺下叶，这一个掩膜包含了五个肺叶的信息即，将这包含了五个肺叶信息的一个掩膜，拆分成五个掩膜，每一个掩膜填充的像素值都只由0和1组成，1代表该像素对应的是该肺叶的前景，0代表该像素对应的位置不属于该肺叶的范围，掩膜是一个和原始图片相同尺寸的矩阵。掩膜图像中每个像素填充的是0或者1，代表的是原图中该位置是背景或者前景；对与每一个Lobe_i，其中，i∈[1，2，3， 4，5]，获得其最大连通域矩阵Lobe_{i_maxConnect}，Lobe_{i_maxConnect}中的前景即认为属于肺叶i，前景就是填充为1的区域。

连通区域：指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。

连通区域标记图像：同一个连通域填充相同的值，不同的连通域填充不同的值，背景填充0。

连通区域分析：指将掩膜图像中的各个连通区域找出并标记，获得这个掩膜图像对应的连通区域标记图像；

连通区域分析算法：

第一步：逐行扫描图像，把每一行中连续的白色像素组成一个序列称为一个团，并记下它的起点、它的终点以及它所在的行号。

第二步：对于除了第一行外的所有行里的团，如果它与前一行中的所有团都没有重合区域，则给它一个新的标号；如果它仅与上一行中一个团有重合区域，则将上一行的那个团的标号赋给它；如果它与上一行的2个以上的团有重叠区域，则给当前团赋一个相连团的最小标号，并将上一行的这几个团的标记写入等价对，说明它们属于一类。

第三步：将等价对转换为等价序列，每一个序列需要给一相同的标号，因为它们都是等价的。从1开始，给每个等价序列一个标号。

第四步：遍历开始团的标记，查找等价序列，给予它们新的标记。

第五步：将每个团的标号填入标记图像中。

第六步：结束。

上述算法是获取连通区域标记图像的方法之一，也可以用其他算法获取连通区域标记图像。

最大连通区域图像：对一个连通区域标记图像，找到像素个数最多的一个连通区域(数每个连通区域的像素个数即可)，这个区域内的像素点赋值为1，其余像素点赋值为0，得到的掩膜就是最大连通区域图像；将5个 Lobe_{i_maxConnect}相加，得到Lobe_{all_maxConnect}；根据算式Lobe_rest＝Lung xor Lobe_{all_maxConnect}得到矩阵Lobe_rest，该算式的目的为求得中属于Lung但不属于Lobe_{all_maxConnect}的部分，算式中，xor表示异或；对Lobe_rest做连通域计算，获得标签图像 Lobe_{rest_label}；对于Lobe_{rest_label}中的每一个最大联通区域图像Lobe_{rest_label_j}，先进行膨胀运算，再将膨胀运算的结果减去Lobe_{rest_label_j}，得到Lobe_{rest_label_j_round}。

膨胀：将图像A与任意形状的内核B，通常为小的正方形或圆形,进行卷积。内核B有一个可定义的锚点,通常定义为内核中心点。进行膨胀操作时，将内核B划过图像,将内核B覆盖区域的最大像素值提取，并代替锚点位置的像素。

将Lobe_{rest_label_j_round}与Lobe_origin相乘，统计得到与该联通区域j相邻的像素属于哪个肺叶，然后将该联通区域Lobe_{rest_label_j}划分至该肺叶。若与该联通区域j相邻的有多个肺叶，则划分至像素占比最多的肺叶；Lobe_{rest_label_j_round}的前景实际是的Lobe_{rest_label_j}的一圈邻域像素。将Lobe_{rest_label_j_round}与Lobe_origin相乘， Lobe_{rest_label_j_round}中是0的像素都被置为0，Lobe_{rest_label_j_round}中是1的像素填充与Lobe_origin中的一致。由于Lobe_origin中填充为0代表该像素位置为非肺部区域， 1代表该像素位置为左肺上叶，2代表该像素位置是左肺下叶，3代表该像素位置是右肺上叶，4代表该像素位置是右肺中叶，5代表该像素位置是右肺下叶，因此，Lobe_{rest_label_j_round}与Lobe_origin相乘结果中，前景值是哪个数字，代表了这个像素属于哪个肺叶。统计Lobe_{rest_label_j_round}与Lobe_origin相乘结果，占比最多的那个数字，就代表了Lobe_{rest_label_j_round}的临近像素属于哪个肺叶的最多，也就说明Lobe_{rest_label_j}这个掩膜前景对应的区域更有可能属于哪个肺叶。

举例说明：Lobe_{rest_label_j_round}与Lobe_origin相乘的结果中，除值为0的像素以外，值为2的像素有421个，值为1的像素为120个，值为3/4/5的像素为 0个。那么，认为Lobe_{rest_label_j}周围像素占比最多的为2，因此Lobe_{rest_label_j}更可能与2属于同一区域，所以将Lobe_{rest_label_j}划分至2所对应的肺叶，即，左肺下叶，至此，本发明的后处理步骤完成，所得到处理后的肺叶分割mask 矩阵的每一个肺叶都是连通的，且与肺部形状完全相符。

优选地，在上述任意实施例中，步骤2具体为：

将第一输出结果与第二输出结果点乘，得到第一数据，通过对第一数据进行公式运算得到五个肺叶的独立掩膜。

优选地，在上述任意实施例中，步骤3具体为：

通过对五个掩膜的识别，对应得到五个最大连通域矩阵。

优选地，在上述任意实施例中，步骤4具体为：

步骤401，将五个最大连通域矩阵相加，得到叠加矩阵；

步骤402，将第一结果与叠加矩阵进行异或运算，得到剔除掉属于第一结果且不属于叠加矩阵的第一优化数据。

在一些可能的实施方式中，通过剔除可以使结果更加精化，同时可以使后续的优化效果更佳。

优选地，在上述任意实施例中，步骤5具体为：

步骤501，对第一优化数据进行连通域计算，得到标签图像数据；

步骤502，对标签图像数据中的每一个最大连通域图像数据进行膨胀运算，得到膨胀运算结果，将膨胀运算结果中的最大连通域图像数据剔除，得到优化后的第二优化数据；

步骤503，将第二优化数据与第二结果相乘，得到最终优化结果。

如图2所示，一种基于肺分割的肺叶分割优化***，包括：

获取模块100，用于获取第一肺自动分割算法模型的第一输出结果以及第二肺叶自动分割算法模型的第二输出结果，其中，第一肺自动分割算法模型的精度大于第二肺叶自动分割算法模型；

第一优化模块200，用于将第一输出结果与第二输出结果点乘，得到每个肺叶的独立掩膜；

计算模块300，用于分别获取每个肺叶的独立掩膜的最大连通域矩阵；

第二优化模块400，用于通过对每个最大连通域矩阵进行叠加处理，得到第一优化数据；

结果模块500，用于对第一优化数据进行计算及剔除处理，得到最终优化结果。

优选地，在上述任意实施例中，第一优化模块200具体用于：

优选地，在上述任意实施例中，计算模块300具体用于：

通过对五个掩膜的识别，对应得到五个最大连通域矩阵。

优选地，在上述任意实施例中，第二优化模块400具体用于：

将五个最大连通域矩阵相加，得到叠加矩阵，将第一结果与叠加矩阵进行异或运算，得到剔除掉属于第一结果且不属于叠加矩阵的第一优化数据。

优选地，在上述任意实施例中，结果模块500具体用于：

对第一优化数据进行连通域计算，得到标签图像数据，对标签图像数据中的每一个最大连通域图像数据进行膨胀运算，得到膨胀运算结果，将膨胀运算结果中的最大连通域图像数据剔除，得到优化后的第二优化数据，将第二优化数据与第二结果相乘，得到最终优化结果。

可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。

需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。

上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM， Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。