CN110458852B - 基于胶囊网络的肺组织分割方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于胶囊网络的肺组织分割方法，该方法通过将待分割的胸部CT图像输入至分割网络的卷积层，得到第一特征图；再将第一特征图输入至与分割网络的胶囊层，得到第二特征图；最后，根据第二特征图的每个像素点对应多维向量的模值，对第二特征图进行二值化处理，得到肺组织分割图像。因此，本发明通过分割网络的卷积层提取胸部CT图像的底层特征，再通过分割网络的胶囊层对底层特征进行矢量化操作，能够在训练学习过程中学习到更高维度且具有层次结构的特征，从而在分割胸部CT图像中肺组织时，能够更加准确地描述出目标间的区别，实现胸部CT图像的精准肺组织分割。

Description

基于胶囊网络的肺组织分割方法、装置、设备及存储介质

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种基于胶囊网络的肺组织分割方法、装置、设备及存储介质。

背景技术

医学图像分割是计算机视觉与医学交叉领域的重要研究方向之一，尤其近年来，基于深度学习的图像分割方法在图像语义分割领域发展极为迅速，取得了巨大的成就，涌现出大批优秀的网络结构，如Unet、全卷积神经网络FCN，深度卷积自编码器SegNet及密集神经网络DenseNet等。目前，已有使用上述模型进行肺分割的研究成果发表在主流学术刊物上。

应用上述深度学习方法进行胸部CT图像语义分割以实现精准肺分割时，需要对模型进行有监督学习，即要具有相当经验的专家(通常是临床医师或物理师)对构成训练集的大量图像进行像素级标定，该工作极为繁琐。而且，胸部CT图像中解剖结构数量繁多且形态各异，主要包括肺组织、血管、气管、骨骼等，在进行肺分割时，理想情况下应将非肺目标完全剔除，这为训练集标定增加了难度，如对气管等具有多分枝的树状结构进行像素级标定难度极大，且不够准确。

目前，可获的训练集通常为粗标定数据，即未对气管等目标进行完全剔除。如图1所示，两幅图像切片取自同一胸部CT图像，由人工进行标定，某些切片(图1a)在分割肺组织时排除了气管，另一些(图1b)将气管包含在肺组织以内，故直接采用以上深度学习方法进行肺分割时，由于难以获得大量精确标定的训练集，使得所获分割精度有限。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于：提供一种基于胶囊网络的肺组织分割方法，通过融合胶囊网络能够学习到更高维度且具有层次结构的特征，从更准确的描述目标间的区别，实现胸部CT图像的精准肺组织分割。

为实现上述发明目的，本发明提供以下技术方案：

将待分割的胸部CT图像输入至分割网络的卷积层，得到第一特征图；

将所述第一特征图输入至与分割网络的胶囊层，得到第二特征图；

根据所述第二特征图的每个像素点对应多维向量的模值，对所述第二特征图进行二值化处理，得到肺组织分割图像；其中，将多维向量的模值符合阈值要求的像素点判决为肺组织的像素点。

根据一种具体的实施方式，本发明基于胶囊网络的肺组织分割方法中，所述分割网络的训练方式为：

将训练图像输入至所述分割网络的卷积层，得到相应的第一特征图；

将第一特征图输入至所述分割网络的胶囊层，通过各个胶囊层后，输出相应的第二特征图；

将第二特征图输入至所述分割网络的全连接层，重建出输入的训练图像；

利用与所述训练图像对应的已准确标定的胸部CT图像，以及第二特征图和重建的训练图像，计算损失函数的值；

若所述损失函数的值大于预设值，则反向更新所述分割网络的网络参数；

重复上述步骤，直至所述损失函数的值小于或等于所述预设值。

进一步地，本发明基于胶囊网络的肺组织分割方法中，所述胶囊层的不同层级间至少建立一个跳跃连接，并将所述跳跃连接级联在一起。

进一步地，本发明基于胶囊网络的肺组织分割方法中，所述损失函数的值包括第二特征图与已准确标定的胸部CT图像之间的Margin Loss值和DICE距离值，以及重建的训练图像与输入的训练图像之间的均方误差值和l₁范数。

根据一种具体的实施方式，本发明基于胶囊网络的肺组织分割方法中，采用Adam方法优化求解，以反向更新所述分割网络的网络参数。

基于同一发明构思，本发明还提供一种基于胶囊网络的肺组织分割装置，其包括：

第一特征图提取模块，用于将待分割的胸部CT图像输入至分割网络的卷积层，得到第一特征图；

第二特征图生成模块，用于将所述第一特征图输入至与分割网络的胶囊层，得到第二特征图；

模值计算模块，用于根据第二特征图的每个像素点对应多维向量，计算出该多维向量的模值；

二值化处理模块，用于根据所述第二特征图的每个像素点对应多维向量的模值，对所述第二特征图进行二值化处理，得到肺组织分割图像；其中，将多维向量的模值符合阈值要求的像素点判决为肺组织的像素点。

本发明还提供一种电子设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，而且，所述处理器执行所述计算机程序时实现本发明基于胶囊网络的肺组织分割方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明基于胶囊网络的肺组织分割方法的步骤。

与现有技术相比，本发明的有益效果：

本发明基于胶囊网络的肺组织分割方法，首先通过将待分割的胸部CT图像输入至分割网络的卷积层，得到第一特征图；再将第一特征图输入至与分割网络的胶囊层，得到第二特征图；最后，根据第二特征图的每个像素点对应多维向量的模值，对第二特征图进行二值化处理，得到肺组织分割图像。因此，本发明通过分割网络的卷积层提取胸部CT图像的底层特征，再通过分割网络的胶囊层对底层特征进行矢量化操作，并在训练学习过程中学习到更高维度且具有层次结构的特征，从而在分割胸部CT图像中肺组织时，能够更加准确地描述出目标间的区别，实现胸部CT图像的精准肺组织分割。

附图说明

图1为胸部CT图像的标定图；

图2为本发明的流程图；

图3为本发明分割网络的结构示意图；

图4为本发明训练集中的图像；

图5为人工粗标定结果与采用本发明方法分割结果的对比图；

图6为本发明装置的结构示意图。

附图标记列表

100-第一特征图提取模块，200-第二特征图生成模块，300-模值计算模块，400-二值化处理模块。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

如图2和图3所示，本发明基于胶囊网络的肺组织分割方法包括：

第一步：将待分割的胸部CT图像输入至分割网络的卷积层，得到第一特征图。具体的，本发明分割网络的卷积层采用卷积神经网络中的16个5×5×5的卷积核构成，若输入为尺寸为512×512×144的胸部CT扫描图像I_CT，经过该卷积层以后获得16个尺寸为512×512×144的第一特征图I_CONV。

第二步：将第一特征图I_CONV输入至与分割网络的胶囊层，得到第二特征图I_DCONV；具体的，由于在胶囊网络结构中，不同类型的胶囊节点能够提取不同的高级语义特征，第一特征图I_CONV包含了512×512×144个同类型的胶囊节点，每个胶囊节点由16维的向量表示。胶囊网络结构每级胶囊节点的类型和维度如表1所示：

	胶囊类型	胶囊节点维度
			I<sub>CONV</sub>	1	16
I<sub>Cap1</sub>	2	16
			I<sub>Cap2</sub>	2	16
I<sub>Cap3</sub>	4	32
			I<sub>Cap4</sub>	4	16
I<sub>Cap5</sub>	2	16
			I<sub>Cap6</sub>	2	16
I<sub>DCONV</sub>	1	16

最终，经过胶囊网络的输出I_DCONV的尺寸为512×512×144×16，然后，根据第二特征图I_DCONV的每个像素点对应16维向量，计算出该16维向量的模值；即计算坐标为(x,y,z)位置上的像素对应的16维向量

的模值||i_x,y,z||₂，并将像素对应的16维向量的模值作为判决该像素点是否属于肺组织的依据，即根据第二特征图I_DCONV的每个像素点对应16维向量的模值，对第二特征图I_DCONV进行二值化处理，二值化处理时将16维向量的模值符合阈值要求的像素点判决为肺组织的像素点，从而得到肺组织分割图像。

在实施时，第二特征图的每个像素点对应16维向量的模值作为表示该像素点为肺组织的概率，若概率大于0.5的像素判决为肺组织，标签为1，小于0.5的像素判决为非肺组织，标签为0，完成肺组织分割过程。

如图3所示，本发明基于胶囊网络的肺组织分割方法中，胶囊网络结构中的胶囊层包括低层胶囊节点(I_Cap1,I_Cap2)、中层胶囊节点(I_Cap3,I_Cap4)和高层胶囊节点(I_Cap5,I_Cap6)。

本发明的分割网络中，卷积层与低层胶囊节点I_Cap1之间进行步长卷积，低层胶囊节点I_Cap1,I_Cap2二者进行卷积，低层胶囊节点I_Cap2与中层胶囊节点I_Cap3进行步长卷积，中层胶囊节点I_Cap3,I_Cap4二者进行卷积，中层胶囊节点I_Cap4的输出解卷积后与低层胶囊节点I_Cap2的输出级联输入至高层胶囊节点I_Cap5，且低层胶囊节点I_Cap2与高层胶囊节点I_Cap5跳跃连接，高层胶囊节点I_Cap5,I_Cap6二者进行卷积，高层胶囊节点I_Cap6的输出解卷积后与卷积层的输出级联输入至全连接层。在胶囊网络结构中，由于胶囊层的不同层级间建立了一个跳跃连接，并将跳跃连接级联在一起，从而获得图像特征的多尺度信息。

具体的，本发明基于胶囊网络的肺组织分割方法中，分割网络的训练方式为：

将训练图像输入至分割网络的卷积层，得到相应的第一特征图I_CONV；

将第一特征图I_CONV输入至分割网络的胶囊层，通过各个胶囊层后，输出相应的第二特征图I_DCONV；

将第二特征图I_DCONV输入至分割网络的全连接层，重建出输入的训练图像

利用与训练图像对应的已准确标定的胸部CT图像I_GT，以及第二特征图I_DCONV和重建的训练图像

计算损失函数的值.

若损失函数的值大于预设值，则反向更新分割网络的网络参数；

重复上述步骤，直至损失函数的值小于或等于预设值。

在实施时，本发明中全连接网络具有两层，分别包含64个和128个节点，其主要功能是根据I_DCONV重建出的输入图像

重建误差将在离线训练过程中辅助网络训练。本发明采用的训练图像如图4所示，包含胸部CT图像I_CT和已准确标定的胸部CT图像I_GT。

根据已准确标定的胸部CT图像I_GT、第二特征图I_DCONV和重建的训练图像

计算损失函数。在实施时，本发明基于胶囊网络的肺组织分割方法中，损失函数的值包括第二特征图I_DCONV与已准确标定的胸部CT图像I_GT之间的Margin Loss值和DICE距离值，以及重建的训练图像与输入的训练图像之间的均方误差值和l₁范数。

具体的，损失函数为：

L_total＝L_margin+0.0005L_{reconstruction}+0.0001L_Dice+0.0005L_l1

其中，L_margin表示I_Seg和I_GT间的Margin Loss，L_{reconstruction}表示

和I_CT间的均方误差，L_Dice表示二值化后的I_Seg和I_GT间的DICE距离，L_l1表示

和I_CT间的l₁范数。具体的，I_Seg为概率图，其像素点的取值表示该像素点为肺组织的概率，即通过计算第二特征图I_DCONV的每个像素点对应16维向量的模值，得到概率图I_Seg。

本发明基于胶囊网络的肺组织分割方法中，采用Adam方法优化求解损失函数。

如图5所示，绿色轮廓为人工粗标定结果，红色轮廓为采用本发明基于胶囊网络的肺组织分割方法的分割结果，显而易见地，本发明对肺组织的勾画更为细致。因此，本发明通过分割网络的卷积层提取胸部CT图像的底层特征，再通过分割网络的胶囊层对底层特征进行矢量化操作，能够在训练学习过程中学习到更高维度且具有层次结构的特征，从而在分割胸部CT图像中肺组织时，能够更加准确地描述出目标间的区别，实现胸部CT图像的精准肺组织分割。

如图6所示，本发明还提供一种基于胶囊网络的肺组织分割装置，其包括：

第一特征图提取模块100，用于将待分割的胸部CT图像输入至分割网络的卷积层，得到第一特征图；

第二特征图生成模块200，用于将第一特征图输入至与分割网络的胶囊层，得到第二特征图；

模值计算模块300，用于根据第二特征图的每个像素点对应多维向量，计算出该多维向量的模值；

二值化处理模块400，用于根据第二特征图的每个像素点对应多维向量的模值，对第二特征图进行二值化处理，得到肺组织分割图像；其中，将多维向量的模值符合阈值要求的像素点判决为肺组织的像素点。

本发明还提供一种电子设备，包括存储器及处理器，存储器上存储有可在处理器上运行的计算机程序，而且，处理器执行计算机程序时实现本发明基于胶囊网络的肺组织分割方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明基于胶囊网络的肺组织分割方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。

由于该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现能够本发明的基于胶囊网络的肺组织分割方法的步骤。其中，由于各个步骤的程序逻辑不同，可采用专用处理器或通用芯片来执行相应的步骤，以提高整个程序的处理效率，并合理地控制成本。因此，本领域技术人员可根据具体应用情况，对本发明基于胶囊网络的肺组织分割装置中的处理器和计算机程序的数量进行适应性地设计与调整。在实施时，本发明的基于胶囊网络的肺组织分割装置可以采用智能手机、平板电脑和笔记本电脑等智能硬件。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于胶囊网络的肺组织分割方法，其特征在于，包括：

将待分割的胸部CT图像输入至分割网络的卷积层，得到第一特征图；

将所述第一特征图输入至分割网络的胶囊层，得到第二特征图；

根据所述第二特征图的每个像素点对应多维向量的模值，对所述第二特征图进行二值化处理，得到肺组织分割图像；其中，将多维向量的模值符合阈值要求的像素点判决为肺组织的像素点；

其中的胶囊网络结构中的胶囊层包括低层胶囊节点(I_Cap1,I_Cap2)、中层胶囊节点(I_Cap3,I_Cap4)和高层胶囊节点(I_Cap5,I_Cap6)；

分割网络中，卷积层与低层胶囊节点I_Cap1之间进行步长卷积，低层胶囊节点I_Cap1,I_Cap2二者进行卷积，低层胶囊节点I_Cap2与中层胶囊节点I_Cap3进行步长卷积，中层胶囊节点I_Cap3,I_Cap4二者进行卷积，中层胶囊节点I_Cap4的输出解卷积后与低层胶囊节点I_Cap2的输出级联输入至高层胶囊节点I_Cap5，且低层胶囊节点I_Cap2与高层胶囊节点I_Cap5跳跃连接，高层胶囊节点I_Cap5,I_Cap6二者进行卷积，高层胶囊节点I_Cap6的输出解卷积后与卷积层的输出级联输入至全连接层； 在胶囊网络结构中，由于胶囊层的不同层级间建立了一个跳跃连接，并将跳跃连接级联在一起。

2.如权利要求1所述的基于胶囊网络的肺组织分割方法，其特征在于，所述分割网络的训练方式为：

将训练图像输入至所述分割网络的卷积层，得到相应的第一特征图；

将第一特征图输入至所述分割网络的胶囊层，通过各个胶囊层后，输出相应的第二特征图；

将第二特征图输入至所述分割网络的全连接层，重建出输入的训练图像；

利用与所述训练图像对应的已准确标定的胸部CT图像，以及第二特征图和重建的训练图像，计算损失函数的值；

若所述损失函数的值大于预设值，则反向更新所述分割网络的网络参数；

重复上述步骤，直至所述损失函数的值小于或等于所述预设值。

3.如权利要求2所述的基于胶囊网络的肺组织分割方法，其特征在于，所述胶囊层的不同层级间至少建立一个跳跃连接，并将所述跳跃连接级联在一起。

4.如权利要求2所述的基于胶囊网络的肺组织分割方法，其特征在于，所述损失函数的值包括第二特征图与已准确标定的胸部CT图像之间的Margin Loss值和DICE距离值，以及重建的训练图像与输入的训练图像之间的均方误差值和l₁范数。

5.如权利要求4所述的基于胶囊网络的肺组织分割方法，其特征在于，采用Adam方法优化求解，以反向更新所述分割网络的网络参数。

6.一种基于胶囊网络的肺组织分割装置，其特征在于，包括：

第一特征图提取模块，用于将待分割的胸部CT图像输入至分割网络的卷积层，得到第一特征图；

第二特征图生成模块，用于将所述第一特征图输入至分割网络的胶囊层，得到第二特征图；

模值计算模块，用于根据第二特征图的每个像素点对应多维向量，计算出该多维向量的模值；

二值化处理模块，用于根据所述第二特征图的每个像素点对应多维向量的模值，对所述第二特征图进行二值化处理，得到肺组织分割图像；其中，将多维向量的模值符合阈值要求的像素点判决为肺组织的像素点；

其中的胶囊网络结构中的胶囊层包括低层胶囊节点(I_Cap1,I_Cap2)、中层胶囊节点(I_Cap3,I_Cap4)和高层胶囊节点(I_Cap5,I_Cap6)；

分割网络中，卷积层与低层胶囊节点I_Cap1之间进行步长卷积，低层胶囊节点I_Cap1,I_Cap2二者进行卷积，低层胶囊节点I_Cap2与中层胶囊节点I_Cap3进行步长卷积，中层胶囊节点I_Cap3,I_Cap4二者进行卷积，中层胶囊节点I_Cap4的输出解卷积后与低层胶囊节点I_Cap2的输出级联输入至高层胶囊节点I_Cap5，且低层胶囊节点I_Cap2与高层胶囊节点I_Cap5跳跃连接，高层胶囊节点I_Cap5,I_Cap6二者进行卷积，高层胶囊节点I_Cap6的输出解卷积后与卷积层的输出级联输入至全连接层； 在胶囊网络结构中，由于胶囊层的不同层级间建立了一个跳跃连接，并将跳跃连接级联在一起。

7.一种电子设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images