CN116152500A - 一种基于深度学习的全自动牙齿cbct图像分割方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的全自动牙齿CBCT图像分割方法，属于计算机视觉领域。该方法分为边缘图像获取阶段、多帧输入阶段和图像分割阶段。在边缘图像获取阶段，先获取牙齿CBCT图像中的边缘图像，再将得到的边缘图像与原图相加；在多帧输入阶段，将增强图像在通道上进行叠加，从单通道图像叠加成三通道的图像；在图像分割阶段，首先通过骨干网络对多帧输入阶段处理后的图像进行特征提取，然后将提取到的特征图送入候选区生成模块，完成在牙齿CBCT图像中针对牙齿的分割。本发明能够更准确的分割出多变的牙齿形状，准确的提取出牙根部分，能够有效减少牙齿将口腔中骨骼分割为牙齿的错误。

Description

一种基于深度学习的全自动牙齿CBCT图像分割方法

技术领域

本发明属于计算机视觉领域，涉及一种基于深度学习的全自动牙齿CBCT图像分割方法。

背景技术

口腔治疗主要包括口腔正畸、种植牙和拔牙。锥形束计算机断层扫描(CBCT)是一种广泛用于牙科问题研究的诊断成像技术。通过准确的牙齿分割，医生可以做出更准确的治疗决策和计划。为了重建3D牙齿模型，牙齿的准确分割至关重要。目前，这项工作由专业操作人员手动完成，然而，操作员手动标记是一项耗时的任务，并且结果的准确性取决于操作员。从CBCT图像中自动准确地分割单个牙齿对于建立有效的计算机辅助诊断***以进行正畸、牙种植体模拟和其他牙科治疗至关重要。从条件快速变化的CBCT图像中准确识别和分割牙齿目前来说有一定的难度，主要原因包括：

(1)图像对比度低：牙科CBCT图像中个体组织之间的灰度相似，对比度低。例如，牙齿的灰度与牙槽骨和颚骨比较相似，这会导致图像中牙齿的边界模糊。

(2)灰度不均匀：牙齿结构可分为三部分，即牙釉质、牙本质和牙髓。三部分的成像效果灰度差异显著，导致图像中个别牙齿的灰度不同，增加了分割难度。

(3)个体组织器官的复杂多样性：个体牙齿的拓扑结构差异很大，在冠区看到的单个完整牙齿可能在根区***成2～5个分支。

(4)图像中存在共同边界：有可能共同边界被错误划分，将两颗牙齿识别为同一颗牙齿。

(5)分辨率低：虽然CBCT图像很大，但每颗牙齿的尺寸很小，直径大约20-40像素。

目前针对上述问题，业界已经提出了各种方法来相应解决，这些方法可以分为两类：需要手工制作特征的传统方法和通常需要大量样本的深度学习方法。传统方法通常是半自动的，需要人工处理，然而人工操作不能满足不同病情患者的需求。最先进的方法通常采用完全卷积网络(FCN)作为分层学习的主要组成部分，然后，这些方法以实例分割或语义分割的形式将局部到全局的特征集成到牙齿轮廓中，实例分割首先检测或定位不同牙齿的位置，然后分割目标。这种方法可能会将相邻的牙齿错误分类到同一类别中，因为它们在CBCT图像中看起来相似。语义分割方法对牙齿的所有描述执行密集组像素到体素的预测。然而，由于相对较大的输入图像的感知范围有限，这些语义分割网络无法将单个牙齿准确地标记为多个类别。此外，由于相似的灰度，这些方法可能会将骨骼分割成牙齿。当前的深度学习方法的性能仅限于牙齿分割的特定任务，这主要是由于它们易于使用通用网络架构。因此，目前在基于深度学习的CBCT图像分割领域中，仍然需要建立一种能够准确将牙齿CBCT图像进行分割的方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度学习的全自动牙齿CBCT图像分割方法，对CBCT图像中的各种类型牙齿进行准确和全自动的分割，减少图像中骨骼的分割错误，提高分割精度。

为达到上述目的，本发明提供如下技术方案：

一种基于深度学习的全自动牙齿CBCT图像分割方法，该方法分为边缘图像获取阶段、多帧输入阶段和图像分割阶段。

在边缘图像获取阶段，先获取牙齿CBCT图像中的边缘图像，将得到的边缘图像与原图相加以增强图像的边缘特征。

在多帧输入阶段，将经过边缘图像获取阶段增强了边缘特征的增强图像在通道上进行叠加，从单通道图像叠加成三通道的图像，以获取更精确的牙根分割效果。

在图像分割阶段，首先通过骨干网络对多帧输入阶段处理后的图像进行特征提取，然后将提取到的特征图送入候选区生成模块；候选区生成模块为特征图的每个像素按照三种比例和三种大小生成九个候选框，每个候选框再通过分类器和回归器对候选框内的目标进行分类和坐标的回归，再将得到的特征图分别送入分类分支、包围盒分支和掩膜分支生成不同的结果，最后再通过掩膜评分分支对掩膜的质量进行评价，得到更准确的掩膜，完成在牙齿CBCT图像中针对牙齿的分割。

进一步，边缘图像获取阶段的具体实施方式为：

首先将RGB图像转换为灰度图像，将灰度图像送入边缘提取网络中获取牙齿的边缘图像。其中边缘提取网络采用Unet的U型网络结构，该结构包括编码器、解码器和跳跃连接三个部分；在编码器部分对图像进行卷积核池化，通过对图像使用四次池化操作，能够得到四个不同尺寸的特征；在跳跃连接部分，将编码器不同层次的特征图与对应的解码器层次的特征图进行融合得到边缘图像。然后将得到的边缘图像与灰度图像相加以增强图像的边缘特征。

进一步，编码器部分包括两个3×3的卷积层和ReLu层，以及一个2×2的最大池化层；解码器部分包括一个上采样的卷积层和两个3×3的卷积层。

该边缘提取网络所采用的损失函数为交叉熵损失函数：

CE(p)＝-ylogp-(1-y)log(1-p)

式中，y表示真实的像素标签值，y∈{0,1}，p表示网络预测的像素标签值，p∈{0,1}。

进一步，在图像分割阶段，骨干网络采用的是ResNet50与特征金字塔网络的结合，同时在骨干网络中加入卷积注意力机制模块以提高骨干网络的有效性。

进一步，特征金字塔网络包括自下而上分支(down-top branch)、自上而下分支(top-down branch)以及横向连接(lateral connection)三个部分；所述自下而上分支是特征尺寸缩减的过程，其中不同尺寸的特征是各自残差块的输出；自上而下分支是最近邻上采样执行的扩展过程；横向连接将通道与自上而下模块的输出通道对齐。

本发明的有益效果在于：本发明通过获取到的边缘图对原图的边缘特征进行了增强，提高了模型对边缘的辨识度，能够更加准确的分割出多变的牙齿形状。同时，通过将相邻切片进行叠加，能够进一步的利用图像中的相邻帧信息，从而更加准确的提取出牙根部分。最后，通过引入注意力机制模块，将图像的牙齿区域的权重进行放大，并抑制了其他无关区域的权重，能够有效减少牙齿将口腔中谷歌分割为牙齿的错误。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明结构框架图；

图2为本发明与基于CNN方法进行分割的结果比较图；

图3为本发明与基于RCNN方法进行分割的结果比较图；

图4为本发明与基于Mask Scoring RCNN方法进行分割的结果比较图，(a)、(b)为Mask Scoring RCNN的分割结果，(c)、(d)为本发明的分割结果。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提出一种基于深度学习的全自动牙齿CBCT图像分割方法，该方法包括三个阶段，分别为边缘图像获取阶段、多帧输入阶段和图像分割阶段。以下对每一阶段的实施方式做详细说明。

一、边缘图像获取阶段

该阶段首先获取口腔CBCT图像中牙齿的边缘图像，然后将得到的边缘图像与原图相加，以此来增强图像的边缘特征。

首先将数据集中的RGB图像先转换为灰度图像，转换灰度图像的公式为：

I(x,y)＝0.3*R(x,y)+0.59*G(x,y)+0.11B(x,y)

其中I(x,y)表示灰度图像的像素值，R(x,y)表示原始图像的红色通道值，G(x,y)原始图像的绿色通道值，B(x,y)表示原始图像的蓝色通道值。此处将RGB图像转换为灰度图像后，能够减少图像的无用信息，加快模型的训练速度，并且能够方便后续的进一步处理。

然后将得到灰度的图像送入边缘提取网络来获取牙齿的边缘图像。边缘图像获取网络采用了Unet的U型网络结构，该结构在使用少量图片训练的同时也能够达到一定的精度。边缘获取网络采用了全卷积神经网络，网络主要包括三个部分：编码器部分、解码器部分和跳跃连接部分。其中编码器部分为网络的左半部分，每层的编码器通过两个3×3的卷积层和ReLu层再加上一个2×2的最大池化层构成。编码器部分先对图片进行卷积核池化，通过对图像使用四次池化操作，能够得到四个不同尺寸的特征。解码器部分则为网络的右半部分，每一个解码器由一个上采样的卷积层和两个3×3的卷积层构成。在跳跃连接部分，则是将编码器不同层次的特征图与对应的解码器层次的特征图进行融合。由于图像在进行解码的过程中使用了线性插值来实现上采样，这种图像还原的方法会导致图像中的部分信息丢失，因此通过跳跃连接将原始的图像特征信息与解码后的特征图进行融合，以此来恢复图像中的丢失信息。

图像的边缘提取实际上是一个二分类任务，将图像中牙齿的边缘作为目标，设置为白色，其他背景部分则设置为黑色。二分类任务中最常用的损失函数为交叉熵损失函数(Cross entropy,CE)，二元交叉熵的定义如下：

CE(p)＝-ylogp-(1-y)log(1-p)

其中，y表示真实的像素标签值，y∈{0,1}，p表示网络预测的像素标签值，p∈{0,1}。将得到的边缘图像与灰度图像相加以增强图像的边缘特征。

二、多帧输入阶段

经过边缘提取网络对CBCT图像中牙齿的边缘特征进行增强，有利于后续对牙齿边缘的准确分割，提升分割的平滑度。在输入阶段，本发明将单通道的灰度图像在通道上进行叠加，将当前的输入与相邻的两个切片进行叠加，形成三通道图像作为网络的输入。CBCT图像是一个连续的图像切片序列，相邻的切片中有着很强的关联信息，在当前切片中的牙根信息有时不够清晰，而在相邻的切片中可能存在清晰的目标，因此通过这种叠加输入的方式，能够获取更加精确的牙根分割效果。

三、图像分割阶段

该阶段先通过骨干网络对图像进行特征提取。Mask Scoring RCNN中骨干网络通常使用ResNet101，即网络层数有101层，然而，过多的层数会减缓网络的运行效率。由于CBCT图像信息与自然图像相比，背景信息更加简单，且目标类型也较少，使用层数少的网络来替代也能够取得优秀的效果，所以本发明使用ResNet50来作为骨干网络进行特征提取。此外，由于牙齿的拓扑结构复杂，形状和大小各不相同，在牙冠处，牙齿在图像中很明显，而在根部则***成多个分支，目标变小，使用单个卷积神经网络并不能很好地提取所有图像特征。因此，本发明的骨干结构最终采用特征金字塔网络(feature pyramid network,FPN)和ResNet50的结合。FPN通过使用自上而下的水平连接层次结构，从单尺度输入到构建特征金字塔网络，解决了图像中目标对象提取的多尺度问题。FPN由三部分组成：自下而上分支(down-top branch)，自上而下分支(top-down branch)和横向连接(lateralconnection)。down-top branch是特征尺寸缩减的过程，其中不同尺寸的特征是各自残差块的输出。top-down branch是最近邻上采样执行的扩展过程。横向连接将通道与自上而下模块的输出通道对齐。该结构需要的参数较少，具有较强的鲁棒性和适应性，FPN网络可以更好地针对小目标，因此使用ResNet50和FPN的组合可以更好地提取CBCT图像中牙根的特征信息。

为了进一步提高骨干网络的有效性，本发明通过向骨干网络添加卷积注意力机制模块(convolutional block attention module，CBAM)模块来引入注意力机制，即在ResNet50和FPN的两端添加了CBAM模块。CBAM可以捕捉图像中的高层语义信息，调整特征图的通道和空间权重，可以增加重要特征的权重，减少不重要部分的权重，从而增强特征提取，提高模型的分割精度。

CBAM是一个基于卷积模块的注意力模块，结合了空间和通道注意力模块，与只关注通道注意力的SENET相比，CBAM模块可以获得更好的结果。特征图的每个通道代表一个检测器，因此通道注意力集中在哪些特征上是有意义的。通道注意力模块采用全局平均和最大池化两种方法来总结全局特征以利用不同的信息，将特征图输入到通道注意模块中，该模块由基于图像宽度和高度的最大池化和平均池化组成，池化操作得到的两个结果被馈送到全连接层(MLP)，共享MLP的参数。然后模块将MLP输出的两个结果相加，使用sigmoid函数激活权重系数。最后，该模块使用权重系数与原始特征图相乘，得到新的特征图。

用公式表示为：

M_c(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

其中F表示输入的特征图，σ表示sigmoid函数，MLP表示全连接层，AvgPool表示平均池化，MaxPool表示最大池化。

在通道注意力模块之后，CBAM引入了空间注意力模块来关注特征有意义的地方。对于给定的特征图，空间注意力模块首先进行一个通道维度的最大池化和平均池化，得到两个单通道特征图。然后连接两个特征图，连接的特征图被送入卷积层以获得空间权重系数，卷积核的大小是7×7，然后权重系数乘以特征图得到新的特征图。

用公式表示为：

M_s(F)＝σ(f[AvgPool(F):MaxPool(F)])

其中，f表示卷积层。

在牙齿CBCT图像中，牙齿的位置一般是固定的，通过引入注意力模块，模型可以增加牙齿所在区域的权重，降低其他不相关区域的权重，因此可以减少模型将口腔中的骨骼划分为牙齿的错误，提高模型的鲁棒性。

将骨干网络提取到的特征图，送入候选区生成模块。候选区生成模块为特征图的每个像素按照三种比例和三种大小生成九个候选框，每个候选框再通过分类器和回归器对候选框内的目标进行分类和坐标的回归，再将得到的特征图分别送入分类分支、包围盒分支和掩膜分支生成不同的结果，并且最后再通过掩膜评分分支对掩膜的质量进行评价，得到更准确的掩膜，完成在牙齿CBCT图像中针对牙齿的分割。

本实施例通过测试数据集将本发明提出的方法与其他深度学习分割方法进行了比较，结果如下表所示：

表1各深度学习分割方法比较结果

其中，相似系数以及Jaccard相似系数的指标值越大表示与正确的分割结果越接近，从表中可以看出本发明两项指标都是最优的，能够实现更加精确的分割结果。图2是本发明与基于CNN的方法进行比较的结果图，图中分别展示了牙齿灰度不均匀、牙齿灰度与牙槽相似以及牙根三种案例的分割结果。图3是本发明与基于RCNN的方法进行比较的结果图，图中展示了牙齿拓扑变化较大时的分割结果。图4是本发明与基于Mask Scoring RCNN的方法进行比较的结构图，图中展示了包含骨骼部分的分割结果，可看出Mask Scoring RCNN将口腔中的骨骼部分分割为牙根，而本发明则能够正确地检测出牙根，减少了骨骼分割的错误。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于深度学习的全自动牙齿CBCT图像分割方法，其特征在于：该方法分为边缘图像获取阶段、多帧输入阶段和图像分割阶段；

在边缘图像获取阶段，先获取牙齿CBCT图像中的边缘图像，将得到的边缘图像与原图相加以增强图像的边缘特征；

在多帧输入阶段，将经过边缘图像获取阶段增强了边缘特征的增强图像在通道上进行叠加，从单通道图像叠加成三通道的图像，以获取精确的牙根分割效果；

在图像分割阶段，首先通过骨干网络对多帧输入阶段处理后的图像进行特征提取，然后将提取到的特征图送入候选区生成模块；候选区生成模块为特征图的每个像素按照三种比例和三种大小生成九个候选框，每个候选框再通过分类器和回归器对候选框内的目标进行分类和坐标的回归，再将得到的特征图分别送入分类分支、包围盒分支和掩膜分支生成不同的结果，最后再通过掩膜评分分支对掩膜的质量进行评价，得到准确的掩膜，完成在牙齿CBCT图像中针对牙齿的分割。

2.根据权利要求1所述的牙齿CBCT图像分割方法，其特征在于：在所述边缘图像获取阶段，具体方式为：

首先将RGB图像转换为灰度图像，将灰度图像送入边缘提取网络中获取牙齿的边缘图像；所述边缘提取网络采用Unet的U型网络结构，该结构包括编码器、解码器和跳跃连接三个部分；在所述编码器部分对图像进行卷积核池化，通过对图像使用四次池化操作，能够得到四个不同尺寸的特征；在所述跳跃连接部分，将编码器不同层次的特征图与对应的解码器层次的特征图进行融合得到边缘图像；

然后将得到的边缘图像与灰度图像相加以增强图像的边缘特征。

3.根据权利要求2所述的牙齿CBCT图像分割方法，其特征在于：所述编码器部分包括两个3×3的卷积层和ReLu层，以及一个2×2的最大池化层；所述解码器部分包括一个上采样的卷积层和两个3×3的卷积层；

边缘提取网络所采用的损失函数为交叉熵损失函数：

CE(p)＝-ylogp-(1-y)log(1-p)

式中，y表示真实的像素标签值，y∈{0,1}，p表示网络预测的像素标签值，p∈{0,1}。

4.根据权利要求1所述的牙齿CBCT图像分割方法，其特征在于：在图像分割阶段，所述骨干网络采用ResNet50与特征金字塔网络的结合，同时在骨干网络中加入卷积注意力机制模块以提高骨干网络的有效性。

5.根据权利要求4所述的牙齿CBCT图像分割方法，其特征在于：所述特征金字塔网络包括自下而上分支(down-top branch)、自上而下分支(top-down branch)以及横向连接(lateral connection)三个部分；所述自下而上分支是特征尺寸缩减的过程，其中不同尺寸的特征是各自残差块的输出；自上而下分支是最近邻上采样执行的扩展过程；横向连接将通道与自上而下模块的输出通道对齐。

Images