CN112614127A - 一种基于端到端的交互式三维cbct牙齿图像分割算法 - Google Patents

Abstract

本发明提供一种基于端到端的交互式三维CBCT牙齿图像分割算法，包括如下步骤：步骤一、输入三维CBCT牙齿图像，用户在三维CBCT牙齿图像中对需要分割的牙齿进行标记；步骤二、获取牙齿三维ROI图像；步骤三、建立三维CBCT牙齿图像分割的端到端模型，其中利用深度学习神经网络CNN提取出所述步骤二获取的牙齿三维ROI图像的深层次特征，再利用三维的Random Walk算法进行求解，并在损失函数中加入牙齿特性先验知识，对深度学习神经网络CNN进行优化，得到优化后的端到端模型；步骤四、输入三维CBCT牙齿图像到所述的端到端模型，得到牙齿图像分割结果。

Description

一种基于端到端的交互式三维CBCT牙齿图像分割算法

技术领域

本发明涉及图像处理领域，尤其是一种基于端到端的交互式三维CBCT牙齿图像分割算法。

背景技术

牙科高速发展的核心业务正畸和种植，都需要对于口腔内部进行精确地三维建模，描绘清楚口腔内血管位置和牙颌骨厚度，因此随着正畸和种植业务渗透率提升，口腔诊所未来离不开CBCT(Cone beam CT简称CBCT，即锥形束CT)。对于口腔CBCT图像的处理方法有多种，其中，Random Walk算法是一种交互式分割算法。在2D图像分割方面有广泛的应用。该算法如果用来直接分割三维数据，有着很大的计算量方面的问题。例如，对于512×512×512的CT数据，该方法中的L矩阵的阶数约为134000000。并且是稀疏的7对角矩阵。仅存储这个矩阵就需要消耗3.5GB内存。在求解方程是更加困难。

发明内容

为了解决上述技术问题，本发明提出一种基于端到端的交互式三维CBCT牙齿图像分割算法，包括如下步骤：

步骤一、输入三维CBCT牙齿图像，用户在三维CBCT牙齿图像中对需要分割的牙齿进行标记；

步骤二、获取牙齿三维ROI图像；

步骤三、建立三维CBCT牙齿图像分割的端到端模型，其中利用深度学习神经网络CNN提取出所述步骤二获取的牙齿三维ROI图像的深层次特征，再利用三维的Random Walk算法进行求解，并在损失函数中加入牙齿特性先验知识，对深度学习神经网络CNN进行优化，得到优化后的端到端模型；

步骤四、输入三维CBCT牙齿图像到所述的端到端模型，得到牙齿图像分割结果。

有益效果：

本发明通过结合了监督学习的深度学习(CNN)和随机游走(Random Walk)算法的端到端的牙齿三维CBCT图像分割方法，利用CNN提取出CBCT数据的深层次特征，再利用Random Walk算法进行求解，提高了对三维图像分割的效率，另外，在损失函数中加入了牙齿特性方面的先验知识，对网络和模型进行优化，提高了牙齿分割的准确率。

附图说明

图1横切面标记；

图2矢状面标记；

图3冠状面标记；

图4本发明的深度学习神经网络(3D U-Net神经网络)；

图5本发明端到端模型总体结构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明提出了一种三维CBCT交互式牙齿图像分割算法，是一种结合了监督学习的深度学习神经网络(CNN)和随机游走(Random Walk)算法的端到端的三维CBCT牙齿图像分割方法，利用CNN提取出CT数据的深层次特征，再利用Random Walk算法进行求解。该方法包括以下几个步骤：

步骤一、输入三维CBCT牙齿图像，用户在三维CBCT牙齿图像中对需要分割的牙齿进行标记；

步骤二、获取牙齿三维ROI图像；

步骤三、建立三维CBCT牙齿图像分割的端到端模型，其中利用深度学习神经网络CNN提取出所述步骤二获取的牙齿三维ROI图像的深层次特征，再利用三维的Random Walk算法进行求解，并在损失函数中加入牙齿特性知识，对深度学习神经网络CNN进行优化，得到优化后的端到端模型；

步骤四、输入三维CBCT牙齿图像到所述的端到端模型，得到牙齿图像分割结果。

根据本发明的一个实施例，所述步骤一具体包括：首先用户在三维CBCT牙齿图像中的横切面，矢状面或冠状面用线或点标记出需要分割出的牙齿区域，该标记作为前景标签，以及在该标出的牙齿周围区域标记，作为背景标签，被标记的体素点集为{V_m}。如图1所示，在三维CBCT牙齿图像中的横切面标记出了待分割的牙齿区域，以及背景区域；如图2所示，在三维CBCT牙齿图像中的矢状面标记出了待分割的牙齿区域，以及背景区域；如图3所示，在三维CBCT牙齿图像中的冠状面标记出了待分割的牙齿区域，以及背景区域。

根据本发明的实施例，所述步骤二包括：图像中的ROI区域是由标记点的坐标决定的，获取标记的体素点集中X轴坐标的最小值和最大(X_min，X_max),Y轴坐标的最小值和最大值(Y_min，Y_max)，以及Z轴坐标的最小值和最大值(Z_min，Z_max)；ROI区域为[X_min-n：X_max+n，Y_min-n：Y_max+n，Z_min-n：Z_max+n]，因此得到ROI图像，这里的n是经验值，为实际牙齿大小对应的像素宽度。根据本发明的一个实施例，当像素尺寸为0.25mm时，n可以取60。

根据本发明的实施例，所述步骤三、建立三维CBCT牙齿图像分割的端到端模型，如图5所示，其中利用深度学习神经网络CNN提取出所述步骤二获取的牙齿三维ROI图像的深层次特征，(结果扩散步骤后)再利用三维的Random Walk算法进行求解，并在损失函数中加入牙齿特性先验知识，对深度学习神经网络CNN进行优化，得到优化后的端到端模型；

其中，利用深度学习神经网络CNN提取出步骤二获取的牙齿三维ROI图像的深层次特征，包括：

步骤(3.1)首先将ROI图像作为输入图像，通过以三维卷积的深度学习神经网络CNN为框架，搭建卷积-反卷积网络，该卷积-反卷积网络将ROI图像映射到一张无向的边缘加权图上；根据本发明的实施例，如图4所示，可采用3D U-Net网络，所述网络包括卷积层、最大池化层、全连接层、反卷积层、激活函数层，最后输出层。

步骤(3.2)将所述无向的边缘加权图转换成图拉普拉斯矩阵，通过随机游走算法，计算未标记点集X标签的概率，并结合牙齿的特性知识加入损失函数中，作为正则化权重惩罚，获得一个新的损失函数，通过新的损失函数来满足基础损失函数L₀的最小化和与期望的特性知识一致性最大化的平衡，从而求解最优的深度学习神经网络参数，对端到端模型进行优化。

所述步骤(3.2)中，将所述无向的边缘加权图转换成图拉普拉斯矩阵，无向的边缘加权图G＝(V，E)，V为图中的点，E为图中的边；图G中邻接关系的点v_i，v_j∈V，其中点v_i、v_j间的边e_i，j∈E，所述的边e_i，j有一个边缘重w_e,即w_i，j；所述的图拉普拉斯矩阵L，阶数约为216000，占用内存约5.7MB；所述的图拉普拉斯矩阵L为：

点v_k∈V_a，V_a是与点v_i有邻接关系的点的集合；

将无向的边缘加权图中的点集V分为两个部分，V_m为用户标记的体素点集，V_u为未标记的体素点集；考虑体素点的序列，标记的体素点在L上方，未标记的在下方，那么拉普拉斯矩阵分为两个模块：

L_m为标记体素点的矩阵，L_u为未标记点的矩阵；B为一变换矩阵。

假设Z_i，1为点V_i标记为前景的概率，定义一个维度为|V_m|×1的标记矩阵Z_m以及一个维度为|V_u|×1的未标记矩阵Z_u；通过随机游走算法，即最小化函数：

E(X)＝X^TLX (3)

获得未标记点集X标签的概率，能够得到一个稀疏的线性***，在正向传播时，该方程使用共轭梯度法进行快速求解：

L_uZ_u＝-B^TZ_m (4)

模型关于深度神经网络中权重参数θ的损失函数l最小化定义为：

其中

为真实标签；I为三维输入图像；

那么整个模型反向传播时的梯度更新为：

将CBCT图像中关于牙齿的特性知识加入损失函数中，作为正则化权重惩罚，获得一个新的损失函数：

L_new＝L₀+∑_i∈Pf_i(θ) (7)

其中L₀为基础损失函数，p为特性知识的数量，可以为一个或多个，f(·)为正则化函数，θ为网络权重参数；通过新的损失函数L_new来满足基础损失函数L₀的最小化和与期望的特性知识一致性最大化的平衡。

根据本发明的实施例，例如，所述的牙齿的特性知识是三维CBCT牙齿图像中，牙齿区域内的灰度高于背景区域灰度；并用L2正则化作为正则化函数，得到权重惩罚项：

其中，V_B是作为背景体素点的集合，W_B是作为背景体素点的权重的集合，λ为调整复杂度参数，使用牙齿的特性知识，得到输入数据X∝Hu，Hu为未标记点的灰度值，V_B＝{X_i＜threshold}；即输入数据X的大小是取决于CT图灰度值的大小，而V_B是输入数据中小于预定阀值threshold的体素点集；通过深度学习神经网络网络每层正向传播公式y＝σ(X，W)，可知与V_B相乘的权重值就是W_B；所述σ为传播函数，W为权重，对于背景点，其权重为W_B；通过给灰度值低的体素增加权重惩罚，提升网络泛化性，减少将灰度值低的体素点分割为前景的概率，通过公式(5)(7)(8)，最终网络中参数θ的损失函数l最小化定义为：

其中，N为测试数据的数量。

根据本发明的实施例，可选的，所述的基础损失函数包括：交叉熵损失，Dice损失，或Focal损失，网络训练时使用以下三个损失函数任意一个皆可：

交叉熵损失函数：

其中|V|为未标记体素点的数量，

为真实标签，Z_i为预测的标签；

Dice损失函数：

Focal损失函数：

其中α∈[0，1]调节正负样本的平衡，γ∈{0，1，2，3，...，n}调节简单样本权重降低的速率。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (10)

1.一种基于端到端的交互式三维CBCT牙齿图像分割算法，其特征在于，包括如下步骤：

步骤一、输入三维CBCT牙齿图像，用户在三维CBCT牙齿图像中对需要分割的牙齿进行标记；

步骤二、获取牙齿三维ROI图像；

步骤三、建立三维CBCT牙齿图像分割的端到端模型，其中利用深度学习神经网络CNN提取出所述步骤二获取的牙齿三维ROI图像的深层次特征，再利用三维的Random Walk算法进行求解，并在损失函数中加入牙齿特性先验知识，对深度学习神经网络CNN进行优化，得到优化后的端到端模型；

步骤四、输入三维CBCT牙齿图像到所述的端到端模型，得到牙齿图像分割结果。

2.根据权利要求1所述的一种基于端到端的交互式三维CBCT牙齿图像分割算法，其特征在于，所述步骤一具体包括：

首先用户在三维CBCT牙齿图像中的横切面，矢状面或冠状面用线或点标记出需要分割出的牙齿区域，该标记作为前景标签，以及在该标出的牙齿周围区域标记，作为背景标签，被标记的体素点集为{V_m}。

3.根据权利要求1所述的一种基于端到端的交互式三维CBCT牙齿图像分割算法，其特征在于，所述步骤二包括：

图像中的ROI区域是由标记点的坐标决定的，获取标记的体素点集中X轴坐标的最小值和最大(X_min，X_max)，Y轴坐标的最小值和最大值(Y_min，Y_max)，以及Z轴坐标的最小值和最大值(Z_min，Z_max)；ROI区域为[X_min-n：X_max+n，Y_min-n：Y_max+n，Z_min-n：Z_max+n]，因此得到ROI图像，所述的n是实际牙齿大小对应的像素宽度。

4.根据权利要求1所述的一种基于端到端的交互式三维CBCT牙齿图像分割算法，其特征在于，所述步骤三中利用深度学习神经网络CNN提取出步骤二获取的牙齿三维ROI图像的深层次特征，包括：

步骤(3.1)首先将ROI图像作为输入图像，通过以三维卷积的深度学习神经网络CNN为框架，搭建卷积-反卷积网络，该卷积-反卷积网络生成ROI的深层次特征，再将该特征映射到一张无向的边缘加权图上；

步骤(3.2)其次将所述无向的边缘加权图转换成图拉普拉斯矩阵，通过随机游走算法，计算未标记点集X标签的概率，并结合牙齿特性先验知识加入损失函数中，作为正则化权重惩罚，获得一个新的损失函数，通过新的损失函数来满足基础损失函数L₀的最小化和与期望的特性知识一致性最大化的平衡，从而求解最优的深度学习神经网络参数，对端到端模型进行优化。

5.根据权利要求4所述的一种基于端到端的交互式三维CBCT牙齿图像分割算法，其特征在于，所述步骤(3.2)中，将所述无向的边缘加权图转换成图拉普拉斯矩阵，无向的边缘加权图G＝(V，E)，V为图中的点，E为图中的边；图G中邻接关系的点v_i，v_j∈V，其中点v_i、v_j间的边e_i，j∈E，所述的边e_i，j有一个边缘重w_e，即w_i，j；所述的图拉普拉斯矩阵L：

点v_k∈V_a，V_a是与点v_i有邻接关系的点的集合；

将无向的边缘加权图中的点集V分为两个部分，V_m为用户标记的体素点集，V_u为未标记的体素点集；考虑体素点的序列，标记的体素点在L上方，未标记的在下方，那么拉普拉斯矩阵分为两个模块：

L_m为标记体素点的矩阵，L_u为未标记点的矩阵；B为一变换矩阵。

6.根据权利要求5所述的一种基于端到端的交互式三维CBCT牙齿图像分割算法，其特征在于，

假设Z_i，1为点V_i标记为前景的概率，定义一个维度为|V_m|×1的标记矩阵Z_m以及一个维度为|V_u|×1的未标记矩阵Z_u；通过随机游走算法，即最小化函数：

E(X)＝X^TLX (3)

获得未标记点集X标签的概率，能够得到一个稀疏的线性***，在正向传播时，该方程使用共轭梯度法进行快速求解：

L_uZ_u＝-B^TZ_m (4)

模型关于深度神经网络中权重参数θ的损失函数l最小化定义为：

其中

为真实标签；I为三维输入数据；

那么整个模型反向传播时的梯度更新为：

7.根据权利要求1所述的一种基于端到端的交互式三维CBCT牙齿图像分割算法，其特征在于，

将CBCT图像中关于牙齿特性先验知识加入损失函数中，作为正则化权重惩罚，获得一个新的损失函数：

L_new＝L₀+∑_i∈Pf_i(θ) (7)

其中L₀为基础损失函数，p为先验知识的数量，f(·)为正则化函数，θ为网络权重参数；通过新的损失函数L_new来满足基础损失函数L₀的最小化和与期望的特性知识一致性最大化的平衡。

8.根据权利要求1所述的一种基于端到端的交互式三维CBCT牙齿图像分割算法，其特征在于，

所述的牙齿的先验知识是三维CBCT牙齿图像中，牙齿区域内的灰度高于背景区域灰度；并用L2正则化作为正则化函数，得到权重惩罚项：

其中，V_B是作为背景体素点的集合，W_B是作为背景体素点的权重的集合，λ为调整复杂度参数，使用牙齿的特性知识，得到输入数据X∝Hu，Hu为未标记点的灰度值，V_B＝{X_i＜threshold}；即输入数据X的大小是取决于CT图灰度值的大小，而V_B是输入数据中小于预定阀值threshold的体素点集；通过深度学习神经网络网络每层正向传播公式y＝σ(X，W)，可知与V_B相乘的权重值就是W_B；所述σ为传播函数，W为权重，对于背景点，其权重为W_B；通过给灰度值低的体素增加权重惩罚，提升网络泛化性，减少将灰度值低的体素点分割为前景的概率，通过公式(5)(7)(8)，最终网络中参数θ的损失函数l最小化定义为：

其中，N为测试数据的数量。

9.根据权利要求7所述的一种基于端到端的交互式三维CBCT牙齿图像分割算法，其特征在于，

所述的基础损失函数包括：交叉熵损失，Dice损失，或Focal损失，网络训练时使用以下三个损失函数任意一个皆可：

交叉熵损失函数：

其中|V|为未标记体素点的数量，

为真实标签，Z_i为预测的标签；

Dice损失函数：

Focal损失函数：

其中α∈[0，1]调节正负样本的平衡，γ∈{0，1，2，3，...，n}调节简单样本权重降低的速率。

10.根据权利要求7所述的一种基于端到端的交互式三维CBCT牙齿图像分割算法，其特征在于，所述网络为3D U-Net网络，包括卷积层、最大池化层、全连接层、反卷积层、激活函数层，最后输出层。

Images