CN112085821A - 一种基于半监督的cbct与激光扫描点云数据配准方法 - Google Patents
一种基于半监督的cbct与激光扫描点云数据配准方法 Download PDFInfo
- Publication number
- CN112085821A CN112085821A CN202010825031.6A CN202010825031A CN112085821A CN 112085821 A CN112085821 A CN 112085821A CN 202010825031 A CN202010825031 A CN 202010825031A CN 112085821 A CN112085821 A CN 112085821A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- model
- dental crown
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000007408 cone-beam computed tomography Methods 0.000 title claims abstract description 27
- 230000006870 function Effects 0.000 claims abstract description 35
- 238000005070 sampling Methods 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims abstract description 6
- 238000013135 deep learning Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 210000004746 tooth root Anatomy 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 210000000332 tooth crown Anatomy 0.000 claims description 2
- 230000008569 process Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000004053 dental implant Substances 0.000 description 1
- 210000004513 dentition Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000036346 tooth eruption Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明公开了一种基于半监督的CBCT与激光扫描点云数据配准方法。本发明获取不同来源的点云数据，分别得到完整模型点云数据和牙冠模型点云数据，然后进行去噪，对去噪后的点云数据进行下采样，通过半监督网络进行点云数据配准得到完整的点云数据，最后利用构建的损失函数对完整的点云数据进行半监督修正；本发明采用半监督或非监督的方式进行训练，通过在特征空间上最小化投影误差来解决配准问题，而不需要搜索对应项；该方法比传统的配准方法、先进的特征学习方法和深度学习配准方法具有更好的精度。可以处理明显的噪声、密度差和点云部分重叠等问题。
Description
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于半监督的CBCT与激光扫描点云数据配准方法。
背景技术
在口腔医学领域内，正畸治疗需要完整的三维牙模型进行诊断、制定正畸治疗计划和监测牙体运动等过程，与此同时完整、精确的三维牙体模型也是牙科种植体或正颌外科手术计划的必要前提，医生通过三维模型可以对病人病灶部位的三维空间位置有更加深刻的理解。获得口腔内三维牙体模型方式有两种：基于锥形束计算机断层扫描(CBCT)图像重建和直接患者口内扫描或光学扫描石膏模型方式获取。CBCT图像可快速获得患者口腔内图像包括三个视平面(矢状，冠状和横向)的解剖结构，通过CBCT图像构建完整的三维牙齿模型也是现在数字化正畸软件中常用的三维牙齿模型可视化手段，但由于CBCT的精度、切片厚度、金属伪影的影响以及患者在拍摄CBCT图像时牙齿为咬合状态，导致重建的三维牙模型的牙冠表面精度低、上下牙冠难以分开等现象。随着光学设备发展，诸多学者利用点、线激光光束或是图像传感器CCD技术直接获取三维牙模型的三角形网格模型进行研究，通过这种方法获得的数字化虚拟三维牙模型具有较高的精度，但扫描结果只能获取表面信息即牙冠与牙龈表面信息，但无法获得含有牙根的完整牙体数据。因此，对CBCT与口内激光扫描点云数据牙齿的融合配准，构建完整的三维牙模型从而辅助牙齿种植、正畸治疗是十分必要的。
点云配准是将同一三维场景或物体的不同扫描转换为一个坐标***的过程，配准对于机器人视觉和增强现实等许多任务都是至关重要的。现有的点云配准的方法主要分为以下几类：基于深度学习的配准方法、基于改进的迭代最近点ICP的配准方法、基于超体素的配准方法、基于多视图融合的配准方法。在众多配准方法中，20世纪90年代初引入的迭代最近点(ICP)算法是最著名的在欧氏(刚性)变换下高效配准两个二维或三维点集的算法，它的概念简单而直观。尽管ICP降低了一定的目标函数测量对准度，但由于问题的非凸性以及需要良好的初始化，否则很容易陷入局部极小值，导致ICP经常陷入次优局部极值。为了解决ICP的局部优化和其他困难，衍生出了许多基于ICP算法的改进算法。这些算法从移除误匹配点、构造误差度量函数、求解误差函数等角度出发进行优化。基于超体素的彩色点云数据配准方法通过添加点云的颜色信息辅助点云初始的几何对齐，使变换估计更准确地进行鲁棒配准。基于多视图融合的配准方法实现了网络内的多视图渲染，具有可优化的视点，可以与后期联合训练，并通过软视点池集中集成了视图间的卷积特性，但是该方法不适用于户外场景不能做到实时配准。
虽然目前现有配准方法经过了不断的优化，但是大部分只估计点云数据的单一特征，不能基于全局的概述点云数据的性能和状态，并且当点云数据量大时，估计全部点云数据的特征耗时长且精度低，同时受到噪音、点云重叠等因素影响，导致配准方法鲁棒性差、准确率低等问题。
发明内容
为了到满足临床需求的完整的牙齿或牙列模型，本发明提出了一种基于半监督的CBCT与激光扫描点云数据配准方法，以克服现有点云配准技术的不足。
本发明的基于半监督的CBCT与激光扫描点云数据配准方法，包括以下步骤：
1)获取不同来源的点云数据：
根据区域增长法从CBCT数据中提取出牙齿完整模型，并将牙齿完整模型转换为完整模型点云数据，以及采用激光扫描仪提取出牙冠三维模型，并将牙冠三维模型转换为牙冠模型点云数据；
2)利用统计离群消除滤波器分别对完整模型点云数据和牙冠模型点云数据进行去噪处理，得到去噪后的完整模型点云数据和牙冠模型点云数据；
3)分别对去噪后的完整模型点云数据和牙冠模型点云数据进行下采样，降低点云数据量；
4)通过半监督网络进行点云数据配准：
a)对点云数据进行初始特征提取：
通过深度学习网络DGCNN分别将下采样后的完整模型点云数据和牙冠模型点云数据逐点嵌入到高维空间中，查找完整模型点云数据和牙冠模型点云数据的匹配点对，寻找点云数据上每个匹配点对的特性，从而生成映射关系m(·)，进行刚性转换，生成全局特征向量，全局特征向量包含特征点的局部邻域信息；
b)对点云数据进行编码：
通过编码器对嵌入到高维空间中的完整模型点云数据和牙冠模型点云数据转换成二次图像，对二次图像提取含有旋转信息的特征，这样才能反映变换估计过程中的旋转差异，相比于PointNet网络采用两个mlp层和一个max-pool层提取特征，本发明方法抛弃了输入变换和特征变换层，使特征含有点云旋转性差异；
c)对特征进行解码：
采用解码器在无监督的情况下进行训练，将由完整模型点云数据和牙冠模型点云数据生成的全局特征向量以及含有旋转信息的特征分别恢复至对应的点云数据；这有助于编码器模块在知道旋转差异的情况下学习生成独特的特征；
d)以特征进行配准实现融合：
通过最小化特征度量投影误差，利用全局特征向量以及含有旋转信息的特征对完整模型点云数据和牙冠模型点云数据进行配准，从而对完整模型点云数据和牙冠模型点云数据实现融合，得到完整的点云数据，实现配准的优化；
5)构建损失函数：
分别构建倒角损失函数和几何损失函数，对倒角损失函数和几何损失函数进行叠加，得到用于半监督修正的损失函数；
6)利用构建的损失函数对步骤4)完整的点云数据进行半监督修正。
其中，在步骤1)中，从CBCT数据中提取出的牙齿完整模型包含牙冠和压根部分，为完整的牙齿模型，但分辨率低。激光扫描提供的牙冠三维模型分辨率高，但仅提供牙冠三维信息与粘膜的表面信息。
在步骤2)中，利用统计离群消除滤波器对点云数据进行去噪处理，包括以下步骤：
a)采用k近邻算法计算点云数据中每个数据点到其最近k个邻域点的平均距离d，k为选取领域点个数，设置为1～10；
b)计算平均距离d的期望值dm和标准差s；
c)根据期望值dm和标准差s，计算距离阈值dt的计算公式，
dt＝dm+λ×s
其中，λ为标准差参数，λ取值为0.1～0.3；
d)将每一个特征点的平均距离d与距离阈值dt作比较，若d>dt，则滤除该点，否则保留。
在步骤3)中，分别对去噪后的完整模型点云数据和牙冠模型点云数据进行下采样，包括以下步骤：
(1)点云数据的搜索空间划分
确定完整模型点云数据和牙冠模型点云数据在空间中的大小，得到X、Y和Z坐标轴的最小值和最大值分别为Min_x、Max_x、Min_y、Max_y、Min_z和Max_z，构建牙齿点云的最大空间范围：[Min_x,Max_x]×[Min_y,Max_y]×[Min_z,Max_z]，对牙齿点云最大范围
进行空间分割，得到牙齿点云的最大包围盒L：
其中，β为调整牙齿最大包围盒的大小因子，取值为0.5～0.8，k为选取领域点个数，设置为1～10；
(2)点云数据的法向量估计
将位于最大包围盒L内的每个完整模型点云数据和牙冠模型点云数据的数据点的法向量作为该数据点的拟合切平面的法向量，计算每个数据点的拟合切平面，完成对每个完整模型点云数据和牙冠模型点云数据的数据点局部区域的平面拟合；
(3)点云数据的曲率估计
a)利用抛物面拟合算法分别对最大包围盒L内的完整模型点云数据和牙冠模型点云数据进行曲率估计，完整模型点云数据和牙冠模型点云数据的曲面主曲率与抛物面的主曲率相同，抛物面方程为：
Z＝bx2+cxy+dy2
b)使抛物面方程的顶点xl为局部坐标系的原点，建立自身与其k个近邻点坐标系，使xl法向量与Z轴合并，旋转变换为k个最近点的局部坐标系，形成线性方程组：
AX＝Z
其中，
X＝[b c d]T，Z＝[z1 … zk]T
c)利用奇异值分解(Singular Value Decomposition，SVD)方法求解公式AX＝Z得到系数b、c和d，从而得到抛物面方程；
(4)利用b、c和d系数计算完整模型点云数据和牙冠模型点云数据的平均曲率H：
H＝b+d
将计算完整模型点云数据和牙冠模型点云数据的平均曲率与设定的阈值进行对比，这一步骤中根据牙齿的几何形状及其凹凸性，将点云数据中牙冠和牙根分为：峰、谷和脊，其中峰对应牙体牙冠表面的牙尖特征，平均曲率H>0(即局部区域为凸状)；谷对应牙体牙冠面上的沟，平均曲率H<0即局部区域为凹状)；脊对应牙体上各种脊线，根据邻点曲率确定凹凸状；对应的峰阈值设为30～50，过滤点云数据中峰的平均曲率低于峰阈值范围的点云数据；对应的谷阈值区间设为-50～-30，过滤点云数据中谷的平均曲率大于谷阈值范围的点云数据。
在步骤(2)中，数据点x的k个近邻点记为Nb(x)，n为数据点x法向量，数据点的法向量n作为该数据点的拟合切平面的法向量，用最小二乘法得到拟合切平面Tp(x)，计算k个近邻点Nb(x)的协方差矩阵，根据Nb(x)的协方差矩阵计算数据点x的k个近邻点相应的法向量；对得到的拟合切平面的法向量进行方向统一，保持相邻平面的法向量方向一致，完成对每个完整模型点云数据和牙冠模型点云数据的数据点局部区域的平面拟合。
在步骤5)中，倒角损失函数losscf为：
其中，A为单位立方体[0,1]3，p∈A是一组从单位立方体中采样的点，x是一个含有旋转信息的特性，φθi为多层感知器模型MLP中的第i次元素，S*为原始输入的牙冠模型点云数据和完整模型点云数据；J为原始输入点云中采样的点；
几何损失函数losspe为：
其中，gest为最小化估计变换矩阵，ggt为标准变换矩阵，P为一个随机的点云数据，M为点云数据的总数；f(gest·P)表示输入的牙冠模型点云数据和完整模型点云数据经过最小化估计变换矩阵变换后得到的点云数据，f(ggt·P)为输入的牙冠模型点云数据和完整模型点云数据经过标准变换矩阵变换后得到的点云数据；
用于半监督训练的损失函数为倒角损失函数以及几何损失函数的叠加：
loss＝losscf+losspe。
本发明的优点：
本发明采用半监督或非监督的方式进行训练，通过在特征空间上最小化投影误差来解决配准问题，而不需要搜索对应项。该方法比传统的配准方法、先进的特征学习方法和深度学习配准方法具有更好的精度。可以处理明显的噪声、密度差和点云部分重叠等问题。
附图说明
图1为本发明的基于半监督的CBCT与激光扫描点云数据配准方法的流程图；
图2为CBCT与激光扫描方法重建的牙齿完整模型和牙冠三维模型。
具体实施方式
下面结合附图，通过具体实施例，进一步阐述本发明。
如图1所示，本实施例的基于多视图融合的CBCT与激光扫描点云数据牙齿配准方法，包括以下步骤：
1)获取不同来源的点云数据：
根据区域增长法从CBCT数据中提取出牙齿完整模型，并将牙齿完整模型转换为完整模型点云数据，以及采用激光扫描仪提取出牙冠三维模型，并将牙冠三维模型转换为牙冠模型点云数据，如图2所示为基于CBCT与激光扫描方法重建的牙齿完整模型和牙冠三维模型。
2)利用统计离群消除滤波器分别对完整模型点云数据和牙冠模型点云数据进行去噪处理，得到去噪后的完整模型点云数据和牙冠模型点云数据。
3)分别对去噪后的完整模型点云数据和牙冠模型点云数据进行下采样，降低点云数据量。
4)通过半监督网络进行点云数据配准：
a)对点云数据进行初始特征提取：
通过深度学习网络DGCNN分别将下采样后的完整模型点云数据和牙冠模型点云数据逐点嵌入到高维空间中，查找完整模型点云数据和牙冠模型点云数据的匹配点对，寻找点云数据上每个匹配点对的特性，从而生成映射关系m(·)，进行刚性转换，生成全局特征向量，全局特征向量包含特征点的局部邻域信息；
其中，L表示网络层数，
和
表示完整模型点云数据和牙冠模型点云数据在第l层中嵌入的第m、n个点，M和N分别为下采样后的完整模型点云数据总数和牙冠模型点云数据的总数。
b)对点云数据进行编码：
编码器模块的目的是学习一个特征提取函数F，学习一个特征提取函数F，它可以为输入点云生成一个独特的特征。编码器网络设计的主要原则是生成的特征必须是考虑到点云旋转因素，这样才能反映变点云换估计过程中的旋转差异。通过编码器对嵌入到高维空间中的完整模型点云数据和牙冠模型点云数据转换成二次图像，对二次图像提取含有旋转信息的特征，这样才能反映变换估计过程中的旋转差异，相比于PointNet网络采用两个mlp层和一个max-pool层提取特征，本发明方法抛弃了输入变换和特征变换层，使特征含有点云旋转性差异。
c)对特征进行解码：
采用解码器在无监督的情况下进行训练，将由完整模型点云数据和牙冠模型点云数据生成的全局特征向量以及含有旋转信息的特征分别恢复至对应的点云数据。在编码模块生成独特的特征之后，使用解码器模块将特征恢复到点云数据中。这种解码器分支能够在无监督的情况下进行训练，这有助于编码器模块在知道旋转差异的情况下学习生成独特的特征。对于一个点云的两个旋转副本PC1和PC2，这个分支的原则是编码器为P1和P2生成不同的特征，而解码器可以将不同的特征恢复回对应的旋转的点云副本。解码器块由四层全连接层组成，通过LeakyReLU函数激活。解码器模块的输出与输入点云的维数相同。
d)构建特征度量进行配准：
通过最小化特征度量投影误差，利用全局特征向量以及含有旋转信息的对特征对点完整模型点云数据和牙冠模型云数据进行配准，从而对完整模型点云数据和牙冠模型点云数据进行图像融合，得到完整的点云数据，实现配准的优化；使用逆向组合算法(非线性优化)来估计转换参数，以最小化特征度量投影误差。特征度量投影误差定义为：
其中P和Q分别为完整模型点云数据和牙冠模型点云数据，F是编码器模块学习的特征提取函数，
是点云数据的全局特征(P或g·Q)，
为非线性函数，K为特征维数,g是变换矩阵。
5)构建损失函数：
倒角损失函数为：
其中，A为单位立方体[0,1]3，p∈A是一组从单位立方体中采样的点，x是一个含有旋转信息的特性，φθi为多层感知器模型MLP中的第i次元素，S*为原始输入的点云数据；J为原始输入点云中采样的点；
几何损失函数为：
其中，gest为最小化估计变换矩阵，ggt为标准变换矩阵，P为一个随机的点云数据，M为点云数据的总数；f(gest·P)表示输入的牙冠模型点云数据和完整模型点云数据经过最小化估计变换矩阵变换后得到的点云数据，f(ggt·P)为输入的牙冠模型点云数据和完整模型点云数据经过标准变换矩阵变换后得到的点云数据；
用于半监督训练的损失函数为倒角损失函数以及几何损失函数的叠加：
loss＝losscf+losspe。
6)利用构建的损失函数对步骤4)完整的点云数据进行半监督修正。
最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (6)
1.一种基于半监督的CBCT与激光扫描点云数据配准方法，其特征在于，所述方法包括以下步骤：
1)获取不同来源的点云数据：
根据区域增长法从CBCT数据中提取出牙齿完整模型，并将牙齿完整模型转换为完整模型点云数据，以及采用激光扫描仪提取出牙冠三维模型，并将牙冠三维模型转换为牙冠模型点云数据；
2)利用统计离群消除滤波器分别对完整模型点云数据和牙冠模型点云数据进行去噪处理，得到去噪后的完整模型点云数据和牙冠模型点云数据；
3)分别对去噪后的完整模型点云数据和牙冠模型点云数据进行下采样，降低点云数据量；
4)通过半监督网络进行点云数据配准：
a)对点云数据进行初始特征提取：
通过深度学习网络DGCNN分别将下采样后的完整模型点云数据和牙冠模型点云数据逐点嵌入到高维空间中，查找完整模型点云数据和牙冠模型点云数据的匹配点对，寻找点云数据上每个匹配点对的特性，从而生成映射关系，进行刚性转换，生成全局特征向量，全局特征向量包含特征点的局部邻域信息；
b)对点云数据进行编码：
通过编码器对嵌入到高维空间中的完整模型点云数据和牙冠模型点云数据转换成二次图像，对二次图像提取含有旋转信息的特征；
c)对特征进行解码：
采用解码器在无监督的情况下进行训练，将由完整模型点云数据和牙冠模型点云数据生成的全局特征向量以及含有旋转信息的特征分别恢复至对应的点云数据；
d)以特征进行配准实现融合：
通过最小化特征度量投影误差，利用全局特征向量以及含有旋转信息的特征对完整模型点云数据和牙冠模型点云数据进行配准，从而对完整模型点云数据和牙冠模型点云数据实现融合，得到完整的点云数据；
5)构建损失函数：
分别构建倒角损失函数和几何损失函数，对倒角损失函数和几何损失函数进行叠加，得到用于半监督修正的损失函数；
6)利用构建的损失函数对步骤4)得到的完整的点云数据进行半监督修正。
2.如权利要求1所述的基于半监督的CBCT与激光扫描点云数据配准方法，其特征在于，在步骤2)中，利用统计离群消除滤波器对点云数据进行去噪处理，包括以下步骤：
a)采用k近邻算法计算点云数据中每个数据点到其最近k个邻域点的平均距离d，k为选取领域点个数；
b)计算平均距离d的期望值dm和标准差s；
c)根据期望值dm和标准差s，计算距离阈值dt的计算公式，
dt＝dm+λ×s
其中，λ为标准差参数，λ取值为0.1～0.3；
d)将每一个特征点的平均距离d与距离阈值dt作比较，若d>dt，则滤除该点，否则保留。
3.如权利要求1所述的基于半监督的CBCT与激光扫描点云数据配准方法，其特征在于，在步骤3)中，分别对去噪后的完整模型点云数据和牙冠模型点云数据进行下采样，包括以下步骤：
(1)点云数据的搜索空间划分
确定完整模型点云数据和牙冠模型点云数据在空间中的大小，得到X、Y和Z坐标轴的最小值和最大值分别为Min_x、Max_x、Min_y、Max_y、Min_z和Max_z，构建牙齿点云的最大空间范围：[Min_x,Max_x]×[Min_y,Max_y]×[Min_z,Max_z]，对牙齿点云最大范围进行空间分割，得到牙齿点云的最大包围盒L：
其中，β为调整牙齿最大包围盒的大小因子，取值为0.5～0.8，k为选取领域点个数，设置为1～10；
(2)点云数据的法向量估计
将位于最大包围盒L内的每个完整模型点云数据和牙冠模型点云数据的数据点的法向量作为该数据点的拟合切平面的法向量，计算每个数据点的拟合切平面，完成对每个完整模型点云数据和牙冠模型点云数据的数据点局部区域的平面拟合；
(3)点云数据的曲率估计
a)利用抛物面拟合算法分别对最大包围盒L内的完整模型表面点云数据和牙冠模型表面点云数据进行曲率估计，完整模型表面点云数据和牙冠模型表面点云数据的曲面主曲率与抛物面的主曲率相同，抛物面方程为：
Z＝bx2+cxy+dy2
b)使抛物面方程的顶点xl为局部坐标系的原点，建立自身与其k个近邻点坐标系，使xl法向量与Z轴合并，旋转变换为k个最近点的局部坐标系，形成线性方程组：
AX＝Z
其中，
X＝[b c d]T，Z＝[z1…zk]T
c)利用奇异值分解方法求解公式AX＝Z得到系数b、c和d，从而得到抛物面方程；
(4)利用b、c和d系数计算完整模型点云数据和牙冠模型点云数据的平均曲率H：
H＝b+d
将计算完整模型点云数据和牙冠模型点云数据的平均曲率与设定的阈值进行对比，这一步骤中根据牙齿的几何形状及其凹凸性，将点云数据中牙冠和牙根分为：峰、谷和脊，其中峰对应牙体牙冠表面的牙尖特征，平均曲率H>0(即局部区域为凸状)；谷对应牙体牙冠面上的沟，平均曲率H<0即局部区域为凹状)；脊对应牙体上各种脊线，根据邻点曲率确定凹凸状；对应的峰阈值设为30～50，过滤点云数据中峰的平均曲率低于峰阈值范围的点云数据；对应的谷阈值区间设为-50～-30，过滤点云数据中谷的平均曲率大于谷阈值范围的点云数据。
4.如权利要求3所述的基于半监督的CBCT与激光扫描点云数据配准方法，其特征在于，在步骤(2)中，数据点x的k个近邻点记为Nb(x)，n为数据点x法向量，数据点的法向量n作为该数据点的拟合切平面的法向量，用最小二乘法得到拟合切平面Tp(x)，计算k个近邻点Nb(x)的协方差矩阵，根据Nb(x)的协方差矩阵计算数据点x的k个近邻点相应的法向量；对得到的拟合切平面的法向量进行方向统一，保持相邻平面的法向量方向一致，完成对每个完整模型点云数据和牙冠模型点云数据的数据点局部区域的平面拟合。
5.如权利要求1所述的基于半监督的CBCT与激光扫描点云数据配准方法，其特征在于，在步骤5)中，倒角损失函数losscf为：
其中，A为单位立方体[0,1]3，p∈A是一组从单位立方体中采样的点，x是一个含有旋转信息的特性，φθi为多层感知器模型MLP中的第i次元素，S*为原始输入的牙冠模型点云数据和完整模型点云数据；J为原始输入点云中采样的点。
6.如权利要求1所述的基于半监督的CBCT与激光扫描点云数据配准方法，其特征在于，在步骤5)中，几何损失函数losspe为：
其中，gest为最小化估计变换矩阵，ggt为标准变换矩阵，P为一个随机的点云数据，M为点云数据的总数；f(gest·P)为牙冠模型点云数据和完整模型点云数据经过最小化估计变换矩阵变换后得到的点云数据，f(ggt·P)为牙冠模型点云数据和完整模型点云数据经过标准变换矩阵变换后得到的点云数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010825031.6A CN112085821A (zh) | 2020-08-17 | 2020-08-17 | 一种基于半监督的cbct与激光扫描点云数据配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010825031.6A CN112085821A (zh) | 2020-08-17 | 2020-08-17 | 一种基于半监督的cbct与激光扫描点云数据配准方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112085821A true CN112085821A (zh) | 2020-12-15 |
Family
ID=73729022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010825031.6A Pending CN112085821A (zh) | 2020-08-17 | 2020-08-17 | 一种基于半监督的cbct与激光扫描点云数据配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085821A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967219A (zh) * | 2021-03-17 | 2021-06-15 | 复旦大学附属华山医院 | 基于深度学习网络的二阶段牙体点云补全方法及*** |
| CN113191973A (zh) * | 2021-04-29 | 2021-07-30 | 西北大学 | 一种基于无监督网络框架的文物点云数据去噪方法 |
| CN113397585A (zh) * | 2021-07-27 | 2021-09-17 | 朱涛 | 基于口腔cbct和口扫数据的牙体模型生成方法及*** |
| CN113610956A (zh) * | 2021-06-17 | 2021-11-05 | 深圳市菲森科技有限公司 | 一种口内扫描中特征匹配种植体的方法、装置及相关设备 |
| CN113657387A (zh) * | 2021-07-07 | 2021-11-16 | 复旦大学 | 基于神经网络的半监督三维点云语义分割方法 |
| CN115100258A (zh) * | 2022-08-29 | 2022-09-23 | 杭州三坛医疗科技有限公司 | 一种髋关节图像配准方法、装置、设备以及存储介质 |
| CN115578429A (zh) * | 2022-11-21 | 2023-01-06 | 西北工业大学 | 一种基于点云数据的模具在线精度检测方法 |
| CN118078471A (zh) * | 2024-04-29 | 2024-05-28 | 南京笑领科技有限公司 | 基于人工智能的三维牙冠建模方法、***及应用 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447908A (zh) * | 2015-12-04 | 2016-03-30 | 山东山大华天软件有限公司 | 基于口腔扫描数据和cbct数据的牙列模型生成方法 |
| CN105662608A (zh) * | 2015-12-18 | 2016-06-15 | 北京大学口腔医学院 | 一种三维数据牙齿冠根整合的方法 |
| CN107220928A (zh) * | 2017-05-31 | 2017-09-29 | 中国工程物理研究院应用电子学研究所 | 一种牙齿ct图像像素数据转化至3d打印数据的方法 |
-
2020
- 2020-08-17 CN CN202010825031.6A patent/CN112085821A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447908A (zh) * | 2015-12-04 | 2016-03-30 | 山东山大华天软件有限公司 | 基于口腔扫描数据和cbct数据的牙列模型生成方法 |
| CN105662608A (zh) * | 2015-12-18 | 2016-06-15 | 北京大学口腔医学院 | 一种三维数据牙齿冠根整合的方法 |
| CN107220928A (zh) * | 2017-05-31 | 2017-09-29 | 中国工程物理研究院应用电子学研究所 | 一种牙齿ct图像像素数据转化至3d打印数据的方法 |
Non-Patent Citations (6)
| Title |
|---|
| NING DAI等: "Reasearch and primary evaluation of an automatic fusion method for multisource tooth crown data", 《INTERNATIONAL JOURNAL FOR NUMERICAL METHODS IN BIOMEDICAL ENGINEERING》 * |
| XIAOLEI DU等: "A Point Cloud Data Reduction Method Based on Curvature", 《2009 IEEE 10TH INTERNATIONAL CONFERENCE ON COMPUTER-AIDED INDUSTRIAL DESIGN & CONCEPTUAL DESIGN》 * |
| XIAOLING REN等: "An innovative segmentation method with multi-feature fusion for 3D point cloud", 《JOURNAL OF INTELLIGENT & FUZZY SYSTEMS》 * |
| XIAOSHUI HUANG等: "Feature-Metric Registration: A Fast Semi-Supervised Approach for Robust Point Cloud Registration Without Correspondences", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| YUE WANG等: "Deep Closest Point:Learning Representations for Point Cloud Registration", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV)》 * |
| 刘浩等: "《CAD技术及其应用 MATLAB版》", 28 February 2019 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967219B (zh) * | 2021-03-17 | 2023-12-05 | 复旦大学附属华山医院 | 基于深度学习网络的二阶段牙体点云补全方法及*** |
| CN112967219A (zh) * | 2021-03-17 | 2021-06-15 | 复旦大学附属华山医院 | 基于深度学习网络的二阶段牙体点云补全方法及*** |
| CN113191973B (zh) * | 2021-04-29 | 2023-09-01 | 西北大学 | 一种基于无监督网络框架的文物点云数据去噪方法 |
| CN113191973A (zh) * | 2021-04-29 | 2021-07-30 | 西北大学 | 一种基于无监督网络框架的文物点云数据去噪方法 |
| CN113610956B (zh) * | 2021-06-17 | 2024-05-28 | 深圳市菲森科技有限公司 | 一种口内扫描中特征匹配种植体的方法、装置及相关设备 |
| CN113610956A (zh) * | 2021-06-17 | 2021-11-05 | 深圳市菲森科技有限公司 | 一种口内扫描中特征匹配种植体的方法、装置及相关设备 |
| CN113657387B (zh) * | 2021-07-07 | 2023-10-13 | 复旦大学 | 基于神经网络的半监督三维点云语义分割方法 |
| CN113657387A (zh) * | 2021-07-07 | 2021-11-16 | 复旦大学 | 基于神经网络的半监督三维点云语义分割方法 |
| CN113397585B (zh) * | 2021-07-27 | 2022-08-05 | 朱涛 | 基于口腔cbct和口扫数据的牙体模型生成方法及*** |
| CN113397585A (zh) * | 2021-07-27 | 2021-09-17 | 朱涛 | 基于口腔cbct和口扫数据的牙体模型生成方法及*** |
| CN115100258A (zh) * | 2022-08-29 | 2022-09-23 | 杭州三坛医疗科技有限公司 | 一种髋关节图像配准方法、装置、设备以及存储介质 |
| CN115578429A (zh) * | 2022-11-21 | 2023-01-06 | 西北工业大学 | 一种基于点云数据的模具在线精度检测方法 |
| CN118078471A (zh) * | 2024-04-29 | 2024-05-28 | 南京笑领科技有限公司 | 基于人工智能的三维牙冠建模方法、***及应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862171B (zh) | 基于多视图融合的cbct与激光扫描点云数据牙齿配准方法 | |
| CN112085821A (zh) | 一种基于半监督的cbct与激光扫描点云数据配准方法 | |
| CN112200843B (zh) | 一种基于超体素的cbct与激光扫描点云数据牙齿配准方法 | |
| CN113099208B (zh) | 基于神经辐射场的动态人体自由视点视频生成方法和装置 | |
| CN111063021B (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
| CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| Yamany et al. | Free-form surface registration using surface signatures | |
| Yamany et al. | Surface signatures: an orientation independent free-form surface representation scheme for the purpose of objects registration and matching | |
| CN114746952A (zh) | 用于从二维草图创建三维牙科修复体的方法、***和计算机可读存储介质 | |
| US20050089213A1 (en) | Method and apparatus for three-dimensional modeling via an image mosaic system | |
| CN112614169B (zh) | 基于深度学习网络的2d/3d脊椎ct层级配准方法 | |
| CN111784754A (zh) | 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质 | |
| CN112562082A (zh) | 一种三维人脸重建方法及*** | |
| CN115619773B (zh) | 一种三维牙齿多模态数据配准方法及*** | |
| CN110458874B (zh) | 一种图像非刚性配准方法和*** | |
| CN111899328A (zh) | 一种基于rgb数据与生成对抗网络的点云三维重建方法 | |
| CN112308895A (zh) | 一种构建真实感牙列模型的方法 | |
| CN117671138A (zh) | 一种基于SAM大模型与NeRF的数字孪生建模方法及*** | |
| CN114612532A (zh) | 一种三维牙齿配准方法、***、计算机设备及存储介质 | |
| CN115409811A (zh) | 基于曲率增强的牙齿模型重建方法、装置、设备和介质 | |
| CN116958420A (zh) | 一种数字人教师三维人脸的高精度建模方法 | |
| CN111680573A (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
| CN114240809A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN112686202A (zh) | 一种基于3d重建的人头识别方法及*** | |
| CN113379890B (zh) | 一种基于单张照片的人物浅浮雕模型生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201215 |
|
| WD01 | Invention patent application deemed withdrawn after publication |