CN113570709B - 一种基于八叉树结构的3d牙齿分割方法 - Google Patents

一种基于八叉树结构的3d牙齿分割方法 Download PDF

Info

Publication number
CN113570709B
CN113570709B CN202110897773.4A CN202110897773A CN113570709B CN 113570709 B CN113570709 B CN 113570709B CN 202110897773 A CN202110897773 A CN 202110897773A CN 113570709 B CN113570709 B CN 113570709B
Authority
CN
China
Prior art keywords
data
tooth
octree
training
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110897773.4A
Other languages
English (en)
Other versions
CN113570709A (zh
Inventor
戴兆辉
韦虎
陈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yinjieshi Biotechnology Co ltd
Original Assignee
Hangzhou Yinjieshi Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yinjieshi Biotechnology Co ltd filed Critical Hangzhou Yinjieshi Biotechnology Co ltd
Priority to CN202110897773.4A priority Critical patent/CN113570709B/zh
Publication of CN113570709A publication Critical patent/CN113570709A/zh
Application granted granted Critical
Publication of CN113570709B publication Critical patent/CN113570709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于八叉树结构的3D牙齿分割方法。本发明包括三个阶段,分别是阶段一:样本数据采集及制作;阶段二:深度网络模型搭建及训练;阶段三:模型推断及后处理。本发明对已有的3D牙齿数据进行八叉树数据构造,再在深度卷积网络的基础上,构造类似Unet结构的八叉树卷积神经网络,最后再对模型结果进行图割算法后处理,达到3D牙齿分割和分类的目的。本发明可应用在3D牙齿标记领域,通过构造八叉树的数据方式进行牙齿自动化分割,达到减少人工交互时间的目的,以此提升设计师的工作效率。

Description

一种基于八叉树结构的3D牙齿分割方法
技术领域
本发明属于3D牙齿标记领域。提供一种基于八叉树结构的3D牙齿分割方法。本发明在八叉树的数据结构基础上,构造深度神经网络,并结合图割算法对3D牙齿数据进行分割,应用于3D牙齿标记领域。
背景技术
近年来,随着计算机技术的发展和三维(3D)扫描设备的改进,计算机辅助设计(CAD)***出现在越来越多的领域。它使用计算机和图形设备帮助设计师有效地完成费力和重复的任务。目前,正畸CAD***在现代牙科领域发挥着重要的作用。首先使用3D扫描设备采集3D牙齿模型数据作为输入,然后辅助牙医对牙齿模型进行处理,以模拟治疗效果,大大减轻牙医的负担。
牙齿分割是正畸CAD***的关键部分。目前,已经提出了许多牙齿分割方法,但全自动分割仍然是一个难题。虽然人的牙齿有一些基本的几何特征,但不同的人的牙齿是不同的,特别是患者的牙齿,往往有严重的畸形,甚至蛀牙、牙齿脱落等情况。这些条件导致传统的基于几何特征的分割方法缺乏鲁棒性,通过设置一些固定的参数难以达到自动精确分割的目的。根据先验的齿形知识,在齿的边界处存在明显的负曲率特征。然而,牙齿和牙龈的表面也有负曲率特性,会形成噪音,造成严重干扰。而近些年来在计算机视觉和计算机图形学领域,已经提出了几个具有开创性的深度神经网络(如PointNet和MeshSnet),以端到端的方式有效地分割3D形状。然而,此类方法目前也存在如下几个问题:1、前者网络忽略了局部几何上下文,而有效地进行局部结构建模已被证明是深度神经网络在细粒度分割任务中成功的关键;2、后者网络虽然考虑了用网格单元代替点作为输入,增加了局部结构信息,但其因为计算过于复杂,信息冗余度高,面对高精度3D数据时候,往往得不到最优的分割结果。
发明内容
本发明的目的是针对现有技术的不足,提供一种基于八叉树结构的3D牙齿分割方法。
本发明包括三个阶段,具体实现如下:
阶段一:样本数据采集及制作;
阶段二:深度网络模型搭建及训练;
阶段三:模型推断及后处理;
进一步的,阶段一样本数据采集及制作主要步骤如下
1.1采集内部口扫牙齿数据,获得共245个3D牙齿样本;对牙齿数据进行简化后,使得每个牙齿数据由1万个面片组成;
1.2由于3D牙齿样本个数有限,故进行了数据增广:
(1)用CAD辅助软件,对原牙齿数据进行拔除或者偏移操作;
(2)随机绕XYZ轴进行旋转操作;
(3)随机对原数据进行上下左右平移操作;
(4)随机对原数据进行放大或缩小操作;
所述的原数据是指245个3D牙齿样本。
1.3对得到的原数据和增广后的数据进行面片标注,并通过相关软件可视化标注结果,人工排查误标注,达到清洗数据的目的。
1.4对已经标注好的数据进行八叉树结构转换,树的深度为8,并转换成支持深度网络读取的数据格式。
二、阶段二深度网络模型搭建及训练步骤如下
2.1构建深度网络模型
本发明深度网络模型如下:
参数说明:Input(octree)是制作好后的八叉树结构数据;Conv-1、Conv-2、Conv-3、Conv-4、Conv-5和Conv-6是卷积结构,卷积结构包括卷积层、正则化层和激活层,见图2;Deconv-2、Deconv-3、Deconv-4、Deconv-5、Deconv-6、Deconv-7和Deconv-8是反卷积结构;反卷积结构包括反卷积层、正则化层和激活层组成见图2;Pool-1、Pool-2、Pool-3、Pool-4、Pool-5和Pool-6是池化层;Unpool-1、Unpool-2、Unpool-3、Unpool-4、Unpool-5和Unpool-6是反池化层;Fc是全连接层,共17类输出,包含背景和16类牙齿类别。这里的卷积层、池化层和反池化层都是特殊的层,由文献[1]提出,这些层可以处理八叉树结构的数据,从而达到最初卷积、池化和反池化的效果。
2.2训练深度网络模型
训练深度网络模型时,为保证训练的效率和稳定性每次训练都随机提供一小批样本,这里每批次样本数设置为20个八叉树结构的牙齿数据,总共设置迭代5万次,目标损失函数采用交叉熵损失函数,计算公式如下:
公式说明:M是类别数,N是每批次训练的样本数,yic是指示变量(0或1),pic是对于观测样本i属于类别c预测概率。整个项目训练完5万次迭代,保留的模型是验证集上损失最低且准确率最高的模型。
2.3优化网络模型
采用SGD-M算法对深度网络模型进行优化,即带有动量的随机梯度下降方法,其算法公式如下:
mt=γmt-1+ηgt
其中,η是初始学习率,gt是当前梯度,γ是动量项。在本次训练过程中,η设置为0.1,γ设置为了0.9;mt表示当前t时刻的能量值。
本发明在优化卷积网络过程中为防止过拟合在最后全连接层加入了dropout,随机保留八叉树结构中50%的叶子节点,此外设置学习策略为step策略,每迭代训练1万步,降低学习率到之前的0.1。
三、模型推断及后处理主要步骤如下
通过阶段二得到优化后的深度网络模型。在实际模型推断的时候,得到八叉树叶子节点的真实标签的索引数据及其对应类别的概率数据。但是因为在构造八叉树时,选取的树的深度为8,其并不能完整包含所有的面片信息,故最后结果再应用图割算法[2],最终结果如图3。
本发明有益效果如下:
本发明可应用在3D牙齿标记领域,通过构造八叉树的数据方式进行牙齿自动化分割,达到减少人工交互时间的目的,以此提升设计师的工作效率。
附图说明
图1为本发明训练及测试的流程;
图2为本发明Conv和Deconv的网络结构;
图3为本发明3D牙齿自动化标记结果。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
如图1-3所示,本发明提供一种基于八叉树结构的3D牙齿分割方法。八叉树(Octree)是一种用于描述三维空间的树状数据结构,本发明对已有的3D牙齿数据进行八叉树数据构造,再在深度卷积网络的基础上,构造类似Unet结构的八叉树卷积神经网络,最后再对模型结果进行图割算法后处理,达到3D牙齿分割和分类的目的。
基于八叉树,重新构造3D牙齿数据,并通过学习得到一个类似Unet结构的深度网络模型。在实际使用的时,把模型结果再用图割算法进行后处理,从而完成对3D牙齿的自动化标记任务。整个模型框架分三个阶段,整个流程见图1(本专利的流程图),每个阶段都会有一系列的步骤,三个阶段如下:
阶段一:样本数据采集及制作;
阶段二:深度网络模型搭建及训练;
阶段三:模型推断及后处理;
进一步的,阶段一样本数据采集及制作主要步骤如下
1.1采集内部口扫牙齿数据,获得共245个3D牙齿样本;对牙齿数据进行简化后,使得每个牙齿数据由1万个面片组成;
1.2由于3D牙齿样本个数有限,故进行了数据增广:
(3)用CAD辅助软件,对原牙齿数据进行拔除或者偏移操作;
(4)随机绕XYZ轴进行旋转操作;
(5)随机对原数据进行上下左右平移操作;
(6)随机对原数据进行放大或缩小操作;
所述的原数据是指245个3D牙齿样本。
1.3对得到的原数据和增广后的数据进行面片标注,并通过相关软件可视化标注结果,人工排查误标注,达到清洗数据的目的。
1.4对已经标注好的数据进行八叉树结构转换,树的深度为8,并转换成支持深度网络读取的数据格式。
二、阶段二深度网络模型搭建及训练步骤如下
2.1构建深度网络模型
本发明深度网络模型如下:
参数说明:Input(octree)是制作好后的八叉树结构数据;Conv-1、Conv-2、Conv-3、Conv-4、Conv-5和Conv-6是卷积结构,卷积结构包括卷积层、正则化层和激活层,见图2;Deconv-2、Deconv-3、Deconv-4、Deconv-5、Deconv-6、Deconv-7和Deconv-8是反卷积结构;反卷积结构包括反卷积层、正则化层和激活层组成见图2;Pool-1、Pool-2、Pool-3、Pool-4、Pool-5和Pool-6是池化层;Unpool-1、Unpool-2、Unpool-3、Unpool-4、Unpool-5和Unpool-6是反池化层;Fc是全连接层,共17类输出,包含背景和16类牙齿类别。这里的卷积层、池化层和反池化层都是特殊的层,由文献[1]提出,这些层可以处理八叉树结构的数据,从而达到最初卷积、池化和反池化的效果。
2.2训练深度网络模型
训练深度网络模型时,为保证训练的效率和稳定性每次训练都随机提供一小批样本,这里每批次样本数设置为20个八叉树结构的牙齿数据,总共设置迭代5万次,目标损失函数采用交叉熵损失函数,计算公式如下:
公式说明:M是类别数,N是每批次训练的样本数,yic是指示变量(0或1),pic是对于观测样本i属于类别c预测概率。整个项目训练完5万次迭代,保留的模型是验证集上损失最低且准确率最高的模型。
2.3优化网络模型
采用SGD-M算法对深度网络模型进行优化,即带有动量的随机梯度下降方法,其算法公式如下:
mt=γmt-1+ηgt
其中,η是初始学习率,gt是当前梯度,γ是动量项。在本次训练过程中,η设置为0.1,γ设置为了0.9;mt表示当前t时刻的能量值。
本发明在优化卷积网络过程中为防止过拟合在最后全连接层加入了dropout,随机保留八叉树结构中50%的叶子节点,此外设置学习策略为step策略,每迭代训练1万步,降低学习率到之前的0.1。
三、模型推断及后处理主要步骤如下
通过阶段二得到优化后的深度网络模型。在实际模型推断的时候,得到八叉树叶子节点的真实标签的索引数据及其对应类别的概率数据。但是因为在构造八叉树时,选取的树的深度为8,其并不能完整包含所有
【参考文献】
1.Wang P S,Liu Y,Guo Y X,et al.O-cnn:Octree-based convolutionalneural networks for 3d shape analysis[J].ACM Transactions on Graphics(TOG),2017,36(4):1-11.
2.Boykov Y,Veksler O,Zabih R.Fast approximate energy minimization viagraph cuts[J].IEEE Transactions on pattern analysis and machine intelligence,2001,23(11):1222-1239。

Claims (3)

1.一种基于八叉树结构的3D牙齿分割方法,其特征在于包括三个阶段,具体实现如下:
阶段一:样本数据采集及制作;
阶段二:深度网络模型搭建及训练;
阶段三:模型推断及后处理;
阶段一样本数据采集及制作的具体步骤实现如下:
1.1采集内部口扫牙齿数据,获得共245个3D牙齿样本;对牙齿数据进行简化后,使得每个牙齿数据由1万个面片组成;
1.2由于3D牙齿样本个数有限,故进行了数据增广:
(1)用CAD辅助软件,对原牙齿数据进行拔除或者偏移操作;
(2)随机绕XYZ轴进行旋转操作;
(3)随机对原数据进行上下左右平移操作;
(4)随机对原数据进行放大或缩小操作;
所述的原数据是指245个3D牙齿样本;
1.3对得到的原数据和增广后的数据进行面片标注,并通过相关软件可视化标注结果,人工排查误标注,达到清洗数据的目的;
1.4对已经标注好的数据进行八叉树结构转换,树的深度为8,并转换成支持深度网络读取的数据格式;
阶段二深度网络模型搭建及训练的具体步骤实现如下:
2.1构建深度网络模型
构建的深度网络模型如下:
参数说明:Input是制作好后的八叉树结构数据;Conv-1、Conv-2、Conv-3、Conv-4、Conv-5和Conv-6是卷积结构,卷积结构包括卷积层、正则化层和激活层;Deconv-2、Deconv-3、Deconv-4、Deconv-5、Deconv-6、Deconv-7和Deconv-8是反卷积结构;反卷积结构包括反卷积层、正则化层和激活层组成;Pool-1、Pool-2、Pool-3、Pool-4、Pool-5和Pool-6是池化层;Unpool-1、Unpool-2、Unpool-3、Unpool-4、Unpool-5和Unpool-6是反池化层;Fc是全连接层,共17类输出,包含背景和16类牙齿类别;
所述的卷积层、池化层和反池化层均能够处理八叉树结构的数据,从而达到最初卷积、池化和反池化的效果;
2.2训练深度网络模型
训练深度网络模型时,为保证训练的效率和稳定性每次训练都随机提供一小批样本,这里每批次样本数设置为20个八叉树结构的牙齿数据,总共设置迭代5万次,目标损失函数采用交叉熵损失函数,计算公式如下:
公式说明:M是类别数,N是每批次训练的样本数,yic是指示变量,取值为0或1,pic是对于观测样本i属于类别c预测概率;整个项目训练完5万次迭代,保留的模型是验证集上损失最低且准确率最高的模型;
2.3优化网络模型
采用SGD-M算法对深度网络模型进行优化,即带有动量的随机梯度下降方法,其算法公式如下:
mt=γmt-1+ηgt
其中,η是初始学习率,gt是当前梯度,γ是动量项;在本次训练过程中,η设置为0.1,γ设置为了0.9;mt表示当前t时刻的能量值。
2.根据权利要求1所述的一种基于八叉树结构的3D牙齿分割方法,其特征在于在优化网络模型过程中为防止过拟合在最后全连接层加入了dropout,随机保留八叉树结构中50%的叶子节点,此外设置学习策略为step策略,每迭代训练1万步,降低学习率到之前的0.1。
3.根据权利要求2所述的一种基于八叉树结构的3D牙齿分割方法,其特征在于阶段三模型推断及后处理主要步骤具体如下:
通过阶段二得到优化后的深度网络模型;在实际模型推断的时候,得到八叉树叶子节点的真实标签的索引数据及其对应类别的概率数据;但是因为在构造八叉树时,选取的树的深度为8,其并不能完整包含所有的面片信息,故最后再对模型结果进行图割算法后处理,达到3D牙齿分割和分类。
CN202110897773.4A 2021-08-05 2021-08-05 一种基于八叉树结构的3d牙齿分割方法 Active CN113570709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110897773.4A CN113570709B (zh) 2021-08-05 2021-08-05 一种基于八叉树结构的3d牙齿分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110897773.4A CN113570709B (zh) 2021-08-05 2021-08-05 一种基于八叉树结构的3d牙齿分割方法

Publications (2)

Publication Number Publication Date
CN113570709A CN113570709A (zh) 2021-10-29
CN113570709B true CN113570709B (zh) 2024-05-10

Family

ID=78170527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110897773.4A Active CN113570709B (zh) 2021-08-05 2021-08-05 一种基于八叉树结构的3d牙齿分割方法

Country Status (1)

Country Link
CN (1) CN113570709B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444914A (zh) * 2020-03-23 2020-07-24 复旦大学 一种基于PU-Learning的图像语义分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3503038A1 (en) * 2017-12-22 2019-06-26 Promaton Holding B.V. Automated 3d root shape prediction using deep learning methods
CN110473283B (zh) * 2018-05-09 2024-01-23 无锡时代天使医疗器械科技有限公司 牙齿三维数字模型的局部坐标系设定方法
US11735306B2 (en) * 2019-11-25 2023-08-22 Dentsply Sirona Inc. Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444914A (zh) * 2020-03-23 2020-07-24 复旦大学 一种基于PU-Learning的图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多级层次三维卷积神经网络的牙颌模型分割与识别技术;田素坤;戴宁;袁福来;张贝;俞青;程筱胜;;计算机辅助设计与图形学学报(08);全文 *

Also Published As

Publication number Publication date
CN113570709A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN109903396B (zh) 一种基于曲面参数化的牙齿三维模型自动分割方法
CN107563381B (zh) 基于全卷积网络的多特征融合的目标检测方法
CN108428229B (zh) 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN109783910B (zh) 一种利用生成对抗网络加速的结构优化设计方法
CN103310481B (zh) 一种基于模糊熵迭代的点云精简方法
CN110197492A (zh) 一种心脏mri左心室分割方法及***
CN106340016A (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN112613097A (zh) 一种基于计算机视觉的bim快速化建模方法
CN113628222A (zh) 一种基于深度学习的3d牙齿分割和分类方法
CN114840900A (zh) 一种基于i-GBDT技术的衍生式BIM构件自动生成方法
CN115471663A (zh) 基于深度学习的三阶段牙冠分割方法、装置、终端及介质
CN113570709B (zh) 一种基于八叉树结构的3d牙齿分割方法
CN113298828B (zh) 一种基于卷积神经网络的颌骨自动分割方法
CN110648406B (zh) 一种隐形牙套的牙齿-牙龈快速分割方法
CN114295967A (zh) 一种基于迁移神经网络的模拟电路故障诊断方法
CN112308827A (zh) 基于深度卷积神经网络的毛囊检测方法
CN116975634A (zh) 一种基于程序静态属性及图神经网络的微服务提取方法
CN114627123B (zh) 综合双流加权网络和空间注意力机制的白带细胞检测方法
CN113674286B (zh) 基于跨图注意力机制和代价函数学习的牙模点云分割方法
CN116316629A (zh) 一种考虑拓扑特征学习的数据驱动最优潮流计算方法
CN115965641A (zh) 一种基于deeplabv3+网络的咽部图像分割及定位方法
CN115761125A (zh) 基于点云注意力和齿间碰撞损失的齿科数字化正畸方法
CN114017049B (zh) 一种基于Multi-Agent理论的盾构掘进装备核心部件协同设计制造方法
CN102542565B (zh) 一种用于包含复杂地形遥感图像的误匹配点剔除方法
CN115587480A (zh) 数字化仿真方法以及数字化仿真装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant