CN112991273B - 三维牙齿模型的正畸特征自动检测方法及*** - Google Patents

三维牙齿模型的正畸特征自动检测方法及*** Download PDF

Info

Publication number
CN112991273B
CN112991273B CN202110187667.7A CN202110187667A CN112991273B CN 112991273 B CN112991273 B CN 112991273B CN 202110187667 A CN202110187667 A CN 202110187667A CN 112991273 B CN112991273 B CN 112991273B
Authority
CN
China
Prior art keywords
tooth
sub
feature
encoder
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110187667.7A
Other languages
English (en)
Other versions
CN112991273A (zh
Inventor
周元峰
魏广顺
马乾
马龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110187667.7A priority Critical patent/CN112991273B/zh
Publication of CN112991273A publication Critical patent/CN112991273A/zh
Application granted granted Critical
Publication of CN112991273B publication Critical patent/CN112991273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明公开了三维牙齿模型的正畸特征自动检测方法及***，包括：获取三维牙齿信息和牙冠信息；然后，对三维牙齿信息和牙冠信息进行配准，获得三维牙齿模型；对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；对融合特征提取出牙齿特征点对应的距离场；对融合特征提取出牙齿特征轴对应的投影向量场；对牙齿特征点对应的距离场进行特征增强处理；对牙齿特征轴对应的投影向量场进行特征增强处理；对增强后的距离场进行聚类，将聚类中心作为最终的牙齿特征点；对增强后的投影向量场进行最小二乘法处理，得到的结果作为牙齿特征轴。

Description

三维牙齿模型的正畸特征自动检测方法及***
技术领域
本发明涉及三维点云处理技术领域，特别是涉及三维牙齿模型的正畸特征自动检测方法及***。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
传统的正畸治疗过程为医生个人通过完成一系列牙齿X线片及计算机断层扫描(Computed Tomography-CT)测量，定制患者个性化的诊断和治疗方案。传统模式的重复手工操作浪费了医生大量的时间，限制了每年可接诊错颌、畸形患者的数量，不利于行业的快速发展；并且在正畸过程中所使用的诊断指标往往依赖于医生的经验积累和主观判断，并没有精确的数学方法保证得到精确的量化指标值。现阶段制造牙科义齿的流程较为复杂，需要较长时间，急需新技术的投入。因此实现诊断过程的自动化，设计一个能够智能准确提取牙齿特征是十分必要的。
对于牙齿正畸问题而言，仅仅拥有三维牙齿模型是远远不够的，我们还需要从模型中提取更多的牙齿特征(如特征点、特征轴、特征面等)来判断患者的原始咬合状态，从而辅助牙医制定合理的正畸方案。通常情况下，不同的牙齿特征在正畸治疗过程中具有不同的作用和功能，如牙齿解剖特征点中的焦点可以充分反映牙齿外表面的光滑度，接触点指示相邻两颗牙排列是否正确，咬合点反映咬合状态是否正常等。
但实际上，三维牙齿模型的特征检测是一项非常困难的工作，原因如下：
(1)传统的牙齿特征检测Kumar Y,Janardan R,Larson B.Automatic featureidentification in dental meshes[J].Computer-Aided Design and Applications,2012,9(6):747-769.只对尖锐位置敏感，但大多数特征点位于牙齿表面光滑的区域，且在这个光滑区域内基本没有显著几何特征，并且，病人的蛀牙也会在牙齿表面产生一定的噪声区域。一些方法结合曲面曲率和高度值来定位牙冠上的尖点，但却无法得到其他的特征点。
(2)常用的牙齿特征(特征点、特征轴、特征面等)相对于输入牙齿模型是稀疏且不连续的检测目标。因此，仅依靠局部几何特征或基于回归的方法很难实现成功的特征检测。目前，一些基于深度学习的方法Zhou X,Gan Y,Xiong J,et al.A method for toothmodel reconstruction based on integration of multimodal images[J].Journal ofhealthcare engineering,2018,2018:131-143.尝试通过预先指定一些约束条件来生成理想的模型，近年来很多基于无监督学习的方法可以在没有监督的情况下获得特征信息，但这些启发式方法往往得到的结果并不是很准确。Bae M,Park J W,Kim N.Semi-automaticand robust determination of dental arch form in dental cone-beam CT with B-spline approximation[J].Computer methods and programs in biomedicine,2019,1722:112-121.使用B样条逼近法半自动、鲁棒地确定牙弓形状特征。然而，这些方法在处理带有异常情况的牙齿(牙齿缺损、修补的牙齿)时，无法得到准确的特征，此外在检测位于没有显著几何特征区域的牙齿特征时，这些方法的检测正确率显著下降。因此，对于牙齿正畸问题而言，提出一种有效的牙齿特征自动检测方法非常重要。
发明内容
为了解决现有技术的不足，本发明提供了三维牙齿模型的正畸特征自动检测方法及***；，首先，基于CBCT数据获取完整的牙齿模型，然后通过口扫设备获取高精度牙冠数据，最终获取带有牙根的高精度牙齿三维信息。获取的三维牙齿模型交由专业牙医标记相应的特征标签。考虑到牙齿特征的稀疏性，对牙齿稀疏特征转化为一种稠密表示方法，也就是将牙齿特征点转化成牙齿表面模型的测地距离场，将牙齿特征轴转化成牙齿表面点到空间中一条轴线的投影点，通过将牙齿特征点和轴转化成距离场和投影向量的方法巧妙地避免了深度学***衡问题。最终定义均方误差(mean square error-MSE)损失函数用来监督预测的信息，实现牙齿特征点和轴的准确检测。
第一方面，本发明提供了三维牙齿模型的正畸特征自动检测方法；
三维牙齿模型的正畸特征自动检测方法，包括：
获取三维牙齿信息和牙冠信息；然后，对三维牙齿信息和牙冠信息进行配准，获得三维牙齿模型；
对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；对融合特征提取出牙齿特征点对应的距离场；对融合特征提取出牙齿特征轴对应的投影向量场；
对牙齿特征点对应的距离场进行特征增强处理；对牙齿特征轴对应的投影向量场进行特征增强处理；
对增强后的距离场进行聚类，将聚类中心作为最终的牙齿特征点；对增强后的投影向量场进行最小二乘法处理，得到的结果作为牙齿特征轴。
第二方面，本发明提供了三维牙齿模型的正畸特征自动检测***；
三维牙齿模型的正畸特征自动检测***，包括：
获取模块，其被配置为：获取三维牙齿信息和牙冠信息；然后，对三维牙齿信息和牙冠信息进行配准，获得三维牙齿模型；
特征提取模块，其被配置为：对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；对融合特征提取出牙齿特征点对应的距离场；对融合特征提取出牙齿特征轴对应的投影向量场；
特征增强模块，其被配置为：对牙齿特征点对应的距离场进行特征增强处理；对牙齿特征轴对应的投影向量场进行特征增强处理；
聚类和最小二乘处理模块，其被配置为：对增强后的距离场进行聚类，将聚类中心作为最终的牙齿特征点；对增强后的投影向量场进行最小二乘法处理，得到的结果作为牙齿特征轴。
第三方面，本发明还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。
第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
(1)本发明定义4种牙齿特征点和特征轴，对于牙齿矫正具有重要作用。其中牙齿接触点能够用来衡量左右相邻牙齿排列的整齐程度；咬合点能够矫正上下牙咬合不齐的问题；牙尖点用来拟合一个咬合面，可以判断整套牙齿的对齐程度；牙齿的面颊点可以用来拟合牙弓线。牙齿特征轴反映的是牙齿不同侧面的倾斜程度，能够计算牙齿之间的角度用来判断牙齿咬合状态。
(2)本发明提出了一种通过逐点编码的方式检测稀疏特征的网络模型，能够在三维牙齿模型上检测牙齿特征点和特征轴。
(3)本发明提出了一种三维模型上检测特征点的有效算法，巧妙的将牙齿特征点转化成三维牙齿模型表面上的测地距离场，通过预测每个点云和特征点的测地距离来避免稀疏特征检测的困难。
(4)本发明提出了一种三维模型上检测特征轴的有效算法，通过将模型表面的点垂直投影到特征轴所在的空间直线上获得最终的投影点作为监督信号，最终经过简单的后处理实现准确的特征轴检测。
(5)本发明能够实现自动化检测牙齿的特征轴和特征点，为实现自动化牙齿矫正提供了较大的辅助作用，这解决了数字正畸临床诊断过程中验证依赖正畸医生经验的问题，也提高了正畸效率。
(6)本发明是基于三维模型数据提出特征检测的问题，也能很拓展到其他模型数据上，或者其他医学图像上，辅助各医疗领域的诊断。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的方法流程图；
图2(a)-图2(h)为第一个实施例的牙齿特征点和特征轴；图2(a)-图2(d)为第一个实施例的接触点、尖点、面轴点和咬合点；图2(e)-图2(h)为第一个实施例的颊面轴、舌轴、近中轴和远中轴；
图3(a)-图3(d)为第一个实施例的对应不同牙齿特征点的距离场，依次表示接触点、尖点、面轴点和咬合点；
图4(a)-图4(c)为第一个实施例的牙齿特征轴检测的逐点编码，其中图4(a)为牙齿特征轴三维模型，图4(a)的点表示牙齿表面的点云，图4(b)为获取投影向量的过程，箭头表示通过中点的齿轴；图4(c)为每个点对应的最终编码特征；点表示齿面上的点垂直地投射到齿轴上的投影点；
图5为第一个实施例的多尺度特征提取模块。R表示选择区域的半径大小，SA表示集合抽象层；
图6为第一个实施例的特征增强模块；
图7为第一个实施例的本发明的牙齿特征提取方法整体流程图；
图8为第一个实施例的编码和解码两个模块的网络结构示意图；
图9(a)和图9(b)为第一个实施例的特征点检测模块的网络结构示意图；
图10(a)和图10(b)为第一个实施例的特征轴检测模块的网络结构示意图；
图11为第一个实施例的对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
术语解释：
接触点(Contact point(CO))，表示在习惯性咬合/闭合动作中，两个相邻牙齿近端表面之间的接触点。
尖点(Cusp point(CU))，表示牙冠上锥形突起的末端。
面颊点(Facial axis point(FA))，表示牙齿表面的中心/中点(近似于嘴唇或脸颊)。
咬合点(Occlusal point(OC))，表示在习惯性咬合/闭合动作中，上颌骨和下颌骨合在一起时，对立的牙齿之间的正常接触点。
颊面轴(Buccal surface axis(BA))，表示沿着与嘴唇或脸颊相邻的牙齿表面的斜率绘制切线。
舌轴(Lingual axis(LA))，表示沿着面向舌头并平行于牙齿的长轴的牙齿表面绘制切线。
近中轴(Mesial axis(MA))，表示沿着面向牙弓中心线的近端表面绘制切线。
远中轴(Distal axis(DA))，表示沿远离牙弓中心线的近端表面绘制切线。
本发明提出了一种牙齿特征提取的方法，总构思为：读取CBCT数据和点云数据，经过数据预处理，获取高精度牙齿模型。然后经过正畸医生在牙齿数据上的标记，构成可训练数据集。然后根据标记的数据将特征点和特征轴进行逐点编码，将牙齿的稀疏特征转换成密集表示。一方面，将牙齿特征点转换成牙齿模型表面的测地距离场，每个点的值表示距离最近特征点的测地距离。另一方面，将牙齿特征轴转换成空间中直线上的点坐标，直线上的点是通过将牙齿模型表面上的点垂直投影到特征轴上获得的。通过设计的网络结构训练牙齿数据，输出每颗牙齿预测的测地距离场和投影向量场。然后通过后处理获得最终的特征点坐标和特征轴方向向量。
实施例一
本实施例提供了三维牙齿模型的正畸特征自动检测方法；
三维牙齿模型的正畸特征自动检测方法，包括：
S101：获取三维牙齿信息和牙冠信息；然后，对三维牙齿信息和牙冠信息进行配准，获得三维牙齿模型；
S102：对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；对融合特征提取出牙齿特征点对应的距离场；对融合特征提取出牙齿特征轴对应的投影向量场；
S103：对牙齿特征点对应的距离场进行特征增强处理；对牙齿特征轴对应的投影向量场进行特征增强处理；
S104：对增强后的距离场进行聚类，将聚类中心作为最终的牙齿特征点；对增强后的投影向量场进行最小二乘法处理，得到的结果作为牙齿特征轴。
作为一个或多个实施例，所述S101：获取三维牙齿信息和牙冠信息；具体包括：
通过CBCT数据，获取三维牙齿信息；
通过口扫数据，获取牙冠信息。
作为一个或多个实施例，所述S101：对三维牙齿信息和牙冠信息进行配准，获得三维牙齿模型；具体包括：
通过三维牙齿信息表面采样获得完整三维牙齿模型表面的点云数据和牙冠模型表面的点云数据；
将以上两组点云数据作为输入，利用ICP算法求得第一组点云数据到第二组点云数据的旋转平移矩阵；
最终，通过对第一组点云数据的旋转和平移与第二组点云配准到一起。
示例性的，读取一组牙齿DICOM文件并进行格式转换，获取各切片对应的位图文件；
基于所述位图文件重建三维体数据，并基于三维体数据通过ToothNet网络模型Z.Cui,C.Li,and W.Wang,Toothnet:Automatic tooth instance segmentation andidentification from cone beam ct images,in Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition,2019,pp.6368–6377.获得完整的牙齿三维信息；
读取牙齿STL文件，通过采样的算法获取点云数量相同的牙齿模型；对三维牙齿点云数据进行分割，获得高精度的牙冠数据。CBCT数据重构的三维牙齿模型虽然具有完整的牙齿信息，但是丢失了牙齿的精细特征，而口扫数据具有高精度牙齿几何信息，最终，利用配准算法将两种不同模态的数据对齐，从而获得高精度三维牙齿模型。
读取存储CBCT数据的DICOM文件，并通过现有的采样算法将数据采样到256×256×200的大小，并且对数据进行标准化处理，将数据的数值映射到0-1之间，这样的操作能够提高深度学习框架学习的效率和提高最终的分割精度。
搭建ToothNet网络模型的测试环境，其中包括安装pytorch框架和下载训练好的网络模型参数。
将处理好的数据输入到ToothNet中测试，输出预测的分割数据，分割数据的格式为体素形式，而对于牙齿特征检测问题而言需要的是三维网格数据。因此，基于MarchingCube算法处理体素数据，获得完整的牙齿三维信息(三维牙齿网格数据)。
读取存储点云数据的STL文件，然后通过采样的方式将数据采样到200000个点云，并且对数据进行归一化处理，将整套牙齿数据的空间坐标映射到以(0,0,0)为球心、以1为半径的单位球内。
将处理好的点云数据输入到网络模型中进行测试，输出每个点的分割结果。然后把结果进行可视化，对分割数据较差的模型进行删除操作。
给定具有牙齿完整三维信息的牙齿模型和高精度的牙冠数据，通过现有的配准算法对这两种数据进行配准。该操作主要原因有两个，一方面，从CBCT数据中分割出来的牙齿模型不能保持较好的牙齿几何特征，但是能够获得包括牙根在内的完整牙齿三维信息；另一方面，口扫数据获得的牙冠数据能够保持精细的几何特征，这对牙齿特征检测具有重要的作用；结合以上原因，提出通过配准的方法将两种数据结合起来从而获得具有牙根信息的高精度牙齿模型。
作为一个或多个实施例，如图11所示，所述S102：对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；具体包括：
对三维牙齿模型，采用第一编解码器进行多尺度特征提取，对多尺度特征进行融合得到融合特征。
其中，第一编解码器，包括：三个并联的分支；
所述三个并联的分支为第一分支、第二分支和第三分支；
其中，第一分支，包括：依次串联的第一子编码器、第二子编码器和第三子编码器；
第二分支，包括：依次串联的第四子编码器、第五子编码器和第六子编码器；
第三分支，包括：依次串联的第七子编码器、第八子编码器和第九子编码器；
第三子解码器、第六子解码器和第九子解码器的输出端均与加法器a连接，加法器a与第一子解码器连接；第一子解码器与加法器b连接；加法器b与第二子解码器连接；第二子解码器与加法器c连接，加法器c与第三子解码器连接。
应理解的，其中，a、b和c并没有实际意义，只是为了区别加法器不是同一个加法器。
进一步地，所述S102：对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；详细步骤包括：
通过第一子编码器对三维牙齿模型进行特征提取，得到第一尺度特征；
通过第二子编码器对第一尺度特征进行特征提取，得到第二尺度特征；
通过第三子编码器对第二尺度特征进行特征提取，得到第三尺度特征；
通过第四子编码器对三维牙齿模型进行特征提取，得到第四尺度特征；
通过第五子编码器对第四尺度特征进行特征提取，得到第五尺度特征；
通过第六子编码器对第五尺度特征进行特征提取，得到第六尺度特征；
通过第七子编码器对三维牙齿模型进行特征提取，得到第七尺度特征；
通过第八子编码器对第七尺度特征进行特征提取，得到第八尺度特征；
通过第九子编码器对第八尺度特征进行特征提取，得到第九尺度特征；
对第二、第三、第五、第六、第八和第九尺度特征进行融合，得到第一融合特征；
通过第一子解码器对第一融合特征进行特征提取，得到第十尺度特征；
将第十尺度特征与第一、第四和第七尺度特征进行融合，得到第二融合特征；
通过第二子解码器对第二融合特征进行特征提取，得到第十一尺度特征；
将第十一尺度特征与三维牙齿模型进行融合，得到第三融合特征；
通过第三子解码器对第三融合特征进行特征提取，得到最终的融合特征。
其中，第一、第二、第三、第四、第五、第六、第七、第八和第九子编码器的内部结构是一样的，每个子编码器均为三层感知机MLP；
其中，第一和第二子解码器的内部结构是一样的，第一子解码器为二层感知机MLP；
其中，第三子解码器的内部结构为三层感知机MLP。
作为一个或多个实施例，所述S102：对融合特征提取出牙齿特征点对应的距离场；具体包括：
三维牙齿模型与最终的融合特征融合后，输入到第二编解码器中，输出牙齿特征点对应的距离场。
其中，第二编解码器的网络结构，包括：依次串联的第十子编码器、第十一子编码器、第十二子编码器、第一加法器、第四子解码器、第二加法器、第五子解码器、第三加法器和第六子解码器；
其中，第十子编码器的输入端还与第三加法器的输入端连接；
第十子编码器的输出端还与第二加法器的输入端连接；
第十一子编码器的输出端还与第一加法器的输入端连接。
其中，第十子编码器、第十一子编码器、第十二子编码器，均为三层感知机；第四子解码器和第五子解码器均为二层感知机；第六子解码器均为三层感知机。
作为一个或多个实施例，所述S102：对融合特征提取出牙齿特征轴对应的投影向量场；具体包括：
三维牙齿模型与最终的融合特征融合后，输入到第三编解码器中，提取出牙齿特征轴对应的投影向量场。
其中，第三编解码器的网络结构，包括：依次串联的第十三子编码器、第十四子编码器、第十五子编码器、第四加法器、第七子解码器、第五加法器、第八子解码器、第六加法器和第九子解码器；
其中，第十三子编码器的输入端还与第六加法器的输入端连接；
第十三子编码器的输出端还与第五加法器的输入端连接；
第十四子编码器的输出端还与第四加法器的输入端连接。
其中，第十三子编码器、第十四子编码器、第十五子编码器，均为三层感知机；第七子解码器和第八子解码器均为二层感知机；第九子解码器均为三层感知机。
示例性的，所述S102：对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；对融合特征提取出牙齿特征点对应的距离场；对融合特征提取出牙齿特征轴对应的投影向量场；具体包括：
S1021：给定一个三维牙齿模型，在其表面上选择若干个点，并将其设置为网络的输入点，其中包含每个点的三维空间坐标和三维法线信息。为了分层渐进地捕获点云的特性，采用了通用的分层特性学习机制PointNet++作为框架的主干。由于牙齿特征点和牙轴的定位主要依赖于牙冠特征和齿形外观，所以局部和整体特征都是必不可少的。例如，齿尖点主要依赖于局部的齿冠几何特征，而齿轴主要依赖于整体的齿形特征。因此，在PointNet++编码器中，如图4所示，采用多尺度特征提取方案，在不同半径范围内同时捕获局部和全局信息。最后，将不同尺度下提取的特征拼接在一起进行解码，然后将特征映射分别输入到下面两个子网络中，分别用于预测距离场和投影向量场。
S1022：由于牙齿特征点和轴对空间坐标和法线很敏感，因此提出了一个特征增强模块。将输入点坐标和法线与提取的潜在特征连接起来。然后结合这两种信息作为输入来预测不同子网络中的距离场和投影向量。
S1023：距离场的预测。为了预测牙齿特征点，提供了一个特征检测模块，该模块将多尺度特征提取模块得到的特征作为输入。然后设计了一个基于点云学习的编解码器模块来进一步提取潜在特征。最后通过特征增强模块输出齿面不同距离场。利用均方误差作为损失函数来监督训练过程：
Figure BDA0002943674370000101
其中，点di的预测距离值di’代表真实的距离值，N代表点云的个数。
S1024：投影向量场预测。牙齿特征轴的点投影向量场反映在点云从齿面到齿轴的位移上。以各点的坐标信息为输入，预测了齿面与齿轴的映射位移关系。最后，得到了不同的投影向量。以损失函数的形式计算地面真值对应点与预测投影向量之间的距离：
Figure BDA0002943674370000102
其中v(pi)为真实的特征轴对应的投影向量，v(p’i)为网络预测结果。
作为一个或多个实施例，所述S103：对牙齿特征点对应的距离场进行特征增强处理；具体包括：
对牙齿三维模型和牙齿特征点对应的距离场，采用第一全连接层进行处理，得到第一全连接结果；
对牙齿三维模型和第一全连接结果，采用第二全连接层进行处理，得到第二全连接结果；
对牙齿三维模型和第二全连接结果，采用第三全连接层进行处理，得到第三全连接结果，第三全连接结果即为牙齿特征点对应的距离场的特征增强处理结果。
作为一个或多个实施例，所述S103：对牙齿特征轴对应的投影向量场进行特征增强处理；具体包括：
对牙齿三维模型和牙齿特征轴对应的投影向量场，采用第四全连接层进行处理，得到第四全连接结果；
对牙齿三维模型和第四全连接结果，采用第五全连接层进行处理，得到第五全连接结果；
对牙齿三维模型和第五全连接结果，采用第五全连接层进行处理，得到第六全连接结果，第六全连接结果即为牙齿特征轴对应的投影向量场的特征增强处理结果。
作为一个或多个实施例，所述S104：对增强后的距离场进行聚类，将聚类中心作为最终的牙齿特征点；对增强后的投影向量场进行最小二乘法处理，得到的结果作为牙齿特征轴；具体包括：
通过聚类算法在牙齿表面的距离场上获取聚类中心作为最终的牙齿特征点，通过最小二乘法拟合预测的投影向量得到一条空间直线作为牙齿特征轴。
作为一个或多个实施例，所述方法还包括训练阶段；
训练阶段包括：
构建待训练的网络结构；
构建训练集；所述训练集为已知牙齿特征点对应的测地距离场和牙齿特征轴对应的投影向量场的三维牙齿模型；
将训练集输入到网络结构中，对网络结构进行训练，得到训练后的网络结构。
进一步地，待训练的网络结构，包括：
第一编解码器，所述第一编解码器的输出端分别连接第二编解码器和第三编解码器；其中第一编解码器用于提取多尺度特征；第二编解码器用于提取牙齿特征点对应的测地距离场；第三编解码器用于提取牙齿特征轴对应的投影向量场；
第二编解码器与第一增强单元连接；其中，第一增强单元为三个串联的全连接层；
第三编解码器与第二增强单元连接；其中，第二增强单元为三个串联的全连接层。
进一步地，训练集的构建步骤包括：
由牙医对三维牙齿模型进行标记牙齿特征点和牙齿特征轴，将牙齿特征点转换成牙齿模型表面的测地距离场，将牙齿特征轴转换成牙齿表面点到轴的投影向量；从而构成训练数据集。
进一步地，训练集的构建步骤包括：
(1)：给定牙齿模型和牙齿对应的特征点数据，遍历牙齿特征点，每次获得一个特征点的空间位置信息，然后计算牙齿模型中距离该特征点最近的一个点fpi作为该牙齿真实的特征点。
(2)：给定当前牙齿的特征点fpi，然后计算牙齿模型表面每个点到该点的测地距离并将每个点的距离值存储到一个矩阵中。
(3)：每颗牙齿对应的特征点数量不唯一且不小于1，因此单颗牙齿上会计算多个特征点的测地距离场。为了在单颗牙齿模型表面体现不同的牙齿特征点，因此，对于不同的距离场选择测地距离值较小的作为最终当前点的距离值。最后，并对最终的距离场进行归一化处理，即对单颗牙齿测地距离场采用指数函数的方式将每个点的值映射到0-1之间。
(4)：将牙齿模型表面点的空间坐标信息和对应点的距离值存储到txt文件中，即文件中每一行存储的包括点的坐标(x，y，z)、点的法向(Nx，Ny，Nz)和di，作为训练数据集。
(5)：读取单颗牙齿的点云数据和牙齿特征轴的方向向量数据，计算单颗牙齿的中心点。
(6)：计算一个空间直线方程，要求该直线l通过牙齿的中心点并且和牙齿特征轴的方向向量平行。
(7)：将牙齿模型表面上所有的点垂直投影到直线l上，并获得每个点在直线上的投影点作为最终学习的目标。
(8)：将牙齿模型表面点的空间坐标和对应的投影点坐标存储到txt文件中，即文件中每一行存储的包括点的空间坐标(xi，yi，zi)、点的法向(Nx，Ny，Nz)和投影点坐标(xj，yj，zj)，作为训练集。
对于处理好的数据进行整理。经过配准后的牙齿数据是单颗独立的，在正畸医生进行标记的时候，需要在一整套数据集的基础上进行处理。因此，需要将数据进行初步整理，将属于一个人的牙齿单独存储。
构建一个简单的可视化交互***。基于OpenGL语言进行编写可视化交互***，要求***包括以下简单的功能：
数据读取功能：能够读取一整套牙齿数据并显示在***中。
牙齿移动功能：能够对单颗牙齿实现旋转和平移操作，也能实现对整套牙齿的旋转和移动操作，方便正畸医生观察。
特征点标记：实现牙齿特征点标记功能，要求该功能能够记录医生点击牙齿模型表面的空间位置并输出到txt文件中，要求对正畸医生标记的特征点做一个分类存储，将不同类型的特征点记录到txt文件中。
特征轴标记：实现牙齿特征轴标记功能，要求记录正畸医生第一次点击的位置，然后拖动鼠标可显示一个空间直线，通过再次点击鼠标确定直线的方向，并连接空间中的两个点作为最终的牙齿特征轴，同时记录标记的特征轴方向向量和特征轴的类型并存储到txt文件中。
进一步地，所述将牙齿特征点转换成牙齿模型表面的测地距离场；具体步骤包括：
给定三维牙齿模型和对应的特征点，在每颗牙齿上对单独的特征点进行距离场编码，给定一个特征点的坐标信息(x，y，z)，定义在牙齿模型表面的测地距离场D，公式如下：
Figure BDA0002943674370000131
其中G(.)表示计算三模型表面两个点之间的测地距离，fpj表示特征点，pi表示其他非特征点。σ是一个超参数，设为0.3。最终计算牙齿模型表面每个点云距离当前特征点的测地距离di。
对应的一颗牙齿上存在多个特征点，计算不同特征点的测地距离场，通过选择di较大的作为当前点的测地距离值。
最终，实现单颗牙齿每个点云pi对应一个测地距离值di，效果如图2所示。
进一步地，所述将牙齿特征轴转换成牙齿表面点到轴的投影向量；具体步骤包括：
给定三维牙齿模型对应的特征轴，首先根据给定的特征轴，在三维空间中定义连接齿中心的投影向量：
Figure BDA0002943674370000132
l＝pcenter+n·t,
其中pcenter是单颗牙齿的中心点，n是牙齿特征轴的单位方向向量，l是贯穿牙齿中心的一条空间直线。如图3所示，然后将牙齿三维模型表面上的所有点垂直投影到这条线上，并得到投影点的坐标作为监督信息。换句话说，牙齿轴检测网络的输出为点云的投影坐标。
进一步地，网络模型分为三个主要组件去预测密集表示的特征点和轴，即点云潜在特征检测模块、预测密集距离场模块和预测投影向量场模块组成。即给定一个三维牙体模型的点云，首先使用带有多尺度潜在特征提取模块的PointNet++将其嵌入到潜在特征空间中。然后，利用预测密集距离场模块和预测投影向量场模块子网络并行地预测四个特征点的距离场和四个特征轴的投影向量场。
示例性的，对增强后的距离场进行聚类，将聚类中心作为最终的牙齿特征点；具体包括：
给出了每个齿的预测距离场，首先得到了一些距离值相对较大的局部点。也就是说，距离场可以看作是一个置信场，其中一个点的值越大，该点上的牙齿特征点的可信度越大。然后设置一个阈值来过滤掉这些不可信的点。最后，根据牙齿模型上的地标数，采用K-Means聚类。聚集中心被视为最终的牙齿特征点。
示例性的，所述对增强后的投影向量场进行最小二乘法处理，得到的结果作为牙齿特征轴；具体包括：
通过学习点牙齿模型表面到牙齿特征轴的位移关系，得到牙齿特征轴检测网络分支预测的投影向量。然后将采样点投影到三维模型的表面上，并使用它们的预测投影向量。最终投影点聚集在一条空间直线周围，使用最小二乘法拟合一条直线作为最终预测的牙齿特征轴。
网络模型的训练过程包括：
网络模型的数据输入包括牙齿模型表面点的空间位置信息和法向信息，而设计的网络模型是单颗牙齿的特征点和特征轴并行训练。因此，在数据读取部分，需要依次读取牙齿模型点的坐标和法向，牙齿特征点对应的距离场di和牙齿特征轴对应的投影向量场(xj，yj，zj)。
给定输入数据N×6(N为单颗牙齿模型表面点的数量，设置为2048)送到采样层，采样层在输入点云中选择一系列点，采样算法使用迭代最远点采样方法，由此定义出局部区域的中心，然后通过设置不同的半径大小来最终确定特征提取大小和点云数量。
具体的迭代最远点采样(iterative farthest point sampling)：在模型表面先随机选择一个点，然后再选择离这个点最远的点作为起点，再继续迭代，直到选出需要的个数为止。相比随机采样，能更完整得通过区域中心点采样到全局点云。
多尺度特征提取模块，多尺度特征提取模块包括多个不同尺度的特征编码层和一个特征解码层，该模块总共分为三个特征编码模块，具体细节如下。
第一特征编码层：输入模型数据(2048点云)，采样1024个点并设置区域半径为0.2，特定区域选择点云数量为64，对每个区域进行特征提取，经过三层感知器(MLP)依次设置为(64,64,128)节点，得到(1024×128)特征图。对1024个点再次采样得到512个点并设置区域半径为0.4，特定区域选择点云数量为64，对每个区域进行特征提取，经过三层感知器(MLP)依次设置为(128,128,256)节点，得到(512×256)特征图。对512个点再次采样得到128个点并设置区域半径为0.4，特定区域选择点云数量为64，对每个区域进行特征提取，经过三层感知器(MLP)依次设置为(256,256,512)节点，得到(128×512)特征图。
第二特征编码层：同第一特征编码层过程一致，但是在设置选择区域半径的大小不同，该编码成依次为半径(0.3,0.5,0.5)。
第三特征编码层：同第一特征编码层过程一致，但是在设置选择区域半径的大小不同，该编码成依次为半径(0.4,0.6,0.6)。
以上三个分支设置有不同的半径，这样的操作能够有效的学习到模型表面不同区域大小的特征，更好的结合局部和全局特征进行充分的特征提取。
如图6所示，经过不同尺度的特征编码后，将三个编码层的输出拼接到一起组成一个新的特征图，然后输入到特征解码层。为了获得与原始输入数据相同分辨率的输出结果，在特征编码过程进行上采样，通过计算现有点的特征均值来对下采样过程中删除的点进行补充，最终通过逐层上采样和特征补充的方式输出特征图。
牙齿特征点和特征轴检测模块。如图6所示，网络模型是一个总分结构，主干网络是上述的多尺度特征提取模块。而两个分支分别对应牙齿特征点和特征轴提取模块。具体实现细节如下：
牙齿特征点检测模块：将多尺度特征提取模块的输出作为特征点检测模块的输入数据，然后再次通过一个多尺度特征提取的编码和解码过程提取潜在特征，然后将特征图输入到一个特征增强模块最终输出预测结果(N×1×4)，分别表示预测的4种特征点的测地距离场。
牙齿特征轴检测模块：牙齿特征轴检测的分支和牙齿特征点检测分支的网络结构基本一致，只有最后的输出结果发生了改变，特征轴检测输出的预测结果(N×3×4)，分别表示预测的4种特征轴的投影向量场。
特征增强模块：输入数据在经过多次下采样和上采样后信息难免会损失，因此提出特征增强模块。在特征检测模块，经过特征编码和解码层输出特征图，将原始点云的空间坐标和法向信息拼接到提取的潜在特征，经过三层全连接层(128+6,64+6,32+6)输出最终预测结果。
牙齿特征点提取：给定预测的牙齿模型表面点的空间坐标和距离场，通过聚类算法提取牙齿特征点。根据牙齿类型确定聚类算法参数K并根据模型表面的测地距离值确定K个聚类中心，遍历单颗牙齿所有点云，计算每个点云到K个聚类中心的距离，将每个点云而分配给距离该点最近的聚类中心，直到最后一个点云。然后更新聚类中心，迭代以上过程知道聚类中心不再发生变化为止，最终得到的聚类中心就看做牙齿的特征点。
牙齿特征轴提取：空间直线方程可以简化成
Figure BDA0002943674370000161
要求的参数是a,b,c,d四个参数。通过一定的转化最后可以化简成：
Figure BDA0002943674370000162
最终通过求解该矩阵可得a，b，c，d，获得最终的直线方程，即牙齿的特征轴。
基于以上操作流程，可得训练好的参数模型，本实施例提供一套测试流程，用于对没有正畸医生标记的牙齿数据进行特征点和特征轴检测，所述测试阶段实现以下步骤，包括：
步骤1：给定一颗三维牙齿模型，通过采样算法获得牙齿模型表面的2048个点云；
步骤2：输入到训练好的网络模型中，得到预测的距离场和预测的投影向量场；
步骤3：通过聚类的方法获得牙齿特征点，通过最小二乘法拟合牙齿特征轴；
传统模式的重复手工操作浪费了医生大量的时间，限制了每年可接诊错颌、畸形患者的数量，不利于行业的快速发展；并且在正畸过程中所使用的诊断指标往往依赖于医生的经验积累和主观判断，并没有精确的数学方法保证得到精确的量化指标值。本发明提供了一种针对三维牙齿模型特征检测方法，提出了一种在三维模型表面上计算牙齿特征点和特征轴的方法。本发明的数据由具有丰富经验的正畸医生标记，然后通过深度学习的方法训练这些数据并学习到正畸医生的知识。这种方式能够提高正畸医生工作效率，辅助正畸医生快速实现矫正治疗方案的制定。在数据训练之前，考虑牙齿特征的稀疏性导致采用人工智能的方法进行直接预测的结果很差，因此，本发明设计了一种稀疏特征转换成稠密表示的方法，针对牙齿特征点，采用逐点编码的方式将牙齿特征点转化成牙齿模型表面的距离场，针对牙齿特征轴，采用逐点编码的方式将牙齿特征轴转换成空间直线的投影向量场。在训练过程中，给定牙齿模型表面的点云数据，预测的结果不只是一个点的坐标或者一个轴的方向向量，而是预测每个点对应的测地距离和投影坐标点。通过后处理可以准确的获得牙齿特征点和特征轴。牙齿的特征点可以用来判断牙齿之间的间隙，排列整齐程度，特征轴可以准确的衡量上下牙齿的咬合关系，从而加快正畸医生对牙齿畸形的诊断和治疗方案制定的效率。
本发明公开了一种三维牙齿特征检测方法和装置，所述方法包括以下步骤：给定三维牙齿模型数据，由正畸医生标记特征点和特征轴。然后采用逐点编码的方式将稀疏的牙齿特征转换成稠密的表示方法，即将牙齿特征点用牙齿模型表面的测地距离场来表示，牙齿特征轴用牙齿模型表面的点垂直投影到特征轴的投影点来表示。通过训练网络模型预测每颗牙齿的测地距离场和投影向量场，最后通过聚类算法和最小二乘法对预测的距离场和投影向量场进行后处理，完成所述牙齿特征点和特征轴的检测。
实施例二
本实施例提供了三维牙齿模型的正畸特征自动检测***；
三维牙齿模型的正畸特征自动检测***，包括：
获取模块，其被配置为：获取三维牙齿信息和牙冠信息；然后，对三维牙齿信息和牙冠信息进行配准，获得三维牙齿模型；
特征提取模块，其被配置为：对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；对融合特征提取出牙齿特征点对应的距离场；对融合特征提取出牙齿特征轴对应的投影向量场；
特征增强模块，其被配置为：对牙齿特征点对应的距离场进行特征增强处理；对牙齿特征轴对应的投影向量场进行特征增强处理；
聚类和最小二乘处理模块，其被配置为：对增强后的距离场进行聚类，将聚类中心作为最终的牙齿特征点；对增强后的投影向量场进行最小二乘法处理，得到的结果作为牙齿特征轴。
此处需要说明的是，上述获取模块、特征提取模块、特征增强模块和聚类和最小二乘处理模块对应于实施例一中的步骤S101至S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的***，可以通过其他的方式实现。例如以上所描述的***实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个***，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.三维牙齿模型的正畸特征自动检测方法，其特征是，包括：
获取三维牙齿信息和牙冠信息；然后，对三维牙齿信息和牙冠信息进行配准，获得三维牙齿模型；
对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；对融合特征提取出牙齿特征点对应的距离场；对融合特征提取出牙齿特征轴对应的投影向量场；
对牙齿特征点对应的距离场进行特征增强处理；对牙齿特征轴对应的投影向量场进行特征增强处理；
对增强后的距离场进行聚类，将聚类中心作为最终的牙齿特征点；对增强后的投影向量场进行最小二乘法处理，得到的结果作为牙齿特征轴；
对融合特征提取出牙齿特征点对应的距离场，具体包括：
三维牙齿模型与最终的融合特征融合后，输入到第二编解码器中，输出牙齿特征点对应的距离场；
其中，第二编解码器的网络结构，包括：依次串联的第十子编码器、第十一子编码器、第十二子编码器、第一加法器、第四子解码器、第二加法器、第五子解码器、第三加法器和第六子解码器；
其中，第十子编码器的输入端还与第三加法器的输入端连接；
第十子编码器的输出端还与第二加法器的输入端连接；
第十一子编码器的输出端还与第一加法器的输入端连接；
对融合特征提取出牙齿特征轴对应的投影向量场，具体包括：
三维牙齿模型与最终的融合特征融合后，输入到第三编解码器中，提取出牙齿特征轴对应的投影向量场；
其中，第三编解码器的网络结构，包括：依次串联的第十三子编码器、第十四子编码器、第十五子编码器、第四加法器、第七子解码器、第五加法器、第八子解码器、第六加法器和第九子解码器；
其中，第十三子编码器的输入端还与第六加法器的输入端连接；
第十三子编码器的输出端还与第五加法器的输入端连接；
第十四子编码器的输出端还与第四加法器的输入端连接。
2.如权利要求1所述的三维牙齿模型的正畸特征自动检测方法，其特征是，对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；具体包括：
对三维牙齿模型，采用第一编解码器进行多尺度特征提取，对多尺度特征进行融合得到融合特征；
其中，第一编解码器，包括：三个并联的分支；
所述三个并联的分支为第一分支、第二分支和第三分支；
其中，第一分支，包括：依次串联的第一子编码器、第二子编码器和第三子编码器；
第二分支，包括：依次串联的第四子编码器、第五子编码器和第六子编码器；
第三分支，包括：依次串联的第七子编码器、第八子编码器和第九子编码器；
第三子解码器、第六子解码器和第九子解码器的输出端均与加法器a连接，加法器a与第一子解码器连接；第一子解码器与加法器b连接；加法器b与第二子解码器连接；第二子解码器与加法器c连接，加法器c与第三子解码器连接。
3.如权利要求1所述的三维牙齿模型的正畸特征自动检测方法，其特征是，对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；详细步骤包括：
通过第一子编码器对三维牙齿模型进行特征提取，得到第一尺度特征；
通过第二子编码器对第一尺度特征进行特征提取，得到第二尺度特征；
通过第三子编码器对第二尺度特征进行特征提取，得到第三尺度特征；
通过第四子编码器对三维牙齿模型进行特征提取，得到第四尺度特征；
通过第五子编码器对第四尺度特征进行特征提取，得到第五尺度特征；
通过第六子编码器对第五尺度特征进行特征提取，得到第六尺度特征；
通过第七子编码器对三维牙齿模型进行特征提取，得到第七尺度特征；
通过第八子编码器对第七尺度特征进行特征提取，得到第八尺度特征；
通过第九子编码器对第八尺度特征进行特征提取，得到第九尺度特征；
对第二、第三、第五、第六、第八和第九尺度特征进行融合，得到第一融合特征；
通过第一子解码器对第一融合特征进行特征提取，得到第十尺度特征；
将第十尺度特征与第一、第四和第七尺度特征进行融合，得到第二融合特征；
通过第二子解码器对第二融合特征进行特征提取，得到第十一尺度特征；
将第十一尺度特征与三维牙齿模型进行融合，得到第三融合特征；
通过第三子解码器对第三融合特征进行特征提取，得到最终的融合特征。
4.如权利要求1所述的三维牙齿模型的正畸特征自动检测方法，其特征是，对牙齿特征点对应的距离场进行特征增强处理；具体包括：
对牙齿三维模型和牙齿特征点对应的距离场，采用第一全连接层进行处理，得到第一全连接结果；
对牙齿三维模型和第一全连接结果，采用第二全连接层进行处理，得到第二全连接结果；
对牙齿三维模型和第二全连接结果，采用第三全连接层进行处理，得到第三全连接结果，第三全连接结果即为牙齿特征点对应的距离场的特征增强处理结果；
或者，
对牙齿特征轴对应的投影向量场进行特征增强处理；具体包括：
对牙齿三维模型和牙齿特征轴对应的投影向量场，采用第四全连接层进行处理，得到第四全连接结果；
对牙齿三维模型和第四全连接结果，采用第五全连接层进行处理，得到第五全连接结果；
对牙齿三维模型和第五全连接结果，采用第五全连接层进行处理，得到第六全连接结果，第六全连接结果即为牙齿特征轴对应的投影向量场的特征增强处理结果。
5.如权利要求1所述的三维牙齿模型的正畸特征自动检测方法，其特征是，所述方法还包括训练阶段；
训练阶段包括：
构建待训练的网络结构；
构建训练集；所述训练集为已知牙齿特征点对应的测地距离场和牙齿特征轴对应的投影向量场的三维牙齿模型；
将训练集输入到网络结构中，对网络结构进行训练，得到训练后的网络结构；
待训练的网络结构，包括：
第一编解码器，所述第一编解码器的输出端分别连接第二编解码器和第三编解码器；其中第一编解码器用于提取多尺度特征；第二编解码器用于提取牙齿特征点对应的测地距离场；第三编解码器用于提取牙齿特征轴对应的投影向量场；
第二编解码器与第一增强单元连接；其中，第一增强单元为三个串联的全连接层；
第三编解码器与第二增强单元连接；其中，第二增强单元为三个串联的全连接层；
训练集的构建步骤包括：
由牙医对三维牙齿模型进行标记牙齿特征点和牙齿特征轴，将牙齿特征点转换成牙齿模型表面的测地距离场，将牙齿特征轴转换成牙齿表面点到轴的投影向量；从而构成训练数据集。
6.三维牙齿模型的正畸特征自动检测***，其特征是，包括：
获取模块，其被配置为：获取三维牙齿信息和牙冠信息；然后，对三维牙齿信息和牙冠信息进行配准，获得三维牙齿模型；
特征提取模块，其被配置为：对三维牙齿模型进行多尺度特征提取，对多尺度特征进行融合得到融合特征；对融合特征提取出牙齿特征点对应的距离场；对融合特征提取出牙齿特征轴对应的投影向量场；
特征增强模块，其被配置为：对牙齿特征点对应的距离场进行特征增强处理；对牙齿特征轴对应的投影向量场进行特征增强处理；
聚类和最小二乘处理模块，其被配置为：对增强后的距离场进行聚类，将聚类中心作为最终的牙齿特征点；对增强后的投影向量场进行最小二乘法处理，得到的结果作为牙齿特征轴；
对融合特征提取出牙齿特征点对应的距离场，具体包括：
三维牙齿模型与最终的融合特征融合后，输入到第二编解码器中，输出牙齿特征点对应的距离场；
其中，第二编解码器的网络结构，包括：依次串联的第十子编码器、第十一子编码器、第十二子编码器、第一加法器、第四子解码器、第二加法器、第五子解码器、第三加法器和第六子解码器；
其中，第十子编码器的输入端还与第三加法器的输入端连接；
第十子编码器的输出端还与第二加法器的输入端连接；
第十一子编码器的输出端还与第一加法器的输入端连接；
对融合特征提取出牙齿特征轴对应的投影向量场，具体包括：
三维牙齿模型与最终的融合特征融合后，输入到第三编解码器中，提取出牙齿特征轴对应的投影向量场；
其中，第三编解码器的网络结构，包括：依次串联的第十三子编码器、第十四子编码器、第十五子编码器、第四加法器、第七子解码器、第五加法器、第八子解码器、第六加法器和第九子解码器；
其中，第十三子编码器的输入端还与第六加法器的输入端连接；
第十三子编码器的输出端还与第五加法器的输入端连接；
第十四子编码器的输出端还与第四加法器的输入端连接。
7.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-5任一项所述的方法。
CN202110187667.7A 2021-02-18 2021-02-18 三维牙齿模型的正畸特征自动检测方法及*** Active CN112991273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110187667.7A CN112991273B (zh) 2021-02-18 2021-02-18 三维牙齿模型的正畸特征自动检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110187667.7A CN112991273B (zh) 2021-02-18 2021-02-18 三维牙齿模型的正畸特征自动检测方法及***

Publications (2)

Publication Number Publication Date
CN112991273A CN112991273A (zh) 2021-06-18
CN112991273B true CN112991273B (zh) 2022-12-16

Family

ID=76393319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110187667.7A Active CN112991273B (zh) 2021-02-18 2021-02-18 三维牙齿模型的正畸特征自动检测方法及***

Country Status (1)

Country Link
CN (1) CN112991273B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516784B (zh) * 2021-07-27 2023-05-23 四川九洲电器集团有限责任公司 一种牙齿分割建模方法和装置
CN114091628B (zh) * 2022-01-20 2022-04-22 山东大学 基于双分支网络的三维点云上采样方法及***
CN114782343A (zh) * 2022-04-12 2022-07-22 先临三维科技股份有限公司 基于人工智能的口腔检测方法、装置、电子设备及介质
CN115619773B (zh) * 2022-11-21 2023-03-21 山东大学 一种三维牙齿多模态数据配准方法及***
EP4375928A1 (en) * 2022-11-23 2024-05-29 DENTSPLY SIRONA Inc. Method for length measurement within dental panoramic images
CN117830317B (zh) * 2024-03-05 2024-06-18 天津医科大学口腔医院 基于图像处理的正畸自动检测方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102083387A (zh) * 2008-01-23 2011-06-01 森瑟博科技有限公司 能触觉操作的齿科建模***
CN108986123A (zh) * 2017-06-01 2018-12-11 无锡时代天使医疗器械科技有限公司 牙颌三维数字模型的分割方法
CN110428021A (zh) * 2019-09-26 2019-11-08 上海牙典医疗器械有限公司 基于口腔体素模型特征提取的正畸附件规划方法
CN110930421A (zh) * 2019-11-22 2020-03-27 电子科技大学 一种用于cbct牙齿图像的分割方法
CN111315315A (zh) * 2017-11-01 2020-06-19 阿莱恩技术有限公司 自动治疗规划
CN111683602A (zh) * 2017-08-25 2020-09-18 陈守朴 正畸应用中的优化方法
CN111784754A (zh) * 2020-07-06 2020-10-16 浙江得图网络有限公司 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715475B (zh) * 2015-01-22 2017-10-13 中南大学 一种基于调和场的牙颌三维模型自动分割全部牙冠的方法
US9737257B2 (en) * 2015-01-30 2017-08-22 3M Innovative Properties Company Estimating and predicting tooth wear using intra-oral 3D scans
CN112308895B (zh) * 2019-07-31 2022-09-23 天津工业大学 一种构建真实感牙列模型的方法
CN111862171B (zh) * 2020-08-04 2021-04-13 万申(北京)科技有限公司 基于多视图融合的cbct与激光扫描点云数据牙齿配准方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102083387A (zh) * 2008-01-23 2011-06-01 森瑟博科技有限公司 能触觉操作的齿科建模***
CN108986123A (zh) * 2017-06-01 2018-12-11 无锡时代天使医疗器械科技有限公司 牙颌三维数字模型的分割方法
CN111683602A (zh) * 2017-08-25 2020-09-18 陈守朴 正畸应用中的优化方法
CN111315315A (zh) * 2017-11-01 2020-06-19 阿莱恩技术有限公司 自动治疗规划
CN110428021A (zh) * 2019-09-26 2019-11-08 上海牙典医疗器械有限公司 基于口腔体素模型特征提取的正畸附件规划方法
CN110930421A (zh) * 2019-11-22 2020-03-27 电子科技大学 一种用于cbct牙齿图像的分割方法
CN111784754A (zh) * 2020-07-06 2020-10-16 浙江得图网络有限公司 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Deep Multi-Scale Mesh Feature Learning for Automated Labeling of Raw Dental Surfaces From 3D Intraoral Scanners";Chunfeng Lian 等;《IEEE Transactions on Medical Imaging》;20200205;第39卷(第7期);第2440-2450页 *
"牙齿正畸中的几个关键算法研究";贾学凡;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20190115(第1期);全文 *

Also Published As

Publication number Publication date
CN112991273A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112991273B (zh) 三维牙齿模型的正畸特征自动检测方法及***
JP7451406B2 (ja) 深層学習法を使用する自動３ｄ歯根形状予測
US11735306B2 (en) Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches
JP7489964B2 (ja) 深層学習を使用した自動化矯正治療計画
JP7493464B2 (ja) ３ｄオブジェクトの正準ポーズの自動化判定、および深層学習を使った３ｄオブジェクトの重ね合わせ
Zanjani et al. Mask-MCNet: Tooth instance segmentation in 3D point clouds of intra-oral scans
EP2901420B1 (en) A method and system for registration/alignment of 3d digital models
EP2598034A2 (en) Adaptive visualization for direct physician use
CN114219897B (zh) 一种基于特征点识别的牙齿正畸结果预测方法及***
US20220084267A1 (en) Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports
CN114342002A (zh) 用于定制牙科对象的即时自动化设计的方法、***和设备
CN111685899A (zh) 基于口内图像和三维模型的牙齿正畸治疗监测方法
CN115619773B (zh) 一种三维牙齿多模态数据配准方法及***
US20240058105A1 (en) Augmentation of 3d surface of dental site using 2d images
WO2023242757A1 (en) Geometry generation for dental restoration appliances, and the validation of that geometry
Tian et al. Efficient tooth gingival margin line reconstruction via adversarial learning
CN116958169A (zh) 一种三维牙颌模型牙齿分割方法
CN117876578B (zh) 基于冠根融合的正畸排牙的方法
EP4307229A1 (en) Method and system for tooth pose estimation
CN116912412A (zh) 一种口腔三维图像处理方法
EP4393449A1 (en) Method and system for tooth wear detection
US20230252748A1 (en) System and Method for a Patch-Loaded Multi-Planar Reconstruction (MPR)
WO2023242763A1 (en) Mesh segmentation and mesh segmentation validation in digital dentistry
WO2024127316A1 (en) Autoencoders for the processing of 3d representations in digital oral care
WO2024127311A1 (en) Machine learning models for dental restoration design generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant