CN114219897B - 一种基于特征点识别的牙齿正畸结果预测方法及*** - Google Patents
一种基于特征点识别的牙齿正畸结果预测方法及*** Download PDFInfo
- Publication number
- CN114219897B CN114219897B CN202111561575.7A CN202111561575A CN114219897B CN 114219897 B CN114219897 B CN 114219897B CN 202111561575 A CN202111561575 A CN 202111561575A CN 114219897 B CN114219897 B CN 114219897B
- Authority
- CN
- China
- Prior art keywords
- tooth
- point
- point cloud
- attention
- dentition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 210000004513 dentition Anatomy 0.000 claims abstract description 87
- 230000036346 tooth eruption Effects 0.000 claims abstract description 87
- 230000009466 transformation Effects 0.000 claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 239000013598 vector Substances 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 210000000332 tooth crown Anatomy 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 9
- 238000013519 translation Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000004763 bicuspid Anatomy 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910052602 gypsum Inorganic materials 0.000 description 2
- 239000010440 gypsum Substances 0.000 description 2
- 210000004283 incisor Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007408 cone-beam computed tomography Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 210000003464 cuspid Anatomy 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000004357 third molar Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
- A61C7/002—Orthodontic computer assisted systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Veterinary Medicine (AREA)
- Dentistry (AREA)
- Computer Graphics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Epidemiology (AREA)
- Geometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Evolutionary Biology (AREA)
Abstract
本发明公开一种基于特征点识别的牙齿正畸结果预测方法及***，包括：根据牙列模型得到牙冠点云、牙齿点云及牙齿标签；根据牙冠点云和牙齿点云提取牙列全局特征和牙齿局部特征，对牙列全局特征、单颗牙的牙齿标签及牙齿局部特征进行特征融合，根据融合特征和牙齿点云中点与特征点的偏移向量，提取单颗牙的特征点；将单颗牙的特征点与牙齿点云融合提取牙齿注意力特征，根据牙齿注意力特征得到牙列注意力特征，将牙列注意力特征、牙列全局特征及牙齿局部特征融合后得到融合特征点的点云；根据融合特征点的点云和目标位的牙冠点云得到牙齿正畸前后的刚体变换参数，根据刚体变换参数和待正畸的初始位牙冠点云，得到正畸后的牙冠模型预测结果。
Description
技术领域
本发明涉及深度学习和图像处理技术领域，特别是涉及一种基于特征点识别的牙齿正畸结果预测方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
口腔正畸学(Orthodontics)涉及牙齿和颌骨错位的诊断、矫正和预防，随着3D打印技术的发展，隐形矫治器被引入口腔正畸领域，同时发展出数字化正畸的研究领域。经过调研，现在也有着很多面向正畸医生的隐形矫治器服务提供商。其中大部分由医生作为与病人交流的窗口，并且由正畸医生给出正畸方案、上传病人数据交由技工进行操作、得到正畸之后的牙齿模型作为目标位、以及设计由起始位到目标位的正畸过程，再反馈到正畸医生进行判断确认，正畸医生通过方案后进而生产得到正畸过程中使用的隐形牙套。在上述过程中，正畸医生依然担任着非常重要的作用，正畸方案的效果与效率很大程度上取决于正畸医生对于正畸方案的设计经验。
随着计算机硬件设备以及机器学习算法地迅猛发展，数据驱动的机器学习医学影像处理方法逐渐成为相关学者的研究重点。牙科范畴的医学影像主要有面部CBCT数据、口内扫描数据、X光全景图、头影侧位片等；一个经验丰厚的正畸医师能够针对这些数据对患者的情况进行了解并且制定优秀可行而高效牙齿正畸方案。
然而，诊断过程极大程度地依赖于正畸医生的经验水平，同时也有很强的主观影响因素，因而催生出了众多能够依赖于已有数据及标记基于深度学习的分析与诊断方法，但是受限于深度学习方法对于数据集的依赖，医学数据对于采集设备不同导致数据对齐问题、医学数据的隐私问题，使得深度学习算法的鲁棒性成为一个算法在不同数据集下能否得到较好结果的关键；因此直接使用深度学习的牙齿正畸预测依旧是一个非常具有挑战性的工作。
对于牙齿正畸而言，仅仅拥有牙齿的3d模型是远远不够的，现有的自动化正畸方案生成直接对输入数据进行端到端输出处理，缺乏可解释性以及可靠性，即使医生拿到所得正畸方案也无从判断其是否准确。
发明内容
为了解决上述问题，本发明提出了一种基于特征点识别的牙齿正畸结果预测方法及***，基于正畸前的牙列模型获取牙冠点云和牙齿点云，以提取牙列全局特征和牙齿局部特征，对其进行特征融合后得到每颗牙齿的特征点；同时基于注意力机制得到带有特征点的牙列注意力特征，从而获取刚体变换参数，以预测正畸后的目标位牙冠模型。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种基于特征点识别的牙齿正畸结果预测方法，包括：
根据牙列模型得到初始位的牙冠点云、牙齿点云及对应的牙齿标签；
根据牙冠点云和牙齿点云分别提取牙列全局特征和牙齿局部特征，对牙列全局特征、单颗牙的牙齿标签及其牙齿局部特征进行特征融合，根据单颗牙的融合特征和牙齿点云中点与特征点的偏移向量，提取单颗牙的特征点；
将单颗牙的特征点与牙齿点云融合后，提取牙齿注意力特征，根据牙齿注意力特征得到带有特征点的牙列注意力特征，将牙列注意力特征、牙列全局特征及牙齿局部特征融合后得到融合特征点的点云；
根据融合特征点的点云和目标位的牙冠点云得到牙齿正畸前后的刚体变换参数，根据刚体变换参数和待正畸的初始位牙冠点云，得到正畸后的牙冠模型预测结果。
作为可选择的实施方式，提取牙列全局特征和牙齿局部特征的过程包括：对牙冠点云和牙齿点云采用共享多层感知机提取牙列全局特征和牙齿局部特征，所述共享多层感知机包括三层卷积层、三层归一化层和三层激活层，经共享多层感知机的特征提取后，再经过一层最大池化层与一层卷积层得到牙列全局特征和牙齿局部特征。
作为可选择的实施方式，提取单颗牙的特征点的过程包括：对单颗牙的融合特征采用全连接层技术得到牙齿点云中点与全连接层对应的特征点的偏移向量，所述全连接层包括三层卷积层、两层归一化层和两层激活层；将偏移向量与牙齿点云中的点坐标相加得到该点对于特征点的投票值，将所有点的投票值进行平均池化后得到特征点的坐标。
作为可选择的实施方式，提取牙齿注意力特征的过程包括：对单颗牙的特征点与牙齿点云融合后的牙齿特征采用三层卷积层映射为三个张量，其中两个张量通过矩阵乘运算计算逐点注意力与逐通道注意力，将逐点注意力与最后一个张量相乘，将逐通道注意力与最后一个张量相乘，将两个乘积相加后得到牙齿注意力特征。
作为可选择的实施方式，提取牙列注意力特征的过程包括：将所有牙的牙齿注意力特征进行拼接后，采用三层卷积层映射为三个张量，其中两个张量通过矩阵乘运算得到相似性矩阵，将相似性矩阵与最后一个张量相乘得到牙列注意力特征。
作为可选择的实施方式，根据融合特征点的点云采用全连接层得到刚体变换参数，所述全连接层包括两层卷积层、两层归一化层和两层激活层，将激活层输出的特征再经最大池化层、一层卷积层、两层归一化层和最后一层卷积层得到刚体变换参数。
作为可选择的实施方式，将获取的牙列模型进行归一化，且将初始位与目标位的牙冠点云进行配准；采用最远点采样方法对每颗牙齿进行下采样得到牙齿点云。
第二方面，本发明提供一种基于特征点识别的牙齿正畸结果预测***，包括：
数据获取模块，被配置为根据牙列模型得到初始位的牙冠点云、牙齿点云及对应的牙齿标签；
特征点提取模块，被配置为根据牙冠点云和牙齿点云分别提取牙列全局特征和牙齿局部特征，对牙列全局特征、单颗牙的牙齿标签及其牙齿局部特征进行特征融合，根据单颗牙的融合特征和牙齿点云中点与特征点的偏移向量，提取单颗牙的特征点；
注意力提取模块，被配置为将单颗牙的特征点与牙齿点云融合后，提取牙齿注意力特征，根据牙齿注意力特征得到带有特征点的牙列注意力特征，将牙列注意力特征、牙列全局特征及牙齿局部特征融合后得到融合特征点的点云；
刚体变换参数回归模块，被配置为根据融合特征点的点云和目标位的牙冠点云得到牙齿正畸前后的刚体变换参数，根据刚体变换参数和待正畸的初始位牙冠点云，得到正畸后的牙冠模型预测结果。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果为：
本发明提出一种基于特征点识别的牙齿正畸结果预测方法及***，通过提取更多的牙齿特征，即牙冠上的特征点landmark，得到能更加显式地指导正畸过程的牙齿特征信息，作为牙齿正畸结果的部分数值评价指标，对正畸方案的制定有着重要的指导作用。
本发明提出一种基于特征点识别的牙齿正畸结果预测方法及***，基于正畸前的牙列模型获取牙冠点云和牙齿点云，以分别提取牙列全局特征和牙齿局部特征，对其进行特征融合后得到每颗牙齿的特征点；提取特征点后，基于注意力机制得到带有特征点的牙列注意力特征，从而获取刚体变换参数，以预测正畸后的目标位牙冠模型。基于特征点的牙齿正畸结果预测能够更加有效地学习牙齿在正畸过程中的刚性运动变化、咬合畸形牙列与咬合正常牙列的特征及其差异。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的基于特征点识别的牙齿正畸结果预测方法示意图；
图2为本发明实施例1提供的牙齿类别及其对应的标签；
图3(a)-3(d)为本发明实施例1提供的牙齿特征点，依次为CO、CU、FA、OC；
图4为本发明实施例1提供的牙列全局特征提取示意图；
图5为本发明实施例1提供的牙齿局部特征提取示意图；
图6为本发明实施例1提供的特征点提取示意图；
图7(a)-7(c)为本发明实施例1提供的可分离自注意力机制示意图、空间注意力示意图、牙列注意力示意图；
图8为本发明实施例1提供的刚体变换参数回归示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1
如图1所示，本实施例提供一种基于特征点识别的牙齿正畸结果预测方法，包括以下步骤：
S1：根据牙列模型得到初始位的牙冠点云、牙齿点云及对应的牙齿标签；
S2：根据牙冠点云和牙齿点云分别提取牙列全局特征和牙齿局部特征，对牙列全局特征、单颗牙的牙齿标签及其牙齿局部特征进行特征融合，根据单颗牙的融合特征和牙齿点云中点与特征点的偏移向量，提取单颗牙的特征点；
S3：将单颗牙的特征点与牙齿点云融合后，提取牙齿注意力特征，根据牙齿注意力特征得到带有特征点的牙列注意力特征，将牙列注意力特征、牙列全局特征及牙齿局部特征融合后得到融合特征点的点云；
S4：根据融合特征点的点云和目标位的牙冠点云得到牙齿正畸前后的刚体变换参数，根据刚体变换参数和待正畸的初始位牙冠点云，得到正畸后的牙冠模型预测结果。
在本实施例中，在步骤S1中，基于牙齿正畸前后的口内扫描数据或咬合倒模扫描模型得到牙列模型，根据牙列模型得到正畸前后初始位和目标位的牙冠点云、单颗牙的牙齿点云及其所属的牙齿标签；
具体地，
1.1、使用口内扫描设备或扫描咬合倒模石膏得到牙列的3d网格模型，使用深度学习或手工标注的方法分割牙列模型，并对每颗牙进行分类；
以扫描咬合倒模石膏得到的牙列模型为例，该模型文件为off格式，根据顶点拓扑连接关系计算顶点的法向数据，选取顶点作为所需要的点云，按照<x,y,z,N_x,N_y,N_z>格式进行存储；将点云输入至基于深度学习构建的分割与分类网络中，得到牙冠点云及其对应牙齿的标签。
在本实施例中，所使用的分割方法为3D Tooth Segmentation and LabelingUsing Deep Convolutional Neural Networks，将点云分割为29个类别，分别对应非牙齿部分点云与28颗牙齿部分点云；
如图2所示，牙齿部分点云分别按照牙齿编号作为标签分为四组：其中上牙右半边为11-17，上牙左半边为21-27，下牙右半边为31-37，下牙左半边为41-47；每组牙中：编号1为门牙，编号2为侧门牙，编号3为尖牙，编号4、5为第一、第二前磨牙，编号6、7为第一、第二后磨牙；不考虑智齿情况。
在本实施例中，将同病例中整牙前的牙列模型与整牙后的牙列模型，分别作为初始位数据与目标位数据；将初始位数据作为分割与分类网络的输入，目标位数据作为监督数据，以监督训练分割与分类网络。
本实施例也可以使用口内扫描设备得到牙列模型，处理过程类似。
1.2、将牙列模型的位置坐标进行归一化，归一化至坐标原点，并且将初始位与目标位的完整牙列点云进行配准，使得前后牙冠基本位于同一平面上；该操作是为了减小因为前后扫描模型角度不同导致的误差，使得模型能够更好的学习牙齿真实的移动过程；
在本实施例中，使用ICP(最近邻迭代算法)对牙列点云进行配准；具体包括：计算两个点云中点与点的距离，利用贪心算法算出最近邻点对，得到点云上点的对应关系；根据两个点云上点的对应关系，利用最小二乘法leastsquares来求解刚性变换中的参数，并且移动源点云；重复上述两个步骤，迭代进行计算，直到收敛。
由于存在部分病例会经过拔牙的过程导致前后牙齿数量不对应，因此将分割结果差的牙齿删除、将初始位与目标位前后不对应的牙齿删除；为了保持网络输入一致，将删除的牙齿或者缺损的牙齿用坐标原点补齐，本实施例共计标记使用28颗牙。
在本实施例中，采用最远点采样方法(farthestpointSampling，FPS)，每颗牙齿点云下采样至400个点，以此作为网络输入，减少网络输入的数据量，最终输入网络中的点云点个数为11200(28*400)。
最远点采样方法为：在模型表面随机选择一个点作为起始点，计算所有点到该点距离，从中选择距离最远的点，再计算所有点到这两个点的距离，继续从中选择距离这两个点最远的点，直到选出需要的个数为止。相比随机采样，最远点采样方法相对能得到更大的采集区域和对点云的概括能力。
在本实施例中，需要标定或计算数据包括：每颗牙齿的9个特征点landmark；以及牙齿正畸过程中，每颗牙的初始位到目标位经过的刚体变换参数。
不同的牙齿特征在正畸过程中具有不同的作用和功能，其中，牙齿解剖特征点中：连接点CO(contact point)为相邻两颗牙相接的点，反应相邻的牙排列是否正确；咬合点CO(occlusal point)为牙冠中与对应咬合牙齿相接的凹点，反映咬合状态是否正常；面轴点FA(facialaxispoint)表示唇侧牙齿表面的中心点，可以反映牙齿的朝向，或者作为正畸过程施力点安置附件；牙尖点CU(cusppoint)表示牙齿尖端部分接触食物的点，也反映牙齿的朝向，或者咬合状态正常与否。所以，本实施例中，每颗牙齿的9个特征点landmark分别为两个OC(咬合点)、两个CO(连接点)、一个FA(面轴点)、四个CU(牙尖点)，如图3(a)-3(d)所示。
从初始位到目标位经过的刚体变换参数由ICP算法计算，ICP算法本质上是基于最小二乘法的最优配准方法；该算法重复进行选择对应关系点对，计算最优刚体变换，直到满足正确配准的收敛精度要求；ICP算法的目的是要找到初始位与目标位点云之间的旋转参数R和平移参数T，使得两点数据之间满足某种度量准则下的最优匹配，从而得出牙齿正畸过程中牙列由畸形到整齐，每颗牙经过的刚体变换参数。
如果直接使用经由ICP算法得到的旋转参数矩阵R与平移参数T作为监督信息训练神经网络，由于其自由度过高且不能很好的表征牙齿实际的运动过程，因此本实施例采用一种更简便且直观的方法表征牙齿运动，即对每颗牙定义一个六维向量<rx，ry，rz，Tx，Ty，Tz>；前三位<rx，ry，rz>为Axis-Angle(轴角)表示的牙齿旋转参数r，可以转换为旋转矩阵R，后三位为牙齿中心点的平移，表示为平移向量Tof；特别的，牙齿旋转为以C牙齿中心点为旋转点的旋转过程，那么，从初始位点云Pori到目标位点云Pnew的运动可以表示为：
Pnew＝R·(Pori-C)+Tof+C。
在本实施例中，以一定概率对输入的牙齿进行随机旋转与平移操作，同时更新监督信息，以增加数据量实现数据增强，提高鲁棒性。
具体地，本实施例设置每颗牙有0.3的概率进行随机旋转与平移；旋转轴向随机、旋转角度为±90°；平移方向随机、平移距离为±0.5mm；本实施例所定义牙齿的运动与数据增强方式相似，因此更新监督信息只需要分别将旋转矩阵相乘、将平移向量相加即可。
在所述步骤S2中，根据得到的牙冠点云，使用PointnetEncoder结构提取牙列全局特征，以及根据单颗牙齿的牙齿点云提取牙齿局部特征，对牙列全局特征和牙齿局部特征进行特征融合后，使用PointNet回归得到单颗牙齿点云中逐点对应逐特征点之间的偏移向量，从而对单颗牙齿中所有点使用平均池化投票得到单颗牙齿对应的特征点。
具体地，
2.1、利用PointnetEncoder结构提取牙列全局特征；牙冠点云经过三层由1d卷积实现的共享多层感知机，并经过最大池化层从而提取牙列全局特征。
PointnetEncoder结构思路来源于论文PointNet：Deep Learning on Point Setsfor 3D Classification and Segmentation。在本实施例中，使用三层1d卷积Conv1d、三层BatchNorm1d、三层激活层ReLU作为共享多层感知机sharedMLP，采用共享多层感知机对6通道<x，y，z，Nx，Ny，Nz>的全部牙冠点云(28*400＝11200个点)数据提取特征，并升维至256维，再经过一层最大池化层MaxPool1d与一层1d卷积层Conv1d计算得到1个256维的向量，将其作为牙列全局特征，如图4所示。
PointNet使用最大池化MaxPool1d进行点云特征提取，主要针对点云数据的无序性特点；由于点云具有无序性，则需要处理点云的模型应具有置换不变性，也就是说即使输入数据点的顺序不同、但是输入为相同的点云，那么模型所的输出也应该是相同的；因此PointNet则选取1d卷积(全连接层)作为每个点的特征提取，因为全连接层会对所有点做相同的计算，然后再使用MaxPool最大池化得到输出，这样便能够解决点云深度学习网络所需要的输入置换不变性问题。
2.2、利用PointnetEncoder提取牙齿局部特征，将单颗牙齿的牙齿点云分别经过独立的三层1d卷积实现的多层感知机，并经过最大池化层提取单颗牙齿的牙齿局部特征。
该过程与牙列全局特征的提取过程相似，不同的是，牙齿局部特征的提取使用28个独立的共享多层感知机sharedMLP，分别对每颗牙齿的400个点进行特征提取；将输入的6通道的牙齿点云数据提取特征，并升维至256维，最终得到28个256维的向量，将其作为牙齿局部特征，如图5所示。
2.3、将单颗牙齿的牙齿标签的OneHot向量(28维)、牙列全局特征(256维)以及该牙齿的牙齿局部特征(256维)进行拼接，再复制400次后，与牙齿点云的400个点的坐标进行拼接操作，得到该牙齿的融合特征点云(400*543)；
特征重复并融合后，使用全连接层得到每个点与每个特征点之间的偏移向量；在本实施例中，使用9个结构相同但是互相独立的全连接层对每颗牙的9个特征点进行计算；如图6所示，具体地，每个全连接层由三层1d卷积Conv1d、两层BatchNorm1d、两层激活层ReLU构成，计算得到偏移向量矩阵(400*3)，表示单颗牙齿点云中每个点到全连接层对应的特征点的偏移向量。
2.4、将偏移向量与点坐标相加，即可得到该点对于某特征点的投票，将所有点投票所得的坐标采用平均池化，预测得到特征点的坐标。
在本实施例中，将点云坐标(400*3)与偏移向量(400*3)相加即可得到逐点对于当前特征点的投票，对于400个可能的坐标使用平均池化AvgPoolld得到特征点的坐标；以上过程得到28颗牙中每颗牙9个特征点，共计252个点；该过程可以表示为：
其中，lmt，k表示编号为t、牙编号为k的特征点，N为每颗牙点云的点数量，表示全连接层计算每个点与对应特征点的偏移向量。
在本实施例中，所使用的监督数据为标记的特征点，损失函数使用逐特征点的L1loss，可以表示为：
其中，T为牙列包含牙齿的数量，K为使用特征点landmark的数量；LLandmark-pre是对牙齿特征点进行直接监督，保证特征点分布正确。
在所述步骤S3中，使用可分离自注意力机制SSA提取牙齿和牙列的注意力特征，将注意力特征与上述所得特征点再次进行特征融合；
用正畸后的目标位牙冠点云作为监督信息，融合特征输入全连接层，得到单颗牙齿从初始位到目标位的刚体变换参数，将刚体变换参数转换为刚体变换后与初始位牙冠点云相乘，即可得到所预测的正畸后的目标位牙冠模型。
SaparableSelf-Attention可分离自注意力机制思路来源于论文SSAN：SeparableSelf-Attention Network for Video Representation Learning。
如图7(a)-7(c)所示，具体地：
3.1、利用可分离自注意力机制，进行单颗牙齿点云及其特征内部的特征传播与融合，分别为逐通道的自注意力及逐点的自注意力，根据逐通道的自注意力及逐点的自注意力提取牙齿注意力特征。
设为输入特征，其中，T为牙列包含牙齿的数量，K为使用特征点landmark的数量，C为参与计算特征通道；在本实施例中，X由特征点与牙齿点云特征融合所得，T取28、K取10(9个特征点landmark与牙齿中心点)、C取256维。
常用的Attention块会将X映射成query、key与value三个矩阵，并且通过相乘计算注意力分布(相似度)，再根据注意力分布来计算输入信息的加权值；本实施例采用空间注意力SpatialAttention，首先考虑每颗牙齿特征信息Xt，并且分别计算逐点的注意力与逐通道的注意力。
将Xt分别输入三个Conv1d映射为三个张量，再通过矩阵乘运算计算相似性矩阵/>分别代表逐点的注意力与逐通道的注意力；再将逐通道注意力与value逐通道相乘、逐点注意力与value逐点相乘，将结果相加即为当前牙齿t的注意力特征，计算如下：
3.2、利用牙齿注意力特征采用TeethAttention(牙列注意力)提取牙列的注意力特征。
将牙齿注意力特征进行拼接得到与上述过程类似，将/>分别输入三个Conv1d映射为/>三个张量，通过矩阵乘运算计算相似性矩阵/>代表各牙齿间注意力，再将其与value相乘，得到牙列的注意力特征，计算如下：
为带有特征点landmark及牙列信息的牙列注意力特征。
在本实施例中，选用的自注意力机制仅仅使用特征点及其特征，而非全部牙齿点云，究其原因是由于深度学习模型的训练较为依赖计算硬件性能、计算空间占用比较高，如若仍然使用全部牙冠的11200个点云会使得存储占用较大并且网络训练时非常难以收敛；因此选用仅仅280个点的特征点landmark作为逐点自注意力模块输入能够大大减少参数量并且提高网络训练收敛速度、测试计算速度。
3.3、将单颗牙齿的牙齿标签的OneHot向量(28维)、牙列全局特征(256维)、该牙齿的牙齿局部特征(256维)进行拼接，再复制10次与牙齿特征点的10个点坐标以及牙列注意力特征(256维)进行拼接操作，得到该牙齿的融合特征点的点云(10*799)。
在所述步骤S4中，使用28个结构相同但是互相独立的全连接层对每颗牙的6维刚体变换参数RTvector＝<rx，ry，rz，Tx，Ty，Tz>进行计算；具体地，每个全连接层由两层1d卷积Conv1d、两层BatchNorm1d、两层激活层ReLU、经过MaxPool1d，再经过层1d卷积Conv1d、两层BatchNorm1d和最后一个1d卷积Conv1d作为全连接层构成；最终计算得到刚体变换参数矩阵(28*6)。
在本实施例中，特征融合后，采用各个牙齿独立的多层感知机，回归得到该牙齿正畸过程的刚体变换参数，如图8所示。根据刚体变换参数为计算牙齿刚体变换矩阵，并将其与初始位的牙冠点云坐标相乘，得到预测的正畸后的目标位牙齿排列的牙冠点云模型。
神经网络的输出为RTvector＝<rx，ry，rz，Tx，Ty，Tz>；其中<Tx，Ty，Tz>表示牙齿中心点的偏移Tof；<rx，ry，rz>表示牙齿以其中心点旋转的旋转轴角Axis-Angle参数r，对应的旋转矩阵R计算如下：
本实施例中，针对每颗牙t对其对应点云Pt均做计算，得到对应的目标位点云
在本实施例中，选用损失函数目的是为了使网络更好的学习正畸目标位牙冠模型分布；损失函数包括：预测的目标位点云与监督数据中目标位点云的倒角距离、预测目标位相邻牙齿点云之间的倒角向量smoothL1loss、刚体变换参数的L2loss、经过刚体变换所得逐特征点的L1loss；
损失函数可以根据实际情况更改，其中：
(1)Lchamfer-distance为每颗牙齿预测点云与监督数据中点云的倒角距离，能够有效监督牙齿正畸过程中对于单个牙齿目标位预测的相似度与准确性：
其中，d(p，q)表示点p与点q的欧氏距离。
(2)Lconnection为预测点云相邻牙齿之间的倒角向量的smoothL1loss，关注于相邻牙齿之间的连接关系是否正确，具体地：相邻接的点云包括某一牙齿点云左侧与右侧的牙齿点云，以及上颌牙齿整体点云与下颌牙齿整体点云；
其中，V(P1，P2)表示点云P1与P2之间各点最近点插值向量，表示与牙齿t相连接的牙齿点云的集合。
(3)Lvector为刚体变换参数的L2loss，是对刚体变换参数的直接约束：
在本实施例中，λr＝10，
(4)LLandmark-new为特征点经过正畸操作后的位置的L1loss，既可以监督特征点分布，对于刚体变换参数的学习也有一定的约束作用：
其中，表示点集P经过t对应刚体变换。
实施例2
本实施例提供一种基于特征点识别的牙齿正畸结果预测***，包括：
数据获取模块，被配置为根据牙列模型得到初始位的牙冠点云、牙齿点云及对应的牙齿标签；
特征点提取模块，被配置为根据牙冠点云和牙齿点云分别提取牙列全局特征和牙齿局部特征，对牙列全局特征、单颗牙的牙齿标签及其牙齿局部特征进行特征融合，根据单颗牙的融合特征和牙齿点云中点与特征点的偏移向量，提取单颗牙的特征点；
注意力提取模块，被配置为将单颗牙的特征点与牙齿点云融合后，提取牙齿注意力特征，根据牙齿注意力特征得到带有特征点的牙列注意力特征，将牙列注意力特征、牙列全局特征及牙齿局部特征融合后得到融合特征点的点云；
刚体变换参数回归模块，被配置为根据融合特征点的点云和目标位的牙冠点云得到牙齿正畸前后的刚体变换参数，根据刚体变换参数和待正畸的初始位牙冠点云，得到正畸后的牙冠模型预测结果。
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种牙科用椅旁设备，用于口内扫描模型的获取、处理、分割分类，牙齿咬合状态的分析、牙齿特征点检测以及牙齿正畸目标位预测；包括：口内扫描光学识别输入设备，存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，正畸前后模型可视化输出设备，所述处理器执行所述程序时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.一种基于特征点识别的牙齿正畸结果预测方法，其特征在于，包括：
根据牙列模型得到初始位的牙冠点云、牙齿点云及对应的牙齿标签；
根据牙冠点云和牙齿点云分别提取牙列全局特征和牙齿局部特征，对牙列全局特征、单颗牙的牙齿标签及其牙齿局部特征进行特征融合，根据单颗牙的融合特征和牙齿点云中点与特征点的偏移向量，提取单颗牙的特征点；
提取牙列全局特征和牙齿局部特征的过程包括：对牙冠点云和牙齿点云采用共享多层感知机提取牙列全局特征和牙齿局部特征，所述共享多层感知机包括三层卷积层、三层归一化层和三层激活层，经共享多层感知机的特征提取后，再经过一层最大池化层与一层卷积层得到牙列全局特征和牙齿局部特征；
将单颗牙的特征点与牙齿点云融合后，提取牙齿注意力特征，根据牙齿注意力特征得到带有特征点的牙列注意力特征，将牙列注意力特征、牙列全局特征及牙齿局部特征融合后得到融合特征点的点云；
提取牙齿注意力特征的过程包括：对单颗牙的特征点与牙齿点云融合后的牙齿特征采用三层卷积层映射为三个张量，其中两个张量通过矩阵乘运算计算逐点注意力与逐通道注意力，将逐点注意力与最后一个张量相乘，将逐通道注意力与最后一个张量相乘，将两个乘积相加后得到牙齿注意力特征；
提取牙列注意力特征的过程包括：将所有牙的牙齿注意力特征进行拼接后，采用三层卷积层映射为三个张量，其中两个张量通过矩阵乘运算得到相似性矩阵，将相似性矩阵与最后一个张量相乘得到牙列注意力特征；
根据融合特征点的点云和目标位的牙冠点云得到牙齿正畸前后的刚体变换参数，根据刚体变换参数和待正畸的初始位牙冠点云，得到正畸后的牙冠模型预测结果。
2.如权利要求1所述的一种基于特征点识别的牙齿正畸结果预测方法，其特征在于，提取单颗牙的特征点的过程包括：对单颗牙的融合特征采用全连接层技术得到牙齿点云中点与全连接层对应的特征点的偏移向量，所述全连接层包括三层卷积层、两层归一化层和两层激活层；将偏移向量与牙齿点云中的点坐标相加得到牙齿点云中的点对于特征点的投票值，将牙齿点云中的所有点的投票值进行平均池化后得到特征点的坐标。
3.如权利要求1所述的一种基于特征点识别的牙齿正畸结果预测方法，其特征在于，根据融合特征点的点云采用全连接层得到刚体变换参数，所述全连接层包括两层卷积层、两层归一化层和两层激活层，将激活层输出的特征再经最大池化层、一层卷积层、两层归一化层和最后一层卷积层得到刚体变换参数。
4.如权利要求1所述的一种基于特征点识别的牙齿正畸结果预测方法，其特征在于，将获取的牙列模型进行归一化，且将初始位与目标位的牙冠点云进行配准；采用最远点采样方法对每颗牙齿进行下采样得到牙齿点云。
5.一种基于特征点识别的牙齿正畸结果预测***，其特征在于，包括：
数据获取模块，被配置为根据牙列模型得到初始位的牙冠点云、牙齿点云及对应的牙齿标签；
特征点提取模块，被配置为根据牙冠点云和牙齿点云分别提取牙列全局特征和牙齿局部特征，对牙列全局特征、单颗牙的牙齿标签及其牙齿局部特征进行特征融合，根据单颗牙的融合特征和牙齿点云中点与特征点的偏移向量，提取单颗牙的特征点；
提取牙列全局特征和牙齿局部特征的过程包括：对牙冠点云和牙齿点云采用共享多层感知机提取牙列全局特征和牙齿局部特征，所述共享多层感知机包括三层卷积层、三层归一化层和三层激活层，经共享多层感知机的特征提取后，再经过一层最大池化层与一层卷积层得到牙列全局特征和牙齿局部特征；
注意力提取模块，被配置为将单颗牙的特征点与牙齿点云融合后，提取牙齿注意力特征，根据牙齿注意力特征得到带有特征点的牙列注意力特征，将牙列注意力特征、牙列全局特征及牙齿局部特征融合后得到融合特征点的点云；
提取牙齿注意力特征的过程包括：对单颗牙的特征点与牙齿点云融合后的牙齿特征采用三层卷积层映射为三个张量，其中两个张量通过矩阵乘运算计算逐点注意力与逐通道注意力，将逐点注意力与最后一个张量相乘，将逐通道注意力与最后一个张量相乘，将两个乘积相加后得到牙齿注意力特征；
提取牙列注意力特征的过程包括：将所有牙的牙齿注意力特征进行拼接后，采用三层卷积层映射为三个张量，其中两个张量通过矩阵乘运算得到相似性矩阵，将相似性矩阵与最后一个张量相乘得到牙列注意力特征；
刚体变换参数回归模块，被配置为根据融合特征点的点云和目标位的牙冠点云得到牙齿正畸前后的刚体变换参数，根据刚体变换参数和待正畸的初始位牙冠点云，得到正畸后的牙冠模型预测结果。
6.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-4任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561575.7A CN114219897B (zh) | 2021-12-20 | 2021-12-20 | 一种基于特征点识别的牙齿正畸结果预测方法及*** |
| US18/082,761 US20230196570A1 (en) | 2021-12-20 | 2022-12-16 | Computer-implemented method and system for predicting orthodontic results based on landmark detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561575.7A CN114219897B (zh) | 2021-12-20 | 2021-12-20 | 一种基于特征点识别的牙齿正畸结果预测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114219897A CN114219897A (zh) | 2022-03-22 |
| CN114219897B true CN114219897B (zh) | 2024-04-30 |
Family
ID=80704279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111561575.7A Active CN114219897B (zh) | 2021-12-20 | 2021-12-20 | 一种基于特征点识别的牙齿正畸结果预测方法及*** |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20230196570A1 (zh) |
| CN (1) | CN114219897B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113223140A (zh) * | 2020-01-20 | 2021-08-06 | 杭州朝厚信息科技有限公司 | 利用人工神经网络生成牙科正畸治疗效果的图像的方法 |
| CN115068140A (zh) * | 2022-06-17 | 2022-09-20 | 先临三维科技股份有限公司 | 牙齿模型的获取方法、装置、设备及介质 |
| WO2024108341A1 (zh) * | 2022-11-21 | 2024-05-30 | 深圳先进技术研究院 | 基于点云理解的自动排牙方法、装置、设备及存储介质 |
| CN115619773B (zh) * | 2022-11-21 | 2023-03-21 | 山东大学 | 一种三维牙齿多模态数据配准方法及*** |
| CN115953583B (zh) * | 2023-03-15 | 2023-06-20 | 山东大学 | 基于迭代边界优化和深度学习的牙齿分割方法及*** |
| CN117372425B (zh) * | 2023-12-05 | 2024-03-19 | 山东省工业技术研究院 | 一种头颅侧位片的关键点检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447908A (zh) * | 2015-12-04 | 2016-03-30 | 山东山大华天软件有限公司 | 基于口腔扫描数据和cbct数据的牙列模型生成方法 |
| CN105726142A (zh) * | 2016-02-01 | 2016-07-06 | 北京正齐口腔医疗技术有限公司 | 自动化模拟排牙的方法及装置 |
| CN112017196A (zh) * | 2020-08-27 | 2020-12-01 | 重庆邮电大学 | 基于局部注意力机制的三维牙齿模型网格分割方法 |
| CN112826615A (zh) * | 2021-03-24 | 2021-05-25 | 北京大学口腔医院 | 正畸治疗中基于混合现实技术的透视术区的显示方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6648640B2 (en) * | 1999-11-30 | 2003-11-18 | Ora Metrix, Inc. | Interactive orthodontic care system based on intra-oral scanning of teeth |
-
2021
- 2021-12-20 CN CN202111561575.7A patent/CN114219897B/zh active Active
-
2022
- 2022-12-16 US US18/082,761 patent/US20230196570A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447908A (zh) * | 2015-12-04 | 2016-03-30 | 山东山大华天软件有限公司 | 基于口腔扫描数据和cbct数据的牙列模型生成方法 |
| CN105726142A (zh) * | 2016-02-01 | 2016-07-06 | 北京正齐口腔医疗技术有限公司 | 自动化模拟排牙的方法及装置 |
| CN112017196A (zh) * | 2020-08-27 | 2020-12-01 | 重庆邮电大学 | 基于局部注意力机制的三维牙齿模型网格分割方法 |
| CN112826615A (zh) * | 2021-03-24 | 2021-05-25 | 北京大学口腔医院 | 正畸治疗中基于混合现实技术的透视术区的显示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230196570A1 (en) | 2023-06-22 |
| CN114219897A (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114219897B (zh) | 一种基于特征点识别的牙齿正畸结果预测方法及*** | |
| AU2017292642B2 (en) | System and method for automatic detection, localization, and semantic segmentation of anatomical objects | |
| US10049457B2 (en) | Automated cephalometric analysis using machine learning | |
| US11464467B2 (en) | Automated tooth localization, enumeration, and diagnostic system and method | |
| US11443423B2 (en) | System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex | |
| US11961238B2 (en) | Tooth segmentation using tooth registration | |
| KR102462185B1 (ko) | 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 | |
| Chandrashekar et al. | Collaborative deep learning model for tooth segmentation and identification using panoramic radiographs | |
| CN112991273B (zh) | 三维牙齿模型的正畸特征自动检测方法及*** | |
| US20220084267A1 (en) | Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports | |
| CN111784754A (zh) | 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质 | |
| KR102043672B1 (ko) | 딥러닝 기반의 병변 판독 시스템 및 방법 | |
| CN115797730B (zh) | 模型训练方法及装置、头影测量关键点定位方法及装置 | |
| US20210217170A1 (en) | System and Method for Classifying a Tooth Condition Based on Landmarked Anthropomorphic Measurements. | |
| KR102461343B1 (ko) | 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템 | |
| US20220361992A1 (en) | System and Method for Predicting a Crown and Implant Feature for Dental Implant Planning | |
| US11980491B2 (en) | Automatic recognition method for measurement point in cephalo image | |
| KR20200058316A (ko) | 인공지능 기술을 활용한 치과용 두부 계측점 자동 추적 방법 및 그를 이용한 서비스 시스템 | |
| Lessard et al. | Dental restoration using a multi-resolution deep learning approach | |
| CN115602320B (zh) | 一种困难气道评估方法和*** | |
| Dhar et al. | Automatic tracing of mandibular canal pathways using deep learning | |
| CN112288687A (zh) | 内耳空间姿态分析方法及分析*** | |
| US20230252748A1 (en) | System and Method for a Patch-Loaded Multi-Planar Reconstruction (MPR) | |
| EP4307229A1 (en) | Method and system for tooth pose estimation | |
| US20240177397A1 (en) | Generation of dental renderings from model data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |