CN114387259A - 用于预测缺失牙坐标的方法与装置及识别模型的训练方法 - Google Patents

用于预测缺失牙坐标的方法与装置及识别模型的训练方法 Download PDF

Info

Publication number
CN114387259A
CN114387259A CN202210040685.7A CN202210040685A CN114387259A CN 114387259 A CN114387259 A CN 114387259A CN 202210040685 A CN202210040685 A CN 202210040685A CN 114387259 A CN114387259 A CN 114387259A
Authority
CN
China
Prior art keywords
tooth
missing tooth
missing
data
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210040685.7A
Other languages
English (en)
Inventor
钱坤
黄志俊
刘金勇
张有健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lancet Robotics Co Ltd
Original Assignee
Lancet Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lancet Robotics Co Ltd filed Critical Lancet Robotics Co Ltd
Priority to CN202210040685.7A priority Critical patent/CN114387259A/zh
Publication of CN114387259A publication Critical patent/CN114387259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种用于识别缺失牙模型的训练方法，用于预测缺失牙坐标的方法及装置、电子设备和存储介质。对于较为缺乏的缺失牙患者的CBCT数据，通过像素值的覆盖生成缺失牙数据，通过神经网络对缺失牙进行分割，从而可对分割出的缺失牙数据进行坐标定位。在训练时，根据先验知识将缺失牙处与正常牙齿和软组织之间存在的较为明显的分界点通过高斯变换转为热力图，通过对应的卷积层和池化层对特征图进行放大或缩减并添加到Unet网络对应的下采样通道中。通过从所分割出来的牙齿模型获取上下两个面的各8个点坐标，得到包围牙齿模型的3D矩形框，分别获取矩形框的各个面的中心点并连接得到四个面的中轴线交点作为中心点坐标，可用作种植窝点的预测坐标。

Description

用于预测缺失牙坐标的方法与装置及识别模型的训练方法
技术领域
本发明涉及医学图像处理技术领域，具体地涉及一种用于预测缺失牙坐标的方法与装置，还涉及一种用于训练缺失牙识别模型的训练方法，以及计算机可读存储介质和电子设备。
背景技术
近年来，随着医学成像技术和计算机技术、尤其是人工智能技术的进步，医学图像处理与分析、尤其是基于深度学习的例如深度卷积神经网络备受关注，能够从医学图像大数据中自动分割提取隐含的生理或诊断特征。
常见的临床医学图像例如有MRI图像、CT图像、X射线图像、超声成像、PET图像以及CBCT(Cone Beam Computed Tomography，锥形束计算机断层)图像等。其中，CBCT因其辐射剂量小、扫描时间短、拍摄成本低、图像空间分辨率高等优点，为口腔医生广泛地应用。
然而，口腔医生每天要阅读大量的医学光片数据，这样的工作可能会由于疲劳、情绪、经验水平低等个人因素导致牙齿位置坐标的识别偏差，尤其是种植体规划的偏差。因为口腔结构的复杂性，种植牙的规划对于口腔医生来说是一项烦琐的任务，往往需要口腔医生花费大量的时间在种植牙的摆放规划上。
因此，为了提高种植体规划的精准性，开发一种预测牙齿位置坐标或缺失牙坐标的方案，对于减轻牙科医生的工作负担，降低人工成本，减少误诊的发生具有重大意义。
发明内容
然而，由于对缺失牙患者的隐私保护，缺失牙齿的患者CBCT扫描数据较为缺少，又不足以支撑深度神经网络的训练。因此，虽然存在利用深度学习预测缺失牙坐标的需求，但因缺乏训练图片数量会引起过拟合严重，因此使用深度学习方法来预测缺失牙坐标的技术实现还需要进一步的相应解决方案。
为解决上述问题，本发明的目的在于提供一种能够使用深度学习方法来预测缺失牙坐标的技术。
(1)根据本发明的一方面，提供一种用于识别缺失牙模型的训练方法，包括如下步骤：
步骤201：通过像素值的覆盖对作为原图数据的牙齿图像进行预处理，以生成包含缺失牙数据的图像；
步骤202：将所生成的包含缺失牙数据的图像与人工标注的牙齿标签组成训练集，并使用Unet神经网络进行训练，
其中：通过高斯变化函数H，将包含缺失牙区域坐标的特征图转化为热力图，并将生成的热力图通过对应的卷积层和池化层对该特征图进行放大或缩减并添加到Unet神经网络对应的下采样通道中对所述神经网络进行训练。
更具体地，根据本发明还提供了如下方法与装置。
(2)优选地，在步骤201之前还包括步骤200：获取CBCT数据格式的牙齿图像作为原图数据。
(3)优选地，所述步骤201包括：通过人工标注在该CBCT数据上对单个目标牙齿画上标签并生成对应的带标签的STL文件，并将所述带标签的STL文件的标签数据覆盖在原图数据上。
(4)优选地，将覆盖数据的Hu值设置为200。
(5)优选地，高斯变化函数H为：
Figure BDA0003470099820000021
其中，φ为特征图的缩放比例，d为缺失牙区域的中心坐标，b为缺失牙的边缘坐标点，p为特征图中的任意坐标点，δb为缺失牙区域中心与边缘坐标的标准差。
(6)优选地，所述Unet神经网络包括：
用于特征提取的CPLD操作模块，该CPLD操作为：对所输入的图像文件通过3*3卷积核的2个卷积层生成特征图，再通过最大池化层处理，使用LeakyReLU作为激活函数进行输出，并通过spatial dropout处理，得到输出特征图；和
用于上采样操作的decCONV操作模块，该decCONV操作为：对每一层CPLD操作的输出特征图通过反卷积操作后与上一层CPLD操作的输出特征图进行Concat特征融合输入，得到输出特征图，
所述神经网络构成为：
将输入的原图数据经过第一层CPLD操作模块后所得到的特征通道扩大一倍的特征图CPLD1，作为下一层CPLD操作模块的输入，依次得到特征通道分别再扩大一倍的特征图CPLD2～CPLD5；
将特征图CPLD5输入所述decCONV操作模块所得到的输出特征图decCONV1，作为下一层decCONV操作模块的输入，依次得到decCONV1～decCONV4；
之后使用sigmoid激活函数，得到输出图像组。
(7)优选地，所述神经网络构成为：将原始图像输入第一CPLD层后得到特征通道扩大一倍的特征图CPLD1，CPLD1作为输入再经过第二CPLD层输入得到特征通道再扩大一倍的特征图CPLD2，以此类推共经过5个CPLD层操作，得到特征通道数为1024的特征图CPLD5；
将特征图CPLD5作为输入通过2倍的反卷积操作后与CPLD4进行Concat特征融合输入，得到输出特征图decCONV1，反卷积的卷积核为2*2，然后将decCONV1作为输入，再经过4倍反卷积并与CPLD3进行进行Concat特征融合得到输出特征图decCONV2，再将decCONV2作为输入，再经过8倍反卷积并与CPLD2进行Concat特征融合得到输出特征图decCONV3，再经过16倍反卷积得到decConv4。
(8)优选地，将带有标签的训练集由dicom格式转换为jpg格式的2维图像，并将窗宽调节为1312hu，窗位调节为213hu。
(9)一种用于识别缺失牙模型的训练装置，包括如下模块：
预处理模块，构成为通过像素值的覆盖对作为原图数据的牙齿图像进行预处理，以生成包含缺失牙数据的图像；
训练模块，构成为将所生成的包含缺失牙数据的图像与人工标注的牙齿标签组成训练集，并使用Unet神经网络进行训练，
所述训练模块构成为：还通过高斯变化函数H，将包含缺失牙区域坐标的特征图转化为热力图，并将生成的热力图通过对应的卷积层和池化层对该特征图进行放大或缩减并添加到Unet神经网络对应的下采样通道中对所述神经网络进行训练。
(10)一种用于预测缺失牙坐标的方法，其使用通过上述训练所确定的神经网络作为分割用神经网络，包括以下步骤：
步骤101，获取缺失牙患者的待处理的牙齿图像作为原图数据，
步骤102，通过分割用神经网络对原图数据进行预测，并保存分割出来的缺失牙数据，
步骤103，基于所分割出来的缺失牙数据，来计算缺失牙模型的坐标。
(11)优选地，在步骤103中还包括：读取所分割出来的缺失牙数据的jpg图像的矩阵数据，并将jpg图像转成3D的STL文件格式。
(12)优选地，从所述3D的STL文件格式的牙齿模型获取上下两个面的各8个点坐标，得到包围牙齿模型的3D矩形框，通过分别获取矩形框的各个面的中心点并连接得到四个面的中轴线的交点，作为牙齿的模型的中心点坐标。
(13)一种用于预测缺失牙坐标的装置，包括如下模块：
原图数据获取模块，构成为获取缺失牙患者的待处理的牙齿图像作为原图数据，
目标牙齿模型分割模块，构成为通过上述训练所确定的神经网络对原图数据进行预测，并保存分割出来的缺失牙数据，
缺失牙坐标定位模块，基于所分割出来的缺失牙数据，来计算缺失牙模型的坐标。
(14)一种计算机可读存储介质，存储有计算机程序，所述计算机程序用于执行上述任一方法。
(15)一种电子设备，包括：处理器和用于存储所述处理器可执行的指令的存储器，所述处理器用于从所述存储器中读取所述指令，并执行所述指令以实现上述任一方法。
如此，根据本发明，能够在充分保护缺失牙患者的隐私的同时，进行深度神经网络的训练以使得基于深度学习来自动进行缺失牙分割，进而能够减少医生主观性，避免医生的眼疲劳导致的误诊、错诊等情况，通过算出窝数据，迅速得到诊断结果，并可给出合理的种植建议。
附图说明
图1示意性地示出根据本发明实施例的用于预测缺失牙坐标的方法的流程图。
图2示出根据本发明实施例所制作的CBCT缺失牙数据图像。
图3示意性地示出根据本发明实施例的用于训练预测缺失牙坐标识别模型的网络基础结构。
图4示出根据本发明实施例所分割出来的3D牙齿模型。
图5示意性地示出用于获取牙齿模型中心点坐标的3D矩形框。
图6示意性地示出缺失牙与其他部分之间的分界点。
图7示出根据本发明实施例的用于识别缺失牙模型的训练装置的结构示意图。
图8示出根据本发明实施例的基于深度学习预测缺失牙坐标的装置的结构示意图。
具体实施方式
下面结合附图详细描述本发明的示例性实施例。下文描述的和附图示出的示例性实施例旨在教导本发明的原理，使本领域技术人员能够在若干不同环境中和对于若干不同应用实施和使用本发明。因此，本发明的保护范围由所附的权利要求来限定，示例性实施例并不意在、并且不应该被认为是对本发明保护的范围的限制性描述。
基于深度学习的分割方法例如卷积神经网络已成为医学图像分析的研究热点，但是在口腔医学等注重隐私保护的领域中，训练集数据规模也对其造成了很大的限制。即使采用U_Net网络这种基于小样本训练数据的网络，对图像的边缘特征也还是会存在分割不清晰的问题。
以下对本发明的至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
作为开发环境例如可以如此设置软件环境：编程语言例如为Python3.6、C++、集成框架TensorFlow2.5、Cmake3.20，其他组件例如为cuda11.1、vtk9.0+；实验环境例如为Windows10、RTX3090显卡。
<示例性方法>
图1示意性地示出根据本发明实施例的用于预测缺失牙坐标的方法200的流程图。本实施例可应用在电子设备上，如图1所示，包括以下步骤：
在步骤101，获取缺失牙患者的待处理的牙齿图像作为原图数据，
在步骤102，通过分割用神经网络对原图数据进行预测，并保存分割出来的缺失牙数据，
在步骤103，基于所分割出来的缺失牙数据，来计算缺失牙模型的坐标。
由此，可以利用神经网络对包含缺失牙的图像进行自动分割，预测缺失牙模型，从而辅助口腔医生快速地获得用于种植窝点的预测坐标。
其中，在所述通过神经网络对原图数据进行分割之前还包括对神经网络进行训练。
根据一个实施例，所述对神经网络进行训练包括：
步骤201：通过像素值的覆盖对作为原图数据的牙齿图像进行预处理，以生成包含缺失牙数据的图像。
步骤202：可以将所生成的包含缺失牙数据的图像与人工标注的牙齿标签组成训练集，并使用Unet神经网络作为分割网络。
优选地，在步骤201之前还包括步骤200：获取牙齿图像作为原图数据，使用CBCT数据格式的牙齿图像作为原图数据。
从而可以将基于CBCT数据格式的包含缺失牙数据的图像与人工标注的牙齿标签组成训练集，并使用Unet神经网络作为分割网络。
由于对缺失牙患者的隐私保护，缺失牙齿的患者CBCT数据较为缺少，不足以支撑深度神经网络的训练。因此，本发明通过像素值覆盖的方法自生成缺失牙的CBCT数据。因为缺失牙数据的样本较少，通过这种方式不仅可以增加数据集，也可以保护患者的隐私。
更具体地，在希望获得关于任一颗牙齿的缺失牙齿数据时，即使缺失这一颗牙齿(以下简称缺失牙)的患者CBCT数据较为缺少，也可以采用这一颗牙齿健全的CBCT数据样本，对这一颗牙齿的图像进行像素值覆盖，例如用黑色或白色像素覆盖这一颗牙齿，在形成这一颗牙齿位置处的缺失牙像素集的同时，获取并保存将这一颗牙齿的像素值覆盖之后形成的缺失牙数据，为后续的缺失牙的坐标定位提供像素信息。
根据一个实施例，所述通过像素值的覆盖对原图数据进行预处理，以生成包含缺失牙数据的图像，包括：
首先由数据标注人员使用Mimics软件的Segmentation功能在口腔CBCT数据上选择单个牙齿(需要覆盖像素的数据)画上标签并生成对应的STL(Standard TemplateLibrary，标准模板库)文件。然后，通过Simple ITK库读取未画标签的DICOM(DigitalImaging and Communications in Medicine，医学数字成像和通信)数据和已经画标签的STL文件，通过SITK.Cast函数将STL格式的文件进行转义成Uint8格式，使用SITK.LabelOverlay函数将label(标签)数据覆盖在原图数据上，并将覆盖数据的Hu值设置为200。
这里的像素覆盖由于使用的STL文件为3维格式，所以覆盖了CBCT的所有的断层数据，可以在3D层次上较为真实地模拟出缺失牙的数据。可以通过复制CT图像上的其他真空区域的像素值来作为覆盖的像素值，进行像素填充。这么做主要是由于CT数据本身存在噪点，通过复制噪点区域的像素进行填充，可以使数据更为真实。
这里的Hu(Hounsfiled Unit)值是计算机断层扫描(CT)中普遍使用的无量纲单位，一般密度越高的Hu值越高，这里将覆盖像素的区域Hu值设置为200，接近于软组织的Hu值，可以使得缺失牙数据更加贴近于真实。
如上所述，也可以采用牙齿齐全的原始数据，针对所期望的任一位置的目标缺失牙位置，用其他像素(例如黑色或白色像素)覆盖该缺失牙位置处的牙齿，从而获得缺失牙的原始数据。
相应地，后述的标签也是采用缺失这一颗牙的牙齿模型，中心点既可以是缺失牙的中心点也可以是矩形框的中心点，详细如后所述，具体可参照图4和图5。
根据本发明的实施例，对如图2所示的缺失牙数据，共制作例如20套CBCT。将这20套制作成的缺失牙CBCT数据及手工画的牙齿标签label组成训练集，并使用改进的Unet神经网络作为分割网络，即可以获得较好的分割效果。
在此，由于制作的缺失牙数据的边缘存在不清晰的问题，且数据量较少，使用传统的Unet等分割神经网络难以达到较好的分割效果，因此本发明人将在Unet网络中加入先验知识，以此来达到较好的分割效果。在此，先验知识指的是：缺失牙处与其他部分(即，周围的正常牙齿和软组织)之间存在较为明显的分界点。如图6所示，白色虚线为缺失牙与周围其他部分的分界点并将其作为先验知识输入。
本发明人使用热力图转换的方式作为先验知识加入神经网络通道，具体地，根据缺失牙处与周围的正常牙齿和软组织之间存在较为明显的分界点，通过将这些分界点进行高斯变换来转为热力图，高斯变化的公式如下：
Figure BDA0003470099820000091
其中，φ为特征图的缩放比例，d为缺失牙区域的中心坐标，b为缺失牙的边缘坐标点，p为特征图中的任意坐标点，δb为缺失牙区域中心与边缘坐标的标准差。
步骤203：通过上述的高斯变化函数H，可将包含缺失牙区域坐标的特征图转化为热力图，将生成的热力图通过对应的卷积层和池化层对特征图进行放大或缩减并添加到Unet网络对应的下采样通道中对所述网络进行训练。具体如图3所示。
更具体而言，由于要求生成的热力图中缺失牙的边缘区域的热力值与其他区域的热力值不同，具体的转化方式为首先确定缺失牙区域的中心点，通过计算出中心点与边缘区域的各点的距离值来确定对应的热力值，从而生成对应的矩阵，由于使用OpenCV库处理，将矩阵的dtype格式设置为Uint8以方便显示，具体的可参考上文的高斯变换公式。最后通过OpenCV中的COLORMAP_HOT函数显示出对应的热力图。
通过对加入先验知识的Unet网络训练20000次epoch后，网络得到较好的分割效果。
根据一个实施例，训练网络在以经典的Unet为基本的神经网络架构上加上先验知识，即分为三个部分：分别为特征提取(下采样)、上采样、先验区。
首先将带有标签的训练集通过pydicom库将DICOM格式的CT数据转换为jpg的2维图片，这里要注意的是由于不同区域的CT的hu值相差较大，本发明人考虑到牙齿及其软组织成分，通过多次测试发现将窗宽调节为1312hu、窗位调节为213hu效果较好。将训练集生成的图片输入至如下构成的神经网络中进行训练。
1.特征提取：
图像通过3*3卷积核的2个卷积层生成特征图，再通过最大池化层减小特征图大小，来扩大卷积核的视野。并使用LeakyReLU作为激活函数进行输出，并通过spatialdropout减少参数量，这一系列操作这里简称为CPLD(Conv-Pool-LeakyReLU-SpatialDroupout)，当原始图像输入经过CPLD层后得到特征通道扩大一倍的特征图，记为CPLD1，CPLD1作为输入再经过第2层CPLD输入得到特征通道再扩大一倍的特征图，记为CPLD2。以此类推，共经过5层CPLD层操作，得到特征通道数为1024的特征图CPLD5。
特征提取网络结构如图3的左半部分所示。
2.上采样：
在特征提取后，由于经过5层的CPLD层操作后，输出的特征通道数不断扩大，需要通过反卷积操作将特征图还原后输出。为此，首先将输入特征图CPLD5通过2倍的反卷积操作后与CPLD4进行Concat特征融合输入，得到输出特征图，并记作decCONV1，反卷积的卷积核为2*2。decCONV1作为输入，再经过4倍反卷积并与CPLD3进行进行Concat特征融合得到输出特征图，记作decCONV2，再将decCONV2作为输入，再经过8倍反卷积并与CPLD2进行Concat特征融合得到输出特征图，记作decCONV3，再经过16倍反卷积得到decConv4。上采样操作如图3的右半部分所示。
3.先验层：将缺失牙处与其他(与缺失牙相邻的牙齿位置的)软组织的分界点转化的热力图作为先验输入，并通过一个卷积层和池化层转化成对应的特征图，并分别Concat到对应的CPLD1-CPLD5层中。
之后使用sigmoid激活函数，得到输出图像组。
如此，得到训练好的神经网络，以确定用于预测分割缺失牙模型的神经网络模型。
将测试集输入至训练好的神经网络，得到预测输出的jpg图像，并通过numpy库读取jpg图像的矩阵数据，并通过numpy_to_vtk函数将jpg图像转成3D的STL模型，分割结果如图4所示。
<种植点的坐标>
得到分割出来的3D牙齿模型后，为了得到种植点的坐标，根据种植牙知识，种植窝点往往位于缺失牙处的中心处，因此通过获得缺失牙区域的中轴线即可获得种植点的坐标，
具体方案为通过stl库中的mesh函数获取牙齿模型上下两个面共8个点坐标(对应牙齿模型的外接矩形长方体框的上、下四个角点的坐标信息，即上面的最左端两个点、最右端两个点以及下面的最左端两个点、最右端两个点，即一个面4个点，共8个)，得到一个包围牙齿模型的3D矩形框，并通过分别获取矩形框的各个面的中心点并连接得到面的中轴线。四个面的中轴线的交点即为牙齿的模型的中心点坐标，也是种植窝点的预测坐标，如图5所示。
当然获得中心点坐标的方法并不限于此，还可以利用长方体框的各条边的中点信息来确定。
如此，后期通过在该坐标上进行规划种植体可以减少规划时间，降低人工成本。
而且，这样的预测式分割，可以为在患牙的拔除之前，预估拔牙的结果，为医生向患者解释手术规划，带来了很大的便利性。
尽管原始数据可以是没有缺牙的，但根据本发明通过任意选一个牙齿，将这颗牙齿的像素值覆盖之后，就可以形成缺牙的数据。如此，可以任意选一个牙齿将这颗牙齿的像素值覆盖之后形成缺失牙的数据，从而在积累了针对各个牙齿的预测模型之后，可以提供具有针对性的任意牙齿的预估图像，例如拔牙之后的窝洞情况，以及在此基础上可能的种植情形。
此外，根据一个实施例的电子设备包括：处理器和存储器；其中存储器用于存储处理器可执行指令；处理器用于从存储器中读取可执行指令，并执行所述指令以实现上述的方法。
此外，根据一个实施例的计算机可读存储介质，存储有计算机程序用于执行上述的方法。
该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以实现期望的功能。存储器可以包括一个或多个计算机程序产品，可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。
本发明中，“第一”和“第二”、“S101”、“S102”等仅用于区分描述两个不同的对象特征的目的，并不用于表示排列顺序、相对重要性或者隐含指明所指示的技术特征的数量。
本发明中所公开的实施例描述的各示例的方法步骤及模块等组成，能够以电子硬件、计算机软件或者二者的结合来实现，可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的。
尽管已经参考各种具体实施例描述了本发明，但是应当理解，可以在所描述的发明构思的精神和范围内做出变形。因此，意图是本发明不限于所描述的实施例，而是将具有由所附权利要求的语言所定义的全部范围。

Claims (15)

1.一种用于识别缺失牙模型的训练方法，其特征在于，包括如下步骤：
步骤201：通过像素值的覆盖对作为原图数据的牙齿图像进行预处理，以生成包含缺失牙数据的图像；
步骤202：将所生成的包含缺失牙数据的图像与人工标注的牙齿标签组成训练集，并使用Unet神经网络进行训练，
其中：通过高斯变化函数H，将包含缺失牙区域坐标的特征图转化为热力图，并将生成的热力图通过对应的卷积层和池化层对该特征图进行放大或缩减后添加到Unet神经网络对应的下采样通道中对所述神经网络进行训练。
2.根据权利按要求1所述的用于识别缺失牙模型的训练方法，其特征在于，
在所述步骤201之前还包括步骤200：获取CBCT数据格式的牙齿图像作为原图数据。
3.根据权利按要求1所述的用于识别缺失牙模型的训练方法，其特征在于，
所述步骤201包括：通过人工标注在该CBCT数据上对单个目标牙齿画上标签并生成对应的带标签的STL文件，并将所述带标签的STL文件的标签数据覆盖在原图数据上。
4.根据权利按要求1～3中任一项所述的用于识别缺失牙模型的训练方法，其特征在于，
将覆盖数据的Hu值设置为200。
5.根据权利按要求1～3中任一项所述的用于识别缺失牙模型的训练方法，其特征在于，
所述高斯变化函数H为：
Figure FDA0003470099810000011
其中，φ为特征图的缩放比例，d为缺失牙区域的中心坐标，b为缺失牙的边缘坐标点，p为特征图中的任意坐标点，δb为缺失牙区域中心与边缘坐标的标准差。
6.根据权利按要求1所述的用于识别缺失牙模型的训练方法，其特征在于，
所述Unet神经网络包括：
用于特征提取的CPLD操作模块，该CPLD操作为：对所输入的图像文件通过3*3卷积核的2个卷积层生成特征图，再通过最大池化层处理，使用LeakyReLU作为激活函数进行输出，并通过spatial dropout处理，得到输出特征图；和
用于上采样操作的decCONV操作模块，该decCONV操作为：对每一层CPLD操作的输出特征图通过反卷积操作后与上一层CPLD操作的输出特征图进行Concat特征融合输入，得到输出特征图，
所述神经网络构成为：
将输入的原图数据经过第一层CPLD操作模块后所得到的特征通道扩大一倍的特征图CPLD1，作为下一层CPLD操作模块的输入，依次得到特征通道分别再扩大一倍的特征图CPLD2～CPLD5；
将特征图CPLD5输入所述decCONV操作模块所得到的输出特征图decCONV1，作为下一层decCONV操作模块的输入，依次得到decCONV1～decCONV4；
之后使用sigmoid激活函数，得到输出图像组。
7.根据权利按要求6所述的用于识别缺失牙模型的训练方法，其特征在于，
所述神经网络构成为：
将原始图像输入第一CPLD层后得到特征通道扩大一倍的所述特征图CPLD1，CPLD1作为输入再经过第二CPLD层输入得到特征通道再扩大一倍的所述特征图CPLD2，以此类推共经过5个CPLD层操作，得到特征通道数为1024的所述特征图CPLD5；
将所述特征图CPLD5作为输入通过2倍的反卷积操作后与CPLD4进行Concat特征融合输入，得到所述输出特征图decCONV1，反卷积的卷积核为2*2，然后将decCONV1作为输入，再经过4倍反卷积并与CPLD3进行进行Concat特征融合得到所述输出特征图decCONV2，再将decCONV2作为输入，再经过8倍反卷积并与CPLD2进行Concat特征融合得到所述输出特征图decCONV3，再经过16倍反卷积得到所述输出特征图decConv4。
8.根据权利按要求1所述的用于识别缺失牙模型的训练方法，其特征在于，
将带有标签的训练集由dicom格式转换为jpg格式的2维图像，并将窗宽调节为1312hu，窗位调节为213hu。
9.一种用于识别缺失牙模型的训练装置，其特征在于，包括如下模块：
预处理模块，构成为通过像素值的覆盖对作为原图数据的牙齿图像进行预处理，以生成包含缺失牙数据的图像；
训练模块，构成为将所生成的包含缺失牙数据的图像与人工标注的牙齿标签组成训练集，并使用Unet神经网络进行训练，
所述训练模块构成为：还通过高斯变化函数H，将包含缺失牙区域坐标的特征图转化为热力图，并将生成的热力图通过对应的卷积层和池化层对该特征图进行放大或缩减并添加到Unet神经网络对应的下采样通道中对所述神经网络进行训练。
10.一种用于预测缺失牙坐标的方法，其特征在于，使用通过权利要求1～8中任一项所述的训练方法所确定的所述神经网络作为分割用神经网络，包括以下步骤：
步骤101，获取缺失牙患者的待处理的牙齿图像作为原图数据，
步骤102，通过分割用神经网络对原图数据进行预测，并保存分割出来的缺失牙数据，
步骤103，基于所分割出来的缺失牙数据，来计算缺失牙模型的坐标。
11.根据权利要求10所述的用于预测缺失牙坐标的方法，其特征在于，
在步骤103中还包括：读取所分割出来的缺失牙数据的jpg图像的矩阵数据，并将jpg图像转成3D的STL文件格式。
12.根据权利要求11所述的用于预测缺失牙坐标的方法，其特征在于，
从所述3D的STL文件格式的牙齿模型获取上下两个面的各8个点坐标，得到包围牙齿模型的3D矩形框，通过分别获取矩形框的各个面的中心点并连接得到四个面的中轴线的交点，作为牙齿的模型的中心点坐标。
13.一种用于预测缺失牙坐标的装置，其特征在于，包括如下模块：
原图数据获取模块，构成为获取缺失牙患者的待处理的牙齿图像作为原图数据；
目标牙齿模型分割模块，构成为上述权利要求1～8中任一项所述的训练方法所确定的所述神经网络对原图数据进行预测，并保存分割出来的缺失牙数据；和
缺失牙坐标定位模块，基于所分割出来的缺失牙数据，来计算缺失牙模型的坐标。
14.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序用于执行权利要求1～8中任一项所述的用于识别缺失牙模型的训练方法或者权利要求10～12中任一项所述的用于预测缺失牙坐标的方法。
15.一种电子设备，其特征在于，包括：处理器和用于存储所述处理器可执行的指令的存储器，所述处理器用于从所述存储器中读取所述指令，并执行所述指令以实现权利要求1～8中任一项所述的用于识别缺失牙模型的训练方法或者权利要求10～12中任一项所述的用于预测缺失牙坐标的方法。
CN202210040685.7A 2022-01-14 2022-01-14 用于预测缺失牙坐标的方法与装置及识别模型的训练方法 Pending CN114387259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210040685.7A CN114387259A (zh) 2022-01-14 2022-01-14 用于预测缺失牙坐标的方法与装置及识别模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210040685.7A CN114387259A (zh) 2022-01-14 2022-01-14 用于预测缺失牙坐标的方法与装置及识别模型的训练方法

Publications (1)

Publication Number Publication Date
CN114387259A true CN114387259A (zh) 2022-04-22

Family

ID=81201303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210040685.7A Pending CN114387259A (zh) 2022-01-14 2022-01-14 用于预测缺失牙坐标的方法与装置及识别模型的训练方法

Country Status (1)

Country Link
CN (1) CN114387259A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485809A (zh) * 2022-07-01 2023-07-25 山东财经大学 基于自注意力与感受野调整的牙齿实例分割方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485809A (zh) * 2022-07-01 2023-07-25 山东财经大学 基于自注意力与感受野调整的牙齿实例分割方法及***
CN116485809B (zh) * 2022-07-01 2023-12-15 山东财经大学 基于自注意力与感受野调整的牙齿实例分割方法及***

Similar Documents

Publication Publication Date Title
US11553874B2 (en) Dental image feature detection
US20210406591A1 (en) Medical image processing method and apparatus, and medical image recognition method and apparatus
CN108648172B (zh) 一种基于3D-Unet的CT图肺结节检测***
US10489907B2 (en) Artifact identification and/or correction for medical imaging
US10607114B2 (en) Trained generative network for lung segmentation in medical imaging
KR101839789B1 (ko) 치과 영상의 판독 데이터 생성 시스템
KR101769287B1 (ko) 해부학적 구조의 3d 프린트를 위한 의미론적 의료 이미지
WO2022037696A1 (zh) 基于深度学习的骨骼分割方法和***
JP7152455B2 (ja) セグメンテーション装置および学習モデルの生成方法
US10997475B2 (en) COPD classification with machine-trained abnormality detection
US8031917B2 (en) System and method for smart display of CAD markers
JP2008521468A (ja) デジタル医療画像分析
EP3705047B1 (en) Artificial intelligence-based material decomposition in medical imaging
CN110400617A (zh) 医学成像中的成像和报告的结合
CN114387259A (zh) 用于预测缺失牙坐标的方法与装置及识别模型的训练方法
Bianchi et al. 3D slicer craniomaxillofacial modules support patient-specific decision-making for personalized healthcare in dental research
US20230214664A1 (en) Learning apparatus, method, and program, image generation apparatus, method, and program, trained model, virtual image, and recording medium
Dai et al. A one-stage deep learning method for fully automated mesiodens localization on panoramic radiographs
CN115965837A (zh) 图像重建模型训练方法、图像重建方法及相关设备
CN114565623A (zh) 肺血管分割方法、装置、存储介质及电子设备
US20130137966A1 (en) Tissue extraction system and three-dimensional display method of the same
US20110242096A1 (en) Anatomy diagram generation method and apparatus, and medium storing program
Amara et al. Augmented reality for medical practice: a comparative study of deep learning models for ct-scan segmentation
Liu et al. Fully automatic AI segmentation of oral surgery-related tissues based on cone beam computed tomography images
Ghafoor et al. Multiclass Segmentation using Teeth Attention Modules for Dental X-ray Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination