CN110473243B - 基于深度轮廓感知的牙齿分割方法、装置及计算机设备 - Google Patents

基于深度轮廓感知的牙齿分割方法、装置及计算机设备 Download PDF

Info

Publication number
CN110473243B
CN110473243B CN201910733040.XA CN201910733040A CN110473243B CN 110473243 B CN110473243 B CN 110473243B CN 201910733040 A CN201910733040 A CN 201910733040A CN 110473243 B CN110473243 B CN 110473243B
Authority
CN
China
Prior art keywords
contour
image
tooth
network
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910733040.XA
Other languages
English (en)
Other versions
CN110473243A (zh
Inventor
高陈强
陈乔伊
李鹏程
刘芳岑
冉洁
陈昱帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dragon Totem Technology Hefei Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201910733040.XA priority Critical patent/CN110473243B/zh
Publication of CN110473243A publication Critical patent/CN110473243A/zh
Application granted granted Critical
Publication of CN110473243B publication Critical patent/CN110473243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于医学图像处理与计算机视觉技术领域，涉及一种基于深度轮廓感知的牙齿分割方法、装置及计算机设备。所述分割方法包括对数据集中的图片进行预处理操作，将其中的原始掩膜提取出轮廓掩膜，并进行数据膨胀处理从而加粗轮廓；将轮廓掩膜作为监督信息，使原始图像经过全卷积网络，得到轮廓预测概率图；构造U形深度轮廓感知网络；将原始掩膜作为监督信息，使原始图像和轮廓预测概率图融合后经U形深度轮廓感知网络，得到分割网络；将测试集的原始图像送入训练好的U形网络中，得到牙齿分割结果，并用圆盘过滤器使分割结果更加清晰。本发明增加了轮廓信息，使得在牙齿和牙齿周围组织界限不清晰的情况下，提高分割的准确率和分割的视觉效果。

Description

基于深度轮廓感知的牙齿分割方法、装置及计算机设备
技术领域
本发明属于医学图像处理与计算机视觉技术领域，涉及一种基于深度轮廓感知的牙齿分割方法、装置及计算机设备。
背景技术
在牙科领域，影像学图像是辅助诊断的基本数据源，x-ray图像在牙科医学中被用来检查牙齿、牙龈的状况，口腔的颌骨和骨骼结构等。牙齿分割结果可以被广泛用于牙齿正畸、牙体种植以及法医鉴定等场景。
在某些情况下由于x-ray成像效果限制，比如牙齿和周围组织对比度小(尤其是牙根区域)导致边界不清晰，缺牙所存在的空间问题，成像影片噪点较多，牙体填充造成金属伪影等，为后期自动分割牙齿带来极大的挑战。
医学图像分割的传统方法，可以分为五大类，分别是基于阈值的分割方法，基于边缘的分割方法，基于区域的分割方法，基于聚类的分割方法和基于分水岭的分割方法。基于阈值的分割方法一般只考虑了像素本身的灰度值，没有考虑空间特征，因而对噪声很敏感；基于边缘的分割方法难以解决边缘检测时的抗噪声性和检测精度之间的矛盾，会导致不合理的轮廓和位置的偏差；基于区域的分割方法容易造成图像的过度分割；基于聚类的分割方法依赖于聚类中心的选择，可能使结果偏离全局最优；基于分水岭的分割方法对微弱的边缘有着良好的响应，但图像中的噪声会使分水岭算法产生过分割的现象。
近年来，基于深度学习的图像分析方法在医学图像分割任务找那个取得了不错的进展，得到了医学领域的广泛关注。
目前，基于深度学习的牙齿分割任务主要存在两大挑战：
(1)相互接触的牙齿难以分割。一是牙齿之间相互接触，使得牙齿的边界难以界定；二是由于牙齿病理图像成像的原因，牙齿和周围组织对比度小，噪点较多，且在牙冠部位可能存在金属伪影，影响最后的分割效果。
(2)空间信息丢失。浅层网络的感受野比较小，由于感受野的限制，只能关注于局部信息，不易于结合全局信息得到符合牙齿空间结构的分割。
发明内容
有鉴于此，本发明的目的在于提供基于深度轮廓感知的牙齿分割方法、装置及计算机设备，尤其涉及一种基于全卷积网络和U形深度轮廓感知网络的牙齿分割方法。其中全卷积网络用于预测牙齿轮廓图，并为U形深度轮廓感知网络提供额外的边缘辅助预测信息；而具有U形结构的深度轮廓感知网络，在上采样的每个单元加入能够直接上采样到原始图像大小的转置卷积层，可以防止加入的边界特征的丢失，由于引入了精细的边缘辅助信息，可以得到像素级别的边界清晰的图像分割结果。
本发明的一种基于深度轮廓感知的牙齿分割方法，所述方法包括以下步骤：
S1、获取牙齿图像数据集，对其中的牙齿图像进行预处理操作，并将其作为训练集图像；
S2、从训练集图像中人工标注的二值原始掩膜经过形态学处理提取出轮廓掩膜并将其加粗；
S3、将加粗后的轮廓掩膜作为第一监督信息，将预处理后的原始牙齿图像经过全卷积网络，最小化第一损失函数，训练所述全卷积网络，得到轮廓预测概率图；
S4、构造出包括收缩路径和扩张路径的U形深度轮廓感知网络；
S5、将所述原始掩膜作为第二监督信息，使预处理后的牙齿图像和轮廓预测概率图进行融合，融合后经过U形深度轮廓感知网络，得到牙齿分割结果图，通过最小化第二损失函数，训练所述U形深度轮廓感知网络；
S6、获取拍摄的待分割牙齿图像，将待分割牙齿图像进行与步骤S1相同的预处理操作，将预处理后的待预测牙齿图像送入训练好的U形深度轮廓感知网络中，得到待分割牙齿图像的粗分割结果；
S7、对所述分割结果进行平滑处理，得到牙齿图像的细分割结果。
可选的，牙齿图像数据集包括但不限于x-ray拍摄的牙齿图像，其他可以分割自然图像和医学图像的也可以作为本发明中牙齿图像数据集；
优选的，预处理操作可以为将原始牙齿图像转换为统一尺寸；其尺寸可以为512×1024，600×800等。
进一步的，包括采用candy算子提取出人工标注的二值原始掩膜的边缘，获得轮廓掩膜，对轮廓掩膜采用数据膨胀处理，加粗其轮廓，其中数据膨胀处理包括用圆盘过滤器加粗轮廓。
其中，candy算子可采用以下过程实现：
1)使用高斯滤波器，以平滑图像，滤除噪声。
2)计算图像中每个像素点的梯度强度和方向。
3)应用非极大值(Non-Maximum Suppression)抑制，以消除边缘检测带来的杂散响应。
4)应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘。
5)通过抑制孤立的弱边缘最终完成边缘检测。
优选的，数据膨胀处理的操作包括：利用圆盘过滤器将提取出的轮廓掩膜进行加粗处理。
进一步的，步骤S3中的所述轮廓预测概率图包括将训练集中的牙齿图像和经形态学方法提取的轮廓掩膜通过全卷积网络，并最小化第一损失函数获得，所述第一损失函数包括交叉熵损失函数，计算公式为：
Figure BDA0002161269770000031
其中，N表示像素点个数，
Figure BDA0002161269770000032
表示对像素点i的预测，y(i)表示像素点i对应的真实标签。
进一步的，所述U形深度轮廓感知网络包括收缩路径和扩张路径，所述收缩路径包括5个重复的单元，每个单元包括2个卷积层1个池化层；所述扩张路径包括与收缩路径特征深度相同的5个单元，每个单元包括2个卷积层和1个转置卷积层，并将对应深度的收缩路径单元和扩张路径单元进行串连，其中，所述串连包括将特征图重叠；通过最小化第二损失函数训练所述U形深度轮廓感知网络。
可选的，所述第二损失函数包括
Figure BDA0002161269770000041
其中，a表示预测出的分割牙齿图像；b表示原始掩膜；引入Dice损失函数是为了提高预测的分割结果和真实的原始掩膜之间的重叠率。
进一步的，所述平滑处理也即腐蚀过程，具体包括利用与数据膨胀处理一致的圆盘过滤器缩小预测的分割结果的边界，从而能够使得分割边界更加清晰。
可选的，圆盘过滤器的半径为2或者2.5或者3。
本发明还提出了一种基于深度轮廓感知的牙齿分割装置，所述装置包括：
图像获取模块，用于获取牙齿图像数据集以及待分割牙齿图像；
形态学处理模块，用于将训练集图像中的原始掩膜经过形态学处理提取出其轮廓掩膜；
轮廓预测概率模块，用于通过轮廓掩膜获取轮廓预测概率图；
网络构造模块，用于构造出包括收缩路径和扩张路径的U形深度轮廓感知网络；
图像融合模块，用于融合牙齿图像和轮廓预测概率图；
图像粗分割模块，将待分割的牙齿图像经过U形深度轮廓感知网络，获得牙齿图像的粗分割结果；
图像细分割模块，将牙齿图像的粗分割结果进行平滑处理，得到牙齿图像的细分割结果。
进一步的，所述形态学处理模块包括：
灰度处理单元，用于将彩色的牙齿图像进行灰度化；
高斯滤波器，用于将灰度化后的牙齿图像进行平滑处理并去噪；
边缘检测单元，用于提取牙齿图像的轮廓掩膜；
膨胀处理单元，用于加粗轮廓掩膜。
进一步的，所述轮廓预测概率模块包括：
全卷积网络单元，包括全卷积结构的网络单元，用于预测出轮廓预测概率图；
第一监督单元，用于将加粗后的轮廓掩膜作为第一监督信息；
第一损失函数单元，用于根据对像素点预测以及像素点对应的真实标签，优化训练全卷积网络单元。
进一步的，所述网络构造模块包括：
第二损失函数单元，用于根据预测出的分割牙齿图像和原始掩膜训练U形深度轮廓感知网络；
第二监督单元，用于将原始掩膜作为第二监督信息；
U形深度轮廓感知网络，包括收缩路径层和扩张路径层；
收缩路径层，包括5个重复的单元，每个单元包括2个卷积层和1个池化层；
扩张路径层，包括与收缩路径特征深度一致的5个单元，每个单元包括两个卷积层和一个转置卷积层；
对应深度的收缩路径单元和扩张路径单元进行串联。
本发明还提出了一种计算机设备，包括至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行本发明提出的方法。
本发明的有益效果：
1)本发明提出了一种基于深度轮廓感知的牙齿分割方法，该方法可以牙齿边界不清晰的情况下，提高分割的准确率和分割的视觉效果。
2)本发明将局部信息和全局信息进行融合，能够提高覆盖面积较大的分割对象的分割精度，可以广泛应用于较大的组织或细胞的分割。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明整体流程示意图；
图2为本发明采用的全卷积神经网络结构示意图；
图3为本发明采用的U形深度轮廓感知网络结构示意图；
图4为本发明的数据流向示意图；
图5为本发明采用U形深度轮廓感知网络的牙齿预测结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
如图1所示，本方法的一种基于深度轮廓感知的牙齿分割方法，可具体包括以下步骤：
S1、获取牙齿图像数据集，对其中的牙齿图像进行预处理操作，并将其作为训练集图像；
S2从训练集图像中人工标注的二值原始掩膜经过形态学处理提取出轮廓掩膜并将其加粗；
S3、将加粗后的轮廓掩膜作为第一监督信息，将预处理后的原始牙齿图像经过全卷积网络，最小化第一损失函数，训练所述全卷积网络，得到轮廓预测概率图；
在一个实施例中，全卷积网络可参考如图2所示，本实施例提供了一种具有全卷积结构的分割网络，该网络包含5个重复的单元，每个单元包含2个卷积层，1个LeakyReLU池化层，这种池化层的作用是为了防止有些神经元被抑制，卷积层和池化层之间还添加了BN归一化层，用来防止梯度***或者梯度消失的问题。5个重复的单元后直接相连的是2个卷积层，2个卷积层用来提取更加抽象的特征并不增加特征图的数量。随后，将最后一个卷积层的输出上采样2倍并与第4个池化层的输出相加，将相加的结果和第3个池化层的输出相加再上采样到原始图像的大小。其中，所有上采样操作都是用转置卷积层完成。得到的网络通过最小化第一损失函数可以得到精细的分割结果。
其中，第一损失函数定义如公式(1)所示：
Figure BDA0002161269770000071
其中，i表示某个像素点(x，y)，N表示像素点个数，
Figure BDA0002161269770000072
表示对像素点i的预测，y(i)表示像素点i对应的真实标签。
S4、构造出包括收缩路径和扩张路径的U形深度轮廓感知网络；
在一个实施例中，U形深度轮廓感知网络可参考如图3所示，该网络呈现一个U形对称结构，网络由收缩路径和扩张路径组成，收缩路径用于提取特征，扩张路径用于恢复分辨率。收缩路径由5个重复的单元组成，每个单元包括2个卷积层1个LeakyReLU池化层，扩张路径对应有与收缩路径特征深度相同的单元，每个单元包括2个卷积层和1个转置卷积层，网络最后用softmax激活函数作为像素类别判别器。另外，将收缩路径与扩张路径对应特征深度的单元拼接，拼接操作是将特征图重叠，从而可以结合图像的特征信息和位置信息。
在收缩路径的每个单元中添加能够直接上采样到原始图像大小的转置卷积层，并将转置卷积层与扩张路径的最后一个单元的第1个卷积层拼接；
在一个实施例中，如图3所示，首先，在收缩路径的每个单元添加转置卷积层，目的是为了防止额外添加的轮廓预测概率图由于其比较细小的特征在下采样提取特征的过程中逐渐消失。其次，将4个经过转置卷积层的输出与扩张路径最后一个单元的第1个卷积层拼接，拼接操作同样是将特征图重叠。最后，通过最小化第二损失函数，提高预测结果与真实结果重叠度。
其中，第二损失函数定义如公式(2)所示：
Figure BDA0002161269770000073
S5、将所述原始掩膜作为第二监督信息，使预处理后的牙齿图像和轮廓预测概率图进行融合，融合后经过U形深度轮廓感知网络，得到牙齿分割结果图，通过最小化第二损失函数，训练所述U形深度轮廓感知网络；
融合操作就是进行特征图拼接，1×1的卷积核将概率图特征融合而实现降维，降维后用softmax激活函数预测每个像素点的类别。
如图4所示，在一个实施例中，本实施例的牙齿图像训练阶段可包括将牙齿图像数据集中的训练集图像经过形态学的膨胀处理提取出轮廓，将轮廓经过具有全卷积结构的网络，输出轮廓预测概率图，将原始牙齿图像与轮廓预测概率图进行融合，并输入到U形深度轮廓感知网络中，再根据第二损失函数训练U形深度轮廓感知网络。
S6、获取拍摄的待分割牙齿图像，将待分割牙齿图像进行与步骤S1相同的预处理操作，将预处理后的待预测牙齿图像送入训练好的U形深度轮廓感知网络中，得到待分割牙齿图像的粗分割结果；
本过程属于测试阶段，该阶段只需输入待预测的牙齿图像到U形深度轮廓感知网络中，而不需再用到轮廓信息。
S7、对所述分割结果进行平滑处理，得到牙齿图像的细分割结果如图5所示；可以看出，通过本发明的提出的方法、可以有效的分割出牙齿图像。
利用半径为2的圆盘过滤器平滑预测分割结果的边界，使分割边界更加清晰。
本发明还提出了一种基于深度轮廓感知的牙齿分割装置，所述装置包括：
图像获取模块，用于获取牙齿图像数据集以及待分割牙齿图像；
形态学处理模块，用于将训练集图像中的原始掩膜经过形态学处理提取出其轮廓掩膜；
轮廓预测概率模块，用于通过轮廓掩膜获取轮廓预测概率图；
网络构造模块，用于构造出包括收缩路径和扩张路径的U形深度轮廓感知网络；
图像融合模块，用于融合牙齿图像和轮廓预测概率图；
图像粗分割模块，将待分割的牙齿图像经过U形深度轮廓感知网络，获得牙齿图像的粗分割结果；
图像细分割模块，将牙齿图像的粗分割结果进行平滑处理，得到牙齿图像的细分割结果。
进一步的，所述形态学处理模块包括：
灰度处理单元，用于将彩色的牙齿图像进行灰度化；
高斯滤波器，用于将灰度化后的牙齿图像进行平滑处理并去噪；
边缘检测单元，用于提取牙齿图像的轮廓掩膜；
膨胀处理单元，用于加粗轮廓掩膜。
进一步的，所述轮廓预测概率模块包括：
全卷积网络单元，包括全卷积结构的网络单元，用于预测出轮廓预测概率图；
第一监督单元，用于将加粗后的轮廓掩膜作为第一监督信息；
第一损失函数单元，用于根据对像素点预测以及像素点对应的真实标签，优化训练全卷积网络单元。
进一步的，所述网络构造模块包括：
第二损失函数单元，用于根据预测出的分割牙齿图像和原始掩膜训练U形深度轮廓感知网络；
第二监督单元，用于将原始掩膜作为第二监督信息；
U形深度轮廓感知网络，包括收缩路径层和扩张路径层；
收缩路径层，包括5个重复的单元，每个单元包括2个卷积层和1个池化层；
扩张路径层，包括与收缩路径特征深度一致的5个单元，每个单元包括两个卷积层和一个转置卷积层；
对应深度的收缩路径单元和扩张路径单元进行串联。
本发明还提出了一种计算机设备，包括至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行本发明提出的方法。
当然，可以理解的是，本发明中方法、装置以及计算机设备的部分特征可以相互引用，本发明为了节省篇幅就不再一一列举。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度轮廓感知的牙齿分割方法，其特征在于，所述方法包括以下步骤：
S1、获取牙齿图像数据集，对其中的牙齿图像进行预处理操作，并将其作为训练集图像；
S2、从训练集图像中人工标注的二值原始掩膜经过形态学处理提取出轮廓掩膜并将其加粗；
S3、将加粗后的轮廓掩膜作为第一监督信息，将预处理后的原始牙齿图像经过全卷积网络，最小化第一损失函数，训练所述全卷积网络，得到轮廓预测概率图；
S4、构造出包括收缩路径和扩张路径的U形深度轮廓感知网络；
S5、将所述原始掩膜作为第二监督信息，使预处理后的牙齿图像和轮廓预测概率图进行融合，融合后经过U形深度轮廓感知网络，得到牙齿分割结果图，通过最小化第二损失函数，训练所述U形深度轮廓感知网络；
S6、获取拍摄的待分割牙齿图像，将待分割牙齿图像进行与步骤S1相同的预处理操作，将预处理后的待预测牙齿图像送入训练好的U形深度轮廓感知网络中，得到待分割牙齿图像的粗分割结果；
S7、对所述分割结果进行平滑处理，得到牙齿图像的细分割结果。
2.根据权利要求1所述的一种基于深度轮廓感知的牙齿分割方法，其特征在于，所述步骤S2包括采用candy算子提取出人工标注的二值原始掩膜的边缘，获得轮廓掩膜，对轮廓掩膜采用数据膨胀处理，加粗其轮廓，其中数据膨胀处理包括用圆盘过滤器加粗轮廓。
3.根据权利要求1所述的一种基于深度轮廓感知的牙齿分割方法，其特征在于，步骤S3中的所述轮廓预测概率图包括将训练集中的牙齿图像和经形态学方法提取的轮廓掩膜通过全卷积网络，并最小化第一损失函数获得，所述第一损失函数为交叉熵损失函数，计算公式为：
Figure FDA0003238512270000021
其中，N表示像素点个数，
Figure FDA0003238512270000022
表示对像素点i的预测，y(i)表示像素点i对应的真实标签。
4.根据权利要求1所述的一种基于深度轮廓感知的牙齿分割方法，其特征在于，所述U形深度轮廓感知网络的收缩路径和扩张路径，所述收缩路径包括5个重复的单元，每个单元包括2个卷积层1个池化层；所述扩张路径包括与收缩路径特征深度相同的5个单元，每个单元包括2个卷积层和1个转置卷积层，并将对应深度的收缩路径单元和扩张路径单元进行串连，其中，所述串连包括将特征图重叠；通过最小化第二损失函数训练所述U形深度轮廓感知网络。
5.根据权利要求1或4所述的一种基于深度轮廓感知的牙齿分割方法，其特征在于，所述第二损失函数包括
Figure FDA0003238512270000023
其中，a表示预测出的分割牙齿图像；b表示原始掩膜。
6.一种基于深度轮廓感知的牙齿分割装置，其特征在于，所述装置包括：
图像获取模块，用于获取牙齿图像数据集以及待分割牙齿图像；
形态学处理模块，用于将训练集图像中的原始掩膜经过形态学处理提取出其轮廓掩膜；
轮廓预测概率模块，用于通过轮廓掩膜获取轮廓预测概率图；即将加粗后的轮廓掩膜作为第一监督信息，将预处理后的原始牙齿图像经过全卷积网络，最小化第一损失函数，训练所述全卷积网络，得到轮廓预测概率图；
图像融合模块，用于融合预处理后的牙齿图像和轮廓预测概率图；
网络构造模块，用于构造出包括收缩路径和扩张路径的U形深度轮廓感知网络；并将所述原始掩膜作为第二监督信息，将图像融合模块融合后的图像经过U形深度轮廓感知网络，得到牙齿分割结果图，通过最小化第二损失函数，训练所述U形深度轮廓感知网络；
图像粗分割模块，将待分割的牙齿图像经过U形深度轮廓感知网络，获得牙齿图像的粗分割结果；
图像细分割模块，将牙齿图像的粗分割结果进行平滑处理，得到牙齿图像的细分割结果。
7.根据权利要求6所述的一种基于深度轮廓感知的牙齿分割装置，其特征在于，所述形态学处理模块包括：
灰度处理单元，用于将彩色的牙齿图像进行灰度化；
高斯滤波器，用于将灰度化后的牙齿图像进行平滑处理并去噪；
边缘检测单元，用于提取牙齿图像的轮廓掩膜；
膨胀处理单元，用于加粗轮廓掩膜。
8.根据权利要求6所述的一种基于深度轮廓感知的牙齿分割装置，其特征在于，所述轮廓预测概率模块包括：
全卷积网络单元，包括全卷积结构的网络单元，用于预测出轮廓预测概率图；
第一监督单元，用于将加粗后的轮廓掩膜作为第一监督信息；
第一损失函数单元，用于根据对像素点预测以及像素点对应的真实标签，优化训练全卷积网络单元。
9.根据权利要求6所述的一种基于深度轮廓感知的牙齿分割装置，其特征在于，所述网络构造模块包括：
第二监督单元，用于将原始掩膜作为第二监督信息；
第二损失函数单元，用于根据预测出的轮廓分割概率图像和原始掩膜训练U形深度轮廓感知网络；
U形深度轮廓感知网络，包括收缩路径层和扩张路径层；
收缩路径层，包括5个重复的单元，每个单元包括2个卷积层和1个池化层；
扩张路径层，包括与收缩路径特征深度一致的5个单元，每个单元包括两个卷积层和一个转置卷积层；
对应深度的收缩路径单元和扩张路径单元进行串联。
10.一种计算机设备，包括至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5任一所述的方法。
CN201910733040.XA 2019-08-09 2019-08-09 基于深度轮廓感知的牙齿分割方法、装置及计算机设备 Active CN110473243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910733040.XA CN110473243B (zh) 2019-08-09 2019-08-09 基于深度轮廓感知的牙齿分割方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910733040.XA CN110473243B (zh) 2019-08-09 2019-08-09 基于深度轮廓感知的牙齿分割方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN110473243A CN110473243A (zh) 2019-11-19
CN110473243B true CN110473243B (zh) 2021-11-30

Family

ID=68510557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910733040.XA Active CN110473243B (zh) 2019-08-09 2019-08-09 基于深度轮廓感知的牙齿分割方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN110473243B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992374B (zh) * 2019-11-28 2023-09-05 杭州小影创新科技股份有限公司 一种基于深度学习的头发精细化分割方法及***
CN111161287A (zh) * 2019-12-05 2020-05-15 山东科技大学 基于对称双向级联网络深度学习的视网膜血管分割方法
CN111259772B (zh) * 2020-01-13 2023-05-30 广州虎牙科技有限公司 图像标注方法、装置、设备和介质
CN113436734B (zh) * 2020-03-23 2024-03-05 北京好啦科技有限公司 基于人脸结构定位的牙齿健康评估方法、设备和存储介质
CN111563887B (zh) * 2020-04-30 2022-04-22 北京航空航天大学杭州创新研究院 一种口腔图像的智能分析方法与装置
CN111784754B (zh) * 2020-07-06 2024-01-12 浙江得图网络有限公司 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
CN111968120B (zh) * 2020-07-15 2022-03-15 电子科技大学 一种3d多特征融合的牙齿ct图像分割方法
CN112085028B (zh) * 2020-08-31 2024-03-12 浙江工业大学 基于特征图扰动以及边界监督的牙齿全景片语义分割方法
CN113139977B (zh) * 2021-04-23 2022-12-27 西安交通大学 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法
CN113516784B (zh) * 2021-07-27 2023-05-23 四川九洲电器集团有限责任公司 一种牙齿分割建模方法和装置
CN113822904B (zh) * 2021-09-03 2023-08-08 上海爱乐慕健康科技有限公司 一种图像标注装置、方法及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492286A (zh) * 2018-03-13 2018-09-04 成都大学 一种基于双通路u型卷积神经网络的医学图像分割方法
CN109785334A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN109816661A (zh) * 2019-03-22 2019-05-28 电子科技大学 一种基于深度学习的牙齿ct图像分割方法
CN109903396A (zh) * 2019-03-20 2019-06-18 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 一种基于曲面参数化的牙齿三维模型自动分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129363B2 (en) * 2011-07-21 2015-09-08 Carestream Health, Inc. Method for teeth segmentation and alignment detection in CBCT volume
US9984476B2 (en) * 2015-03-30 2018-05-29 General Electric Company Methods and systems for automatic segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492286A (zh) * 2018-03-13 2018-09-04 成都大学 一种基于双通路u型卷积神经网络的医学图像分割方法
CN109785334A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN109903396A (zh) * 2019-03-20 2019-06-18 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 一种基于曲面参数化的牙齿三维模型自动分割方法
CN109816661A (zh) * 2019-03-22 2019-05-28 电子科技大学 一种基于深度学习的牙齿ct图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《U-Net: Convolutional Networks for Biomedical Image Segmentation 》;Olaf Ronneberger et al；;《arXiv:1505.04597v1》;20150518;第1-8页； *
《基于分割和轮廓特征的医学牙齿图像处理算法研究》;李惠;《硕士论文库》;20141231;第1-62页； *

Also Published As

Publication number Publication date
CN110473243A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110473243B (zh) 基于深度轮廓感知的牙齿分割方法、装置及计算机设备
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN109816666B (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
CN111598862B (zh) 一种乳腺钼靶图像的分割方法、装置、终端及存储介质
CN113554665A (zh) 一种血管分割方法及装置
CN113870270B (zh) 一种统一框架下的眼底影像视杯、视盘分割方法
CN112602114A (zh) 图像处理方法及装置、神经网络及训练方法、存储介质
CN115546570A (zh) 一种基于三维深度网络的血管图像分割方法及***
CN115937158A (zh) 一种基于分层注意力机制的胃癌病灶区域分割方法
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
JPH1097624A (ja) 異常陰影候補の検出方法および装置
CN116309806A (zh) 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法
CN113902824B (zh) 一种血管内光学相干断层扫描的导丝伪影去除方法
Goutham et al. Automatic localization of landmarks in cephalometric images via modified U-Net
CN111986102B (zh) 一种数字病理图像去模糊方法
CN117409002A (zh) 一种用于创伤的视觉识别检测***及其检测方法
CN117011318A (zh) 一种牙齿ct图像三维分割方法、***、设备及介质
CN111339993A (zh) 一种x射线图像金属检测方法和***
CN108447066B (zh) 胆道图像分割方法、终端、存储介质
KR102476888B1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
Jimi et al. Automated skin lesion segmentation using vgg-unet
CN115641344A (zh) 一种眼底图像中视盘图像的分割方法
JP7019104B2 (ja) 閾値の学習方法
CN115439409A (zh) 牙齿类型的识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240626

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Country or region after: China

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China