CN110930421B - 一种用于cbct牙齿图像的分割方法 - Google Patents
一种用于cbct牙齿图像的分割方法 Download PDFInfo
- Publication number
- CN110930421B CN110930421B CN201911154934.XA CN201911154934A CN110930421B CN 110930421 B CN110930421 B CN 110930421B CN 201911154934 A CN201911154934 A CN 201911154934A CN 110930421 B CN110930421 B CN 110930421B
- Authority
- CN
- China
- Prior art keywords
- convolution
- dba
- segmentation
- tooth
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 43
- 238000007408 cone-beam computed tomography Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 238000012805 post-processing Methods 0.000 abstract description 4
- 238000009825 accumulation Methods 0.000 abstract description 2
- 238000003709 image segmentation Methods 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000014151 Stomatognathic disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明属于医学图像处理技术领域,具体涉及一种用于CBCT牙齿图像的分割方法。本发明在U‑Net模型结构基础上对网络进行重新构建与优化,搭建一个区别于U‑Net的全新的DNN,再将全连接条件随机场应用于前面搭建的网络生成的分割概率图而不是原始灰度信息,作为后处理进一步优化牙齿轮廓。具体说是在U‑Net模型中的每一层加入经过改良的深层次瓶颈架构,引入基于像素累加的跳跃连接结构,加强特征的传播并促进特征的重用。此外,将DCRF应用于由对称式全卷积残差网络生成的分割概率图而不是原始灰度信息,利用网络得到的高质量特征图,融合DCRF全局结构化预测能力,解决CBCT牙齿图像中存在的噪声问题,精确定位牙齿轮廓并细化牙齿边缘,进一步提高分割效果。
Description
技术领域
本发明属于医学图像处理技术领域,具体涉及一种用于CBCT牙齿图像的分割方法。
背景技术
锥形束CT(Cone Beam Computer Tomography,以下简称CBCT)可通过一次扫描获取高分辨率的上下牙齿三维立体图像,且产生较低的辐射剂量等优点,所以CBCT目前已成为诊断牙科疾病的重要手段之一。利用CBCT扫描数据可对口腔牙齿进行三维重建,进而展现出牙齿内部各组织和结构信息。而对口腔牙齿进行实例分割是重构牙齿三维立体模型的重要步骤,同时也是计算机辅助牙齿诊断中的技术难点之一。
CBCT与传统CT(Computed Tomography)大有不同。CBCT使用面状的二维的投影数据来代替传统CT线性的一维投影数据,即传统的二维扇形束扫描被三维锥形束X线扫描所代替,使用CBCT图像重建后可直接得到三维图像。此外,CBCT不仅能产生清晰、高分辨率的图像,而且其成像范围合理,数据采集时间短,数据格式标准,对医学图像分割和重建起到很大的帮助。
针对医学图像分割的方法主要分为两大类:1)传统的医学图像分割方法,包括基于边缘检测的图像分割,基于阈值的图像分割,基于区域的图像分割等方法。这些传统的方法往往需要较多的人机交互过程来完成目标提取和分割,同时自我学习能力较弱,对噪声,模糊实例等干扰因素的抵抗力较低。2)基于深度学习的医学图像分割方法,随着深度学习在医学上的发展,利用深度神经网络(Deep Neural Networks,以下简称DNN)对医学图像进行分割取得了一定的成功,其分割效果远超于传统分割方法。但是,由于深度学习训练的特殊性,使用DNN对牙齿进行分割还存在一些障碍,这主要是因为医学图像成本高,难以获得有效的、有代表性的图像。以牙齿图像举例说明,与自然场景图像相比,难以实现高效率的牙齿分割主要有三个原因:①由于牙齿图像中良恶性图像之间存在较大的差异,使得网络的泛化能力受到一定限制。②与一般的自然场景图像相比,牙齿图像往往包含更多对象实例,这就需要大量人工标注对图像进行处理。③由于CBCT图像中牙齿与牙齿间的灰度相似,差异小,使得牙齿间的边界模糊。
随着计算机硬件的发展,深度学习在计算机视觉领域取得了良好的表现。通过端到端的方式,DNN在图像特征提取、图像分类等图像处理领域展现出优异的性能。其中以残差网络(Residual Network,以下简称ResNet)为主要代表,ResNet提出了一种独特的跳跃连接结构,称为残差单元(Residual Unit),通过在残差单元中加入瓶颈结构(BottleneckStructure),大大提升了网络模型的性能,实现了DNN新的突破。ResNet以其优异的表现在2015年ImageNet比赛中获得图像分类、图像定位以及图像检测三个项目冠军,在语义分割领域也有强势表现。
针对基于深度学习的端到端图像分割任务,有研究者提出了全卷积网络(FullyConvolutional Networks CNs,以下简称FCNs),并应用于医学图像分割,取得了不错的分割效果。为了在医学图像分割领域获得更高的精度,研究者基于FCNs提出了一种U形网络结构U-Net,其主要原理是利用下采样的压缩路径和上采样的扩展路径提取和预测图像特征。U-Net拥有对称的编码-解码拓扑结构以及独特的跳跃连接结构。在图像分割过程中高层特征具有强的语义信息,底层特征包含更多的细节,U-Net使用通道拼接的方式结合高层特征和底层特征,实现多尺度特征融合。U-Net独特的网络结构使它在医学图像分割上面的性能优于FCNs。基于U-Net的医学图像分割研究方法已成为一个研究热点。但是,由于U-Net的网络层数较少,在DNN前向传输阶段,网络对图像高层特征信息的提取能力较弱,在上采样的像素预测阶段中,补充图像特征信息的能力较弱,这也就限制了其分割精度。有研究者致力于通过增加U-Net网络层数来提高对图像高层特征信息提取的能力,虽然在分割效果上有一定的提升,但在网络模型的构建与优化方面还有待提高。此外,由于医学图像中的灰度信息提供的是低质量特征空间,且灰度信息中存在大量噪声,导致不同类别的结构拥有相同灰度,严重影响相邻实例之间的分割精度。
近年来,条件随机场(Conditional Random Field,以下简称CRF)作为一种有效的后处理方法在医学图像分割中得到了广泛的应用,将CRF的结构化建模能力与DNN的特征提取能力相结合能更好地处理图像分割任务。但是,基本的CRF模型是由一阶势函数和相邻元素构成的势函数所组成的图模型,在图像处理过程中,CRF模型只考虑了相邻的邻域像素,缺少对整个空间信息进行考虑。很多端到端医学图像训练方法仍依赖于对部分CRF参数的独立调整,均以灰度信息作为主要特征空间,但是在医学图像中,灰度信息往往为CRF提供了低质量的特征空间,因为灰度是有噪声的,属于不同类别的几个结构可能具有相同的灰度,所以高效得利用医学图像中的灰度信息进行精准分割也是一个挑战。
发明内容
针对U-Net模型所展现出的不足,本发明通过对残差网络提出的瓶颈架构进行改良,在U-Net模型结构基础上对网络进行重新构建与优化,搭建一个区别于U-Net的全新的DNN,称为对称式全卷积残差网络,再将全连接条件随机场(Dense Conditional RandomFields,DCRF)应用于前面搭建的网络生成的分割概率图而不是原始灰度信息,作为后处理进一步优化牙齿轮廓。具体说是在U-Net模型中的每一层加入经过改良的深层次瓶颈架构(Deep Bottleneck Architectures,以下简称DBAs),引入基于像素累加的跳跃连接结构,加强特征的传播并促进特征的重用。此外,将DCRF应用于由对称式全卷积残差网络生成的分割概率图而不是原始灰度信息,利用网络得到的高质量特征图,融合DCRF全局结构化预测能力,解决CBCT牙齿图像中存在的噪声问题,精确定位牙齿轮廓并细化牙齿边缘,进一步提高分割效果。整体架构模型如附图1所示。
本发明的基于DNN+DCRF的CBCT牙齿图像分割方法主要由以下步骤实现。
步骤1、CBCT牙齿图像数据集的准备和预处理
原始CBCT牙齿图像数据集由四川大学华西医院所提供,图像格式为DCM文件,遵循标准DICOM3.0格式,图像尺寸大小为401*401,如附图4(a)所示。一共包含六组分别为六个人的CBCT口腔扫描图像,每组共401张图像。针对这些原始图像,为了将其转化为适用于神经网络训练的数据,需要提取并整理DCM文件中的图像信息,相关处理过程如附图4所示。
第一步,从DCM文件中筛选出保存图像信息的部分,具体为16位uint类型数据,计算出原始DCM图像的窗宽:
windowing=max(img)-min(img)
其中img为图像里的灰度值矩阵,max(img)为矩阵中最大值,min(img)为矩阵中最小值。
利用窗宽将DCM文件中的灰度级别映射到0-255:
再取图像中最小值作为原始DCM图像的窗位:
并结合窗宽和窗位对图像数据进行加窗:
img=img+windowLevel
最后将图像数据转化为位深度为8的uint类型数据,并保存为PNG格式的图片,图片尺寸大小为401*401,用此作为训练集中的图片,如附图4(b)所示。
第二步,从转化好的PNG格式文件里挑选出有效的,具有代表性的图片。使用深度学习标注工具基于Python版本的LabelMe框架对牙齿实例进行标注,如附图4(c)所示。
第三步,由于LabelMe生成的标签图片的灰度值范围为0-1,而神经网络训练输入的图片灰度值范围为0-255,所以再将标签图片的像素二值化为0和255。最终展现为牙齿实例为白色,牙齿背景为黑色,用此作为训练集中的图片标签,如附图4(d)所示。
经过对原始CBCT牙齿图像的预处理,一共得到86组有效且具有代表性牙齿图片和相对应的标签图,如附图5所示,最后选用74组作为训练神经网络所需要的训练集,选用12组作为测试集。
步骤2、搭建对称式全卷积残差网络架构。
使用U-Net作为基础网络架构,它由下采样(扩展路径)结合上采样(收缩路径)组成。其中收缩路径用于捕获上下文特征信息,扩展路径实现像素的精准定位和预测。通过增加网络隐藏层的数量可以进一步提高神经网络的性能,但是,这样不仅增加了网络参数的数量,增大了计算量,而且容易发生过拟合。本发明使用经过改良的深层次瓶颈架构(DeepBottleneck Architectures,DBAs)来减少网络中的参数数量,并增加网络的深度。
针对U-Net的网络特点设计了三种DBAs来代替U-Net中的卷积层,如附图2所示。每个DBA由一个左分支和一个右分支并联组成,其中左分支只有一个3*3卷积层,卷积步长为1;右分支由三个串行连接的卷积层分别是1*1卷积层,3*3卷积层,1*1卷积层,且卷积步长均为1组成。每个卷积操作之后直接ReLU作为激活函数实现非线性特征的传递。值得注意的是,在DBA中的每一个卷积操作的后面,激活函数的前面加上了批量归一化(BatchNormalization,以下简称BN)操作。首先令kn=k1,k2,…,kn表示某一层的n个神经元的输出,计算出n个神经元输出结果的均值:
并计算相应的方差:
式子中∈是一个常数项,目的是帮助方差vark 2的数值保持稳定性。
BN可以将数据卷积后的输出结果进行正态变换等操作,让激活函数的输入数据处于梯度非饱和区,使得数据在经过激活函数时,激活函数输入数据的小变化会引起非线性函数值较大的变化,也即是梯度变化较大。加入BN操作的好处是能更好地提高网络训练速度,加快网络的收敛,同时缓解DNN训练中梯度消失的问题。
在DBAs中,令每个DBA的输入数据为x(w,h,n),w、h、n分别表示通道的宽度、高度和数量,左分支一个卷积层权重为ωL1,右分支三个卷积层的权重分别为ωR1,ωR2,ωR3,网络每一层分别定义为t(1)(x,ωR1),t(2)(x,ωR2),t(3)(x,ωR3)。BN和ReLU函数一起定义为G(x)。那么DBA输出为:
DBA(n)=f(x,ω)L+f(x,ω)R
式子中x表示输入数据x(w,h,n),n表示DBA输出结果中的通道数量,每种DBA输出结果中的n为不同的值,f(x,ω)L为左分支的输出:
f(x,ω)L=G(t(x,ωL1))
f(x,ω)R为右分支的输出:
f(x,ω)R=G{t(3){G{t(2){G[t(1)(x,ωR1)],ωR2}},ωR3}]
在三种DBAs中,DBA1能在经过系列卷积之后使通道数保持不变,代替的是U-Net网络中的正常卷积操作;
DBA1=DBA(n)
DBA2能在经过系列卷积之后使通道数加倍,代替的是U-Net网络中的池化之后由于特征图的大小减半而进行的通道数加倍的卷积操作;
DBA2=DBA(2n)
DBA3能在经过系列卷积之后使通道数减半,代替的是U-Net网络中进行多尺度特征融合之后再进行通道数减半的卷积操作。
DBA3=DBA(n/2)
通过使用三种BDAs代替U-Net中的卷积层,网络层数达到了54层,不仅有效地加深了网络,更好地提取图片的特征,提高像素预测的精确度,而且还能减少参数计算的数量,网络架构的详细信息如附图3所示。
本发明搭建了一个全新的DNN,对称式全卷积残差网络。整个网络模型一共包含九个卷积组,除了第一卷积组(一个普通3*3卷积和一个DBA1),每个卷积组均包含了两个DBAs。其中在下采样阶段,从第二至第五卷积组均使用DBA2和DBA1,并在每个卷积组末尾加上最大池化层。值得注意的是,在第四卷积组的最大池化操作之前加上了Dropout,目的是为了减轻网络过拟合的问题;在第五卷积组的末尾没有采用最大池化而是直接采用Dropout,目的是为了保存下采样提取图片特征阶段的结果。在上采样阶段,从第六至第九个卷积组均使用DBA3和DBA1,且在每个卷积组末尾再进行反卷积以及特征通道拼接的操作,实现多尺度特征融合。在第九卷积组的末尾加上一个1*1的卷积层,卷积步长为1,并使用Sigmoid激活函数,得到最终的分割概率图。
步骤3、利用训练集对模型进行训练及参数优化。
为了更好地训练网络模型,本发明采用数据增强策略。将图片和对应的标签图片以相同的命名,分别放于图片和标签两个文件夹中,通过对图片进行旋转、水平和垂直平移、缩放、归一化等操作,扩充训练集的大小。经过反向传播来优化各个网络模型中的参数和权值,训练完毕之后将模型保存为HDF5格式的文件。
由此,得到训练好的对称式全卷积残差网络模型。
步骤4、使用全连接条件随机场优化对称式全卷积残差网络得到的分割概率图。
将全连接条件随机场(Dense Conditional Random Fields,DCRF)应用于步骤3之后,将步骤3得到的分割概率图作为DCRF模型的输入。DCRF不仅能利用相邻像素之间的联系,还能掌握并利用整个空间的像素信息对局部像素进行判断和预测;其次还能够根据空间中各像素之间的长短距离关系进行建模,充分掌握整个空间的上下文关系。具体实现如下:
DCRF模型将每一个像素点对其它所有像素点都构成一个连接关系,使空间中所有的点相互之间都存在一定联系,它的吉布斯能量为:
DCRF能量函数由一元势函数Pi(ai)和二元势函数Pij(ai,aj)组成,N为整个图像中的像素个数,一元势函数是定义在观测序列位置i的状态特征函数,可进一步定义为:
二元势函数是定义在不同观测位置上的转移特征函数,用于刻画变量之间的相关关系以及观测序列对其影响。在这里定义为:
其中,因为在整个DCRF模型中各像素之间是完全连通的,所以对于图片中的每一对像素i和j,不管它们相对位置在哪儿,都存在一个对应关系。fi是像素i的特征向量,fj是像素j的特征向量,km是高斯核,依赖于像素i,j的特征向量,其对应的权重是ωm。在图像处理中,一个流行的成对关系是“双边”关系,它大致表示颜色相似或位置相似的像素可能属于同一个类。引用双边关系和灰度强度定义二元势函数为:
这里,第一个内核同时依赖于像素位置(表示为δ)和像素灰度强度(表示为I),而第二个内核仅依赖于像素位置,超参数α,β和γ控制高斯核的大小。
二元函数就是描述像素点与像素点之间的关系,鼓励相似像素分配相同的标签,而相差较大的像素分配不同标签,而这个“关系”的定义与灰度值和实际相对距离有关,这样就能实现尽量在边界处分割,达到细化边界的效果,得出最终精准的分割图。
本发明的有益效果是:本发明将DNN和DCRF相结合,利用对称式全卷积残差网络获取输入牙齿图像的分割概率图,再使用DCRF作为后处理,解决神经网络实例分割中的边界平滑问题。在对称式全卷积残差网络中,使用特殊的DBAs和BN对网络进行加深,强化特征的传播和特征的重用,提高网络提取特征和预测像素的能力。将DCRF直接应用于网络产生的分割概率图而不是原始灰度信息,利用DCRF全局结构化预测能力精确定位牙齿轮廓并细化牙齿边缘,提高对牙齿图像分割的精确度。
附图说明
图1为本发明的CBCT牙齿图像分割所采用的总体框架;
图2为经过改良的深层次瓶颈架构;
图3为对称式全卷积残差网络结构;
图4为CBCT牙齿图像数据预处理过程;
图5为训练和测试数据集;
图6为对称式全卷积残差网络训练结果;
图7为整个模型分割结果。
具体实施方式
下面结合附图和实例说明本发明的实用性。
本发明的实施例中采用六组CBCT牙齿图像数据集,每组共401张图像,经过图像预处理之后得到有效的,具有代表性的牙齿图片数据共86组。其中,选用74组作为训练神经网络的训练集,选用12组作为测试网络性能的测试集。
首先,将74组牙齿中的图片和标签分别放入trainImage和trainLabel文件夹下,作为训练集对网络模型参数进行训练和优化。因为本发明中的对称式全卷积残差网络取消了全连接层,所以输入图片的大小不再受限制,可采用任意尺寸大小。模型训练过程中选择Adam作为参数调整的优化器,二进制交叉熵作为损失函数,设置学习率为0.01,整个模型训练好后保存为Tooth_DNN_DCRF.HDF5文件,训练结果如附图6所示。
然后,将12组测试集放入训练好的网络中运行测试,得到由对称式全卷积残差网络产生的牙齿分割概率图。
接下来,再将牙齿的分割概率图作为DCRF模型的输入,经过DCRF模型迭代优化得到精准的牙齿分割结果,如附图7所示。
通过以上实验可见,本发明在分割CBCT牙齿图像时,分割效果好,精确度高。
Claims (2)
1.一种用于CBCT牙齿图像的分割方法,其特征在于,包括以下步骤:
S1、将原始CBCT牙齿图像转化为位图图像获得牙齿图片,使用深度学习标注工具基于Python版本的LabelMe框架对牙齿进行标注获得标签图片,将标签图片的像素二值化为0和255获得图片标签,将牙齿图片和与其对应的图片标签组成训练集;
S2、构建对称式全卷积残差网络模型,所述对称式全卷积残差网络模型是在U型网络模型的基础上,使用三个深层次瓶颈架构DBA替换U型网络模型中的卷积层得到,具体结构为:
每个DBA由一个左分支和一个右分支并联组成,其中左分支包括一个3*3卷积层,卷积步长为1;右分支包括三个串连的卷积层,分别是1*1卷积层,3*3卷积层,1*1卷积层,且卷积步长均为1;每个卷积操作之后采用ReLU作为激活函数实现非线性特征的传递,同时在DBA中的每一个卷积操作的后面,激活函数的前面具有批量归一化操作,批量归一化操作具体为:
令kn=k1,k2,…,kn表示某一层的n个神经元的输出,计算n个神经元输出结果的均值:
并计算相应的方差:
其中∈是一个常数项,用于帮助方差vark 2的数值保持稳定性;
令每个DBA的输入数据为x(w,h,n),w、h、n分别表示通道的宽度、高度和数量,左分支一个卷积层权重为ωL1,右分支三个卷积层的权重分别为ωR1,ωR2,ωR3,网络每一层分别定义为t(1)(x,ωR1),t(2)(x,ωR2),t(3)(x,ωR3),批量归一化操作和ReLU函数一起定义为G(x);DBA输出为:
DBA(n)=f(x,ω)L+f(x,ω)R
其中x表示输入数据x(w,h,n),n表示DBA输出结果中的通道数量,每个DBA输出结果中的n为不同的值,f(x,ω)L为左分支的输出:
f(x,ω)L=G(t(x,ωL1))
f(x,ω)R为右分支的输出:
f(x,ω)R=G{t(3){G{t(2){G[t(1)(x,ωR1)],ωR2}},ωR3}}
将三个DBA分别定义为DBA1、DBA2、DBA3,三个DBA的作用分别是:
DBA1用于在经过系列卷积之后使通道数保持不变,替换的是U型网络中的正常卷积操作:
DBA1=DBA(n)
DBA2用于在经过系列卷积之后使通道数加倍,替换的是U型网络中的池化之后由于特征图的大小减半而进行的通道数加倍的卷积操作:
DBA2=DBA(2n)
DBA3用于在经过系列卷积之后使通道数减半,替换的是U型网络中进行多尺度特征融合之后再进行通道数减半的卷积操作:
DBA3=DBA(n/2)
对称式全卷积残差网络模型包括九个卷积组,第一卷积组包括一个3*3卷积和一个DBA1,第二至第五卷积组均包括一个DBA2和一个DBA1,除第五卷积组外每个卷积组末尾具有最大池化层,第五卷积组末尾采用Dropout;第六至第九卷积组均包括一个DBA3和一个DBA1,每个卷积组末尾进行反卷积以及特征通道拼接的操作,在第九卷积组的末尾加上一个1*1的卷积层,卷积步长为1,并使用Sigmoid激活函数,经过对称式全卷积残差网络模型后得到分割概率图;
S3、利用步骤S1的训练集对步骤S2构建的对称式全卷积残差网络模型进行训练,采用反向传播来优化各个网络模型中的参数和权值,得到训练好的对称式全卷积残差网络模型,将待分割的CBCT牙齿图像输入训练好的对称式全卷积残差网络模型,得到目标分割概率图;
S4、采用全连接条件随机场DCRF优化目标分割概率图,具体为:
将目标分割概率图作为DCRF模型的输入,DCRF模型将每一个像素点对其它所有像素点都构成一个连接关系,使空间中所有的点相互之间都存在一定联系,它的吉布斯能量为:
DCRF能量函数由一元势函数Pi(ai)和二元势函数Pij(ai,aj)组成,N为整个图像中的像素个数,一元势函数是定义在观测序列位置i的状态特征函数,定义为:
二元势函数是定义在不同观测位置上的转移特征函数,用于刻画变量之间的相关关系以及观测序列对其影响,定义为:
其中,在整个DCRF模型中各像素之间是完全连通的,所以对于图片中的每一对像素i和j,不管它们相对位置在哪儿,都存在一个对应关系,fi是像素i的特征向量,fj是像素j的特征向量,km是高斯核,依赖于像素i,j的特征向量,其对应的权重是ωm;将二元势函数进一步定义为:
其中,第一个内核同时依赖于像素位置δ和像素灰度强度I,而第二个内核仅依赖于像素位置,超参数α,β和γ控制高斯核的大小;二元函数用于描述像素点与像素点之间的关系,鼓励相似像素分配相同的标签,而相差较大的像素分配不同标签,关系的定义与灰度值和实际相对距离有关,从而实现尽量在边界处分割,达到细化边界的效果,得出最终精准的分割图。
2.根据权利要求1所述的一种用于CBCT牙齿图像的分割方法,其特征在于,对称式全卷积残差网络模型第四卷积组的最大池化层之前还具有Dropout。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911154934.XA CN110930421B (zh) | 2019-11-22 | 2019-11-22 | 一种用于cbct牙齿图像的分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911154934.XA CN110930421B (zh) | 2019-11-22 | 2019-11-22 | 一种用于cbct牙齿图像的分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110930421A CN110930421A (zh) | 2020-03-27 |
CN110930421B true CN110930421B (zh) | 2022-03-29 |
Family
ID=69850700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911154934.XA Expired - Fee Related CN110930421B (zh) | 2019-11-22 | 2019-11-22 | 一种用于cbct牙齿图像的分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110930421B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111627014B (zh) * | 2020-05-29 | 2023-04-28 | 四川大学 | 一种基于深度学习的根管检测与评分的方法及*** |
CN111709929B (zh) * | 2020-06-15 | 2023-01-20 | 北京航空航天大学 | 一种肺部癌变区域分割与分类检测*** |
CN111862190B (zh) * | 2020-07-10 | 2024-04-05 | 北京农业生物技术研究中心 | 自动测量离体植物软腐病斑面积的方法及装置 |
CN111968120B (zh) * | 2020-07-15 | 2022-03-15 | 电子科技大学 | 一种3d多特征融合的牙齿ct图像分割方法 |
CN111933252B (zh) * | 2020-08-12 | 2023-08-04 | 杭州深睿博联科技有限公司 | 一种牙位检出和缺失牙标记方法及装置 |
CN112308867B (zh) * | 2020-11-10 | 2022-07-22 | 上海商汤智能科技有限公司 | 牙齿图像的处理方法及装置、电子设备和存储介质 |
CN112561865B (zh) * | 2020-12-04 | 2024-03-12 | 深圳格瑞健康科技有限公司 | 恒磨牙位置的检测模型训练方法、***和存储介质 |
CN112785609B (zh) * | 2021-02-07 | 2022-06-03 | 重庆邮电大学 | 一种基于深度学习的cbct牙齿分割方法 |
CN112991273B (zh) * | 2021-02-18 | 2022-12-16 | 山东大学 | 三维牙齿模型的正畸特征自动检测方法及*** |
CN112862738B (zh) * | 2021-04-09 | 2024-01-16 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 多模态图像的合成方法、装置、存储介质及处理器 |
CN113223010B (zh) * | 2021-04-22 | 2024-02-27 | 北京大学口腔医学院 | 口腔图像多组织全自动分割的方法和*** |
CN113205524B (zh) * | 2021-05-17 | 2023-04-07 | 广州大学 | 基于U-Net的血管图像分割方法、装置和设备 |
CN113516784B (zh) * | 2021-07-27 | 2023-05-23 | 四川九洲电器集团有限责任公司 | 一种牙齿分割建模方法和装置 |
CN113344950A (zh) * | 2021-07-28 | 2021-09-03 | 北京朗视仪器股份有限公司 | 一种深度学习结合点云语义的cbct图像牙齿分割方法 |
CN113628223B (zh) * | 2021-08-05 | 2024-06-28 | 杭州隐捷适生物科技有限公司 | 基于深度学习的牙科cbct三维牙齿分割方法 |
CN114187293B (zh) * | 2022-02-15 | 2022-06-03 | 四川大学 | 基于注意力机制和集成配准的口腔腭部软硬组织分割方法 |
CN114757960B (zh) * | 2022-06-15 | 2022-09-09 | 汉斯夫(杭州)医学科技有限公司 | 一种基于cbct图像的牙齿分割与重建方法及存储介质 |
CN115796306B (zh) * | 2023-02-07 | 2023-04-18 | 四川大学 | 一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169492A (zh) * | 2017-05-26 | 2017-09-15 | 西安电子科技大学 | 基于fcn‑crf主从网络的极化sar目标检测方法 |
CN107403201A (zh) * | 2017-08-11 | 2017-11-28 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 |
CN108062756A (zh) * | 2018-01-29 | 2018-05-22 | 重庆理工大学 | 基于深度全卷积网络和条件随机场的图像语义分割方法 |
CN109816661A (zh) * | 2019-03-22 | 2019-05-28 | 电子科技大学 | 一种基于深度学习的牙齿ct图像分割方法 |
CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及*** |
CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
CN110349170A (zh) * | 2019-07-13 | 2019-10-18 | 长春工业大学 | 一种全连接crf级联fcn和k均值脑肿瘤分割算法 |
-
2019
- 2019-11-22 CN CN201911154934.XA patent/CN110930421B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169492A (zh) * | 2017-05-26 | 2017-09-15 | 西安电子科技大学 | 基于fcn‑crf主从网络的极化sar目标检测方法 |
CN107403201A (zh) * | 2017-08-11 | 2017-11-28 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 |
CN108062756A (zh) * | 2018-01-29 | 2018-05-22 | 重庆理工大学 | 基于深度全卷积网络和条件随机场的图像语义分割方法 |
CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及*** |
CN109816661A (zh) * | 2019-03-22 | 2019-05-28 | 电子科技大学 | 一种基于深度学习的牙齿ct图像分割方法 |
CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
CN110349170A (zh) * | 2019-07-13 | 2019-10-18 | 长春工业大学 | 一种全连接crf级联fcn和k均值脑肿瘤分割算法 |
Non-Patent Citations (4)
Title |
---|
A symmetric fully convolutional residual network with DCRF for accurate tooth segmentation;Rao yunbo等;《IEEE Access》;20200514;第8卷;第92028-92038页 * |
Survey on semantic segmentation using deep learning techniques;Lateef F等;《Neurocomputing》;20190421;第338卷;第321-348页 * |
组合全卷积神经网络和条件随机场的道路分割;宋青松等;《清华大学学报:自然科学版》;20181231;第58卷(第8期);第725-731页 * |
结合全卷积神经网络与条件随机场的资源3号遥感影像云检测;裴亮等;《激光与光电子学进展》;20190531;第56卷(第10期);第269-275页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110930421A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110930421B (zh) | 一种用于cbct牙齿图像的分割方法 | |
Costa et al. | Towards adversarial retinal image synthesis | |
CN110992338B (zh) | 一种原发灶转移辅助诊断*** | |
CN111627019B (zh) | 一种基于卷积神经网络的肝脏肿瘤分割方法及*** | |
CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
Gu et al. | MedSRGAN: medical images super-resolution using generative adversarial networks | |
CN110930416B (zh) | 一种基于u型网络的mri图像***分割方法 | |
CN113077471A (zh) | 一种基于u型网络的医学图像分割方法 | |
Tang et al. | A multi-stage framework with context information fusion structure for skin lesion segmentation | |
CN110998602A (zh) | 使用深度学习方法对3d牙颌面结构的分类和3d建模 | |
CN108197629B (zh) | 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法 | |
CN111563902A (zh) | 一种基于三维卷积神经网络的肺叶分割方法及*** | |
CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及*** | |
CN114897780B (zh) | 一种基于mip序列的肠系膜上动脉血管重建方法 | |
CN112686898B (zh) | 一种基于自监督学习的放疗靶区自动分割方法 | |
CN113902761A (zh) | 基于知识蒸馏的肺部疾病病灶无监督分割方法 | |
CN110782427B (zh) | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 | |
Chatterjee et al. | On building classification from remote sensor imagery using deep neural networks and the relation between classification and reconstruction accuracy using border localization as proxy | |
CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
CN115661165A (zh) | 基于增强注意力的编解码网络胶质瘤融合分割***及方法 | |
Watanabe et al. | Generative image transformer (GIT): unsupervised continuous image generative and transformable model for [123 I] FP-CIT SPECT images | |
Xia et al. | Deep residual neural network based image enhancement algorithm for low dose CT images | |
Li et al. | A comprehensive survey on deep learning techniques in CT image quality improvement | |
Zou et al. | MR-Trans: MultiResolution Transformer for medical image segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220329 |