CN116152238B - 一种基于深度学习的颞下颌关节间隙面积自动测量方法 - Google Patents
一种基于深度学习的颞下颌关节间隙面积自动测量方法 Download PDFInfo
- Publication number
- CN116152238B CN116152238B CN202310411589.3A CN202310411589A CN116152238B CN 116152238 B CN116152238 B CN 116152238B CN 202310411589 A CN202310411589 A CN 202310411589A CN 116152238 B CN116152238 B CN 116152238B
- Authority
- CN
- China
- Prior art keywords
- area
- image
- gap area
- temporomandibular joint
- joint gap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000000691 measurement method Methods 0.000 title claims abstract description 13
- 210000001738 temporomandibular joint Anatomy 0.000 claims abstract description 58
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 238000007408 cone-beam computed tomography Methods 0.000 claims abstract description 33
- 238000005259 measurement Methods 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 238000012216 screening Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 19
- 210000003582 temporal bone Anatomy 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 210000000613 ear canal Anatomy 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 206010034701 Peroneal nerve palsy Diseases 0.000 claims description 3
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000005489 elastic deformation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 10
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 208000028911 Temporomandibular Joint disease Diseases 0.000 description 2
- 206010043220 Temporomandibular joint syndrome Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提出一种基于深度学习的颞下颌关节间隙面积自动测量方法，实现了颞下颌关节的分割及其间隙面积的自动化测量，涉及医学图像分析领域。本发明利用VNet神经网络进行图像分割，在分割图的基础上进行矢状面筛选和待测区域的定位，测量选定切面的颞下颌关节间隙的前后面积，在CBCT图像和分割图中标注出对应的测量区域，解决了颞下颌关节间隙面积的自动化测量和标注问题，通过实现图像分割和自动化测量，一定程度上将解决口腔科医生的工作效率问题及由于临床经验导致的人工错误分割和测量问题。
Description
技术领域
本发明属于医学图像分析领域，特别涉及一种基于深度学习的颞下颌关节间隙面积自动测量方法。
背景技术
CBCT是Cone beam CT的简称，即锥形束CT，是锥形束投照计算机重组断层影像设备，其原理是X线发生器以较低的射线量(通常球管电流在10毫安左右)围绕投照体做环形DR(数字式投照)。CBCT与传统螺旋CT相比其具有辐射剂量小、空间分辨率高、三维重建快、能够提供精确影像数据的优点，以及检查费用和设备购置费用相对较低、占用面积和空间较小等众多优点日益广泛的被应用于口腔临床中,成为口腔医学领域一项重要的辅助检查工具在医学分析中，人工进行CBCT图像分割和测量需要有丰富的临床经验和背景知识的医生来进行，随着科学技术的发展，利用深度学习技术进行医学图像分割并进行自动化测量作为辅助诊断方法已被广泛利用，可以在一定程度上极大的降低医生的工作量，并且可以减小因为个体差异而导致的错误。
深度学习技术，特别是卷积神经网络可以捕获输入与输出之间的特征关系，并经过层层提取获得高层次语义和低层次语义，VNet神经网络可以通过跳跃连接来融合高低层次的语义信息，具有较好的分割效果。
颞下颌关节紊乱是骨关节炎的重要分支，目前最常用的检查方法是获取口腔CBCT图像，但颞下颌关节紊乱在前期临床症状不明显，不易于被发现，结合颞下颌关节间隙面积测量工作量大、难以测量的特点，利用计算机进行自动化测量将有助于病症被及早发现和治疗。
发明内容
基于上述问题，本发明提出了一种基于深度学习的颞下颌关节间隙面积自动测量方法，其是基于深度学习的医学影像分割技术，实现CBCT图像的分割和颞下颌关节间隙前后面积的自动化测量。
一种基于深度学习的颞下颌关节间隙面积自动测量方法，用于对CBCT图像进行分割并测量得到颞下颌关节间隙的前间隙面积和后间隙面积，具体包括以下步骤：
步骤S0、获取原始CBCT图像；
步骤S1、对步骤S0获取的原始CBCT图像进行预处理；
步骤S2、将步骤S1得到的图像输入VNet神经网络，生成左侧颞下颌关节间隙的三维分割图；
步骤S3、选择步骤S2得到的三维分割图的矢状面方向，获得分割图矢状面；
步骤S4、对步骤S3得到的分割图矢状面进行筛选滤波，获取备选切面图像；
步骤S5、对步骤S4得到的备选切面图像进行区域划分，确定前间隙面积的待测量区域和后间隙面积的待测量区域；
步骤S6、对步骤S5得到的待测量区域进行面积测量，得到颞下颌关节间隙的前间隙面积和后间隙面积。
进一步的，所述步骤S2中，所述VNet神经网络通过如下步骤训练：
S21、获取原始CBCT图像；
S22、对S21获取的原始CBCT图像进行预处理；
S23、对S22预处理后的CBCT图像进行数据增强；
S24、构建VNet神经网络；
S25、采用S23数据增强后的图像对S24构建的VNet神经网络进行训练。
进一步的，所述预处理是对图像依次进行重采样、Hu值截断、zs-core归一化处理。
进一步的，所述数据增强是对图像依次进行图像旋转、图像缩放、弹性形变、坐标轴翻转、强度改变。
进一步的，所述VNet神经网络由四个编码器和四个解码器依次连接组成，编码器采用卷积和下采样操作，解码器采用卷积和上采样操作，通过跳跃连接将编码器的语义信息传递到解码器的网络结构中。
进一步的，采用Dice损失函数和CE损失函数对所述VNet神经网络进行训练，Dice损失函数和CE损失函数构成的损失函数公式如下：
（1）
其中，
L Dice 为真实数据与预测数据的Dice损失函数；
L CE 为真实数据与预测数据的交叉熵损失函数；
N为样本的数目；
p为真实数据；
q为预测数据；
C为检测类别的数目。
进一步的，采用RMSprop优化器对所述VNet神经网络的参数进行训练，RMSprop优化器初始学习率为0.0001，学习率的公式如下：
（2）
其中，
lr′为更新后的学习率；
lr init 为初始学习率；
epoch为当前的轮次；
MAX_EPOCH为最大的训练轮次。
进一步的，所述步骤S4中，对分割图矢状面进行筛选滤波具体包括：
S41、分割图矢状面中，寻找髁状突顶部的最高点P，将P点的纵坐标向下平移13个像素点得到P’，P’向左平移20个像素点得到P1，P’向右平移20个像素点得到P2，线段P1P2内的像素点作为参考点，记录参考点中属于髁状突的像素点数量作为髁状突顶部的宽度，筛选出宽度大于25像素的分割图矢状面；
S42、对S41筛选出的分割图矢状面进行one-hot编码，获得背景、髁状突、颞骨、外耳道的单通道图；
S43、通过设置每个单通道图中轮廓面积的上限值和下限值、轮廓周长的上限值和下限值，寻找每个单通道图中的正常轮廓；
S44、对每个单通道图中的正常轮廓进行轮廓寻找、滤波、填充，得到每个单通道的正常图像；
S45、将S44得到的每个单通道的正常图像组合成一张完整的分割图矢状面，作为备选切面图像。
进一步的，所述步骤S5中，对备选切面图像进行区域划分具体包括如下步骤：
S51、在备选切面图像上寻找外耳道的最低点和颞骨左侧的最低点，两个最低点的连线与髁状突相交于两点，所述两点构成一条线段，将线段中点作为垂足；
S52、在垂足处作垂线，该垂线将连线上侧的区域分为两个半区；
S53、分别作两个半区的三等分线，每个半区中三等分线、髁状突和颞骨将关节间隙围成三个封闭区域；
S54、将靠近颞骨的半区中三个封闭区域的中心区域作为前间隙面积的待测量的区域，将靠近外耳道的半区中三个封闭区域的中心区域作为后间隙面积的待测量区域。
进一步的，所述步骤S6中，对所述的待测量的区域进行面积测量，具体为：
S61、根据步骤S5中得到的前间隙面积的待测量区域，做最小外接矩形，计算矩形内的像素点数量作为关节间隙前间隙面积的点数，乘以单个像素点的面积得到颞下颌关节间隙的前间隙面积，计算公式如下：
S前=N前*S像素 （3）
其中，
S前为颞下颌关节间隙的前间隙面积，
N前为前间隙面积的待测量区域最小外接矩形内的像素点数量，
S像素为单个像素点的面积；
S62、根据步骤S5中得到的后间隙面积的待测量区域，做最小外接矩形，计算矩形内的像素点数量作为关节间隙后间隙面积的点数，乘以单个像素点的面积得到颞下颌关节间隙的后间隙面积，计算公式如下：
S后=N后*S像素 （4）
其中，
S后为颞下颌关节间隙的后间隙面积，
N后为后间隙面积的待测量区域最小外接矩形内的像素点数量，
S像素为单个像素点的面积。
相对于现有技术，本申请具有如下有益效果：
1、通过采用构建、训练VNet神经网络，实现对分割图矢状面的自动分割，大大提高了人工进行分割图矢状面提取的效率、精度；
2、对VNet神经网络自动提取的分割图矢状面进行进一步的分割、划分，在分割图的基础上进行矢状面筛选和待测区域的定位，解决了颞下颌关节间隙面积的自动化测量和标注问题，最终确定前间隙面积的待测量区域和后间隙面积的待测量区域，一定程度上将解决口腔科医生的工作效率问题及由于临床经验导致的人工错误分割和测量问题。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出基于深度学习的颞下颌关节间隙面积自动测量方法流程图；
图2示出一个实施例的CBCT图像分割结果图，图2(a)为横断面图，图2(b)为矢状面图，图2(c)为冠状面图；
图3示出一个实施例的对分割图矢状面进行筛选流程图；
图4示出一个实施例的颞下颌关节间隙测量区域示意图；
图5示出一个实施例的颞下颌关节测量结果图，图5(a)为分割图中颞下颌关节间隙前间隙面积的局部放大图，图5(b)为分割图中颞下颌关节间隙后间隙面积的局部放大图，图5(c)为分割图中颞下颌关节间隙的完整图，图5(d)为颞下颌关节间隙的标注图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明的方法利用VNet进行图像分割，在分割图的基础上可以在颞下颌关节的标签图或预测图中找出关节间隙前后面积最大的切面，对面积进行测量并将其CBCT图像、分割图进行标注来共同作为输出结果。
一种基于深度学习的颞下颌关节间隙面积自动测量方法，用于对CBCT图像进行分割并测量得到颞下颌关节间隙的前间隙面积和后间隙面积，图1为基于深度学习的颞下颌关节间隙面积自动测量方法流程图，具体包括以下步骤：
步骤S0、获取原始CBCT图像。
CBCT即锥形束投照计算机重组断层影像设备，其原理是X线发生器以较低的射线量围绕投照体做环形数字式投照；然后将围绕投照体多次数字投照后“交集”中所获得的数据在计算机中“重组”，进而获得三维图像， CBCT与传统螺旋CT相比其具有辐射剂量小、空间分辨率高、三维重建快、能够提供精确影像数据的优点，以及检查费用和设备购置费用相对较低、占用面积和空间较小等众多优点日益广泛的被应用于口腔临床中,成为口腔医学领域一项重要的辅助检查工具。
步骤S1、对步骤S0获取的原始CBCT图像进行预处理。
预处理包括对图像依次进行重采样、Hu值截断、zs-core归一化处理，以实现消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。
步骤S2、将步骤S1得到的图像输入VNet神经网络，生成左侧颞下颌关节间隙的三维分割图。
VNet神经网络由四个编码器和四个解码器依次连接组成，编码器采用卷积和下采样操作，解码器采用卷积和上采样操作，通过跳跃连接将编码器的语义信息传递到解码器的网络结构中。
本发明中用到的VNet神经网络通过如下步骤训练：
S21、获取原始CBCT图像；
S22、对S21获取的原始CBCT图像进行预处理；
S23、对S22预处理后的CBCT图像进行数据增强；
S24、构建VNet神经网络；
S25、采用S23数据增强后的图像对S24构建的VNet神经网络进行训练。
其中，用到的与处理方法与步骤S1中的与处理方法一致，数据增强是对图像依次进行图像旋转、图像缩放、弹性形变、坐标轴翻转、强度改变，数据增强是因为医学图像的数据量比较少，经过数据增强，比方说把一张图像旋转一个角度，输入到计算机的矩阵会很不一样，根本目的是为了增加数据的多样性，因为在数据少的神经网络会存在一个叫过拟合的问题。检测时是用已经训练好的模型，直接检测就行，数据增强反而可能会损失一部分细节信息。
VNet神经网络采用Dice损失函数和CE损失函数构成损失函数，公式如下：
（1）
其中，
L Dice 为真实数据与预测数据的Dice损失函数，以真实值与预测值的相似程度为指标，可以很好的解决医学图像前景与背景不平衡的问题；
L CE 为真实数据与预测数据的交叉熵损失函数，很好的解决单独使用时训练不稳定的问题；
N为样本的数目；
p为真实数据；
q为预测数据；
C为检测类别的数目，本发明中，检测类别C=4，分别为：外耳道、颞骨、髁状突和背景。
采用RMSprop优化器对所述VNet神经网络的参数进行训练，RMSprop优化器初始学习率为0.0001，学习率的公式如下：
（2）
其中，
lr′为更新后的学习率，
lr init 为初始学习率，
epoch为当前的轮次，
MAX_EPOCH为最大的训练轮次。
采用VNet神经网络对CBCT图像进行分割具体为：编码器利用双卷积层构成的残差模块对特征进行提取后进行下采样操作，解码器利用双卷积层构成的残差模块对特征进行特征融合后通过上采样操作进行图像的尺寸恢复。
在一个具体实施例中，采用VNet神经网络对图像进行分割，VNet神经网络进行图像分割时所采用的滑动窗尺寸为96×96×96，编码器利用双卷积层构成的残差模块对特征进行提取，再进行下采样操作，重复四次，下采样之后的尺寸与原图的尺寸比例为[16：8：4：2：1]；解码器利用双卷积层构成的残差模块对特征进行特征融合，再上采样操作进行图像的尺寸恢复，重复四次。
步骤S3、选择步骤S2得到的三维分割图的矢状面方向，获得分割图矢状面。
VNet神经网络生成的三维分割图包括：
横断面：将人体分为上下两个部分，与地面平行的平面；矢状面：将身体分为左右两个部分的平面；冠状面：沿身体左右方向，将身体分为前后两个部分的平面；图2示出一个实施例的CBCT图像分割结果图，图2(a)为横断面图，图2(b)为矢状面图，图2(c)为冠状面图。从矢状面图中可清楚得到髁状突、颞骨、外耳道的位置关系，因此本发明选择矢状面图进行下一步分析。
步骤S4、对步骤S3得到的分割图矢状面进行筛选滤波，获取备选切面图像。图3示出一个实施例的对分割图矢状面进行筛选流程图。
具体包括：
S41、分割图矢状面中，寻找髁状突顶部的最高点P，将P点的纵坐标向下平移13个像素点得到P’，P’向左平移20个像素点得到P1，P’向右平移20个像素点得到P2，线段P1P2内的像素点作为参考点，记录参考点中属于髁状突的像素点数量作为髁状突顶部的宽度，筛选出宽度大于25像素的分割图矢状面；
S42、对S41筛选出的分割图矢状面进行one-hot编码，获得背景、髁状突、颞骨、外耳道的单通道图；
S43、通过设置每个单通道图中轮廓面积的上限值和下限值、轮廓周长的上限值和下限值，寻找每个单通道图中的正常轮廓；
具体的，设置每个单通道图中轮廓面积的上限值和下限值，将轮廓面积大于上限值和轮廓面积小于下限值的轮廓滤除；
设置每个单通道图中轮廓周长的上限值和下限值，将轮廓周长大于上限值和轮廓周长小于下限值的轮廓滤除；
S44、对每个单通道图中的正常轮廓进行轮廓寻找、滤波、填充，得到每个单通道的正常图像；
S45、将S44得到的每个单通道的正常图像组合成一张完整的分割图矢状面，作为备选切面图像。
可以选择将各个单通道图放在同一个坐标系下，再进行下一步的区域划分。
具体的，在图像众多矢状面中，本发明选择在其颞下颌关节间隙面积最大的矢状面进行测量，利用图3所示的分割图矢状面进行筛选流程图对矢状面进行筛选：将三维分割图的矢状面进行切割，得到的每个二维矢状面单独送入切面筛选模块，为了不与三维图中的坐标系引起冲突，在本关节面积自动化测量部分定义横向方向为x方向，纵向方向为y方向；首先寻找髁状突顶部的最高点P，将P点的y坐标向下平移13个像素点得到y’，将此时的y’定义为髁状突顶部的参考高度，将在此高度利用髁状突顶部的宽度对矢状面进行筛选判断；在y’高度将P点横坐标的左右各纳入二十个点作为参考点，记录参考点中属于髁状突类的点数作为髁状突顶部的宽度，滤除髁状突顶部的宽度小于25个像素点的切面，大于等于25个像素点的切面作为待测切面。
步骤S5、对步骤S4得到的备选切面图像进行区域划分，确定前间隙面积的待测量区域和后间隙面积的待测量区域。
具体包括如下步骤：
S51、在备选切面图像上寻找外耳道的最低点和颞骨左侧的最低点，两个最低点的连线与髁状突相交于两点，所述两点构成一条线段，将线段中点作为垂足；
S52、在垂足处作垂线，该垂线将连线上侧的区域分为两个半区；
S53、分别作两个半区的三等分线，每个半区中三等分线、髁状突和颞骨将关节间隙围成三个封闭区域；
S54、将靠近颞骨的半区中三个封闭区域的中心区域作为前间隙面积的待测量的区域，将靠近外耳道的半区中三个封闭区域的中心区域作为后间隙面积的待测量区域。
图4示出一个实施例的颞下颌关节间隙测量区域示意图，将在分割图中寻找到颞下颌关节间隙的测量区域，并对其进行面积测量，其中，区域①为颞下颌关节间隙前间隙面积，区域②为颞下颌关节间隙后间隙面积，本发明选择分割图中颞下颌关节间隙面积最大的矢状面作为待测的二维图像。
步骤S6、对步骤S5得到的待测量区域进行面积测量，得到颞下颌关节间隙的前间隙面积和后间隙面积。
具体为：
S61、根据步骤S5中得到的前间隙面积的待测量区域，做最小外接矩形，计算矩形内的像素点数量作为关节间隙前间隙面积的点数，乘以单个像素点的面积得到颞下颌关节间隙的前间隙面积，计算公式如下：
S前=N前*S像素 （3）
其中，
S前为颞下颌关节间隙的前间隙面积，
N前为前间隙面积的待测量区域最小外接矩形内的像素点数量，
S像素为单个像素点的面积；
S62、根据步骤S5中得到的后间隙面积的待测量区域，做最小外接矩形，计算矩形内的像素点数量作为关节间隙后间隙面积的点数，乘以单个像素点的面积得到颞下颌关节间隙的后间隙面积，计算公式如下：
S后=N后*S像素 （4）
其中，
S后为颞下颌关节间隙的后间隙面积，
N后为后间隙面积的待测量区域最小外接矩形内的像素点数量，
S像素为单个像素点的面积。
计算每个待测切面的颞下颌关节间隙前后面积，选取可以被测量且测量结果最大的切面作为最终选定的测量切面，并输出测量结果，面积测量结果如图5所示：
将输入的图像进行one-hot图像独热编码，在每个one-hot图中寻找独热图像中物体的轮廓，对所得到的轮廓进行预处理，滤除物体面积过大、面积过小、轮廓线过长、轮廓线过短的区域，对滤波后的图像进行内部孔洞的填充，得到预处理后的图像；在预处理后的图像中选定测量范围，具体为找到定位点，计算定位点连线的斜率和纵截距来表示直线，依次计算垂线、三等分线的斜率和纵截距，计算三等分线与髁状突、颞骨轮廓线的交点，利用交点计算得到颞下颌关节间隙前后面积的外接矩形，计数矩形内的背景点数即为关节间隙面积的点数，乘以像素的平方换算得到其真实的物理面积。
在CBCT图像和分割图中标注出所测量的区域，并将标注图与测量结果输出为图片，图5中slice为所测量的矢状面，即颞下颌关节间隙面积最大的矢状面；area_1为颞下颌关节间隙的前侧面积，110/6.875mm2表示该侧面积包含110个像素点，其物理面积为6.875平方毫米，area_2为颞下颌关节间隙的后侧面积，132/8.25mm2表示该侧面积包含132个像素点，其物理面积为8.25平方毫米；输出的图像中图5（a）和图5（b）分别为标注后的分割图中颞下颌关节间隙前后面积的局部放大显示图，图5（c）为分割图中颞下颌关节间隙的完整图，图5（d）为CBCT图像中颞下颌关节间隙的关键点、辅助线、测量区域的标注图。
综上，本发明的方法利用VNet进行图像分割，在分割图的基础上进行矢状面筛选和待测区域的定位，测量选定切面的颞下颌关节间隙的前后面积，在CBCT图像和分割图中标注出对应的测量区域，解决了颞下颌关节间隙面积的自动化测量和标注问题。通过实现图像分割和自动化测量，一定程度上将解决口腔科医生的工作效率问题及由于临床经验导致的人工错误分割和测量问题。
尽管本文已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种基于深度学习的颞下颌关节间隙面积自动测量方法，其特征在于，用于对CBCT图像进行分割并测量得到颞下颌关节间隙的前间隙面积和后间隙面积，具体包括以下步骤：
步骤S0、获取原始CBCT图像；
步骤S1、对步骤S0获取的原始CBCT图像进行预处理；
步骤S2、将步骤S1得到的图像输入VNet神经网络，生成左侧颞下颌关节间隙的三维分割图；
步骤S3、选择步骤S2得到的三维分割图的矢状面方向，获得分割图矢状面；
步骤S4、对步骤S3得到的分割图矢状面进行筛选滤波，获取备选切面图像，具体包括：
S41、分割图矢状面中，寻找髁状突顶部的最高点P，将P点的纵坐标向下平移13个像素点得到P’，P’向左平移20个像素点得到P1，P’向右平移20个像素点得到P2，线段P1P2内的像素点作为参考点，记录参考点中属于髁状突的像素点数量作为髁状突顶部的宽度，筛选出宽度大于25像素的分割图矢状面；
S42、对S41筛选出的分割图矢状面进行one-hot编码，获得背景、髁状突、颞骨、外耳道的单通道图；
S43、通过设置每个单通道图中轮廓面积的上限值和下限值、轮廓周长的上限值和下限值，寻找每个单通道图中的正常轮廓；
S44、对每个单通道图中的正常轮廓进行轮廓寻找、滤波、填充，得到每个单通道的正常图像；
S45、将S44得到的每个单通道的正常图像组合成一张完整的分割图矢状面，作为备选切面图像；
步骤S5、对步骤S4得到的备选切面图像进行区域划分，确定前间隙面积的待测量区域和后间隙面积的待测量区域；
步骤S6、对步骤S5得到的待测量区域进行面积测量，得到颞下颌关节间隙的前间隙面积和后间隙面积。
2.如权利要求1所述的一种基于深度学习的颞下颌关节间隙面积自动测量方法，其特征在于，所述步骤S2中，所述VNet神经网络通过如下步骤训练：
S21、获取原始CBCT图像；
S22、对S21获取的原始CBCT图像进行预处理；
S23、对S22预处理后的CBCT图像进行数据增强；
S24、构建VNet神经网络；
S25、采用S23数据增强后的图像对S24构建的VNet神经网络进行训练。
3.如权利要求2所述的一种基于深度学习的颞下颌关节间隙面积自动测量方法，其特征在于，所述预处理是对图像依次进行重采样、Hu值截断、zs-core归一化处理。
4.如权利要求2所述的一种基于深度学习的颞下颌关节间隙面积自动测量方法，其特征在于，所述数据增强是对图像依次进行图像旋转、图像缩放、弹性形变、坐标轴翻转、强度改变。
5.如权利要求2所述的一种基于深度学习的颞下颌关节间隙面积自动测量方法，其特征在于，所述VNet神经网络由四个编码器和四个解码器依次连接组成，编码器采用卷积和下采样操作，解码器采用卷积和上采样操作，通过跳跃连接将编码器的语义信息传递到解码器的网络结构中。
6.如权利要求5所述的一种基于深度学习的颞下颌关节间隙面积自动测量方法，其特征在于，采用Dice损失函数和CE损失函数对所述VNet神经网络进行训练，Dice损失函数和CE损失函数构成的损失函数公式如下：
其中，
LDice为真实数据与预测数据的Dice损失函数；
LCE为真实数据与预测数据的交叉熵损失函数；
N为样本的数目；
p为真实数据；
q为预测数据；
C为检测类别的数目。
7.如权利要求5所述的一种基于深度学习的颞下颌关节间隙面积自动测量方法，其特征在于，采用RMSprop优化器对所述VNet神经网络的参数进行训练，RMSprop优化器初始学习率为0.0001，学习率的公式如下：
lr′＝lrinit*(1-epoch/MAX_EPOCH)0.9 (2)
其中，
lr′为更新后的学习率；
lrinit为初始学习率；
epoch为当前的轮次；
MAX_EPOCH为最大的训练轮次。
8.如权利要求1所述的一种基于深度学习的颞下颌关节间隙面积自动测量方法，其特征在于，所述步骤S5中，对备选切面图像进行区域划分具体包括如下步骤：
S51、在备选切面图像上寻找外耳道的最低点和颞骨左侧的最低点，两个最低点的连线与髁状突相交于两点，所述两点构成一条线段，将线段中点作为垂足；
S52、在垂足处作垂线，该垂线将连线上侧的区域分为两个半区；
S53、分别作两个半区的三等分线，每个半区中三等分线、髁状突和颞骨将关节间隙围成三个封闭区域；
S54、将靠近颞骨的半区中三个封闭区域的中心区域作为前间隙面积的待测量的区域，将靠近外耳道的半区中三个封闭区域的中心区域作为后间隙面积的待测量区域。
9.如权利要求1所述的一种基于深度学习的颞下颌关节间隙面积自动测量方法，其特征在于，所述步骤S6中，对所述的待测量的区域进行面积测量，具体为：
S61、根据步骤S5中得到的前间隙面积的待测量区域，做最小外接矩形，计算矩形内的像素点数量作为关节间隙前间隙面积的点数，乘以单个像素点的面积得到颞下颌关节间隙的前间隙面积，计算公式如下：
S前＝N前*S像素 (3)
其中，
S前为颞下颌关节间隙的前间隙面积，
N前为前间隙面积的待测量区域最小外接矩形内的像素点数量，
S像素为单个像素点的面积；
S62、根据步骤S5中得到的后间隙面积的待测量区域，做最小外接矩形，计算矩形内的像素点数量作为关节间隙后间隙面积的点数，乘以单个像素点的面积得到颞下颌关节间隙的后间隙面积，计算公式如下：
S后＝N后*S像素 (4)
其中，
S后为颞下颌关节间隙的后间隙面积，
N后为后间隙面积的待测量区域最小外接矩形内的像素点数量，
S像素为单个像素点的面积。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310411589.3A CN116152238B (zh) | 2023-04-18 | 2023-04-18 | 一种基于深度学习的颞下颌关节间隙面积自动测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310411589.3A CN116152238B (zh) | 2023-04-18 | 2023-04-18 | 一种基于深度学习的颞下颌关节间隙面积自动测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116152238A CN116152238A (zh) | 2023-05-23 |
| CN116152238B true CN116152238B (zh) | 2023-07-18 |
Family
ID=86360363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310411589.3A Active CN116152238B (zh) | 2023-04-18 | 2023-04-18 | 一种基于深度学习的颞下颌关节间隙面积自动测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152238B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118039164B (zh) * | 2024-04-11 | 2024-06-07 | 四川大学 | 基于头颅侧位片的颞下颌关节骨数据处理方法及处理终端 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108025155A (zh) * | 2015-09-23 | 2018-05-11 | 瑞思迈有限公司 | 包括具有不同厚度的密封形成结构的患者接口 |
| CN108136149A (zh) * | 2015-09-23 | 2018-06-08 | 瑞思迈有限公司 | 包括具有不同厚度的密封形成结构的患者接口 |
| CN110895818A (zh) * | 2019-10-16 | 2020-03-20 | 南京大学 | 一种基于深度学习的膝关节轮廓特征提取方法和装置 |
| CN113177915A (zh) * | 2021-04-20 | 2021-07-27 | 中国科学院高能物理研究所 | 一种胫骨平台后倾角测量方法及装置、存储介质 |
| CN114017347A (zh) * | 2021-11-27 | 2022-02-08 | 长沙中联泵业股份有限公司 | 一种取消平衡装置的节段式多级离心泵 |
| CN115515614A (zh) * | 2020-02-06 | 2022-12-23 | 尤尼根公司 | 用于改进关节健康和治疗关节炎的包含山姜属和其它植物提取物的组合物 |
| CN115530762A (zh) * | 2022-10-11 | 2022-12-30 | 南京瑞德医疗科技有限公司 | 一种cbct颞下颌关节自动定位方法和*** |
| CN115578406A (zh) * | 2022-12-13 | 2023-01-06 | 四川大学 | 基于上下文融合机制的cbct颌骨区域分割方法及*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8545569B2 (en) * | 2001-05-25 | 2013-10-01 | Conformis, Inc. | Patient selectable knee arthroplasty devices |
| JP2008109370A (ja) * | 2006-10-25 | 2008-05-08 | Sanyo Electric Co Ltd | 画像補正装置及び方法並びに撮像装置 |
-
2023
- 2023-04-18 CN CN202310411589.3A patent/CN116152238B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108025155A (zh) * | 2015-09-23 | 2018-05-11 | 瑞思迈有限公司 | 包括具有不同厚度的密封形成结构的患者接口 |
| CN108136149A (zh) * | 2015-09-23 | 2018-06-08 | 瑞思迈有限公司 | 包括具有不同厚度的密封形成结构的患者接口 |
| CN110895818A (zh) * | 2019-10-16 | 2020-03-20 | 南京大学 | 一种基于深度学习的膝关节轮廓特征提取方法和装置 |
| CN115515614A (zh) * | 2020-02-06 | 2022-12-23 | 尤尼根公司 | 用于改进关节健康和治疗关节炎的包含山姜属和其它植物提取物的组合物 |
| CN113177915A (zh) * | 2021-04-20 | 2021-07-27 | 中国科学院高能物理研究所 | 一种胫骨平台后倾角测量方法及装置、存储介质 |
| CN114017347A (zh) * | 2021-11-27 | 2022-02-08 | 长沙中联泵业股份有限公司 | 一种取消平衡装置的节段式多级离心泵 |
| CN115530762A (zh) * | 2022-10-11 | 2022-12-30 | 南京瑞德医疗科技有限公司 | 一种cbct颞下颌关节自动定位方法和*** |
| CN115578406A (zh) * | 2022-12-13 | 2023-01-06 | 四川大学 | 基于上下文融合机制的cbct颌骨区域分割方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116152238A (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11464467B2 (en) | Automated tooth localization, enumeration, and diagnostic system and method | |
| US11443423B2 (en) | System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex | |
| CN103607951B (zh) | 图像处理装置及图像处理方法 | |
| WO2022095612A1 (zh) | 一种核磁共振图像中颈动脉血管中心线的提取方法及*** | |
| CN107563383A (zh) | 一种医学影像辅助诊断及半监督样本生成*** | |
| US20220084267A1 (en) | Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports | |
| CN116152238B (zh) | 一种基于深度学习的颞下颌关节间隙面积自动测量方法 | |
| CN111815766B (zh) | 基于2d-dsa图像重建血管三维模型处理方法及*** | |
| Sheng et al. | Transformer-based deep learning network for tooth segmentation on panoramic radiographs | |
| CN111402254A (zh) | 一种ct图像肺结节高性能自动检测方法及装置 | |
| CN107767362A (zh) | 一种基于深度学习的肺癌早筛装置 | |
| CN110782427A (zh) | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 | |
| CN114638852A (zh) | 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质 | |
| Michel et al. | Online brain attenuation correction in PET: towards a fully automated data handling in a clinical environment | |
| CN104000618A (zh) | 一种用环真光子数门控方法进行呼吸运动门控校正技术 | |
| CN115375560B (zh) | 一种3d-dsa图像的重建方法及*** | |
| CN116152271A (zh) | 基于边界监督和多种注意力的cbct牙齿实例分割方法 | |
| US20070053570A1 (en) | Image processing method, and computer-readable recording medium in which image processing program is recorded | |
| Chen et al. | Automatic and visualized grading of dental caries using deep learning on panoramic radiographs | |
| CN112734740A (zh) | 训练目标检测模型的方法、目标检测的方法及其装置 | |
| CN117830317B (zh) | 基于图像处理的正畸自动检测方法及*** | |
| Cheng et al. | Sdct-gan: reconstructing CT from biplanar x-rays with self-driven generative adversarial networks | |
| CN116721309B (zh) | 口腔语义模型训练方法及口腔锥形束ct图像优化方法 | |
| Li et al. | Dental detection and classification of yolov3-spp based on convolutional block attention module | |
| US20230252748A1 (en) | System and Method for a Patch-Loaded Multi-Planar Reconstruction (MPR) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |