CN113470045A - 一种基于超像素统计特征和图注意力网络的口腔cbct图像分割方法 - Google Patents

一种基于超像素统计特征和图注意力网络的口腔cbct图像分割方法 Download PDF

Info

Publication number
CN113470045A
CN113470045A CN202110666189.8A CN202110666189A CN113470045A CN 113470045 A CN113470045 A CN 113470045A CN 202110666189 A CN202110666189 A CN 202110666189A CN 113470045 A CN113470045 A CN 113470045A
Authority
CN
China
Prior art keywords
pixel
super
superpixel
value
cbct image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110666189.8A
Other languages
English (en)
Other versions
CN113470045B (zh
Inventor
徐新黎
邢少恒
龙海霞
吴福理
管秋
杨旭华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110666189.8A priority Critical patent/CN113470045B/zh
Publication of CN113470045A publication Critical patent/CN113470045A/zh
Application granted granted Critical
Publication of CN113470045B publication Critical patent/CN113470045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于超像素统计特征和图注意力网络的口腔CBCT图像分割方法，包括以下步骤：步骤一：CT值初始化；步骤二：超像素分割；步骤三：超像素构图与真值标签设定；步骤四：提取超像素统计特征；步骤五：构建图注意力网络模型；步骤六：训练模型；步骤七：CBCT图像分割。本发明提出了一种分割精度高、运行效率高的的口腔CBCT图像分割方法，降低了口腔CBCT图像目标分割任务的数据处理规模，提高了其分割模型的训练速度。

Description

一种基于超像素统计特征和图注意力网络的口腔CBCT图像分 割方法
技术领域
本发明涉及医学图像处理与机器学习领域，特别是指一种面向口腔CBCT的图像分割方法。
背景技术
口腔CBCT图像是牙科医生在牙齿种植时的重要参照，其中的器官分割可用于后续的3D建模及距离测量等手术辅助设计。由于CT设备成像差异、患者器官的病理状况差异等原因，目前口腔CBCT图像中各器官组织分割方法存在精度低、耗时久等问题。2003年Ren等人提出了超像素，所谓超像素，是指具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块。超像素分割是图像处理的重要预处理阶段，可以有效减少后续处理的基本单元数目，提升分割算法的性能和效率。在口腔CBCT图像中，应用超像素分割可以有效发现各器官之间的边界信息、降低分割时间成本。
作为医学图像处理的重要任务之一，医学图像分割是视觉深度学习中一个被广泛研究的方向。传统的医学图像分割方法有阈值法、区域生长和分水岭算法等，基于梯度或灰度的方法；基于深度学习的U-net方法，通过跳级连接和全卷积网络，可以很好地结合图像的低层结构特征和高层语义特征，然而和其他深度学习方法一样，这类方法以像素为基本单位，以卷积层和池化层的堆叠为网络结构，随着深度的增加，训练网络模型的时间也成倍增长，对数据分布非常敏感。超像素分割得到的超像素，可以很好地贴合物体真实边缘，以口腔CBCT图像的超像素结果为图像分割的基本单位，对超像素进行正确地分类以实现图像分割，大大减少了图像分割的时间和复杂度。
发明内容
为了实现口腔CBCT图像的分割，同时提高分割结果的准确度和运行效率，，本发明提出了一种基于超像素统计特征和图注意力网络的口腔CBCT图像分割方法，以CBCT图像的超像素分割为基础，使用图注意力网络，将医学图像分割任务转化为超像素的分类任务，在不损失精度的条件下可以大大缩短网络的训练时间。
本发明解决其技术问题所采用的技术方案是：
一种基于超像素统计特征和图注意力网络的口腔CBCT图像分割方法，包括如下步骤：
步骤一：输入口腔CBCT图像的超像素目标数目K，根据窗宽WW、窗位WL对像素CT值l进行初始化变换：
Figure BDA0003116912100000021
步骤二：对口腔图像各像素点的CT值l、边缘强度值e和像素空间坐标(x,y)进行归一化映射到区间[0,1]，其中e使用Canny算法未经非极大值抑制时的结果，将各像素点表示为一个四维向量pxy＝[l,e,x,y]，用基于边缘概率的超像素生成算法将口腔CBCT图像划分为K个超像素；
步骤三：将K个超像素表征为图中的K个结点，根据超像素之间的邻接关系构建图的拓扑关系，若超像素Si在图像平面上与超像素Sk接壤，即两超像素的边缘像素之间有相邻像素对存在，则视为这两个超像素为直接邻居，为Sk分配真值标签
Figure BDA0003116912100000022
Figure BDA0003116912100000023
其中gt为待分割前景部分的真值区域，||Sk||为超像素Sk内像素点的数目，||Sk∩gt||为超像素Sk和真值前景gt的交集内像素点数目，
Figure BDA0003116912100000024
为阈值；
步骤四：提取超像素节点的统计特征，将每个超像素Sk的特征表示为一个8维的特征向量：
Figure BDA0003116912100000025
Figure BDA0003116912100000026
其中
Figure BDA0003116912100000027
为超像素Sk的平均灰度值，
Figure BDA0003116912100000028
为超像素Sk的内部灰度值方差、
Figure BDA0003116912100000029
为超像素Sk的显著性、
Figure BDA00031169121000000210
为超像素Sk的形心横坐标、
Figure BDA00031169121000000211
为超像素Sk的形心纵坐标、xmin为超像素Sk的最小横坐标、ymin为超像素Sk的最小纵坐标、
Figure BDA0003116912100000031
为超像素Sk包含的像素数量，
Figure BDA0003116912100000032
为超像素Sl的平均灰度值；
步骤五：构建基于超像素的图注意力网络模型，图注意力模块采用L层(L>2)，设置中间层为k1个注意力头、输出层为k2个注意力头，其中k1<k2，根据超像素的真实值集合ytrue和预测值集合ypred，计算损失函数Loss并更新网络模型参数：
Figure BDA0003116912100000033
其中||ypred∩ytrue||为真实值与预测值交集的元素数量，||ypred||为预测集合的元素数量，||ytrue||为真实值集合的元素数量；
步骤六：设置最大迭代步数、学习率和最小批数，用有标签的超像素节点图数据训练基于超像素的图注意力网络，采用5折交叉验证，直到损失函数Loss收敛或达到最大迭代步数；
步骤七：将口腔CBCT图像输入训练好的基于超像素的图注意力网络，预测超像素节点的类别，得到口腔CBCT图像分割结果。
本发明的技术构思为：将口腔CBCT图像的超像素表示为图节点，并以相邻关系构建图的拓扑结构，提取超像素的平均灰度值、内部灰度值方差、显著性、形心坐标等统计特征，训练图注意力网络学习性质不同超像素之间的连接权重，从而完成超像素的分类预测，实现口腔CBCT图像中上颌窦等兴趣区域分割。
本发明的有益效果为：以边缘贴合度良好的超像素为图像分割的基本单位，提出了一种分割精度高、运行效率高的的口腔CBCT图像分割方法，降低了口腔CBCT图像目标分割任务的数据处理规模，提高了其分割模型的训练速度。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图对本发明做进一步说明。
参照图1，一种基于超像素统计特征和图注意力网络的口腔CBCT图像分割方法，包括如下步骤：
步骤一：输入口腔CBCT图像的超像素目标数目K，根据窗宽WW、窗位WL对像素CT值l进行初始化变换：
Figure BDA0003116912100000041
步骤二：对口腔图像各像素点的CT值l、边缘强度值e和像素空间坐标(x,y)进行归一化映射到区间[0,1]，其中e使用Canny算法未经非极大值抑制时的结果，将各像素点表示为一个四维向量pxy＝[l,e,x,y]，用基于边缘概率的超像素生成算法将口腔CBCT图像划分为K个超像素；
步骤三：将K个超像素表征为图中的K个结点，根据超像素之间的邻接关系构建图的拓扑关系，若超像素Si在图像平面上与超像素Sk接壤，即两超像素的边缘像素之间有相邻像素对存在，则视为这两个超像素为直接邻居，为Sk分配真值标签
Figure BDA0003116912100000042
Figure BDA0003116912100000043
其中gt为待分割前景部分的真值区域，||Sk||为超像素Sk内像素点的数目，||Sk∩gt||为超像素Sk和真值前景gt的交集内像素点数目，
Figure BDA0003116912100000044
为阈值；
步骤四：提取超像素节点的统计特征，将每个超像素Sk的特征表示为一个8维的特征向量：
Figure BDA0003116912100000045
Figure BDA0003116912100000046
其中
Figure BDA0003116912100000047
为超像素Sk的平均灰度值，
Figure BDA0003116912100000048
为超像素Sk的内部灰度值方差、
Figure BDA0003116912100000049
为超像素Sk的显著性、
Figure BDA00031169121000000410
为超像素Sk的形心横坐标、
Figure BDA00031169121000000411
为超像素Sk的形心纵坐标、xmin为超像素Sk的最小横坐标、ymin为超像素Sk的最小纵坐标、
Figure BDA00031169121000000412
为超像素Sk包含的像素数量，
Figure BDA00031169121000000413
为超像素Sl的平均灰度值；
步骤五：构建基于超像素的图注意力网络模型，图注意力模块采用L层(L>2)，设置中间层为k1个注意力头、输出层为k2个注意力头，其中k1<k2，根据超像素的真实值集合ytrue和预测值集合ypred，计算损失函数Loss并更新网络模型参数：
Figure BDA0003116912100000051
其中||ypred∩ytrue||为真实值与预测值交集的元素数量，||ypred||为预测集合的元素和，||ytrue||为真实值集合的元素数量；
步骤六：设置最大迭代步数、学习率和最小批数，用有标签的超像素节点图数据训练基于超像素的图注意力网络，采用5折交叉验证，直到损失函数Loss收敛或达到最大迭代步数；
步骤七：将口腔CBCT图像输入训练好的基于超像素的图注意力网络，预测超像素节点的类别，得到口腔CBCT图像分割结果。
如上所述，本专利实施的具体实现步骤使本发明更加清晰。在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (1)

1.一种基于超像素统计特征和图注意力网络的口腔CBCT图像分割方法，其特征在于：所述方法包括如下步骤：
步骤一：输入口腔CBCT图像的超像素目标数目K，根据窗宽WW、窗位WL对像素CT值l进行初始化变换：
Figure FDA0003116912090000011
步骤二：对口腔图像各像素点的CT值l、边缘强度值e和像素空间坐标(x,y)进行归一化映射到区间[0,1]，其中e使用Canny算法未经非极大值抑制时的结果，将各像素点表示为一个四维向量pxy＝[l,e,x,y]，用基于边缘概率的超像素生成算法将口腔CBCT图像划分为K个超像素；
步骤三：将K个超像素表征为图中的K个结点，根据超像素之间的邻接关系构建图的拓扑关系，若超像素Si在图像平面上与超像素Sk接壤，即两超像素的边缘像素之间有相邻像素对存在，则视为这两个超像素为直接邻居，为Sk分配真值标签
Figure FDA0003116912090000012
Figure FDA0003116912090000013
其中gt为待分割前景部分的真值区域，||Sk||为超像素Sk内像素点的数目，||Sk∩gt||为超像素Sk和真值前景gt的交集内像素点数目，
Figure FDA0003116912090000014
为阈值；
步骤四：提取超像素节点的统计特征，将每个超像素Sk的特征表示为一个8维的特征向量：
Figure FDA0003116912090000015
Figure FDA0003116912090000016
其中
Figure FDA0003116912090000017
为超像素Sk的平均灰度值，
Figure FDA0003116912090000018
为超像素Sk的内部灰度值方差、
Figure FDA0003116912090000019
为超像素Sk的显著性、
Figure FDA00031169120900000110
为超像素Sk的形心横坐标、
Figure FDA00031169120900000111
为超像素Sk的形心纵坐标、xmin为超像素Sk的最小横坐标、ymin为超像素Sk的最小纵坐标、
Figure FDA00031169120900000112
为超像素Sk包含的像素数量，
Figure FDA00031169120900000113
为超像素Sl的平均灰度值；
步骤五：构建基于超像素的图注意力网络模型，图注意力模块采用L层(L>2)，设置中间层为k1个注意力头、输出层为k2个注意力头，其中k1<k2，根据超像素的真实值集合ytrue和预测值集合ypred，计算损失函数Loss并更新网络模型参数：
Figure FDA0003116912090000021
其中||ypred∩ytrue||为真实值与预测值交集的元素数量，||ypred||为预测集合的元素数量，||ytrue||为真实值集合的元素数量；
步骤六：设置最大迭代步数、学习率和最小批数，用有标签的超像素节点图数据训练基于超像素的图注意力网络，采用5折交叉验证，直到损失函数Loss收敛或达到最大迭代步数；
步骤七：将口腔CBCT图像输入训练好的基于超像素的图注意力网络，预测超像素节点的类别，得到口腔CBCT图像分割结果。
CN202110666189.8A 2021-06-16 2021-06-16 一种基于超像素统计特征和图注意力网络的口腔cbct图像分割方法 Active CN113470045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110666189.8A CN113470045B (zh) 2021-06-16 2021-06-16 一种基于超像素统计特征和图注意力网络的口腔cbct图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110666189.8A CN113470045B (zh) 2021-06-16 2021-06-16 一种基于超像素统计特征和图注意力网络的口腔cbct图像分割方法

Publications (2)

Publication Number Publication Date
CN113470045A true CN113470045A (zh) 2021-10-01
CN113470045B CN113470045B (zh) 2024-04-16

Family

ID=77870255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110666189.8A Active CN113470045B (zh) 2021-06-16 2021-06-16 一种基于超像素统计特征和图注意力网络的口腔cbct图像分割方法

Country Status (1)

Country Link
CN (1) CN113470045B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741341A (zh) * 2018-12-20 2019-05-10 华东师范大学 一种基于超像素和长短时记忆网络的图像分割方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN109875863A (zh) * 2019-03-14 2019-06-14 河海大学常州校区 基于双目视觉与脑力影像训练的头戴式vr视力提升***
CN110717956A (zh) * 2019-09-30 2020-01-21 重庆大学 一种有限角投影超像素引导的l0范数最优化重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN109741341A (zh) * 2018-12-20 2019-05-10 华东师范大学 一种基于超像素和长短时记忆网络的图像分割方法
CN109875863A (zh) * 2019-03-14 2019-06-14 河海大学常州校区 基于双目视觉与脑力影像训练的头戴式vr视力提升***
CN110717956A (zh) * 2019-09-30 2020-01-21 重庆大学 一种有限角投影超像素引导的l0范数最优化重建方法

Also Published As

Publication number Publication date
CN113470045B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
Masood et al. A survey on medical image segmentation
CN109741341B (zh) 一种基于超像素和长短时记忆网络的图像分割方法
JP5771442B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN113313810B (zh) 一种透明物体的6d姿态参数计算方法
CN112419344B (zh) 一种基于Chan-Vese模型的无监督图像分割方法
CN112634149B (zh) 一种基于图卷积网络的点云去噪方法
CN110853064B (zh) 一种基于最小模糊散度的图像协同分割方法
JP2006302291A (ja) 画像データセット内のオブジェクトをセグメント化する方法及びシステム
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN111242956A (zh) 基于U-Net超声胎心和胎肺深度学习联合分割方法
CN114170244A (zh) 一种基于级联神经网络结构的脑胶质瘤分割方法
CN111815593B (zh) 基于对抗学习的肺结节域适应分割方法、装置及存储介质
Reddy et al. A hybrid K-means algorithm improving low-density map-based medical image segmentation with density modification
CN112419330B (zh) 一种基于空间相对位置先验的颞骨关键解剖结构自动定位方法
CN114049531A (zh) 一种基于弱监督人体协同分割的行人再识别方法
CN112348826B (zh) 一种基于测地线距离和V-net的交互式肝脏分割方法
CN113470054A (zh) 一种基于边缘概率的口腔cbct超像素生成方法
CN112801970A (zh) 一种乳腺超声图像肿瘤分割方法
CN113470045B (zh) 一种基于超像素统计特征和图注意力网络的口腔cbct图像分割方法
Ibánez et al. Genetic approaches for topological active nets optimization
Ghosh et al. Robust simultaneous registration and segmentation with sparse error reconstruction
CN116109656A (zh) 一种基于无监督学习的交互式图像分割方法
CN112785608B (zh) 一种基于自适应参数改进snic的医学图像分割方法
CN114913164A (zh) 基于超像素的两阶段弱监督新冠病灶分割方法
CN114445618A (zh) 一种跨模态交互rgb-d图像显著区域检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant