CN113470046A - 一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法 - Google Patents
一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法 Download PDFInfo
- Publication number
- CN113470046A CN113470046A CN202110667134.9A CN202110667134A CN113470046A CN 113470046 A CN113470046 A CN 113470046A CN 202110667134 A CN202110667134 A CN 202110667134A CN 113470046 A CN113470046 A CN 113470046A
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- medical image
- graph
- true
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000005070 sampling Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 title abstract description 23
- 238000003709 image segmentation Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 230000011157 brain segmentation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007408 cone-beam computed tomography Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法,包括以下步骤:步骤一:超像素分割;步骤二:提取超像素灰度纹理采样特征;步骤三:超像素构图;步骤四:超像素真值标签设定;步骤五:训练多头注意力网络模型;步骤六:超像素分类与图像分割。本发明提出了一种分割精度高、运行效率高的医学图像图注意力网络分割方法,降低了医学图像分割任务的数据处理规模,提高了其分割模型的训练速度。
Description
技术领域
本发明涉及医学图像处理与机器学习领域,特别是指一种面向医学图像的分割方法。
背景技术
随着深度学习在图像处理领域的广泛应用,已有不少深度学习方法应用于肺部图像分割、胰腺器官分割、血液细胞图像分类等医学图像领域,其中最为流行的是一种端到端训练的具有编码器和解码器结构的神经网络模型,例如全卷积网络(FCN),U-Net,Deeplab等。其中U-net方法通过跳级连接和全卷积网络,可以很好地结合图像的低层结构特征和高层语义特征,但和其它深度学习方法一样,都是以像素为基本单位,以卷积层和池化层的堆叠为网络结构,随着深度的增加,训练网络模型的时间也成倍增长,而且对训练数据分布非常敏感。超像素分割是图像处理的重要预处理阶段,可以有效减少后续处理的基本单元数目,提升分割算法的性能和效率。在医学图像中,应用超像素分割可以有效发现各器官之间的边界信息、降低分割时间成本。超像素分割得到的超像素,可以很好地贴合物体真实边缘,其可达分割精度表明了对超像素进行正确分类可以达到的分割精度。
很多医学影像,如口腔CBCT影像和肺部CT影响,可以用天然的图结构来建模。目前已经有不少图神经网络应用于医学影像,包括图像分割、手术介入、图像配准、多模态融合、疾病预测、大型医学图像分析、脑分割等一些研究,其中最常用的是图卷积神经网络(GCN)。图注意力网络GAT的聚合机制与GCN类似,但是注意力系数的计算只与节点的邻接节点有关,与整图结构无关,因此图注意力网络可以用来做归纳学习任务。对于图像来说,经过超像素生成算法生成的超像素蕴含了图像的局部边缘信息,但其形状是不规则的,无法直接将其直接应用到传统的图像的卷积网络中,而超像素内部像素点具有比较强的统一性,超像素外部之间由于颜色边缘或大小区别较大,比较适合表示为图数据,进而可以采用GAT来完成超像素节点的分类任务。
发明内容
为了实现基于超像素的医学图像分割,同时提高分割结果的准确度和运行效率,本发明提出了一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法,以医学图像的超像素为基础,提取超像素的灰度采样特征与纹理特征,使用图注意力网络实现超像素节点的分类,在不损失精度的条件下可以大大缩短网络的训练时间。
本发明解决其技术问题所采用的技术方案是:
一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法,包括如下步骤:
步骤一:将医学图像I的各个像素点表示为一个四维向量pxy=[l,e,x,y],把CT像素值l、边缘强度值e和像素空间坐标(x,y)分别进行归一化映射到区间[0,1],e使用Canny算法未经非极大值抑制时的结果,设定医学图像的超像素目标数目K,用基于边缘概率的超像素生成算法将医学图像I划分为K个超像素;
步骤二:提取超像素灰度采样特征与纹理特征,对任一超像素Sk内各像素点的灰度值进行降序排序,并对其进行均匀采样,将Sk划分为m份,每份含||Sk||/m个像素点,||Sk||为超像素Sk内像素点的数目,同时提取超像素区域灰度共生矩阵GLCM在[0,π/4,π/2,3π/4]四个方向上特征,其中每个方向上计算5个能代表区域纹理的特征,将超像素Sk转化为灰度纹理特征表示:
Sk=(g1,...,gi,...,gm,con,cor,dis,hmg,eng),
其中gi为超像素Sk第i份内各像素点的灰度平均值,con、cor、dis、hmg、eng分别为GLCM在四个方向上的对比度、互相关系数、相异度、同质性和能量;
步骤三:根据超像素的邻接关系,构建出超像素节点图,用图G=(V,E)表示,V和E分别为由超像素特征构成的节点集和超像素邻接关系构成的边集;
步骤四:为超像素节点图G的每个超像素Sk分配真值标签,如果Sk和真值前景的交集与超像素面积相比大于阈值,则将Sk的标签置为1,反之则将Sk的标签置为0,其中阈值不小于0.5;
步骤五:将有标签的超像素节点图G输入多头的图注意力网络进行训练,直到损失函数Loss收敛或达到最大迭代步数,其中图注意力模块采用L层,L>2,设置中间层为k1个注意力头、输出层为k2个注意力头,其中k1<k2,网络更新参数时的损失函数Loss为
其中ytrue为真实值的集合,ypred为预测值的集合,||ypred∩ytrue||为真实值与预测值交集的元素数目,||ypred||为预测集合的元素数目,||ytrue||为真实值集合的元素数目;
步骤六:将待分割的医学图像输入训练好的基于超像素灰度采样特征的多头图注意力网络,实现超像素节点的分类,得到医学图像分割结果。
本发明的技术构思为:提取医学图像的超像素灰度纹理采样特征,将医学图像超像素表示为图节点,并以相邻关系为图的拓扑结构,利用图注意力网络GAT学习不同超像素之间的连接权重,预测超像素节点的分类,实现医学图像兴趣区域的分割。
本发明的有益效果为:以边缘贴合度良好的超像素为医学图像分割的基本单位,提出了一种分割精度高、运行效率高的医学图像图注意力网络分割方法,降低了医学图像分割任务的数据处理规模,提高了其分割模型的训练速度。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图对本发明做进一步说明。
参照图1,一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法,包括如下步骤:
步骤一:将医学图像I的各个像素点表示为一个四维向量pxy=[l,e,x,y],把CT像素值l、边缘强度值e和像素空间坐标(x,y)分别进行归一化映射到区间[0,1],e使用Canny算法未经非极大值抑制时的结果,设定医学图像的超像素目标数目K,用基于边缘概率的超像素生成算法将医学图像I划分为K个超像素;
步骤二:提取超像素灰度采样特征与纹理特征,对任一超像素Sk内各像素点的灰度值进行降序排序,并对其进行均匀采样,将Sk划分为m份,每份含||Sk||/m个像素点,||Sk||为超像素Sk内像素点的数目,并提取超像素区域灰度共生矩阵GLCM在[0,π/4,π/2,3π/4]四个方向上特征,其中每个方向上计算5个能代表区域纹理的特征,将超像素Sk转化为灰度纹理特征表示:
Sk=(g1,...,gi,…,gm,con,cor,dis,hmg,eng),
其中gi为超像素Sk第i份内各像素点的灰度平均值,con、cor、dis、hmg、eng分别为GLCM在四个方向上的对比度、互相关系数、相异度、同质性和能量;
步骤三:根据超像素的邻接关系,构建出超像素节点图,用图G=(V,E)表示,V和E分别为由超像素特征构成的节点集和超像素邻接关系构成的边集;
步骤四:为超像素节点图G的每个超像素Sk分配真值标签,如果Sk和真值前景的交集与超像素面积相比大于阈值,则将Sk的标签置为1,反之则将Sk的标签置为0,其中阈值不小于0.5;
步骤五:将有标签的超像素节点图G输入多头的图注意力网络进行训练,直到损失函数Loss收敛或达到最大迭代步数,其中图注意力模块采用L层,L>2,设置中间层为k1个注意力头、输出层为k2个注意力头,其中k1<k2,网络更新参数时的损失函数Loss为
其中ytrue为真实值的集合,ypred为预测值的集合,||ypred∩ytrue||为真实值与预测值交集的元素数目,||ypred||为预测集合的元素数目,||ytrue||为真实值集合的元素数目;
步骤六:将待分割的医学图像输入训练好的基于超像素灰度采样特征的多头图注意力网络,实现超像素节点的分类,得到医学图像分割结果。
本实施例中,提取医学图像的超像素灰度纹理采样特征,将医学图像超像素表示为图节点,并以相邻关系为图的拓扑结构,利用图注意力网络GAT学习不同超像素之间的连接权重,预测超像素节点的分类,实现医学图像兴趣区域的分割。
如上所述,本专利实施的具体实现步骤使本发明更加清晰。在本发明的精神和权利要求的保护范围内,对本发明做出的任何修改和改变,都落入本发明的保护范围。
Claims (1)
1.一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法,其特征在于:所述方法包括如下步骤:
步骤一:将医学图像I的各个像素点表示为一个四维向量pxy=[l,e,x,y],把CT像素值l、边缘强度值e和像素空间坐标(x,y)分别进行归一化映射到区间[0,1],e使用Canny算法未经非极大值抑制时的结果,设定医学图像的超像素目标数目K,用基于边缘概率的超像素生成算法将医学图像I划分为K个超像素;
步骤二:提取超像素灰度采样特征与纹理特征,对任一超像素Sk内各像素点的灰度值进行降序排序,并对其进行均匀采样,将Sk划分为m份,每份含||Sk||/m个像素点,||Sk||为超像素Sk内像素点的数目,并提取超像素区域灰度共生矩阵GLCM在[0,π/4,π/2,3π/4]四个方向上特征,其中每个方向上计算5个能代表区域纹理的特征,将超像素Sk转化为灰度纹理特征表示:
Sk=(g1,...,gi,…,gm,con,cor,dis,hmg,eng),
其中gi为超像素Sk第i份内各像素点的灰度平均值,con、cor、dis、hmg、eng分别为GLCM在四个方向上的对比度、互相关系数、相异度、同质性和能量;
步骤三:根据超像素的邻接关系,构建出超像素节点图,用图G=(V,E)表示,V和E分别为由超像素特征构成的节点集和超像素邻接关系构成的边集;
步骤四:为超像素节点图G的每个超像素Sk分配真值标签,如果Sk和真值前景的交集与超像素面积相比大于阈值,则将Sk的标签置为1,反之则将Sk的标签置为0,其中阈值不小于0.5;
步骤五:将有标签的超像素节点图G输入多头的图注意力网络进行训练,直到损失函数Loss收敛或达到最大迭代步数,其中图注意力模块采用L层,L>2,设置中间层为k1个注意力头、输出层为k2个注意力头,其中k1<k2,网络更新参数时的损失函数Loss为
其中ytrue为真实值的集合,ypred为预测值的集合,||ypred∩ytrue||为真实值与预测值交集的元素和,||ypred||为预测集合的元素和,||ytrue||为真实值集合的元素和;
步骤六:将待分割的医学图像输入训练好的基于超像素灰度采样特征的多头图注意力网络,实现超像素节点的分类,得到医学图像分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110667134.9A CN113470046B (zh) | 2021-06-16 | 2021-06-16 | 一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110667134.9A CN113470046B (zh) | 2021-06-16 | 2021-06-16 | 一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113470046A true CN113470046A (zh) | 2021-10-01 |
CN113470046B CN113470046B (zh) | 2024-04-16 |
Family
ID=77870069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110667134.9A Active CN113470046B (zh) | 2021-06-16 | 2021-06-16 | 一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113470046B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
CN109741341A (zh) * | 2018-12-20 | 2019-05-10 | 华东师范大学 | 一种基于超像素和长短时记忆网络的图像分割方法 |
CN110414377A (zh) * | 2019-07-09 | 2019-11-05 | 武汉科技大学 | 一种基于尺度注意力网络的遥感图像场景分类方法 |
WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
-
2021
- 2021-06-16 CN CN202110667134.9A patent/CN113470046B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
CN109741341A (zh) * | 2018-12-20 | 2019-05-10 | 华东师范大学 | 一种基于超像素和长短时记忆网络的图像分割方法 |
CN110414377A (zh) * | 2019-07-09 | 2019-11-05 | 武汉科技大学 | 一种基于尺度注意力网络的遥感图像场景分类方法 |
WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
Non-Patent Citations (1)
Title |
---|
王海鸥;刘慧;郭强;邓凯;张彩明;: "面向医学图像分割的超像素U-Net网络设计", 计算机辅助设计与图形学学报, no. 06, 15 June 2019 (2019-06-15), pages 141 - 151 * |
Also Published As
Publication number | Publication date |
---|---|
CN113470046B (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
CN108648233B (zh) | 一种基于深度学习的目标识别与抓取定位方法 | |
CN108510532B (zh) | 基于深度卷积gan的光学和sar图像配准方法 | |
CN111798475A (zh) | 一种基于点云深度学习的室内环境3d语义地图构建方法 | |
CN107180426B (zh) | 基于可迁移的多模型集成的计算机辅助肺结节分类装置 | |
CN109410321A (zh) | 基于卷积神经网络的三维重建方法 | |
CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
CN111401452B (zh) | 一种基于偏微分算子的等变卷积网络模型的图像分类方法 | |
CN112837344B (zh) | 一种基于条件对抗生成孪生网络的目标跟踪方法 | |
Morris | A pyramid CNN for dense-leaves segmentation | |
CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN110598564B (zh) | 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法 | |
CN110443257B (zh) | 一种基于主动学习的显著性检测方法 | |
CN110363178B (zh) | 基于局部和全局深度特征嵌入的机载激光点云分类方法 | |
CN113011288A (zh) | 一种基于Mask RCNN算法的遥感建筑物检测方法 | |
CN110853070A (zh) | 基于显著性与Grabcut的水下海参图像分割方法 | |
CN114492619A (zh) | 一种基于统计和凹凸性的点云数据集构建方法及装置 | |
CN114581451A (zh) | 一种基于散射图神经网络的大脑磁共振图像分割方法 | |
CN112241959A (zh) | 基于超像素的注意力机制生成语义分割方法 | |
CN114863266A (zh) | 一种基于深度时空模式交互网络的土地利用分类方法 | |
CN111860668B (zh) | 一种针对原始3d点云处理的深度卷积网络的点云识别方法 | |
CN112819832A (zh) | 基于激光点云的城市场景语义分割细粒度边界提取方法 | |
CN108921852B (zh) | 基于视差与平面拟合的双分支室外非结构化地形分割网络 | |
CN116386042A (zh) | 一种基于三维池化空间注意力机制的点云语义分割模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |