CN115205300B - 基于空洞卷积和语义融合的眼底血管图像分割方法与*** - Google Patents
基于空洞卷积和语义融合的眼底血管图像分割方法与*** Download PDFInfo
- Publication number
- CN115205300B CN115205300B CN202211134660.XA CN202211134660A CN115205300B CN 115205300 B CN115205300 B CN 115205300B CN 202211134660 A CN202211134660 A CN 202211134660A CN 115205300 B CN115205300 B CN 115205300B
- Authority
- CN
- China
- Prior art keywords
- image
- blood vessel
- feature
- fundus blood
- vessel image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 116
- 230000004927 fusion Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003709 image segmentation Methods 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 23
- 238000013461 design Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 16
- 239000000126 substance Substances 0.000 claims description 16
- 230000005284 excitation Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 238000001125 extrusion Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 230000006872 improvement Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims 1
- 238000003759 clinical diagnosis Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 101150064138 MAP1 gene Proteins 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 101150077939 mapA gene Proteins 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提出一种基于空洞卷积和语义融合的眼底血管图像分割方法与***,包括:获取眼底血管图像数据集,从眼底血管图像数据集中获取眼底血管图像并进行预处理;基于U‑Net模型进行改进以得到改进神经网络;在改进神经网络的跳跃连接部分设计一个多层多尺度空洞卷积结构;在改进神经网络的解码部分设计一个语义融合结构;执行连续三次卷积操作以得到待分割图像,对待分割图像中的像素进行二分类判别,以对眼底血管图像进行分割,并得到一个改进的神经网络模型;根据第一损失函数,对改进的神经网络模型进行辅助训练与测试。本发明能准确有效地对眼底血管图像进行分割,辅助医生的临床诊断工作进而实现高质量的医疗服务。
Description
技术领域
本发明涉及计算机图像技术领域,特别涉及一种基于空洞卷积和语义融合的眼底血管图像分割方法与***。
背景技术
对人体而言,眼睛是全身唯一能在直视下窥见血管和神经的器官,并且视网膜的循环与脑部及冠脉循环有着相同的解剖生理特征。因此,眼底已成为观察心脑血管、眼球等相关疾病非常重要的窗口。然而,由于人工诊断耗时耗力且效率低,因此借助计算机辅助诊断(Computer-aided Diagnosis,CAD)是提高医生工作效率与诊断精度的重要手段。精细、准确的眼底血管图像分割能辅助医生更好地观察上述疾病,进而做出正确的诊断决策。因此,眼底血管图像分割技术具有较强的临床应用价值,能切实提高医疗服务水平,推动医工深度融合。
现有眼底血管图像分割方法大多基于U-Net网络,取得了较好的分割性能,有力地推动了基于CAD的智能诊断发展,但现有工作存在如下弊端:(1)图像特征受限于有限感受野,眼底血管图像中局部特征提取不充分;(2)由于仅采用卷积操作,眼底血管图像中上下文信息偏少,导致不能准确、完整地分割目标血管;(3)解码器中连续上采样不可避免地丢失了一些血管细节信息。为应对上述问题,应尽可能保留图像中血管细节,从而向医生提供直观的临床诊断信息。
基于此,有必要设计出一种先进高效的眼底血管图像分割方法,以实现兼顾全局上下文信息和来自不同感受野的局部特征,同时尽可能减少细节信息丢失,最终提升眼底血管分割精度,向医生提供更为准确完整的分割结果。
发明内容
鉴于上述状况,本发明的主要目的是为了提出一种基于空洞卷积和语义融合的眼底血管图像分割方法与***,以解决上述技术问题。
本发明实施例提出一种基于空洞卷积和语义融合的眼底血管图像分割方法,其中,所述方法包括如下步骤:
步骤一,获取眼底血管图像数据集,从所述眼底血管图像数据集中获取眼底血管图像,并对所述眼底血管图像进行预处理;
步骤二,基于U-Net模型进行改进设计,以得到改进神经网络;
步骤三,在进行改进设计时,在所述改进神经网络的跳跃连接部分设计一个多层多尺度空洞卷积结构,所述多层多尺度空洞卷积结构用于跨越所述改进神经网络的编码部分与解码部分,以保护眼底血管中的细节信息;
步骤四,在所述改进神经网络的解码部分设计一个语义融合结构,所述语义融合结构用于对解码后的多尺度图像特征进行拼接,并构建成对挤压激励模块,根据所述挤压激励模块对拼接后的多尺度图像特征进行关键信息筛选以最终得到多尺度图像特征融合结果;
步骤五,对所述多尺度图像特征融合结果执行连续三次卷积操作以得到待分割图像,对所述待分割图像中的像素进行二分类判别,以对眼底血管图像进行分割,并得到一个改进的神经网络模型;
步骤六,根据第一损失函数,对所述改进的神经网络模型进行辅助训练,以对训练后的神经网络模型进行测试,从而最终完成眼底血管图像的分割与验证;
所述第一损失函数的表达式为:
其中,表示第一损失函数,表示数据总类别数量,表示类别k的真阳值,表示类别k的假阴值,表示像素属于类别k的数量,,表示类别k的几何平均置信度,表示类别k的召回率,表示输入的训练数据在所有类别上的预测最大值分布,表示标签为类别k的样本集,表示训练数据的标签数据,表示训练数据的序号。
所述基于空洞卷积和语义融合的眼底血管图像分割方法,其中,在所述步骤一中,所述眼底血管图像数据集包括STARE数据集、DRIVE数据集以及CHASEDB1数据集;
对所述眼底血管图像进行预处理的方法包括如下步骤:
将所述眼底血管图像的尺寸统一裁剪至512×512,然后进行图像翻转、图像旋转以及图像高斯模糊操作完成预处理。
所述基于空洞卷积和语义融合的眼底血管图像分割方法,其中,在所述步骤三中,所述多层多尺度空洞卷积结构包括上层图像特征、中层图像特征以及下层图像特征;
其中,对上层图像特征、中层图像特征以及下层图像特征执行包含不同尺度卷积率的级联式空洞卷积。
所述基于空洞卷积和语义融合的眼底血管图像分割方法,其中,对上层图像特征、中层图像特征以及下层图像特征执行包含不同尺度卷积率的级联式空洞卷积的方法包括如下步骤:
对所述上层图像特征执行感受野逐步扩张的级联式空洞卷积,经卷积得到上层图像特征对应的空洞卷积特征,再对空洞卷积特征执行最大池化操作,以获得大尺寸图像的局部特征;
将所述中层图像特征对应的眼底血管图像分割成固定大小的图像块,通过扁平化操作对图像块进行矢量化,执行线性映射将矢量化的图像块转换成低维线性嵌入特征;将所述低维线性嵌入特征输入至Transformer模块中连续12个Transformer层中继续执行线性映射,并进行自注意力加权;对所述低维线性嵌入特征添加位置编码,以建模得到眼底血管图像中的长距离依赖关系,并提取得到图像全局特征;
对所述下层图像特征执行感受野逐步扩张的级联式空洞卷积,然后执行双线性插值将所述下层图像特征提升至与所述中层图像特征相同的尺寸,以获得小尺寸图像的局部特征;
将所述大尺寸图像的局部特征、所述图像全局特征以及所述小尺寸图像的局部特征进行相加以完成特征融合。
所述基于空洞卷积和语义融合的眼底血管图像分割方法,其中,对所述中层图像特征进行处理的步骤中,存在如下公式:
所述基于空洞卷积和语义融合的眼底血管图像分割方法,其中,在所述步骤四中,所述语义融合结构对解码后的多尺度图像特征进行拼接的方法包括如下步骤:
其中,所述SE操作包括全局平均池化操作、非线性激活操作以及特征通道加权操作;
所述全局平均池化操作包括如下步骤:
进行全局平均池化运算以得到特征向量m的公式表示为:
所述基于空洞卷积和语义融合的眼底血管图像分割方法,其中,所述非线性激活操作包括如下步骤:
利用两个全连接层对不同通道之间新特征图的相关性进行建模;其中,第一个全连接层在非线性激活后将特征向量m的维度降低到原来的1/r,第二个全连接层将特征向量m维度增加到原始维度,通过sigmoid函数将特征向量m的特征权值归一化为[0,1];
非线性激活操作的公式表示为:
所述基于空洞卷积和语义融合的眼底血管图像分割方法,其中,所述特征通道加权操作包括如下步骤:
本发明还提出一种基于空洞卷积和语义融合的眼底血管图像分割***,其中,所述***包括:
图像获取模块,用于:
获取眼底血管图像数据集,从所述眼底血管图像数据集中获取眼底血管图像,并对所述眼底血管图像进行预处理;
模型改进模块,用于:
基于U-Net模型进行改进设计,以得到改进神经网络;
第一设计模块,用于:
在进行改进设计时,在所述改进神经网络的跳跃连接部分设计一个多层多尺度空洞卷积结构,所述多层多尺度空洞卷积结构用于跨越所述改进神经网络的编码部分与解码部分,以保护眼底血管中的细节信息;
第二设计模块,用于:
在所述改进神经网络的解码部分设计一个语义融合结构,所述语义融合结构用于对解码后的多尺度图像特征进行拼接,并构建成对挤压激励模块,根据所述挤压激励模块对拼接后的多尺度图像特征进行关键信息筛选以最终得到多尺度图像特征融合结果;
图像分割模块,用于:
对所述多尺度图像特征融合结果执行连续三次卷积操作以得到待分割图像,对所述待分割图像中的像素进行二分类判别,以对眼底血管图像进行分割,并得到一个改进的神经网络模型;
辅助训练模块,用于根据第一损失函数,对所述改进的神经网络模型进行辅助训练,以对训练后的神经网络模型进行测试,从而最终完成眼底血管图像的分割与验证;
其中,所述第一损失函数的表达式为:
其中,表示第一损失函数,表示数据总类别数量,表示类别k的真阳值,表示类别k的假阴值,表示像素属于类别k的数量,,表示类别k的几何平均置信度,表示类别k的召回率,表示输入的训练数据在所有类别上的预测最大值分布,表示标签为类别k的样本集,表示训练数据的标签数据,表示训练数据的序号。
本发明提出一种基于空洞卷积和语义融合的眼底血管图像分割方法,具有如下有益效果:
(1)、本发明能准确有效地对眼底血管图像进行分割,辅助医生的临床诊断工作进而实现高质量的医疗服务;
(2)、本发明提出的融合Transformer模块的多层多尺度空洞卷积结构具备高效、轻便以及可移植性强等优点,可将该多层多尺度空洞卷积结构迁移到其它需要逐步扩张图像感受野或需联合全局特征和局部特征的视觉分析任务,如目标检测、区域定位等,以发挥更大作用;
(3)、本发明提出的语义融合结构,具备高效、轻便以及可移植性强等优点,可将该语义融合结构迁移到其它需要进行多尺度图像特征融合或特征精选的视觉分析任务中,如肿瘤图像识别与图像情感分析等,以发挥更大作用;
(4)、从患者角度而言,精准的医学诊疗可缩短患者就诊时间,为提高病症的治愈率创造有利的时间条件,有助于改善人们的生活质量,创造良好的社会效益。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实施例了解到。
附图说明
图1为本发明提出的一种基于空洞卷积和语义融合的眼底血管图像分割方法的流程图;
图2为本发明提出的一种基于空洞卷积和语义融合的眼底血管图像分割方法中各模块细化的结构图;
图3是本发明提出的一种基于空洞卷积和语义融合的眼底血管图像分割方法的模型图;
图4为本发明提出的一种基于空洞卷积和语义融合的眼底血管图像分割***的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
参照下面的描述和附图,将清楚本发明的实施例的这些和其他方面。在这些描述和附图中,具体公开了本发明的实施例中的一些特定实施方式,来表示实施本发明的实施例的原理的一些方式,但是应当理解,本发明的实施例的范围不受此限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1至图3,本发明提出一种基于空洞卷积和语义融合的眼底血管图像分割方法,所述方法包括如下步骤:
S101,获取眼底血管图像数据集,从所述眼底血管图像数据集中获取眼底血管图像,并对所述眼底血管图像进行预处理。
在步骤S101中,眼底血管图像数据集包括STARE数据集、DRIVE数据集以及CHASEDB1数据集。
具体的,对眼底血管图像进行预处理的方法包括如下步骤:
将眼底血管图像的尺寸统一裁剪至512×512,然后进行图像翻转、图像旋转以及图像高斯模糊操作完成预处理,以最终将原眼底血管图像数据集扩充至原数据集的18倍。
S102,基于U-Net模型进行改进设计,以得到改进神经网络。
在具体实施中,应用U-Net模型,编码部分保留其原型,它包括四层连续的下采样操作,每层下采样操作执行连续两次3×3卷积。本发明对U-Net模型的其它部分进行重新改进设计,具体如步骤S103、步骤S104以及步骤S105所述。
S103,在进行改进设计时,在所述改进神经网络的跳跃连接部分设计一个多层多尺度空洞卷积结构,所述多层多尺度空洞卷积结构用于跨越所述改进神经网络的编码部分与解码部分,以保护眼底血管中的细节信息。
在步骤S103中,多层多尺度空洞卷积结构包括上层图像特征、中层图像特征以及下层图像特征。其中,对上层图像特征、中层图像特征以及下层图像特征执行包含不同尺度卷积率的级联式空洞卷积。
具体的,对上层图像特征、中层图像特征以及下层图像特征执行包含不同尺度卷积率的级联式空洞卷积的方法包括如下步骤:
S1031,对上层图像特征执行感受野逐步扩张的级联式空洞卷积,经卷积得到上层图像特征对应的空洞卷积特征,再对空洞卷积特征执行最大池化操作,以获得大尺寸图像的局部特征。
如图2中(a)部分所示,上层图像特征执行级联式空洞卷积的过程,上层图像特征经过3个不同尺度的3×3空洞卷积,空洞卷积率分别为1、(1,3)和(1,3,5)。采用空洞率为1、3、5的空洞卷积逐步级联以获取空洞率为3、9、19的感受野。因此,上层图像的感受野在不断扩大,为准确完整地分割目标血管奠定重要基础。此外,执行级联式空洞卷积得到3个能展示不同感受野的图像特征,将每个图像特征分别与自身进行1×1卷积,再融合相加1×1卷积结果,得到上层图像特征对应的空洞卷积特征。最后,对空洞卷积特征执行最大池化操作,将其缩减至与中层图像特征相同的尺寸,从而获取来自大尺寸图像的局部特征。
S1032,将中层图像特征对应的眼底血管图像分割成固定大小的图像块,通过扁平化操作对图像块进行矢量化,执行线性映射将矢量化的图像块转换成低维线性嵌入特征;将低维线性嵌入特征输入至Transformer模块中连续12个Transformer层中继续执行线性映射,并进行自注意力加权;对低维线性嵌入特征添加位置编码,以建模得到眼底血管图像中的长距离依赖关系,并提取得到图像全局特征。
对所述中层图像特征进行处理的步骤中,存在如下公式:
可以理解的,由于MSA和MLP的使用,Transformer模块可建模眼底血管图像中的长距离依赖关系,进一步提取图像细节并捕获图像全局特征,更好地用于眼底血管分割。最后,经过图像恢复层中的3×3卷积操作将图像特征重塑为其原始大小。
S1033,对所述下层图像特征执行感受野逐步扩张的级联式空洞卷积,然后执行双线性插值将所述下层图像特征提升至与所述中层图像特征相同的尺寸,以获得小尺寸图像的局部特征。
如图2中的(a)部分所示,下层图像特征执行级联式空洞卷积的过程,下层图像特征经过3个不同尺度的3×3空洞卷积,空洞卷积率分别为1、(1,3)和(1,3,5)。采用空洞率为1、3、5的空洞卷积逐步级联以获取空洞率为3 、9、19的感受野。因此,下层图像的感受野在不断扩大,为准确完整地分割目标血管奠定重要基础。
此外,执行级联式空洞卷积得到3个能展示不同感受野的图像特征,将每个图像特征分别与自身进行1×1卷积,再融合相加1×1卷积结果,得到下层图像特征对应的空洞卷积特征。最后,对空洞卷积特征执行双线性插值操作,将其提升至与中层图像特征相同的尺寸,从而获取小尺寸图像的局部特征。
S1034,将大尺寸图像的局部特征、图像全局特征以及小尺寸图像的局部特征进行相加以完成特征融合。
在本步骤中,上层图像特征、中层图像特征以及下层图像特征进行融合的物理含义为:既考虑来自Transformer模块输出的图像全局特征,又考虑来自级联式空洞卷积模块输出的图像局部特征,全局特征与局部特征形成互补,能更全面地刻画眼底血管细节。融合后图像特征的尺寸与原始图像尺寸相同,即跳跃连接两端的输入和输出尺寸相同。
S104,在所述改进神经网络的解码部分设计一个语义融合结构,所述语义融合结构用于对解码后的多尺度图像特征进行拼接,并构建成对挤压激励模块,根据所述挤压激励模块对拼接后的多尺度图像特征进行关键信息筛选以最终得到多尺度图像特征融合结果。
在步骤S104中,所述语义融合结构对解码后的多尺度图像特征进行拼接的方法包括如下步骤:
其中,包含320个特征通道的新特征图在执行第一次SE操作后,可筛选出新特征图中关键的通道信息,初步抑制图像特征中噪声并恢复重要的细节信息;新特征图在执行第二次SE操作后,对特征通道做进一步关键信息筛选,更准确地刻画眼底血管图像中细节信息,以用于后续分割任务。
S1041,全局平均池化操作包括如下步骤:
进行全局平均池化运算以得到特征向量m的公式表示为:
S1042,非线性激活操作包括如下步骤:
利用两个全连接层对不同通道之间新特征图的相关性进行建模;其中,第一个全连接层在非线性激活后将特征向量m的维度降低到原来的1/r,第二个全连接层将特征向量m法人维度增加到原始维度,通过sigmoid函数将特征向量m的特征权值归一化为[0,1];
非线性激活操作的公式表示为:
S1043,特征通道加权操作包括如下步骤:
人类对外部世界的认知是一种层次化结构,即通过不断过滤、筛选以保留最关键信息,且新特征图X中权重非0的通道数较多并包含大量噪声。因此,在DSE模块(挤压激励模块)中设计层次化结构对新特征图进行筛选。如图2中的(c)部分DSE 模块所示:
包含320个通道的新特征图执行第一次SE操作后,根据各通道信息重要性,特征通道被赋予一定权重,权重为0表示相关特征通道对于分割无任何贡献,新特征图中的噪声信息得到一定抑制;继续对经过筛选的特征执行第二次SE操作,原本权重为0的特征通道权重保持不变,而原本权重非0的特征通道被赋予新权重,即包含重要信息的通道权重变得更大,以突出其重要性,而包含次要信息的通道权重变得更小,以降低其重要性,权重非0的通道数变得更少,新特征图中的噪声得到进一步抑制,有利于之后的卷积操作及图像像素二分类判别,为高质量的眼底血管图像分割奠定重要基础。
综上,将高进神经网络解码部分拼接后的多尺度图像特征依次通过包含全局平均池化、非线性激活以及特征通道加权三大操作的DSE模块,以层次化方式实现对特征中关键信息的筛选,并完成多尺度图像特征融合,为眼底图像分割做好准备。
S105,对所述多尺度图像特征融合结果执行连续三次卷积操作以得到待分割图像,对所述待分割图像中的像素进行二分类判别,以对眼底血管图像进行分割,并得到一个改进的神经网络模型。
在具体实施中,将语义融合结构输出的包含320个特征通道的新特征图经过连续的三个卷积层和64个滤波器,提取血管和背景关键特征并生成分割图像,分割图像中每个像素均有一个概率值。使用一个二分类判别器区分分割图像中的血管和背景。其中,三个卷积层分别是1×1、3×3和1×1卷积。
二分类判别器将分割图像中概率值大于0.5的像素看作眼底血管像素,并标记像素值为1,将分割图像中概率值小于0.5的像素看作背景,并标记像素值为0,所有像素值为1的像素设置为白色,所有像素值为0 的像素设置为黑色,完成眼底血管图像分割,血管和背景被鲜明地区分,向医生直观地展示分割效果,准确、高效地辅助其临床诊断工作。
S106,根据第一损失函数,对所述改进的神经网络模型进行辅助训练,以对训练后的神经网络模型进行测试,从而最终完成眼底血管图像的分割与验证。
其中,所述第一损失函数的表达式为:
其中,表示第一损失函数,表示数据总类别数量,表示类别k的真阳值,表示类别k的假阴值,表示像素属于类别k的数量,,表示类别k的几何平均置信度,表示类别k的召回率,表示输入的训练数据在所有类别上的预测最大值分布,表示标签为类别k的样本集,表示训练数据的标签数据,表示训练数据的序号。
本发明提出一种基于空洞卷积和语义融合的眼底血管图像分割方法,具有如下有益效果:
(1)、本发明能准确有效地对眼底血管图像进行分割,辅助医生的临床诊断工作进而实现高质量的医疗服务;
(2)、本发明提出的融合Transformer模块的多层多尺度空洞卷积结构具备高效、轻便以及可移植性强等优点,可将该多层多尺度空洞卷积结构迁移到其它需要逐步扩张图像感受野或需联合全局特征和局部特征的视觉分析任务,如目标检测、区域定位等,以发挥更大作用;
(3)、本发明提出的语义融合结构,具备高效、轻便以及可移植性强等优点,可将该语义融合结构迁移到其它需要进行多尺度图像特征融合或特征精选的视觉分析任务中,如肿瘤图像识别与图像情感分析等,以发挥更大作用;
(4)、从患者角度而言,精准的医学诊疗可缩短患者就诊时间,为提高病症的治愈率创造有利的时间条件,有助于改善人们的生活质量,创造良好的社会效益。
请参阅图4,本发明还提出一种基于空洞卷积和语义融合的眼底血管图像分割***,其中,所述***包括:
图像获取模块,用于:
获取眼底血管图像数据集,从所述眼底血管图像数据集中获取眼底血管图像,并对所述眼底血管图像进行预处理;
模型改进模块,用于:
基于U-Net模型进行改进设计,以得到改进神经网络;
第一设计模块,用于:
在进行改进设计时,在所述改进神经网络的跳跃连接部分设计一个多层多尺度空洞卷积结构,所述多层多尺度空洞卷积结构用于跨越所述改进神经网络的编码部分与解码部分,以保护眼底血管中的细节信息;
第二设计模块,用于:
在所述改进神经网络的解码部分设计一个语义融合结构,所述语义融合结构用于对解码后的多尺度图像特征进行拼接,并构建成对挤压激励模块,根据所述挤压激励模块对拼接后的多尺度图像特征进行关键信息筛选以最终得到多尺度图像特征融合结果;
图像分割模块,用于:
对所述多尺度图像特征融合结果执行连续三次卷积操作以得到待分割图像,对所述待分割图像中的像素进行二分类判别,以对眼底血管图像进行分割,并得到一个改进的神经网络模型;
辅助训练模块,用于根据第一损失函数,对所述改进的神经网络模型进行辅助训练,以对训练后的神经网络模型进行测试,从而最终完成眼底血管图像的分割与验证;
其中,所述第一损失函数的表达式为:
其中,表示第一损失函数,表示数据总类别数量,表示类别k的真阳值,表示类别k的假阴值,表示像素属于类别k的数量,,表示类别k的几何平均置信度,表示类别k的召回率,表示输入的训练数据在所有类别上的预测最大值分布,表示标签为类别k的样本集,表示训练数据的标签数据,表示训练数据的序号。
应当理解的,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种基于空洞卷积和语义融合的眼底血管图像分割方法,其特征在于,所述方法包括如下步骤:
步骤一,获取眼底血管图像数据集,从所述眼底血管图像数据集中获取眼底血管图像,并对所述眼底血管图像进行预处理;
步骤二,基于U-Net模型进行改进设计,以得到改进神经网络,其中进行改进的具体操作包括步骤三、步骤四与步骤五;
步骤三,在进行改进设计时,在所述改进神经网络的跳跃连接部分设计一个多层多尺度空洞卷积结构,所述多层多尺度空洞卷积结构用于跨越所述改进神经网络的编码部分与解码部分,以保护眼底血管中的细节信息;
步骤四,在所述改进神经网络的解码部分设计一个语义融合结构,所述语义融合结构用于对解码后的多尺度图像特征进行拼接,并构建成对挤压激励模块,根据所述挤压激励模块对拼接后的多尺度图像特征进行关键信息筛选以最终得到多尺度图像特征融合结果;
步骤五,对所述多尺度图像特征融合结果执行连续三次卷积操作以得到待分割图像,对所述待分割图像中的像素进行二分类判别,以对眼底血管图像进行分割,并得到一个改进的神经网络模型;
步骤六,根据第一损失函数,对所述改进的神经网络模型进行辅助训练,以对训练后的神经网络模型进行测试,从而最终完成眼底血管图像的分割与验证;
所述第一损失函数的表达式为:
其中,表示第一损失函数,表示数据总类别数量, 表示类别k的真阳值,表示类别k的假阴值,表示像素属于类别k的数量,,表示类别k的几何平均置信度,表示类别k的召回率,表示输入的训练数据在所有类别上的预测最大值分布,表示标签为类别k的样本集,表示训练数据的标签数据,表示训练数据的序号;
在所述步骤三中,所述多层多尺度空洞卷积结构包括上层图像特征、中层图像特征以及下层图像特征;
其中,对上层图像特征、中层图像特征以及下层图像特征执行包含不同尺度卷积率的级联式空洞卷积;
对上层图像特征、中层图像特征以及下层图像特征执行包含不同尺度卷积率的级联式空洞卷积的方法包括如下步骤:
对所述上层图像特征执行感受野逐步扩张的级联式空洞卷积,经卷积得到上层图像特征对应的空洞卷积特征,再对空洞卷积特征执行最大池化操作,以获得大尺寸图像的局部特征;
将所述中层图像特征对应的眼底血管图像分割成固定大小的图像块,通过扁平化操作对图像块进行矢量化,执行线性映射将矢量化的图像块转换成低维线性嵌入特征;将所述低维线性嵌入特征输入至Transformer模块中连续12个Transformer层中继续执行线性映射,并进行自注意力加权;对所述低维线性嵌入特征添加位置编码,以建模得到眼底血管图像中的长距离依赖关系,并提取得到图像全局特征;
对所述下层图像特征执行感受野逐步扩张的级联式空洞卷积,然后执行双线性插值将所述下层图像特征提升至与所述中层图像特征相同的尺寸,以获得小尺寸图像的局部特征;
将所述大尺寸图像的局部特征、所述图像全局特征以及所述小尺寸图像的局部特征进行相加以完成特征融合;
在所述步骤四中,所述语义融合结构对解码后的多尺度图像特征进行拼接的方法包括如下步骤:
其中,所述SE操作包括全局平均池化操作、非线性激活操作以及特征通道加权操作;
所述全局平均池化操作包括如下步骤:
进行全局平均池化运算以得到特征向量m的公式表示为:
2.根据权利要求1所述的基于空洞卷积和语义融合的眼底血管图像分割方法,其特征在于,在所述步骤一中,所述眼底血管图像数据集包括STARE数据集、DRIVE数据集以及CHASEDB1数据集;
对所述眼底血管图像进行预处理的方法包括如下步骤:
将所述眼底血管图像的尺寸统一裁剪至512×512,然后进行图像翻转、图像旋转以及图像高斯模糊操作完成预处理。
6.一种基于空洞卷积和语义融合的眼底血管图像分割***,其特征在于,所述***应用如上述权利要求1至5任一项所述的基于空洞卷积和语义融合的眼底血管图像分割方法,所述***包括:
图像获取模块,用于:
获取眼底血管图像数据集,从所述眼底血管图像数据集中获取眼底血管图像,并对所述眼底血管图像进行预处理;
模型改进模块,用于:
基于U-Net模型进行改进设计,以得到改进神经网络;
第一设计模块,用于:
在进行改进设计时,在所述改进神经网络的跳跃连接部分设计一个多层多尺度空洞卷积结构,所述多层多尺度空洞卷积结构用于跨越所述改进神经网络的编码部分与解码部分,以保护眼底血管中的细节信息;
第二设计模块,用于:
在所述改进神经网络的解码部分设计一个语义融合结构,所述语义融合结构用于对解码后的多尺度图像特征进行拼接,并构建成对挤压激励模块,根据所述挤压激励模块对拼接后的多尺度图像特征进行关键信息筛选以最终得到多尺度图像特征融合结果;
图像分割模块,用于:
对所述多尺度图像特征融合结果执行连续三次卷积操作以得到待分割图像,对所述待分割图像中的像素进行二分类判别,以对眼底血管图像进行分割,并得到一个改进的神经网络模型;
辅助训练模块,用于根据第一损失函数,对所述改进的神经网络模型进行辅助训练,以对训练后的神经网络模型进行测试,从而最终完成眼底血管图像的分割与验证;
其中,所述第一损失函数的表达式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211134660.XA CN115205300B (zh) | 2022-09-19 | 2022-09-19 | 基于空洞卷积和语义融合的眼底血管图像分割方法与*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211134660.XA CN115205300B (zh) | 2022-09-19 | 2022-09-19 | 基于空洞卷积和语义融合的眼底血管图像分割方法与*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115205300A CN115205300A (zh) | 2022-10-18 |
CN115205300B true CN115205300B (zh) | 2022-12-09 |
Family
ID=83573686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211134660.XA Active CN115205300B (zh) | 2022-09-19 | 2022-09-19 | 基于空洞卷积和语义融合的眼底血管图像分割方法与*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115205300B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953420B (zh) * | 2023-03-15 | 2023-08-22 | 深圳市联影高端医疗装备创新研究院 | 深度学习网络模型以及医疗图像分割方法、装置和*** |
CN116630334B (zh) * | 2023-04-23 | 2023-12-08 | 中国科学院自动化研究所 | 用于多分段血管实时自动分割方法、装置、设备及介质 |
CN117078697B (zh) * | 2023-08-21 | 2024-04-09 | 南京航空航天大学 | 一种基于级联模型融合的眼底病种检测方法 |
CN116934747B (zh) * | 2023-09-15 | 2023-11-28 | 江西师范大学 | 眼底图像分割模型训练方法、设备和青光眼辅助诊断*** |
CN117274256B (zh) * | 2023-11-21 | 2024-02-06 | 首都医科大学附属北京安定医院 | 一种基于瞳孔变化的疼痛评估方法、***及设备 |
CN117495876B (zh) * | 2023-12-29 | 2024-03-26 | 山东大学齐鲁医院 | 基于深度学习的冠状动脉图像分割方法及*** |
CN117671395B (zh) * | 2024-02-02 | 2024-04-26 | 南昌康德莱医疗科技有限公司 | 一种癌细胞种类识别装置 |
CN117788473B (zh) * | 2024-02-27 | 2024-05-14 | 北京大学第一医院(北京大学第一临床医学院) | 一种基于双眼融合网络预测高血压的方法、***和设备 |
Citations (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
CN110059772A (zh) * | 2019-05-14 | 2019-07-26 | 温州大学 | 基于迁移vgg网络的遥感图像语义分割方法 |
CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
CN110781895A (zh) * | 2019-10-10 | 2020-02-11 | 湖北工业大学 | 一种基于卷积神经网络的图像语义分割方法 |
CN110992382A (zh) * | 2019-12-30 | 2020-04-10 | 四川大学 | 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及*** |
CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
CN111291789A (zh) * | 2020-01-19 | 2020-06-16 | 华东交通大学 | 基于多阶段多特征深度融合的乳腺癌图像识别方法及*** |
CN111783782A (zh) * | 2020-05-29 | 2020-10-16 | 河海大学 | 融合改进UNet和SegNet的遥感图像语义分割方法 |
WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学(深圳) | 图像语义分割方法和*** |
CN111898617A (zh) * | 2020-06-29 | 2020-11-06 | 南京邮电大学 | 基于注意力机制与并行空洞卷积网络的目标检测方法、*** |
CN112001391A (zh) * | 2020-05-11 | 2020-11-27 | 江苏鲲博智行科技有限公司 | 一种图像特征融合图像语义分割的方法 |
CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
CN112508960A (zh) * | 2020-12-21 | 2021-03-16 | 华南理工大学 | 一种基于改进注意力机制的低精度图像语义分割方法 |
CN112949673A (zh) * | 2019-12-11 | 2021-06-11 | 四川大学 | 一种基于全局注意力的特征融合目标检测与识别方法 |
CN112966691A (zh) * | 2021-04-14 | 2021-06-15 | 重庆邮电大学 | 基于语义分割的多尺度文本检测方法、装置及电子设备 |
CN113160414A (zh) * | 2021-01-25 | 2021-07-23 | 北京豆牛网络科技有限公司 | 货物余量自动识别方法、装置、电子设备以及计算机可读介质 |
CN114187450A (zh) * | 2021-12-15 | 2022-03-15 | 山东大学 | 一种基于深度学习的遥感图像语义分割方法 |
WO2022105125A1 (zh) * | 2020-11-17 | 2022-05-27 | 平安科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN114639020A (zh) * | 2022-03-24 | 2022-06-17 | 南京信息工程大学 | 一种图像的目标物的分割网络、分割***及其分割装置 |
CN114881968A (zh) * | 2022-05-07 | 2022-08-09 | 中南大学 | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 |
CN114972748A (zh) * | 2022-04-28 | 2022-08-30 | 北京航空航天大学 | 一种可解释边缘注意力和灰度量化网络的红外语义分割方法 |
CN114999637A (zh) * | 2022-07-18 | 2022-09-02 | 华东交通大学 | 多角度编码与嵌入式互学习的病理图像诊断方法与*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110363210B (zh) * | 2018-04-10 | 2023-05-05 | 腾讯科技(深圳)有限公司 | 一种图像语义分割模型的训练方法和服务器 |
CN111126242B (zh) * | 2018-10-16 | 2023-03-21 | 腾讯科技(深圳)有限公司 | 肺部图像的语义分割方法、装置、设备及存储介质 |
WO2020108009A1 (en) * | 2018-11-26 | 2020-06-04 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, system, and computer-readable medium for improving quality of low-light images |
US11270447B2 (en) * | 2020-02-10 | 2022-03-08 | Hong Kong Applied Science And Technology Institute Company Limited | Method for image segmentation using CNN |
US11837354B2 (en) * | 2020-12-30 | 2023-12-05 | London Health Sciences Centre Research Inc. | Contrast-agent-free medical diagnostic imaging |
-
2022
- 2022-09-19 CN CN202211134660.XA patent/CN115205300B/zh active Active
Patent Citations (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学(深圳) | 图像语义分割方法和*** |
CN110059772A (zh) * | 2019-05-14 | 2019-07-26 | 温州大学 | 基于迁移vgg网络的遥感图像语义分割方法 |
CN110781895A (zh) * | 2019-10-10 | 2020-02-11 | 湖北工业大学 | 一种基于卷积神经网络的图像语义分割方法 |
CN112949673A (zh) * | 2019-12-11 | 2021-06-11 | 四川大学 | 一种基于全局注意力的特征融合目标检测与识别方法 |
CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
CN110992382A (zh) * | 2019-12-30 | 2020-04-10 | 四川大学 | 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及*** |
CN111291789A (zh) * | 2020-01-19 | 2020-06-16 | 华东交通大学 | 基于多阶段多特征深度融合的乳腺癌图像识别方法及*** |
CN112001391A (zh) * | 2020-05-11 | 2020-11-27 | 江苏鲲博智行科技有限公司 | 一种图像特征融合图像语义分割的方法 |
CN111783782A (zh) * | 2020-05-29 | 2020-10-16 | 河海大学 | 融合改进UNet和SegNet的遥感图像语义分割方法 |
CN111898617A (zh) * | 2020-06-29 | 2020-11-06 | 南京邮电大学 | 基于注意力机制与并行空洞卷积网络的目标检测方法、*** |
CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
WO2022105125A1 (zh) * | 2020-11-17 | 2022-05-27 | 平安科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN112508960A (zh) * | 2020-12-21 | 2021-03-16 | 华南理工大学 | 一种基于改进注意力机制的低精度图像语义分割方法 |
CN113160414A (zh) * | 2021-01-25 | 2021-07-23 | 北京豆牛网络科技有限公司 | 货物余量自动识别方法、装置、电子设备以及计算机可读介质 |
CN112966691A (zh) * | 2021-04-14 | 2021-06-15 | 重庆邮电大学 | 基于语义分割的多尺度文本检测方法、装置及电子设备 |
CN114187450A (zh) * | 2021-12-15 | 2022-03-15 | 山东大学 | 一种基于深度学习的遥感图像语义分割方法 |
CN114639020A (zh) * | 2022-03-24 | 2022-06-17 | 南京信息工程大学 | 一种图像的目标物的分割网络、分割***及其分割装置 |
CN114972748A (zh) * | 2022-04-28 | 2022-08-30 | 北京航空航天大学 | 一种可解释边缘注意力和灰度量化网络的红外语义分割方法 |
CN114881968A (zh) * | 2022-05-07 | 2022-08-09 | 中南大学 | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 |
CN114999637A (zh) * | 2022-07-18 | 2022-09-02 | 华东交通大学 | 多角度编码与嵌入式互学习的病理图像诊断方法与*** |
Non-Patent Citations (5)
Title |
---|
GCSBA-Net: Gabor-Based and Cascade Squeeze Bi-Attention Network for Gland Segmentation;Zhijie Wen 等;《IEEE Journal of Biomedical and Health Informatics》;20210430;全文 * |
Welding Defect Recognition Technology and Application Based on Convolutional Neural Network;Lei Xu 等;《2021 International Wireless Communications and Mobile Computing (IWCMC)》;20211231;全文 * |
基于卷积神经网络的图像分割算法;李轩等;《沈阳航空航天大学学报》;20200225(第01期);全文 * |
基于改进U-Net视网膜血管图像分割算法;李大湘等;《光学学报》;20200525(第10期);全文 * |
融合深度神经网络和空洞卷积的语义图像分割研究;陈洪云等;《小型微型计算机***》;20200115(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115205300A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115205300B (zh) | 基于空洞卷积和语义融合的眼底血管图像分割方法与*** | |
CN109886986A (zh) | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 | |
CN109345538A (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
CN109886273A (zh) | 一种cmr图像分割分类*** | |
CN106682435A (zh) | 一种多模型融合自动检测医学图像中病变的***及方法 | |
Chen et al. | 3D intracranial artery segmentation using a convolutional autoencoder | |
Rajput et al. | An accurate and noninvasive skin cancer screening based on imaging technique | |
CN111598894B (zh) | 基于全局信息卷积神经网络的视网膜血管图像分割*** | |
Rajee et al. | Gender classification on digital dental x-ray images using deep convolutional neural network | |
CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
CN113205524B (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
CN112465905A (zh) | 基于深度学习的磁共振成像数据的特征脑区定位方法 | |
CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
Raghavendra et al. | Multilayer stacked probabilistic belief network-based brain tumor segmentation and classification | |
Sorić et al. | Using convolutional neural network for chest X-ray image classification | |
Xiang et al. | A novel weight pruning strategy for light weight neural networks with application to the diagnosis of skin disease | |
CN113344933B (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
Khattar et al. | Computer assisted diagnosis of skin cancer: a survey and future recommendations | |
Tan et al. | A lightweight network guided with differential matched filtering for retinal vessel segmentation | |
CN113421250A (zh) | 一种基于无病变影像训练的眼底疾病智能诊断方法 | |
Yu et al. | M3U-CDVAE: Lightweight retinal vessel segmentation and refinement network | |
Quy et al. | Multi-view digital mammography mass classification: A convolutional neural network model approach | |
Salehi et al. | Deep convolutional neural networks for automated diagnosis of disc herniation on axial MRI | |
Amin et al. | Automated psoriasis detection using deep learning | |
Fettah et al. | Deep learning model for magnetic resonance imaging brain tumor recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |