CN115049682A - 一种基于多尺度密集网络的视网膜血管分割方法 - Google Patents

一种基于多尺度密集网络的视网膜血管分割方法 Download PDF

Info

Publication number
CN115049682A
CN115049682A CN202210748710.7A CN202210748710A CN115049682A CN 115049682 A CN115049682 A CN 115049682A CN 202210748710 A CN202210748710 A CN 202210748710A CN 115049682 A CN115049682 A CN 115049682A
Authority
CN
China
Prior art keywords
image
segmentation
blood vessel
data
dense network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210748710.7A
Other languages
English (en)
Inventor
王海英
周鲁彪
王进科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202210748710.7A priority Critical patent/CN115049682A/zh
Publication of CN115049682A publication Critical patent/CN115049682A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度密集网络的视网膜血管分割方法,方法涉及计算机视觉技术和医学图像处理领域,包括:对数据集中的原始彩色视网膜血管图像进行预处理;对预处理之后的视网膜血管图像进行数据增强;基于编码解码结构构建多尺度密集网络模型;将数据增强后的眼底图像数据导入眼底图像分割模型中进行训练,获取训练完成的权重,进一步对视网膜血管图像进行分割,最终获取到分割结果。本发明针对视网膜血管分割提出的新的全卷积神经网络结构,解决了对于细小血管的分割以及血管边缘模糊的问题,提升了分割精度。相比于现存算法,具有一定的先进性。

Description

一种基于多尺度密集网络的视网膜血管分割方法
技术领域
本发明涉及计算机视觉技术和医学图像处理领域,具体涉及一种基于多尺度密集网络的视网膜血管分割方法。
背景技术
临床医学中眼底图像能反映多种疾病的早期症状,例如高血压、糖尿病等。眼科医生可以通过观察视网膜血管形态实现对疾病的初期诊断。由于视网膜血管形态复杂,同时不同的医生在手动分割血管图像时带有主观性,因此设计一种视网膜血管自动分割方法对于辅助医生提高诊断速度和效果具有重要意义。
精确的视网膜血管分割是彩色眼底图像处理中的一个具有挑战性的问题,目前视网膜血管的分割通常是由人工进行手动分割的,这项工作效率低下且精度不高。眼底血管分支的细微末端与背景的对比度低、以及视杯视盘等生理结构的影响,使得血管分割任务面临难题。由于眼底血管形态本身具有复杂性,特别是眼底图像中的毛细血管的分割极易受到光照和噪声的影响。
现阶段,能够实现眼底血管自动分割的方法主要可以分为两种,一种是基于无监督的方法,一种是基于有监督的方法。基于无监督的视网膜血管分割方法属于比较传统的图像处理算法,其显著特点为分割过程中无须样本标签。与之相对应的是基于有监督和特征工程的机器学习以及深度学习的分割方法。当前医学图像处理领域深度学习已成为主流方法,它相较于机器学习避免了人工提取特征的过程,使得最终获取到的分割结果更加精准客观。
发明内容
本发明的目的是为了解决现存的基于深度学习的视网膜血管分割模型对于细微血管的分割不够精准且易出现误分割的问题,提出一种基于多尺度密集网络的视网膜血管分割方法,无需复杂的后处理方法,实现了端到端的眼底图像分割,取得了很好的效果。
本发明的目的可以通过采取如下技术方案实现:
一种基于多尺度密集网络的视网膜血管分割方法,包括以下步骤:
S1:对数据集中的原始彩色视网膜血管图像进行预处理;
S2:对预处理之后的视网膜血管图像进行数据增强;
S3:基于编码解码结构构建多尺度密集网络模型;
S4:将数据增强后的眼底图像数据导入眼底图像分割模型中进行训练,获取训练完成的权重,进一步对视网膜血管图像进行分割,最终获取到分割结果。
进一步地,所述的步骤S1中的预处理包括灰度变换、标准化、对比度受限直方图均衡化和伽马矫正的预处理操作。
灰度变换是对每一幅彩色视网膜血管图像进行通道加权,根据公式Gray=0.299*R+0.587*G+0.114*B,将彩色眼底图像转换为灰度图像。然后对灰度图像进行数据标准化,具体方式是将整体数据减去均值,再除以方差,从而提高优化器迭代求解的收敛速度和精度。经过数据标准化之后的图像数据,再通过对比度受限的直方图均衡化,达到有效限制噪声放大的前提下,增强眼底图像对比度的作用。最后,本发明采用伽马值为1.2的伽马校正对图像进行非线性色调编辑,提升图像中高、低灰度值的占比,达到增大对比度的效果。
进一步地,所述的步骤S2中,数据增强的具体实现方式为:以固定分辨率在经过预处理之后的图像上进行随机裁剪、水平翻转、垂直翻转、随机旋转。分辨率允许在实验中根据分割效果进行动态调整,图像块可以在原图的任意位置随机提取,能够有效扩增用于训练的样本数量。
进一步地,所述的步骤S3中,基于编码解码结构构建多尺度密集网络模型,编码过程采用两次下采样,每一层两次标准卷积进行特征提取,引入批归一化层,采用ReLU激活函数。
为了更好的整合不同尺度的信息,提出了一种多层特征融合机制,由编码路径到解码路径的全尺度跳跃连接构成,将不同尺度下特征映射的底层细节与高层语义信息相结合。在编码器与解码器之间设计了密集空洞空间卷积金字塔,以获取更丰富的上下文信息,避免了细节信息的丢失,有助于精准恢复血管细节。解码过程采用两次转置卷积对特征图进行上采样,在解码器中引入压缩激励块和残余连接,自适应地调整各尺度特征的权重,以强调有效信道同时抑制冗余信息。
进一步地,在所述步骤S4中,将数据增强后的眼底图像数据导入眼底图像分割模型中进行训练,调整超参数,从而得到训练完成的眼底图像分割模型。再将测试图像输入网络,经过预处理之后,基于重叠错切策略以固定步距在全图区域进行等步距裁剪获取若干图像块,把每个图像块输入网络中进行预测,每个像素点的多个预测结果取平均,得到所属类别的概率,最终进行二值化得到视网膜血管的分割结果图。
本发明相对于现有技术具有如下优势:
1.本发明采用的图像数据扩增方法可行性高、效果好。为了避免训练过程中出现过拟合现象,以固定分辨率在经过预处理之后的图像上进行随机裁剪、水平翻转、垂直翻转、随机旋转,极大的增加了用于训练的样本数量,分辨率允许在实验中根据分割效果进行动态调整,从而提升视网膜血管分割性能。
2.本发明基于编码解码结构构建的多尺度密集网络在编码器与解码器之间设计了密集空洞空间卷积金字塔,在解码器部分引入了压缩激励模块和残余连接,并设计了全尺度的跳跃连接。将不同尺度下特征映射的底层细节与高层语义信息相结合,避免了信息的丢失,同时能够获取更丰富的上下文信息,有助于精准恢复血管细节。
3.本发明在模型训练完成后,对视网膜血管图像进行分割,采用的是重叠错切策略,以固定步距在全图区域进行等步距裁剪获取若干图像块,最后对每一个像素多个类别概率图取平均,以此均值作为网络的最终分割结果,进步提高了视网膜血管分割的准确率。
附图说明
图1是本发明中整体视网膜血管分割流程图;
图2是本发明中多尺度密集网络结构图;
图3是本发明中密集空间空洞卷积金字塔细节图;
图4是本发明中引入残余连接的压缩激励模块细节图;
图5是本发明中预处理效果图;
图6是本发明中数据增强后的效果图;
图7是本发明中模型分割结果与原图及专家手动分割结果的对比图;
图8是本发明中提出的分割方法在DRIVE数据集上进行分割的ROC曲线图。
具体实施方式
为使本发明实施例的目的、技术方案和优势更加清晰明了,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清晰、具体地分步解析,所描述的实施例是本发明一部分实施例,并不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性成果的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例的整体视网膜血管分割流程图如图1所示。本实施例中数据集采用DRIVE公开数据集作为实验数据,该数据集共包含40张彩色眼底图像,已被均分为训练集和测试集,并提供了两位专家手动分割的金标准以及对应的掩膜图像。图像使用佳能CR5非散瞳3CCD相机获取,分辨率为565×584,。部分图像来自早期糖尿病视网膜病变患者,以JPEG格式存储。在测试过程,采用第一位专家的手动分割结果作为真值来评估本发明所提出框架的分割性能。具体实施步骤如下:
1.眼底图像预处理
对原始彩色视网膜血管图像进行预处理,使其更适合作为后续分割模型的输入,加快训练速度。首先对每一幅彩色视网膜血管图像进行通道加权,根据公式Gray=0.299*R+0.587*G+0.114*B,将彩色眼底图像转换为灰度图像。然后对灰度图像进行数据标准化,具体方式是将整体数据减去均值,再除以方差,从而提高优化器迭代求解的收敛速度和精度。经过数据标准化之后的图像数据,再通过对比度受限的直方图均衡化,达到有效限制噪声放大的前提下,增强眼底图像对比度的作用。最后,采用伽马值为1.2的伽马校正对图像进行非线性色调编辑,提升图像中高、低灰度值的占比,达到增大对比度的效果。预处理效果图如图5所示
2.数据增强
数据量少是医学图像处理任务方向的通病,为了避免因数据量少而引起的过拟合,本实例以64×64的分辨率在经过预处理之后的眼底图像上进行随机裁剪,共获取到15万张切片,然后进行二次同时以0.5的翻转概率进行水平和垂直翻转。为了和训练数据一一对应,专家手动分割的金标准和掩膜图像也需要进行相同操作。并按照9:1的比例把用于训练的眼底图像数据集划分为训练集和验证集。数据增强后的效果图如图6所示。
3.网络的搭建以及训练和测试过程详解
基于编码解码结构构建多尺度密集网络模型,编码过程采用两次下采样,每一层两次标准卷积进行特征提取,引入批归一化层,采用ReLU激活函数。每层下采样之前会将特征图上采样至统一大小,为特征融合做准备,进而由编码路径到解码路径的全尺度跳跃连接将不同尺度下特征映射的底层细节与高层语义信息相结合。在编码器与解码器之间设计了密集空洞空间卷积金字塔,如图3所示,以密集连接的形式连接一组空洞卷积,空洞卷积层通过残余连接来共享信息。不同空洞率的卷积层之间是相互依赖的,其前馈过程不仅会构成一个更密集的特征金字塔,而且会增大卷积核的感受野来感知更加丰富的上下文信息。为了避免解码过程采用两次卷积核大小为3×3的转置卷积对特征图进行上采样,在解码器中引入压缩激励块和残余连接,如图4所示,自适应地调整各尺度特征的权重,以强调有效信道同时抑制冗余信息,之后使用1×1的卷积核进行通道的调整,最后通过Softmax激活函数输出分割结果。多尺度密集网络结构图如图2所示。
训练:为了不改变特征图的尺寸,所有的卷积层都采取填充0的方式进行卷积,除最后一层使用Softmax激活函数,其余激活函数层,均采用ReLU激活函数,训练过程使用Adam优化器,初始学习率设置为0.0005,基于余弦模拟退火策略进行学习率的衰减,批次大小设置为64,共训练60个epoch。使用Tensorboard和Matplotlib进行训练过程的可视化。
测试:将经过预处理的测试图像输入网络,在每个测试图像上按照步距为16,分辨率为96×96的尺寸提取图像块,之后加载训练权重和网络模型进行分割。需要说明的是,用于测试的图像块均通过掩膜图像提取自FOV区域,否则评价结果会有无意义的提升。由于使用重叠错切策略提取的图像块存在重叠区域,每个像素点在重叠的多个图像块中被多次提取,每个图像块输入网络中进行一次分割,则每个像素点对应多个分割概率图。每个像素点的多个预测结果取平均,得到所属类别的概率,最终进行二值化得到视网膜血管的分割结果图。
将测试集中的图像的分割结果和金标准进行对比,使用第一位专家的手动分割图像作为标准评价每张图像分割血管的准确性、特异度、灵敏度和AUC(Area Under theCurve)值。如图7所示,模型分割结果与原图及专家手动分割结果的对比图。图8为在DRIVE数据集上进行分割的ROC曲线图AUC定义为ROC(Receiver Operating characteristicCurve)曲线下面积,取值范围在0.5到1之间,用作评价标准时,AUC值越接近于1表示分类器的性能越好,能够综合衡量分割效果的优劣。通过实验表明,本实施例在DTIVE数据集上的AUC达到了98.17%,特异度达到了98.24%,灵敏度达到了78.62%,和现存的其他算法相比具有一定的先进性。
上述实施例为本发明的优选,但本发明的实施方式并不受上述实施例的限制,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多尺度密集网络的视网膜血管分割方法,其特征在于,所述的视网膜血管分割方法包括以下步骤:
S1:对数据集中的原始彩色视网膜血管图像进行预处理;
S2:对预处理之后的视网膜血管图像进行数据增强;
S3:基于编码解码结构构建多尺度密集网络模型;
S4:将数据增强后的眼底图像数据导入眼底图像分割模型中进行训练,获取训练完成的权重,进一步对视网膜血管图像进行分割,最终获取到分割结果。
2.根据权利要求1所述的一种基于多尺度密集网络的视网膜血管分割方法,其特征在于,所述预处理包括:对原始彩色视网膜血管图像进行灰度变换、标准化、对比度受限直方图均衡化和伽马矫正的预处理操作,突出血管区域,得到调整对比度和去除噪声后的眼底图像。
3.根据权利要求1所述的一种基于多尺度密集网络的视网膜血管分割方法,其特征在于,所述基于编码解码结构构建多尺度密集网络模型包括:在编码器与解码器之间设计了密集空洞空间卷积金字塔,在解码器部分引入了压缩激励模块和残余连接,并设计了全尺度的跳跃连接。
4.根据权利要求1所述的一种基于多尺度密集网络的视网膜血管分割方法,其特征在于,所述数据增强包括:以固定分辨率在全图区域进行随机裁剪、水平翻转、垂直翻转、随机旋转,并按照9:1的比例把用于训练的眼底图像数据集划分为训练集和验证集。
5.根据权利要求1所述的一种基于多尺度密集网络的视网膜血管分割方法,其特征在于,所述将数据增强后的眼底图像数据导入眼底图像分割模型中进行训练,获取训练完成的权重,进一步对视网膜血管图像进行分割,最终获取到分割结果。
6.根据权利要求5所述的一种基于多尺度密集网络的视网膜血管分割方法,其特征在于,所述训练过程包括在训练阶段将数据增强后的眼底图像数据导入眼底图像分割模型中进行训练,调整超参数,从而得到训练完成的眼底图像分割模型;在测试阶段,对每张图像提取多个连续的重叠片段,对多个预测结果取平均获得每个像素的所属类别的概率,最终获取到分割结果;将分割结果与专家手动分割结果相比较,结合评价标准评估模型性能。
7.根据权利要求1所述的一种基于多尺度密集网络的视网膜血管分割方法,其特征在于,所述的数据集采用DRIVE公开数据集作为实验数据,该数据集共包含40张彩色眼底图像,已被均分为训练集和测试集,并提供了两位专家手动分割的金标准以及对应的掩膜图像;图像使用佳能CR5非散瞳3CCD相机获取,分辨率为565×584;部分图像来自早期糖尿病视网膜病变患者,以JPEG格式存储;在测试过程,采用第一位专家的手动分割结果作为真值来评估本发明所提出框架的分割性能。
CN202210748710.7A 2022-06-28 2022-06-28 一种基于多尺度密集网络的视网膜血管分割方法 Withdrawn CN115049682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210748710.7A CN115049682A (zh) 2022-06-28 2022-06-28 一种基于多尺度密集网络的视网膜血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210748710.7A CN115049682A (zh) 2022-06-28 2022-06-28 一种基于多尺度密集网络的视网膜血管分割方法

Publications (1)

Publication Number Publication Date
CN115049682A true CN115049682A (zh) 2022-09-13

Family

ID=83163006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210748710.7A Withdrawn CN115049682A (zh) 2022-06-28 2022-06-28 一种基于多尺度密集网络的视网膜血管分割方法

Country Status (1)

Country Link
CN (1) CN115049682A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496765A (zh) * 2022-09-23 2022-12-20 深圳市铱硙医疗科技有限公司 脑区的图像处理方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496765A (zh) * 2022-09-23 2022-12-20 深圳市铱硙医疗科技有限公司 脑区的图像处理方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109635862B (zh) 早产儿视网膜病plus病变分类方法
CN109448006B (zh) 一种注意力机制u型密集连接视网膜血管分割方法
CN109345538A (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN112132817A (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN110648344B (zh) 一种基于局部病灶特征的糖尿病视网膜病变分类装置
CN113793348B (zh) 一种视网膜血管分割方法和装置
CN110120055B (zh) 基于深度学习的眼底荧光造影图像无灌注区自动分割方法
CN111724397B (zh) 一种颅脑ct图像出血区域自动分割方法
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
Jayakumari et al. Automated diabetic retinopathy detection and classification using imagenet convolution neural network using fundus images
CN111242949B (zh) 基于全卷积神经网络多尺度特征的眼底图像血管分割方法
Chen et al. Detection of diabetic retinopathy using deep neural network
CN110991254B (zh) 超声图像视频分类预测方法及***
CN113689954A (zh) 高血压风险预测方法、装置、设备及介质
CN113011340B (zh) 一种基于视网膜图像的心血管手术指标风险分类方法及***
CN114881962A (zh) 一种基于改进U-Net网络的视网膜图像血管分割方法
CN115035127A (zh) 一种基于生成式对抗网络的视网膜血管分割方法
CN115049682A (zh) 一种基于多尺度密集网络的视网膜血管分割方法
CN113763292A (zh) 一种基于深度卷积神经网络的眼底视网膜图像分割方法
CN110610480B (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
CN117315258A (zh) 基于图卷积网络和部分卷积的轻量级视网膜血管分割方法
CN114882218A (zh) 一种基于嵌入残差卷积和注意力模块的u型糖尿病视网膜渗出物分割算法
CN116597950A (zh) 一种医学图像分层方法
Nandakumar et al. Detection of Diabetic Retinopathy from Retinal Images Using DenseNet Models.
Fu et al. Agc-unet: a global context feature fusion method based on u-net for retinal vessel segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220913