CN115619814A - 一种视盘和视杯联合分割方法与*** - Google Patents

一种视盘和视杯联合分割方法与*** Download PDF

Info

Publication number
CN115619814A
CN115619814A CN202211348564.5A CN202211348564A CN115619814A CN 115619814 A CN115619814 A CN 115619814A CN 202211348564 A CN202211348564 A CN 202211348564A CN 115619814 A CN115619814 A CN 115619814A
Authority
CN
China
Prior art keywords
fundus image
optic
network model
ardsenet
cup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211348564.5A
Other languages
English (en)
Inventor
易玉根
黄龙军
周唯
王文乐
张宁毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Normal University
Original Assignee
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Normal University filed Critical Jiangxi Normal University
Priority to CN202211348564.5A priority Critical patent/CN115619814A/zh
Publication of CN115619814A publication Critical patent/CN115619814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种视盘和视杯联合分割方法及***。通过获取眼底图像数据集，眼底图像数据集的图像包括视盘、视杯和背景；对眼底图像数据集进行处理，得到处理后的眼底图像数据集；构建ARDSENet网络模型；将ARDSENet网络模型输入至设置完成的训练环境和参数中进行训练，得到训练后的ARDSENet网络模型；将处理后的眼底图像数据集输入至训练后的ARDSENet网络模型中，得到视盘和视杯分割结果。采用本发明能够实现视盘和视杯的联合分割，提高分割的准确性。

Description

一种视盘和视杯联合分割方法与***
技术领域
本发明涉及视盘和视杯分割领域，特别是涉及一种视盘和视杯分割联合方法与***。
背景技术
青光眼是一种成为世界上不可逆转的视力损失的眼科疾病。据估计，到2040年将有1.118亿人受到青光眼的影响。当患者被诊断为青光眼时，对视觉功能的损害是渐进的、不可逆转的。并且视野缺损在青光眼早期并不明显，因此，早期青光眼的筛查是至关重要的。
目前，视网膜彩色眼底图像是早期青光眼筛查中最广泛使用的成像技术，因为它具有成本效益。图1为眼底图像。1(a)为眼底图像的主要结构，(b)为正常和青光眼彩色眼底图像的垂直杯直径(VCD)和垂直盘直径(VDD)。视网膜眼底图像包含各种不同的结构，如视盘、视杯、血管、黄斑和眼窝等，如图1(a)所示。图1(b)显示了垂直杯直径(VCD)与垂直盘直径(VDD)的比率称为杯盘比(cup-to-disc ratio，CDR)，是青光眼筛查的主要衡量指标。如果CDR值大于0.5，则可诊断患有青光眼。由此可见，CDR的计算取决于对视盘和视杯的精准分割，但是手工分割这些区域总会面临不同的问题，例如，缺乏合格的眼科医生，个体间阅读的差异性和耗时。因此，提取有用的特征实现自动的精准的视盘和视杯分割有利于青光眼筛查。
最近，研究者研发了一系列基于彩色眼底图像的自动视盘和视杯分割方法，用于青光眼诊断，这些方法可以分为基于启发式的方法和基于深度学习的方法。对于基于启发式的方法，首先通过手工设计或选取特征，如颜色、梯度和纹理特征，然后进行视盘和视杯分割。然而，这些手工特征的提取容易受到眼底结构和图像质量等众多因素的影响，从而影响视盘和视杯分割的结果。基于深度学习的方法成为当今各领域的主流方法。大量基于深度学习的分割方法被提出，并取得了较高的视盘和视杯分割的准确性。然而，它们仍然面临如下具有挑战性的问题：视盘和视杯是独立分割的，或者需要通过预处理程序来提取视盘中心区域。因此，不仅会增加计算的复杂性，而且由于单独操作而降低分割的准确性。
发明内容
本发明的目的是提供一种视盘和视杯联合分割方法与***，能够实现视盘和视杯的联合分割，提高分割的准确性。
为实现上述目的，本发明提供了如下方案：
一种视盘和视杯联合分割方法包括：
获取眼底图像数据集，所述眼底图像数据集的图像包括视盘、视杯和背景；
对所述眼底图像数据集进行处理，得到处理后的眼底图像数据集；
构建ARDSENet网络模型；
将所述ARDSENet网络模型输入至设置完成的训练环境和参数中进行训练，得到训练后的ARDSENet网络模型；
将所述处理后的眼底图像数据集输入至所述训练后的ARDSENet网络模型中，得到视盘和视杯分割结果。
可选地，所述对所述眼底图像数据集进行处理，得到处理后的眼底图像数据集，具体包括：
对所述眼底图像数据集中的图像进行水平翻转、垂直翻转、水平和垂直翻转以及平移数据增强操作，得到数据增强后的眼底图像数据集。
可选地，所述ARDSENet网络模型为编码器-解码器结构网络模型。
可选地，所述构建ARDSENet网络模型，具体包括：
设计一种基于EfficientNet的编码器，所述编码器包含移动翻转瓶颈卷积模型块；
设计一种基于注意力门的解码器，所述解码器包含残差深度可分离卷积模块；
设计一种加权结合Dice损失和Focal损失的融合损失函数。
可选地，所述训练环境的网络训练迭代更新30epochs，批次大小为2，采用均方根传播优化器，初始学习率为0.0001，学习率会根据验证集的分数自动衰减，并且自动调整损失。
可选地，所述参数包括焦点损失参数和可调参数，所述焦点损失参数包括视盘焦点损失参数、视杯焦点损失参数和背景焦点损失参数分别设置为0.75、0.75和0.25，可调参数设置为2。
一种视盘和视杯联合分割***包括：
眼底图像数据集获取模块，用于获取眼底图像数据集，所述眼底图像数据集的图像包括视盘、视杯和背景；
眼底图像数据集处理模块，用于对所述眼底图像数据集进行处理，得到处理后的眼底图像数据集；
ARDSENet网络模型构建模块，用于构建ARDSENet网络模型；
ARDSENet网络模型训练模块，用于将所述ARDSENet网络模型输入至设置完成的训练环境和参数中进行训练，得到训练后的ARDSENet网络模型；
视盘和视杯分割结果确定模块，用于将所述处理后的眼底图像数据集输入至所述训练后的ARDSENet网络模型中，得到视盘和视杯分割结果。
可选地，所述眼底图像数据集处理模块具体包括：
眼底图像数据集处理单元，用于对所述眼底图像数据集中的图像进行水平翻转、垂直翻转、水平和垂直翻转以及平移数据增强操作，得到数据增强后的眼底图像数据集。
可选地，所述ARDSENet网络模型为编码器-解码器结构网络模型。
可选地，所述ARDSENet网络模型构建模块具体包括：
编码器设计单元，用于设计一种基于EfficientNet的编码器，所述编码器包含移动翻转瓶颈卷积模型块；
解码器设计单元，用于设计一种基于注意力门的解码器，所述解码器包含残差深度可分离卷积模块；
融合损失函数设计单元，用于设计一种加权结合Dice损失和Focal损失的融合损失函数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种视盘和视杯联合分割方法，该方法包括：获取眼底图像数据集，所述眼底图像数据集的图像包括视盘、视杯和背景；对所述眼底图像数据集进行处理，得到处理后的眼底图像数据集；构建ARDSENet网络模型；将所述ARDSENet网络模型输入至设置完成的训练环境和参数中进行训练，得到训练后的ARDSENet网络模型；将所述处理后的眼底图像数据集输入至所述训练后的ARDSENet网络模型中，得到视盘和视杯分割结果。采用上述方法能够实现视盘和视杯的联合分割，提高分割的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为眼底图像；
图2为部分数据增强的实例图像；
图3为ARDSENet的网络模型结构示意图；
图4为EfficientNet模块结构示意图；
图5为MBConv模块结构示意图；
图6为SE模块结构示意图；
图7为AG模块结构示意图；
图8为RDSC模块结构示意图；
图9为分割结果可视化实例示意图；
图10为Drishti-GS和REFUGE数据库分割可视化实例示意图；
图11为基于Drishti-GS数据集的CDR的青光眼诊断的ROC曲线和AUC面积结果示意图；
图12为基于REFUGE数据集的CDR的青光眼诊断的ROC曲线和AUC面积结果示意图；
图13为本发明视盘和视杯联合分割方法流程图；
图14为本发明视盘和视杯联合分割***结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种视盘和视杯联合分割方法与***，能够实现视盘和视杯的联合分割，提高分割的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
最近，大多数自动视盘和视杯分割的方法被提出来。根据不同的特征工程技术，可以分为基于手工特征的传统机器学习方法和基于深度学习的方法。传统的机器学习方法主要依靠手工制作的特征来进行视盘和视杯的分割，它们分为三类：基于外观的方法、基于模型的方法以及基于像素的分类方法。基于外观的方法总是通过眼底图像中的生理结构来检测眼底和眼球，例如，眼底是最明亮的圆形或椭圆形物体。这些方法又分为基于模板、基于可变形模型、基于形态学和主成分分析。然而，当眼底图像呈现的病变不够明显或图像质量较低，这类方法很难表现出形状不规则的视盘区域。基于模型的方法总是利用视盘、视杯以及血管位置的先验知识来进行视盘和视杯分割。例如，视盘是主要血管的汇聚区，而血管弯曲处可被视为视杯的中心。因此，首先可以根据相关知识检测血管，然后用检测到的血管来实现视盘和视杯区域的分割。然而当图像质量较差或血管检测较差时，该类很难用于视盘和视杯分割，即为视盘和视杯分割性能依赖于血管分割。基于像素的分类方法将视盘和视杯的分割视为一个有监督的像素分类问题。例如：Cheng等人设计了一种用于视盘分割的超级像素分类方法。首先，将视网膜眼底图像的像素聚集成超级像素，然后将每个超级像素划分为视盘区或非视盘区。综上所述，上述分割方法存在两个主要的局限性。一方面，它们的性能在很大程度上依赖于手工设计的特征。另一方面，它们分别独立对视盘和视杯进行分割，而忽略了它们之间的相互关系。
卷积神经网络(CNN)可以从输入图像中自动提取复杂的特征，在医学图像分割领域取得了巨大成就。因此，系列的CNN变体方法试图进行视盘和视杯分割，并取得很好的效果。例如，Maninis等人提出基于VGG-16的深度视网膜图像理解(Deep Retinal ImageUnderstanding,DRIU)网络同时分割视网膜血管和视盘。但该方法无法提取复杂的视杯边界。受区域生成网络(Region Proposal Network,RPN)的启发，Yin等人提出一种用于视盘(OD)和视杯(OC)分割的金字塔多标签网络(Pyramid multi-label network,PMN)，该方法设计了一个金字塔形ROIAlign模块来捕捉多尺度特征。随后，系列基于全卷积网络(FCN)的模型相继被提出，其中U-Net是医学图像分割中最先进且被广泛使用的模型。大量的UNet变体方法已被提出用于眼底图像的视盘和视杯分割。例如，Sevastopolsky等人提出改进的UNet实现自动分割视盘和视杯区域。不同与原始的UNet，作者采用较少的过滤器和改进损失函数，使其具有处理速度快和参数少等优点。Zilly等人基于CNN框架引入基于熵的采样技术实现视盘和视杯区域，并取得较好的分割结果。该方法首先利用熵采样技术来提取信息点。然后使用图割方法获得分割结果。然而，这些方法是以连续的方式分割OD和OC，限制了其训练阶段的有效性。为了解决上述问题，研究者提出系列两阶段的视盘和视杯区域联合分割方法，其中第一阶段是定位视神经头(ONH)区域，第二阶段是在ONH区域内分割视盘和视杯区域。例如，Al-Bander等人结合DenseNet和UNet设计一种新型的U型网络结构。Fu等人基于多标记深度网络(Multi-label Deep Network,MDN)和极坐标转化(PolarTransformation,PT)提出一种M型网络，该网络由多个输入和多个输出组成。同样，Yu等人提出了一种改进的UNet方法，充分利用预训练的ResNet和UNet的优势，有效避免了过拟合和实现快速训练。Kim等人首先检测了视盘周围感兴趣区域(ROI)，然后再分割视盘和视杯区域。该模型利用FCN与UNet框架从ROI中分割视盘和视杯区域。此外，Shah等人提出一种基于ROI模型的弱分割(WRoIM)方法，该方法首先通过小型结构的UNet获得粗略的视盘分割区域，然后将粗略的分割结果输入另一个UNet进行精细分割。近期，Pachade等人将对抗性学习引入视盘和视杯区域分割任务，获得显著的性能。然而，上述研究要么是对视盘和视杯区域分别进行分割，要么需要通过预处理提取视盘中心区域。因此，这些方法的性能和计算代价将受到很大影响。
针对上述问题，本发明提供一种视盘和视杯联合分割方法，图13为本发明视盘和视杯联合分割方法流程图，如图13所示，一种视盘和视杯联合分割方法包括：
步骤101：获取眼底图像数据集，所述眼底图像数据集的图像包括视盘、视杯和背景；
步骤102：对所述眼底图像数据集进行处理，得到处理后的眼底图像数据集，具体包括：
对所述眼底图像数据集中的图像进行水平翻转、垂直翻转、水平和垂直翻转以及平移数据增强操作，得到数据增强后的眼底图像数据集。图2中为部分数据增强的实例图像。其中，(a)为原图，(b)为水平翻转图像，(c)为垂直翻转图像，(d)为水平与垂直翻转图像，(e)为平移图像。
步骤103：构建ARDSENet网络模型。所述ARDSENet网络模型为编码器-解码器结构网络模型。图3为ARDSENet网络模型结构示意图。该网络模型的设计具体包括三个步骤：
步骤1031：设计一种基于EfficientNet的编码器，即为图3中(II)部分，图4为EfficientNet模块结构示意图。所述编码器包含移动翻转瓶颈卷积模型块，具体地，包含7个移动翻转瓶颈卷积(Mobile Inverted Bottleneck Convolution，MBConv)模型块，记为MBConvX，符号X表示通道数的缩放系数，如MBConv6表示缩放系数为6的MBConv。
图5为MBConv模块结构示意图。如图5所示，MBConv结构由1×1卷积(1×1Conv)、深度卷积(Depth-wise Conv)和压缩和激发(Squeeze-and-Excitation,SE)模块组成。首先，前一层的输出被送到MBConv块，然后通过1×1Conv降低通道数。然后，利用3×3的纵横比对来进一步减少参数的数量。接着，通过1×1Conv层来减少通道的数量。最后，在输入与投影层的输出之间引入残差连接。
图6为SE模块结构示意图，如图6所示，SE模块结构包含压缩作和激励两个操作。首先，全局平均池化(AvgPooling)被用于执行挤压操作。然后，进行激励操作包含两个全连接层，分别采用Swish和Sigmoid激活函数。
步骤1032：设计一种基于注意力门的解码器，所述解码器包含残差深度可分离卷积模块。如图3中(III)所示。图7为AG模块结构示意图。首先设计一种注意力门(AttentionGate,AG)，它允许模型自适应调整并自动学习输入图像中突出的特征，其结构如图7所示，g和xl分别为从当前层和上一层采样的输入特征图。基于输入特征图，先执行包括1×1卷积、BN和逐点求和等操作，再通过依次执行线性单元(ReLU)激活、1×1卷积+Sigmoid激活、重采样操作等一系列操作。最后注意力系数α与输入特征图xl相乘，获得最终的输出特征图
Figure BDA0003918092960000071
由于AG可以在没有任何空间支持的情况下进行线性转换，而且输入特征图的分辨率通过对门控信号的下采样而降低，因此网络模型的参数和计算资源消耗都大大降低。因此，步骤1032将AG引入到跳过连接中，一方面使得模型在保持计算效率的前提下，可以获得良好的分割性能。另一方面，该网络模型可以自动从原始图像中隐含地学习感兴趣的区域(ROI)，即消除不相关的区域，集中分割感兴趣区域。
然后，步骤1032设计一种残差深度可分离卷积(RDSC)模块解决现有网络模型往往存在过度拟合问题。图8为RDSC模块结构示意图，如图8所示，RDSC模块由深度可分离卷积(DSC)、BN、修正线性单元(ReLU)激活和通道卷积(CC)组成。RDSC的主要优点包括：(1)网络可以加深和拓宽而不产生任何额外的计算。(2)在RDSC中引入BN层，可以加快网络的收敛速度以及有效避免梯度消失。(3)使用非线性ReLU激活函数可以增加深度网络的非线性，学习更复杂的特征表示。
深度可分离卷积(DSC)包含逐通道卷积(Depth-wise Convolution)和逐点卷积(Point-wise Convolution)两个过程。先逐通道卷积对每个输入通道应用一个滤波器。再利用点式1×1的卷积将逐点卷积的输出结合起来。
假设F(DF×DF×M)和G(DF×DF×N)是特征图，其中，DF×DF表示空间宽度和高度。M和N分别是输入和输出通道的数量。在标准卷积中，如果设置卷积的核大小(K)，维度为DK，步长和填充均为1，那么标准卷积的参数为：
DK×DK×M×N×DF×DF (1)
深度卷积的参数为:
DK×DK×M×DF×DF (2)
将1×1卷积和深度卷积结合形成DSC，因此，总参数数为:
DK×DK×M×DF×DF+M×N×DF×DF (2)
比较公式(1)和(2)可知，DSC模块的参数数量远低于标准卷积。当标准卷积用于所提出的模型时，参数大小为17.14M，浮点运算(FLOPs)为8.51G。相反，当引入RDSC时，模型的参数大小和FLOPs分别为15.44M和4.21G。因此，RDSC的参数大小和FLOPS分别减少1.7M和4.30G。因此，步骤1032在解码器中用RDSC块代替了标准卷积块。
步骤1033：设计一种加权结合Dice损失和Focal损失的融合损失函数。
为了解决视盘和视杯的分割面临两个主要问题：(1)重叠的视盘和视杯使分割任务更具挑战性，(2)由于眼底区域比眼底图像中的背景区域小得多，类的不平衡问题将影响模型的训练。为此，受Dice损失和Focal损失启发，步骤1033通过加权结合Dice损失和Focal损失设计一种新的融合损失函数，用于视盘和视杯的联合分割，其定义如下：
Lseg(m,p)＝LDL(m,p)+λLFL(m,p) (4)
其中：
Figure BDA0003918092960000091
Figure BDA0003918092960000092
其中，LDL和LFL分别为Dice损失和Focal损失。λ是一个正则化参数用于平衡LDL和LFL的权重，m∈{0,1}是一个二进制的真实标签，p∈[0,1]是预测的概率值。K代表类别的数量，第k个类别的权重系数表示为αk。
步骤104：将所述ARDSENet网络模型输入至设置完成的训练环境和参数中进行训练，得到训练后的ARDSENet网络模型。
所述训练环境的网络训练迭代更新30epochs，批次大小为2，采用均方根传播优化器，初始学习率为0.0001，学习率会根据验证集的分数自动衰减，并且自动调整损失。
所述参数包括焦点损失参数和可调参数，所述焦点损失参数包括视盘焦点损失参数、视杯焦点损失参数和背景焦点损失参数分别设置为0.75、0.75和0.25，可调参数设置为2，所述可调参数为正则化参数，即公式(4)中的λ。
步骤105：将所述处理后的眼底图像数据集输入至所述训练后的ARDSENet网络模型中，得到视盘和视杯分割结果。图9为分割结果可视化实例示意图。采用本发明的训练模型与其他模型的分割结果对比如图9所示。
本发明与现有技术相比，具有下列优点：
(1)本发明采用一种全自动的端到端的视盘和视杯联合分割的语义分割网络，有利于青光眼疾病的筛查。
(2)本发明采用一种残差深度可分离卷积(RDSC)块，有利于提高分割性能和效率。
(3)本发明使用AGs、RDSC块和BN层设计一种新的解码网络来缓解梯度消失问题，加快网络收敛速度。
(4)本发明组合设计Focal损失和Dice损失来指导网络实现准确的视盘和视杯分割。
为了验证方法有效性和可行性，第一步计算机读取Drishti-GS和REFUGE两个公开数据集。数据的描述性信息见表1所示，Drishti-GS数据集包含101张有注释的彩色眼底图像，其中70张和31张分别对应于青光眼和正常眼睛。该数据集的给定分割包含50张训练图像和51张测试图像。REFUGE数据集由1200张带注释的彩色眼底图像组成，平均分为三个子集，每个子集400张图像，组成训练、验证和测试。在训练集中，有40张青光眼图像和360张正常图像。
表1数据库详细信息
Figure BDA0003918092960000101
第二步，计算机选取Dice系数(DC)、杰卡德(JAC)、CDR误差(CE)和平衡精度(BA)四个指标来评估所提出的方法的有效性，其定义如下：
Figure BDA0003918092960000102
Figure BDA0003918092960000103
Figure BDA0003918092960000104
Figure BDA0003918092960000111
其中：
Figure BDA0003918092960000112
Figure BDA0003918092960000113
Figure BDA0003918092960000114
其中，TN,FN,TP,FP分别表示真阴性、假阴性、真阳性和假阳性的数量。
Figure BDA0003918092960000115
是由分割结果计算出的第n幅图像的预测CDR值，
Figure BDA0003918092960000116
是由经过临床医生提供的相应的地面真实CDR。N代表测试组中的样本总数。VDcup和VDdisc分别为OC和OD的垂直直径。Se和Sp代表敏感度和特异度。
第三步，计算机在Drishti-GS和REFUGE数据集上执行消融实验，其结果如表2和表3所示，E-UNet、EA-UNet、ERDSC-UNet分别代表Efficient-b0模块、Efficient-b0注意力门和Efficient-b0 RDSC。从表2和表3可以看出，当将Efficient-b0、AG和RDSC三个模块分别逐渐融合基线模型(UNet)中时，所有评价指标都在持续提高。因此，本专利所提出每个模块都能改善模型分割性能，并且将不同模型合理组合可以进一步提高分割性能。为了更好地可视化分割结果，实验分别从Drishti-GS和REFUGE两个数据集的测试集中选择了6张具有代表性的图像，图10为Drishti-GS和REFUGE数据库分割可视化实例示意图，如图10所示，其中前两行是原始彩色眼底图像和相应的视盘和视杯的真实图像，其余5行是不同模型得到的结果。实验结果进一步说明模型中的每个模块都是有效的，通过结合这些模块可以获得最佳的分割结果。
表2给出不同模型在Drishti-GS数据库上视盘和视杯分割结果
Figure BDA0003918092960000117
Figure BDA0003918092960000121
表3给出不同模型在FEFUGE数据库上视盘和视杯分割结果
Figure BDA0003918092960000122
同时表4列出计算性能标准包括训练时间、参数数量和FLOPS。从表4可以看出，当更多模块融合到基准模型(UNet)时，训练时间也会增加，分割性能也会逐渐增强。除训练时间外，模型的参数数量和FLOPS分别比EA-UNet减少1.53M和3.95G，这显著减低计算成本。因此，本发明的模型有效地解决了分割性能和模型计算代价之间权衡。
表4不同模型的计算性能指标结果
Figure BDA0003918092960000123
第五步，计算机将ARDSENet与当前最先进的方法进行比较，包括UNet、FC-DenseNet、Yu等、WRoIM、M-Net、WGAN、pOSAL、GL-Net、CFEA、多模型、两阶段Mask R-CN、ResFPNNet和M-Ada。表5和表6分别列出不同方法在Drishti-GS和REFUGE数据集上的视盘和视杯分割结果。实验结果表明，本发明设计的ARDSENet方法在视杯分割性能远超原始UNet。与M-Net、FC-DenseNet、Yu等、WRoIM等UNet变体方法比较，本发明在视盘和视杯的性能明显优于Yu等方法的性能，要高于2.8％左右。而且，在REFUGE数据集上的视盘和视杯的分割性能比M-Net高0.0113和0.0557。与最先进的基于对抗神经网络方法比较，包括CFEA、pOSAL、WGAN和GL-Net。本发明在两个数据集上的所有评价指标方面都取得最佳性能。最后，本发明与最新的深度学习方法进行比较，包括多模型、两阶段掩码R-CNN、ResFPN-Net和M-Ada。在Drishti-GS数据集上，本发明的视盘分割性能比ResFPN-Net略低0.0018，而REFUGE数据集上视盘分割性能要比M-Ada差0.0036。然而，视杯分割是一个更具挑战性的，远比视盘的分割更复杂，在这种情况下，本发明的方法可以达到最佳的分割性能。
在所有比较方法中，本发明的方法可以极大地提高更具挑战性的视杯分割的准确性，并在视盘分割上获得有竞争力的结果。主要原因如下：
1.本发明是在原始彩色眼底图像的基础上直接输出分割结果。因此，它不仅降低了复杂性，而且还考虑到了视盘和视杯之间的关系，这对视盘和视杯的分割起到很大帮助。
2.本发明提出使用AGs、RDSC块和BN层的新型解码网络进一步有效缓解梯度消失问题，加快收敛速度，提高分割性能。
3.本发明采用一个新颖的融合损失函数，可以有效地处理眼底图像中的类不平衡问题，从而有效地提高分割性能。
表5相关对比方法在Drishti-GS数据库上的视盘和视杯分割结果
Figure BDA0003918092960000131
Figure BDA0003918092960000141
表6相关对比方法在REFUGE数据库上的视盘和视杯分割结果
Figure BDA0003918092960000142
第六步，计算机对眼底图像进行青光眼筛查。由于垂直CDR是青光眼筛查的一个重要指标，它通过获得的视盘和视杯分割掩码来计算。实验采用接收操作特性(ROC)曲线和ROC曲线下面积(AUC)作为衡量标准。图11为基于Drishti-GS数据集的CDR的青光眼诊断的ROC曲线和AUC面积结果示意图；图12为基于REFUGE数据集的CDR的青光眼诊断的ROC曲线和AUC面积结果示意图，由图11和12可知，本发明在Drishti-GS和REFUGE数据集上的AUC分数分别为0.9028和0.9733。因此，实验结果表明本发明方法在青光眼筛查具有潜在的有效性。
图14为本发明视盘和视杯联合分割***结构图，如图13所示，一种视盘和视杯联合分割***包括：
眼底图像数据集获取模块201，用于获取眼底图像数据集，所述眼底图像数据集的图像包括视盘、视杯和背景；
眼底图像数据集处理模块202，用于对所述眼底图像数据集进行处理，得到处理后的眼底图像数据集；
ARDSENet网络模型构建模块203，用于构建ARDSENet网络模型。所述ARDSENet网络模型为编码器-解码器结构网络模型。
ARDSENet网络模型训练模块204，用于将所述ARDSENet网络模型输入至设置完成的训练环境和参数中进行训练，得到训练后的ARDSENet网络模型；
视盘和视杯分割结果确定模块205，用于将所述处理后的眼底图像数据集输入至所述训练后的ARDSENet网络模型中，得到视盘和视杯分割结果。
所述眼底图像数据集处理模块202具体包括：
眼底图像数据集处理单元，用于对所述眼底图像数据集中的图像进行水平翻转、垂直翻转、水平和垂直翻转以及平移数据增强操作，得到数据增强后的眼底图像数据集。
所述ARDSENet网络模型构建模块203具体包括：
编码器设计单元，用于设计一种基于EfficientNet的编码器，所述编码器包含移动翻转瓶颈卷积模型块；
解码器设计单元，用于设计一种基于注意力门的解码器，所述解码器包含残差深度可分离卷积模块；
融合损失函数设计单元，用于设计一种加权结合Dice损失和Focal损失的融合损失函数。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种视盘和视杯联合分割方法，其特征在于，包括：
获取眼底图像数据集，所述眼底图像数据集的图像包括视盘、视杯和背景；
对所述眼底图像数据集进行处理，得到处理后的眼底图像数据集；
构建ARDSENet网络模型；
将所述ARDSENet网络模型输入至设置完成的训练环境和参数中进行训练，得到训练后的ARDSENet网络模型；
将所述处理后的眼底图像数据集输入至所述训练后的ARDSENet网络模型中，得到视盘和视杯分割结果。
2.根据权利要求1所述的视盘和视杯联合分割方法，其特征在于，所述对所述眼底图像数据集进行处理，得到处理后的眼底图像数据集，具体包括：
对所述眼底图像数据集中的图像进行水平翻转、垂直翻转、水平和垂直翻转以及平移数据增强操作，得到数据增强后的眼底图像数据集。
3.根据权利要求1所述的视盘和视杯联合分割方法，其特征在于，所述ARDSENet网络模型为编码器-解码器结构网络模型。
4.根据权利要求1所述的视盘和视杯联合分割方法，其特征在于，所述构建ARDSENet网络模型，具体包括：
设计一种基于EfficientNet的编码器，所述编码器包含移动翻转瓶颈卷积模型块；
设计一种基于注意力门的解码器，所述解码器包含残差深度可分离卷积模块；
设计一种加权结合Dice损失和Focal损失的融合损失函数。
5.根据权利要求1所述的视盘和视杯联合分割方法，其特征在于，所述训练环境的网络训练迭代更新30epochs，批次大小为2，采用均方根传播优化器，初始学习率为0.0001，学习率会根据验证集的分数自动衰减，并且自动调整损失。
6.根据权利要求1所述的视盘和视杯联合分割方法，其特征在于，所述参数包括焦点损失参数和可调参数，所述焦点损失参数包括视盘焦点损失参数、视杯焦点损失参数和背景焦点损失参数分别设置为0.75、0.75和0.25，可调参数设置为2。
7.一种基于权利要求1至6任一项所述视盘和视杯联合分割方法的***，其特征在于，包括：
眼底图像数据集获取模块，用于获取眼底图像数据集，所述眼底图像数据集的图像包括视盘、视杯和背景；
眼底图像数据集处理模块，用于对所述眼底图像数据集进行处理，得到处理后的眼底图像数据集；
ARDSENet网络模型构建模块，用于构建ARDSENet网络模型；
ARDSENet网络模型训练模块，用于将所述ARDSENet网络模型输入至设置完成的训练环境和参数中进行训练，得到训练后的ARDSENet网络模型；
视盘和视杯分割结果确定模块，用于将所述处理后的眼底图像数据集输入至所述训练后的ARDSENet网络模型中，得到视盘和视杯分割结果。
8.根据权利要求7所述的视盘和视杯联合分割***，其特征在于，所述眼底图像数据集处理模块具体包括：
眼底图像数据集处理单元，用于对所述眼底图像数据集中的图像进行水平翻转、垂直翻转、水平和垂直翻转以及平移数据增强操作，得到数据增强后的眼底图像数据集。
9.根据权利要求7所述的视盘和视杯联合分割***，其特征在于，所述ARDSENet网络模型为编码器-解码器结构网络模型。
10.根据权利要求7所述的视盘和视杯联合分割***，其特征在于，所述ARDSENet网络模型构建模块具体包括：
编码器设计单元，用于设计一种基于EfficientNet的编码器，所述编码器包含移动翻转瓶颈卷积模型块；
解码器设计单元，用于设计一种基于注意力门的解码器，所述解码器包含残差深度可分离卷积模块；
融合损失函数设计单元，用于设计一种加权结合Dice损失和Focal损失的融合损失函数。
CN202211348564.5A 2022-10-31 2022-10-31 一种视盘和视杯联合分割方法与*** Pending CN115619814A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211348564.5A CN115619814A (zh) 2022-10-31 2022-10-31 一种视盘和视杯联合分割方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211348564.5A CN115619814A (zh) 2022-10-31 2022-10-31 一种视盘和视杯联合分割方法与***

Publications (1)

Publication Number Publication Date
CN115619814A true CN115619814A (zh) 2023-01-17

Family

ID=84877224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211348564.5A Pending CN115619814A (zh) 2022-10-31 2022-10-31 一种视盘和视杯联合分割方法与***

Country Status (1)

Country Link
CN (1) CN115619814A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385725A (zh) * 2023-06-02 2023-07-04 杭州聚秀科技有限公司 眼底图像视盘视杯分割方法及装置、电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385725A (zh) * 2023-06-02 2023-07-04 杭州聚秀科技有限公司 眼底图像视盘视杯分割方法及装置、电子设备
CN116385725B (zh) * 2023-06-02 2023-09-08 杭州聚秀科技有限公司 眼底图像视盘视杯分割方法及装置、电子设备

Similar Documents

Publication Publication Date Title
US11636340B2 (en) Modeling method and apparatus for diagnosing ophthalmic disease based on artificial intelligence, and storage medium
CN109345538A (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN111292338B (zh) 一种从眼底oct图像中分割脉络膜新生血管的方法及***
CN111046835A (zh) 一种基于区域特征集合神经网络的眼底照多病种检测***
CN110428432A (zh) 结肠腺体图像自动分割的深度神经网络算法
CN109325942A (zh) 基于全卷积神经网络的眼底图像结构分割方法
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
CN110097554A (zh) 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
Xie et al. Cross-attention multi-branch network for fundus diseases classification using SLO images
Bhati et al. Discriminative kernel convolution network for multi-label ophthalmic disease detection on imbalanced fundus image dataset
CN111489328A (zh) 一种基于血管分割和背景分离的眼底图像质量评价方法
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN102567734A (zh) 基于比值的视网膜细小血管分割方法
CN110490843A (zh) 一种眼底图像血管分割方法
CN110610480B (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
CN115619814A (zh) 一种视盘和视杯联合分割方法与***
Zhang et al. MC-UNet multi-module concatenation based on U-shape network for retinal blood vessels segmentation
CN115661066A (zh) 基于分割和分类相融合的糖尿病性视网膜病变检测方法
Yang et al. AMF-NET: Attention-aware multi-scale fusion network for retinal vessel segmentation
Phridviraj et al. A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images
CN116091449A (zh) 一种基于无监督异构蒸馏框架的视网膜oct图像病变分类方法
CN115908795A (zh) 眼底动静脉分割方法、血管参数计算方法，装置和设备
CN111210436B (zh) 晶状体分割方法、装置及存储介质
CN114897831A (zh) 目标定位与语义分割相结合的超广角眼底图像视盘提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination