CN116823760A - 早产儿视网膜病变治疗方式的自动识别方法及*** - Google Patents

早产儿视网膜病变治疗方式的自动识别方法及*** Download PDF

Info

Publication number
CN116823760A
CN116823760A CN202310748335.0A CN202310748335A CN116823760A CN 116823760 A CN116823760 A CN 116823760A CN 202310748335 A CN202310748335 A CN 202310748335A CN 116823760 A CN116823760 A CN 116823760A
Authority
CN
China
Prior art keywords
model
retinopathy
resnet
prematurity
densenet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310748335.0A
Other languages
English (en)
Inventor
张国明
刘亚玲
杜曰山一
赵欣予
吴祯泉
唐建楠
郑棉瑩
陈妙虹
陈婷毅
胡亚柔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control)
Original Assignee
Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control) filed Critical Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control)
Priority to CN202310748335.0A priority Critical patent/CN116823760A/zh
Publication of CN116823760A publication Critical patent/CN116823760A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种早产儿视网膜病变治疗方式的自动识别方法及***,识别方法包括以下步骤:S10、构建多个二元分类器模型,包括;ResNet‑18模型和DenseNet‑121模型;S20、采用DenseNet‑121模型对目标图像进行ROP筛选;S30、采用ResNet‑18模型对目标图像进行ROP识别和治疗预测。本发明方法的模型是基于单个训练图像开发的,它在图像级别上生成预测。采用本发明方法,可以实现早产儿视网膜病变治疗方式的自动识别,且识别结果准确。

Description

早产儿视网膜病变治疗方式的自动识别方法及***
技术领域
本发明涉及眼科疾病识别和图像识别技术领域,更具体地说,涉及一种早产儿视网膜病变治疗方式的自动识别方法及***。
背景技术
深度学***的空间细节特征,并利用双向融合模块融合两个分支不同层级提取的特征。
深度学习技术被广泛应用于医学图像分析领域。作为深度学习的代表性框架,卷积神经网络(Convolutional Neural Network,CNN)凭借其强大的特征提取能力,常被用于骨干网络框架,提取医学影像中的深度特征。2015年提出的残差网络又因其独特的残差跳跃连接,使得网络在提取深层次特征的同时,可以关注浅层特征的信息。因此,残差网络能够关注深层和浅层的特征信息,使得提取的特征更加完整,网络性能更好。残差网络也被选为其中一个分支进行特征提取。然而,单纯的CNN网络提取的特征缺乏全局特征信息的表达,以至于网络性能提升具有一定局限性。为此,Transformer网络应运而生,其可利用多头自注意力机制不断学习具有长距离依赖关系的全局特征信息。
在众多的眼部疾病中,先天性异常和早发性疾病尤为重要。婴儿的常规眼底病通常包括早产儿视网膜病变(ROP)、Coats病、视网膜母细胞瘤(RB)、视网膜色素变性(RP)、脉络膜缺损、先天性视网膜褶皱和家族性渗出性玻璃体视网膜病。大多数疾病会对眼睛的结构和功能产生长期影响,包括屈光不正、夜盲症,并可能增加眼睛的异常排列(斜视)和新生血管性青光眼。其中,ROP是儿童视力受损和失明的主要原因,全球每年甚至有8000名RB新生婴儿可能需要进行眼球摘除手术来挽救生命。
从临床角度来看,这些婴儿的状况往往会导致儿童终生严重视力受损甚至失明,对社会产生长期的影响,尤其是未来在就业方面的压力。因为婴幼儿的眼底病在一些普通医院并不常见,常常被忽略,即使在遇到它们之后,也可能无法做出准确的诊断。与此同时,世界上的专业眼科医生资源不足。
在眼底疾病领域中,相继出现了一些针对早产儿视网膜病变的自动检查方法的研究,到目前为止,我们发现很少有可以对早产儿视网膜病变治疗方式进行自动识别的工具。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种早产儿视网膜病变治疗方式的自动识别方法及***。
本发明解决其技术问题所采用的技术方案是:
构造一种早产儿视网膜病变治疗方式的自动识别方法,其中,包括以下内容:
构建多个二元分类器模型,包括:ResNet-18模型和DenseNet-121模型;
采用所述ResNet-18模型对目标RetCam图像进行ROP识别;
采用所述DenseNet-121模型对识别后的RetCam图像进行ROP筛选;
采用所述ResNet-18模型对筛选后的RetCam图像进行治疗预测。
本发明所述的早产儿视网膜病变治疗方式的自动识别方法,其中,所述方法还包括:
多个二元分类器模型包括:1个ResNet-18模型和2个DenseNet-121模型。
本发明所述的早产儿视网膜病变治疗方式的自动识别方法,其中,所述方法还包括:
将1个ResNet-18模型和2个DenseNet-121模型的最后一个全连接层的输出大小为2,其中Softmax层将两个类概率标准化为[0,1]和1的和。
本发明所述的早产儿视网膜病变治疗方式的自动识别方法,其中,所述方法还包括:
在构建多个二元分类器模型的训练过程中,在水平和垂直方向上进行概率为50%的随机翻转。
本发明所述的早产儿视网膜病变治疗方式的自动识别方法,其中,所述方法还包括:
在构建多个二元分类器模型的推理阶段,将未经数据增强的调整后的图像输入到网络中进行预测。
本发明所述的早产儿视网膜病变治疗方式的自动识别方法,其中,所述方法还包括:
将RetCam图像的测试集在患者水平上进行随机分割处理。
一种早产儿视网膜病变治疗方式的自动识别***,应用于如上述的早产儿视网膜病变治疗方式的自动识别方法,其中,包括多个二元分类器模型:多个二元分类器模型中至少包括:
ResNet-18模型,用于对目标RetCam图像进行ROP识别和治疗预测;和,DenseNet-121模型,用于对目标RetCam图像进行ROP筛选。
本发明所述的早产儿视网膜病变治疗方式的自动识别***,其中,
多个二元分类器模型包括:1个ResNet-18模型和2个DenseNet-121模型;1个ResNet-18模型和2个DenseNet-121模型的最后一个全连接层的输出大小为2,其中Softmax层将两个类概率标准化为[0,1]和1的和。
本发明所述的早产儿视网膜病变治疗方式的自动识别***,其中,
在构建多个二元分类器模型的训练过程中,在水平和垂直方向上进行概率为50%的随机翻转。
本发明所述的早产儿视网膜病变治疗方式的自动识别***,其中,
在构建多个二元分类器模型的推理阶段,将未经数据增强的调整后的图像输入到网络中进行预测。
本发明的有益效果在于:应用本发明的方式方法,使用ResNet-18模型对目标RetCam图像进行ROP识别和治疗预测,ResNet-18模型在残差块中引入身份捷径,以缓解深度网络中经常出现的梯度消失问题,此外,它还可以增强特征的传播,促进特征的重用,而使用DenseNet-121模型对目标RetCam图像进行ROP筛选,DenseNet对所有后续层采用密集拼接,避免了直接求和,在参数较少的情况下具有更好的特征使用效率;应用ResNet-18模型和DenseNet-121模型的结合使用,可以实现早产儿视网膜病变治疗方式的自动识别,且识别结果准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将结合附图及实施例对本发明作进一步说明,下面描述中的附图仅仅是本发明的部分实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图:
图1是本发明较佳实施例的早产儿视网膜病变治疗方式的自动识别方法流程图;
图2是本发明较佳实施例的早产儿视网膜病变治疗方式的自动识别方法DenseNet-121模型;
图3是本发明较佳实施例的早产儿视网膜病变治疗方式的自动识别方法ResNet-18模型;
图4是本发明较佳实施例的早产儿视网膜病变治疗方式的自动识别方法治疗方式一热力图;
图5是本发明较佳实施例的早产儿视网膜病变治疗方式的自动识别方法治疗方式二热力图;
图6是本发明较佳实施例的早产儿视网膜病变治疗方式的自动识别方法处理前图像;
图7是本发明较佳实施例的早产儿视网膜病变治疗方式的自动识别方法处理后图像;
图8是本发明较佳实施例的早产儿视网膜病变治疗方式的自动识别***原理框图。
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明的部分实施例,而不是全部实施例。基于本发明的实施例,本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明较佳实施例的一种早产儿视网膜病变治疗方式的自动识别方法,如图1所示,同时参阅图2-图7,包括以下步骤:
S10、构建多个二元分类器模型,包括;ResNet-18模型和DenseNet-121模型;
S20、采用ResNet-18模型对目标RetCam图像进行ROP识别;
S30、采用DenseNet-121模型对识别后的RetCam图像进行ROP筛选;
S40、采用ResNet-18模型对筛选后的RetCam图像进行治疗预测。
本发明根据RetCam图像特征进行识别的,纳入的图像资料都是早产儿的筛查图像,早产儿视网膜病变也只是早产儿才发生的,成人没有,因此病变也是特有的,识别的原理是根据这种病变发展的不同进展来识别;
本发明方法的模型是基于单个训练图像开发的,它在图像级别上生成预测,为了获得眼水平和患者水平的结果,本方法采用了常用的均值池化策略,即分别取属于同一只眼睛和同一患者的图像的概率的平均值;本发明是使用PyTorch包实现的。所有模型都在具有10个2.2GHz CPU核、384GB的RAM和1个NVIDIA GeForce RTX 2080Ti GPU的GPU服务器上进行训练。我们采用Adam优化器,初始学习率为0.0001,beta1为0.9,beta2为0.999来训练模型,并采用基于步长的衰减策略来调整学习率,即每2500步训练乘以一个因子0.1。批量大小设置为12。本研究采用二元交叉熵损失作为目标函数。
需要注意的是,训练集中存在数据不平衡的问题,因此我们采用动态数据重采样来平衡每批训练中的两个类,有效的缓解了训练过程中的模型偏差。
我们收集的数据集中RetCam图像的大小可以是不同的(例如480×640,1200×1600),我们将所有原始图像调整为240×320,以确保长宽比保持不变,并且图像不会失真。另一方面,它也可以在很大程度上节省计算成本,并使模型从增加的批大小中获益,从而增强更稳定的学习。然后,我们对输入图像进行标准化,使其均值和单位方差为零,并归一化到[0,1]的范围内。
此外,采用数据增广方法丰富训练集,增强模型对不同扰动的鲁棒性。
最初使用了两种类型的深度经典CNN架构,即ResNet-18[27]和DenseNet-121来完成三个任务,并观察到DenseNet-121在ROP筛选方面取得了更好的性能,而ResNet-18在其余两个任务中表现更好。因此,最终使用DenseNet-121(图2)进行ROP筛选,使用ResNet-18(图3)进行几种ROP识别和治疗预测。
ResNet在残差块中引入身份捷径,以缓解深度网络中经常出现的梯度消失问题,此外,它还可以增强特征的传播,促进特征的重用;与ResNet不同的是,DenseNet对所有后续层采用密集拼接,避免了直接求和,在参数较少的情况下具有更好的特征使用效率;将三个模型(1个ResNet-18模型和2个DenseNet-121模型)的最后一个全连接层的输出大小改为2,其中Softmax层将两个类概率标准化为[0,1]和1的和。
在患者水平上进行随机分割,可以避免模型性能在测试集上的泄漏和偏差估计;在训练过程中,为了丰富训练样本,在水平和垂直方向上进行概率为50%的随机翻转,可以缓解过拟合问题;在推理阶段,将未经数据增强的调整后的图像输入到网络中进行预测;
如图4所示的热力图为治疗方式一(需要玻璃体腔注射IVI),图5所示的热力图为治疗方式二(需要视网膜激光光凝),下表为两个方式对于激光主要的识别的准确性等结果;
未处理过的图像如图6所示,处理过的图像如图7所示。
一种早产儿视网膜病变治疗方式的自动识别***,如图8所示,包括多个二元分类器模型:多个二元分类器模型中至少包括:
ResNet-18模型100,用于对目标RetCam图像进行ROP识别和治疗预测;和,
DenseNet-121模型101,用于对目标RetCam图像进行ROP筛选;
使用ResNet-18模型对目标RetCam图像进行ROP识别和治疗预测,ResNet-18模型在残差块中引入身份捷径,以缓解深度网络中经常出现的梯度消失问题,此外,它还可以增强特征的传播,促进特征的重用,而使用DenseNet-121模型对目标RetCam图像进行ROP筛选,DenseNet对所有后续层采用密集拼接,避免了直接求和,在参数较少的情况下具有更好的特征使用效率;应用ResNet-18模型和DenseNet-121模型的结合使用,可以实现早产儿视网膜病变治疗方式的自动识别,且识别结果准确。
优选的,多个二元分类器模型包括:1个ResNet-18模型和2个DenseNet-121模型;1个ResNet-18模型和2个DenseNet-121模型的最后一个全连接层的输出大小为2,其中Softmax层将两个类概率标准化为[0,1]和1的和;
在患者水平上进行随机分割,可以避免模型性能在测试集上的泄漏和偏差估计;在训练过程中,为了丰富训练样本,在水平和垂直方向上进行概率为50%的随机翻转,可以缓解过拟合问题;在推理阶段,将未经数据增强的调整后的图像输入到网络中进行预测;
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种早产儿视网膜病变治疗方式的自动识别方法,其特征在于,包括以下内容:
构建多个二元分类器模型,包括:ResNet-18模型和DenseNet-121模型;
采用所述ResNet-18模型对目标RetCam图像进行ROP识别;
采用所述DenseNet-121模型对识别后的RetCam图像进行ROP筛选;
采用所述ResNet-18模型对筛选后的RetCam图像进行治疗预测。
2.根据权利要求1所述的早产儿视网膜病变治疗方式的自动识别方法,其特征在于,所述方法还包括:
多个二元分类器模型包括:1个ResNet-18模型和2个DenseNet-121模型。
3.根据权利要求2所述的早产儿视网膜病变治疗方式的自动识别方法,其特征在于,所述方法还包括:
将1个ResNet-18模型和2个DenseNet-121模型的最后一个全连接层的输出大小为2,其中Softmax层将两个类概率标准化为[0,1]和1的和。
4.根据权利要求1-3任一所述的早产儿视网膜病变治疗方式的自动识别方法,其特征在于,所述方法还包括:
在构建多个二元分类器模型的训练过程中,在水平和垂直方向上进行概率为50%的随机翻转。
5.根据权利要求1-3任一所述的早产儿视网膜病变治疗方式的自动识别方法,其特征在于,所述方法还包括:
在构建多个二元分类器模型的推理阶段,将未经数据增强的调整后的图像输入到网络中进行预测。
6.根据权利要求1-3任一所述的早产儿视网膜病变治疗方式的自动识别方法,其特征在于,所述方法还包括:
将RetCam图像的测试集在患者水平上进行随机分割处理。
7.一种早产儿视网膜病变治疗方式的自动识别***,应用于如权利要求1-6任一所述的早产儿视网膜病变治疗方式的自动识别方法,其特征在于,包括多个二元分类器模型:多个二元分类器模型中至少包括:
ResNet-18模型,用于对目标RetCam图像进行ROP识别和治疗预测;和,
DenseNet-121模型,用于对目标RetCam图像进行ROP筛选。
8.根据权利要求7所述的早产儿视网膜病变治疗方式的自动识别***,其特征在于,
多个二元分类器模型包括:1个ResNet-18模型和2个DenseNet-121模型;1个ResNet-18模型和2个DenseNet-121模型的最后一个全连接层的输出大小为2,其中Softmax层将两个类概率标准化为[0,1]和1的和。
9.根据权利要求7所述的早产儿视网膜病变治疗方式的自动识别***,其特征在于,
在构建多个二元分类器模型的训练过程中,在水平和垂直方向上进行概率为50%的随机翻转。
10.根据权利要求7所述的早产儿视网膜病变治疗方式的自动识别***,其特征在于,
在构建多个二元分类器模型的推理阶段,将未经数据增强的调整后的图像输入到网络中进行预测。
CN202310748335.0A 2023-06-25 2023-06-25 早产儿视网膜病变治疗方式的自动识别方法及*** Pending CN116823760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310748335.0A CN116823760A (zh) 2023-06-25 2023-06-25 早产儿视网膜病变治疗方式的自动识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310748335.0A CN116823760A (zh) 2023-06-25 2023-06-25 早产儿视网膜病变治疗方式的自动识别方法及***

Publications (1)

Publication Number Publication Date
CN116823760A true CN116823760A (zh) 2023-09-29

Family

ID=88126911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310748335.0A Pending CN116823760A (zh) 2023-06-25 2023-06-25 早产儿视网膜病变治疗方式的自动识别方法及***

Country Status (1)

Country Link
CN (1) CN116823760A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648344A (zh) * 2019-09-12 2020-01-03 电子科技大学 一种基于局部病灶特征的糖尿病视网膜病变分类装置
CN110992364A (zh) * 2019-12-31 2020-04-10 重庆艾可立安医疗器械有限公司 视网膜图像识别方法、装置、计算机设备和存储介质
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN112308830A (zh) * 2020-10-27 2021-02-02 苏州大学 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法
CN112733961A (zh) * 2021-01-26 2021-04-30 苏州大学 基于注意力机制的糖尿病视网膜病变的分类方法及***
AU2021102226A4 (en) * 2021-04-28 2021-06-17 Ahamed, Suhail MR Ai system on chest ctx-ray image classification using mtl and sgdm optimization training
CN113160119A (zh) * 2021-02-04 2021-07-23 广州中医药大学第一附属医院 一种基于深度学习的糖尿病视网膜病变图像分类方法
CN114998210A (zh) * 2022-04-29 2022-09-02 华南理工大学 一种基于深度学习目标检测的早产儿视网膜病变检测***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648344A (zh) * 2019-09-12 2020-01-03 电子科技大学 一种基于局部病灶特征的糖尿病视网膜病变分类装置
CN110992364A (zh) * 2019-12-31 2020-04-10 重庆艾可立安医疗器械有限公司 视网膜图像识别方法、装置、计算机设备和存储介质
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN112308830A (zh) * 2020-10-27 2021-02-02 苏州大学 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法
CN112733961A (zh) * 2021-01-26 2021-04-30 苏州大学 基于注意力机制的糖尿病视网膜病变的分类方法及***
CN113160119A (zh) * 2021-02-04 2021-07-23 广州中医药大学第一附属医院 一种基于深度学习的糖尿病视网膜病变图像分类方法
AU2021102226A4 (en) * 2021-04-28 2021-06-17 Ahamed, Suhail MR Ai system on chest ctx-ray image classification using mtl and sgdm optimization training
CN114998210A (zh) * 2022-04-29 2022-09-02 华南理工大学 一种基于深度学习目标检测的早产儿视网膜病变检测***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAIYING LEI, XIANLU ZENG, SHAN HUANG, RUGANG ZHANG, GUOZHEN CHEN, JINFENG ZHAO, TIANFU WANG, JIANTAO WANG & GUOMING ZHANG: "Automated detection of retinopathy of prematurity by deep attention network", HTTPS://LINK.SPRINGER.COM/ARTICLE/10.1007/S11042-021-11208-0, 4 September 2021 (2021-09-04) *
周鹏: "基于深度学习的眼底疾病诊断研究", 万方, 15 August 2021 (2021-08-15), pages 4 - 5 *

Similar Documents

Publication Publication Date Title
Phasuk et al. Automated glaucoma screening from retinal fundus image using deep learning
Zhao et al. Sea-net: Squeeze-and-excitation attention net for diabetic retinopathy grading
US11062444B2 (en) Artificial intelligence cataract analysis system
Bitto et al. Multi categorical of common eye disease detect using convolutional neural network: a transfer learning approach
Baid et al. Detection of pathological myopia and optic disc segmentation with deep convolutional neural networks
Firke et al. Convolutional neural network for diabetic retinopathy detection
Himami et al. Deep learning in image classification using dense networks and residual networks for pathologic myopia detection
Zhao et al. Retinal image classification via vasculature-guided sequential attention
Bakır et al. Using transfer learning technique as a feature extraction phase for diagnosis of cataract disease in the eye
Sharma et al. Harnessing the Strength of ResNet50 to Improve the Ocular Disease Recognition
ARSLAN et al. Detection of cataract, diabetic retinopathy and glaucoma eye diseases with deep learning approach
CN116823760A (zh) 早产儿视网膜病变治疗方式的自动识别方法及***
CN112418290B (zh) 实时oct图像的roi区域预测方法及显示方法
Hatode et al. Evolution and Testimony of Deep Learning Algorithm for Diabetic Retinopathy Detection
Bygari et al. Blindness (Diabetic Retinopathy) Severity Scale Detection
Saju et al. Eye-Vision Net: Cataract Detection and Classification in Retinal and Slit Lamp Images using Deep Network
Jolly et al. Eye Disease Detection using MobiNet
Yadav et al. H-Deep-Net: A deep hybrid network with stationary wavelet packet transforms for Retinal detachment classification through fundus images
Mahadeva et al. Edge Detection and Color Mapping Based Diabetic Retinopathy From Fundus Images
Shurrab et al. Retina disorders classification via OCT scan: a comparative study between self-supervised learning and transfer learning.
Uyar et al. Abc-based weighted voting deep ensemble learning model for multiple eye disease detection
Datta et al. Critical retinal disease detection from optical coherence tomography images by deep convolutional neural network and explainable machine learning
Jose Classification of EYE Diseases Using Multi-Model CNN
Venneti et al. Amdnet: Age-related macular degeneration diagnosis through retinal fundus images using lightweight convolutional neural network
Wang et al. Multi-view-based automatic method for multiple diseases screening in retinal OCT images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination