一种基于深度学习的角膜地形图判别方法及***
技术领域
本发明涉及医学图像处理技术领域,尤其涉及一种基于深度学习的角膜地形图判别方法及***。
背景技术
世界卫生组织最新研究数据报告显示,目前中国近视患者人数多达6亿,19~22岁大学生的视力不良率高达80%以上,有意愿行屈光手术的人群逐年增加。所有意欲进行角膜屈光手术的患者,术前均需通过角膜地形图检查评估角膜形态,以排除手术禁忌。
目前的角膜地形图是基于现代角膜地形图检测技术得到的,采集角膜形态的***有其对应的角膜形态分析软件,可筛查出不适合行角膜屈光手术患者。但是,这种分析的数据基础是白种人的数据库,直接采用目前的***会导致对黄种人角膜类型判别不准确。目前的角膜形态评估均是由屈光手术医生根据临床经验判断的,这种判断一来缺乏具体标准,各个医生得到的结果不尽相同,临床经验较少的医生可能得到不正确的判断结果从而增加手术风险,再者,对角膜形态进行评估需要一定的时间,面对医疗资源本就缺乏的情况,让医生逐个判断患者的角膜形态无疑增加了医生的工作负担,让医生无法处理更为重要的工作,这是对医疗资源的一种浪费。
究其原因在于,现有技术中,缺乏针对角膜地形图的角膜形态深度学习判别技术,实际生活中,需要一种可以自动判断角膜形态的医疗装置,以统一可靠标准判断患者的角膜形态,既减少了医生的工作量,也避免了误判断可能带来的危险。
发明内容
本发明提供了一种基于深度学习的角膜地形图判别方法及***,旨在解决现有技术中缺少对角膜地形图进行深度学习处理分析的角膜形态判别技术的问题。
为实现上述目的,本发明提供了一种基于深度学习的角膜地形图判别方法,包括:
获取待判别角膜地形图并进行图像预处理得到角膜地形特征数据;
将角膜地形特征数据输入角膜地形图判别模型,得到角膜地形图判别模型输出的角膜形态结果。
为实现上述目的,本发明提供了一种基于深度学习的角膜地形图判别***,包括:
待判别数据获取单元,用于获取待判别角膜地形图并进行图像预处理得到角膜地形特征数据;
角膜形态判别单元,用于将角膜地形特征数据输入角膜地形图判别模型,得到角膜地形图判别模型输出的角膜形态结果。
与现有技术相比,本发明公开的一种基于深度学习的角膜地形图判别方法及***,将现有技术中获取的角膜地形图进行预处理得到角膜地形图判别模型可以处理的角膜地形特征数据,将角膜地形特征数据输入角膜地形图判别模型,通过角膜地形图判别模型得到角膜形态结果。通过角膜地形图判别模型对角膜地形图进行分析确定其形态结果,医生可以根据该角膜地形图判别模型输出的结果直接的确定角膜形态,不需要根据角膜地形图进行判断,减少医生的工作,并且,由于本发明所述的角膜地形图判别模型是通过大量已确定形态结果的角膜地形图训练得到的卷积神经网络模型,其预测准确率高,避免了实际中因为医生临床经验不足而可能出现的判断错误的情况。本发明提供的一种基于深度学习的角膜地形图判别方法及***,利用训练好的可靠卷积神经网络模型对角膜地形图进行形态判别,解决了现有技术中缺少对角膜地形图进行处理分析的角膜形态判别技术的问题。
附图说明
图1是本发明一种基于深度学习的角膜地形图判别方法的流程图;
图2是发明对角膜地形图进行图像预处理得到角膜地形特征数据的示意图;
图3是本发明一种基于深度学习的角膜地形图判别***的***框图1;
图4是本发明一种基于深度学习的角膜地形图判别***的***框图2;
图5是本发明一种基于深度学习的角膜地形图判别***的***框图3。
具体实施方式
如图1所示,一种基于深度学习的角膜地形图判别方法,包括:获取待判别角膜地形图并进行图像预处理得到角膜地形特征数据;将角膜地形特征数据输入角膜地形图判别模型,得到角膜地形图判别模型输出的角膜形态结果。
本发明公开的一种基于深度学习的角膜地形图判别方法,将现有技术中获取的角膜地形图进行预处理得到角膜地形图判别模型可以处理的角膜地形特征数据,将角膜地形特征数据输入角膜地形图判别模型,通过角膜地形图判别模型得到角膜形态结果。通过角膜地形图判别模型对角膜地形图进行分析确定其形态结果,医生可以根据该角膜地形图判别模型输出的结果直接的确定角膜形态,不需要根据角膜地形图进行判断,减少医生的工作,并且,由于本发明所述的角膜地形图判别模型是通过大量已确定形态结果的角膜地形图训练得到的卷积神经网络模型,其预测准确率高,避免了实际中因为医生临床经验不足而可能出现的判断错误的情况。本发明提供的一种基于深度学习的角膜地形图判别方法,利用训练好的可靠卷积神经网络模型对角膜地形图进行形态判别,解决了现有技术中缺少对角膜地形图进行深度学习处理分析的角膜形态判别技术的问题。本实施例中,所述的角膜形态结果包括正常角膜、可疑角膜形态异常、早期圆锥角膜、圆锥角膜、近视眼角膜屈光手术后这五种结果,可疑角膜形态异常患者术后出现并发症风险高,而对于早期圆锥角膜、圆锥角膜,不建议进行角膜屈光手术。根据待判别角膜地形图可以直接得到角膜形态结果,确定患者的角膜形态,指导屈光手术决策。
进一步地,所述获取待判别角膜地形图并进行图像预处理得到角膜地形特征数据,包括:获取待判别角膜地形图数据;删除角膜地形图数据中的无效数据,得到有效角膜地形图数据,合并有效角膜地形图数据,得到角膜地形特征数据。
本发明一个优选的实施例中,对于获取到的角膜地形图进行裁剪,仅仅保留有效数据,删除无效数据,避免得到的角膜地形特征数据包含大量无用数据,影响卷积神经网络的识别判断,同时降低数据处理量可以提高模型运算效率。
现代角膜地形图(corneal topography)检测是基于角膜图像的投射,由Placido盘组成,其原理为先在角膜上投射一个同心圆的光环,之后再由视频照相机捕获由角膜的泪膜层所反射出来的环的图像,最后通过计算机软件***对这些数据进行分析。同心环间距离越小,则该处角膜的屈光度就越高,计算机可将这些数据描绘成彩色热度图。但基于Placido盘的检测***所采集的仅仅是角膜前表面的数据,而无角膜后表面的数据,而角膜后表面是角膜扩张性疾病更为敏感的特征。Scheimpflug照相机则可解决这个问题,其为一个旋转的照相机,可产生三维图像,包含了从角膜前表面到晶体后表面的所有信息。角膜断层图(corneal tomography)就是用于描绘基于Scheimpflug图像仪器所产生的图像。但我们临床上常说的角膜地形图含义包括了角膜断层图像。利用Scheimpflug照相机技术的***可提供整个角膜前后表面的地形和厚度,即可通过计算机软件处理生成角膜前表面高度图、后表面高度图、角膜厚度图等,角膜曲率图也可以从高度图的数据而导出。目前使用Scheimpflug照相机的仪器主要有4种,分别为TMS-5(日本Tomey公司),Pentacam HR(德国OCULUS公司)、Sirius(意大利CSO公司)、和Galilei(瑞士Ziemer公司)。我国较常用的角膜地形图仪器为Pentacam和Sirius。Pentacam为旋转的Scheimpflug照相机与静态照相机的结合,根据其照片所得到的高度数据,可重建出它的标准报告页面包括角膜前表面轴向曲率图、角膜前表面高度图、角膜后表面高度图、角膜厚度图。Sirius的角膜地形图***则是Placido盘与一个单旋转的Scheimpflug***的结合,其标准报告页面包括角膜前表面切向曲率图、角膜前表面高度图、角膜后表面高度图、角膜厚度图,但这些数据有其自身***的算法,无法与Pentacam中相应图形相互比较。文献报道几种角膜地形图仪器都有很高的可重复性,在测量角膜散光时,Pentacam的结果更可靠。由于Pentacam屈光四联图较好的反映了角膜真实形态,故而选择Pentacam屈光四联图作为本实施例中的角膜地形图数据。
Pentacam屈光四联图的原始图片包括两部分,左侧为患者资料及眼前节参数,右侧为四联屈光构成图(角膜前表面轴向曲率图、角膜前表面高度图、角膜后表面高度图、角膜厚度图,位置依次为左上、右上、右下、左下),该界面呈现了对临床医生筛选屈光手术患者最直接的四幅图。角膜前表面轴向曲率图中陡峭区域用暖色调(红色和橙色)显示,扁平区域用冷色调(绿色和蓝色)显示。形态可表现为对称领结、不对称领结、圆形、椭圆形、不规则等。角膜前后表面高度图是将所检测的角膜表面通过与参考表面相匹配来描述角膜高度的细节。高于参考表面的点被认为是增高,用正值表示,低于参考表面的点被认为是凹陷,用负值表示,同样用冷暖色调显示出角膜形态。由于角膜高度不受轴向、方向、角膜曲率的影响,所以能更准确的检测出角膜异常。角膜前后表面高度图的参考表面默认设置直径为8.0mm,可根据需要调整。角膜厚度图是整个角膜厚度分布的图形表示。测量结果同样显示在彩色编码的地形图上,红色和橙色代表较薄的区域,蓝色和绿色代表角膜较厚的区域。
现有技术中,屈光手术医生需根据四图形状和颜色特征等综合分析,对角膜形态做出判断。Pentacam眼前节分析***内还有辅助医生行角膜形态判别的***如BAD-D扩张分析、圆锥角膜ABCD分级方法;Sirius三维断层角膜地形图***则根据SVM(支持向量机)算法将角膜形态分为正常(Normal)、疑似圆锥角膜(Suspect keratoconus)、圆锥角膜(Keratoconus compatible)、异常或治疗后(Abnormal or treated)、近视眼矫正术后(Myopic Post-OP)。国内屈光手术医生可联合各***的判别做出分析,做出术前初步诊断。然而,两个***依据的判别标准主要依据白种人的数据库,针对中国近视人群的判断还需根据手术医生经验及需一定时间的读图流程。
故而,本实施例中,选择Pentacam屈光四联图作为本实施例中的角膜地形图数据,并对原始的Pentacam屈光四联图仅保留对角膜形态判别最重要的四联屈光构成图(角膜前表面轴向曲率图、角膜前表面高度图、角膜后表面高度图、角膜厚度图,位置依次为左上、右上、右下、左下)。
如图2所示,本实施例中,针对Pentacam屈光四联图的预处理步骤具体为,将屈光四联图(即原始角膜地形图数据)左侧无用区域裁剪(即删除无效数据),右侧有效区域拼接(即合并有效数据),得到预处理图像(即角膜地形特征数据);将像素值【0,255】缩放到【0,1】,进行数据标准化。原始角膜地形图数据包括四个图像部分:前表面轴向曲率图、前表面高度图、后表面高度图、角膜厚度图。最终判别结果为根据四个图像部分形态、热度、BAD-D扩张分析结果,结合大数据特征及专家经验知识综合分析。由于本实施例对原始角膜地形图中提取有效区域,使得训练得到的模型可以更加准确精准地地位和判断角膜地形图的角膜形态。
进一步地,所述角膜地形图判别模型的获得步骤包括:获取角膜判别样本数据集,所述角膜判别样本数据集包括训练集、验证集、测试集;将训练集和验证集输入卷积神经网络模型,计算模型输出值与角膜判别样本数据集中对应的目标值之间的误差和模型预测准确率;根据残差更新模型权重,将训练集和验证集输入更新后的卷积神经网络模型,计算模型输出值与角膜判别样本数据集中对应的目标值之间的误差和模型预测准确率;将更新次数达到预定值的卷积神经网络模型作为角膜地形图判别模型。
本发明一个优选的实施例中,角膜地形图判别模型为根据大量角膜判别样本数据训练得到的卷积神经网络模型。由于卷积神经网络模型具有分类准确的特点,本实施例通过大量已确定角膜形态结果的角膜地形图训练卷积神经网络模型得到,可以保证该角膜地形图判别模型的判别准确性。
本实施例中,卷积神经网络模型的训练过程为:
S1,网络进行权重的初始化;
S2,输入训练集数据经过卷积层、池化层、全连接层的向前传播得到输出值;
S3,求出网络的输出值与目标值之间的误差以及模型监控指标准确率;
S4,对验证集,重复S2、S3;
S5,根据残差更新网络的权重;
S6,重复S2、S3、S4,直到迭代次数达到预定值时,结束训练。
在本实施例中,卷积神经网络模型选用Resnet模型,其损失函数式是:
式中weight{yj=t}表示第t类的权重,表示防止过拟合的惩罚项,其中为惩罚项的权值,x表示输入的图片,y表示对应的类别,m、n、kw和k代表批量。
经典的卷积神经网络CNN模型有LeNet、AlexNet、VGGNet、Xception、Inception、ResNet、ZFNet、DenseNet模型等。一般来说网络越深效果越好,但在深度较大的神经网络中,深度学习由于网络深度会引起梯度消失和梯度***。传统对应的解决方案是数据的初始化(normlizedinitializatiton)和正则化(batch normlization),但是该解决方案虽解决了梯度的问题,却会造成网络性能的退化,即深度加深了,准确率却下降了。CNN史上的一个里程碑事件是ResNet模型的出现。ResNet模型可以很好地解决退化问题和梯度问题,从而可以训练出更深的CNN模型,从而实现更高的准确度。因此,这里选用较好性能的Resnet模型。
进一步地,所述获取角膜判别样本数据集包括:获取待判别角膜地形图数据和对应类别结果;删除角膜地形图数据中的无效数据,得到有效角膜地形图数据,合并有效角膜地形图数据,提取得到角膜地形特征数据;根据角膜地形特征数据和对应类别结果得到角膜判别样本数据集中的样本数据。
本发明一个优选的实施例中,对于获取到的角膜地形图进行裁剪,仅仅保留有效数据,删除无效数据,避免得到的角膜地形特征数据包含大量无用数据,影响卷积神经网络的识别判断,同时降低数据处理量可以提高模型运算效率。
本实施例中,针对Pentacam屈光四联图的预处理步骤具体为,将屈光四联图(即原始角膜地形图数据)左侧无用区域裁剪(即删除无效数据),右侧有效区域拼接(即合并有效数据),得到预处理图像(即角膜地形特征数据);将处理后图像分为训练集、验证集及测试集;将像素值【0,255】缩放到【0,1】,进行数据标准化。原始角膜地形图数据包括四个图像部分:前表面轴向曲率图、前表面高度图、后表面高度图、角膜厚度图。最终判别结果为根据四个图像部分形态、热度,结合大数据特征及专家经验知识综合分析。由于本实施例对原始角膜地形图中提取有效区域,使得训练得到的模型可以更加准确精准地地位和判断角膜地形图的角膜形态。
进一步地,所述角膜地形图判别模型的获得步骤还包括:将测试集输入模型更新次数达到预定值的卷积神经网络模型,计算模型预测准确率,当模型预测准确率不小于预设阈值,则更新后的卷积神经网络模型即为角膜地形图判别模型;当模型预测准确率小于预设阈值,扩大训练集样本数量,再次训练卷积神经网络模型,直至模型预测准确率不小于预设阈值。
本发明一个优选的实施例中,通过测试集验证卷积神经网络模型判别角膜形态的准确率,达到准确率的卷积神经网络模型作为角膜地形图判别模型使用。对于不,满足准确率要求的卷积神经网络模型则采用更多的训练样本对卷积神经网络模型重复前述实施例中的训练步骤,以保证得到的角膜地形图判别模型具有较高的判别准确率。
如图3所示,一种基于深度学习的角膜地形图判别方法,包括:
待判别数据获取单元,用于获取待判别角膜地形图并进行图像预处理得到角膜地形特征数据;
角膜形态判别单元,用于将角膜地形特征数据输入角膜地形图判别模型,得到角膜地形图判别模型输出的角膜形态结果。
本发明公开的一种基于深度学习的角膜地形图判别***,将现有技术中获取的角膜地形图进行预处理得到角膜地形图判别模型可以处理的角膜地形特征数据,将角膜地形特征数据输入角膜地形图判别模型,通过角膜地形图判别模型得到角膜形态结果。通过角膜地形图判别模型对角膜地形图进行分析确定其形态结果,医生可以根据该角膜地形图判别模型输出的结果直接的确定角膜形态,不需要根据角膜地形图进行判断,减少医生的工作,并且,由于本发明所述的角膜地形图判别模型是通过大量已确定形态结果的角膜地形图训练得到的卷积神经网络模型,其预测准确率高,避免了实际中因为医生临床经验不足而可能出现的判断错误的情况。本发明提供的一种基于深度学习的角膜地形图判别***,利用训练好的可靠卷积神经网络模型对角膜地形图进行形态判别,解决了现有技术中缺少对角膜地形图进行深度学习处理分析的角膜形态判别技术的问题。本实施例中,所述的角膜形态结果包括正常角膜、可疑角膜形态异常、早期圆锥角膜、圆锥角膜、近视眼角膜屈光手术后这五种结果,根据待判别角膜地形图可以直接得到角膜形态结果,确定患者的角膜形态。
如图4所示,所述待判别数据获取单元包括:
待判别角膜地形图数据获取模块,用于获取待判别角膜地形图数据;
待判别角膜地形特征数据获取模块,用于删除角膜地形图数据中的无效数据,得到有效角膜地形图数据,合并有效角膜地形图数据,得到角膜地形特征数据。
本发明一个优选的实施例中,对于获取到的角膜地形图进行裁剪,仅仅保留有效数据,删除无效数据,避免得到的角膜地形特征数据包含大量无用数据,影响卷积神经网络的识别判断,同时降低数据处理量可以提高模型运算效率。本实施例中,选择Pentacam屈光四联图作为本实施例中的角膜地形图数据,并对原始的Pentacam屈光四联图仅保留对角膜形态判别最重要的四联屈光构成图(角膜前表面轴向曲率图、角膜前表面高度图、角膜后表面高度图、角膜厚度图,位置依次为左上、右上、右下、左下)。将屈光四联图(即原始角膜地形图数据)左侧无用区域裁剪(即删除无效数据),右侧有效区域拼接(即合并有效数据),得到预处理图像(即角膜地形特征数据);将像素值【0,255】缩放到【0,1】,进行数据标准化。由于本实施例对原始角膜地形图中提取有效区域,使得训练得到的模型可以更加准确精准地地位和判断角膜地形图的角膜形态。
如图4所示,所述角膜形态判别单元包括:
样本数据集获取模块,用于获取角膜判别样本数据集,所述角膜判别样本数据集包括训练集、验证集、测试集;
模型训练模块,用于将训练集和验证集输入卷积神经网络模型,计算模型输出值与角膜判别样本数据集中对应的目标值之间的误差和模型预测准确率;
模型更新模块,用于根据残差更新模型权重,将训练集和验证集输入更新后的卷积神经网络模型,计算模型输出值与角膜判别样本数据集中对应的目标值之间的误差和模型预测准确率;
模型生成模块,用于模型权重更新次数达到预定值,根据更新后的卷积神经网络模型得到角膜地形图判别模型。
本发明一个优选的实施例中,角膜地形图判别模型为根据大量角膜判别样本数据训练得到的卷积神经网络模型。由于卷积神经网络模型具有分类准确的特点,本实施例通过大量已确定角膜形态结果的角膜地形图训练卷积神经网络模型得到,可以保证该角膜地形图判别模型的判别准确性。经典的卷积神经网络CNN模型有LeNet、AlexNet、VGGNet、Xception、Inception、ResNet、ZFNet、DenseNet模型等。一般来说网络越深效果越好,但在深度较大的神经网络中,深度学习由于网络深度会引起梯度消失和梯度***。传统对应的解决方案是数据的初始化(normlizedinitializatiton)和正则化(batch normlization),但是该解决方案虽解决了梯度的问题,却会造成网络性能的退化,即深度加深了,准确率却下降了。CNN史上的一个里程碑事件是ResNet模型的出现。ResNet模型可以很好地解决退化问题和梯度问题,从而可以训练出更深的CNN模型,从而实现更高的准确度。因此,本实施例选用较好性能的Resnet模型。
如图5所示,所述样本数据集获取模块包括:
样本角膜地形图获取模块,用于获取待判别角膜地形图数据和对应类别结果;
样本特征数据获取模块,用于删除角膜地形图数据中的无效数据,得到有效角膜地形图数据,合并有效角膜地形图数据,提取得到角膜地形特征数据;
样本数据生成模块,用于根据角膜地形特征数据和对应类别结果得到角膜判别样本数据集中的样本数据。
本发明一个优选的实施例中,对于获取到的角膜地形图进行裁剪,仅仅保留有效数据,删除无效数据,避免得到的角膜地形特征数据包含大量无用数据,影响卷积神经网络的识别判断,同时降低数据处理量可以提高模型运算效率。
如图5所示,所述角膜形态判别单元还包括:
模型测试模块,用于将测试集输入模型更新次数达到预定值的卷积神经网络模型,计算模型预测准确率,当模型预测准确率不小于预设阈值,则更新后的卷积神经网络模型即为角膜地形图判别模型;当模型预测准确率小于预设阈值,扩大训练集样本数量,再次训练卷积神经网络模型,直至模型预测准确率不小于预设阈值。
本发明一个优选的实施例中,通过测试集验证卷积神经网络模型判别角膜类型的准确率,达到准确率的卷积神经网络模型作为角膜地形图判别模型使用。对于不,满足准确率要求的卷积神经网络模型则采用更多的训练样本对卷积神经网络模型重复前述实施例中的训练步骤,以保证得到的角膜地形图判别模型具有较高的判别准确率。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。