CN117237749A - 一种眼轴长度预测方法、***、设备 - Google Patents
一种眼轴长度预测方法、***、设备 Download PDFInfo
- Publication number
- CN117237749A CN117237749A CN202311201719.7A CN202311201719A CN117237749A CN 117237749 A CN117237749 A CN 117237749A CN 202311201719 A CN202311201719 A CN 202311201719A CN 117237749 A CN117237749 A CN 117237749A
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- module
- features
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 20
- 238000003908 quality control method Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012417 linear regression Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 4
- 201000010099 disease Diseases 0.000 abstract description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 210000001508 eye Anatomy 0.000 description 53
- 230000007246 mechanism Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010025421 Macule Diseases 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 230000004379 myopia Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 201000009487 Amblyopia Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 206010059012 Nipple oedema Diseases 0.000 description 1
- 208000029091 Refraction disease Diseases 0.000 description 1
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 206010047513 Vision blurred Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004430 ametropia Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及智能医疗领域，具体涉及一种眼轴长度预测方法、***、设备。包括获取眼底照片；将所述眼底照片输至回归模型中进行预测得到眼底照片的眼轴长度，其中，所述回归模型由第一卷积层、注意卷积模块、全连接层组成，所述眼底照片通过第一卷积层得到特征向量，所述特征向量通过注意卷积模块得到增强特征，所述增强特征通过全连接层得到预测的眼轴长度；所述注意卷积模块由卷积模块和DWM模块组成，所述DWM模块包括EMA注意力模块和自注意力模块。本申请结合深度学习技术对眼底照片进行眼轴长度预测，该自动化算法有助于眼科疾病的诊断和治疗，具体良好的实用性和普适性。
Description
技术领域
本申请涉及智能医疗领域，具体涉及一种眼轴长度预测方法、***、设备、计算机可读存储介质。
背景技术
眼轴长度是眼睛中最重要的结构之一，它是度量眼睛前后轴长度的标准。眼轴长度的准确测量对眼科医生而言非常重要，它与眼科疾病的发病率密切相关，如近视、弱视、屈光不正等。因此，准确测量眼轴长度是眼科诊断和治疗的重要环节之一。传统的眼轴长度的测量通常通过A超和光轴扫描仪等设备来完成。这些仪器可以直接测量眼球的前后轴长度，但是这些设备较为昂贵，且需要专业人员手动进行操作，存在较大的误差，对于普通医疗机构或者是一些不便前往医院的人群而言，不太方便，此外，在临床方面，眼底照片数据量少、照片质量参差不齐，对于眼轴长度的测量增加了重重阻碍。现如今，计算机视觉技术的发展为眼轴长度测量提供一种新的途径，利用计算机视觉技术自动预测眼轴长度，避免人为干扰因素和设备限制，但是也存在预测精度不足、模型泛化能力不足的问题，因而使用智能化技术进行眼轴长度测量仍是热门的研究方向。
发明内容
针对模型预测眼轴长度精度不足、模型泛化能力不足的问题，本申请结合深度学习技术提出一种眼轴长度预测方法，该方法在训练完成后能够对输入的眼底照片自动进行眼轴长度预测，具体包括：
获取眼底照片；
将所述眼底照片输至回归模型中进行预测得到眼底照片的眼轴长度，其中，所述回归模型由第一卷积层、注意卷积模块、全连接层组成，所述眼底照片通过第一卷积层得到特征向量，所述特征向量通过注意卷积模块得到增强特征，所述增强特征通过全连接层得到预测的眼轴长度；所述注意卷积模块由卷积模块和DWM模块组成，所述特征向量在卷积模块中进行深度卷积得到卷积特征，所述卷积特征通过DWM模块进行特征增强得到增强特征，所述DWM模块包括EMA注意力模块和自注意力模块；所述卷积特征经过EMA模块进行加权计算得到加权特征，所述卷积特征经过自注意力模块学习特征之间的联系得到关系特征，将加权特征与关系特征融合得到增强特征。
进一步，所述EMA模块依次由池化层、注意力层、分组归一化层、激活函数层、Matmul层组成，所述卷积特征在所述池化层进行降维处理后输至所述注意力层，注意力层中采用m个子通道并行加权并建立局部跨通道交互得到m个特征张量，m为≥1的自然数，所述分组归一化层对特征张量进行分组归一化处理得到多组特征矩阵；所述激活函数层通过激活函数进行非线性映射，所述Matmul层对多组特征矩阵进行融合得到加权特征，所述自注意力模块依次由嵌入层、自注意力层、激活函数层组成，所述卷积特征通过自注意力模块学习相邻卷积特征的关系得到关系特征。
进一步，所述EMA模块还包括维度转换层，所述维度转换层是用于对输入向量进行维度转换；所述自注意力模块还包括dropout层，所述dropout层对自注意力层的神经元进行加权处理，改变每次学习神经元的个数。
所述特征向量依次经过n组注意卷积模块后再进行全连接层预测，n为≥1的自然数，其中，所述注意卷积模块中的卷积模块包括下采样层、残差卷积层，所述特征向量经过下采样层降维后利用残差卷积层进行残差卷积得到卷积特征；所述回归模型还包括最大池化层，所述最大池化层对所述增强特征进行特征降维得到低维度特征，所述低维度特征通过所述全连接层进行分类预测。
所述方法还包括质控模型，所述质控模型通过ConvNEXT网络模型对眼底照片进行特征识别得到高质量照片，当输入的眼底照片通过质控模型是才能进行回归预测，当输入的眼底照片质量不达标时，则停止进行回归预测。
所述回归模型采用下列的一种或几种：线性回归、AdaBoost、支持向量机、卷积神经网络，其中所述卷积神经网络采用RestNET50网络进行特征学习得到眼轴长度的预测结果，所述RestNET50网络的训练权重是基于ImageNET模型的预训练权重二次训练高质量照片后进行调整得到的。
所述方法还包括数据预处理，所述数据预处理包括下列的一种或几种：灰度化、二值化、图像增强、去噪处理、图像增广，其中所述图像增广包括水平翻转、垂直翻转、对比度变换、尺度变换，对眼底照片进行所述图片增广后将所述眼底照片转换为张量，并对所述张量进行归一化处理，所述归一化处理中对图片RGB三个通道的均值和方差取值进行限定。
本申请的目的在于提供一种眼轴长度预测***，包括：
数据获取模块：获取眼底照片；
回归预测模块：将所述眼底照片输至回归模型中进行预测得到眼底照片的眼轴长度，其中，所述回归模型由第一卷积层、注意卷积模块、全连接层组成，所述眼底照片通过第一卷积层得到特征向量，所述特征向量通过注意卷积模块得到增强特征，所述注意卷积模块由卷积模块和DWM模块组成，所述特征向量在卷积模块中进行深度卷积得到卷积特征，所述卷积特征通过DWM模块进行特征增强得到增强特征，所述DWM模块包括EMA注意力层和自注意力层；所述卷积特征经过EMA模块进行加权计算得到加权特征，所述卷积特征经过自注意力模块学习特征之间的联系得到关系特征，将加权特征与关系特征融合得到增强特征；所述增强特征通过全连接层得到预测的眼轴长度。
本申请的目的在于提供一种眼轴长度预测设备，包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现任意一项上述的一种眼轴长度预测方法。
本申请的目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任意一项上述的一种眼轴长度预测方法。
本申请的优势：
1.为了增强模型的性能，本申请在回归模型中添加了DWM模块，该模块是一种特殊的注意力机制，由EMA注意力模块和自注意力模块组成，实现对输入特征的调整和加权，增强模型对有用信息的关注度。
2.针对眼底照片质量参差不齐的问题，本申请使用质控模型(ConvNeXt网络)筛选眼底照片，去除质量较差的照片，确保模型在进行训练前有较好的数据质量，进而保证模型对有效特征的学习，提高模型的可用性。
3.针对数据集少，模型泛化能力不足的问题，本申请在使用眼底照片数据集进行训练前，先使用ImageNet模型预训练的权重参数(包括质控模型和回归模型)，再利用眼底照片数据集进行训练并进行微调，使得整个训练过程能获得深层次的特征学习，同时避免模型过拟合的问题。
4.本申请提出的方法包括质控模型和回归模型，当输入的眼底照片通过质控模型后才能进行回归预测，当输入的眼底照片质量无法通过质控模型则无法进行下一步训练，进而确保整体训练的模型能够学习高质量的特征，提高整体模型的可靠性。
5.为了增强模型的泛化能力，对训练数据进行数据预处理，包括图片翻转、图片缩放、对比度变换、归一化处理，便于模型计算和处理。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的一种眼轴长度预测方法流程示意图；
图2为本发明实施例提供的一种眼轴长度预测***示意图；
图3为本发明实施例提供的一种眼轴长度预测设备示意图；
图4为本发明实施例提供的眼轴回归流程图；
图5为本发明实施例提供的眼底照片质控模块结构图；
图6为本发明实施例提供的眼轴回归模块结构图；
图7为本发明实施例提供的眼轴回归训练loss变化图；
图8为本发明实施例提供的测试集结果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
图1本发明实施例提供的一种眼轴长度预测方法示意图，具体包括：
S101：获取眼底照片；
在一个实施例中，眼底通常指的是眼球后方内部，由视盘、黄斑、视网膜以及部分血管共同组成，呈现橘红色，视盘应呈现明亮的微黄色，近似椭圆形，视网膜汇聚于视盘中心位置，观察视盘的变化，如果发生异常变化，通常会提示出现了视网膜病变，通常可通过影像学技术探查眼底情况，如检影镜，窥视视网膜的变化，了解视网膜上血管的粗细、走向，明确动脉的对光反射状态及出血、白色斑点和视***水肿的情况。
在一个实施例中，眼轴长度(Axial Eye Length)是一种反映眼球生长的指标，通常指眼球的前后径，是指角膜顶点到黄斑的长度。通常眼轴长度随着年龄的增长而增长，如果眼球先天发育异常，导致眼轴过长或过短，则会增加罹患眼病的概率。眼轴长度的异常可以导致近视眼、远视眼和青光眼等常见眼科疾病，引起视物模糊、眼底病变等多种表现。
在一个具体实施例中，本发明统计了温州大学生的眼轴数据，数据量达到了10000以上，涵盖了从大一到大四各个年级的学生，使得数据量和数据多样性都有的保证。这些数据被分为训练集、验证集、测试集，其中训练集：10847张温州大学生眼底彩照及眼轴数据、验证集：2171张温州大学生眼底彩照及眼轴数据、测试集：543张温州大学生眼底彩照及眼轴数据。
在一个实施例中，本发明通过质控和预测两个部分实现眼轴长度自动化检测功能，如图4所示，在质控部分利用网络模型筛选优质眼底照，再通过预测部分自动检测眼底照中眼轴长度。
在一个实施例中，ConvNeXt网络并没有在整体的网络框架和搭建思路上做重大的创新，它仅仅是依照Transformer网络的一些先进思想对现有的经典ResNet50/200网络做一些调整改进，将Transformer网络的最新的部分思想和技术引入到CNN网络现有的模块中从而结合这两种网络的优势，提高CNN网络的性能表现。其进行的优化设计主要有以下几点：宏观设计、ResNeXt网络结构、逆残差模块、大卷积核、各种分层微设计。
在一个实施例中，所述方法还包括质控模型，所述质控模型通过ConvNEXT网络模型对眼底照片进行特征识别得到高质量照片，当输入的眼底照片通过质控模型是才能进行回归预测，当输入的眼底照片质量不达标时，则停止进行回归预测。
在一个具体实施例中，在对模型进行训练之前本发明设计了对眼底照的质控程序，可以自主过滤掉质量不合格的眼底照，利用深度学习ConvNEXT模型，对输入图片进行质量控制，其中ConvNEXT模型训练权重为在ImageNET进行预训练并在实际眼底照质量筛查训练微调的权重，如图5所示，眼底照输至网络模型中，其中网络模型依次由二维卷积、Layer标准化、四个block和三个下采样层依次交叠、一个GAP层、一个Layer标准化和一个全连接层组成，数据依次经过获得模型的输出；一个block由三个二维卷积、一个Layer标准化、一个激活函数、一个Layer Scale层、一个Drop path层组成，数据经过这些组合模块加上原输入数据构成一个block的输出；一个下采样层依次由一个Layer标准化和一个二维卷积组成，数据依次经过得到该层的输出。
在一个实施例中，所述方法还包括数据预处理，所述数据预处理包括下列的一种或几种：灰度化、二值化、图像增强、去噪处理、图像增广，其中所述图像增广包括水平翻转、垂直翻转、对比度变换、尺度变换，对眼底照片进行所述图片增广后将所述眼底照片转换为张量，并对所述张量进行归一化处理，所述归一化处理中对图片RGB三个通道的均值和方差取值进行限定。
在一个具体实施例中，本发明在眼轴回归模型的训练过程前，为了增强模型的泛化性，将训练集图片进行数据增强：
a.将图片以50％的概率进行水平翻转；
b.将图片以50％的概率进行垂直翻转；
c.将图片的亮度，对比度和饱和度进行调整；
为了在模型中便于计算，将各个等级的图像等比放大/缩小为224*224，并转换为tensor格式；
为了避免图片数据具有偏向性，将数据进行归一化处理，其中三个通道的均值和方差分别设置为[0.485,0.456,0.406],[0.229,0.224,0.225]；
为了降低时间成本，采用多线程并行，其中线程数设置范围为6-10。
在一个具体实施例中，在进入模型之前本发明设计了对图片的补充缩放，使得各尺寸图片进行等比缩放，最大程度上保持了其信息的完整性，提升了模型的泛化能力。
S102：将所述眼底照片输至回归模型中进行预测得到眼底照片的眼轴长度，其中，所述回归模型由第一卷积层、注意卷积模块、全连接层组成，所述眼底照片通过第一卷积层得到特征向量，所述特征向量通过注意卷积模块得到增强特征，所述增强特征通过全连接层得到预测的眼轴长度；所述注意卷积模块由卷积模块和DWM模块组成，所述特征向量在卷积模块中进行深度卷积得到卷积特征，所述卷积特征通过DWM模块进行特征增强得到增强特征，所述DWM模块包括EMA注意力模块和自注意力模块；所述卷积特征经过EMA模块进行加权计算得到加权特征，所述卷积特征经过自注意力模块学习特征之间的联系得到关系特征，将加权特征与关系特征融合得到增强特征。
在一个实施例中，EMA(Excitationand Modulation Attention)注意力机制是一种用于神经网络的注意力机制，其主要原理是通过对输入数据的加权处理，将网络的注意力集中在对当前任务最重要的部分上，从而提升模型的性能。EMA注意力机制的核心思想是在传统的注意力机制基础上引入了激励和调制两个概念。激励机制用于计算输入数据中各个部分对当前任务的重要程度，而调制机制则用于调整不同部分的权重，以达到更好的模型性能。在EMA注意力机制中，激励机制过计算输入数据的特征与参数之间的相似度来确定各个部分的重要程度。具体而言通过将输入数据与参数进行内积计算，得到一个相似度矩阵。该矩阵中的每个元素代表了输入数据中某个部分与参粉一问的相似度，相似度越高则代表该部分对当前任务越重要。
在一个实施例中，自注意力机制解决的情况是：神经网络接收的输入是很多大小不一的向量，并且不同向量之间有一定的关系，但是实际训练的时候无法充分发挥这些输入之间的关系而导致模型训练结果效果极差。比如机器翻译问题(序列到序列的问题，机器自己决定多少个标签)，词性标注问题(一个向量对应一个标签)，语义分析问题(多个向量对应一个标签)等文字处理问题。针对全连接神经网络对于多个相关的输入无法建立起相关性的这个问题，通过自注意力机制来解决，自注意力机制实际上是想让机器注意到整个输入中不同部分之间的相关性。
在一个实施例中，所述EMA模块依次由池化层、注意力层、分组归一化层、激活函数层、Matmul层组成，所述卷积特征在所述池化层进行降维处理后输至所述注意力层，注意力层中采用m个子通道并行加权并建立局部跨通道交互得到m个特征张量，m为≥1的自然数，所述分组归一化层对特征张量进行分组归一化处理得到多组特征矩阵；所述激活函数层通过激活函数进行非线性映射，所述Matmul层对多组特征矩阵进行融合得到加权特征，所述自注意力模块依次由嵌入层、自注意力层、激活函数层组成，所述卷积特征通过自注意力模块学习相邻卷积特征的关系得到关系特征。
在一个实施例中，所述EMA模块还包括维度转换层，所述维度转换层是用于对输入向量进行维度转换；所述自注意力模块还包括dropout层，所述dropout层对自注意力层的神经元进行加权处理，改变每次学习神经元的个数。
在一个实施例中，所述特征向量依次经过n组注意卷积模块后再进行全连接层预测，n为≥1的自然数，其中，所述注意卷积模块中的卷积模块包括下采样层、残差卷积层，所述特征向量经过下采样层降维后利用残差卷积层进行残差卷积得到卷积特征；所述回归模型还包括最大池化层，所述最大池化层对所述增强特征进行特征降维得到低维度特征，所述低维度特征通过所述全连接层进行分类预测。
在一个实施例中，回归预测就是把预测的相关性原则作为基础，把影响预测目标的各因素找出来，然后找出这些因素和预测目标之间的函数关系的近似表达，并且用数学的方法找出来。在利用样本数据对其模型估计参数，并且对模型进行误差检验。如果模型确定，就可以用模型对因素的的变化值进行预测。
在一个实施例中，回归模型包括线性回归、多项式回归、逐步回归、岭回归、套索回归、弹性回归。
在一个实施例中，所述回归模型采用下列的一种或几种：线性回归、AdaBoost、支持向量机、卷积神经网络，其中所述卷积神经网络采用RestNET50网络进行特征学习得到眼轴长度的预测结果，所述RestNET50网络的训练权重是基于ImageNET模型的预训练权重二次训练高质量照片后进行调整得到的。
在一个实施例中，在计算机视觉领域中，预训练模型是在大型基准数据集上训练的模型，用于解决相似的问题。由于训练这种模型的计算成本较高，因此，导入已发布的成果并使用相应的模型是比较常见的做法。例如，在目标检测任务中，首先要利用主干神经网络进行特征提取，这里使用的backbone一般就是VGG、ResNet等神经网络，因此在训练一个目标检测模型时，可以使用这些神经网络的预训练权重来将backbone的参数初始化，这样在一开始就能提取到比较有效的特征。
在一个实施例中，一般在图像处理领域，喜欢用ImageNet来做网络的预训练，主要有两点，一方面ImageNet是图像领域里有超多事先标注好训练数据的数据集合，分量足是个很大的优势，量越大训练出的参数越靠谱；另外一方面因为ImageNet有1000类，类别多，算是通用的图像数据，跟领域没太大关系，所以通用性好，预训练完后都能用。
在一个具体实施例中，本发明使用了深度学***均池化、分组归一化和卷积操作等步骤的基础上，引用ViT(Vision Transformer)思想添加自注意力，实现了对输入特征的调整和加权，从而提升模型在眼底照片预测眼轴长度任务中的性能。
在一个具体实施例中，本发明训练眼轴回归模型使用深度学习模型，如图6所示，眼底照输入网络模型中，该模型由第一卷积层、四个注意卷积层、最大池化层、两个全连接层组成，数据依次经过得到输出，其中第一卷积层依次包括一个二维卷积和一个Layer标准化组成；注意卷积层依次由一个下采样层、一个Block、一个DWM层组成；一个Block由三个二维卷积、两个Batch标准化、一个ReLU激活函数，二维卷积与其他模块依次交叠处理得到的数据加上原模块输入数据共同得到该Block的输出；一个下采样层由一个Layer标准化和一个二维卷积组成，数据依次经过得到下采样层的输出；一个DWM层由EMA和自注意力两个模块组成；EMA依次由一个Reshape、一个适应性最大池化层、一个注意力层、分组标准化、激活函数、Matmul函数和激活函数组成；自注意力模块依次由嵌入层、自注意力层、激活函数和dropout层组成，数据分别流经这两个模块后融合得到DWM的输出。
使用ImageNet的分类结果权重作为预训练权重，为了提高模型的训练效率，冻结模型的前面特征提取层，学习并反向传播特征分类层；在模型的训练过程中，batchsize设置范围为64-256，使用由AdamW作为优化器，学习率起初设置为5e-5，之后根据loss的大小，对学习率进行自调整。为了增强模型的泛化性，将weight-decay设置范围为0.1-0.05；回归模型通过训练集训练并学习眼轴的关键特征，在验证集上的准确率作为模型效能的衡量指标，验证集上准确率最高的模型权重作为最佳权重保存。
在一个具体实施例中，使用训练好的回归模型，对于一张眼底照利用卷积神经网络进行回归预测。需要注意的是，在预测阶段，输入任意一张眼底照片，若通过质控模型，这通过眼轴回归模型得出眼轴长度，若未通过，则要求输入合格照片。
在一个具体实施例中，通过实验验证，本发明的方法在回归训练中的LOSS损失值的变化过程如图7所示，训练集的LOSS损失值在第217轮趋于稳定，验证集的LOSS损失值在145轮趋于稳定；模型在测试集上得到了81.53％的回归率，如图8所示，预测值大部分聚拢，位于拟合直线的上下置信空间中，仅有少部分预测值分布较为分散；另外本发明为了验证该方法的有效性，进行消融实验，如表1所示，本发明提出的ResNet50+DWM方法在召回率Recall、R平方、均方误差MSE等评价指标上表现出了最优性能。
表1消融实验展示
图2本发明实施例提供的一种眼轴长度预测设备示意图，具体包括：
数据获取模块：获取眼底照片；
回归预测模块：将所述眼底照片输至回归模型中进行预测得到眼底照片的眼轴长度，其中，所述回归模型由第一卷积层、注意卷积模块、全连接层组成，所述眼底照片通过第一卷积层得到特征向量，所述特征向量通过注意卷积模块得到增强特征，所述增强特征通过全连接层得到预测的眼轴长度；所述注意卷积模块由卷积模块和DWM模块组成，所述特征向量在卷积模块中进行深度卷积得到卷积特征，所述卷积特征通过DWM模块进行特征增强得到增强特征，所述DWM模块包括EMA注意力模块和自注意力模块；所述卷积特征经过EMA模块进行加权计算得到加权特征，所述卷积特征经过自注意力模块学习特征之间的联系得到关系特征，将加权特征与关系特征融合得到增强特征。
图3本发明实施例提供的一种眼轴长度预测设备示意图，具体包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行任意一项上述的一种眼轴长度预测方法。
一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行时任意一项上述的一种眼轴长度预测方法。
本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以改善本方法的性能。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的介质存储可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种眼轴长度预测方法，其特征在于，具体包括：
获取眼底照片；
将所述眼底照片输至回归模型中进行预测得到眼底照片的眼轴长度，其中，所述回归模型由第一卷积层、注意卷积模块、全连接层组成，所述眼底照片通过第一卷积层得到特征向量，所述特征向量通过注意卷积模块得到增强特征，所述增强特征通过全连接层得到预测的眼轴长度；所述注意卷积模块由卷积模块和DWM模块组成，所述特征向量在卷积模块中进行深度卷积得到卷积特征，所述卷积特征通过DWM模块进行特征增强得到增强特征，所述DWM模块包括EMA注意力模块和自注意力模块；所述卷积特征经过EMA模块进行加权计算得到加权特征，所述卷积特征经过自注意力模块学习特征之间的联系得到关系特征，将加权特征与关系特征融合得到增强特征。
2.根据权利要求1所述的眼轴长度预测方法，其特征在于，所述EMA模块依次由池化层、注意力层、分组归一化层、激活函数层、Matmul层组成；
可选的，所述卷积特征在所述池化层进行降维处理后输至所述注意力层，注意力层中采用m个子通道并行加权并建立局部跨通道交互得到m个特征张量，m为≥1的自然数，所述分组归一化层对特征张量进行分组归一化处理得到多组特征矩阵；所述激活函数层通过激活函数进行非线性映射，所述Matmul层对多组特征矩阵进行融合得到加权特征；
优选的，所述自注意力模块依次由嵌入层、自注意力层、激活函数层组成，所述卷积特征通过自注意力模块学习相邻卷积特征的关系得到关系特征。
3.根据权利要求2所述的眼轴长度预测方法，其特征在于，所述EMA模块还包括维度转换层，所述维度转换层是用于对输入向量进行维度转换；
优选的，所述自注意力模块还包括dropout层，所述dropout层对自注意力层的神经元进行加权处理，改变每次学习神经元的个数。
4.根据权利要求1所述的眼轴长度预测方法，其特征在于，所述特征向量依次经过n组注意卷积模块后再进行全连接层预测，n为≥1的自然数，其中，所述注意卷积模块中的卷积模块包括下采样层、残差卷积层，所述特征向量经过下采样层降维后利用残差卷积层进行残差卷积得到卷积特征；
优选的，所述回归模型还包括最大池化层，所述最大池化层对所述增强特征进行特征降维得到低维度特征，所述低维度特征通过所述全连接层进行分类预测。
5.根据权利要求1所述的眼轴长度预测方法，其特征在于，所述方法还包括质控模型，所述质控模型通过ConvNEXT网络模型对眼底照片进行特征识别得到高质量照片，当输入的眼底照片通过质控模型是才能进行回归预测，当输入的眼底照片质量不达标时，则停止进行回归预测。
6.根据权利要求1所述的眼轴长度预测方法，其特征在于，所述回归模型采用下列的一种或几种：线性回归、AdaBoost、支持向量机、卷积神经网络，其中所述卷积神经网络采用RestNET50网络进行特征学习得到眼轴长度的预测结果；
可选的，所述RestNET50网络的训练权重是基于ImageNET模型的预训练权重二次训练高质量照片后进行调整得到的。
7.根据权利要求1所述的眼轴长度预测方法，其特征在于，所述方法还包括数据预处理，所述数据预处理包括下列的一种或几种：灰度化、二值化、图像增强、去噪处理、图像增广；
优选的，所述图像增广包括水平翻转、垂直翻转、对比度变换、尺度变换，对眼底照片进行所述图片增广后将所述眼底照片转换为张量，并对所述张量进行归一化处理；
可选的，所述归一化处理中对图片RGB三个通道的均值和方差取值进行限定。
8.一种眼轴长度预测***，其特征在于，包括：
数据获取模块：获取眼底照片；
回归预测模块：将所述眼底照片输至回归模型中进行预测得到眼底照片的眼轴长度，其中，所述回归模型由第一卷积层、注意卷积模块、全连接层组成，所述眼底照片通过第一卷积层得到特征向量，所述特征向量通过注意卷积模块得到增强特征，所述增强特征通过全连接层得到预测的眼轴长度；所述注意卷积模块由卷积模块和DWM模块组成，所述特征向量在卷积模块中进行深度卷积得到卷积特征，所述卷积特征通过DWM模块进行特征增强得到增强特征，所述DWM模块包括EMA注意力模块和自注意力模块；所述卷积特征经过EMA模块进行加权计算得到加权特征，所述卷积特征经过自注意力模块学习特征之间的联系得到关系特征，将加权特征与关系特征融合得到增强特征。
9.一种眼轴长度预测设备，其特征在于，包括：
存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现权利要求1-7任意一项上述的一种眼轴长度预测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项上述的一种眼轴长度预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311201719.7A CN117237749A (zh) | 2023-09-15 | 2023-09-15 | 一种眼轴长度预测方法、***、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311201719.7A CN117237749A (zh) | 2023-09-15 | 2023-09-15 | 一种眼轴长度预测方法、***、设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237749A true CN117237749A (zh) | 2023-12-15 |
Family
ID=89092517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311201719.7A Pending CN117237749A (zh) | 2023-09-15 | 2023-09-15 | 一种眼轴长度预测方法、***、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237749A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415245A (zh) * | 2019-08-05 | 2019-11-05 | 上海鹰瞳医疗科技有限公司 | 眼部数据确定方法、模型训练方法及设备 |
| WO2021068528A1 (zh) * | 2019-10-11 | 2021-04-15 | 平安科技（深圳）有限公司 | 基于卷积神经网络的注意力权重计算方法、装置及设备 |
| CN112766376A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 一种基于gacnn的多标签眼底图像识别方法 |
| CN113611323A (zh) * | 2021-05-07 | 2021-11-05 | 北京至芯开源科技有限责任公司 | 一种基于双通道卷积注意力网络的语音增强方法及*** |
| CN116704591A (zh) * | 2023-06-27 | 2023-09-05 | 复旦大学附属眼耳鼻喉科医院 | 眼轴预测模型的训练方法、眼轴预测方法和装置 |
-
2023
- 2023-09-15 CN CN202311201719.7A patent/CN117237749A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415245A (zh) * | 2019-08-05 | 2019-11-05 | 上海鹰瞳医疗科技有限公司 | 眼部数据确定方法、模型训练方法及设备 |
| WO2021068528A1 (zh) * | 2019-10-11 | 2021-04-15 | 平安科技（深圳）有限公司 | 基于卷积神经网络的注意力权重计算方法、装置及设备 |
| CN112766376A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 一种基于gacnn的多标签眼底图像识别方法 |
| CN113611323A (zh) * | 2021-05-07 | 2021-11-05 | 北京至芯开源科技有限责任公司 | 一种基于双通道卷积注意力网络的语音增强方法及*** |
| CN116704591A (zh) * | 2023-06-27 | 2023-09-05 | 复旦大学附属眼耳鼻喉科医院 | 眼轴预测模型的训练方法、眼轴预测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Karakaya et al. | Comparison of smartphone-based retinal imaging systems for diabetic retinopathy detection using deep learning | |
| US11361192B2 (en) | Image classification method, computer device, and computer-readable storage medium | |
| US11295178B2 (en) | Image classification method, server, and computer-readable storage medium | |
| CN109635862A (zh) | 早产儿视网膜病plus病变分类方法 | |
| CN109829446A (zh) | 眼底图像识别方法、装置、电子设备及存储介质 | |
| CN112580580A (zh) | 一种基于数据增强与模型融合的病理性近视识别方法 | |
| CN112545452A (zh) | 高度近视眼底病变风险预测方法 | |
| US20230022921A1 (en) | System and method for analyzing corneal lesion using anterior ocular segment image, and computer-readable recording medium | |
| CN111461218B (zh) | 糖网病眼底图像的样本数据标注*** | |
| CN110013216B (zh) | 一种人工智能白内障分析*** | |
| Maaliw et al. | Cataract detection and grading using ensemble neural networks and transfer learning | |
| CN112220445A (zh) | 一种基于移动终端的白内障和后发性白内障的分析***和装置 | |
| Xu et al. | Small-pupil versus multifocal strategies for expanding depth of focus of presbyopic eyes | |
| Tanvir et al. | Clinical Insights Through Xception: A Multiclass Classification of Ocular Pathologies | |
| Remeseiro et al. | Machine learning applied to optometry data | |
| CN117237749A (zh) | 一种眼轴长度预测方法、***、设备 | |
| AU2022394113A1 (en) | Systems and methods for vitreous disease severity measurement | |
| Neelima et al. | Classification of Diabetic Retinopathy Fundus Images using Deep Neural Network | |
| Raman et al. | Diagnosis of Diabetic Retinopathy by using EfficientNet-B7 CNN Architecture in Deep Learning | |
| CN114898833A (zh) | 一种近视防控控轴仪数据智能管理*** | |
| Sarki | Automatic detection of diabetic eye disease through deep learning using fundus images | |
| Zhou et al. | Automatic optic disc detection in retinal images via group sparse regularization extreme learning machine | |
| Das et al. | Automatic detection of diabetic retinopathy to avoid blindness | |
| Hacisoftaoglu | Deep Learning Frameworks for Diabetic Retinopathy Detection Using Smartphone-Based Retinal Imaging Systems | |
| Ramlan et al. | Cataract Detection using Pupil Patch Classification and Ruled-based System in Anterior Segment Photographed Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |