CN111523602A - 眼底图像预测方法及装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例涉及一种眼底图像预测方法及装置。其中，该方法包括：对至少一个眼底图像进行预处理，得到至少一个输入图像；将至少一个输入图像输入至N个图像识别模型，其中，图像识别模型是预先根据输入图像的样本以及特征值训练得到的，每个图像识别模型具有权重值；根据N个图像识别模型分别对应的权重值以及输出，确定至少一个眼底图像的预测结果。本发明解决了由于相关技术中只能对固定分辨率的单个眼底图像进行图像分析，而导致造成眼地图像的分析结果准确性较低的技术问题。

Description

眼底图像预测方法及装置、存储介质及电子装置

技术领域

本发明涉及计算机视觉领域，具体涉及一种眼底图像预测方法及装置。

背景技术

糖网是一种由糖尿病导致的眼睛致盲的疾病。现在糖网已经成为主要的致盲原因。在糖网的早期，可以通过眼底检测到一些早期迹象，并能够通过去医院治疗来有效预防或放缓病人的致盲。但是，这样的眼底筛查需要丰富眼底阅片经验的眼底医生，培养的过程需要较长的周期，跟大量需要进行眼底检测的人不能有效的对应起来。这就导致病人到医院就医的时候，往往已经很严重了，而不能有效的治疗。因此，通过计算机实现对于糖网的分期是一项非常有意义的工作。

而对于眼底图像这一复杂的图像识别过程中，由于实际病灶大小不一，如小的微动脉瘤，到大片的出血、硬渗以及软渗，相关技术中都难以进行细微的分类，导致底层网络噪声较大，无法准确分辨出实际的眼底病变图像。

相关技术中在对眼底图像的分析识别过程中，往往只针对单个眼底的单种分辨率进行分析，而对于单个的用户的多种分辨率多个眼底图像，相关技术中没有有效的分析方法，造成结果的准确性较低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种眼底图像预测方法及装置，以至少解决由于相关技术中只能对固定分辨率的单个眼底图像进行图像分析，而导致造成眼地图像的分析结果准确性较低的技术问题。

根据本发明实施例的一个方面，提供了一种眼底图像预测方法，包括：对至少一个眼底图像进行预处理，得到至少一个输入图像；将所述至少一个输入图像输入至N个图像识别模型，其中，所述图像识别模型是预先根据输入图像的样本以及特征值训练得到的，每个所述图像识别模型具有权重值，N为大于或等于2的整数；根据所述N个图像识别模型分别对应的权重值以及输出，确定所述至少一个眼底图像的预测结果。

进一步地，对至少一个眼底图像进行预处理，得到至少一个输入图像包括：对所述至少一个眼底图像进行裁切；对进行裁切后的眼底图像进行尺寸均一化，以得到所述输入图像。

进一步地，对所述至少一个眼底图像进行裁切包括：确定所述眼底图像的半径；对所述眼底图像的轮廓进行标记；对所述眼底图像的缺失部分进行填充。

进一步地，对进行裁切后的眼底图像进行尺寸均一化，以得到所述输入图像包括：通过预设模板对所述眼底图像的尺寸进行调整，以得到所述输入图像。

进一步地，所述N个图像识别模型中分别对应不同的缩放尺寸；其中，将所述至少一个输入图像输入至N个图像识别模型包括：以所述N个图像识别模型中分别对应的缩放尺寸对所述眼底图像的进行尺寸调整；将经过尺寸调整后的输入图像输入至对应的图像识别模型中。

进一步地，根据所述N个图像识别模型分别对应的权重值以及输出，确定所述至少一个眼底图像预测结果包括：获取所述N个图像识别模型分别对应的权重值以及输出，其中，所述图像识别模型的权重值是根据所述图像识别模型对应的缩放尺寸训练得到；根据所述N个图像识别模型分别对应的权重值对所述N个图像识别模型分别对应的输出确定N个判别结果；依次对所述判别结果与预设预测阈值进行比较，以得到所述预测结果。

进一步地，依次对所述判别结果与预设预测阈值进行比较，以得到所述预测结果包括：若所述判别结果大于预设预测阈值，则将所述预设预测阈值更新为所述判别结果；若所述判别结果小于所述预设预测阈值，则保持所述预设预测阈值不变；根据所述N个图像识别模型分别对应的权重值对所述N个图像识别模型分别对应的输出进行组合，以得到所述预测结果。

根据本发明实施例的另一方面，还提供了一种眼底图像预测装置，包括：处理单元，用于对至少一个眼底图像进行预处理，得到至少一个输入图像；识别单元，用于将所述至少一个输入图像输入至N个图像识别模型，其中，所述图像识别模型是预先根据输入图像的样本以及特征值训练得到的，每个所述图像识别模型具有权重值，N为大于或等于2的整数；确定单元，用于根据所述N个图像识别模型分别对应的权重值以及输出，确定所述至少一个眼底图像的预测结果。

根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行如上所述的眼底图像预测方法。

根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序执行如上所述的眼底图像预测方法。

在本发明实施例中，通过对至少一个眼底图像进行预处理，得到至少一个输入图像；将至少一个输入图像输入至N个图像识别模型，其中，图像识别模型是预先根据输入图像的样本以及特征值训练得到的，每个图像识别模型具有权重值；根据N个图像识别模型分别对应的权重值以及输出，确定至少一个眼底图像的预测结果，提高了基于单个眼底图像得到的预测结果的准确性，降低了在对眼底图像的分析识别过程中对眼底图像数量的需求，进而解决了由于相关技术中只能对固定分辨率的单个眼底图像进行图像分析，而导致造成眼地图像的分析结果准确性较低的技术问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种可选的眼底图像预测方法的示意图；

图2是根据本发明实施例的一种可选的眼底图像预处理过程的示意图；

图3是根据本发明实施例的又一种可选的眼底图像预测方法的示意图；

图4是根据本发明实施例的一种可选的眼底图像预测装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

实施例1

根据本发明实施例，提供了一种眼底图像预测方法，如图1所示，该方法包括：

S102,对至少一个眼底图像进行预处理，得到至少一个输入图像；

在具体的应用场景中，用户之间的个人差异以及图像采集时的其他因素会导致采集到的眼底图像并非是同一个规格，因此在对眼底图像进行识别之前，需要对眼底图像进行预处理，以使图像识别模型的输入图像规格统一。对眼底图像的预处理包括但不限于对眼底图像的图像像素、灰度等进行调整。

可选地，在本实施例中，对至少一个眼底图像进行预处理，得到至少一个输入图像包括但不限于：对至少一个眼底图像进行裁切；对进行裁切后的眼底图像进行尺寸均一化，以得到输入图像。

在具体的应用场景中，如图2所示眼底图像预处理过程示意图，通过对眼底图像A进行裁切得到眼底图像B，然后对进行裁切后的眼底图形B进行尺寸均一化来得到输入图像C。

在一个可选地本实施例中，对至少一个眼底图像进行裁切包括但不限于：确定眼底图像的半径；对眼底图像的轮廓进行标记；对眼底图像的缺失部分进行填充。

在具体的应用场景中，对眼底图像的裁切包括以下三个流程：

A)确定眼底图像的半径；

具体的，如图2所示，以图像中心为原点，分别从右斜线、水平和垂直这3个方向估计眼底图像的半径(r1,r2,r3)；

B)对眼底图像的轮廓进行标记；

具体的，如图2所示，以图像中心为圆心，r1，r2，r3的中值r为圆半径对眼底图像进行圆形Msak标记(虚线部分)；

C)对眼底图像的缺失部分进行填充；

具体的，如图2所示，提取圆形区域内的图像，若存在超出图像范围内的区域，则以背景色对提取后的图像进行边缘扩充；

可选地，在本实施例中，对进行裁切后的眼底图像进行尺寸均一化，以得到所述输入图像包括：通过预设模板对所述眼底图像的尺寸进行调整，以得到所述输入图像。

具体的，如图2所示，以k*k大小模板对裁切后的图像进行尺寸均一化，k可以根据实际情况做出调整，在本实施例中，对此不做任何限定。

S104,将至少一个输入图像输入至N个图像识别模型，其中，图像识别模型是预先根据输入图像的样本以及特征值训练得到的，每个图像识别模型具有权重值,N为大于或等于2的整数；

需要说明的是，图像的尺寸和图像识别模型的权重值有关系。各个图像识别模型的权重值是由之前选好的图像识别模型根据相应的图像尺寸训练来的。

S106,根据N个图像识别模型分别对应的权重值以及输出，确定至少一个眼底图像的预测结果。

可选地，在本实施例中，N个图像识别模型中分别对应不同的缩放尺寸；其中，将至少一个输入图像输入至N个图像识别模型包括但不限于：以N个图像识别模型中分别对应的缩放尺寸对眼底图像的进行尺寸调整；将经过尺寸调整后的输入图像输入至对应的图像识别模型中。

在具体的应用场景中，如图3所示，N取值为3，将输入的眼底图片依次缩放至像素为224×224、384×384、512×512大小，分别输入到训练好的图像识别模型一、图像识别模型二以及图像识别模型三，得到3个图像识别模型的输出结果。

可选地，在本实施例中，根据N个图像识别模型分别对应的权重值以及输出，确定至少一个眼底图像预测结果包括但不限于：获取N个图像识别模型分别对应的权重值以及输出，其中，图像识别模型的权重值是根据图像识别模型对应的缩放尺寸训练得到；根据N个图像识别模型分别对应的权重值对N个图像识别模型分别对应的输出确定N个判别结果；依次对判别结果与预设预测阈值进行比较，以得到预测结果。

具体的，在将眼底图像缩放至预设尺寸以后，分别输入到训练好的图像识别模型一、图像识别模型二以及图像识别模型三，其中，图像识别模型一的权重值为w1、图像识别模型二的权重值为w2，图像识别模型三的权重值为w4，通过w1,w2,w3三个权重值来组合3个网络的输出结果。可选的选择w1,w2,w3分别的系数为：0.2，0.3，0.5。

在另一个优选地实施例中，图像识别模型可以是基于完全关注机制的糖网筛查网络结构模型。

可选地，在本实施例中，依次对判别结果与预设预测阈值进行比较，以得到预测结果包括但不限于：若判别结果大于预设预测阈值，则将预设预测阈值更新为判别结果；若判别结果小于预设预测阈值，则保持预设预测阈值不变；根据N个图像识别模型分别对应的权重值对N个图像识别模型分别对应的输出进行组合，以得到预测结果。

在具体的应用场景中，每个输入的眼底图像经过预处理并输入至图像识别模型中后，图像识别模型会输出对于单视野眼底图像的判别结果。设置一个眼底健康的预设预测阈值，然后依次对预设预测阈值与每个视野眼底图像输出的判别结果做比较，如果单视野眼底图像输出的判别结果大于预设预测阈值，则认为眼底图像的病灶严重，就更新判别结果为该视野眼底图像对应的图像识别模型的输出结果；如果单视野眼底图像输出的判别结果小于或等于预设预测阈值，则汇总模块的输出结果保持不变。当汇总l所有视野的眼底图像判别结果后，最后的判别结果为该病人N个视野的眼底图像的预测结果。

在实际的应用场景中，具体包括以下3种情况：

1.当只存在一张眼底图片的时候，通过本实施例能够得到单张眼底图片的预测结果。

2.当用户每只眼睛都只拍了一张眼底的时候，能够每次只提交一张眼底图片，通过本实施例来确定每只眼睛的预测结果。也可以同时提交两张眼底，通过本实施例来确定一个人的两只眼睛的预测结果。

3.如果用于每只眼睛都拍了2个视野的眼底图片，可以根据实际情况，每次只提交一个视野的眼底图片，来获取各个视野眼底图片的判别结果。也可以每次提交一只眼睛的两个视野的眼底图片，通过本实施例能够根据两个视野眼底图像综合判断的一个眼睛的预测结果。也可以对2只眼睛的4个视野的眼底图片进行处理，通过本实施例能够确定4张眼底图片汇总后的预测结果。

通过本实施例，对至少一个眼底图像进行预处理，得到至少一个输入图像；将至少一个输入图像输入至N个图像识别模型，其中，图像识别模型是预先根据输入图像的样本以及特征值训练得到的，每个图像识别模型具有权重值；根据N个图像识别模型分别对应的权重值以及输出，确定至少一个眼底图像的预测结果。提高了基于单个眼底图像得到的预测结果的准确性，降低了在对眼底图像的分析识别过程中对眼底图像数量的需求，进而解决了由于相关技术中只能对固定分辨率的单个眼底图像进行图像分析，而导致造成眼地图像的分析结果准确性较低的技术问题。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

根据本发明实施例，还提供了一种用于实施上述眼底图像预测方法的眼底图像预测装置，如图4所示，该装置包括：

1)处理单元40，用于对至少一个眼底图像进行预处理，得到至少一个输入图像；

2)识别单元42，用于将所述至少一个输入图像输入至N个图像识别模型，其中，所述图像识别模型是预先根据输入图像的样本以及特征值训练得到的，每个所述图像识别模型具有权重值，N为大于或等于2的整数；

3)确定单元44，用于根据所述N个图像识别模型分别对应的权重值以及输出，确定所述至少一个眼底图像的预测结果。

可选地，本实施例中的具体示例可以参考上述实施例1中所描述的示例，本实施例在此不再赘述。

实施例3

根据本发明实施例，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行如上所述的眼底图像预测方法。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：

S1，对至少一个眼底图像进行预处理，得到至少一个输入图像；

S2，将所述至少一个输入图像输入至N个图像识别模型，其中，所述图像识别模型是预先根据输入图像的样本以及特征值训练得到的，每个所述图像识别模型具有权重值，其中，N为正整数；

S3，根据所述N个图像识别模型分别对应的权重值以及输出，确定所述至少一个眼底图像的预测结果。

可选地，存储介质还被设置为存储用于执行上述实施例1中的方法中所包括的步骤的程序代码，本实施例中对此不再赘述。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，本实施例中的具体示例可以参考上述实施例1中所描述的示例，本实施例在此不再赘述。

实施例4

本发明的实施例还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序执行如上所述的眼底图像预测方法。

可选地，在本实施例中，存储器被设置为存储用于执行以下步骤的程序代码：

S1，对至少一个眼底图像进行预处理，得到至少一个输入图像；

S2，将所述至少一个输入图像输入至N个图像识别模型，其中，所述图像识别模型是预先根据输入图像的样本以及特征值训练得到的，每个所述图像识别模型具有权重值，其中，N为正整数；

S3，根据所述N个图像识别模型分别对应的权重值以及输出，确定所述至少一个眼底图像的预测结果。

可选地，本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例，本实施例在此不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种眼底图像预测方法，其特征在于，包括：

对至少一个眼底图像进行预处理，得到至少一个输入图像；

将所述至少一个输入图像输入至N个图像识别模型，其中，所述图像识别模型是预先根据输入图像的样本以及特征值训练得到的，每个所述图像识别模型具有权重值，N为大于或等于2的整数；

根据所述N个图像识别模型分别对应的权重值以及输出，确定所述至少一个眼底图像的预测结果。

2.根据权利要求1所述的方法，其特征在于，对至少一个眼底图像进行预处理，得到至少一个输入图像包括：

对所述至少一个眼底图像进行裁切；

对进行裁切后的眼底图像进行尺寸均一化，以得到所述输入图像。

3.根据权利要求2所述的方法，其特征在于，对所述至少一个眼底图像进行裁切包括：

确定所述眼底图像的半径；

对所述眼底图像的轮廓进行标记；

对所述眼底图像的缺失部分进行填充。

4.根据权利要求2所述的方法，其特征在于，对进行裁切后的眼底图像进行尺寸均一化，以得到所述输入图像包括：

通过预设模板对所述眼底图像的尺寸进行调整，以得到所述输入图像。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述N个图像识别模型中分别对应不同的缩放尺寸；其中，将所述至少一个输入图像输入至N个图像识别模型包括：

以所述N个图像识别模型中分别对应的缩放尺寸对所述眼底图像的进行尺寸调整；

将经过尺寸调整后的输入图像输入至对应的图像识别模型中。

6.根据权利要求5所述的方法，其特征在于，根据所述N个图像识别模型分别对应的权重值以及输出，确定所述至少一个眼底图像预测结果包括：

获取所述N个图像识别模型分别对应的权重值以及输出，其中，所述图像识别模型的权重值是根据所述图像识别模型对应的缩放尺寸训练得到；

根据所述N个图像识别模型分别对应的权重值对所述N个图像识别模型分别对应的输出确定N个判别结果；

依次对所述判别结果与预设预测阈值进行比较，以得到所述预测结果。

7.根据权利要求6所述的方法，其特征在于，依次对所述判别结果与预设预测阈值进行比较，以得到所述预测结果包括：

若所述判别结果大于预设预测阈值，则将所述预设预测阈值更新为所述判别结果；

若所述判别结果小于所述预设预测阈值，则保持所述预设预测阈值不变；

根据所述N个图像识别模型分别对应的权重值对所述N个图像识别模型分别对应的输出进行组合，以得到所述预测结果。

8.一种眼底图像预测装置，其特征在于，包括：

处理单元，用于对至少一个眼底图像进行预处理，得到至少一个输入图像；

识别单元，用于将所述至少一个输入图像输入至N个图像识别模型，其中，所述图像识别模型是预先根据输入图像的样本以及特征值训练得到的，每个所述图像识别模型具有权重值，N为大于或等于2的整数；

确定单元，用于根据所述N个图像识别模型分别对应的权重值以及输出，确定所述至少一个眼底图像的预测结果。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至7任一项中所述的眼底图像预测方法。

10.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行所述权利要求1至7任一项中所述的眼底图像预测方法。

Images