CN111316282A - 用于处理视网膜图像的方法和装置 - Google Patents

Abstract

公开了用于在视网膜图像中检测指示糖尿病性视网膜病变的特征的装置和方法。使用第一卷积神经网络来处理视网膜图像的图像数据，以将视网膜图像分类为正常图像或疾病图像，从被分类为疾病图像的图像中选择感兴趣的特征，并且使用第二卷积神经网络来处理所选择的特征的图像数据，以确定所选择的特征是否是指示糖尿病性视网膜病变的特征。

Description

用于处理视网膜图像的方法和装置

技术领域

本发明涉及用于处理视网膜图像的方法和装置。更具体地，本发明涉及在视网膜图像中检测指示糖尿病性视网膜病变的特征。

背景技术

糖尿病性视网膜病变可以通过研究视网膜图像并寻找糖尿病性视网膜病变的特性的病变类型来进行诊断。可以手动检查视网膜图像，然而，该过程是劳动密集型的并且容易出现人为错误。因此，有兴趣开发分析视网膜图像以诊断糖尿病性视网膜病变的自动化方法。

本发明是在这种情况下完成的。

发明内容

根据本发明的第一方面，提供了一种用于在视网膜图像中检测指示糖尿病性视网膜病变的特征的装置，该装置包括：第一卷积神经网络，被配置为处理视网膜图像的图像数据以将视网膜图像分类为正常图像或疾病图像；特征选择单元，被配置为在被第一卷积神经网络分类为疾病图像的图像中选择感兴趣的特征；以及第二卷积神经网络，被配置为处理所选择的特征的图像数据以确定所选择的特征是否是指示糖尿病性视网膜病变的特征。

在根据第一方面的一些实施例中，特征选择单元被配置为裁剪视网膜图像以获得包括所选择的感兴趣的特征的较低分辨率的裁剪图像，并且将裁剪图像的图像数据传递至第二卷积神经网络。例如，在根据第一方面的一个实施例中，特征选择单元被配置为根据感兴趣的特征的尺寸来选择多个预定图像尺寸中的一个预定图像尺寸，并且将视网膜图像裁剪为所选择的图像尺寸，并且装置还包括多个第二卷积神经网络，每个第二卷积神经网络被配置为针对多个预定图像尺寸中的不同预定图像尺寸处理图像数据，其中，特征选择单元被配置为将裁剪图像的图像数据传递至被配置为针对所选择的图像尺寸处理图像数据的相应第二卷积神经网络。

在根据第一方面的一些实施例中，特征选择单元被配置为根据在第一卷积神经网络的输出层中激活了哪些节点来确定感兴趣的特征的位置。

在根据第一方面的一些实施例中，第一卷积神经网络被配置为通过将多个等级中的一个等级分配给视网膜图像来对视网膜图像进行分类，多个等级包括指示正常视网膜的等级和各自指示不同的糖尿病性视网膜病变阶段的多个疾病等级。

在根据第一方面的一些实施例中，多个疾病等级至少包括：

第一疾病等级，指示背景视网膜病变；

第二疾病等级，指示前增生性视网膜病变；以及

第三疾病等级，指示增生性视网膜病变。

在根据第一方面的一些实施例中，第二卷积神经网络被配置为将所选择的特征分类为多个类别中的一个类别，每个类别指示能够与糖尿病性视网膜病变相关联的不同类型的特征。

在根据第一方面的一些实施例中，多个类别至少包括：

第一类别，指示正常视网膜；

第二类别，指示微动脉瘤；

第三类别，指示出血；以及

第四类别，指示渗出液。

在根据第一方面的一些实施例中，特征选择单元被配置为应用阴影校正算法，以将视网膜图像中的一个或多个亮病变候选和/或暗病变候选标识为所选择的感兴趣的特征。

在根据第一方面的一些实施例中，第一卷积神经网络包括：多个第一网络层，包括多个卷积层和至少一个最大池化层；全连接层，连接到层堆叠件的最后一层；以及softmax层，连接到全连接层，该softmax层被配置为基于全连接层的输出将视网膜图像分配给多个预定义等级中的一个预定义等级。

在根据第一方面的一些实施例中，第一卷积神经网络的多个第一网络层、全连接层和softmax层被配置为如图4所示。

在根据第一方面的一些实施例中，第一卷积神经网络包括：第一多个层，包括多个卷积层和至少一个最大池化层；第一全连接层，连接到第一多个层的最后一层；以及第一softmax层，连接到第一全连接层，该第一softmax层被配置为基于第一全连接层的输出将视网膜图像分配给多个预定义等级中的一个预定义等级。

在根据第一方面的一些实施例中，第一卷积神经网络的第一多个层、第一全连接层和第一softmax层被配置为如图4所示。

在根据第一方面的一些实施例中，第二卷积神经网络包括：第二多个层，包括多个第二卷积层和至少一个第二最大池化层；第二全连接层，连接到第二多个层中的最后一层；以及第二softmax层，连接到第二全连接层，该第二softmax层被配置为基于第二全连接层的输出将视网膜图像分配给多个预定义等级中的一个预定义等级。

在根据第一方面的一些实施例中，第二卷积神经网络的第二多个层、第二全连接层和第二softmax层被配置为如图5所示。

在根据第一方面的一些实施例中，至少一个第一最大池化层和/或至少一个第二最大池化层被配置为使用2的跨度。

在根据第一方面的一些实施例中，第一卷积神经网络和/或第二卷积神经网络被配置为在每个卷积层之后应用零填充。

根据本发明的第二方面，提供了一种在视网膜图像中检测指示糖尿病性视网膜病变的特征的方法，该方法包括以下步骤：使用第一卷积神经网络来处理视网膜图像的图像数据，以将视网膜图像分类为正常图像或疾病图像；从被第一卷积神经网络分类为疾病图像的图像中选择感兴趣的特征；以及使用第二卷积神经网络来处理所选择的感兴趣的特征的图像数据，以确定所选择的感兴趣的特征是否是指示糖尿病性视网膜病变的特征。

根据本发明的第三方面，提供一种计算机可读存储介质，被布置为存储计算机程序指令，该计算机程序指令在被执行时执行根据第二方面所述的方法。

附图说明

现在将参考附图仅以举例的方式来描述本发明的实施例，其中：

图1示出了根据本发明实施例的用于在视网膜图像中检测指示糖尿病性视网膜病变的特征的装置；

图2是示出根据本发明实施例的在视网膜图像中检测指示糖尿病性视网膜病变的特征的方法的流程图；

图3是示出根据本发明实施例的从被分级为疾病图像的视网膜图像中选择感兴趣的特征的方法的流程图；

图4示出了根据本发明实施例的用于将视网膜图像分类为正常图像或疾病图像的第一卷积神经网络的架构；并且

图5示出了根据本发明实施例的用于确定感兴趣的特征是否是指示糖尿病性视网膜病变的特征的第二卷积神经网络的架构。

具体实施方式

在下面的详细描述中，仅通过说明的方式示出和描述了本发明的某些示例性实施例。如本领域技术人员将认识到的，可以以各种不同的方式修改所描述的实施例，而所有这些都不脱离本发明的范围。相应地，附图和描述本质上应被认为是说明性的而不是限制性的。在整个说明书中，相同的附图标记表示相同的元件。

现在参考图1和图2，根据本发明的实施例，示出了用于在视网膜图像中检测指示糖尿病性视网膜病变的特征的装置和方法。装置100包括第一卷积神经网络(CNN)110、特征选择单元120和第二CNN 130。取决于实施例，第一CNN 110、特征选择单元120和/或第二CNN130可以以软件或硬件来实现。当使用软件实现方式时，装置100可以包括具有一个或多个处理器的处理单元以及处于适当计算机可读存储介质的形式的存储器。存储器可以被布置为存储计算机程序指令，该计算机程序指令在由处理单元执行时执行第一CNN 110、特征选择单元120和第二CNN 130中的一个或多个的功能。

如图1所示，装置100被提供有输入视网膜图像101。在本实施例中，装置被配置为接收尺寸为512×512像素的输入图像，但是在其他实施例中，可以使用不同尺寸的图像。在图2所示的流程图的步骤S201中，第一CNN 110处理输入视网膜图像101的图像数据，以将视网膜图像101分类为正常图像或疾病图像。第一CNN 110可以被称为图像处理CNN。此处，“疾病图像”是指患病视网膜的图像，特别是患有糖尿病性视网膜病变的受试者的视网膜的图像。为了使第一CNN 110能够区分正常图像和疾病图像，可以使用训练数据集对第一CNN110进行训练，该训练数据集包括健康视网膜的图像和处于糖尿病性视网膜病变的各个阶段的视网膜的图像。稍后参考图7更详细地描述训练第一CNN 110的方法。

第一CNN 110处理输入视网膜图像101并输出分配给视网膜图像101的等级。分配给图像101的等级指示图像101是已经被第一CNN 110分类为正常图像还是疾病图像。

在本实施例中，第一CNN 110被配置为通过将多个等级中的一个等级分配给视网膜图像来对视网膜图像101进行分类，所述多个等级包括指示正常视网膜的等级和各自指示不同的糖尿病性视网膜病变阶段的多个疾病等级。在另一实施例中，可以使用单个疾病等级而不是指示不同的疾病阶段的多个等级，使得图像101被分类为正常图像或疾病图像，而无需区分不同的疾病阶段。

可以根据用于对受试者的糖尿病性视网膜病变的发展进行分级的医学分类方案来定义能够分配给视网膜图像的多个等级。每个等级也可以称为一个类别。

在本实施例中，根据美国糖尿病性视网膜病变(DR)分级标准定义了五个等级，如下所示：

0＝正常等级，指示正常视网膜；

1＝第一疾病等级，指示轻度NPDR；

2＝第二疾病等级，指示中等NPDR；

3＝第三疾病等级，指示严重NPDR；以及

4＝第四疾病等级，指示增生性视网膜病变。

其中，NPDR表示非增生性糖尿病性视网膜病变，其也可以称为背景视网膜病变，并且PDR表示增生性糖尿病性视网膜病变。

在其他实施例中，可以根据不同的分类方案来定义不同数量的等级。例如，在另一实施例中，可以根据在英格兰和威尔士使用的国家筛选委员会(NSC)分类方案来定义总共四个等级，如下所示：

R0＝正常等级，指示正常视网膜；

R1＝第一疾病等级，指示背景视网膜病变；

R2＝第二疾病等级，指示前增生性(pre-proliferative)视网膜病变；以及

R3＝第三疾病等级，指示增生性视网膜病变。

该分类方案与上述美国基于DR的分级方案相似，不同的是，与为NPDR提供的三个等级相比，为背景和前增生性视网膜病变提供两个等级。

特征选择单元120接收由第一CNN 110输出的等级。然后，在步骤S202中，响应于指示图像101已经被分类为疾病图像的等级，特征选择单元120从图像101中选择感兴趣的特征。感兴趣的特征可以是图像101中能够代表病变的任何候选特征。在本文中，病变是指视网膜中由于糖尿病性视网膜病变而受损的区域。特征选择单元120可以通过以下方式来自动选择感兴趣的特征：标识图像101中的一个或多个候选特征，并且裁剪图像101以获得包含所标识的候选特征之一的较小图像102。在本实施例中，图像被裁剪为61×61像素的尺寸，但是在其他实施例中，裁剪图像102可以具有不同的尺寸。稍后参考图3更详细地描述选择感兴趣的特征的方法。

一旦选择了感兴趣的特征，包含感兴趣的特征的裁剪图像102的图像数据被发送到第二CNN 130以进行进一步处理。第二CNN 130可以被称为特征处理CNN。在步骤S203中，第二CNN 130处理裁剪图像102的图像数据，以确定所选择的感兴趣的特征是否是指示糖尿病性视网膜病变的特征。

在本实施例中，第二CNN 130被配置为根据裁剪图像102中存在的特征的类型来对裁剪图像102进行分类。CNN 130可以被训练以识别能够与糖尿病性视网膜病变相关联的不同类型的特征。在本实施例中，第二CNN 130被配置为将多个类别之一分配给裁剪图像102，如下所示：

非病变类别，指示正常视网膜；

第一病变类别，指示微动脉瘤(MA)；

第二病变类别，指示出血；以及

第三病变类别，指示渗出液。

在其他实施例中，第二CNN 130可以被训练以检测不同类型的病变，和/或检测非病变特征。例如，在本发明的另一实施例中，代替或除了上面列出的病变特征之外，第二CNN130可以被配置为检测诸如玻璃疣和/或血管之类的特征。在一些实施例中，第二CNN 130可以被配置为仅使用单个病变类别，使得所有类型的病变被一起分组在单个类别中。

如上所述，在一些实施例中，第二CNN 130可以被训练以检测诸如玻璃疣和/或血管之类的非病变特征。训练第二CNN 130以检测非病变特征可以减少假阳性结果的风险。例如，玻璃疣和渗出液在视网膜图像中均显示为明亮物体。通过训练第二CNN 130来区分玻璃疣和渗出液，可以避免其中第二CNN 130混淆玻璃疣和渗出液并在仅存在玻璃疣时返回假阳性结果的情况。作为进一步示例，在某些情况下，作为增生性糖尿病性视网膜病变(PDR)的一部分，异常的新血管(新生血管)可以在眼后形成。新血管易碎，并且因此可能破裂并出血(玻璃体出血)，从而导致视力模糊。在一些实施例中，第二CNN 130可以被训练以在这些新血管破裂之前标识它们，使得可以采取适当的纠正措施。

以上参考图1和图2描述了可以用于在视网膜图像中自动检测病变并为视网膜图像分配疾病等级的装置和方法。病变和疾病等级可以具有诊断价值，使得能够准确诊断被拍摄视网膜图像的受试者的糖尿病性视网膜病变。例如，在图像已经被分类为疾病图像时，装置可以被配置为输出视网膜图像101的具有突出显示的或以其他方式指示的任何检测到的病变的版本，例如通过显示以检测到的病变为中心的框或指向检测到的病变的位置的箭头。操作人员可以查看输出图像，以确认对糖尿病性视网膜病变的诊断。

现在参考图3，示出了根据本发明实施例的从被分级为疾病图像的视网膜图像中选择感兴趣的特征的方法的流程图。该方法可以由图1所示的装置100的特征选择单元120执行，以便从疾病图像中标识并且选择感兴趣的特征。

首先，在步骤S301中，特征选择单元120接收已经由第一CNN 110分配给视网膜图像101的等级。然后，在步骤S302中，特征选择单元120检查分配的等级是否是疾病等级，即，指示疾病图像的等级。在本实施例中，等级R1至R3是疾病等级，并且等级R0是正常等级。如果图像101已经被分类为正常图像，则处理返回到开始并等待要由第一CNN 110处理的下一图像。另一方面，如果图像101已经被分类为疾病图像，则处理继续到步骤S303。

在步骤S303中，特征选择单元120应用阴影校正算法以标识亮病变候选和暗病变候选。在本实施例中，可以将阴影校正应用于输入视网膜图像101中的各个颜色通道。例如，可以通过以下方式来执行阴影校正：对视网膜图像101的一个颜色通道的图像数据应用高斯滤波器，估计背景图像，以及从高斯滤波图像中减去背景图像。该过程产生高对比度的图像，其中背景显得暗淡，并且候选病变表现为比背景亮得多或暗得多的特征。

虽然在本实施例中在步骤S303中使用阴影校正算法，但是在其他实施例中，可以采用标识候选病变的不同方法。例如，在另一实施例中，可以通过在视网膜图像中搜索局部最小值来标识暗病变候选，因为暗病变比其周围的背景更暗，并且因此可以将局部最小值视为候选暗病变。相反，可以通过在视网膜图像中搜索局部最大值来标识亮病变候选。在另一实施例中，可以通过使用视网膜图像中的所有像素作为候选病变来采用蛮力方法，使得将分析视网膜图像的每个部分，就如其包含候选病变一样。

相对于背景具有高亮度的特征可以被称为亮病变候选，而相对于背景具有低亮度的特征可以被称为暗病变候选。亮病变候选和暗病变候选构成视网膜图像中感兴趣的特征，这些特征可以代表或可以不代表病变。第二CNN 130可以用于分析每个感兴趣的特征以确定其是否是病变。

在本实施例中，一旦已经在视网膜图像101中标识出一个或多个候选特征，则在步骤S304中，特征选择单元120选择要由第二CNN 130处理的候选特征之一，并且获得包括所选择的特征的较低分辨率的裁剪图像102。裁剪图像102可以以所选择的特征为中心。然后，在步骤S305中，将裁剪图像102的图像数据发送到第二CNN 130以进行处理。

在一些实施例中，特征选择单元120可以被配置为根据感兴趣的特征的尺寸来选择多个预定图像尺寸之一，并且将视网膜图像裁剪为所选择的图像尺寸。在尺寸为512×512像素的视网膜图像中，感兴趣的特征的直径可以在约5像素到约55像素之间变化。例如，在512×512输入图像中，MA可以具有约5-10像素的尺寸，点出血和斑点出血可以具有约5-55像素的尺寸，渗出液可以具有约5-55像素的尺寸，并且其他特征可以具有约1-25像素的尺寸。在一个实施例中，特征选择单元120可以被配置为从包括15×15、30×30和61×61像素的多个预定图像尺寸中进行选择。将理解，这些分辨率仅作为示例提供，并且在其他实施例中，其他图像尺寸可以用于裁剪图像。

此外，在其中特征选择单元120可以为裁剪图像选择多个预定图像尺寸之一的实施例中，装置可以进一步包括多个第二CNN 130，每个第二CNN 130被配置为针对多个预定图像尺寸中的不同预定图像尺寸处理图像数据。特征选择单元120可以被配置为将裁剪图像的图像数据传递到被配置为针对所选择的图像尺寸处理图像数据的相应第二CNN 130。以这种方式，特征选择单元可以自动地选择可用图像尺寸中适合于当前感兴趣的特征的最小可能图像尺寸，并且使用适当尺寸的第二CNN 130来处理裁剪图像。与被配置为处理较高分辨率图像的CNN相比，被配置为处理较低分辨率的图像的CNN可以包括更少的层，并且在每个层中包括更少的内核。相应地，通过允许装置为当前感兴趣的特征选择合适的图像尺寸，为不同的裁剪图像尺寸提供多个第二CNN可以使得能够更有效地使用计算资源。

通过将裁剪图像102发送到第二CNN 130，可以减少在第二CNN 130中分析特征所花费的时间，因为与使用全分辨率图像相比，第二CNN 130中的每个层可以包括更少的内核。然而，在其他实施例中，第二CNN 130可以被配置为处理具有与输入视网膜图像101相同分辨率的图像，例如通过将图像居中于所选择的特征上，并且然后用具有与背景相同的平均亮度的像素来填充图像边界。

现在参考图4，示出了根据本发明实施例的第一CNN 110的架构的示例。在本实施例中，第一CNN 110被配置为输出根据上述美国DR分级标准定义的五个类别中的一个类别，并且被配置为接收尺寸为512×512像素的输入图像。然而，在另一实施例中，第一CNN 110可以被配置为处理不同尺寸的图像，和/或可以被配置为使用不同数量的类别。

如图4所示，本实施例的第一CNN 110包括：第一多个层，包括总共十三个卷积层和五个最大池化层；全连接层，连接到最后一个最大池化层；以及softmax层，连接到全连接层。softmax层被配置为基于全连接层的输出，将视网膜图像分配给基于美国DR分级标准定义的五个等级中的一个等级。下面的表1中示出了第一CNN 110的层配置的详细信息：

表1

在表1中，F表示每个层中的内核的尺寸，S是跨度，并且K是内核的数量，其也可以称为深度。跨度是内核图中相邻神经元的内核中心之间的距离。当跨度为2时，内核一次跳跃2个像素。

在本实施例中，第一卷积神经网络被配置为在每个卷积层之后应用零填充，以便在卷积之后保持空间分辨率。零填充可以用于控制输出体积的空间大小，保留输入体积的空间大小，使得输入和输出宽度和高度相同。在本实施例中，在第一卷积层中应用1个额外像素的零填充，并且在其他卷积层中应用2个额外像素的零填充。

在本发明的一些实施例中，较大数量的内核可以由多个较小数量的内核表示。例如，可以通过采用两个3×3内核来表示5×5内核。采用带有非线性校正的多个小尺寸内核层可以使CNN更具判别力，并且需要较少的参数来进行优化。因此，在本实施例中，使用3×3的相对较小内核尺寸。同样，在本实施例中，最大池化层使用3×3的内核尺寸和2的跨度，使得在每组卷积层之后特征图的尺寸减半。

现在参考图5，示出了根据本发明实施例的第二CNN 130的架构的示例。在本实施例中，第二CNN 130被配置为输出如上所述定义的四个类别中的一个类别，并且被配置为接收尺寸为61×61像素的输入图像。然而，在另一实施例中，第二CNN 130可以被配置为处理不同尺寸的图像，和/或可以被配置为使用不同数量的类别。

在一些实施例中，第一CNN 110可以从激活的输出类别到输入图像数据进行逆向分析，以确定产生输出层中的最终激活的特征的位置。然后，装置可以根据输出层中激活了哪些节点来确定感兴趣的特征的位置。

例如，在等级1图像(仅存在MA)中，只有与MA相关联的节点将被激活。当某些节点被激活时，可以通过分析第一CNN 110的结构以确定哪些像素被用作激活的节点的输入，来确定触发激活这些节点的MA的位置。可以在第一CNN 110的训练阶段执行该分析，以确定当在输入图像的特定区域中存在MA时激活了哪些节点。可以以合适的格式将结果信息存储在例如查找表(LUT)中，其中，激活的节点的某些组合与输入图像中候选特征的特定位置相关联。该信息通常可以被称为特征位置信息。然后，在处理未知输入图像并且为其分配疾病等级(在本实施例中为等级1至4)时，特征选择单元120可以检查激活了哪些节点，并且将所标识的节点与所存储的特征位置信息进行比较以确定输入图像中的候选特征的位置。特征选择单元120然后可以裁剪输入图像的相应部分，并且将裁剪图像发送到第二CNN 130以进行进一步处理，如上所述。

如图5所示，本实施例的第二CNN 130包括：第二多个层，包括总共七个卷积层和两个最大池化层；全连接层，连接到最后一个卷积层；以及softmax层，连接到全连接层。softmax层被配置为基于全连接层的输出，将视网膜图像分配给指示特征是非病变、是微动脉瘤、是出血、还是渗出液的四个类别中的一个类别。下面的表2中示出了第二CNN 130的层配置的详细信息：

表2

与第一CNN 110一样，在本实施例中，第二CNN 130被配置为针对每个最大池化层使用2的跨度。第二CNN 130还被配置为针对卷积层和最大池化层中的每一者使用3×3像素的小内核尺寸，并且被配置为在每个卷积层之后应用零填充。

应当理解，图4和图5所示的架构仅是出于说明性目的而提供的，并且不应当被解释为限制性的。在其他实施例中，可以使用不同的架构。例如，如果使用不同的输入图像尺寸，则可以相应地修改层尺寸、层数目、以及最大池化层和卷积层的顺序。

在本发明的实施例中，可以使用适当的训练数据集来训练第一CNN 110和第二CNN130。技术人员将熟悉训练神经网络的方法，并且本文将不提供详细的解释。在本实施例中，使用仅从不包括任何病变的图像中提取的阴性样本并且使用仅从病变位置处的疾病图像(例如，包括MA、出血和/或渗出液的图像)中提取的阳性样本来训练第一CNN 110和第二CNN130。可以选择阴性样本，使其包含常见的干扰候选对象，例如视盘、血管分叉和交叉、小的断开的血管碎片、和视网膜出血，从而训练CNN以从这些干扰候选对象中区分出感兴趣的特征。

训练图像可以分为训练集和验证集。例如，可以将90％的训练图像分配给训练集，并且可以将10％的训练图像分配给验证集。在使用训练集训练CNN之后，可以使用经训练的CNN来分析验证集，从而通过测试是否针对验证集中的图像获得了预期的结果，来确认CNN已经被正确地训练。可以生成以病变位置为中心的相应裁剪训练图像(例如，具有61×61像素的图像尺寸和三个通道深度)，从而训练第二CNN 130。在一些实施例中，相同的数据增强方法可以被用来人为地增加可用于训练第二CNN 130的病变样本的数目。在训练第一CNN110和第二CNN 130时，正常图像块可以水平和垂直地随机翻转以避免可能的过度拟合，每个所得翻转图像都被赋予与原始块相同的类别标签。

虽然本文已经参考附图描述了本发明的某些实施例，但是应当理解，在不脱离所附权利要求限定的本发明的范围的情况下，可以进行许多变化和修改。

Claims (17)

1.一种用于在视网膜图像中检测指示糖尿病性视网膜病变的特征的装置，所述装置包括：

第一卷积神经网络，被配置为处理视网膜图像的图像数据以将所述视网膜图像分类为正常图像或疾病图像；

特征选择单元，被配置为在被所述第一卷积神经网络分类为疾病图像的图像中选择感兴趣的特征；以及

第二卷积神经网络，被配置为处理所选择的特征的图像数据以确定所述所选择的特征是否是指示糖尿病性视网膜病变的特征。

2.根据权利要求1所述的装置，其中，所述特征选择单元被配置为裁剪所述视网膜图像以获得包括所选择的感兴趣的特征的较低分辨率的裁剪图像，并且将所述裁剪图像的图像数据传递至所述第二卷积神经网络。

3.根据权利要求2所述的装置，其中，所述特征选择单元被配置为根据所述感兴趣的特征的尺寸来选择多个预定图像尺寸中的一个预定图像尺寸，并且将所述视网膜图像裁剪为所选择的图像尺寸，所述装置还包括：

多个第二卷积神经网络，每个第二卷积神经网络被配置为针对所述多个预定图像尺寸中的不同预定图像尺寸处理图像数据，

其中，所述特征选择单元被配置为将所述裁剪图像的图像数据传递至被配置为针对所选择的图像尺寸处理图像数据的相应第二卷积神经网络。

4.根据权利要求1、2或3所述的装置，其中，所述特征选择单元被配置为根据在所述第一卷积神经网络的输出层中激活了哪些节点来确定感兴趣的特征的位置。

5.根据前述权利要求中任一项所述的装置，其中，所述第一卷积神经网络被配置为通过将多个等级中的一个等级分配给所述视网膜图像来对所述视网膜图像进行分类，所述多个等级包括指示正常视网膜的等级和各自指示不同的糖尿病性视网膜病变阶段的多个疾病等级。

6.根据权利要求5所述的装置，其中，所述多个疾病等级至少包括：

第一疾病等级，指示背景视网膜病变；

第二疾病等级，指示前增生性视网膜病变；以及

第三疾病等级，指示增生性视网膜病变。

7.根据前述权利要求中任一项所述的装置，其中，所述第二卷积神经网络被配置为将所选择的特征分类为多个类别中的一个类别，每个类别指示能够与糖尿病性视网膜病变相关联的不同类型的特征。

8.根据权利要求7所述的装置，其中，所述多个类别至少包括：

第一类别，指示正常视网膜；

第二类别，指示微动脉瘤；

第三类别，指示出血；以及

第四类别，指示渗出液。

9.根据前述权利要求中任一项所述的装置，其中，所述特征选择单元被配置为应用阴影校正算法，以将所述视网膜图像中的一个或多个亮病变候选和/或暗病变候选标识为所选择的感兴趣的特征。

10.根据前述权利要求中任一项所述的装置，其中，所述第一卷积神经网络包括：

第一多个层，包括多个卷积层和至少一个最大池化层；

第一全连接层，连接到所述第一多个层中的最后一层；以及

第一softmax层，连接到所述第一全连接层，所述第一softmax层被配置为基于所述第一全连接层的输出将所述视网膜图像分配给多个预定义等级中的一个预定义等级。

11.根据权利要求10所述的装置，其中，所述第一卷积神经网络的所述第一多个层、所述第一全连接层和所述第一softmax层被配置为如图4所示。

12.根据前述权利要求中任一项所述的装置，其中，所述第二卷积神经网络包括：

第二多个层，包括多个第二卷积层和至少一个第二最大池化层；

第二全连接层，连接到所述第二多个层中的最后一层；以及

第二softmax层，连接到所述第二全连接层，所述第二softmax层被配置为基于所述第二全连接层的输出将所述视网膜图像分配给多个预定义等级中的一个预定义等级。

13.根据权利要求12所述的装置，其中，所述第二卷积神经网络的所述第二多个层、所述第二全连接层和所述第二softmax层被配置为如图5所示。

14.根据权利要求10至13中任一项所述的装置，其中，所述至少一个第一最大池化层和/或所述至少一个第二最大池化层被配置为使用2的跨度。

15.根据权利要求10至14中任一项所述的装置，其中，所述第一卷积神经网络和/或所述第二卷积神经网络被配置为在每个卷积层之后应用零填充。

16.一种在视网膜图像中检测指示糖尿病性视网膜病变的特征的方法，所述方法包括：

使用第一卷积神经网络来处理视网膜图像的图像数据，以将所述视网膜图像分类为正常图像或疾病图像；

从被所述第一卷积神经网络分类为疾病图像的图像中选择感兴趣的特征；以及

使用第二卷积神经网络来处理所选择的感兴趣的特征的图像数据，以确定所选择的感兴趣的特征是否是指示糖尿病性视网膜病变的特征。

17.一种计算机可读存储介质，被布置为存储计算机程序指令，所述计算机程序指令在被执行时执行根据权利要求16所述的方法。

Images