CN111345775B - 眼底图像的评估 - Google Patents

Abstract

一种自动对数字眼底图像进行质量评估的示例性方法可以包括：获得数字眼底图像文件；使用模型分析数字眼底图像文件的第一质量以估计捕获眼底图像的最佳时间；以及使用该模型分析数字眼底图像文件的第二质量以估计疾病状态。

Description

眼底图像的评估

背景技术

可以通过研究视网膜图像来诊断糖尿病性视网膜病和其他类似的疾病状态。视网膜图像可以由临床医生人工检查。但是，人工检查是劳动密集型过程，并且可能会出错。

例如，患有1型或2型糖尿病的人可能因患有糖尿病而患上眼病。最常见的糖尿病性眼病之一是糖尿病性视网膜病，其是对眼后部的光敏组织(称为视网膜)的血管的损伤。训练有素的医疗专业人员在眼科检查期间使用相机进行糖尿病视网膜病筛查。相机可以产生眼睛后部的图像，并且训练有素的医疗专业人员使用那些图像来诊断和治疗糖尿病视网膜病。

发明内容

自动对数字眼底图像进行质量评估的示例性方法可以包括：获得数字眼底图像文件；使用模型分析数字眼底图像文件的第一质量以估计捕获眼底图像的最佳时间；以及使用模型分析数字眼底图像文件的第二质量以估计疾病状态。

自动对数字眼底图像进行质量评估的示例性***可以包括：处理器；以及对指令进行编码的存储器，在由处理器执行时，该指令使***：获得数字眼底图像文件；使用神经网络分析数字眼底图像文件的光学质量以估计捕获眼底图像的最佳时间；以及使用模型分析数字眼底图像文件的第二质量以估计疾病状态。

附图说明

形成本申请的一部分的以下附图是所描述的技术的说明，并且不意味着以任何方式限制本公开的范围。

图1是用于记录和查看患者眼底图像的***的示例性实施例；

图2是眼底成像***的示例性实施例；

图3是使用眼底成像***对患者的眼底进行成像的方法的示例性实施例；

图4是眼底成像***的示例性实施例；

图5示出了使用被动眼睛跟踪启动眼底成像的方法的实施例；

图6是眼底成像***的用途的示例性实施例；

图7是在眼底成像***内使用的计算设备的实施例；

图8是眼底成像***的另一示例性实施例；

图9是图8的眼底成像***的另一视图；

图10是图8的眼底成像***的另一视图；

图11是图8的眼底成像***的另一视图；

图12是图8的眼底成像***的另一视图；

图13是图8的眼底成像***的另一视图；

图14是图8的眼底成像***的另一视图；

图15是图8的眼底成像***的另一视图；

图16是图8的眼底成像***的另一视图；

图17是图8的眼底成像***的另一视图；

图18是用于评估眼底图像的质量的示例性***。

图19是右眼的具有完全对准的黄斑视图的示例性眼底图像。

图20是用于评估眼底图像以自动捕获图像和/或自动分析图像的示例性方法。

图21是用于自动评估眼底图像的示例性方法。

图22是示例性眼底图像和对应的血管像素图像。

图23是另一示例性眼底图像和对应的血管像素图像。

图24是另一示例性眼底图像和对应的血管像素图像。

图25是另一示例性眼底图像和应用于其上的掩模。

具体实施方式

图1是示出用于记录和查看患者眼底图像的示例性***100的示意性框图。在该实施例中，***100包括患者P、眼底成像***102、具有图像处理器106的计算设备1800、与计算设备1800通信的相机104、与计算设备1800通信并由临床医生C使用的显示器108，以及网络110。下面参考图4更详细地示出和描述眼底成像***102的示例性实施例。

眼底成像***102用于创建患者P的眼睛底部的一组数字图像。如本文所用，“眼底”是指眼睛底部，并且包括视网膜、视神经、黄斑、玻璃体、脉络膜和后极。

在该实施例中，需要一个或多个眼睛图像。例如，正在筛查患者P的眼病，例如糖尿病性视网膜病。眼底成像***102还可用于提供用于其他目的的眼睛图像，例如诊断或监测诸如糖尿病性视网膜病的疾病的进展。

眼底成像***102包括支撑***部件的手持式壳体。壳体支撑一个或两个孔，用于一次成像一只或两只眼睛。在实施例中，壳体支撑用于患者P的位置引导件，例如可选的可调节下巴托。一个或多个位置引导件有助于将患者P的一只或两只眼睛与一个或两个孔对准。在实施例中，壳体支撑用于升高和降低一个或两个孔以使其与患者P的一只或两只眼睛对准的装置。一旦患者P的眼对准，然后临床医生C通过眼底成像***102启动图像捕获。

用于眼底成像的一种技术需要瞳孔散大或患者瞳孔的扩张，这对患者P来说可能是疼痛的和/或不方便的。示例性***100在成像之前不需要将散瞳药物施用于患者P，尽管***100还是可以对眼底成像，如果已经施用了散瞳药物。

***100可用于帮助临床医生C筛查、监测或诊断各种眼病，诸如高血压、糖尿病性视网膜病、青光眼和视***水肿。应当理解，操作眼底成像***102的临床医生C可以与评估所得图像的临床医生C不同。

在示例性实施例100中，眼底成像***102包括与图像处理器106通信的相机104。在该实施例中，相机104是包括镜头、光圈和传感器阵列的数码相机。相机104镜头是可变焦距镜头，例如由步进电机移动的镜头，或流体镜头，在本领域中也称为液体镜头。将相机104配置成一次记录一只眼睛眼底的图像。在其他实施例中，将相机104配置成基本上同时记录双眼的图像。在那些实施例中，眼底成像***102可包括两个单独的相机，每只眼睛一个。

在示例性***100中，图像处理器106可操作地耦合到相机104，并且被配置成与网络110和显示器108通信。

图像处理器106调节相机104的操作。图7中更详细地示出了包括图像处理器的示例性计算设备的部件，这将在下面进一步描述。

显示器108与图像处理器106通信。在示例性实施例中，壳体支撑显示器108。在其他实施例中，显示器连接到图像处理器，例如智能手机、平板电脑或外部监视器。显示器108用于以临床医生C可读的尺寸和格式再现由眼底成像***102产生的图像。例如，显示器108可以是液晶显示器(LCD)和有源矩阵有机发光二极管(AMOLED)。显示。显示器可以是触敏的。

示例性眼底成像***102连接到网络110。网络110可以包括任何类型的无线网络、有线网络或本领域中已知的任何通信网络。例如，无线连接可以包括蜂窝网络连接和使用诸如802.11a、b和/或g之类的协议进行的连接。在其他实施例中，可以使用一个或多个有线或无线协议(诸如蓝牙、Wi-Fi直连、射频识别(RFID)或紫蜂)在眼底成像***102和外部显示器之间直接实现无线连接。其他配置是可能的。

图2示出了示例性眼底成像***102的部件。示例性眼底成像***102包括可变焦距透镜180、照明LED 182、图像传感器阵列186、固定LED 184、计算设备1800和显示器108。每个部件至少与计算设备1800电连接。其他实施例可以包括更多或更少的部件。

在一实施例中，可变焦距透镜180是液体透镜。液体透镜是光学透镜，其焦距可以通过施加诸如电压的外力来控制。透镜包括密封在单元和透明膜内的透明流体，例如水或水和油。通过向流体施加力，流体的曲率改变，从而改变焦距。这种效应称为电润湿。

通常，液体透镜可以聚焦在约-10屈光度至约+30屈光度之间。即使聚焦发生很大变化，液体镜头的聚焦也可以快速完成。例如，一些液体透镜可以在几十毫秒或更快的速度下自动聚焦。液体镜头可以从约10cm到无限远聚焦，并且可以具有约16mm或更短的有效焦距。

在示例性眼底成像***102的另一实施例中，可变焦距透镜180是一个或多个可移动透镜，其由一个或多个步进电机、音圈、超声电机、压电致动器等控制。另外，步进电机还可以沿一个轴、两个轴和/或自由轴移动图像传感器阵列186。在那些实施例中，可变焦距透镜180和/或图像传感器阵列186正交于眼底成像***102的光轴取向并且至少沿光轴移动。下面参考图4示出和描述另外的细节。

示例眼底成像***102还包括照明发光二极管(LED)182。照明LED 182可以是单色或多色的。例如，照明LED 182可以是三通道RGB LED，其中每个管芯能够独立和串联操作。

可选地，照明LED 182是包括一个或多个可见光LED和近红外LED的组件。可选的近红外LED可以用于预览模式，例如，用于临床医生C确定或估计患者P的眼焦点，而不照射可能导致瞳孔收缩或刺激患者P的可见光。

照明LED 182与计算设备1800电连通。因此，照明LED 182的照明与可变焦距透镜180的调整和图像捕获相协调。照明LED 182可以过驱动以吸取超过最大标准电流的吸取额定值。在其他实施例中，照明LED 182还可以包括近红外LED。在预览模式期间，近红外LED被点亮。

示例性眼底成像***102还可选地包括固定LED 184。固定LED 184与计算设备1800通信并产生光以引导患者P的眼睛进行对准。固定LED 184可以是单色或多色LED。例如，当患者P注视眼底成像***102时，固定LED 184可以产生绿光光束，其显示为绿点。其他颜色和设计，诸如十字，“x形”和圆形是可能的。

示例性眼底成像***102还包括图像传感器阵列186，其接收并处理由患者的眼底反射的光。图像传感器阵列186例如是互补金属氧化物半导体(CMOS)传感器阵列，也称为有源像素传感器(APS)或电荷耦合器件(CCD)传感器。

图像传感器阵列186具有多行像素和多列像素。在一些实施例中，图像传感器阵列具有约1280乘1024像素、约640乘480像素、约1500乘1152像素、约2048乘1536像素，或约2560乘1920像素。

在一些实施例中，图像传感器阵列186中的像素尺寸为约4微米乘约4微米；约2微米乘约2微米；约6微米乘约6微米；或者约1微米乘约1微米。

示例性图像传感器阵列186包括光电二极管，其具有光接收表面并且具有基本上均匀的长度和宽度。在曝光期间，光电二极管将入射光转换为电荷。图像传感器阵列186可以作为全局复位进行操作，即，基本上所有光电二极管同时并且在基本上相同的时间长度曝光。

示例性眼底成像***102还包括上面参考图1更详细地论述的显示器108。另外，示例性眼底成像***102包括下面参考图7更详细地论述的计算设备1800。

图3是使用眼底成像***对患者的眼底进行成像的方法200的实施例。在所示的实施例中，尽管降低照明是可选的，但是在执行之前照明被最佳地调暗。所示实施例包括设定景深操作204、设定区域数量操作206、照明发光操作208、调整镜头焦距操作210、捕获图像操作212、(多个)重复操作213、示出图像操作214和确定代表性图像操作216。其他实施例可包括更多或更少的步骤。

方法200的实施例开始于设置景深操作204。在实施例中，可变焦距透镜180能够从约-20屈光度到约+20屈光度聚焦。设定景深操作204在屈光度方面定义下限和上限。例如，景深范围可以设置为约-10至+10屈光度；约-5至约+5屈光度；约-10至约+20屈光度；约-5至约+20屈光度；约20至约+0屈光度；或约-5至约+5屈光度。其他设置是可能的。景深可由制造商预编程。备选地，最终用户诸如临床医生C可以设置景深。

如图3所示，方法200的实施例中的下一个操作是设置区域数量操作206。然而，区域操作206可以在景深操作204之前或与景深操作204同时发生。在区域操作206中，景深被分成相等的部分，其中每个部分称为区域。在其他实施例中，区域并非全部相等。区域的数量等于捕获图像操作212中捕获的图像的数量。

例如，当景深为从-10至+10屈光度时，可变焦距镜头的焦点可在每次图像捕获之前改变4个屈光度。因此，在该示例中，将以-10、-6、-2、+2、+6和+10屈光度捕获图像。或者，可以以-8、-4、0、+4和+8屈光度捕获图像，从而分别捕获-10至-6屈光度、-6至-2屈光度、-2至+2屈光度、+2至+6屈光度和+6至+10屈光度的区域中的图像。在那种情况下，景深为约+/-2屈光度。当然，区域的数量和景深可以变化，产生不同的景深图像捕获范围。

在实施例中，景深和区域数量都是预定的。例如，-10D至+10D和5个区域。两者都可以由用户更改。

在设置景深和区域数量之后，方法200的实施例中的下一个操作是图像捕获过程，其包括照明发光操作208、调整镜头焦距操作210和捕获图像操作212。如图3所示，在调整镜头焦距(镜头聚焦操作210)之前照明(发光操作208)发光部件。然而，镜头聚焦操作210可以在发光操作208之前或与其同时发生。

在发光操作208中使照明LED 182照明。照明LED 182可以在每次图像捕获的整个持续时间内保持照明。备选地，可以为每次图像捕获打开和关闭照明LED182。在实施例中，照明LED 182仅在与图像传感器阵列186曝光时间段相同的时间段内打开。

可选地，发光操作208可以另外包括照明近红外LED。临床医生C可以使用近红外LED的照明作为预览患者P瞳孔的位置的方式。

在镜头聚焦操作210中调整可变焦距镜头180的焦距。在方法200的实施例中不使用自动聚焦。也就是说，设置屈光度提供给镜头而不考虑图像聚焦的质量。实际上，传统的自动聚焦在低发光非散瞳图像捕获环境中是失败的。方法200的实施例产生多个图像，其中至少一个图像或其组合产生患者P的眼底的对焦视图。

另外，缺乏自动聚焦使得眼底成像***102能够在不同屈光度范围下在捕获图像操作212中快速捕获多个图像。也就是说，可变焦距透镜180可以被设置为特定的屈光度范围，并且在没有***验证特定焦点水平的情况下捕获的图像将产生对焦图像，如在自动聚焦***中发现的那样。因为***不会尝试自动聚焦，并且可变焦距透镜180的焦点可以在约几十毫秒内改变，所以在实施例中，可以在一秒钟内在整个景深中捕获图像。因此，在方法200的实施例中，眼底成像***102可以在患者P的眼睛可以对照明光作出反应之前捕获整个景深的图像。不受特定理论的束缚，取决于患者P，眼睛可能在约150毫秒内对来自照明LED 182的光作出反应。

图像传感器阵列186在捕获图像操作212中捕获眼底的图像。如上所述，方法200的实施例包括在不同屈光度聚焦下的相同眼底的多个图像捕获。示例性眼底成像***102使用全局复位或全局快门阵列，但是可以使用其他类型的快门阵列，例如滚动快门。整个图像捕获方法200还可以由被动眼睛跟踪触发并自动捕获例如5帧图像。下面参考图5更详细地示出和描述用于被动眼睛跟踪的方法的示例性实施例。

在眼底成像***102捕获眼底图像之后，方法200的实施例在循环213中返回到照明发光操作208或调整镜头聚焦操作210。即，操作208、210和212重复，直到在来自区域操作206的每个预设区域中捕获图像。应当注意，图像捕获不需要在景深中顺序进行。另外，每个图像不需要在单个循环中捕获；患者可以拥有一个或多个捕获的眼底图像，然后在暂停或休息后拥有一个或多个捕获的眼底图像。

在方法200的实施例中，在每个区域中捕获图像(捕获图像操作212)之后，在示出图像操作214中显示图像或在操作216中确定代表性图像并然后显示图像。示出图像操作214可以包括在显示器108上同时或顺序地显示所有图像。然后，显示器108上示出的用户界面可以使临床医生C或其他审查医疗专业人员能够选择或识别患者P的眼底的最佳或代表性图像。

除了示出图像操作214或代替示出图像操作214，计算设备可以在操作216中确定代表性眼底图像。操作216还可以通过编译捕获的一个或多个图像的方面来产生单个图像。这可以通过例如使用小波特征重建方法来选择、内插和/或合成最具代表性的频率或位置分量来实现。

眼底成像***102还可以通过编译多个捕获图像来产生眼底的三维图像。因为图像是在眼底的不同聚焦范围内拍摄的，所以图像的编译可以包含关于眼底的三维信息。

继而，来自操作214或216的一个或多个图像可以经由网络110发送到患者的电子病历或不同的医疗专业人员。

图4示出了眼底成像***400的实施例的内部部件。实施例400包括光学镜头模块410，其具有安装在多个基座上的自动聚焦电机412，该基座允许在多个轴线上以一定间距行进。

x基座402允许光学透镜模块410沿x方向行进。这可以包括沿x方向行进达78mm。z基座404允许光学透镜模块410沿z方向行进。这可以包括沿z方向行进30mm。

另外，眼底成像***400可选地包括y倾斜基座406，其允许光学透镜模块410在y方向上绕轴承408俯仰。在该实施例中，俯仰允许10.55mm的行程，这引起+4.08度至-2.88度的y倾斜。

眼底成像***400类似于在2018年12月21日提交的美国专利申请号16/229939和/或2016年2月26日提交的美国专利申请号15/054,558中描述的***，这两个专利申请的全部内容都通过引用并入本文。

图5示出了使用被动眼睛跟踪启动视网膜成像步骤306的替代实施例。启动视网膜成像步骤306操作以使用被动眼睛跟踪对患者P的眼底成像。在启动视网膜成像步骤306中，眼底成像***102监测患者P的瞳孔/中央凹取向。尽管关于眼底成像***102描述了启动视网膜成像步骤306，但是可以使用可穿戴或不可穿戴的眼底成像***，例如手持式数字眼底成像***执行启动视网膜成像步骤306。

最初，在步骤303，监测患者P的瞳孔或中央凹或两者。眼底成像***102以第一图像捕获模式捕获图像。在第一图像捕获模式中，眼底成像***102以较高的帧速率捕获图像。在一些实施例中，在第一图像捕获模式中，眼底成像***102以红外照射和较低分辨率捕获图像。在一些实施例中，红外照明由照明LED182产生，其操作以产生较低强度的光并将其朝向受试者引导。第一图像捕获模式可以使患者P的不适最小化、允许患者P放松，并且允许更大的瞳孔尺寸而不扩张(非散瞳)。

接下来，在步骤305，计算设备1800处理至少一部分由眼底成像***102捕获的图像。计算设备1800处理图像以识别患者P的瞳孔或中央凹或两者的位置。使用一个图像中的瞳孔或中央凹或两者的位置，计算对应于瞳孔/中央凹取向的矢量。在一些实施例中，基于图像中的瞳孔和中央凹之间的距离对瞳孔/中央凹取向求取近似。在其他实施例中，通过使用到瞳孔的距离和瞳孔与中央凹之间的距离的估计，通过在三维中对中央凹相对于瞳孔的位置求取近似来计算瞳孔/中央凹取向。在其他实施例中，瞳孔/中央凹取向仅从瞳孔的位置求取近似。在其他实施例中，使用对瞳孔/中央凹取向求取近似的其他方法。

接下来，在步骤307，将瞳孔/中央凹取向与眼底成像***102的光轴进行比较。如果瞳孔/中央凹取向基本上与眼底成像***102的光轴对准，则该过程进行到步骤309以捕获眼底图像。如果不是，则该过程返回到步骤303以继续监视瞳孔或中央凹。在一些实施例中，在它们之间的角度小于2到15度时，瞳孔/中央凹取向基本上与光轴对准。

接下来，在步骤309，通过触发离焦图像捕获方法200的示例性实施例来捕获眼底图像。在实施例中，在步骤309捕获五个图像。在一些实施例中，在第二图像捕获模式下捕获眼底图像。在一些实施例中，在第二图像捕获模式下，眼底成像***102捕获具有可见光照明和在更高分辨率下的图像。在一些实施例中，可见光照明由照明LED 182产生，该照明LED182操作以生成较高强度的光并将其朝向受试者引导。在其他实施例中，较高照明强度由外部光源或环境光产生。第二图像捕获模式可以有助于捕获清晰、照明良好且详细的眼底图像。

在一些实施例中，在步骤309之后，启动视网膜成像步骤306返回到步骤303以继续监测瞳孔/中央凹取向。启动视网膜成像步骤306可以继续无限地收集眼底图像或直到已经收集了指定数量的图像。关于被动眼睛跟踪的进一步信息可以在2014年2月11日提交的名称为检眼镜设备(Ophthalmoscope Device)的美国专利申请号14/177594中找到，该专利申请通过引用整体并入本文。

图6是眼底成像***102的用途500的示例性实施例。在用途500的示例性实施例中，临床医生定位眼底成像***(操作502)、启动图像捕获(操作504)，在另一只眼睛上定位眼底成像***(操作506)、启动图像捕获(操作508)，以及查看图像(操作520)。尽管示例性用途500是在没有首先施用散瞳药物的情况下进行的，但示例性用途500也可以为服用瞳孔扩张化合物的患者执行。示例性用途500的实施例还可以包括降低照明。使用与上面参考图1-3描述的部件相同或类似的部件来进行用途500的示例性实施例。其他实施例可以包括更多或更少的操作。

用途500的示例性实施例通过定位眼底成像***开始(操作502)。在实施例中，临床医生首先经由壳体上的按钮或显示器所示的图形用户界面启动图像捕获序列。图形用户界面可以指示临床医生将眼底成像***定位在患者的特定眼睛上。备选地，临床医生可以使用图形用户界面来指示首先对哪个眼底进行成像。

在操作502中，临床医生将眼底成像***定位在患者的眼窝附近。临床医生将***的孔定位成与患者的眼窝齐平，使得孔或从孔延伸的软材料眼罩密封大部分环境光。当然，示例性用途500不需要将孔定位成与患者的眼窝齐平。

当眼底成像***处于适当位置时，***在操作504中捕获一个以上的眼底图像。如上所述，***不需要临床医生手动聚焦镜片。此外，***不会尝试在眼底上自动聚焦。相反，临床医生仅通过按钮或GUI启动图像捕获，并且眼底成像***控制何时捕获图像和可变焦距透镜的聚焦。而且，如上面至少参考图5所论述的，***可以使用被动眼睛跟踪来启动图像捕获。

在图像捕获操作504期间，患者可能需要眼底成像***远离眼窝移动。临床医生可以使用按钮或显示器上的GUI重新启动同一眼睛的图像捕获序列。

在捕获每个指定区域中的图像之后，眼底成像***通知临床医生壳体应该定位在另一只眼睛上(操作506)。通知可以是可听见的，例如蜂鸣声，和/或显示器可以显示通知。在实施例中，***被配置成捕获仅一只眼睛的一组图像，其中示例性方法500在图像捕获操作504之后进行查看图像操作520。

类似于操作502，临床医生然后在操作506中将眼底成像***定位在患者的另一眼窝附近或与其齐平。再次，当***处于适当位置时，在操作508中在每个区域中捕获图像。

在已经在每个预设区域中捕获了眼底的图像之后，临床医生可以在操作520中查看所得到的图像。如上面参考图3所述，可以在临床医生查看图像以选择或合成代表性图像之前对图像进行后处理。备选地，可以将眼底图像发送到远程位置以供不同的医疗专业人员查看。

图7是示出可实施本公开的实施例的计算设备1800的物理部件(即，硬件)的框图。下面描述的计算设备部件可以适合用作上述计算设备，例如图1的无线计算设备和/或医疗设备。在基本配置中，计算设备1800可以包括至少一个处理单元1802和***存储器1804。根据计算设备的配置和类型，***存储器1804可以包括但不限于易失性存储装置(例如，随机存取存储器)、非易失性存储装置(例如，只读存储器)、闪存存储器或此些存储器的任何组合。***存储器1804可以包括操作***1805和适合于运行软件应用程序1820的一个或多个程序模块1806。例如，操作***1805可以适合于控制计算设备1800的操作。此外，本公开的实施例可以结合图形库、其他操作***或任何其他应用程序来实施本公开，并且不限于任何特定应用程序或***。该基本配置在图7中由虚线1808内的那些部件示出。计算设备1800可以具有附加特征或功能。例如，计算设备1800还可以包括附加数据存储设备(可移除的和/或不可移除的)，例如，诸如磁盘、光盘或磁带。此种附加存储装置在图7中由可移除存储设备1809和不可移除存储设备1810示出。

如上所述，多个程序模块和数据文件可以存储在***存储器1804中。当在至少一个处理单元1802上执行时，程序模块1806可以执行包括但不限于以下的过程：生成设备列表、广播用户友好名称、广播发射机功率、确定无线计算设备的接近度、与无线计算设备连接、将生命体征数据传输到患者的EMR、对范围内的无线计算设备进行归并排序，以及参考如本文所述的附图描述的其他过程。可以根据本公开的实施例使用的其他程序模块，并且尤其是用于生成屏幕内容的程序模块可以包括电子邮件和联系人应用程序、文字处理应用程序、电子表格应用程序、数据库应用程序、幻灯片演示应用程序、绘图或计算机辅助应用程序等。

此外，本公开的实施例可以在包括分立电子元件、包含逻辑门的封装或集成电子芯片，利用微处理器的电路或包含电子元件或微处理器的单个芯片的电路中实施。例如，可以通过片上***(SOC)来实施本公开的实施例，其中图7中示出的部件中的每个或多个可以集成到单个集成电路上。此种SOC设备可以包括一个或多个处理单元、图形单元、通信单元、***虚拟化单元和各种应用功能，所有这些都作为单个集成电路集成(或“烧制”)到芯片基板上。当经由SOC操作时，可以通过与单个集成电路(芯片)上的计算设备1800的其他部件集成的专用逻辑来操作本文描述的功能。还可以使用能够执行逻辑运算(例如，诸如和、或和非)的其他技术来实践本公开的实施例，包括但不限于机械、光学、流体和量子技术。此外，本公开的实施例可以在通用计算机内或任何其他电路或***中实施。

计算设备1800还可以具有一个或多个输入设备1812，诸如键盘、鼠标、笔、声音或语音输入设备、触摸或滑动输入设备等。还可以包括(多个)输出设备1814诸如显示器、扬声器、打印机等。上述设备是示例性的，并且可以使用其他设备。计算设备1800可以包括允许与其他计算设备通信的一个或多个通信连接1816。合适的通信连接1816的实施例包括但不限于RF发射器、接收器和/或收发器电路；通用串行总线(USB)、并行和/或串行端口。

如本文使用的术语计算机可读介质可以包括非暂时性计算机存储介质。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性的，可移除和不可移除介质，该信息诸如计算机可读指令、数据结构或程序模块。***存储器1804、可移除存储设备1809和不可移除存储设备1810都是计算机存储介质实施例(即，存储器存储装置)。计算机存储介质可以包括RAM、ROM、电可擦除只读存储器(EEPROM)、闪存存储器或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备，或可用于存储信息并且可由计算设备1800访问的任何其他制品。任何此类计算机存储介质都可以是计算设备1800的一部分。计算机存储介质不包括载波或其他传播或调制的数据信号。

通信介质可以由计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据(例如载波或其他传输机制)来体现，并且包括任何信息传递介质。术语“调制数据信号”可以描述具有以对信号中的信息进行编码的方式设置或改变的一个或多个特性的信号。作为示例而非限制，通信介质可以包括有线介质，诸如有线网络或直接有线连接，以及无线介质，诸如声学、射频(RF)、红外和其他无线介质。

尽管本文描述的示例医疗设备是用于监测患者的设备，但是也可以使用其他类型的医疗设备。例如，CONNEX^TM***的不同部件，例如与监测设备通信的中间服务器，也可能需要以固件和软件更新的形式进行维护。这些中间服务器可以由本文描述的***和方法管理以更新服务器的维护要求。

本发明的实施例可以用在各种分布式计算环境中，其中任务由通过分布式计算环境中的通信网络来链接的远程处理设备执行。

本文描绘的框图仅是示例性的。在不脱离本公开的精神的情况下，可以对本文描述的这些图进行许多变化。例如，可以添加、删除或修改部件。

虽然已经描述了实施例，但是应该理解，本领域技术人员现在和将来都可以进行各种改进和增强。

现在参考图8-17，示出了眼底成像***400。眼底成像***400包括壳体601和相对端603，壳体601在第一端支撑显示器602，相对端603被配置成与患者的眼睛接合。如本文所述，眼底成像***600可用于实施一种或多种所描述的用于眼底成像的方法。

示例眼底成像***400的壳体601的尺寸设计成手持式的。显示器602可以显示眼睛的图像和用于捕获那些图像的控件。在一些情况下，显示器602可以是触摸屏。在实施例中，壳体601另外支持显示器602附近的一个或多个用户输入按钮。用户输入按钮可以启动图像捕获序列，其至少一部分在上面参考图3示出和论述。因此，眼底成像***400能够被配置成使得临床医生C不需要调整镜片焦点。

现在参考图18-25，示出了另一示例性***1000。在该实施例中，***1000被配置成使用神经网络自动捕获和评估眼底成像。尽管所示的实施例是图像采集***，但是替代实施例是可能的。例如，本文描述的实施例可以与执行图像采集和分析的替代***一起使用。

具体参考图18，***1000包括眼底成像***102和神经网络设备1004。如上所述，使用眼底成像***102来捕获一个或多个眼底图像1002。将这些眼底图像馈送到神经网络设备1004中以供一个或多个训练模型1006、1008、N进行评估。

在该示例中，训练模型1006、1008、N可以是以软件或硬件实现的一个或多个卷积神经网络(CNN)。当使用软件实现时，神经网络设备1004可以包括一个或多个处理单元，其包括一个或多个处理器，以及合适的计算机可读存储介质形式的存储器。存储器可以被布置成存储计算机程序指令，当由处理单元执行时，该计算机程序指令执行神经网络设备1004的功能。也可以使用其他类似类型的网络。

如图18所示，神经网络设备1004具有输入视网膜图像，输入视网膜图像包括由眼底成像***102捕获的一个或多个眼底图像1002。在本实施例中，将神经网络设备1004配置成接收尺寸为512×512像素的输入图像，但在其他实施例中，可以使用不同尺寸的图像。

将神经网络设备1004的训练模型1006、1008编程为使用图像评估模块1010自动评估图像。在一次评估中，分析眼底图像1002以在图像获取期间提供客观质量评估，以指导捕获最佳图像用于各种临床检查目的。在另一评估中，分析眼底图像1002在图像分析期间提供客观质量评估，以使用眼底图像指导疾病的诊断。

可以通过显示器1012显示图像评估模块1010的输出。例如，可以向护理人员C显示输出以帮助自动获取图像和/或诊断疾病，如下面进一步描述的。

可以针对标准的组合来估量眼底图像1002的评估。该标准可包括但不限于：(1)整个图像的整体光学质量；(2)视盘区域中的光学质量；(3)黄斑区域中的光学质量；(4)特定区的血管可见度或血管数量；以及包括(i)黄斑中心图像，以及(ii)视盘中心图像的(5)场位置。可以根据一种或多种标准进行图像评估，例如根据国家糖尿病视网膜病筛查程序的可接受图像质量的定义。在此实施例中，使用了来自评级和质量保证小组委员会的2006年5月9日的版本3.0的标准。在该标准中，定义了以下图像质量指南：

·良好的黄斑图像—中央凹的中心距图像中心≤1个视盘直径，在中央凹的中心距图像中心的1个视盘直径范围内血管清晰可见，在图像90％的范围内可见血管

·良好的视盘图像—视盘中心距图像中心≤1个视盘直径，视盘表面细小的血管清晰可见，在图像90％的范围内可见血管

·适当的黄斑图像—中央凹的中心距图像边缘>2个视盘直径，在中央凹的中心距图像边缘的的1个视盘直径内可见血管

·适当的视盘图像—完整视盘距图像边缘>2个视盘直径，视盘表面细小的血管可见(在一些特殊情况下(特别是在患者具有大视盘的情况下)，图像可能属于上述良好和适当的类别—在这种情况下，应将图像分类为良好)

·不适当的(不可分级的)—除非在眼睛中任何地方可见可参考的糖尿病视网膜病(R2、R3、M1、不稳定治疗的增生性糖尿病视网膜病)，否则不能满足上述定义。

虽然将神经网络描绘在眼底成像***102之外，但是在替代实施例中，神经网络可以嵌入眼底成像***102中。例如，神经网络可以是定位在眼底成像***102中的嵌入式软件模块或固件模块或硬件模块。其他配置是可能的。

图19示出了具有右眼的完全对准的黄斑视图的眼底图像1020。中央凹位于图像的中心并由“+”符号标记。(图像来自由评级和质量保证小组委员会于2006年5月9日通过的3.0版的“可接受图像质量的定义”)

现在参考图20，提供了由***1000实现的示例性方法1030。在该实施例中，在操作1032，由神经网络1004分析所获得的眼底图像。该分析可用于：在操作1034，自动捕获图像；和/或在操作1036，自动诊断(多个)疾病状态。

例如，在操作1034，可以使用神经网络1004的分析(例如，通过***1000中示出的反馈回路1030)以通过眼底成像***102自动捕获图像。例如，方法1050中的一个或多个操作(下面参考图21描述)可以用于分析当前图像被眼底成像***102捕获以确定何时自动捕获一个或多个眼底图像用于分析。例如，眼底成像***102可以具有集成的神经网络部件，其允许在正确的时间(例如，当瞳孔足够大时)自动捕获最佳图像，具有黄斑或OD的自动对准的功能，或具有先前的基线图像。

此外或备选地，在操作1036，来自眼底成像***102的捕获的眼底图像用于自动评估一种或多种疾病状态，如下面参考方法1050进一步描述的。

现在参考图21，提供了由***1000实现的示例性方法1050。在该实施例中，方法1050使用神经网络设备1004执行自动图像评估。该评估的结果可以用于例如帮助自动获取图像和/或疾病诊断。

在方法1050的操作1052，对整个眼底图像进行分类。例如，眼底图像可以被神经网络设备1004评定为“可读”或“不可读”。该分类可以通过使用已被人类审查者标记为“可读”或“不可读”的巨大图像集(例如，10,000或更多个图像)训练模型1006、1008、N来实现。训练可以使用定制的CNN或通过“转移学习”进行—即，使用大数据集训练初始CNN用于一般分类，诸如糖尿病性视网膜病分级。然后，经训练的权重可用作用于进一步训练质量评估结果的基础。训练的模型1006、1008、N可以基于该训练将图像预测为“可读”或“不可读”。

另外，可以将每个“可读”图像评定为“优秀”、“良好”或“一般”。可以类似地将每个“不可读”的图像评定为“差”或“不可接受”，并且可以由神经网络设备1004提供进一步的信息，诸如“不居中”、“不能评分—遮蔽区域”或“不能评分—差的照片质量”。

被识别为“不可读”的图像可被丢弃或发送以供人进行人工审查。如果图像被识别为“不可读”，则可以进一步自动或手动检查图像以确定图像是否表现出任何可参考的疾病，包括可参考的糖尿病性视网膜病或其他疾病。这是因为一些病理状况阻止光进入视网膜中或具有不寻常的呈现，使得图像看起来“不可读”。病理可能在图像的某些部分可见，而图像的其余部分是不可读的。

如果图像被识别为“可读”，则控制转到操作1054，并且确定图像是否为眼底图像。

具体地，这可以通过使用被训练以将图像分类为“视网膜”和“非视网膜”的神经网络设备1004来完成。这种分类可以通过CNN完成，其中有两类训练数据：一类是纯视网膜图像；并且一类可以是视网膜图像以外的任何图像。这可以通过定制的CNN或其他已建立的算法(诸如，起始模块或残差学习)或其他分类算法来实现。非视网膜数据可以是来自数据集(ImageNet)或来自任何非视网膜图像集合的那些数据。“非视网膜”分类图像被丢弃或发送以进行手动处理。

如果图像被识别为“视网膜”图像，则控制转到操作1056，并且神经网络设备1004用于检测眼底图像的中央凹和视盘(OD)。这通过使用训练模型1006、1008、N首先检测所有血管像素来实现。在该实施例中，U-网络(U-net)架构(例如，用于生物医学图像分割的卷积网络)用于对训练模型1006、1008、N进行训练。然后可以检测主要血管以估计OD和黄斑的位置。然后可以应用用于检测黄斑和OD的训练分类器来定位精确位置。可以通过U-网络或CNN或其他类型的深度或浅度学习算法来训练黄斑和OD分类器。该过程涉及为OD和黄斑准备一组合适的训练数据。

例如，参考图22，示出了示例性眼底图像1082。神经网络设备1004使用训练模型1006、1008、N来识别图像中描绘的血管以估计所有血管像素，如血管像素图像1084中所示。这可以通过实施U-网络来实现。训练样本是图像掩模，其中所有血管像素都被注释。然后训练U-网络以学习血管像素和非血管像素。

对于具有极少血管数量(指示低质量或病理学(例如磨砂分支血管病变))的图像，然后扫描所有区域以定位其中可以估计中央凹位置的OD和黄斑。

再次参考图21，在操作1058，可以使用训练的模型1006、1008、N对OD区域中的光学质量进行分类。例如，可以使用人类注释的训练样本来创建定制的CNN以自动识别OD的质量。OD区域中的血管数量也可应用于确定其质量。

接下来，在操作1060，估计特定区域的血管数量。例如，这可以是距中央凹或距图像边缘1个视盘直径区域或2个视盘直径区域的区域的测量血管数量。这可以使用基于子窗口的血管数量和基于场位置的血管数量的组合来实现，如下所示。

例如，如图23所描绘，由神经网络设备1004分析眼底图像1102。所得的血管像素图像1104示出了具有高质量评估分数(例如，100)的高质量图像。相反，在图24，由神经网络设备1004分析眼底图像1106。由于区域1110内缺少血管，所得的血管像素图像1108具有一般质量图像，其具有较低质量评估分数(例如，55)。

另外，神经网络设备1004可以被编程为分析OD、黄斑区域中的血管数量。这些可以使用例如在“根据NHS国家糖尿病视网膜病变筛查程序的可接受图像质量的定义”中建立的血管数量来评估。

再次参考图21，在操作1062，确定眼底图像的场位置和分类(例如，以黄斑为中心或以OD为中心)。如图25中所描绘，可以通过将掩模1122应用于眼底图像1120以及使用黄斑和OD检测来确定场位置。

再次参考图21，在操作1064，由神经网络设备1004提供反馈以允许评估其它疾病状态。例如，当神经网络设备1004识别出质量差的图像时，由于某些病理状况阻止了拍摄质量好的图像(例如，视网膜脱离或严重PDR)，因此可以在图像上使用检测病理的其他算法。可以训练简单的附加分类器——如逻辑线性回归以组合来自图像评估模块1010和附加疾病分类器的输出，以输出关于图像状况(纯劣质量或存在可参考病理学)的整体决策。

最后，在操作1066，可以使用一个或多个先前图像的基线通过比较来自患者P的先前图像来将分析集中在同一区域中——尤其是当基线图像中存在病理学迹象时。在一些实施例中，神经网络设备1004被编程为识别特定眼睛(例如，右或左)，使得来自该眼睛的图像可以与基线图像进行比较。这可以通过在两个图像中比较或配准血管结构以及OD和黄斑位置来实现。可以检查从基线图像中检测到病变的位置，以使用相关分类器检查评估和疾病检测。

可以修改方法1050的操作的特定顺序，并且可以添加或从中移除操作。例如，在替代方法中，可以在任何疾病状态分析之前完成基线比较。其他配置是可能的。

本文描述的***和方法产生显著的技术优势。例如，计算设备可以被编程为更有效地分析和分类眼底图像。这允许计算设备在较短的时间量内完成对更多数量的图像的分析。

本申请中提供的一个或多个实施例的描述和说明并非旨在以任何方式限制或约束所要求保护的本发明的范围。本申请中提供的实施例、示例和细节被认为足以传达所有权并使其他人能够制造和使用所要求保护的本发明的最佳模式。所要求保护的本发明不应被解释为限于本申请中提供的任何实施例、示例或细节。无论是组合地还是单独地示出和描述，旨在选择性地包括或省略各种特征(结构和方法)以产生具有特定特征集的实施例。由于已经提供了本申请的描述和说明，本领域技术人员可以预见落入所要求保护的本发明的更广泛方面的精神内的变型、修改和替换实施例，以及在本申请中体现的不偏离更广泛范围的总体发明构思。

Claims (20)

1.一种自动对数字眼底图像进行质量评估的方法，所述方法包括：

获得数字眼底图像文件；

使用模型分析所述数字眼底图像文件的第一质量以估计捕获眼底图像的最佳时间，所述最佳时间的估计取决于瞳孔尺寸；

在所述最佳时间捕获后续的数字眼底图像文件；以及

使用所述模型分析所述后续的数字眼底图像文件的第二质量以估计疾病状态。

2.根据权利要求1所述的方法，还包括使用神经网络来分析数字眼底图像文件。

3.根据权利要求2所述的方法，还包括将所述神经网络嵌入用于获得所述数字眼底图像文件的成像设备中。

4.根据权利要求1所述的方法，还包括将所述数字眼底图像文件的整体光学质量分析作为所述数字眼底图像文件的所述第一质量。

5.根据权利要求1所述的方法，还包括通过确定所述后续的数字眼底图像文件是否描绘视网膜来分析所述数字眼底图像文件的所述第二质量。

6.根据权利要求5所述的方法，还包括检测所述后续的数字眼底图像文件中的中央凹和视盘区域。

7.根据权利要求6所述的方法，还包括以下一项或多项：

确定所述视盘区域中的光学质量；

确定所述视网膜的特定区域的血管数量；

确定所述后续的数字眼底图像文件的场位置和分类；以及

提供反馈以允许评估其他疾病状态。

8.一种自动对数字眼底图像进行质量评估的方法，所述方法包括：

获得数字眼底图像文件；

使用神经网络分析所述数字眼底图像文件的光学质量以估计捕获眼底图像的最佳时间，所述最佳时间的估计取决于瞳孔尺寸；

在所述最佳时间捕获后续的数字眼底图像文件；以及

使用模型分析所述后续的数字眼底图像文件的第二质量以估计疾病状态。

9.根据权利要求8所述的方法，还包括将所述神经网络嵌入用于获得所述数字眼底图像文件的成像设备中。

10.根据权利要求8所述的方法，还包括将所述数字眼底图像文件的整体光学质量分析作为所述数字眼底图像文件的所述光学质量。

11.根据权利要求8所述的方法，还包括通过确定所述数字眼底图像文件是否描绘视网膜来分析所述后续的数字眼底图像文件的所述第二质量。

12.根据权利要求11所述的方法，还包括检测所述后续的数字眼底图像文件中的中央凹和视盘区域。

13.根据权利要求12所述的方法，还包括以下一项或多项：

确定所述视盘区域中的光学质量；

确定所述视网膜的特定区域的血管数量；

确定所述后续的数字眼底图像文件的场位置和分类；以及

提供反馈以允许评估其他疾病状态。

14.一种自动对数字眼底图像进行质量评估的***，所述***包括：

处理器；以及

对指令进行编码的存储器，在由处理器执行时，所述指令使***：

获得数字眼底图像文件；

使用神经网络分析所述数字眼底图像文件的光学质量以估计捕获眼底图像的最佳时间，所述最佳时间的估计取决于瞳孔尺寸；

在所述最佳时间捕获后续的数字眼底图像文件；以及

使用模型分析所述后续的数字眼底图像文件的第二质量以估计疾病状态。

15.根据权利要求14所述的***，其中所述神经网络嵌入在用于获得所述数字眼底图像文件的成像设备中。

16.根据权利要求14所述的***，其中所述存储器还对指令进行编码，在由所述处理器执行时，所述指令使所述***将所述数字眼底图像文件的整体光学质量分析作为所述数字眼底图像文件的所述光学质量。

17.根据权利要求14所述的***，其中所述存储器还对指令进行编码，在由所述处理器执行时，所述指令使所述***通过确定所述数字眼底图像文件是否描绘视网膜来分析所述后续的数字眼底图像文件的所述第二质量。

18.根据权利要求17所述的***，其中所述存储器还对指令进行编码，在由所述处理器执行时，所述指令使所述***检测所述后续的数字眼底图像文件中的中央凹和视盘区域。

19.根据权利要求18所述的***，其中所述存储器还对指令进行编码，在由所述处理器执行时，所述指令使所述***执行以下一项或多项：

确定所述视盘区域中的光学质量；

确定所述视网膜的特定区域的血管数量；

确定所述后续的数字眼底图像文件的场位置和分类；以及

提供反馈以允许评估其他疾病状态。

20.根据权利要求14所述的***，其中所述存储器还对指令进行编码，在由所述处理器执行时，所述指令使所述***使用一个或多个先前图像的基线以集中分析所述数字眼底图像文件。