CN115132326A - 基于眼底图像的糖尿病视网膜病变的评估***及评估方法 - Google Patents

Abstract

本公开描述了一种基于眼底图像的糖尿病视网膜病变的评估***，该评估***包括用于获取眼底图像的获取模块；基于深度学习的判断模型对眼底图像是否存在糖尿病视网膜病变进行判断并输出第一判断结果的第一判断模块；基于眼底图像的第一判断结果中的子模型结果对应的置信度将眼底图像分成初级质控图像或高级质控图像的质控分级模块；用于抽取初级质控图像并作为抽样眼底图像的第一抽样模块；用于对初级质控图像和抽样眼底图像进行判断以获取第二判断结果的第二判断模块；用于判定初级质控图像的第一判断结果是否合格的抽样监控模块；基于各个判断结果获取最终判断结果的第三判断模块。由此，能够提高眼底图像的糖尿病视网膜病变的评估准确率。

Description

基于眼底图像的糖尿病视网膜病变的评估***及评估方法

技术领域

本公开大体涉及一种基于眼底图像的糖尿病视网膜病变的评估***及评估方法。

背景技术

医疗图像常常包含身体结构或组织的诸多细节。在现代化的医院中，大部分的治疗信息来源于医疗图像例如眼底图像。在临床中，通过理解医疗图像中的这些细节，能够帮助医生进行相关疾病识别。医疗图像已经发展成临床识别疾病的主要方法。然而，传统的基于医疗图像识别疾病信息主要依靠专业的医师根据经验进行判断。在这种情况下，开发一种能够辅助医生进行相关疾病识别的***已经成为医疗图像学领域的热门方向。随着人工智能技术的发展，基于计算机视觉和人工智能例如机器学习的疾病识别的***已经在医疗图像识别中得到开发和应用。

例如，专利文献1(CN105513077A)中公开了一种用于糖尿病性视网膜病变筛查的***，该***包括：眼底图像获取设备、图像处理及筛查设备以及报告输出设备，眼底图像获取设备用于采集或接收被检人员的眼底图像；图像处理及筛查设备用于对眼底图像进行处理并检测其中是否存在病变，然后将检测结果输送给报告输出设备；报告输出设备基于检测结果输出相应检测报告。

然而，在实际临床应用中，由于眼底图像的多样性，专利文献1所描述的筛查***在评估某些眼底图像时可能输出错误或者不准确的检测报告，导致筛查***的评估准确率下降。

发明内容

本公开是有鉴于上述的状况而提出的，其目的在于提供一种能够提高眼底图像的糖尿病视网膜病变的评估准确率的基于眼底图像的糖尿病视网膜病变的评估***及评估方法。

为此，本公开第一方面提供了一种基于眼底图像的糖尿病视网膜病变的评估***，包括获取模块、第一判断模块、质控分级模块、第一抽样模块、第二判断模块、抽样监控模块、以及第三判断模块；所述获取模块用于获取眼底图像；所述第一判断模块基于深度学习的判断模型对来自于所述获取模块的眼底图像是否存在糖尿病视网膜病变进行判断并输出第一判断结果，所述判断模型包括针对各个糖尿病视网膜病变的分期的用于接收所述眼底图像并获取子判断结果的多个子判断模型，各个所述子判断结果包括阴性结果以及阴性结果的置信度、或阳性结果以及阳性结果的置信度，通过比较所述子判断结果中阴性结果的置信度和阳性结果的置信度以获取置信度高的结果并作为所述子判断模型的子模型结果，所述第一判断结果包括所述子模型结果以及所述子模型结果对应的置信度；所述质控分级模块基于所述眼底图像的第一判断结果将所述眼底图像分成初级质控图像或高级质控图像，所述初级质控图像为所述第一判断结果中不存在子模型结果对应的置信度小于预设置信度的子模型结果的眼底图像，所述高级质控图像为所述第一判断结果中存在子模型结果对应的置信度小于所述预设置信度的子模型结果的眼底图像；所述第一抽样模块用于对所述初级质控图像进行抽样并将抽取的初级质控图像作为抽样眼底图像；所述第二判断模块用于将所述高级质控图像和/或所述抽样眼底图像作为质控图像并对所述质控图像进行判断以获取第二判断结果；所述抽样监控模块用于获取预设时间段内的初级质控图像的第二判断结果并按照至少一个维度判定所述至少一个维度的初级质控图像的第一判断结果是否合格，若不合格，则停止所述抽样，将所述初级质控图像作为所述质控图像并进行判断以获取所述第二判断结果；以及所述第三判断模块用于对所述第一判断模块的第一判断结果和所述第二判断模块的第二判断结果进行确认和判断以获取最终判断结果。在这种情况下，利用基于深度学习的判断模型获取第一判断结果，基于第一判断结果中的置信度对眼底图像进行划分，利用不同判断模块对划分后的眼底图像进行针对性的判断并对判断模块进行抽样。由此，能够提高眼底图像的糖尿病视网膜病变的评估准确率。

另外，在本公开第一方面所涉及的评估***中，可选地，所述抽样监控模块获取所述预设时间段内的初级质控图像的第二判断结果并按照所述至少一个维度计算抽检错误率，若所述抽检错误率大于预设错误率，则判定所述至少一个维度的初级质控图像的第一判断结果不合格。由此，能够基于抽样错误率判定第一判断结果是否合格。

另外，在本公开第一方面所涉及的评估***中，可选地，所述糖尿病视网膜病变的分期包括无视网膜病变、背景期、增殖前期和增殖期。

另外，在本公开第一方面所涉及的评估***中，可选地，所述维度包括所述眼底图像的来源、所述眼底图像的拍摄设备型号、所述眼底图像的拍摄人员信息、所述眼底图像的拍摄质量和所述眼底图像的判断人员信息中的至少一种。在这种情况下，可以基于不同维度对眼底图像进行分类并针对每个类别单独进行抽样。由此，能够提高抽样的可靠性。

另外，在本公开第一方面所涉及的评估***中，可选地，在所述抽样中，根据所述维度或所述评估***的发布时长调整抽检方案。由此，能够提高抽样的可靠性。

另外，在本公开第一方面所涉及的评估***中，可选地，所述评估***还包括召回模块，所述召回模块用于对被所述抽样监控模块判定为不合格的判断结果对应的至少一个维度的眼底图像执行召回处理。由此，能够进一步地提高眼底图像的糖尿病视网膜病变的评估准确率。

另外，在本公开第一方面所涉及的评估***中，可选地，所述第一判断模块、所述第二判断模块和所述第三判断模块还分别对所述眼底图像的图像质量进行判断以获取所述眼底图像的图像质量等级。在这种情况下，获取眼底图像的图像质量等级，后续能够结合眼底图像的图像质量等级对眼底图像进行评估。由此，能够进一步地提高眼底图像的糖尿病视网膜病变的评估准确率。

另外，在本公开第一方面所涉及的评估***中，可选地，所述图像质量等级包括很好、好、一般、差和极差。由此，能够确定图像质量等级。

另外，在本公开第一方面所涉及的评估***中，可选地，所述评估***还包括输出模块，所述输出模块用于输出结果报告，所述结果报告包括用户信息、病史、所述眼底图像、所述眼底图像的图像质量等级、综合评估结果、综合建议、审核人员信息和基于所述最终判断结果的解读。由此，能够输出结果报告。

本公开第二方面提供了一种基于眼底图像的糖尿病视网膜病变的评估方法，包括：获取眼底图像；基于深度学习的判断模型对所述眼底图像是否存在糖尿病视网膜病变进行判断并输出第一判断结果，所述判断模型包括针对各个糖尿病视网膜病变的分期的用于接收所述眼底图像并获取子判断结果的多个子判断模型，各个所述子判断结果包括阴性结果以及阴性结果的置信度、或阳性结果以及阳性结果的置信度，通过比较所述子判断结果中阴性结果的置信度和阳性结果的置信度以获取置信度高的结果并作为所述子判断模型的子模型结果，所述第一判断结果包括所述子模型结果以及所述子模型结果对应的置信度；基于所述眼底图像的第一判断结果将所述眼底图像分成初级质控图像或高级质控图像，所述初级质控图像为所述第一判断结果中不存在子模型结果对应的置信度小于预设置信度的子模型结果的眼底图像，所述高级质控图像为所述第一判断结果中存在子模型结果对应的置信度小于所述预设置信度的子模型结果的眼底图像；对所述初级质控图像进行抽样并将抽取的初级质控图像作为抽样眼底图像；将所述高级质控图像和/或所述抽样眼底图像作为质控图像并对所述质控图像进行判断以获取第二判断结果；获取预设时间段内的初级质控图像的第二判断结果并按照至少一个维度判定所述至少一个维度的初级质控图像的第一判断结果是否合格，若不合格，则停止所述抽样，将所述初级质控图像作为所述质控图像并进行判断以获取所述第二判断结果；并且对所述第一判断结果和所述第二判断结果进行确认和判断以获取最终判断结果。在这种情况下，利用基于深度学习的判断模型获取第一判断结果，基于第一判断结果中的置信度对眼底图像进行划分，对划分后的眼底图像进行针对性的判断并进行抽样。由此，能够提高眼底图像的糖尿病视网膜病变的评估准确率。

根据本公开，能够提供一种提高眼底图像的糖尿病视网膜病变的评估准确率的基于眼底图像的糖尿病视网膜病变的评估***及评估方法。

附图说明

现在将仅通过参考附图的例子进一步详细地解释本公开，其中：

图1是示出了本公开示例所涉及的基于眼底图像的糖尿病视网膜病变的评估方法的应用场景图。

图2是示出了本公开示例所涉及的基于眼底图像的糖尿病视网膜病变的评估***的框图。

图3是示出了本公开示例所涉及的眼底图像的示意图。

图4是示出了本公开示例所涉及的质控分级模块对眼底图像进行划分的示意图。

图5是示出了本公开示例所涉及的基于眼底图像的糖尿病视网膜病变的评估***的框图。

图6是示出了本公开示例所涉及的基于眼底图像的糖尿病视网膜病变的评估方法的流程图。

具体实施方式

以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开所描述的所有方法可以以任何合适的顺序执行，除非在此另有指示或者与上下文明显矛盾。

图1是示出了本公开示例所涉及的基于眼底图像的糖尿病视网膜病变的评估方法的应用场景图。

在一些示例中，评估方法(稍后描述)可以应用于如图1所示的应用场景100中。在应用场景100中，操作员110可以通过控制连接在终端120上的采集设备130以采集人眼140的眼底的眼底图像，在采集设备130完成眼底图像采集后，终端120可以将眼底图像通过计算机网络提交至服务器150，服务器150可以通过执行存储在服务器150上的计算机程序指令以实现评估方法，通过该评估方法可以接收眼底图像对眼底图像的糖尿病视网膜病变进行评估并生成眼底图像的结果报告，服务器150可以将生成的眼底图像的结果报告返回给终端120。在一些示例中，终端120可以显示结果报告。在另一些示例中，结果报告可以作为中间结果存储在终端120或者服务器150的存储器中。

在一些示例中，结果报告可以显示在用户端以供用户查看，用户例如可以是患者。在另一些示例中，评估方法接收的眼底图像可以是存储在终端120或服务器150中的眼底图像。

在一些示例中，操作员110可以是专业人员例如眼科医生。在另一些示例中，操作员110可以是经过培训的普通人员。培训的内容可以包括但不限于采集设备130的操作和涉及评估方法的终端120的操作。在一些示例中，终端120可以包括但不限于是笔记本电脑、平板电脑或台式机等。在一些示例中，采集设备130可以是相机。相机例如可以是手持式眼底相机或台式眼底相机。在一些示例中，采集设备130可以通过串口跟终端120相连接。在一些示例中，采集设备130可以集成在终端120中。

在一些示例中，服务器150可以包括一个或多个处理器和一个或多个存储器。其中，处理器可以包括中央处理单元、图形处理单元以及能够处理数据的其它任何电子部件，能够执行计算机程序指令。存储器可以用于存储计算机程序指令。在一些示例中，服务器150通过执行存储器上的计算机程序指令可以实现评估方法。在一些示例中，服务器150也可以是云端服务器。

以下，结合附图详细描述本公开涉及的评估***200。本公开涉及的评估***200用于实施上述的评估方法。图2是示出了本公开示例所涉及的基于眼底图像的糖尿病视网膜病变的评估***200的框图。

如图2所示，评估***200可以包括获取模块210、第一判断模块220、质控分级模块230、第一抽样模块240、第二判断模块250、抽样监控模块260、以及第三判断模块270。获取模块210可以用于获取眼底图像。第一判断模块220可以基于深度学习的判断模型对眼底图像是否存在糖尿病视网膜病变进行判断并输出第一判断结果。质控分级模块230可以基于眼底图像的第一判断结果将该眼底图像分成初级质控图像或高级质控图像。第一抽样模块240可以对初级质控图像进行抽样并将抽取的初级质控图像作为抽样眼底图像。第二判断模块250可以用于将高级质控图像和/或抽样眼底图像作为质控图像并对质控图像进行判断以获取第二判断结果。抽样监控模块260可以用于监控初级质控图像的第一判断结果是否合格。第三判断模块270可以用于对各个判断模块的判断结果进行确认和判断以获取最终判断结果。在这种情况下，利用基于深度学习的判断模型获取第一判断结果，基于第一判断结果中的置信度对眼底图像进行划分，利用不同判断模块对划分后的眼底图像进行针对性的判断并对判断模块进行抽样。由此，能够提高眼底图像的糖尿病视网膜病变的评估准确率。

图3是示出了本公开示例所涉及的眼底图像的示意图。

在一些示例中，获取模块210可以用于获取眼底图像。在一些示例中，眼底图像可以包括来自用户的左眼和右眼的眼底图像。在一些示例中，眼底图像可以为彩色的眼底图像。彩色的眼底图像能够清晰的呈现视盘、视杯、黄斑、血管等丰富的眼底信息。另外，眼底图像可以为RGB模式、CMYK模式、Lab模式或灰度模式的图像等。在一些示例中，眼底图像可以由采集设备130获取。在另一些示例中，眼底图像可以是存储在终端120或服务器150中的眼底图像。作为眼底图像的示例，例如图3为人眼140的眼底图像。

在一些示例中，获取模块210获取眼底图像后，可以对眼底图像进行预处理。在一些实例中，预处理可以包括对眼底图像进行裁切。一般而言，由于由获取模块210所获取的眼底图像可能存在图像格式或尺寸不同的问题，因此需要对眼底图像进行裁切，使眼底图像转换为固定标准形式的图像。固定标准形式可以指图像的格式相同，尺寸一致。例如，在一些示例中，眼底图像经过预处理后的尺寸可以统一为256×256、374×374、512×512、768×768或1024×1024像素的眼底图像。

另外，在一些示例中，预处理可以包括对眼底图像进行归一化处理。在一些示例中，归一化处理可以包括对眼底图像进行坐标中心化、缩放归一化等操作。由此，能够克服不同眼底图像的差异性，提高评估***200的性能。另外，在一些示例中，预处理可以包括对眼底图像进行降噪、灰度化等处理。由此，能够突出眼底图像的特征。在一些示例中，眼底图像也可以不用进行预处理，后续直接对眼底图像进行判断。

在一些示例中，第一判断模块220可以对来自于获取模块210的眼底图像是否存在糖尿病视网膜病变进行判断并输出第一判断结果。

在一些示例中，第一判断模块220可以根据英国国家视网膜病变筛查项目使用的视网膜病变分级体系输出第一判断结果。具体地，可以对眼底图像进行处理，判断眼底图像所属的糖尿病视网膜病变的分期以及对应的置信度，糖尿病视网膜病变的分期可以包括无视网膜病变(R0)、背景期(R1)、增殖前期(R2)和增殖期(R3)，可以将分期为无视网膜病变(R0)设置为阴性结果，将分期为背景期(R1)、增殖前期(R2)和增殖期(R3)设置为阳性结果。在这种情况下，基于已经成熟应用的视网膜病变分级体系，能够进一步提高眼底图像的糖尿病视网膜病变的评估准确率。在一些示例中，糖尿病视网膜病变的分期可以包括无糖尿病性黄斑水肿(M0)和黄斑水肿(M1)。可以将糖尿病视网膜病变的分期为无视网膜病变(R0)且无糖尿病性黄斑水肿(M0)设置为阴性结果，其他设置为阳性结果。

在一些示例中，第一判断模块220可以利用基于机器学习的判断模型对眼底图像是否存在糖尿病视网膜病变进行判断。在一些示例中，基于机器学习的判断模型可以是基于传统机器学习的判断模型和基于深度学习的判断模型中的至少一种。

在一些示例中，基于深度学习的判断模型可以卷积神经网络(CNN)。在这种情况下，由于卷积神经网络(CNN)具备对图像特征识别的高效性的特点，能够有效地提高评估***200的性能。

但本公开的示例不限于此，在另一些示例中，第一判断模块220的基于机器学习的判断模型可以是基于传统机器学习的判断模型。在一些示例中，传统机器学习的算法可以包括但不限于是线性回归算法、逻辑回归算法、决策树算法、支持向量机算法或贝叶斯算法等。在这种情况下，可以先利用图像处理算法提取眼底图像中的眼底特征，再将眼底特征输入基于传统机器学习的判断模型以实现对眼底图像进行判断。

图4是示出了本公开示例所涉及的质控分级模块230对眼底图像进行划分的示意图。

在一些示例中，判断模型可以包括针对各个糖尿病视网膜病变的分期多个子判断模型。如图4所示，多个子判断模型的数量可以为n个，具体地，多个子判断模型可以包括子判断模型1、子判断模型2、……、子判断模型n。在一些示例中，每个子判断模型可以用于接收眼底图像并获取子判断结果。在一些示例中，各个子判断结果可以包括阴性结果以及阴性结果的置信度、或阳性结果以及阳性结果的置信度。其中，阴性结果的置信度可以为不属于单个糖尿病视网膜病变的分期的概率，阳性结果的置信度可以为属于单个糖尿病视网膜病变的分期的概率。具体地，可以将眼底图像输入各个子判断模型进行判断，该子判断模型可以输出眼底图像属于该子判断模型对应的糖尿病视网膜病变的分期(也即阳性结果)的概率或不属于该子判断模型对应的糖尿病视网膜病变的分期(也即阴性结果)的概率。

在一些示例中，可以通过比较眼底图像的子判断结果中阴性结果的置信度和阳性结果的置信度以获取置信度高的结果，并将置信度高的结果作为子判断模型的子模型结果。例如，若一张眼底图像的子判断结果中，阴性结果的置信度为10％，阳性结果的置信度为90％，则该眼底图像对应的子判断模型的子模型结果可以为阳性结果。在一些示例中，若子模型结果为阴性结果，则可以为眼底图像不属于子判断模型对应的糖尿病视网膜病变的分期，若子模型结果为阳性结果，则可以为眼底图像属于子判断模型对应的糖尿病视网膜病变的分期。在这种情况下，多个子判断模型可以获取多个子模型结果以及各个子模型结果对应的置信度。如图4所示，多个子模型结果的数量可以为n个，具体地，多个子模型结果以及各个子模型结果对应的置信度可以包括子模型结果1以及子模型结果1对应的置信度、子模型结果2以及子模型结果2对应的置信度、……、子模型结果n以及子模型结果n对应的置信度。

在一些示例中，第一判断结果可以包括子模型结果以及子模型结果对应的置信度(参见图4)。在一些示例中，第一判断结果中的子模型结果的数量可以为多个。在一些示例中，基于多个子模型结果以及子模型结果对应的置信度可以确定眼底图像所属的糖尿病视网膜病变的分期，例如可以获取多个子判断模型中的子模型结果为阳性结果且阳性结果的置信度最高的子模型结果并将该置信度最高的子模型结果作为眼底图像所属的糖尿病视网膜病变的分期。在一些示例中，第一判断结果可以包括眼底图像所属的糖尿病视网膜病变的分期。

在一些示例中，第一判断模块220还可以用于对眼底图像的图像质量进行判断以获取眼底图像的图像质量等级。例如，可以利用不同图像质量等级的眼底图像对基于机器学习的图像质量分级模型进行训练，以使该图像质量分级模型具备对眼底图像的图像质量进行判断以获取眼底图像的图像质量等级的能力。在这种情况下，获取眼底图像的图像质量等级，后续能够结合眼底图像的图像质量等级对眼底图像进行评估。由此，能够进一步地提高眼底图像的糖尿病视网膜病变的评估准确率。在一些示例中，眼底图像的图像质量等级包括很好、好、一般、差和极差五种等级。由此，能够确定图像质量等级。在一些示例中，第一判断结果可以包括眼底图像的图像质量等级。在一些示例中，第一判断结果还可以包括存在的病变特征。

在一些示例中，质控分级模块230可以基于眼底图像的第一判断结果将该眼底图像分成初级质控图像或高级质控图像。在一些示例中，初级质控图像可以为第一判断结果中不存在子模型结果对应的置信度小于预设置信度的子模型结果的眼底图像。在一些示例中，高级质控图像可以为第一判断结果中存在子模型结果对应的置信度小于预设置信度的子模型结果的眼底图像。具体地，如图4所示，假设一张眼底图像在n个子判断模型输出n个子模型结果以及各个子模型结果对应的置信度，质控分级模块230被配置为若存在子模型结果对应的置信度小于预设置信度，则将该眼底图像划分为高级眼底图像，否则将该眼底图像划分为初级眼底图像。在一些示例中，预设置信度可以根据实际情况进行设置。例如，预设置信度可以为95％至98％。

但本公开的示例不限于此，在另一些示例中，第一判断结果也可以是包括多个子判断模型中的子模型结果为阳性结果且阳性结果的置信度最高的子模型结果。在这种情况下，初级质控图像可以为阳性结果对应的置信度大于预设置信度的眼底图像，高级质控图像可以为阳性结果的置信度的小于等于预设置信度的眼底图像。在另一些示例中，判断模型也可以不包括多个子判断模型，也即通过判断模型可以直接获得眼底图像所属的糖尿病视网膜病变的分期及所属的糖尿病视网膜病变的分期对应的置信度。在这种情况下，第一判断结果可以包括眼底图像所属的糖尿病视网膜病变的分期及所属的糖尿病视网膜病变的分期对应的置信度，初级质控图像可以为所属的糖尿病视网膜病变的分期对应的置信度大于预设置信度的眼底图像，高级质控图像可以为所属的糖尿病视网膜病变的分期对应的置信度的小于等于预设置信度的眼底图像。

在一些示例中，第一抽样模块240可以对初级质控图像进行抽样并将抽取的初级质控图像作为抽样眼底图像。具体地，第一抽样模块240可以按照预设时间(例如每个小时)或预设张数(例如100张)对初级质控图像进行抽样。在一些示例中，可以对抽取的初级质控图像进行标记以区分抽取的初级质控图像并作为抽样眼底图像。在一些示例中，未被抽取的初级质控图像可以输入第三判断模块270(稍后描述)。

在一些示例中，可以基于抽检方案对初级眼底图像进行抽样。在一些示例中，抽检方案可以包括对初级眼底图像统一进行抽样。具体地，可以对所有初级眼底图像执行一种抽样方法。在一些示例中，抽样方法可以包括但不限于是随机抽样、分层抽样、整体抽样或***抽样等。在一些示例中，抽样方法可以是基于抽样检验国家标准的。在一些示例中，抽样检验国家标准可以包括但不限于是GB/T2828.1-2012、GB/T2828.5-2011或GB/T8052-2002等。

另外，在一些示例中，抽检方案可以包括按照一个或多个不同的维度对初级眼底图像进行分类，并针对每个类别(例如若干个维度可以作为一个类别)单独进行抽样。在这种情况下，可以基于不同维度对初级眼底图像进行分类并针对每个类别单独进行抽样。由此，能够提高抽样的可靠性。在一些示例中，维度可以包括眼底图像的来源、眼底图像的拍摄设备型号、眼底图像的拍摄人员信息、眼底图像的拍摄质量和眼底图像的判断人员信息中的至少一种。在一些示例中，基于机器学习的判断模型对眼底图像是否存在糖尿病视网膜病变进行判断可以将判断模型视为判断人员，若多个判断模型则可以对应多个判断人员。

在一些示例中，在抽样中，可以根据维度或评估***200发布时长调整抽检方案。在一些示例中，抽检方案可以具有不同抽样的程度。在一些示例中，抽样的程度可以为一般、特殊、加严或放宽等。在一些示例中，不同抽样的程度可以对应不同的抽样方法或不同的抽样参数。在一些示例中，抽样参数可以包括但不限于是抽样比例或AQL(AcceptableQuality Limit，接收质量限)值等。

在一些示例中，可以获取初步抽样比例，并基于抽样的程度对初步抽样比例进行调整以确定抽样比例。例如若抽样的程度为放宽，则可以降低初步抽样比例以确定抽样比例。

一般而言，AQL指当一个连续系列批次被提交验收抽样时，可允许的最差过程平均质量水平。若以不合格百分数表示质量水平时，AQL值应不超过10％，若以每百单位的待抽样眼底图像的不合格数表示质量水平时，AQL值应不超过10。不同抽样的程度可以对应不同的AQL值。

在一些示例中，在抽样中，可以根据评估***200的发布时长调整抽检方案。例如，刚发布的评估***200的抽样的程度可以为加严，经过一段时间的运行后确定评估***200的准确率符合要求后可以将抽样的程度调整为放宽。在一些示例中，在抽样中，可以根据维度调整抽检方案。例如由年资较低的判断人员判断的初级眼底图像的抽样的程度可以为加严。

在一些示例中，第二判断模块250可以用于对质控图像进行判断以获取第二判断结果。第二判断结果可以包括所属的糖尿病视网膜病变的分期。在一些示例中，质控图像可以是来自于第一判断模块220的高级质控图像和/或来自于第一抽样模块240的抽样眼底图像。在一些示例中，第二判断模块250还可以对眼底图像的图像质量进行判断以获取眼底图像的图像质量等级。在一些示例中，第二判断结果还可以包括眼底图像的图像质量等级。在一些示例中，第二判断结果还可以包括存在的病变特征。

具体地，第二判断模块250可以获取并显示质控图像的基础信息，基础信息可以包括但不限于是眼别(例如左眼或右眼)、创建时间、所属医疗机构、拍摄机型和当前判断模块(例如第二判断模块250)等。在判断人员基于基础信息对质控图像进行判断并生成判断信息后，第二判断模块250可以接收判断人员的判断信息并基于判断信息生成质控图像的第二判断结果。在一些示例中，基础信息还可以包括病史、视力信息、性别和年龄。

在一些示例中，判断信息可以包括但不限于是眼底图像的图像质量等级、所属的糖尿病视网膜病变的分期或存在的病变特征等。

如上所述，第二判断模块250可以用于对质控图像进行判断以获取第二判断结果。质控图像可以是来自于第一判断模块220的高级质控图像和/或来自于第一抽样模块240的抽样眼底图像。因此抽样眼底图像具有第二判断结果(也即抽取的初级质控图像具有第二判断结果)。

在一些示例中，抽样监控模块260可以获取预设时间段内(例如当天、上午或下午)的初级质控图像的第二判断结果，并按照至少一个维度(例如判断人员)判定至少一个维度的初级质控图像的第一判断结果是否合格。在一些示例中，若不合格，则停止第一抽样模块240并将初级质控图像输入第二判断模块250进行判断，也即停止对初级质控图像进行抽样，将初级质控图像作为质控图像并进行判断以获取第二判断结果。

但本公开的示例不限于此，在另一些示例中，抽样监控模块260可以获取预设张数的初级质控图像的第二判断结果以判定至少一个维度的初级质控图像的第一判断结果是否合格。例如抽样监控模块260可以监控评估***200中的初级质控图像，当评估***200中的初级质控图像达到预设张数例如500张时则按照至少一个维度获取该预设张数的初级质控图像中的第二判读结果以对至少一个维度的初级质控图像的第一判断结果进行判定。

在一些示例中，抽样监控模块260可以获取预设时间段内的初级质控图像的第二判断结果，并按照至少一个维度计算抽样错误率，若抽样错误率大于预设错误率，则判定至少一个维度的初级质控图像的第一判断结果不合格。由此，能够基于抽样错误率判定第一判断结果是否合格。在一些示例中，预设错误率可以根据实际情况进行设置。

在一些示例中，若初级质控图像的第一判断结果与第二判断结果不一致，则该初级质控图像的第一判断结果为错误的判断结果。在一些示例中，可以基于眼底图像的图像质量等级或所属的糖尿病视网膜病变的分期判断第一判断结果与第二判断结果是否一致。

如上所述，抽样监控模块260可以获取预设时间段内的初级质控图像的第二判断结果，并按照至少一个维度计算抽样错误率。在一些示例中，抽样错误率可以为抽样错误数除以抽样总数。抽样监控模块260可以获取用于计算抽样错误率的初级质控图像(例如至少一个维度的初级质控图像)的数量、抽样总数和抽样错误数。抽样总数可以为用于计算抽样错误率的初级质控图像中已被第一抽样模块240抽取的初级眼底图像的数量。抽样错误数可以为用于计算抽样错误率的初级质控图像中错误的判断结果对应的初级质控图像的数量。

在一些示例中，基于抽样错误率可以调整抽检方案。例如若某个维度对应的抽样错误率低，则可以将抽检方案对应的抽样的程度调整为放宽。

在一些示例中，第三判断模块270可以用于对第一判断模块220的第一判断结果和第二判断模块250的第二判断结果进行确认和判断以获取最终判断结果。在一些示例中，第三判断模块270还可以对未被抽取的初级质控图像的第一判断结果进行确认和判断以获取最终判断结果。

在一些示例中，第三判断模块270可以检查各个模块的判断结果并确认是否保留眼底图像在最后一个判断模块(例如第一判断模块220或第二判断模块250)的判断结果并作为最终判断结果，若不保留，则进行重新判断以获取最终判断结果。由此，能够对各个判断模块的判断结果进行统一确认。在一些示例中，最终判断结果可以包括所属的糖尿病视网膜病变的分期。在一些示例中，第三判断模块270还可以对眼底图像的图像质量进行判断以获取眼底图像的图像质量等级。在一些示例中，最终判断结果还可以包括眼底图像的图像质量等级。在一些示例中，最终判断结果还可以包括存在的病变特征。

图5是示出了本公开示例所涉及的基于眼底图像的糖尿病视网膜病变的评估***200的框图。

在一些示例中，评估***200还可以包括输出模块280(参见图5)，输出模块280可以用于输出结果报告。在一些示例中，结果报告可以包括最终判断结果。在一些示例中，结果报告可以包括用户信息、病史、眼底图像、眼底图像的图像质量等级、综合评估结果、综合建议、审核人员信息和基于最终判断结果的解读。由此，能够输出结果报告。

在一些示例中，用户信息可以包括但不限于姓名、性别和年龄等。另外，在一些示例中，病史可以包括但不限于糖尿病史、高血压病史和眼部疾病史等。另外，在一些示例中，结果报告中的眼底图像可以包括左眼的眼底图像和右眼的眼底图像。另外，在一些示例中，综合评估结果可以包括左眼的评估和右眼的评估。作为综合评估结果的示例，例如，综合评估结果可以为左眼眼底未见明显糖尿病视网膜病变，右眼眼底可见增殖期糖尿病视网膜病变。另外，在一些示例中，结果报告中的审核人员信息可以是利用第三判断模块270对各个结果进行确认和判断的判断人员信息。在一些示例中，基于最终判断结果的解读可以包括医学解释、常见原因和指导建议中的至少一种。

在一些示例中，评估***200还包括召回模块290(参见图5)，召回模块290可以用于对被抽样监控模块260判定为不合格的判断结果(例如上述的第一判断结果)对应的至少一个维度的眼底图像执行召回处理。在一些示例中，可以对召回的眼底图像进行全检、加大召回的眼底图像对应的至少一个维度的抽样比例和检修评估***200的软硬件中的至少一种活动。由此，能够进一步地提高眼底图像的糖尿病视网膜病变的评估准确率。

以下，结合图6详细描述本公开的基于眼底图像的糖尿病视网膜病变的评估方法。本公开涉及的基于眼底图像的糖尿病视网膜病变的评估方法有时可以简称为评估方法。评估方法应用于上述的评估***200中。图6是示出了本公开示例所涉及的基于眼底图像的糖尿病视网膜病变的评估方法的流程图。

在一些示例中，如图6所示，评估方法可以包括获取眼底图像(步骤S110)，基于深度学习的判断模型对眼底图像是否存在糖尿病视网膜病变进行判断并输出第一判断结果(步骤S120)，基于眼底图像的第一判断结果将眼底图像分成初级质控图像或高级质控图像(步骤S130)，对初级质控图像进行抽样并将抽取的初级质控图像作为抽样眼底图像(步骤S140)，将高级质控图像和/或抽样眼底图像作为质控图像并对质控图像进行判断以获取第二判断结果(步骤S150)，监控初级质控图像的第一判断结果是否合格(步骤S160)和对各个判断结果进行确认和判断以获取最终判断结果(步骤S170)。在这种情况下，利用基于深度学习的判断模型获取第一判断结果，基于第一判断结果中的置信度对眼底图像进行划分，对划分后的眼底图像进行针对性的判断并进行抽样。由此，能够提高眼底图像的糖尿病视网膜病变的评估准确率。

在一些示例中，在步骤S110中，可以获取眼底图像。具体描述参见获取模块210的相关描述。

在一些示例中，在步骤S120中，可以基于深度学习的判断模型对眼底图像是否存在糖尿病视网膜病变进行判断并输出第一判断结果。在一些示例中，判断模型可以包括针对各个糖尿病视网膜病变的分期的用于接收眼底图像并获取子判断结果的多个子判断模型。在一些示例中，各个子判断结果可以包括阴性结果以及阴性结果的置信度、或阳性结果以及阳性结果的置信度。在一些示例中，可以通过比较子判断结果中阴性结果的置信度和阳性结果的置信度以获取置信度高的结果，并作为子判断模型的子模型结果。在一些示例中，若子模型结果为阴性结果，则可以为眼底图像中不存在子判断模型对应的糖尿病视网膜病变的分期。在一些示例中，若子模型结果为阳性结果，则可以为眼底图像中存在子判断模型对应的糖尿病视网膜病变的分期。在一些示例中，第一判断结果可以包括子模型结果以及子模型结果对应的置信度。在一些示例中，在步骤S120中，还可以对眼底图像的图像质量进行判断以获取眼底图像的图像质量等级。在这种情况下，获取眼底图像的图像质量等级，后续能够结合眼底图像的图像质量等级对眼底图像进行评估。由此，能够进一步地提高眼底图像的糖尿病视网膜病变的评估准确率。在一些示例中，眼底图像的图像质量等级可以很好、好、一般、差和极差五种等级。由此，能够确定图像质量等级。具体描述参见第一判断模块220的相关描述。另外，在一些示例中，糖尿病视网膜病变的分期可以包括无视网膜病变、背景期、增殖前期和增殖期。

在一些示例中，在步骤S130中，可以基于眼底图像的第一判断结果将该眼底图像分成初级质控图像或高级质控图像。在一些示例中，基于眼底图像的第一判断结果可以将该眼底图像分成初级质控图像或高级质控图像。在一些示例中，初级质控图像可以为第一判断结果中不存在子模型结果对应的置信度小于预设置信度的子模型结果的眼底图像。在一些示例中，高级质控图像可以为第一判断结果中存在子模型结果对应的置信度小于预设置信度的子模型结果的眼底图像。具体描述参见质控分级模块230的相关描述。

在一些示例中，在步骤S140中，可以对初级质控图像进行抽样并将抽取的初级质控图像作为抽样眼底图像。在一些示例中，未被抽取的初级质控图像可以由步骤S170(稍后描述)处理。在一些示例中，在抽样中，可以根据维度或评估***200的发布时长调整抽检方案。由此，能够提高抽样的可靠性。在一些示例中，维度可以包括眼底图像的来源、眼底图像的拍摄设备型号、眼底图像的拍摄人员信息、眼底图像的拍摄质量和眼底图像的判断人员信息中的至少一种。在这种情况下，可以基于不同维度对眼底图像进行分类并针对每个类别单独进行抽样。由此，能够提高抽样的可靠性。具体描述参见第一抽样模块240的相关描述。

在一些示例中，在步骤S150中，可以将高级质控图像和/或抽样眼底图像作为质控图像并对质控图像进行判断以获取第二判断结果。具体描述参见第二判断模块250的相关描述。

在一些示例中，在步骤S160中，可以监控初级质控图像的第一判断结果是否合格。在一些示例中，可以获取预设时间段内的初级质控图像的第二判断结果，并按照至少一个维度判定至少一个维度的初级质控图像的第一判断结果是否合格，若不合格，则停止步骤S140中的抽样并将初级质控图像转入步骤S160进行判断，也即停止对初级质控图像进行抽样，将初级质控图像作为质控图像并进行判断以获取第二判断结果。在一些示例中，判定至少一个维度的初级质控图像的第一判断结果是否合格可以基于抽样错误率。具体地，抽样监控模块260可以获取预设时间段内的初级质控图像的第二判断结果，并按照至少一个维度计算抽样错误率，若抽样错误率大于预设错误率，则判定至少一个维度的初级质控图像的第一判断结果不合格。由此，能够基于抽样错误率判定第一判断结果是否合格。具体描述参见抽样监控模块260的相关描述。

在一些示例中，在步骤S170中，可以对各个判断结果进行确认和判断以获取最终判断结果。在一些示例中，可以对第一判断结果和第二判断结果进行确认和判断以获取最终判断结果。在一些示例中，在步骤S170中，还可以获取眼底图像的图像质量等级。具体描述参见第三判断模块270的相关描述。

在一些示例中，评估方法还可以输出结果报告。在一些示例中，结果报告可以包括最终判断结果。在一些示例中，结果报告可以包括用户信息、病史、眼底图像、眼底图像的图像质量等级、综合评估结果、综合建议、审核人员信息和基于最终判断结果的解读。由此，能够输出结果报告。具体描述参见输出模块280的相关描述。

在一些示例中，评估方法还可以对不合格的判断结果(例如上述的第一判断结果)对应的至少一个维度的眼底图像执行召回处理。在一些示例中，可以对召回的眼底图像进行全检、加大召回的眼底图像对应的至少一个维度的抽检比例和检修评估***200的软硬件中的至少一种活动。由此，能够进一步地提高眼底图像的糖尿病视网膜病变的评估准确率。

虽然以上结合附图和示例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。

Claims (10)

1.一种基于眼底图像的糖尿病视网膜病变的评估***，其特征在于，包括获取模块、第一判断模块、质控分级模块、第一抽样模块、第二判断模块、抽样监控模块、以及第三判断模块；所述获取模块用于获取眼底图像；所述第一判断模块基于深度学习的判断模型对来自于所述获取模块的眼底图像是否存在糖尿病视网膜病变进行判断并输出第一判断结果，所述判断模型包括针对各个糖尿病视网膜病变的分期的用于接收所述眼底图像并获取子判断结果的多个子判断模型，各个所述子判断结果包括阴性结果以及阴性结果的置信度、或阳性结果以及阳性结果的置信度，通过比较所述子判断结果中阴性结果的置信度和阳性结果的置信度以获取置信度高的结果并作为所述子判断模型的子模型结果，所述第一判断结果包括所述子模型结果以及所述子模型结果对应的置信度；所述质控分级模块基于所述眼底图像的第一判断结果将所述眼底图像分成初级质控图像或高级质控图像，所述初级质控图像为所述第一判断结果中不存在子模型结果对应的置信度小于预设置信度的子模型结果的眼底图像，所述高级质控图像为所述第一判断结果中存在子模型结果对应的置信度小于所述预设置信度的子模型结果的眼底图像；所述第一抽样模块用于对所述初级质控图像进行抽样并将抽取的初级质控图像作为抽样眼底图像；所述第二判断模块用于将所述高级质控图像和/或所述抽样眼底图像作为质控图像并对所述质控图像进行判断以获取第二判断结果；所述抽样监控模块用于获取预设时间段内的初级质控图像的第二判断结果并按照至少一个维度判定所述至少一个维度的初级质控图像的第一判断结果是否合格，若不合格，则停止所述抽样，将所述初级质控图像作为所述质控图像并进行判断以获取所述第二判断结果；以及所述第三判断模块用于对所述第一判断模块的第一判断结果和所述第二判断模块的第二判断结果进行确认和判断以获取最终判断结果。

2.根据权利要求1所述的评估***，其特征在于：

所述抽样监控模块获取所述预设时间段内的初级质控图像的第二判断结果并按照所述至少一个维度计算抽检错误率，若所述抽检错误率大于预设错误率，则判定所述至少一个维度的初级质控图像的第一判断结果不合格。

3.根据权利要求1所述的评估***，其特征在于：

所述糖尿病视网膜病变的分期包括无视网膜病变、背景期、增殖前期和增殖期。

4.根据权利要求1所述的评估***，其特征在于：

所述维度包括所述眼底图像的来源、所述眼底图像的拍摄设备型号、所述眼底图像的拍摄人员信息、所述眼底图像的拍摄质量和所述眼底图像的判断人员信息中的至少一种。

5.根据权利要求1所述的评估***，其特征在于：

在所述抽样中，根据所述维度或所述评估***的发布时长调整抽检方案。

6.根据权利要求1所述的评估***，其特征在于：

所述评估***还包括召回模块，所述召回模块用于对被所述抽样监控模块判定为不合格的判断结果对应的至少一个维度的眼底图像执行召回处理。

7.根据权利要求1所述的评估***，其特征在于：

所述第一判断模块、所述第二判断模块和所述第三判断模块还分别对所述眼底图像的图像质量进行判断以获取所述眼底图像的图像质量等级。

8.根据权利要求7所述的评估***，其特征在于：

所述图像质量等级包括很好、好、一般、差和极差。

9.根据权利要求1至8任一项所述的评估***，其特征在于：

所述评估***还包括输出模块，所述输出模块用于输出结果报告，所述结果报告包括用户信息、病史、所述眼底图像、所述眼底图像的图像质量等级、综合评估结果、综合建议、审核人员信息和基于所述最终判断结果的解读。

10.一种基于眼底图像的糖尿病视网膜病变的评估方法，其特征在于，包括：获取眼底图像；基于深度学习的判断模型对所述眼底图像是否存在糖尿病视网膜病变进行判断并输出第一判断结果，所述判断模型包括针对各个糖尿病视网膜病变的分期的用于接收所述眼底图像并获取子判断结果的多个子判断模型，各个所述子判断结果包括阴性结果以及阴性结果的置信度、或阳性结果以及阳性结果的置信度，通过比较所述子判断结果中阴性结果的置信度和阳性结果的置信度以获取置信度高的结果并作为所述子判断模型的子模型结果，所述第一判断结果包括所述子模型结果以及所述子模型结果对应的置信度；基于所述眼底图像的第一判断结果将所述眼底图像分成初级质控图像或高级质控图像，所述初级质控图像为所述第一判断结果中不存在子模型结果对应的置信度小于预设置信度的子模型结果的眼底图像，所述高级质控图像为所述第一判断结果中存在子模型结果对应的置信度小于所述预设置信度的子模型结果的眼底图像；对所述初级质控图像进行抽样并将抽取的初级质控图像作为抽样眼底图像；将所述高级质控图像和/或所述抽样眼底图像作为质控图像并对所述质控图像进行判断以获取第二判断结果；获取预设时间段内的初级质控图像的第二判断结果并按照至少一个维度判定所述至少一个维度的初级质控图像的第一判断结果是否合格，若不合格，则停止所述抽样，将所述初级质控图像作为所述质控图像并进行判断以获取所述第二判断结果；并且对所述第一判断结果和所述第二判断结果进行确认和判断以获取最终判断结果。

Images