CN113222927B - 一种早产儿视网膜病变附加性病变的自动检查机器 - Google Patents

Abstract

本发明实施例公开了一种早产儿视网膜病变附加性病变的自动检查机器，输入一张早产儿视网膜图像，首先使用深度神经网络判断这张图片是否是后极部图片，如果这张图片是后极部图片，使用语义分割模型对原图中的血管进行分割得到血管的二值图像，然后根据原图定位后极部区域，使用后极部区域裁剪血管图像得到后极部的血管图像，最后使用深度神经网络对后极部血管图像进行分类，从而判断原图是否属于附加病变。采用本发明，结合了业务领域知识，能够屏蔽其他病变特征的影响，大大提高早产儿视网膜病变附加性病变自动检查***的准确率（包括敏感度、特异度、F1等指标）。

Description

一种早产儿视网膜病变附加性病变的自动检查机器

技术领域

本发明涉及眼科疾病识别和图像识别的技术领域，尤其涉及一种早产儿视网膜病变附加性病变的自动检查机器。

背景技术

早产儿视网膜病变(Retinopathy of premature，ROP)是儿童视力受损以及导致不可逆致盲的主要原因,全世界每年约1.2%（18.47万）的早产儿发生ROP，其中约3万名早产儿发生永久性的视力受损甚至失明。随着新生儿重症监护室的普及和生命支持技术的发展，早产儿尤其是极低体重儿的成活率大大提高,ROP的发病数也在不断增加。ROP筛查能对病变进行早期诊断与适时转诊治疗，能有效避免或减轻ROP相关的视力损害。ROP的诊断需通过扩瞳后对眼底直接观察或拍照并由经验丰富的眼底专科医生进行判断，而低年资眼科医师或其他专科医师、诸如儿科或产科医生则不具有ROP筛查资质或能力。依赖专家进行诊断使得ROP筛查面临诸多挑战：一方面，专家资源稀缺，难以有效覆盖需筛查人群；另一方面，早产儿转诊或专家异地会诊筛查费时费力，因为延误诊断导致终身视力受损的情况时有发生。因此，基于眼底图片的早产儿视网膜病变自动检查***具有很强的实用意义和社会价值。根据ROP的国际诊断标准，ROP诊断包括分区、分期和附加病变，其中附加病变的表现是后极部血管的异常迂曲和扩张，是ROP向重度进展的强危险因素，需要及时治疗。

随着人工智能深度学习在图像领域的快速发展，相继出现了一些针对早产儿视网膜病变的自动检查机器的研究，部分研究则重点关注附加病变的分类。但是这些机器绝大部分是将ROP附加病变的分类当做普通图片分类，少部分机器是先进行血管分割然后进行分类，由于ROP附加病变发病率相对比较低样本数比较少，这种简单的分类机器没有将算法设计和业务领域知识结合在一起，造成准确率不高，特别是对附加病变的诊断很容易受到其他特征（出血，周边病变）的干扰。

发明内容

本发明实施例所要解决的技术问题在于，提供一种早产儿视网膜病变附加性病变的自动检查机器。可屏蔽其他病变特征的影响，大大提高早产儿视网膜病变附加性病变自动检查的准确率（包括敏感度、特异度、F1等指标）。

为了解决上述技术问题，本发明实施例提供了一种早产儿视网膜病变附加性病变的自动检查机器，包括以下步骤：

S1、判断所输入早产儿视网膜图像是否属于后极部图片；

S2、如果这张图片是后极部图片，首先使用语义分割模型对原图中的血管进行分割得到血管的二值图像；

S3、根据原图定位后极部区域，使用后极部区域裁剪血管图像得到后极部的血管图像；

S4、使用深度神经网络对后极部血管图像进行分类，从而判断原图是否属于附加病变。

其中，所述根据原图定位后极部区域包括步骤：首先针对原图使用实例分割模型检测视盘，如果检测到视盘，则以视盘的中心为圆心，三个视盘的直径为半径画一个圆，圆内的区域就是后极部区域。

其中，所述使用后极部区域裁剪血管图像得到后极部的血管图像的步骤包括：首先生成一个和原图同样大小的掩码图像，该掩码图像后极部的圆形区域内部设置为1，其他区域设置为0，将血管图像和这个掩码图像相乘，然后对得到的结果使用后极部区域为边框进行裁剪，最后将裁剪后的结果缩放到分类神经网络所需要的输入大小。

其中，还包括在血管分割的训练阶段，将输入图像的分辨率转换为640 x 512像素，然后对于每张图像产生180个64 x 64大小图像块，其中80个图像块采用滑动窗口的方法产生，互相没有重叠交叉，另外100个随机裁剪产生，在测试阶段只产生不重叠的80个图像块。

实施本发明实施例，具有如下有益效果：本发明结合了业务领域知识，能够屏蔽其他病变特征的影响，大大提高早产儿视网膜病变附加性病变自动检查***的准确率（包括敏感度、特异度、F1等指标）。

附图说明

图1是一种早产儿视网膜病变的附加性病变自动检查机器执行的方法的流程图

图2是一张早产儿视网膜病变的附加病变的眼底图像；

图3是图2分割血管的图像；

图4是检测视盘的图像；

图5后极部的示意图；

图6后极部的血管图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

本发明实施例的一种早产儿视网膜病变附加性病变的自动检查机器通过以下机器实实施。

流程图如图1所示。下面对技术方案的实现细节进行描述，重点针对本发明机器的特色部分包括血管分割，定位后极部区域，裁剪后极部区域的血管等实现细节。

数据来源:从多家医院（包括汕头大学·香港中文大学联合汕头国际眼科中心，广东妇女儿童医院越秀分院和番禺分院，广州医科大学附属第六医院-清远市人民医院）采集到符合纳入标准（是早产儿的图像并且图像质量可以评级）55490张图像。

眼球后部的视网膜是一个圆形，一张眼底照片无法覆盖整个视网膜区域，而是针对某一个拍摄角度覆盖视网膜的某一部分区域。后极部是指视盘以及颞侧上下血管弓周围内在的范围。大约相当于以中心凹要到赤道1/2距离为半径的近圆形的区域，包括视***和黄斑等重要的结构，以及视***鼻侧和颞侧视网膜血管弓周围的少许部分。

输入一张视网膜图片，判断这张图片是否是后极部图片是一个比较简单的图像分类任务，使用普通的分类网络即可获得很好的效果。为了提高训练和推理速度，本发明使用轻量级的模型MobileNetV2和MnasNet。为了提高准确率本发明将两个模型结果集成为最终结果,多模型合并采取简单的概率值平均的方法。

通过将神经网络输出的特征使用t-SNE进行降维和可视化，能够清晰的看出所提取的特征具有很好地区分后极部图片和非后极部图片的能力。后极部分类器的统计性能指标结果如表1：

***网膜血管分割的问题已经基本解决，有大量的科研论文，有高质量的公开数据集（包括Drive, Stare, HRF, ChaseDB1）。早产儿眼底图像比成人模糊的多（因为采用手持式设备、婴儿眼球转动、和婴儿本身发育等原因），分割血管也困难的多。到目前没有ROP的视网膜血管公开数据集，本发明从自有数据集中随机选择了80张图像（对于附加病变的样本设置比较高的采样概率，对于正常的样本设置比较低的采样概率）进行血管标注（ROP血管分割的标注的工作量很大并且非常困难，和分类的标注远不是一个数量级）。

本发明将ROP血管分割任务作为一个领域适配(同样的任务，不同的数据分布)的问题，训练过程使用迁移学习，首先用成人数据训练一个模型，然后使用ROP数据对该模型进行微调。

由于血管分割的样本极其难以获取，为了扩大训练数据集并且减少过拟合，本发明采用了一个基于块的分割方法。训练阶段，将输入图像的分辨率转换为640 x 512像素，对于每张图像产生180个64 x 64大小图像块，其中80个图像块采用滑动窗口的方法产生，互相没有重叠交叉，另外100个随机裁剪产生。而在测试阶段只产生不重叠的80个图像块。

将血管分割当做一个语义分割问题，采用一个修改版本的Residual U-Net模型。和原模型相比，模型的深度和宽度都缩小了，并且删除了编码器的一个下采样模块和解码器的一个上采样模块。卷积核数目也从[64, 128, 256, 512] 缩小到[32, 64, 128,256]。这样设计的原因是因为基于块的血管分割图像比较小，也不需要大的感受野，使用小模型能够加快训练和推理速度。

损失函数采用由交叉熵和DICE组成的混合损失函数。目的是希望既能发挥交叉熵的梯度光滑的优势，又能发挥DICE解决类不平衡的特点。损失函数定义如下：。/>是一个平衡因子，这里设置为经验值3。

ROP血管分割取得了DICE 0.74的结果，虽然比成人血管分割结果差得多（IOU>0.95），但是已经基本可以满足后续的附加病变分类。

对于***盘（以及视杯）的定位和分割已经有了大量的研究，也有大量的公开数据集例如Refuge, IDRID等，***盘分割已经很好地解决了（视杯相对难一些）。ROP的视盘形态和成人区别不大，因此视盘分割相对也比较简单。

由于没有ROP的视盘分割公开数据集，本发明标注了500张数据（标注过程比血管分割快得多，也容易得多），将成人公开数据集和自己标注的ROP数据放在一起进行训练，但是单独使用ROP数据进行验证和测试。

本发明将视盘分割作为一个实例分割而不是目标检测或者语义分割问题，这是因为存在大量标注到像素的数据，此外除了边界框BBOX，对象掩码图像Mask之外，实例分割会输出检测到的目标的置信度，这个置信度对于后续过程比较重要。本发明采用Mask R-CNN模型，一方面视盘分割效果非常好，另一方面视盘分割是为了确定后极部的区域，并不需要十分精细的分割结果，简而言之视盘分割的结果百分之百能够满足后续的要求。

如果检测到了视盘，也就是Mask R-CNN输出的置信度大于某个阈值（本***阈值设置为0.75）,就要根据视盘来决定后极部区域。

假设检测到的视盘的边界框为(x1, y1, x2, y2), 则视盘的中心circle_center= ((x1+x2)//2, (y1+y2)//2)，直径为：circle_diameter = (abs(x2-x1) + abs(y2-y1))// 2。

以视盘的中心为圆心，三倍直径的长度为半径，画一个圆，圆内部的区域就是后极部区域，如果这个圆超越了图像边界，则对原图像用黑色填充使得完全包含这个圆。

裁剪后极部算法的实现细节如下：首先使用numpy生成一张和原图一样大小的黑色图像：image1=np.zeros((height,width,3), dtype=np.uint8)，然后在该图像上画一个后极部的圆，圆内用值1填充：image2=cv2.circle(image1, center, radius, color=(1,1,1), thickness=-1)，然后将原图和image2相乘以屏蔽非后极部区域。使用numpy的列表索引切片技术对屏蔽后极部后的血管图像进行裁剪，示例代码如下：

image3 =image_blood_vessel[floor(center_y-height/2):upper(center_y+height/2), floor(center_x-width/2):upper(center_x+width /2)]，为了描述更加简洁，公式中忽略了图像三通道和灰度图像互相转换, 浮点数转整数数据类型转换，以及当后极部区域超过图像边界时候对图像填充黑色边框等细节。

然后使用cv2.resize将图像大小缩放到分类神经网络所需要的大小（例如ResNet使用224*224，Inception V3使用299*299, efficientnet-b4采用380*380等）

最后使用分类神经网络对上述步骤后得到的裁剪后极部的血管图像进行分类，分类网络最后一层使用Softmax激活函数，得到该图像每个类别的概率（正常, 阈值前病变pre-plus，阈值病变plus）。

通过将神经网络输出的特征使用t-SNE进行降维和可视化，能够清晰的看出所提取的特征具有很好地区分后附加病变和非附加病变图片的能力。

附加病变分类器的分类准确性统计结果表2：

相比而言，在不采用本发明的方法而采取简单的对后极部图像进行分类（用同样的深度神经网络，同样的损失函数和训练方法），假阳数会增加12倍，假阴数会增加6倍。

在汕头大学·香港中文大学联合汕头国际眼科中心使用本方法训练的模型和专科医生进行了人机比赛，证明该方法训练的AI模型达到了专科医生的水平（表3）。

表3，ROP筛查***与三位人类专家在ROP附加病变分类上的比较

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (3)

1.一种早产儿视网膜病变附加性病变的自动检查机器，其特征在于，执行包括以下的步骤：

S1、使用分类网络判断所输入早产儿视网膜图像是否属于后极部图片；

S2、如果这张图片是后极部图片，首先使用语义分割模型对原图中的血管进行分割得到血管的二值图像；所述语义分割模型通过成人数据训练后进行微调，训练的数据集使用基于块的分割方法，在训练阶段将输入图像的分辨率转换为640 x 512像素，对于每张图像产生180个64 x 64大小图像块，其中80个图像块采用滑动窗口的方法产生，互相没有重叠交叉，另外100个随机裁剪产生；

使用成人公开数据集和标注的ROP数据放在一起进行训练，并单独使用ROP数据进行验证和测试；所述语义分割模型，采用一个修改版本的Residual U-Net模型，删除了编码器的一个下采样模块和解码器的一个上采样模块，卷积核数目从[64, 128, 256, 512] 缩小到[32, 64, 128, 256]；

S3、根据原图定位后极部区域，使用后极部区域裁剪血管图像得到后极部的血管图像，具体包括步骤：首先针对原图使用实例分割模型检测视盘，如果检测到视盘，则以视盘的中心为圆心，三倍视盘的直径为半径画一个圆，圆内的区域就是后极部区域；检测到的视盘的边界框为(x1, y1, x2, y2)，视盘的中心circle_center = ((x1+x2)//2, (y1+y2)//2)，直径为：circle_diameter = (abs(x2-x1) + abs(y2-y1)) // 2；

S4、使用深度神经网络对后极部血管图像进行分类，从而判断原图是否属于附加病变。

2.根据权利要求1所述的早产儿视网膜病变附加性病变的自动检查机器，其特征在于，所述使用后极部区域裁剪血管图像得到后极部的血管图像的步骤包括：首先生成一个和原图同样大小的掩码图像，该掩码图像后极部的圆形区域内部设置为1，其他区域设置为0，将血管图像和这个掩码图像相乘，然后对得到的结果使用后极部区域为边框进行裁剪，最后将裁剪后的结果缩放到分类神经网络所需要的输入大小。

3. 根据权利要求2所述的早产儿视网膜病变附加性病变的自动检查机器，其特征在于，包括血管分割在训练阶段，将输入图像的分辨率转换为640 x 512像素，然后对于每张图像产生180个64 x 64大小图像块，其中80个图像块采用滑动窗口的机器产生，互相没有重叠交叉，另外100个随机裁剪产生，在测试阶段只产生不重叠的80个图像块。