CN111210451B - 一种在全数字切片图像中提取幽门螺杆菌形态的方法 - Google Patents

Abstract

本发明公开一种在全数字切片图像中提取幽门螺杆菌形态的方法，将待分析的WSI输入，经过数据处理将其切分为一系列1024*1024大小的RGB图像。这一系列RGB图像里面的HP分布区域需要标注出来；采用半自动标注方法，首先构建了一个用于分割HP分布区域的语义分割网络，训练完成后生成模型，通过模型预测输入RGB图像中的HP分布区域，输出图像的mask将HP区域标注出来后需要人工修正标注；HP分布区域标注完成后，进行灰度处理，得到HP和背景有明显梯度的图像，对得到的灰度图进行canny边缘检测，提取出HP形态。本发明网络规模小，速度快，用于分割HP分布区域的性能优，保持了语义分割网络端到端的优点，可直接标注出模型预测的HP分布区域，准确度好。

Description

一种在全数字切片图像中提取幽门螺杆菌形态的方法

技术领域

本发明涉及图片信息提取技术领域，尤其涉及一种在全数字切片图像中提取幽门螺杆菌形态的方法。

背景技术

幽门螺杆菌感染在胃癌的病理生物学中起着中心作用，它可引起萎缩性胃炎和胃癌。国际癌症研究机构将幽门螺旋杆菌归类为明确的致癌物。

近几年已经有深度学习应用在胃镜图像上诊断HP(携带幽门螺杆菌)，HP感染为阳性的患者与健康人群的胃镜图像做对比，利用深度学习做出HP感染是否阳性的诊断，但是胃镜图像不能显示HP的形态、位置和数量，不能定量的分析HP感染的情况。

携带幽门螺杆菌的胃黏膜组织经过银染法染色制成一种病理玻片，这种玻片的数字扫描图像WSI经过40X的放大，尺寸非常大，从中可以观察到染色后的HP的具体形态。目前医生或者专家可以通过WSI观察到HP的形态、位置和数量的密集程度等等，但是人眼从巨大的WSI寻找很小的HP很困难。

HP是一种寄生在人体胃黏膜并且非常微小的细菌，即使在放大后的WSI中也是非常小，单个HP只有几个或几十个像素长度，而WSI的宽和高可达几万到几十万的像素长度。

发明内容

本发明旨在提供一种在全数字切片图像中提取幽门螺杆菌形态的方法，网络规模小，速度快，用于分割HP分布区域的性能优，保持了语义分割网络端到端的优点，可直接标注出模型预测的HP分布区域，对标注的HP分布区域采用特殊图像灰度处理结合canny边缘检测，得到了HP分布区域的最佳灰度图，提取出了HP形态结果。

为达到上述目的，本发明是采用以下技术方案实现的：

本发明公开一种在全数字切片图像中提取幽门螺杆菌形态的方法，包括以下步骤：

S100、输入待分析的WSI图像；

S200、将WSI图像切分为多个相同大小的RGB图像；

S300、在RGB图像中标注HP分布区域，包括以下步骤，

S310、建立语义分割网络模型，

S320、使用语义分割网络模型对RGB图像进行自动标注，

S330、对自动标注的结果进行修正；

S400、在标注了HP的分布区域中提取HP形态，包括以下步骤，

S410、对分布区域进行灰度处理得到灰度图像，

S420、对灰度图像进行Canny边缘检测；

S500、输出HP形态结果图。

优选的，步骤S200中，RGB图像尺寸为1024px*1024px。

优选的，步骤S310中，语义分割网络模型包括解码部分、编码部分；

解码部分包括8层卷积层、8层BN层、8层rule层、3层池化层，每个池化层将图像缩小；

解码部分包括3层反卷积层，每层反卷积层后设置两层卷积层，每个反卷积层用于将图像放大。

优选的，步骤S310中，语义分割网络模型中Loss函数为：

上式中y^(i,j)表示label图像坐标(i,j)上的值，

表示预测概率，M是label图像的宽度，N是label图像的高度，label图像为标注HP分布区域的图像。

优选的，步骤S410中，灰度处理通过使用R通道和B通道的图像加权计算，其公式为：

Gray_image＝α*R_image+(1-α)*G_image

其中，Gray_image代表灰度图像，R_image代表红通道图像，G_image代表绿通道图像。

优选的，α＝0.8。

本发明的有益效果：

1、本发明中半自动标注采用自动化预标注，标注速度快，结合人工修正标注提高了准确性。构建的用于分割HP分布区域的语义分割网络，网络规模小，速度快，用于分割HP分布区域的性能优，保持了语义分割网络端到端的优点。

2、本发明采用特殊图像灰度处理结合canny边缘检测，找到了一种HP分布区域的最佳灰度图，提取出HP形态结果最好。

3、本发明可以用到医学病理领域，通过提取HP形态的技术可以更高效研究病灶和分析病情。

附图说明

图1为本发明的流程图；

图2为语义分割网络模型的结构示意图；

图3为语义分割网络模型的工作示意图；

图4为修正后的标注示意图；

图5为修正后的标注示意图分解为R、G、B三个通道的示意图；

图6为灰度图像的示意图；

图7为Canny边缘检测的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

本申请中WSI指的是Whole Slide imaging、全载玻片成像扫描。

如图1～7所示，本发明包括以下步骤：

S100、输入待分析的WSI图像；

S200、将WSI图像切分为多个1024px*1024px的RGB图像；

S300、在RGB图像中标注HP分布区域，包括以下步骤，

S310、如图2所示，建立语义分割网络模型，将输入图像中HP分布区域通过语义分割网络模型预测出来，这个语义分割网络模型主要由两部分：编码部分和解码部分，

编码部分是由8层卷积层、8层BN层、8层rule层和3层池化层构成，每个池化层将图像缩小，

解码部分有三层反卷积层，每层反卷积层后面接两层卷积层，每个反卷积层将图像放大，保持输出图像和输入图像的宽高尺寸相等，

训练语义分割网络模型，包括

输入：训练集：109例WSI，经过图像切分和清洗后得到512×512大小的RGB图片50350张；

测试集：20例WSI，经过图像切分和清洗后得到1024×1024大小的RGB图片4700张；

标注集：训练集和测试集中每张图片对应一张标注了HP分布区域的mask图，

其中Loss函数：

上式中y^(i,j)表示label图像坐标(i,j)上的值，

表示预测概率，M是label图像的宽度，N是label图像的高度，label图像为标注HP分布区域的图像；

S320、使用语义分割网络模型对RGB图像进行自动标注，输入一个batchsize的1024×1024×3的图片，经过网络前向传播，输出一个batchsize的1024×1024的预测图mask，当batchsize取1，网络预测流程如图3所示，

本网络有三个优点：1.该网络是单一目标的分割，即分割出HP分布区域。在编码部分中的8层卷积层、BN层、rule层和3层池化层，可以很好得到图像的特征，加深编码部分卷积层的深度对模型的性能表现提升已经不明显。本网络模型在测试集上召回率达到0.86，精确率达到0.68。本网络以较小的规模，取得了不错的表现，满足半自动化标注的需求。

2.相对于VGG、resnet等深度网络，本网络已经可以满足性能要求，并且大大缩小了网络的规模，保证了网络预测速度非常快，预测一张1024*1024的HP图片平均用时60ms。

3.该网络保持了语义分割分割网络端到端的特点，编码部分的三个池化层将图像缩小了8倍，解码层的三个反卷积层将图像增大了8倍，保持了输出图像和输入图像的宽高相等，从而可以通过输出图像的mask将HP区域标注出来。

S330、对自动标注的结果进行修正，

经过自动预标注后，需要人工修正标注。自动预标注的意义在于，帮助人找到了HP分布区域的位置，大大降低了人工标注的难度。人工修正标注，修复了自动标注的少量漏标和错标的问题，如图4中，绿色mask是网络自动标注，红色线圈是人工修正标注；

S400、在标注了HP的分布区域中提取HP形态，包括以下步骤，

S410、对分布区域进行灰度处理得到灰度图像，

首先分析了RGB图像分解为三个通道的图像，如图5，发现R通道和G通道的图像中的HP依然清晰可见，B通道图像颜色很深，HP难以分辨。经过分析后，发现RGB图像转灰度图像中，B通道会干扰HP与背景的梯度，因此放弃B通道的图像。由R和G通道的图像加权转化为需要的灰度图，

Gray_image＝α*R_image+(1-α)*G_image

其中，Gray_image代表灰度图像，R_image代表红通道图像，G_image代表绿通道图像，

不同的α值，会得到不同的灰度图，本发明在数据集上测试，通过获得最佳灰度图，进而确定最适合提取HP形态的α值，

通过α取[0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1.0]，通过Canny边缘检测，得到不同的结果图，比较发现Gray_image＝0.8*R_image+0.2*G_image，是最佳灰度图；

S420、对灰度图像进行Canny边缘检测，

图6中是本发明中灰度处理后的Gray_image，到达了提取HP的最佳灰度图，

图7是Canny提取HP形态的结果图，最佳灰度图提取到的HP形态结果最好，HP的遗漏和假阳性都降到了最少；

S500、输出HP形态结果图。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种在全数字切片图像中提取幽门螺杆菌形态的方法，其特征在于包括以下步骤：

S100、输入待分析的WSI图像；

S200、将WSI图像切分为多个相同大小的RGB图像；

S300、在RGB图像中标注HP分布区域，包括以下步骤，

S310、建立语义分割网络模型，

S320、使用语义分割网络模型对RGB图像进行自动标注，

S330、对自动标注的结果进行修正；

S400、在标注了HP的分布区域中提取HP形态，包括以下步骤，

S410、对分布区域进行灰度处理得到灰度图像，

放弃B通道的图像，通过使用R通道和B通道的图像加权计算，其公式为：

Gray_image＝α*R_image+(1-α)*G_image

其中，Gray_image代表灰度图像，R_image代表红通道图像，G_image代表绿通道图像，

S420、对灰度图像进行Canny边缘检测；

S500、输出HP形态结果图。

2.根据权利要求1所述的方法，其特征在于：步骤S200中，RGB图像尺寸为1024px*1024px。

3.根据权利要求1所述的方法，其特征在于：步骤S310中，语义分割网络模型包括解码部分、编码部分；

解码部分包括8层卷积层、8层BN层、8层rule层、3层池化层，每个池化层将图像缩小；

解码部分包括3层反卷积层，每层反卷积层后设置两层卷积层，每个反卷积层用于将图像放大。

4.根据权利要求3所述的方法，其特征在于：步骤S310中，语义分割网络模型中Loss函数为：

上式中y^(i，j)表示label图像坐标(i,j)上的值，

表示预测概率，M是label图像的宽度，N是label图像的高度，label图像为标注HP分布区域的图像。

5.根据权利要求1所述的方法，其特征在于：α＝0.8。

Images