CN111832625A - 一种基于弱监督学习的全扫描图像分析方法和*** - Google Patents

Abstract

本发明提出了一种基于弱监督学习的全扫描图像分析方法和***，所述方法包括：将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，同时获得全扫描图像级的标注；并利用基于注意力机制的抽样方法以及图像块判据将所述全扫描图像级的标注增强到图像块级的标注，获取N×N倍的有监督信息；将所述图像块级的标注直接赋给所述全扫描图像的对应区域的每个像素点，并利用图像分割模型以有监督的方式训练像素级预测模型。所述***包括与所述方法步骤对应的模块。

Description

一种基于弱监督学习的全扫描图像分析方法和***

技术领域

本发明提出了一种基于弱监督学习的全扫描图像分析方法和***，属于图像预测技术领域。

背景技术

病理学是通过分析病人的组织、细胞或者体液样本来诊断疾病的过程，被称为医学的“金标准”，是所有肿瘤类疾病诊断最重要的依据。病理科的诊断水平是医院整体诊断和治疗水平的重要参考指标。随着远程诊断的不断发展，数字病理扫描仪开始进入病理科，越来越多的病理切片被数字化，存储为全扫描图像。伴随着人工智能病理的不断发展，医生通过全扫描图像能够获得机器的辅助诊断结果。

不同于CT、X光等放射影像，病理影像的体积通常都在500MB至2GB，像素级分辨率通常达到200,000×100,000，对训练数据的标注过程提出了很高的要求。

现有技术的缺点

1.图像级别的标签虽然能够节约一定的标注难度，但是依然需要大量的标注时间；

2.Gabriele Campanella等的方法需要大量的计算资源，是这个问题的一种“暴力”解法。该方法每次迭代均需要对整张全扫描图像中的所有图像块就行计算，单次迭代周期很长，为了缩短计算时间，只能通过增加计算资源的方式；

3.现有的方法只解决了图像级分类的问题，输出的是“棋盘”式的结果，无法精确给定像素级的预测结果。

发明内容

本发明提供了一种基于弱监督学习的全扫描图像分析方法和***，用以解决迭代时周期长，计算资源量过大以及图像的像素级预测准确率低的问题：所采取的技术方案如下：

一种基于弱监督学习的全扫描图像分析方法，所述方法包括：

将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，同时获得全扫描图像级的标注；并利用基于注意力机制的抽样方法以及图像块判据将所述全扫描图像级的标注增强到图像块级的标注，获取N×N倍的有监督信息；

将所述图像块级的标注直接赋给所述全扫描图像的对应区域的每个像素点，并利用图像分割模型以有监督的方式训练像素级预测模型。

进一步地，所述将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，对每个所述图像块进行标注，获得全扫描图像级的标注；并利用基于注意力机制的抽样方法以及图像块判据将所述全扫描图像级的标注增强到图像块级的标注，获取N×N倍的有监督信息，包括：

将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，同时获得全扫描图像级的标注，并利用注意力机制对所述全扫描图像进行图像块抽样；

利用图像块选择判据训练生成深度学习模型；将所述全扫描图像中的图像块分别送入所述深度学习模型中，获得每一个图像块的预测结果，并通过所述图像块选择判据选择出代表性图像块，同时排除所述两种深度学习模型预测结果不同的图像块；

利用所述代表性图像块训练新的图像分类器，使用训练后的图像分类器对训练集的所有全扫描图像中的图像块进行预测，获得每张全扫描图像的热点区域预测结果；

对所述热点区域进行等距切分为N×N个大小相等且尺寸比所述热点区域的热点区域图像块，对所述热点区域图像块进行标注，获得图像块级的标注；所述图像块级的标注对应的图像块级数据即为N×N倍的有监督信息。

进一步地，所述将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，对每个所述图像块进行标注，并利用注意力机制对所述全扫描图像进行图像块抽样，包括：

将每一张全扫描图像分成N×N个大小相等的图像块，并将每个所述图像块进行标注；其中，N＝M/m，M表示全扫描图像的边长尺寸；m表示所述图像块的边长尺寸；

针对每一张全扫描图像建立注意力矩阵，所述注意力矩阵中存储所述全扫描图像对应的所有图像块的注意力权重；并且所述注意力矩阵的初始值为N/A，其中，N/A表示None；

在每轮迭代中，针对每张全扫描图像以权重M(i,j)和概率p对全扫描图像(i,j)坐标的图像块进行抽样，共抽样p×n个图像块，其中，所述全扫描图像的权重M(i，j)满足M(i,j)≠N/A；然后，在权重M(i,j)＝N/A的图像块中以相同的概率p抽样(1-p)×n个图像块；

在模型训练过程中，用每轮迭代更新模型的预测结果M’(i,j)覆盖原有的矩阵元素，即M(i,j)＝M’(i,j)。

进一步地，所述图像块选择判据采用Max-Max判据或Max-Min判据；

所述Max-Max判据为：对有热点区域和无热点区域的全扫描图像，均采用预测概率最大的图像块作为代表图像块；

所述Max-Min判据为，对有热点区域的全扫描图像采用最大预测概率的图像块作为代表图像块，对无热点区域的全扫描图像采用最小预测概率的图像块作为代表图像块。

进一步地，所述图像块的尺寸确定过程包括：

步骤1、利用所述全扫描图像获取反应所述全扫描图像中像素色彩类别的数据矩阵；

A＝[a₁ a₂ …… a_n]

其中，A表示所述全扫描图像中像素色彩类别的数据矩阵；a₁、a₂……a_n表示所述数据矩阵中包含的像素色彩类别，每个像素色彩类别对应一个病理组织区域；

步骤2、获得所述全扫描图像中每个病理组织部分对应的色彩强度，根据所述色彩强度和数据矩阵，确定所述全扫描图像中病理组织区域数量；

其中，Num表示病理组织区域数量；a_i且i＝1,2，……n表示所述数据矩阵中包含的像素色彩类别；b_i表示每个像素色彩类别对应的色彩强度级别数量；

步骤3、利用所述全扫描图像中每个像素的亮度分量，计算所述全扫描图像的平均亮度值；然后利用每个病理组织部分的图像区域的每个像素的亮度分量计算各病理组织部分的平均亮度值；

步骤4、通过所述病理组织区域数量，通过如下公式获取所述图像块的尺寸：

其中，L₀表示所述全扫描图像的平均亮度值；L_i表示各病理组织部分的平均亮度值。

一种基于弱监督学习的全扫描图像分析***，所述***包括：

监督信息增强模块，用于将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，并对每个所述图像块进行标注，获得全扫描图像级的标注；并利用基于注意力机制的抽样方法以及图像块判据将所述全扫描图像级的标注增强到图像块级的标注，获取N×N倍的有监督信息；

有监督模型训练模块，用于将所述图像块级的标注直接赋给所述全扫描图像的对应区域的每个像素点，并利用图像分割模型以有监督的方式训练像素级预测模型。

进一步地，所述监督信息增强模块包括：

图像块抽样模块，用于将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，同时获得全扫描图像级的标注，并利用注意力机制对所述全扫描图像进行图像块抽样；

预测结果获取模块，用于利用图像块选择判据训练生成深度学习模型；将所述全扫描图像中的图像块分别送入所述深度学习模型中，获得每一个图像块的预测结果，并通过所述图像块选择判据选择出代表性图像块，同时排除所述两种深度学习模型预测结果不同的图像块；

分类器训练模块，用于利用所述代表性图像块训练新的图像分类器，使用训练后的图像分类器对训练集的所有全扫描图像中的图像块进行预测，获得每张全扫描图像的热点区域预测结果；

有监督信息获取模块，对所述热点区域进行等距切分为N×N个大小相等且尺寸比所述热点区域的热点区域图像块，对所述热点区域图像块进行标注，获得图像块级的标注；所述图像块级的标注对应的图像块级数据即为N×N倍的有监督信息。

进一步地，所述图像块抽样模块包括：

分割模块，用于将每一张全扫描图像分成N×N个大小相等的图像块，并将每个所述图像块进行标注；其中，N＝M/m，M表示全扫描图像的边长尺寸；m表示所述图像块的边长尺寸；

矩阵建立模块，用于针对每一张全扫描图像建立注意力矩阵，所述注意力矩阵中存储所述全扫描图像对应的所有图像块的注意力权重；并且所述注意力矩阵的初始值为N/A，其中，N/A表示None；

抽样模块，用于在每轮迭代中，针对每张全扫描图像以权重M(i,j)和概率p对全扫描图像(i,j)坐标的图像块进行抽样，共抽样p×n个图像块，其中，所述全扫描图像的权重M(i，j)满足M(i,j)≠N/A；然后，在权重M(i,j)＝N/A的图像块中以相同的概率p抽样(1-p)×n个图像块；

覆盖模块，用于在模型训练过程中，用每轮迭代更新模型的预测结果M’(i,j)覆盖原有的矩阵元素，即M(i,j)＝M’(i,j)。

进一步地，所述图像块选择判据采用Max-Max判据和Max-Min判据；

所述Max-Max判据为：对有热点区域和无热点区域的全扫描图像，均采用预测概率最大的图像块作为代表图像块；

所述Max-Min判据为，对有热点区域的全扫描图像采用最大预测概率的图像块作为代表图像块，对无热点区域的全扫描图像采用最小预测概率的图像块作为代表图像块。

进一步地，所述图像块抽样模块还包括：

图像块尺寸获取模块，用于在所述全扫描图像进行等距切分为多个图像块时，获取所述图像块的尺寸。

本发明有益效果：

本发明提出的一种基于弱监督学习的全扫描图像分析方法和***，能够基于全扫描图像级的标签完成像素级图像分割模型的建立，适用于各种全扫描图像与模型(包括图像分类与图像分割模型)类型。同时，通过基于注意力机制的抽样方法，解决了弱监督学习训练周期过长的问题。每次迭代不需要整张全扫描图像中的所有图像块进行模型迭代，只需要抽样出的“热点”图像块迭代模型，大幅缩短了训练时间，降低对计算资源的需求。另外，通过结合两种判据的方法(Max-Max和Max-Min)，提升了多实例学习模型的准确率。

附图说明

图1为本发明所述方法的流程图；

图2为本发明所述基于注意力机制的抽样方法原理图；

图3为本发明所述***的***框图；

图4为本发明所述***的原理图；

图5为本发明两种所述图像块判据的原理图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于弱监督学习的全扫描图像分析方法和***，用以解决迭代时周期长，计算资源量过大以及图像的像素级预测准确率低的问题。

本发明实施例提出一种基于弱监督学习的全扫描图像分析方法，如图1所示，所述方法包括：

S1、将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，并对每个所述图像块进行标注，获得全扫描图像级的标注；并利用基于注意力机制的抽样方法以及图像块判据将所述全扫描图像级的标注增强到图像块级的标注，获取N×N倍的有监督信息；

S2、将所述图像块级的标注直接赋给所述全扫描图像的对应区域的每个像素点，并利用图像分割模型(如DeepLab和U-Net)以有监督的方式训练像素级预测模型。

上述技术方案的工作原理为：所述方法包括两个步骤：监督信息增强和有监督模型训练。

其中，监督信息增强过程中将全扫描图像等距切分为更小的图像块，在监督信息增强过程中自动为每一个块进行标注，进而将弱监督转化为有监督的问题。

所述方法的有效性取决于监督信息增强后图像块标注的质量，为了提高标注的准确率，提出一种组合多实例学习(cMIL)的方法。在cMIL的训练过程中，需要找到图像中的代表性图像块，其预测结果可以视为整张全扫描图像的分类标签。在实际操作中，每一张全扫描图像被分成N×N个大小相等的块(M和m分别表示全扫描图像和图像块的尺寸，N＝M/m为比例因子)。利用注意力机制进行图像块抽样，并通过图像块判据选择代表性图像块。然后对所述代表性图像块进行在标注，获得图像级的标注。最后，使用选择出的有标注图像块训练新的分类器，使用训练后的分类器对训练集的所有全扫描图像中的图像块进行预测，获得每张全扫描图像粗略的热点区域预测结果。至此，将全扫描图像级的标注增强到了图像块级别，获得了N×N倍的有监督信息。

最后，将图像块级别的标注直接赋给每一个像素点，便可以使用现有的图像分割模型，如DeepLab和U-Net(各种图像分割模型均适用)，以有监督的方式训练像素级预测模型。

本实施例中，全扫描图像(whole slide image，WSI)是指通过全自动显微镜或光学放大***扫描采集得到高分辨数字图像，通过计算机进行高精度多视野无缝隙拼接和处理，从而获得的多层级可视化的图像。弱监督学习是指本发明主要解决“不确切监督学习”这一弱监督学习问题，即由于数据中标记数据粗粒度太大，无法按照有监督学习的方式来进行模型训练。多实例学习(multiple instance learning，MIL)是指多示例学习是一种弱监督学习方法，定义“包”为多个实例的集合，学习者不是接收一组单独标记的实例，而是接收一组带标签的包，每个包拥有多个实例。在多实例二进制分类的简单情况下，如果包中的所有实例都是否定的，则可以将包标记为否定。另一方面，如果包中只要至少有一个是正面的，则包被标记为阳性。

上述技术方案的效果为：能够基于全扫描图像级的标签完成像素级图像分割模型的建立，适用于各种全扫描图像与模型(包括图像分类与图像分割模型)类型。同时，通过基于注意力机制的抽样方法，解决了弱监督学习训练周期过长的问题。每次迭代不需要整张全扫描图像中的所有图像块进行模型迭代，只需要抽样出的“热点”图像块迭代模型，大幅缩短了训练时间，降低对计算资源的需求。另外，通过图像块判据的方法提升了多实例学习模型的准确率。

本发明的一个实施例，所述将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，对每个所述图像块进行标注，获得全扫描图像级的标注；并利用基于注意力机制的抽样方法以及图像块判据将所述全扫描图像级的标注增强到图像块级的标注，获取N×N倍的有监督信息，包括：

S101、将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，并对每个所述图像块进行标注，并利用注意力机制对所述全扫描图像进行图像块抽样；

S102、利用图像块选择判据训练生成深度学习模型；将所述全扫描图像中的图像块分别送入所述深度学习模型中，获得每一个图像块的预测结果，并通过所述图像块选择判据选择出代表性图像块，同时排除所述两种深度学习模型预测结果不同的图像块；

S103、利用所述代表性图像块训练新的图像分类器，使用训练后的图像分类器对训练集的所有全扫描图像中的图像块进行预测，获得每张全扫描图像的热点区域预测结果；

S104、对所述热点区域进行等距切分为N×N个大小相等且尺寸比所述热点区域的热点区域图像块，对所述热点区域图像块进行标注，获得图像块级的标注；所述图像块级的标注对应的图像块级数据即为N×N倍的有监督信息。

上述技术方案的工作原理：首先，将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，并对每个所述图像块进行标注，并利用注意力机制对所述全扫描图像进行图像块抽样；然后，利用图像块选择判据训练生成深度学习模型；将所述全扫描图像中的图像块分别送入所述深度学习模型中，获得每一个图像块的预测结果，并通过所述图像块选择判据选择出代表性图像块，同时排除所述两种深度学习模型预测结果不同的图像块；随后，利用所述代表性图像块训练新的图像分类器，使用训练后的图像分类器对训练集的所有全扫描图像中的图像块进行预测，获得每张全扫描图像的热点区域预测结果；最后，对所述热点区域进行等距切分为N×N个大小相等且尺寸比所述热点区域的热点区域图像块，对所述热点区域图像块进行标注，获得图像块级的标注；所述图像块级的标注对应的图像块级数据即为N×N倍的有监督信息。

上述技术方案的效果：完整的基于弱监督学习的全扫描图像分析***，能够完成全扫描图像级标签到像素级预测的学习；能够基于全扫描图像级的标签完成像素级图像分割模型的建立，适用于各种全扫描图像与模型(包括图像分类与图像分割模型)类型，通用性强。同时，通过基于注意力机制的抽样方法，解决了弱监督学习训练周期过长的问题。每次迭代不需要整张全扫描图像中的所有图像块进行模型迭代，只需要抽样出的“热点”图像块迭代模型，大幅缩短了训练时间，降低对计算资源的需求。另外，通过图像块判据的方法有效提升了多实例学习模型的准确率。

本发明的一个实施例，如图2所示，所述将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，对每个所述图像块进行标注，并利用注意力机制对所述全扫描图像进行图像块抽样，包括：

S1011、将每一张全扫描图像分成N×N个大小相等的图像块，并将每个所述图像块进行标注；其中，N＝M/m，M表示全扫描图像的边长尺寸；m表示所述图像块的边长尺寸；

S1012、针对每一张全扫描图像建立注意力矩阵，所述注意力矩阵中存储所述全扫描图像对应的所有图像块的注意力权重；并且所述注意力矩阵的初始值为N/A，其中，N/A表示None；

S1013、在每轮迭代中，针对每张全扫描图像以权重M(i,j)和概率p对全扫描图像(i,j)坐标的图像块进行抽样，共抽样p×n个图像块，其中，所述全扫描图像的权重M(i，j)满足M(i,j)≠N/A；然后，在权重M(i,j)＝N/A的图像块中以相同的概率p抽样(1-p)×n个图像块；

S1014、在模型训练过程中，用每轮迭代更新模型的预测结果M’(i,j)覆盖原有的矩阵元素，即M(i,j)＝M’(i,j)。

上述技术方案的工作原理：对每一张全扫描图像建立注意力矩阵，矩阵中存储其对应所有图像块的注意力权重。该权重存储分类模型对图像块的最新预测概率，若没有被预测，则权重默认为N/A。定义抽样数为n(n<<N)，在每轮迭代时，以一定的概率p(介于0.0到1.0之间)根据注意力权重对图像块进行抽样，即平均抽样p×n张注意力权重不为N/A的图像块。为了保证没有被预测过的图像块也能获得抽象学***均抽样(1-p)×n张注意力权重为N/A的图像块。综上，每次迭代单张全扫描图像共抽样n张图像块用于分类模型训练。

上述技术方案的效果：通过基于注意力机制的抽样方法，解决了弱监督学习训练周期过长的问题。每次迭代不需要整张全扫描图像中的所有图像块进行模型迭代，只需要抽样出的“热点”图像块迭代模型，大幅缩短了训练时间，降低对计算资源的需求。

本发明的一个实施例，如图5所示，所述图像块选择判据采用Max-Max判据或Max-Min判据；

所述Max-Max判据为：对有热点区域和无热点区域的全扫描图像，均采用预测概率最大的图像块作为代表图像块；

所述Max-Min判据为，对有热点区域的全扫描图像采用最大预测概率的图像块作为代表图像块，对无热点区域的全扫描图像采用最小预测概率的图像块作为代表图像块。

上述技术方案的工作原理为：如果一张全扫描图像中包含热点区域，则可以推断至少一个图像块包含有热点区域。反之，若一张全扫描图像中没有热点区域，则所有的图像块均没有热点。其中，所述热点区域是指与预测标签相关的区域。cMIL使用了两个不同的图像块选择判据(即Max-Max和Max-Min)，Max-Max对有和无热点区域的全扫描图像，均采用预测概率最大的图像块作为代表图像块，而Max-Min则对有和无热点区域的全扫描图像分别采用最大和最小预测概率的图像块作为代表。

上述技术方案的效果为：通过结合两种图像块判据，有效提高预测结果的准确性。

本发明的一个实施例，所述图像块的尺寸确定过程包括：

步骤1、利用所述全扫描图像获取反应所述全扫描图像中像素色彩类别的数据矩阵；

A＝[a₁ a₂ …… a_n]

其中，A表示所述全扫描图像中像素色彩类别的数据矩阵；a₁、a₂……a_n表示所述数据矩阵中包含的像素色彩类别，每个像素色彩类别对应一个病理组织区域；

步骤2、获得所述全扫描图像中每个病理组织部分对应的色彩强度，根据所述色彩强度和数据矩阵，确定所述全扫描图像中病理组织区域数量；

其中，Num表示病理组织区域数量；a_i且i＝1,2，……n表示所述数据矩阵中包含的像素色彩类别；b_i表示每个像素色彩类别对应的色彩强度级别数量；

步骤3、利用所述全扫描图像中每个像素的亮度分量，计算所述全扫描图像的平均亮度值；然后利用每个病理组织部分的图像区域的每个像素的亮度分量计算各病理组织部分的平均亮度值；

步骤4、通过所述病理组织区域数量，通过如下公式获取所述图像块的尺寸：

其中，L₀表示所述全扫描图像的平均亮度值；L_i表示各病理组织部分的平均亮度值。

上述技术方案的工作原理为；通过全扫描图像中像素色彩类别和全扫描图像中每个病理组织部分对应的色彩强度等数据指标，计算获得所述全扫描图像在分割时的图像块尺寸。所述色彩强度级别数量是指每个像素色彩类别中，同一像素色彩类别内，颜色染色度由强到弱的级别数量。

上述技术方案的效果为：根据所述全扫描图像中各个染色区域的具体图像情况获得切割的图像块的尺寸，能够有效提高全扫描图像处理的精度。同时，利用综合各染色区域的实际图像情况获得所述相同尺寸的图像块，而获得图像块个数能够有效提高后续图像块预测的准确度及精度。

一种基于弱监督学习的全扫描图像分析***，如图3和图4所示，所述***包括：

监督信息增强模块，用于将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，并对每个所述图像块进行标注，获得全扫描图像级的标注；并利用基于注意力机制的抽样方法以及图像块判据将所述全扫描图像级的标注增强到图像块级的标注，获取N×N倍的有监督信息；

有监督模型训练模块，用于将所述图像块级的标注直接赋给所述全扫描图像的对应区域的每个像素点，并利用图像分割模型(如DeepLab和U-Net)以有监督的方式训练像素级预测模型。

上述技术方案的工作原理为：所述***利用监督信息增强模块将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，并对每个所述图像块进行标注，获得全扫描图像级的标注；并利用基于注意力机制的抽样方法以及图像块判据将所述全扫描图像级的标注增强到图像块级的标注，获取N×N倍的有监督信息；通过有监督模型训练模块将所述图像块级的标注直接赋给所述全扫描图像的对应区域的每个像素点，并利用图像分割模型(如DeepLab和U-Net)以有监督的方式训练像素级预测模型。

上述技术方案的效果为：能够基于全扫描图像级的标签完成像素级图像分割模型的建立，适用于各种全扫描图像与模型(包括图像分类与图像分割模型)类型。同时，通过基于注意力机制的抽样方法，解决了弱监督学习训练周期过长的问题。每次迭代不需要整张全扫描图像中的所有图像块进行模型迭代，只需要抽样出的“热点”图像块迭代模型，大幅缩短了训练时间，降低对计算资源的需求。另外，通过图像块判据的方法提升了多实例学习模型的准确率。

本发明的一个实施例，所述监督信息增强模块包括：

图像块抽样模块，用于将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，对每个所述图像块进行标注，并利用注意力机制对所述全扫描图像进行图像块抽样；

预测结果获取模块，用于利用图像块选择判据训练生成深度学习模型；将所述全扫描图像中的图像块分别送入所述深度学习模型中，获得每一个图像块的预测结果，并通过所述图像块选择判据选择出代表性图像块，同时排除所述两种深度学习模型预测结果不同的图像块；

分类器训练模块，用于利用所述代表性图像块训练新的图像分类器，使用训练后的图像分类器对训练集的所有全扫描图像中的图像块进行预测，获得每张全扫描图像的热点区域预测结果；

有监督信息获取模块，对所述热点区域进行等距切分为N×N个大小相等且尺寸比所述热点区域的热点区域图像块，对所述热点区域图像块进行标注，获得图像块级的标注；所述图像块级的标注对应的图像块级数据即为N×N倍的有监督信息。

上述技术方案的工作原理为：通过图像块抽样模块将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，对每个所述图像块进行标注，并利用注意力机制对所述全扫描图像进行图像块抽样；采用预测结果获取模块利用图像块选择判据训练生成深度学习模型；将所述全扫描图像中的图像块分别送入所述深度学习模型中，获得每一个图像块的预测结果，并通过所述图像块选择判据选择出代表性图像块，同时排除所述两种深度学习模型预测结果不同的图像块；通过分类器训练模块利用所述代表性图像块训练新的图像分类器，使用训练后的图像分类器对训练集的所有全扫描图像中的图像块进行预测，获得每张全扫描图像的热点区域预测结果；利用有监督信息获取模块对所述热点区域进行等距切分为N×N个大小相等且尺寸比所述热点区域的热点区域图像块，对所述热点区域图像块进行标注，获得图像块级的标注；所述图像块级的标注对应的图像块级数据即为N×N倍的有监督信息。

本发明的一个实施例，所述图像块抽样模块包括：

分割模块，用于将每一张全扫描图像分成N×N个大小相等的图像块，并将每个所述图像块进行标注；其中，N＝M/m，M表示全扫描图像的边长尺寸；m表示所述图像块的边长尺寸；

矩阵建立模块，用于针对每一张全扫描图像建立注意力矩阵，所述注意力矩阵中存储所述全扫描图像对应的所有图像块的注意力权重；并且所述注意力矩阵的初始值为N/A，其中，N/A表示None；

抽样模块，用于在每轮迭代中，针对每张全扫描图像以权重M(i,j)和概率p对全扫描图像(i,j)坐标的图像块进行抽样，共抽样p×n个图像块，其中，所述全扫描图像的权重M(i，j)满足M(i,j)≠N/A；然后，在权重M(i,j)＝N/A的图像块中以相同的概率p抽样(1-p)×n个图像块；

覆盖模块，用于在模型训练过程中，用每轮迭代更新模型的预测结果M’(i,j)覆盖原有的矩阵元素，即M(i,j)＝M’(i,j)。

上述技术方案的工作原理为：通过分割模块将每一张全扫描图像分成N×N个大小相等的图像块，并将每个所述图像块进行标注；其中，N＝M/m，M表示全扫描图像的边长尺寸；m表示所述图像块的边长尺寸；利用矩阵建立模块针对每一张全扫描图像建立注意力矩阵，所述注意力矩阵中存储所述全扫描图像对应的所有图像块的注意力权重；并且所述注意力矩阵的初始值为N/A。在每轮迭代中，采用抽样模块针对每张全扫描图像以权重M(i,j)和概率p对全扫描图像(i,j)坐标的图像块进行抽样，共抽样p×n个图像块，其中，所述全扫描图像的权重M(i，j)满足M(i,j)≠N/A；然后，在权重M(i,j)＝N/A的图像块中以相同的概率p抽样(1-p)×n个图像块；最后，通过覆盖模块在模型训练过程中，用每轮迭代更新模型的预测结果M’(i,j)覆盖原有的矩阵元素，即M(i,j)＝M’(i,j)。

上述技术方案的效果为：通过基于注意力机制的抽样方法，解决了弱监督学习训练周期过长的问题。每次迭代不需要整张全扫描图像中的所有图像块进行模型迭代，只需要抽样出的“热点”图像块迭代模型，大幅缩短了训练时间，降低对计算资源的需求。

本发明的一个实施例，如图5所示，所述图像块选择判据采用Max-Max判据和Max-Min判据；

所述Max-Max判据为：对有热点区域和无热点区域的全扫描图像，均采用预测概率最大的图像块作为代表图像块；

所述Max-Min判据为，对有热点区域的全扫描图像采用最大预测概率的图像块作为代表图像块，对无热点区域的全扫描图像采用最小预测概率的图像块作为代表图像块。

上述技术方案的工作原理为：如果一张全扫描图像中包含热点区域，则可以推断至少一个图像块包含有热点区域。反之，若一张全扫描图像中没有热点区域，则所有的图像块均没有热点。其中，所述热点区域是指与预测标签相关的区域。cMIL使用了两个不同的图像块选择判据(即Max-Max和Max-Min)，Max-Max对有和无热点区域的全扫描图像，均采用预测概率最大的图像块作为代表图像块，而Max-Min则对有和无热点区域的全扫描图像分别采用最大和最小预测概率的图像块作为代表。

上述技术方案的效果为：通过结合两种图像块判据，有效提高预测结果的准确性。

本发明的一个实施例，所述图像块抽样模块还包括：

图像块尺寸获取模块，用于在所述全扫描图像进行等距切分为多个图像块时，获取所述图像块的尺寸。

所述图像块尺寸获取模块包括：

矩阵形成模块，用于利用所述全扫描图像获取反应所述全扫描图像中像素色彩类别的数据矩阵；

数量获取模块，用于获得所述全扫描图像中每个病理组织部分对应的色彩强度，根据所述色彩强度和数据矩阵，确定所述全扫描图像中病理组织区域数量；

亮度平均值获取模块，用于利用所述全扫描图像中每个像素的亮度分量，计算所述全扫描图像的平均亮度值；然后利用每个病理组织部分的图像区域的每个像素的亮度分量计算各病理组织部分的平均亮度值；

尺寸获取模块，用于通过所述病理组织区域数量，通过如下公式获取所述图像块的尺寸。

上述技术方案的工作原理为：所述图像块尺寸获取模块的执行过程包括：

步骤1、通过矩阵形成模块利用所述全扫描图像获取反应所述全扫描图像中像素色彩类别的数据矩阵；

A＝[a₁ a₂ …… a_n]

其中，A表示所述全扫描图像中像素色彩类别的数据矩阵；a₁、a₂……a_n表示所述数据矩阵中包含的像素色彩类别，每个像素色彩类别对应一个病理组织区域；

步骤2、采用数量获取模块获得所述全扫描图像中每个病理组织部分对应的色彩强度，根据所述色彩强度和数据矩阵，确定所述全扫描图像中病理组织区域数量；

其中，Num表示病理组织区域数量；a_i且i＝1,2，……n表示所述数据矩阵中包含的像素色彩类别；b_i表示每个像素色彩类别对应的色彩强度级别数量；

步骤3、通过亮度平均值获取模块利用所述全扫描图像中每个像素的亮度分量，计算所述全扫描图像的平均亮度值；然后利用每个病理组织部分的图像区域的每个像素的亮度分量计算各病理组织部分的平均亮度值；

步骤4、利用尺寸获取模块通过所述病理组织区域数量，通过如下公式获取所述图像块的尺寸：

其中，L₀表示所述全扫描图像的平均亮度值；L_i表示各病理组织部分的平均亮度值。

上述技术方案的效果为：根据所述全扫描图像中各个染色区域的具体图像情况获得切割的图像块的尺寸，能够有效提高全扫描图像处理的精度。同时，利用综合各染色区域的实际图像情况获得所述相同尺寸的图像块，进而获得图像块个数能够有效提高监督信息增强力度和后续图像块预测的准确度及精度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于弱监督学习的全扫描图像分析方法，其特征在于，所述方法包括：

将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，同时获得全扫描图像级的标注；并利用基于注意力机制的抽样方法以及图像块判据将所述全扫描图像级的标注增强到图像块级的标注，获取N×N倍的有监督信息；

将所述图像块级的标注直接赋给所述全扫描图像的对应区域的每个像素点，并利用图像分割模型以有监督的方式训练像素级预测模型。

2.根据权利要求1所述方法，其特征在于，所述将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，同时获得全扫描图像级的标注；并利用基于注意力机制的抽样方法以及图像块判据将所述全扫描图像级的标注增强到图像块级的标注，获取N×N倍的有监督信息，包括：

将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，同时获得全扫描图像级的标注，并利用注意力机制对所述全扫描图像进行图像块抽样；

利用图像块选择判据训练生成深度学习模型；将所述全扫描图像中的图像块分别送入所述深度学习模型中，获得每一个图像块的预测结果，并通过所述图像块选择判据选择出代表性图像块，同时排除所述两种深度学习模型预测结果不同的图像块；

利用所述代表性图像块训练新的图像分类器，使用训练后的图像分类器对训练集的所有全扫描图像中的图像块进行预测，获得每张全扫描图像的热点区域预测结果；

对所述热点区域进行等距切分为N×N个大小相等且尺寸比所述热点区域的热点区域图像块，对所述热点区域图像块进行标注，获得图像块级的标注；所述图像块级的标注对应的图像块级数据即为N×N倍的有监督信息。

3.根据权利要求2所述方法，其特征在于，所述将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，同时获得全扫描图像级的标注，并利用注意力机制对所述全扫描图像进行图像块抽样，包括：

将每一张全扫描图像分成N×N个大小相等的图像块，并将每个所述图像块进行标注；其中，N＝M/m，M表示全扫描图像的边长尺寸；m表示所述图像块的边长尺寸；

针对每一张全扫描图像建立注意力矩阵，所述注意力矩阵中存储所述全扫描图像对应的所有图像块的注意力权重；并且所述注意力矩阵的初始值为N/A，其中，N/A表示None；

在每轮迭代中，针对每张全扫描图像以权重M(i,j)和概率p对全扫描图像(i,j)坐标的图像块进行抽样，共抽样p×n个图像块，其中，所述全扫描图像的权重M(i，j)满足M(i,j)≠N/A；然后，在权重M(i,j)＝N/A的图像块中以相同的概率p抽样(1-p)×n个图像块；

在模型训练过程中，用每轮迭代更新模型的预测结果M’(i,j)覆盖原有的矩阵元素，即M(i,j)＝M’(i,j)。

4.根据权利要求2所述方法，其特征在于，所述图像块选择判据采用Max-Max判据或Max-Min判据；

所述Max-Max判据为：对有热点区域和无热点区域的全扫描图像，均采用预测概率最大的图像块作为代表图像块；

所述Max-Min判据为，对有热点区域的全扫描图像采用最大预测概率的图像块作为代表图像块，对无热点区域的全扫描图像采用最小预测概率的图像块作为代表图像块。

5.根据权利要求2所述方法，其特征在于，所述图像块的尺寸确定过程包括：

步骤1、利用所述全扫描图像获取反应所述全扫描图像中像素色彩类别的数据矩阵；

A＝[a₁ a₂......a_n]

其中，A表示所述全扫描图像中像素色彩类别的数据矩阵；a₁、a₂……a_n表示所述数据矩阵中包含的像素色彩类别，每个像素色彩类别对应一个病理组织区域；

步骤2、获得所述全扫描图像中每个病理组织部分对应的色彩强度，根据所述色彩强度和数据矩阵，确定所述全扫描图像中病理组织区域数量；

其中，Num表示病理组织区域数量；a_i且i＝1,2，……n表示所述数据矩阵中包含的像素色彩类别；b_i表示每个像素色彩类别对应的色彩强度级别数量；

步骤3、利用所述全扫描图像中每个像素的亮度分量，计算所述全扫描图像的平均亮度值；然后利用每个病理组织部分的图像区域的每个像素的亮度分量计算各病理组织部分的平均亮度值；

步骤4、通过所述病理组织区域数量，通过如下公式获取所述图像块的尺寸：

其中，L₀表示所述全扫描图像的平均亮度值；L_i表示各病理组织部分的平均亮度值。

6.一种基于弱监督学习的全扫描图像分析***，其特征在于，所述***包括：

监督信息增强模块，用于将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，并对每个所述图像块进行标注，获得全扫描图像级的标注；并利用基于注意力机制的抽样方法以及图像块判据将所述全扫描图像级的标注增强到图像块级的标注，获取N×N倍的有监督信息；

有监督模型训练模块，用于将所述图像块级的标注直接赋给所述全扫描图像的对应区域的每个像素点，并利用图像分割模型以有监督的方式训练像素级预测模型。

7.根据权利要求6所述***，其特征在于，所述监督信息增强模块包括：

图像块抽样模块，用于将全扫描图像等距切分为多个尺寸比所述全扫描图像小的图像块，同时获得全扫描图像级的标注，并利用注意力机制对所述全扫描图像进行图像块抽样；

预测结果获取模块，用于利用图像块选择判据训练生成深度学习模型；将所述全扫描图像中的图像块分别送入所述深度学习模型中，获得每一个图像块的预测结果，并通过所述图像块选择判据选择出代表性图像块，同时排除所述两种深度学习模型预测结果不同的图像块；

分类器训练模块，用于利用所述代表性图像块训练新的图像分类器，使用训练后的图像分类器对训练集的所有全扫描图像中的图像块进行预测，获得每张全扫描图像的热点区域预测结果；

有监督信息获取模块，对所述热点区域进行等距切分为N×N个大小相等且尺寸比所述热点区域的热点区域图像块，对所述热点区域图像块进行标注，获得图像块级的标注；所述图像块级的标注对应的图像块级数据即为N×N倍的有监督信息。

8.根据权利要求7所述***，其特征在于，所述图像块抽样模块包括：

分割模块，用于将每一张全扫描图像分成N×N个大小相等的图像块，同时获得全扫描图像级的标注；其中，N＝M/m，M表示全扫描图像的边长尺寸；m表示所述图像块的边长尺寸；

矩阵建立模块，用于针对每一张全扫描图像建立注意力矩阵，所述注意力矩阵中存储所述全扫描图像对应的所有图像块的注意力权重；并且所述注意力矩阵的初始值为N/A，其中，N/A表示None；

抽样模块，用于在每轮迭代中，针对每张全扫描图像以权重M(i,j)和概率p对全扫描图像(i,j)坐标的图像块进行抽样，共抽样p×n个图像块，其中，所述全扫描图像的权重M(i，j)满足M(i,j)≠N/A；然后，在权重M(i,j)＝N/A的图像块中以相同的概率p抽样(1-p)×n个图像块；

覆盖模块，用于在模型训练过程中，用每轮迭代更新模型的预测结果M’(i,j)覆盖原有的矩阵元素，即M(i,j)＝M’(i,j)。

9.根据权利要求7所述***，其特征在于，所述图像块选择判据采用Max-Max判据和Max-Min判据；

所述Max-Max判据为：对有热点区域和无热点区域的全扫描图像，均采用预测概率最大的图像块作为代表图像块；

所述Max-Min判据为，对有热点区域的全扫描图像采用最大预测概率的图像块作为代表图像块，对无热点区域的全扫描图像采用最小预测概率的图像块作为代表图像块。

10.根据权利要求7所述***，其特征在于，所述图像块抽样模块还包括：

图像块尺寸获取模块，用于在所述全扫描图像进行等距切分为多个图像块时，获取所述图像块的尺寸。

Images