CN113674288A - 一种非小细胞肺癌数字病理图像组织自动分割方法 - Google Patents

一种非小细胞肺癌数字病理图像组织自动分割方法 Download PDF

Info

Publication number
CN113674288A
CN113674288A CN202110754856.8A CN202110754856A CN113674288A CN 113674288 A CN113674288 A CN 113674288A CN 202110754856 A CN202110754856 A CN 202110754856A CN 113674288 A CN113674288 A CN 113674288A
Authority
CN
China
Prior art keywords
image
network
module
segmentation
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110754856.8A
Other languages
English (en)
Other versions
CN113674288B (zh
Inventor
麦锦海
韩楚
陈鑫
俞祝良
刘再毅
梁长虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110754856.8A priority Critical patent/CN113674288B/zh
Publication of CN113674288A publication Critical patent/CN113674288A/zh
Application granted granted Critical
Publication of CN113674288B publication Critical patent/CN113674288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种非小细胞肺癌数字病理图像组织自动分割方法，该方法包括下述步骤：对非小细胞肺癌数字病理图像划分为多个图像块，将像素值归一化；采用图像级标注对图像块标注组织标注向量；监督训练多标签分类CNN网络生成虚拟掩膜；构建CAMD模块，在多标签分类CNN网络每次迭代过程中以设定的概率给特征图加attention，或置零特征图响应值高的区域；将图像块输入训练好的多标签分类CNN网络，生成多组虚拟掩膜；基于多组虚拟掩膜训练全监督分割网络，将图像块输入训练好的全监督分割网络得到分割结果；拼接每一张图像块的分割结果得到整张图像的分割结果。本发明在非小细胞肺癌数字病理图像的分割处理上具有更高的精确度。

Description

一种非小细胞肺癌数字病理图像组织自动分割方法
技术领域
本发明涉及病理图像处理技术领域，具体涉及一种非小细胞肺癌数字病理图像组织自动分割方法。
背景技术
目前的图像分割方法中，还缺少针对非小细胞肺癌数字病理图像处理的相关研究，在其他的病种如结直肠癌组织分割，已有的方法利用深度学习模型对病理图像进行单标签多类别分类，使用滑动窗口法，拼接分类好的patch得到组织分割结果(一张patch中的所有像素都属于同一个类别)。这种分割方法得到的结果不是像素级别的，只达到了patch-level的分割，相对粗糙。现有方法中也有利用图像级标注数据训练生成像素级组织分割的，但是他们方法是应用于健康人的数字病理切片的，对于非小细胞肺癌数字病理图像的适用性并不明确，并且对于弱监督语义分割存在的类激活图的显著性区域过度集中的问题，并没有得到有效解决。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种非小细胞肺癌数字病理图像组织自动分割方法，利用图像级标注的非小细胞肺癌数字病理图像数据集，通过弱监督语义分割方法训练一个深度卷积神经网络，实现了对非小细胞肺癌数字病理图像的自动组织分割，使得组织分割的结果更具有客观性，并且可以进一步地量化数字病理图像。
本发明的第二目的在于提供一种非小细胞肺癌数字病理图像组织自动分割***。
本发明的第三目的在于提供一种存储介质。
本发明的第四目的在于提供一种计算设备。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种非小细胞肺癌数字病理图像组织自动分割方法，包括下述步骤：
对非小细胞肺癌数字病理图像划分为多个图像块，对每个图像块进行归一化预处理，将像素值进行归一化；
采用图像级标注的方式对图像块进行标注，每个图像块标注组织标注向量；
以Resnet38为网络框架构建多标签分类CNN网络，基于图像级标注的图像块监督训练多标签分类CNN网络生成虚拟掩膜；
构建CAMD模块，所述CAMD模块在多标签分类CNN网络每次迭代过程中以设定的概率给特征图加attention，或者以设定的概率置零特征图响应值高的区域；
将图像块输入训练好的多标签分类CNN网络，生成多组虚拟掩膜；
构建全监督分割网络模型，基于多组虚拟掩膜训练全监督分割网络，将图像块输入训练好的全监督分割网络，得到分割结果；
采用滑动窗口法进行滑动处理，拼接每一张图像块的分割结果，得到整一张图像的分割结果。
作为优选的技术方案，所述组织标注向量设置为四位的组织标注向量，分别对应肿瘤组织，坏死组织，淋巴组织，间质组织，组织标注向量中设置数值0表示图像块中不存在相对应类的组织，数值1表示图像块中存在相对应类的组织。
作为优选的技术方案，在多标签分类CNN网络的训练过程中，基于前一次迭代的网络权重，生成下一次迭代的类激活图，把类激活图按像素叠加，得到注意力图，取注意力图中像素值最大的部分区域作为显著性区域；
将注意力图输入一个sigmoid函数，把像素值映射至0到1之间，得到Importantmap，将注意力图的显著性区域置0，将非显著性区域置1，得到drop mask；
Important map与drop mask基于ReLU函数计算后输出，并与图像输入进行multiplication操作，将得到的特征图继续前向传播。
作为优选的技术方案，所述生成类激活图的具体步骤包括：
给定一张输入图像
Figure BDA0003146995440000031
表示最后一层卷积层输出的特征图的第k个通道在(x,y)处的激活值；
进行通道k进行全局平均池化，得到全局平均池化后的结果为：
Figure BDA0003146995440000032
对于一个给定的类别C，Softmax层的输入为：
Figure BDA0003146995440000033
类别C的Softmax输出为：
Figure BDA0003146995440000034
定义类别C的类激活图为
Figure BDA0003146995440000035
其中每个空间元素为：
Figure BDA0003146995440000036
其中，
Figure BDA0003146995440000037
为通道k对应的类别C的权重。
作为优选的技术方案，所述基于多组虚拟掩膜训练全监督分割网络，分别利用CNN中不同层次的特征图生成多组虚拟掩膜，分别利用CNN的b4_3，b5_2和b7层的特征图；
将CNN中不同层次的特征图生成虚拟掩膜分别作为全监督分割网络的多元虚拟掩膜监督，然后分别对比计算分割损失，分别计算得目标损失为loss1，loss2和loss3，由loss1，loss2和loss3加权求和得到总的目标损失。
作为优选的技术方案，所述将图像块输入训练好的全监督分割网络，得到分割结果，具体步骤包括：
把类激活图Mk上采样到原图大小，对类激活图Mk进行标准化，类激活图Mk中的每个像素的值代表该像素属于组织k的概率；
使用密集型连接的条件随机场对类激活图Mk进行后处理，结合图像本身的特征对类激活图Mk进行优化，最后融合类激活图Mk，每个像素点的分类结果为取得最大概率对应的组织k，当最小概率小于设定阈值Tb时，则把该像素分类为背景；
把图像块转换成灰度图，空白区域的掩膜为：
Figure BDA0003146995440000041
Figure BDA0003146995440000042
若CAM中激活值的最大值仍小于设定阈值θother，不属于肿瘤、坏死、淋巴、纤维化间质以外的其他区域掩膜为：
Figure BDA0003146995440000043
其中，
Figure BDA0003146995440000044
分别为肿瘤区域，坏死区域，淋巴区域，间质区域的掩膜；
对于原始图像中(x,y)位置像素点
Figure BDA0003146995440000045
其分类结果为：
Figure BDA0003146995440000046
其中，
Figure BDA0003146995440000047
代表
Figure BDA0003146995440000048
中(x,y)位置处的一共五个激活值，函数Argmax()返回的是输入中元素最大值对应的索引。
作为优选的技术方案，对类激活图Mk进行标准化，具体采用max-min法对类激活图Mk进行标准化，标准化后的激活图表示为：
Figure BDA0003146995440000051
其中，
Figure BDA0003146995440000052
表示标准化后的激活图。
为了达到上述第二目的，本发明采用以下技术方案：
一种非小细胞肺癌数字病理图像组织自动分割***，包括：
图像划分模块、预处理模块、标注模块、多标签分类CNN网络构建模块、多标签分类CNN网络训练模块、CAMD构建模块、类激活图生成模块、全监督分割网络模型构建模块、网络训练分割模块和拼接模块；
所述图像划分模块用于对非小细胞肺癌数字病理图像划分为多个图像块；
所述预处理模块用于对每个图像块进行归一化预处理，将像素值进行归一化；
所述标注模块用于采用图像级标注的方式对图像块进行标注，每个图像块标注组织标注向量；
所述多标签分类CNN网络构建模块用于以Resnet38为网络框架构建多标签分类CNN网络；
所述多标签分类CNN网络训练模块用于基于图像级标注的图像块监督训练多标签分类CNN网络生成虚拟掩膜；
所述CAMD构建模块用于构建CAMD模块，所述CAMD模块在多标签分类CNN网络每次迭代过程中以设定的概率给特征图加attention，或者以设定的概率置零特征图响应值高的区域；
所述类激活图生成模块用于将图像块输入训练好的多标签分类CNN网络，生成类激活图；
所述全监督分割网络模型构建模块用于构建全监督分割网络模型；
所述网络训练分割模块用于基于虚拟掩膜训练全监督分割网络，将图像块输入训练好的全监督分割网络，得到分割结果；
所述拼接模块用于采用滑动窗口法进行滑动处理，拼接每一张图像块的分割结果，得到整一张图像的分割结果。
为了达到上述第三目的，本发明采用以下技术方案：
一种存储介质，存储有程序，所述程序被处理器执行时实现上述非小细胞肺癌数字病理图像组织自动分割方法。
为了达到上述第四目的，本发明采用以下技术方案：
一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述非小细胞肺癌数字病理图像组织自动分割方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用弱监督语义分割方法，通过滑动窗口的方法处理大尺寸的切片数字化图像，训练一个深度分类模型对切割出的图像块patch，利用图像块做多标签分类，利用训练好的分类模型生成类激活图，融合各个类的类激活图输出最后的组织分割结果，在非小细胞肺癌数字病理图像的分割处理上具有更高的精确度。
(2)本发明利用图像级的数据标注方式，最终生成像素级的组织分割结果，在数据标注上具有便捷性，采用图像级的数据标注方式，相比于像素级的标注方式，任务变得简单很多，同时使得组织分割的结果更具有客观性，并且可以进一步地量化数字病理图像，对于推动计算病理的研究和临床应用也有一定的作用。
(3)本发明采用CAMD(Class Activation Mapping Dropout)模块解决弱监督语义分割中的类激活图显著性区域过分集中的问题，而目前的技术实施方案并没有针对该问题提供解决方法，相对于patch-level的分割方法，本发明实现了像素级的分割结果，使得组织分割的结果更精确。
(4)本发明采用了多元监督的技术方案，解决了虚拟标签中存在噪声标签的技术问题，达到了降低虚拟标签中的噪声率，获取更加精细的分割结果的技术效果。
附图说明
图1本发明非小细胞肺癌数字病理图像组织自动分割方法的流程示意图；
图2为本发明图像块标注示意图；
图3为本发明的组织分割模型训练流程示意图；
图4为本发明CAMD模块的示意图；
图5为本发明多元监督的示意图；
图6为本发明滑动窗口法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种非小细胞肺癌数字病理图像组织自动分割方法，主要包括下述两个步骤：步骤一：利用图像级别标注的病理图像监督训练生成虚拟掩膜，并且提出了一个CAMD模块，用于解决类激活图显著性区域过分集中的问题；步骤二：利用虚拟掩膜来训练一个全监督分割网络，并提出了一种多元监督训练方法，缓解了虚拟掩膜中的噪声标签问题。
步骤一：虚拟掩膜生成：
数据介绍：对非小细胞肺癌数字病理图像划分为多个图像块，对每一个图像块进行归一化预处理，将像素值归一化到0到1之间，如图2所示，采用图像级标注的方式进行数据集标注，每一个图像块patch都对应着一个四位的组织标注向量，其中分别对应着肿瘤组织，坏死组织，淋巴组织，间质组织。数值0表示图像块patch中不存在这一类组织，数值1表示图像块patch中存在这一种组织。
虚拟掩膜pseudo-mask生成：如图3所示，通过训练组织分类网络模型获取虚拟掩膜pseudo-mask，具体包括下述步骤：
以Resnet38为网络框架，训练一个多标签分类CNN网络，对图像块patch进行多标签分类，训练时采用的损失函数为交叉熵，当训练损失收敛时停止网络训练；
使用训练好的多标签分类CNN网络，为每一张图像块patch生成4个类激活图CAM。训练好的多标签分类CNN网络对每个输入patch分别输出4个类的概率Pk(1≤k≤4)，当Pk大于设定的阈值Tk(1≤k≤4)时，则保留对应的类激活图Mk，不置零；
在本实施例中，Resnet38最后一层特征图feature map的大小为4096*28*28，把它全局池化得到一个4096*1的特征向量，然后进入一个输入通道数为4096输出通道数为4的全连接层，将全连接层的权重取出，用到最后一层feature map中作相应的加权求和，即可把4096*28*28的feature map压缩至4*28*28，共四个通道，其中每个通道对应着每类组织的类激活图；
针对多标签分类网络中存在的显著性区域过于聚焦的问题，本实施例采用CAMD模块来解决这一问题。具体来说就是在训练网络的每次迭代过程中以一定的概率给特征图feature map加attention(将important map以点乘的方式作用于特征图)，或者是以一定的概率置零特征图feature map的显著性区域(即响应值高的区域)，从而避免网络在做决策是仅仅关注最具显著性的区域。
如图4所示，本实施例生成自注意力图self-attention map的方法是：利用前一次迭代的网络权重，生成下一次迭代的类激活图，把类激活图按像素叠加，得到注意力图attention map。取注意力图attention map中像素值最大的前10％的区域作为显著性区域。
其中，符号D表示Dropout操作，S表示Sigmoid函数，R按概率随机选取，M表示multiplication操作；
Important map的生成方法是：将注意力图attention map输入一个sigmoid函数，把像素值映射至0到1之间，即得到Important map。
Drop mask的生成方法是：将attention map的显著性区域置0，将非显著性区域置1，即可得到drop mask。
Attention操作：将Important map与feature map点乘；
dropout操作：将drop mask与feature map点乘，本实施例把Drop mask应用于网络的特征图，就是一个dropout操作。
当仅仅应用Drop mask时，多标签分类CNN网络很大概率甚至是完全观察不到目标对象的判别性区域，因此多标签分类CNN网络的分类性能降低，这会直接损害多标签分类CNN网络的目标定位能力。当仅仅应用Important map，多标签分类CNN网络将很大程度上聚焦于目标对象的判别性区域，这对分类任务是有利的，但是对于分割任务来说，这样的模型是过分拟合的。Important map和Drop mask的结合使用，使CNN在分类性能和对目标对象的定位性能之间取得最优；
生成虚拟掩膜的步骤基于类激活图，一个特定类别的CAM指示了CNN用来识别该类别对象的具有判别性的图像区域，且CAM中的像素值大小反映的是原图中对应位置对分类的重要性。在网络最终的输出层之前，把最后一层特征图采用全局池化运算并输入到全连接层得到所有类别的预测概率。通过这样一个简单的结构可以将全连接层的权重引入到全局平均池化层之前的特征图上并将特征图进行加权累加，从而计算出最后一层特征图中各个位置的像素对分类结果的重要程度。
全局平均池化输出的是最后一个卷积层每个特征通道的空间平均值，网络最终的输出就是这些值的加权求和，同样地，计算最后一个卷积层特征图的加权和来获得CAM。
本实施例具体描述CAM的生成过程：给定一张输入图像
Figure BDA0003146995440000101
表示最后一层卷积层输出的特征图的第k个通道在(x,y)处的激活值，然后对通道k进行全局平均池化的结果是：
Figure BDA0003146995440000102
因此，对于一个给定的类别C，Softmax层的输入
Figure BDA0003146995440000103
其中
Figure BDA0003146995440000104
为通道k对应的类别C的权重，
Figure BDA0003146995440000105
从本质上说明了
Figure BDA0003146995440000106
对于类别C的重要性。最后，类别C的Softmax输出为
Figure BDA0003146995440000107
通过将
Figure BDA0003146995440000108
代入
Figure BDA0003146995440000109
可以得到：
Figure BDA00031469954400001010
定义类别C的类激活图为
Figure BDA00031469954400001011
其中每个空间元素为：
Figure BDA00031469954400001012
因此，可以得出
Figure BDA00031469954400001013
所以
Figure BDA00031469954400001014
直接指明了空间位置(x,y)处的激活值对于将输入图像分类为类别C的重要性。最后，通过简单地将CAM上采样到原输入图像的大小，可以识别出与特定类别最相关的图像区域。
步骤二(全监督网络训练)：
如图5所示，多元监督方法中的多元虚拟掩膜由CNN中不同层次的特征图生成；分别利用CNN的b4_3，b5_2和b7层的特征图生成虚拟掩膜；
基于CAM的弱监督分割方法本质上是通过分类来进行分割，因此和全监督的分割方法相比，它的分割结果还是比较粗糙的。为此，本实施例使用弱监督分割方法生成的虚拟掩膜来训练一个全监督分割网络，让全监督网络通过训练不仅可以获取更加细致的分割结果，而且可以直接端到端地输出分割结果。鉴于本实施例的虚拟掩膜由弱监督方法生成，其中具有许多标记错误的噪声标签，会对全监督网络的训练造成很大的干扰。因此，本实施例把基于CAM生成的多组虚拟掩膜同时应用于全监督分割网络的训练，以减低噪声标签对网络训练的影响，先是根据CNN三层不同的卷积层生成三组虚拟掩膜，然后将这三组虚拟掩膜分别作为全监督分割网络的三组监督，然后分别和三组虚拟掩膜对比计算分割损失，分别计算得目标损失为loss1，loss2和loss3，总的目标损失由loss1，loss2和loss3加权求和得到。
由CAM到获得分割结果需要进行一系列的后处理操作，把类激活图Mk上采样到原图大小，并采用max-min法对类激活图Mk进行标准化，此时类激活图Mk中的每个像素的值代表该像素属于组织k的概率。然后使用密集型连接的条件随机场对类激活图Mk进行后处理，结合图像本身的特征对类激活图Mk进行优化，最后融合类激活图Mk，每个像素点的分类结果为取得最大概率对应的k，当最小概率小于设定阈值Tb时，则把该像素分类为背景；
使用最大-最小值法来对CAM做标准化处理，将CAM的激活值都标准化到0到1之间，经标准化后的CAM为：
Figure BDA0003146995440000111
在病理图像中，除了含有肿瘤，坏死，淋巴，纤维化这四种组织以外，还会含有空白区域，巨噬细胞，出血区域等背景区域。本实施例简单地把Patch转换成灰度图，然后把灰度值大于200的区域看作是空白区域，即空白区域的掩膜为：
Figure BDA0003146995440000121
Figure BDA0003146995440000122
若CAM中激活值的最大值仍小于设定阈值θother，则把这些区域看作是不属于肿瘤，坏死，淋巴，纤维化间质以外的其他区域，即其他区域的掩膜为：
Figure BDA0003146995440000123
Figure BDA0003146995440000124
分别为肿瘤区域，坏死区域，淋巴区域，间质区域的掩膜。
最终确定分割结果的方式为：对于原始图像中(x,y)位置像素点
Figure BDA0003146995440000125
其分类结果为：
Figure BDA0003146995440000126
其中
Figure BDA0003146995440000127
代表
Figure BDA0003146995440000128
中(x,y)位置处的一共五个激活值，函数Argmax()返回的是输入中元素最大值对应的索引。
把生成的虚拟掩膜用于训练一个全监督分割网络，本实施例采用的是DeepLab V3+；
把测试数据输入到训练好的全监督分割网络，为每一张patch生成最终的分割结果。
如图6所示，使用滑动窗口法进行滑动处理，拼接每一张patch的分割结果，得到整一张切片数字化图像的分割结果。
实施例2
本实施例提供一种非小细胞肺癌数字病理图像组织自动分割***，包括：图像划分模块、预处理模块、标注模块、多标签分类CNN网络构建模块、多标签分类CNN网络训练模块、CAMD构建模块、类激活图生成模块、全监督分割网络模型构建模块、网络训练分割模块和拼接模块；
其中，图像划分模块用于对非小细胞肺癌数字病理图像划分为多个图像块；预处理模块用于对每个图像块进行归一化预处理，将像素值进行归一化；标注模块用于采用图像级标注的方式对图像块进行标注，每个图像块标注组织标注向量；多标签分类CNN网络构建模块用于以Resnet38为网络框架构建多标签分类CNN网络；多标签分类CNN网络训练模块用于基于图像级标注的图像块监督训练多标签分类CNN网络生成虚拟掩膜；CAMD构建模块用于构建CAMD模块，CAMD模块在多标签分类CNN网络每次迭代过程中以设定的概率给特征图加attention，或者以设定的概率置零特征图响应值高的区域；类激活图生成模块用于将图像块输入训练好的多标签分类CNN网络，生成类激活图；全监督分割网络模型构建模块用于构建全监督分割网络模型；网络训练分割模块用于基于虚拟掩膜训练全监督分割网络，将图像块输入训练好的全监督分割网络，得到分割结果；拼接模块用于采用滑动窗口法进行滑动处理，拼接每一张图像块的分割结果，得到整一张图像的分割结果。
实施例3
本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等各种可以存储程序代码的储存介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现实施例1的非小细胞肺癌数字病理图像组织自动分割方法。
实施例4
本实施例提供一种计算设备，所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的非小细胞肺癌数字病理图像组织自动分割方法。
处理器可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、现场可编辑逻辑门阵列(FPGA)、控制器、微控制器、电子装置、以及其他经设计以执行本发明所描述的功能的电子单元或其组合内。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种非小细胞肺癌数字病理图像组织自动分割方法，其特征在于，包括下述步骤：
对非小细胞肺癌数字病理图像划分为多个图像块，对每个图像块进行归一化预处理，将像素值进行归一化；
采用图像级标注的方式对图像块进行标注，每个图像块标注组织标注向量；
以Resnet38为网络框架构建多标签分类CNN网络，基于图像级标注的图像块监督训练多标签分类CNN网络生成虚拟掩膜；
构建CAMD模块，所述CAMD模块在多标签分类CNN网络每次迭代过程中以设定的概率给特征图加attention，或者以设定的概率置零特征图响应值高的区域；
将图像块输入训练好的多标签分类CNN网络，生成多组虚拟掩膜；
构建全监督分割网络模型，基于多组虚拟掩膜训练全监督分割网络，将图像块输入训练好的全监督分割网络，得到分割结果；
采用滑动窗口法进行滑动处理，拼接每一张图像块的分割结果，得到整一张图像的分割结果。
2.根据权利要求1所述的非小细胞肺癌数字病理图像组织自动分割方法，其特征在于，所述组织标注向量设置为四位的组织标注向量，分别对应肿瘤组织，坏死组织，淋巴组织，间质组织，组织标注向量中设置数值0表示图像块中不存在相对应类的组织，数值1表示图像块中存在相对应类的组织。
3.根据权利要求1所述的非小细胞肺癌数字病理图像组织自动分割方法，其特征在于，在多标签分类CNN网络的训练过程中，基于前一次迭代的网络权重，生成下一次迭代的类激活图，把类激活图按像素叠加，得到注意力图，取注意力图中像素值最大的部分区域作为显著性区域；
将注意力图输入一个sigmoid函数，把像素值映射至0到1之间，得到Important map，将注意力图的显著性区域置0，将非显著性区域置1，得到drop mask；
Important map与drop mask基于ReLU函数计算后输出，并与图像输入进行multiplication操作，将得到的特征图继续前向传播。
4.根据权利要求1所述的非小细胞肺癌数字病理图像组织自动分割方法，其特征在于，所述生成类激活图的具体步骤包括：
给定一张输入图像
Figure FDA0003146995430000021
Figure FDA0003146995430000022
表示最后一层卷积层输出的特征图的第k个通道在(x,y)处的激活值；
进行通道k进行全局平均池化，得到全局平均池化后的结果为：
Figure FDA0003146995430000023
对于一个给定的类别C，Softmax层的输入为：
Figure FDA0003146995430000024
类别C的Softmax输出为：
Figure FDA0003146995430000025
定义类别C的类激活图为
Figure FDA0003146995430000026
其中每个空间元素为：
Figure FDA0003146995430000027
其中，
Figure FDA0003146995430000028
为通道k对应的类别C的权重。
5.根据权利要求1所述的非小细胞肺癌数字病理图像组织自动分割方法，其特征在于，所述基于虚拟掩膜训练全监督分割网络，分别利用CNN中不同层次的特征图生成虚拟掩膜，分别利用CNN的b4_3，b5_2和b7层的特征图；
将CNN中不同层次的特征图生成虚拟掩膜分别作为全监督分割网络的多元虚拟掩膜监督，然后分别对比计算分割损失，分别计算得目标损失为loss1，loss2和loss3，由loss1，loss2和loss3加权求和得到总的目标损失。
6.根据权利要求1所述的非小细胞肺癌数字病理图像组织自动分割方法，其特征在于，所述将图像块输入训练好的全监督分割网络，得到分割结果，具体步骤包括：
把类激活图Mk上采样到原图大小，对类激活图Mk进行标准化，类激活图Mk中的每个像素的值代表该像素属于组织k的概率；
使用密集型连接的条件随机场对类激活图Mk进行后处理，结合图像本身的特征对类激活图Mk进行优化，最后融合类激活图Mk，每个像素点的分类结果为取得最大概率对应的组织k，当最小概率小于设定阈值Tb时，则把该像素分类为背景；
把图像块转换成灰度图，空白区域的掩膜为：
Figure FDA0003146995430000031
Figure FDA0003146995430000032
若CAM中激活值的最大值仍小于设定阈值θother，不属于肿瘤、坏死、淋巴、纤维化间质以外的其他区域掩膜为：
Figure FDA0003146995430000033
其中，
Figure FDA0003146995430000034
分别为肿瘤区域，坏死区域，淋巴区域，间质区域的掩膜；
对于原始图像中(x,y)位置像素点
Figure FDA0003146995430000035
其分类结果为：
Figure FDA0003146995430000036
其中，
Figure FDA0003146995430000037
代表
Figure FDA0003146995430000038
中(x,y)位置处的一共五个激活值，函数Argmax()返回的是输入中元素最大值对应的索引。
7.根据权利要求6所述的非小细胞肺癌数字病理图像组织自动分割方法，其特征在于，对类激活图Mk进行标准化，具体采用max-min法对类激活图Mk进行标准化，标准化后的激活图表示为：
Figure FDA0003146995430000041
其中，
Figure FDA0003146995430000042
表示标准化后的激活图。
8.一种非小细胞肺癌数字病理图像组织自动分割***，其特征在于，包括：
图像划分模块、预处理模块、标注模块、多标签分类CNN网络构建模块、多标签分类CNN网络训练模块、CAMD构建模块、类激活图生成模块、全监督分割网络模型构建模块、网络训练分割模块和拼接模块；
所述图像划分模块用于对非小细胞肺癌数字病理图像划分为多个图像块；
所述预处理模块用于对每个图像块进行归一化预处理，将像素值进行归一化；
所述标注模块用于采用图像级标注的方式对图像块进行标注，每个图像块标注组织标注向量；
所述多标签分类CNN网络构建模块用于以Resnet38为网络框架构建多标签分类CNN网络；
所述多标签分类CNN网络训练模块用于基于图像级标注的图像块监督训练多标签分类CNN网络生成虚拟掩膜；
所述CAMD构建模块用于构建CAMD模块，所述CAMD模块在多标签分类CNN网络每次迭代过程中以设定的概率给特征图加attention，或者以设定的概率置零特征图响应值高的区域；
所述类激活图生成模块用于将图像块输入训练好的多标签分类CNN网络，生成类激活图；
所述全监督分割网络模型构建模块用于构建全监督分割网络模型；
所述网络训练分割模块用于基于虚拟掩膜训练全监督分割网络，将图像块输入训练好的全监督分割网络，得到分割结果；
所述拼接模块用于采用滑动窗口法进行滑动处理，拼接每一张图像块的分割结果，得到整一张图像的分割结果。
9.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7任一项所述非小细胞肺癌数字病理图像组织自动分割方法。
10.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现如权利要求1-7任一项所述非小细胞肺癌数字病理图像组织自动分割方法。
CN202110754856.8A 2021-07-05 2021-07-05 一种非小细胞肺癌数字病理图像组织自动分割方法 Active CN113674288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110754856.8A CN113674288B (zh) 2021-07-05 2021-07-05 一种非小细胞肺癌数字病理图像组织自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110754856.8A CN113674288B (zh) 2021-07-05 2021-07-05 一种非小细胞肺癌数字病理图像组织自动分割方法

Publications (2)

Publication Number Publication Date
CN113674288A true CN113674288A (zh) 2021-11-19
CN113674288B CN113674288B (zh) 2024-02-02

Family

ID=78538577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110754856.8A Active CN113674288B (zh) 2021-07-05 2021-07-05 一种非小细胞肺癌数字病理图像组织自动分割方法

Country Status (1)

Country Link
CN (1) CN113674288B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565761A (zh) * 2022-02-25 2022-05-31 无锡市第二人民医院 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN114612482A (zh) * 2022-03-08 2022-06-10 福州大学 胃癌神经浸润数字病理切片图像定位和分类方法及***
CN115100467A (zh) * 2022-06-22 2022-09-23 北京航空航天大学 一种基于核注意力网络的病理全切片图像分类方法
CN115496744A (zh) * 2022-10-17 2022-12-20 上海生物芯片有限公司 基于混合注意力的肺癌图像分割方法、装置、终端及介质
CN115880262A (zh) * 2022-12-20 2023-03-31 桂林电子科技大学 基于在线噪声抑制策略的弱监督病理图像组织分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599448A (zh) * 2019-07-31 2019-12-20 浙江工业大学 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测***
CN111985536A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种基于弱监督学习的胃镜病理图像分类方法
CN111986150A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种数字病理图像的交互式标注精细化方法
CN112017191A (zh) * 2020-08-12 2020-12-01 西北大学 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN112288026A (zh) * 2020-11-04 2021-01-29 南京理工大学 一种基于类激活图的红外弱小目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599448A (zh) * 2019-07-31 2019-12-20 浙江工业大学 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测***
CN111985536A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种基于弱监督学习的胃镜病理图像分类方法
CN111986150A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种数字病理图像的交互式标注精细化方法
CN112017191A (zh) * 2020-08-12 2020-12-01 西北大学 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN112288026A (zh) * 2020-11-04 2021-01-29 南京理工大学 一种基于类激活图的红外弱小目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李宾皑;李颖;郝鸣阳;顾书玉;: "弱监督学习语义分割方法综述", 数字通信世界, no. 07, pages 1 - 3 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565761A (zh) * 2022-02-25 2022-05-31 无锡市第二人民医院 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN114612482A (zh) * 2022-03-08 2022-06-10 福州大学 胃癌神经浸润数字病理切片图像定位和分类方法及***
CN114612482B (zh) * 2022-03-08 2024-06-07 福州大学 胃癌神经浸润数字病理切片图像定位和分类方法及***
CN115100467A (zh) * 2022-06-22 2022-09-23 北京航空航天大学 一种基于核注意力网络的病理全切片图像分类方法
CN115100467B (zh) * 2022-06-22 2024-06-11 北京航空航天大学 一种基于核注意力网络的病理全切片图像分类方法
CN115496744A (zh) * 2022-10-17 2022-12-20 上海生物芯片有限公司 基于混合注意力的肺癌图像分割方法、装置、终端及介质
CN115880262A (zh) * 2022-12-20 2023-03-31 桂林电子科技大学 基于在线噪声抑制策略的弱监督病理图像组织分割方法
CN115880262B (zh) * 2022-12-20 2023-09-05 桂林电子科技大学 基于在线噪声抑制策略的弱监督病理图像组织分割方法
US11935279B1 (en) 2022-12-20 2024-03-19 Guilin University Of Electronic Technology Weakly supervised pathological image tissue segmentation method based on online noise suppression strategy

Also Published As

Publication number Publication date
CN113674288B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
US10902245B2 (en) Method and apparatus for facial recognition
CN113674288A (zh) 一种非小细胞肺癌数字病理图像组织自动分割方法
CN110059589B (zh) 一种基于Mask R-CNN神经网络的虹膜图像中虹膜区域的分割方法
CN110796199B (zh) 一种图像处理方法、装置以及电子医疗设备
CN113642390B (zh) 一种基于局部注意力网络的街景图像语义分割方法
CN111932577B (zh) 文本检测方法、电子设备及计算机可读介质
CN112581462A (zh) 工业产品的外观缺陷检测方法、装置及存储介质
CN112801146A (zh) 一种目标检测方法及***
CN112116599A (zh) 基于弱监督学习的痰涂片结核杆菌语义分割方法及***
CN113822951A (zh) 图像处理方法、装置、电子设备及存储介质
CN115187530A (zh) 超声自动乳腺全容积图像的识别方法、装置、终端及介质
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及***
CN113239883A (zh) 分类模型的训练方法、装置、电子设备以及存储介质
CN117636298A (zh) 基于多尺度特征学习的车辆重识别方法、***及存储介质
CN112818774A (zh) 一种活体检测方法及装置
CN112801960B (zh) 图像处理方法及装置、存储介质、电子设备
CN116777929A (zh) 一种黑夜场景图像语义分割方法、装置及计算机介质
CN115937596A (zh) 目标检测方法及其模型的训练方法、设备以及存储介质
CN115587616A (zh) 网络模型训练方法、装置、存储介质及计算机设备
CN116091763A (zh) 苹果叶部病害图像语义分割***及分割方法、设备和介质
CN111798376B (zh) 图像识别方法、装置、电子设备及存储介质
CN113609957A (zh) 一种人体行为识别方法及终端
CN115424250A (zh) 一种车牌识别方法及装置
Zhou et al. FENet: Fast Real-time Semantic Edge Detection Network
CN116580063B (zh) 目标追踪方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant