CN114565605A - 一种病理图像的分割方法及装置 - Google Patents
一种病理图像的分割方法及装置 Download PDFInfo
- Publication number
- CN114565605A CN114565605A CN202210264678.5A CN202210264678A CN114565605A CN 114565605 A CN114565605 A CN 114565605A CN 202210264678 A CN202210264678 A CN 202210264678A CN 114565605 A CN114565605 A CN 114565605A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- class activation
- loss
- training set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003709 image segmentation Methods 0.000 title abstract description 18
- 230000004913 activation Effects 0.000 claims abstract description 116
- 230000011218 segmentation Effects 0.000 claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000011176 pooling Methods 0.000 claims description 42
- 238000013507 mapping Methods 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000013501 data transformation Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 230000007170 pathology Effects 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 3
- 238000009826 distribution Methods 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 2
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种病理图像的分割方法及装置。其中,该方法包括:将训练集样本输入到先验分类网络,得到样本的预测类别;根据预测类别和真实类别计算二值交叉熵损失,作为先验分类损失;根据先验分类网络生成类激活图,并使用孪生网络对类激活图进行正则化,得到修正类激活图;根据修正类激活图转换为伪像素级标签;将训练集样本输入至预先设置的语义分割网络,得到训练集样本的分割结果;将分割结果与伪像素级标签计算Dice损失,以优化语义分割网络,并通过优化后的语义分割网络进行病理图像分割。本方案可以使用标注量较少的图像级标签的组织病理图像,通过弱监督学习方式,对其进行快速准确地分割,完成对病理图像中癌变区域的自动定位。
Description
技术领域
本发明涉及机器学习以及图像处理技术领域,尤其涉及一种病理图像的分割方法及装置。
背景技术
近年来,随着医疗技术的快速发展,医院中患者数据的急剧增加,大量医疗影像数据急需处理。目前的人工诊断的方式,病理医生的工作量较大,使得病理医生无法更好的关注病人的病情以及进行手术;而且,由于人工诊断存在主观因素,会存在医生之间的意见分歧,同时也会存在误诊的情况发生。因此,如何能够更好的利用组织病理学的一些资料,更好的辅助诊断,提高病理诊断的效率,使得诊断结果更加客观是目前医学领域亟待解决的技术难题。
发明内容
本申请提供一种病理图像的分割方法及装置,可以使用标注量较少的图像级标签的组织病理图像,通过弱监督学习方式,对其进行快速准确地分割,完成对病理图像中癌变区域的自动定位。
第一方面,本申请提供了一种病理图像的分割方法,所述方法包括:
获取组织的病理图像,对病理图像进行预处理得到预处理图像,并以所述预处理图像为样本按照预设比例划分为训练集和验证集;
将所述训练集样本输入到先验分类网络,得到样本的预测类别;根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失,作为先验分类损失;
根据所述的先验分类网络生成类激活图,并使用孪生网络对所述类激活图进行正则化,得到修正类激活图;
将所述修正类激活图按照预设转换规则转换为伪像素级标签;
将所述训练集样本输入至预先设置的语义分割网络,得到所述训练集样本的分割结果;
将所述分割结果与所述伪像素级标签计算Dice损失,以优化所述语义分割网络,并通过优化后的语义分割网络进行病理图像分割。
进一步的,所述预测类别包括阴性和阳性类别。
进一步的,对病理图像进行预处理得到预处理图像,包括:
对病理图像按照预设概率值进行随机水平翻转和随机垂直翻转,得到翻转后的预处理图像;
以及,
对病理图像按照预设角度进行随机旋转处理,得到旋转后的预处理图像。
进一步的,所述先验分类网络为ResNet 50网络,所述ResNet 50网络具体包括:2个普通卷积残差模块,2个空洞卷积残差模块以及分类模块:
其中,所述普通卷积残差模块中的第一普通卷积残差模块由3个普通卷积残差组件构成;所述普通卷积残差模块中的第二普通卷积残差模块由4个普通卷积残差组件构成;其中,每个所述普通卷积残差组件包括2个卷积层和1个最大池化层,普通卷积层的卷积核的大小为3×3,步长为1,填充为1;最大池化层的步长为2,池化层核的大小为2×2;
其中,所述空洞卷积残差模块中的第一空洞卷积残差模块由6个空洞卷积残差组件构成;所述空洞卷积残差模块中的第二空洞卷积残差模块由3个空洞卷积残差组件构成;其中,每个所述空洞卷积残差组件包括2个空洞卷积层和1个最大池化层,空洞卷积层的卷积核的大小为3×3,步长为1,填充为1;最大池化层的步长为2,池化层核的大小为2×2,空洞率分别为2和4;
所述分类模块包括1个全局平均池化层和1个线性分类层,全局平均池化层输出的训练集样本特征图的尺寸为1×1,线性分类层的输出节点为2,表示预测为阳性或者阴性。
进一步的,根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失,作为先验分类损失,包括:
采用如下公式计算先验分类损失:
进一步的,根据所述的先验分类网络生成类激活图,包括:
全局平均池化后的向量第k维的数值Gk计算方式为:
其中,(x,y)表示训练集样本特征图上某像素点的坐标,H、W分别表示训练集样本特征图的高度和宽度;
类别c的激活映射图CAMc(x,y)是训练集样本特征图上每个通道的该点与全连接层对应类别的权值相乘,计算方式为:
进一步的,所述孪生网络包括:第一分支和第二分支;
所述第一分支,用于将类激活图先进行数据变换,再进行特征抽取,得到第一类激活映射图;
所述第二分支,用于将类激活图先进行特征抽取,再进行数据变换,得到第二类激活映射图。
进一步的,使用孪生网络对所述类激活图进行正则化,得到修正类激活图,包括:
将产生的所述第一类激活映射图和所述第二类激活映射图计算正则化损失,计算方式如下:
Leq=|N[f(I)]-f[N(I)]|2;
其中,I表示输入的类激活图,N表示先验分类网络,f表示数据变换操作,N[f(I)]表示第一分支处理过程,f[N(I)]表示第二分支处理过程;
其中,所述正则化损失采用类激活图的二范数,具体为在向量空间中类激活图的差值向量到原点的距离。
进一步的,将所述修正类激活图按照预设转换规则转换为伪像素级标签,包括:
将类激活映射图中高于设定阈值的区域采用1作为伪标签,类激活映射图中低于设定阈值的区域采用0作为伪标签;
具体的,所述伪标签的表达式如下:
其中,yi表示第i个像素的伪标签,threshold表示预设的阈值,CAMi表示类激活图第i个像素的热力值;
相应的,将所述分割结果与所述伪像素级标签计算Dice损失,包括:
分割损失的计算方式如下:
其中,pi表示第i个像素的预测值,Ldice表示分割损失。
第二方面,本申请提供了一种病理图像的分割装置,该装置包括:
预处理图像获取单元,用于获取组织的病理图像,对病理图像进行预处理得到预处理图像,并以所述预处理图像为样本按照预设比例划分为训练集和验证集;
先验分类损失计算单元,用于将所述训练集样本输入到先验分类网络,得到样本的预测类别;根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失,作为先验分类损失;
修正类激活图确定单元,用于根据所述的先验分类网络生成类激活图,并使用孪生网络对所述类激活图进行正则化,得到修正类激活图;
伪像素级标签转换单元,用于将所述修正类激活图按照预设转换规则转换为伪像素级标签;
分割结果确定单元,用于将所述训练集样本输入至预先设置的语义分割网络,得到所述训练集样本的分割结果;
语义分割网络优化单元,用于将所述分割结果与所述伪像素级标签计算Dice损失,以优化所述语义分割网络,并通过优化后的语义分割网络进行病理图像分割。
本申请所提供的技术方案,通过对样本的预处理,以及采用先验分类网络和孪生网络的模型训练,可以得到一个客观且准确的病理图像分割方法,实现快速并准确的完成医疗图像分割的目的。
附图说明
图1是本申请实施例一提供的病理图像的分割方法的流程图;
图2是本申请实施例一提供的先验分类网络的示意图;
图3是本申请实施例一提供的伪标签修正的弱监督分割整体框架示意图;
图4是本申请实施例二提供的语义分割网络的示意图;
图5为本发明实施例三提供的病理图像的分割装置的结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本申请实施例一提供的病理图像的分割方法的流程图,本实施例可适用于对病理图像进行分割的场景,该方法可以由本申请实施例所提供的病理图像的分割装置执行,该装置可以由软件和/或硬件的方式来实现,并可集成于电子设备中。
如图1所示,所述病理图像的分割方法包括:
S110,获取组织的病理图像,对病理图像进行预处理得到预处理图像,并以所述预处理图像为样本按照预设比例划分为训练集和验证集。
其中,为了让先验分类网络和分割网络能够处理各种类型的组织病理图像,减少由不同机器、机构、染色方式产生的不同分布的组织病理图像的影响,本发明对组织病理图像进行了数据预处理。
本实施例中,可选的,对病理图像进行预处理得到预处理图像,包括:
对病理图像按照预设概率值进行随机水平翻转和随机垂直翻转,得到翻转后的预处理图像;
以及,
对病理图像按照预设角度进行随机旋转处理,得到旋转后的预处理图像。
这里预处理的具体实施方式是:
以0.5的概率沿着x轴翻转,称为垂直翻转,以0.5的概率沿着y轴翻转,称为水平翻转,然后再对翻转后的数据进行随机角度的旋转,旋转的方向为逆时针旋转,旋转的度数为下面四种中的一种:0°,90°,180°以及270°,如果旋转的度数为0,那么就是不发生旋转。
对图像进行标准化的方式为Z-Score标准化,将组织病理图像的分布转为标准正态分布,加速网络的收敛,其具体的计算方式如下:
其中,x为输入图像,x’为输出图像,μ为整个图像像素值的均值,σ为整个图像像素值的方差,所得x′服从标准正态分布。
将得到的经过预处理的数据集,按照8:2的比例划分训练集和验证集。
S120,将所述训练集样本输入到先验分类网络,得到样本的预测类别;根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失,作为先验分类损失。
先验分类网络,可以是将先验知识结合进神经网络的设计中会限制神经网络仅能应用于根据某些感兴趣的知识来解决特定问题。如果存在先验信息和不变性,应该将其附加在网络设计中,这样就不必学习这些信息而简化网络设计。
在本方案中,可选的,所述先验分类网络为ResNet 50网络,所述ResNet 50网络具体包括:2个普通卷积残差模块,2个空洞卷积残差模块以及分类模块:
其中,所述普通卷积残差模块中的第一普通卷积残差模块由3个普通卷积残差组件构成;所述普通卷积残差模块中的第二普通卷积残差模块由4个普通卷积残差组件构成;其中,每个所述普通卷积残差组件包括2个卷积层和1个最大池化层,普通卷积层的卷积核的大小为3×3,步长为1,填充为1;最大池化层的步长为2,池化层核的大小为2×2;
其中,所述空洞卷积残差模块中的第一空洞卷积残差模块由6个空洞卷积残差组件构成;所述空洞卷积残差模块中的第二空洞卷积残差模块由3个空洞卷积残差组件构成;其中,每个所述空洞卷积残差组件包括2个空洞卷积层和1个最大池化层,空洞卷积层的卷积核的大小为3×3,步长为1,填充为1;最大池化层的步长为2,池化层核的大小为2×2,空洞率分别为2和4;
所述分类模块包括1个全局平均池化层和1个线性分类层,全局平均池化层输出的训练集样本特征图的尺寸为1×1,线性分类层的输出节点为2,表示预测为阳性或者阴性。
Resnet是残差网络(Residual Network)的缩写,该系列网络广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分,典型的网络有resnet50,resnet101等。
图2是本申请实施例一提供的先验分类网络的示意图,如图2所示,改进的ResNet50网络包括两个普通卷积残差模块用于抽取特征,两个空洞卷积残差模块用于扩大感受野,分类模块用于输出图像的类别以及生成类激活映射图。
本方案中,可选的,所述预测类别包括阴性和阳性类别。
可以理解的,阴性类别即为没有病理异常,阳性类别即为存在病理异常。
在一个可行的实施例中,可选的,根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失,作为先验分类损失,包括:
采用如下公式计算先验分类损失:
本方案通过这样的设置,可以基于先验分类损失,确定先验分类网络的优化方式。
S130,根据所述的先验分类网络生成类激活图,并使用孪生网络对所述类激活图进行正则化,得到修正类激活图。
其中,可以将所述的先验分类网络输出的特征图,生成所述的类激活映射图。
在本方案中,可选的,根据所述的先验分类网络生成类激活图,包括:
全局平均池化后的向量第k维的数值Gk计算方式为:
其中,(x,y)表示训练集样本特征图上某像素点的坐标,H、W分别表示训练集样本特征图的高度和宽度;
类别c的激活映射图CAMc(x,y)是训练集样本特征图上每个通道的该点与全连接层对应类别的权值相乘,计算方式为:
具体的,对于组织病理图像,只需要考虑阳性类别的激活热力图,因此在图像输入到先验分类网络中之后,得到先验分类网络输出的特征图,再将特征图进行全局平均池化,得到的特征向量与线性层进行全连接,获得在线性层中特征向量到阳性类别的权重,并且与特征图相乘,得到阳性类别的激活映射图。
其中,所述孪生网络包括:第一分支和第二分支;
所述第一分支,用于将类激活图先进行数据变换,再进行特征抽取,得到第一类激活映射图;
所述第二分支,用于将类激活图先进行特征抽取,再进行数据变换,得到第二类激活映射图。
在上述方案的基础上,可选的,使用孪生网络对所述类激活图进行正则化,得到修正类激活图,包括:
将产生的所述第一类激活映射图和所述第二类激活映射图计算正则化损失,计算方式如下:
Leq=|N[f(I)]-f[N(I)]|2;
其中,I表示输入的类激活图,N表示先验分类网络,f表示数据变换操作,N[f(I)]表示第一分支处理过程,f[N(I)]表示第二分支处理过程;
其中,所述正则化损失采用类激活图的二范数,具体为在向量空间中类激活图的差值向量到原点的距离。
N[f(I)]表示图像先进行数据变换操作,然后再输入到先验分类网络,f[N(I)]表示图像先输入到先验分类网络,然后再进行数据变换操作,正则化损失采用激活图的二范数,即在向量空间中激活图的差值向量到原点的距离。
图3是本申请实施例一提供的伪标签修正的弱监督分割整体框架示意图,如图3所示,用孪生网络的特征抽取形式,包含上下两个分支,其中每个分支的特征抽取网络都是先验分类网络,在孪生网络的一个分支中,先将图像进行数据变换,再输入到先验分类网络中,而在孪生网络的另一个分支中,先输入到特征网络中,再对特征图进行数据变换,将两个分支分别产生的阳性类别的激活映射图进行二范数正则化,即将激活映射图作差,再求在向量空间中这个差值向量到原点的距离,当作正则化损失,此操作是对原始类激活图的修正,使得在先验分类网络中得到的类激活图具有和分割网络的特征图相似的性质,得到的修正的类激活图鲁棒性更好,质量更高。
S140,将所述修正类激活图按照预设转换规则转换为伪像素级标签。
其中,分割网络可以采用任意的语义分割网络,在本实施例中采用金字塔场景解析网络PSPNet。
在本实施例中,可选的,将所述修正类激活图按照预设转换规则转换为伪像素级标签,包括:
将类激活映射图中高于设定阈值的区域采用1作为伪标签,类激活映射图中低于设定阈值的区域采用0作为伪标签;
具体的,所述伪标签的表达式如下:
其中,yi表示第i个像素的伪标签,threshold表示预设的阈值,CAMi表示类激活图第i个像素的热力值。
采用金字塔场景解析网络对组织病理图像自动分割,金字塔场景解析网络一共包括四个残差模块,一个金字塔池化模块以及一个聚合模块,其中,残差模块分别包含3,4,6,3个残差组件,每个残差组件包含2个3×3的卷积层,步长为1,填充为1,以及一个最大池化层,最大池化层的步长为2,核的大小为2×2;金字塔池化层包含4个分支,每个分支均包含一个自适应平均池化层和一个卷积层,特征图经过四个分支后,特征图的尺寸分别为1×1,2×2,3×3以及6×6;聚合模块将四个特征图上采样为输入大小,再与输入拼接,最后经过一个卷积层,输出像素级的分割结果。
S150,将所述训练集样本输入至预先设置的语义分割网络,得到所述训练集样本的分割结果。
图像语义分割(Semantic Segmentation)是图像处理和是机器视觉技术中关于图像理解的重要一环,也是AI领域中一个重要的分支。语义分割即是对图像中每一个像素点进行分类,确定每个点的类别(如属于背景、人或车等),从而进行区域划分。目前,语义分割已经被广泛应用于自动驾驶、无人机落点判定等场景中。
S160,将所述分割结果与所述伪像素级标签计算Dice损失,以优化所述语义分割网络,并通过优化后的语义分割网络进行病理图像分割。
在本实施例中,具体的,将所述分割结果与所述伪像素级标签计算Dice损失,包括:
分割损失的计算方式如下:
其中,pi表示第i个像素的预测值,Ldice表示分割损失。
本发明方法在DigestPath数据集上利用只有图像级标签的数据训练能够达到65.32%的Dice系数,相比于未修正的类激活图提高了0.5%,经过正则化生成的激活图能够很好地定位癌变区域的位置,并且在边界,轮廓方面刻画非常细致,非常有利于后续的分割任务,因此在病理数据集没有像素级标签的情况下,可以训练分类网络得到质量较高的CAM图。其中,DigestPath是一个结直肠癌病理图像数据集,本申请包括但不局限于此数据集,可以支持所有的病理图像数据集。Dice是通用的检测衡量指标,一般而言,Dice系数是将所有类别的交并比进行综合平均而得到的。
本申请实施例所提供的技术方案,通过先验分类网络生成类激活映射图,通过孪生网络修正类激活热力图,获得伪标签后输入到分割网络中得到像素级的分割结果,以此得到一种弱监督组织病理图像的分割方法,可以使用标注量较少的图像级标签的组织病理图像,通过弱监督学习方式,对其进行快速准确地分割,完成对病理图像中癌变区域的自动定位。
实施例二
本实施例以上述实施例为基础提供的优选实施例。图4是本申请实施例二提供的语义分割网络的示意图。本方案提供的基于伪标签修正的弱监督组织病理图像分割方法的实施实例包括以下几个步骤:
步骤一:读取组织病理图像数据,以0.5的概率沿着x轴翻转,称为垂直翻转,以0.5的概率沿着y轴翻转,称为水平翻转,然后再对翻转后的数据进行随机角度的旋转,旋转的方向为逆时针旋转,旋转的度数为下面四种中的一种:0°,90°,180°,270°,如果旋转的度数为0,那么就是不发生旋转。
对图像进行标准化的方式为Z-Score标准化,将组织病理图像的分布转为标准正态分布,加速网络的收敛,其具体的计算方式如下:
其中,x为输入图像,x’为输出图像,μ为整个图像像素值的均值,σ为整个图像像素值的方差,所得x’服从标准正态分布。
将得到的经过预处理的数据集,按照8:2的比例划分训练集和验证集。
步骤二:将步骤一中的数据输入到先验分类网络中,先验分类网络采用改进的ResNet 50网络包括两个普通卷积残差模块用于抽取特征,两个空洞卷积残差模块用于扩大感受野,分类模块用于输出图像的类别以及生成类激活映射图。
其中,普通卷积残差模块分别由3个,4个普通卷积残差组件构成,其中每个普通卷积残差组件包括2个卷积层和1个最大池化层,卷积核的大小为3×3,步长为1,填充为1,最大池化层的步长为2,核的大小为2×2;
空洞卷积残差模块分别由6个,3个空洞卷积残差组件构成,其中每个空洞卷积残差组件包括2个空洞卷积层和1个最大池化层,卷积核的大小为3×3,步长为1,填充为1,最大池化层的步长为2,核的大小为2×2,空洞率分别为2、4;
分类模块包括一个全局平均池化层和一个线性分类层,全局平均池化层输出的特征图的尺寸为1×1,线性分类层的输出节点为2,表示预测为阳性或者阴性;
根据先验分类网络的预测类别与真实类别计算二值交叉熵损失,作为先验分类损失,计算方式如下:
步骤三:对于组织病理图像,只需要考虑阳性类别的激活热力图,因此在图像输入到步骤二中先验分类网络中之后,得到先验分类网络输出的特征图,再将特征图进行全局平均池化,全局平均池化后的向量第k维的数值Gk计算方式为:
其中(x,y)表示特征图上某像素点的坐标,H、W分别表示特征图的高度和宽度;
得到的特征向量与线性层进行全连接,获得在线性层中特征向量到阳性类别的权重,并且与特征图相乘,得到阳性类别的激活映射图。
阳性类别的激活映射图CAM(x,y)是特征图上每个通道的该点与全连接层阳性类别的权值相乘,计算方式为:
CAM(x,y)=∑kwk×fk(x,y);
其中wk表示第k个特征向量到阳性类别的权重,也代表Gk对最终分类为阳性的重要性。
步骤四:采用孪生网络修生先验分类网络产生的类激活映射图,伪标签修正的弱监督分割整体框架,伪标签即为类激活映射图,用孪生网络的特征抽取形式,包含上下两个分支,其中每个分支的特征抽取网络都是先验分类网络,在孪生网络的一个分支中,将图像先进行数据变换,再进行特征抽取,在孪生网络的另一个分支,先进行特征抽取,再将特征图进行数据变换,按照步骤四的方式生成类激活映射图,将产生的两个类激活映射图计算正则化损失,计算方式如下:
Leq=|N[f(I)]-f[N(I)]|2;
其中,I表示输入的图像,N表示先验分类网络,f表示数据变换操作,N[f(I)]表示图像先进行数据变换操作,然后再输入到先验分类网络,f[N(I)]表示图像先输入到先验分类网络,然后再进行数据变换操作,正则化损失采用激活图的二范数,即在向量空间中激活图的差值向量到原点的距离;
步骤五:根据步骤四产生的修正的类激活映射图制作伪像素级标签,将类激活映射图中高于设定阈值的区域采用1作为伪标签,类激活映射图中低于设定阈值的区域采用0作为伪标签,所述伪标签的表达式如下:
其中,yi表示第i个像素的伪标签,threshold表示预设的阈值,CAMi表示类激活图第i个像素的热力值。
步骤六:根据步骤五的伪像素级标签训练语义分割网络,分割损失的计算方式如下:
其中,pi表示第i个像素的预测值,Ldice表示分割损失。
语义分割网络结构,采用金字塔场景解析网络对组织病理图像自动分割,金字塔场景解析网络一共包括四个残差模块,一个金字塔池化模块以及一个聚合模块,其中,残差模块分别包含3,4,6,3个残差组件,每个残差组件包含2个3×3的卷积层,步长为1,填充为1,以及一个最大池化层,最大池化层的步长为2,核的大小为2×2;金字塔池化层包含4个分支,每个分支均包含一个自适应平均池化层和一个卷积层,特征图经过四个分支后,特征图的尺寸分别为1×1,2×2,3×3,6×6;聚合模块将四个特征图上采样为输入大小,再与输入拼接,最后经过一个卷积层,输出像素级的分割结果。
本发明方法在DigestPath数据集上利用只有图像级标签的数据训练能够达到65.32%的Dice系数,相比于未修正的类激活图提高了0.5%,经过正则化生成的激活图能够很好地定位癌变区域的位置,并且在边界,轮廓方面刻画非常细致,非常有利于后续的分割任务,因此在病理数据集没有像素级标签的情况下,可以训练分类网络得到质量较高的CAM图。其中,DigestPath是一个结直肠癌病理图像数据集,本申请包括但不局限于此数据集,可以支持所有的病理图像数据集。Dice是通用的检测衡量指标,一般而言,Dice系数是将所有类别的交并比进行综合平均而得到的。
本发明的有益效果在于:本发明通过以上技术方案可以使用标注量较少的图像级标签的组织病理图像,通过弱监督学习方式,对其进行快速准确地分割,完成对病理图像中癌变区域的自动定位。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下,本领域技术人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。
实施例三
图5为本发明实施例三提供的病理图像的分割装置的结构框图,该装置可执行本发明任意实施例所提供的病理图像的分割方法,具备执行方法相应的功能模块和有益效果。
该装置可以包括:
预处理图像获取单元510,用于获取组织的病理图像,对病理图像进行预处理得到预处理图像,并以所述预处理图像为样本按照预设比例划分为训练集和验证集;
先验分类损失计算单元520,用于将所述训练集样本输入到先验分类网络,得到样本的预测类别;根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失,作为先验分类损失;
修正类激活图确定单元530,用于根据所述的先验分类网络生成类激活图,并使用孪生网络对所述类激活图进行正则化,得到修正类激活图;
伪像素级标签转换单元540,用于将所述修正类激活图按照预设转换规则转换为伪像素级标签;
分割结果确定单元550,用于将所述训练集样本输入至预先设置的语义分割网络,得到所述训练集样本的分割结果;
语义分割网络优化单元560,用于将所述分割结果与所述伪像素级标签计算Dice损失,以优化所述语义分割网络,并通过优化后的语义分割网络进行病理图像分割。
上述产品可执行本申请实施例所提供的病理图像的分割方法,具备执行方法相应的功能模块和有益效果。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种病理图像的分割方法,其特征在于,包括:
获取组织的病理图像,对病理图像进行预处理得到预处理图像,并以所述预处理图像为样本按照预设比例划分为训练集和验证集;
将所述训练集样本输入到先验分类网络,得到样本的预测类别;根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失,作为先验分类损失;
根据所述的先验分类网络生成类激活图,并使用孪生网络对所述类激活图进行正则化,得到修正类激活图;
将所述修正类激活图按照预设转换规则转换为伪像素级标签;
将所述训练集样本输入至预先设置的语义分割网络,得到所述训练集样本的分割结果;
将所述分割结果与所述伪像素级标签计算Dice损失,以优化所述语义分割网络,并通过优化后的语义分割网络进行病理图像分割。
2.根据权利要求1所述的方法,其特征在于,所述预测类别包括阴性和阳性类别。
3.根据权利要求1所述的方法,其特征在于,对病理图像进行预处理得到预处理图像,包括:
对病理图像按照预设概率值进行随机水平翻转和随机垂直翻转,得到翻转后的预处理图像;
以及,
对病理图像按照预设角度进行随机旋转处理,得到旋转后的预处理图像。
4.根据权利要求1所述的方法,其特征在于,所述先验分类网络为ResNet50网络,所述ResNet 50网络具体包括:2个普通卷积残差模块,2个空洞卷积残差模块以及分类模块:
其中,所述普通卷积残差模块中的第一普通卷积残差模块由3个普通卷积残差组件构成;所述普通卷积残差模块中的第二普通卷积残差模块由4个普通卷积残差组件构成;其中,每个所述普通卷积残差组件包括2个卷积层和1个最大池化层,普通卷积层的卷积核的大小为3×3,步长为1,填充为1;最大池化层的步长为2,池化层核的大小为2×2;
其中,所述空洞卷积残差模块中的第一空洞卷积残差模块由6个空洞卷积残差组件构成;所述空洞卷积残差模块中的第二空洞卷积残差模块由3个空洞卷积残差组件构成;其中,每个所述空洞卷积残差组件包括2个空洞卷积层和1个最大池化层,空洞卷积层的卷积核的大小为3×3,步长为1,填充为1;最大池化层的步长为2,池化层核的大小为2×2,空洞率分别为2和4;
所述分类模块包括1个全局平均池化层和1个线性分类层,全局平均池化层输出的训练集样本特征图的尺寸为1×1,线性分类层的输出节点为2,表示预测为阳性或者阴性。
7.根据权利要求1所述的方法,其特征在于,所述孪生网络包括:第一分支和第二分支;
所述第一分支,用于将类激活图先进行数据变换,再进行特征抽取,得到第一类激活映射图;
所述第二分支,用于将类激活图先进行特征抽取,再进行数据变换,得到第二类激活映射图。
8.根据权利要求7所述的方法,其特征在于,使用孪生网络对所述类激活图进行正则化,得到修正类激活图,包括:
将产生的所述第一类激活映射图和所述第二类激活映射图计算正则化损失,计算方式如下:
Leq=|N[f(I)]-f[N(I)]|2;
其中,I表示输入的类激活图,N表示先验分类网络,f表示数据变换操作,N[f(I)]表示第一分支处理过程,f[N(I)]表示第二分支处理过程;
其中,所述正则化损失采用类激活图的二范数,具体为在向量空间中类激活图的差值向量到原点的距离。
10.一种病理图像的分割装置,其特征在于,包括:
预处理图像获取单元,用于获取组织的病理图像,对病理图像进行预处理得到预处理图像,并以所述预处理图像为样本按照预设比例划分为训练集和验证集;
先验分类损失计算单元,用于将所述训练集样本输入到先验分类网络,得到样本的预测类别;根据所述预测类别和所述训练集样本的真实类别计算二值交叉熵损失,作为先验分类损失;
修正类激活图确定单元,用于根据所述的先验分类网络生成类激活图,并使用孪生网络对所述类激活图进行正则化,得到修正类激活图;
伪像素级标签转换单元,用于将所述修正类激活图按照预设转换规则转换为伪像素级标签;
分割结果确定单元,用于将所述训练集样本输入至预先设置的语义分割网络,得到所述训练集样本的分割结果;
语义分割网络优化单元,用于将所述分割结果与所述伪像素级标签计算Dice损失,以优化所述语义分割网络,并通过优化后的语义分割网络进行病理图像分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210264678.5A CN114565605A (zh) | 2022-03-17 | 2022-03-17 | 一种病理图像的分割方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210264678.5A CN114565605A (zh) | 2022-03-17 | 2022-03-17 | 一种病理图像的分割方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114565605A true CN114565605A (zh) | 2022-05-31 |
Family
ID=81720238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210264678.5A Pending CN114565605A (zh) | 2022-03-17 | 2022-03-17 | 一种病理图像的分割方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114565605A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114898098A (zh) * | 2022-06-27 | 2022-08-12 | 北京航空航天大学 | 脑组织图像分割方法 |
CN115880262A (zh) * | 2022-12-20 | 2023-03-31 | 桂林电子科技大学 | 基于在线噪声抑制策略的弱监督病理图像组织分割方法 |
-
2022
- 2022-03-17 CN CN202210264678.5A patent/CN114565605A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114898098A (zh) * | 2022-06-27 | 2022-08-12 | 北京航空航天大学 | 脑组织图像分割方法 |
CN114898098B (zh) * | 2022-06-27 | 2024-04-19 | 北京航空航天大学 | 脑组织图像分割方法 |
CN115880262A (zh) * | 2022-12-20 | 2023-03-31 | 桂林电子科技大学 | 基于在线噪声抑制策略的弱监督病理图像组织分割方法 |
CN115880262B (zh) * | 2022-12-20 | 2023-09-05 | 桂林电子科技大学 | 基于在线噪声抑制策略的弱监督病理图像组织分割方法 |
US11935279B1 (en) | 2022-12-20 | 2024-03-19 | Guilin University Of Electronic Technology | Weakly supervised pathological image tissue segmentation method based on online noise suppression strategy |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108154118B (zh) | 一种基于自适应组合滤波与多级检测的目标探测***及方法 | |
CN111680614B (zh) | 一种基于视频监控中的异常行为检测方法 | |
CN107657279B (zh) | 一种基于少量样本的遥感目标检测方法 | |
WO2021227366A1 (zh) | 一种多个小目标的自动准确检测方法 | |
CN112308860A (zh) | 基于自监督学习的对地观测图像语义分割方法 | |
CN111652317B (zh) | 基于贝叶斯深度学习的超参数图像分割方法 | |
CN114565605A (zh) | 一种病理图像的分割方法及装置 | |
CN109711283A (zh) | 一种联合双字典和误差矩阵的遮挡表情识别算法 | |
CN107992874A (zh) | 基于迭代稀疏表示的图像显著目标区域提取方法及*** | |
CN111626994A (zh) | 基于改进U-Net神经网络的设备故障缺陷诊断方法 | |
CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、***及设备 | |
CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
CN115147632A (zh) | 基于密度峰值聚类算法的图像类别自动标注方法及装置 | |
CN114118303B (zh) | 基于先验约束的人脸关键点检测方法及装置 | |
CN115984238A (zh) | 一种基于深度神经网络的电网绝缘子缺陷检测方法及*** | |
CN115761834A (zh) | 人脸识别的多任务混合模型和人脸识别方法 | |
CN115049833A (zh) | 一种基于局部特征增强和相似性度量的点云部件分割方法 | |
CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及*** | |
CN117274355A (zh) | 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法 | |
CN116778164A (zh) | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 | |
CN116228795A (zh) | 一种基于弱监督学习的超高分辨率医学图像分割方法 | |
CN116580232A (zh) | 一种图像自动标注方法、***及电子设备 | |
CN113657196B (zh) | Sar图像目标检测方法、装置、电子设备和存储介质 | |
CN112906707B (zh) | 一种表面缺陷图像的语义分割方法、装置及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |