CN112614131A - 基于形变表示学习的病理图像分析方法 - Google Patents
基于形变表示学习的病理图像分析方法 Download PDFInfo
- Publication number
- CN112614131A CN112614131A CN202110027548.5A CN202110027548A CN112614131A CN 112614131 A CN112614131 A CN 112614131A CN 202110027548 A CN202110027548 A CN 202110027548A CN 112614131 A CN112614131 A CN 112614131A
- Authority
- CN
- China
- Prior art keywords
- image
- deformation
- feature
- learning
- pathological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 95
- 238000003703 image analysis method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000010191 image analysis Methods 0.000 claims abstract description 14
- 230000008447 perception Effects 0.000 claims abstract description 8
- 230000005489 elastic deformation Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 29
- 238000003709 image segmentation Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000011800 void material Substances 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000007170 pathology Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 2
- 238000004904 shortening Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 description 12
- 210000004907 gland Anatomy 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000003211 malignant effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于医学图像处理技术领域，具体为一种基于形变表示学习的病理图像分析方法。本发明方法包括构建自监督形变表示学习模型，用于病理图像分析，再用于病理图像的分类和分割；学习模型包括：形变模块、局部异质特征感知模块及全局同质特征感知模块；形变模块用于对图像进行弹性形变操作；局部异质特征感知模块用于学习图像中局部区域由于形变造成的结构差异信息；该模块包含特征提取器网络、多尺度特征网络和判别器网络；全局同质特征感知模块，用于实现网络对病理图像的全局特征的学习过程。本发明无需标注数据即可学习到具有提取局部结构特征的能力，并且能学习到病理图像的全局语义信息；较目前最好的自监督学习方法性能有较大提升。
Description
技术领域
本发明属于医学图像处理技术领域，具体涉及病理图像分析方法。
背景技术
近些年，深度学习在多种不同的计算机视觉应用中已取得令人欣喜的成果。而作为其中一个非常值得探究的问题，自动化的病理图像分析很有需求和市场，因为其可以对后续的分析与临床诊断提供可靠的统计数据，尤其是在一些重要疾病(如癌症、生存预测等)的诊断和干预治疗方面起到重要作用。现在很多成功的方法都是利用全监督学习来提取图像中的有效特征，但这些模型的训练过程需要大量标签作为标注信息来构建监督信号，这在实际应用中是非常难的。其主要因为大量的标注需要耗费巨大的人力物力，同时标注病理图像需要专业的医生花费时间精力去做，会导致医生的工作效率降低。
近期，无监督学习又掀起一波热潮，有许多具有影响力的无监督工作都在探索如何利用数据本身的特性而非利用标签的情况下来完成学习。这正是符合医学图像的发展趋势，因为存在大量的无标注数据，而只有很少一部分带有标注数据。作为一种新的无监督学习范式，自监督学习的目的是通过构建一个预训练任务，而该任务无需真实标签，只需人为构造一些监督信号来使得网络学习到一系列富有语义信息的特征。之前工作中，有一些不同的与训练任务的设计思路，包括预测图像的翻转角度、图像上色、填充图像中的空洞等，针对这些任务都被证明非常有效果。通常，证明一个自监督学习的预训练任务是否有价值的途径，是通过不同的下游任务表现来衡量。在此过程中，可以把预训练过程得到的网络权重用来初始化下游任务的参数，也可直接将学到的高层表示抽取出来应用到不同的下游任务上。这些下游任务的种类繁多，常见的有图像分类、图像分割、目标检测等。尽管已有许许多多成功应用在自然图像上的自监督学习工作，但如何从病理图像中通过自监督方式学习到有效的高层表示仍然是一个很有挑战性的问题，这主要归因于自然图像和病理图像所存在的跨域间鸿沟。
在生物医学图像处理中，形变经常被用来进行数据增强扩充或图像配准的工作。通过观察发现，形变是病理图像中一个非常重要的特征。例如，对于良性的图像，其腺体结构非常规则，通常表现为圆形、椭圆形等；但对于低分化的情况或严重分化的情况，腺体则会变成非常无规则、严重退化或形变的结构。为此，本发明利用形变作为一个监督信号，提出一种自监督的形变表示学习框架来辅助病理图像分析。其目的是希望通过学习有用特征，来在不同的病理图像分析下游任务上起到效果，如病理图像分割和分类等。在构建自监督形变表示学习的任务时，基于两个重要性质即局部异质性和全局同质性。如图1所示，给定一张原始病理图像与形变过后的图像，两者在局部存在形变造成的结构差异，这些差异也最好可以反映在特征空间内。特别地，利用互信息来衡量原始病理图像与形变病理图像。其主要目的在于，希望网络能够提取到一些关键的高层特征(如是否存在腺体)而不是图像中的噪声信息来做出判断。同时，由于结构性差异在图像的多个位置和多个尺度都有可能出现，而提出一个特征增强模块并将其***到现有网络中进行端到端的训练使得网络具有更加鲁棒的多尺度感知能力。作为对比，由于原始图像和形变图像始终是由一张图像经过变换生成，因此两者相比于数据集中的其它图像，有着更相类似的上下文信息。如图1的右半部分所示，全局相似性可被认为是两者在特征空间中具有更加相近的距离，而这样一个特征空间就是所希望学习到的。为此，提出两种不同方法来将相似样本在特征空间内拉近，不相似样本在特征空间中拉远，分别称为硬目标全局同质性与软目标全局同质性。利用局部异质性和全局同质性的表示学习框架，让网络以自监督的方式学到局部和全局的病理图像特征。基于不同下游任务上所进行的评估，即迁移学习到病理图像分割和半监督分类任务，在这两个任务上均体现出所提出方法的强泛化能力。
发明内容
本发明的目的在于提供一种能够在有大量无标注病理图像数据和少量有标注病理图像数据的前提下，利用自监督学习的病理图像分析方法，以有效提取图像特征并作用于多种不同下游任务。
本发明提供的利用自监督学习的病理图像分析方法(Self-supervisedDeformation Representation Learning,DRL)，是基于高效数据利用率的形变表示学习技术的，即首先构建一个自监督形变表示学习模型用于病理图像分析，再用于病理图像的分类和分割；自监督形变表示学习模型具体包括三个组成部分，即形变模块、局部异质特征感知模块及全局同质特征感知模块；其中：
所述形变模块，用于对输入图像进行弹性形变操作。形变操作采用医学图像建模中常见的弹性形变的变换方式，本质上是在图像的每个位置(i,j)生成一个x方向和y方向在[-1,1]区间内随机变量，分别代表两个方向上的随机偏移量，然后通过如下所示的零均值、σ为方差的高斯核对随机偏移量进行卷积运算。
经过卷积运算得到平滑过的偏移图，利用每个点的偏移量指导原图进行位置变换。这里，简单利用双线性插值方法得到变换过后的图。至此，整张图像完成了随机弹性形变。
所述局部异质特征感知模块，用于学习图像中局部区域由于形变造成的结构差异信息。该模块包含三个可学习的网络：特征提取器网络、多尺度特征网络和判别器网络。整个局部特征感知学习过程分成三步完成：
第一步，采用图像特征编码器获取输入图像(即病理图像)的高层语义特征，生成图像特征表示。根据原始输入病理图像xi和相应形变病理图像
分别通过特征提取器网络得到对应的特征提取器：F(xi；θ)与
其中，θ为特征提取器F的参数。为估计高层特征能代表原始输入x的信息量，常用方法是利用互信息来表示：
I(X,Y)＝KL(p(x,y)||p(x)p(y)) (2)
其中，p(x,y)是X和Y的联合概率分布；p(x)和p(y)是边缘概率分布，最大化两者的互信息等价于优化两个分布之间的KL散度。如图1所示，对于图像xi及其形变过后的图像
通常希望两者各自的深层表示
能够包含形变过后的结构性差异，于是最大化
两者携带同一张图像的信息。同时，去最小化
因为两者实际上是包含同一张图像上的形变结构差异性。但是，由于互信息在高维非常不方便计算，为此选择利用JS距离来估计互信息的值，即：
其中，sp(x)＝log(1+ex)是softplus函数。D(X；φ)是一个参数为φ的判别器，用来区分正例样本和负例样本。
第二步，是多尺度特征提取，首先构建正样本对
与负样本对
构建的原则是原始病理图像xi和特征表示
是来自同一张图的不同表示方法，但是负样本是由形变病理图像
和原始病理图像的特征
组合而成，其中蕴含了形变带来的结构差异。由于形变引起的结构差异具有多尺度特性，因此将单一尺度特征
和
采用特征增强模块FEM来得到F(xi；θ)与
用来表示多尺度特征，将正样本对中的xi替换为F(xi；θ),负样本对中的
替换为
至此，负样本对
中反映了原图单一尺度特征和形变图多尺度上的形变结构差异。采用特征增强模块FEM，是因为考虑到在某些病理图像中，有些分化很严重的腺体其中间的空腔尺度很大，甚至会跨越整张图像，这种情况下单一尺度的神经网络并不能很有效捕捉到遍布在多位置的多尺度信息。在经典分割模型中空洞空间金字塔池化模型中，在原始模块中使用4个并行的空洞率分别为1、6、12与18的卷积核，即卷积核的尺寸是固定的。相比这种固定尺寸的卷积核，本发明使用的特征增强模块FEM，是采用动态的根据特征图尺寸来决定卷积核大小的方式。具体地，定义k＝log2 M个卷积核，大小均为s,空洞率分别是r0＝1,r1＝2,r2＝6,…,rk-1＝6×2k-3，则这些卷积核的实际大小是：
其中，0≤i≤k-1。通过空洞卷积的定义，假设原始的卷积核大小s＝3，则可推断出最大的卷积核其实际卷积核大小
由此，可以确保空洞卷积核的大小比特征图的尺寸更大，即可以有充足的感受野确保能够覆盖到整张特征图。另外，特征增强模块FEM还可以确保图像中的长距离依赖能够被保持住。而当使用更大尺寸的特征图如5×5的卷积核时，实际的卷积核大小更大，依旧可以满足需求。通过这k个不同空洞率的卷积核，可并行提取图像的特征，这些特征被连接起来构成最后的多尺度特征。为确保公平性，特征增强模块只会在形变表示学习的框架中使用，以充分提取图像的特征而不会用于下游任务。
第三步，分别将正负样本对送入判别器D(XEnc,F(X；θ)；φ),其中判别器的网络参数为φ,希望判别器给正样本对输出1，负样本对输出0。具体地，由维度分别是512、256和256的三个全卷积层组成。接下来，根据判别器的输出计算局部异质性损失函数，即：
其中，N代表所有样本的数量，sp()代表softplus函数。在整个计算过程中，
F(xi；θ)均为同一大小，宽和高均为M。在局部异质性损失函数的构建过程中，监督的标签信息是由形变操作带来的结构差异构成的。整个过程无需人为对图像进行标注，从而实现网络端到端的自监督学习。
所述全局同质特征感知模块，用于实现网络对病理图像的全局特征的学***均池化(GlobalAverage Pooling,GAP)将特征聚合为全局特征FG(xj；θ)。至此，获取一个batch中所有的多尺度特征。接下来，在特征空间内构建正样本对FG(xi；θ),
和负样本对FG(xi；θ),
其中j≠i。
下一步，使用两种不同的方式构建全局同质性损失函数，监督网络学习全局特征学习：
第一种，使用硬目标的全局同质性，即利用对比损失函数直接将正样本对在特征空间中的距离拉近，负样本对在特征空间中的距离拉远。为此，定义距离度量为余弦距离，即：
根据给定的余弦距离度量计算基于硬目标的全局同质损失函数，即：
硬目标能有效将原图和形变图在特征空间的距离拉近，但由于病理切片图像本身的特性，不同的切片有可能来自同一张原始的全分辨率图像。因此，考虑到原图和其它切片图像的相似性也是必要的，于是在硬目标的基础上定义软目标为：
其中，Z是归一化因子。接下来将软目标作用于对比损失函数，将原图与更多相似目标的距离同时拉近，将上述计算过程看作反向实现硬目标的计算，因此软目标全局同质损失函数为：
最后，计算总的损失函数为：
L＝LLSH+λLGCH (10)
通过局部异质特征感知模块与全局同质特征感知模块构建的病理图像分析方法，网络以自监督学习的方式学习到提取病理图像的有效结构特征的能力，并具有广泛的泛化能力。
本发明还提供基于上述基于形变表示学习的病理图像分析方法的泛化能力评估，其中包括病理图像分割和病理图像分类。
病理图像分割：使用上述自监督形变表示学习预训练过的特征提取器来初始化分割网络，将带有分割标注的病理图像数据与标签一起实现端到端训练。对比其它预训练方法，也利用类似的方式进行参数初始化，训练目标采用交叉熵损失函数，利用随机梯度下降更新训练参数，至模型收敛后评估。
病理图像分类：该任务包括两种不同的评估方式：
(1)半监督分类模式——采用少数据分类，该评估方法先使用预训练的特征提取器初始化分类网络，然后整个网络在不同比例的标注数据上进行微调，即进行端到端训练。这里，选取几个离散的比例，区间在0.01％到100％之间；
(2)半监督分类模式——采用线性分类器评估，该评估方法使用预训练的特征提取器来初始化分类网络后，固定特征提取器部分的参数，只训练分类网络的分类器部分，在不同的中间卷积层上连接分类器评估不同层的特征表现。
本发明的优点包括：
首先，探索形变是病理图像中非常重要的特征，并首次将形变作为自监督学习中的监督信号构建基于形变表示学习的病理图像分析方法，所提出的框架专门针对病理图像分析设计，因此可作为病理图像分析中预处理的全新范式。
其次，首次提出基于局部异质性特征感知模块，利用判别器区分原始图像和形变图像之间局部结构性差异的方式，监督网络学习到高层的丰富语义特征，同时结合特征增强模块，使得网络能够在自监督学习框架内，无需标注数据即可学习到具有提取局部结构特征的能力。
再者，在广泛用于自然图像的自监督对比学习损失基础上，结合病理图像的自身特点提出全局同质特征感知模块，其中利用硬目标和软目标的的全局同质性损失，能够有效构造特征空间使得相似的样本距离更近，从而学习到病理图像的全局语义信息。
最后，本发明在公共数据集GLaS和PCam上取得很好的结果，性能较目前最好的自监督学习方法具有较大提升，同时也同ImageNet预训练的网络性能可比，并能够缩小和全监督学习模型之间的距离。
附图说明
图1左图是图像中局部异质性示意图，右图是全局同质性示意图。
图2是本发明形变表示学习的完整框架图。
具体实施方式
由背景技术可知，之前的大部分研究都面临以下两个问题：
1、病理图像分析需要大量和任务相关的标注数据，则需要消耗医生非常多的时间和精力且对于专业知识的要求高，因此大部分全监督模型的泛化能力受限于少量有标注的数据。
2、在自然图像上涌现的自监督表示学习任务不便迁移到医学图像分析中，因为两种图像存在较大的领域差别，因此需要基于病理图像数据的自身特点来设计合适的表示学习方法。
本发明针对上述两个问题进行深入研究，首先探究病理图像的自身特点，关注于其中的形变特征构建监督信号，提出自监督形变表示学习框架，利用原始图像和形变图像的局部异质性和全局同质性来，使得网络在无需人工标签的情况下学习到病理图像的语义特征，增强模型的泛化性能，能够适配到不同的下游任务即多种病理图像分析任务。
本发明首先探究的病理图像形变特征如图1所示，首先观察到良性病理图像中腺体形状呈现出圆形或椭圆形的规则形状，而恶性病例中的腺体则呈现出扭曲和形变等非常不规则的结构，因此这种结构上的差异和病理图像的性质相关。图1中的其它信息则是局部异质性与全局同质性的简单示意，在前文已经提及，在此不再赘述。
本发明的实施流程主要包括，通过特征提取器提取病理图像的语义特征，通过局部异质性损失函数和全局同质性损失函数分别针对病理图像的局部结构差异和全局上下文相似性进行捕捉，用来监督网络学习高层语义特征。整个预训练过程无需人工标签，完全以自监督学习的模式进行特征学习。在预训练阶段结束后，将特征提取器部分取出用以初始化包括病理图像分类和病理图像分割等下游任务的网络参数。给定不同任务相关的少量标注数据进行评估，本发明的自监督形变表示学习作为预训练可在多个不同任务上体现出强大的泛化性能。
如图2所示，本发明提供的形变表示学习方法共由三个部分构成。
第一部分是对原始图像进行适当的形变操作，首先在图像的每个位置(i,j)生成一个x方向和y方向在[-1,1]区间内的随机变量代表的随机偏移量，然后通过零均值、σ为方差的高斯核，即：
之后，利用高斯核在原始的偏移图上进行卷积，即可得到一张平滑过渡过的偏移图，接下来利用平滑过的偏移图上每个点指导原图进行位置变换，简单利用双线性插值的方法得到变换过后的图。除形变操作之外也有诸如仿射变换、投影变换等变换方式，但弹性形变作为一种非刚性变换，可以有更灵活的变换方式。例如，从直线变换为曲线或者相反，并在每一个位置都具有一定的随机性，这样可防止在后续的表示学***凡解。
本实施例中，第二步构建基于局部异质性的损失函数。首先，根据输入图像xi和
分别通过特征提取器得到对应的xEnc,
其中特征提取器为F，参数为θ，然后构建正样本对(xi,xEnc)与负样本对
这里，使用互信息衡量原始图像和特征。其意义在于，互信息越大，证明特征可以更好地代表原始图像的高维表示，即更有价值的语义信息而非图像中的随机噪声，不同于在传统监督学习框架中使用带标签信息的损失函数来监督网络学习，利用互信息这一度量使得网络可以学习到通用的高级特征表示，泛化能力更强。首先，互信息可表示为：
I(X,Y)＝KL(p(x,y)||p(x)p(y)) (2)
其中，p(x,y)是联合概率分布，p(x),p(y)是边缘概率分布。这里，将输入xi和特征分别替换公式中的X和Y，则目标可表示为寻找最优的网络参数使得互信息最大，即：
接下来，介绍如何通过形变构建损失函数。如图1所示，给定一张图像xi及其形变过后的图像
希望两者的深层表示也应该能够包含形变过后的结构性差异,因为它们携带同一张图像的信息。同时，去最小化
因为它们实际上包含同一张图像上的形变结构差异性。但是，由于互信息在高维非常不方便计算，为此选择利用JSD来估计互信息的值，即：
其中，sp(x)＝log(1+ex)是softplus函数。在实际中，D(X；φ)是一个参数为φ的判别器，用来区分正例样本和负例样本。其实现上利用维度分别是512、256和256的三个全卷积层。在本实施例中，经过观察发现在某些病理图像中，有些分化很严重的腺体中间的空腔尺度很大，甚至会跨越整张图像，这种情况下单一尺度的神经网络并不能很有效捕捉到遍布在多位置的多尺度信息。因此将单一尺度特征
和
通过特征增强模块FEM得到F(xi；θ)与
用来表示多尺度特征，将正样本对中的xi替换为F(xi；θ),负样本对中的
替换为
通过构建特征增强模块，建模维护不同尺度上的局部差异信息，可使得网络对不同病理图像的结构差异更加鲁棒。
在本实施例中，病理图像除具有局部异质性特征之外，还具有全局相似性的特征。考虑原始图像和形变图像在经过形变后并未改变原始图像的像素信息，可简单理解为像素小幅度重排过程，因此全局的上下文信息并未产生巨大变化，即它们的高层语义信息仍保持相似，尤其是相较于数据集中其它病理图像而言。于是，为维护这种全局同质性，先将一个批次中的每一个样本xj都经过特征提取器得到特征
再全部经过特征增强模块得到F(xj；θ)，最后通过L2范数进行归一化，之后利用全局平均池化将特征聚合为全局特征FG(xj；θ)。至此，获取一个批次中所有的多尺度特征。接下来，在特征空间内构建正样本对FG(xi；θ),
和负样本对。首先，选择余弦距离作为度量，即：
其次，拉近正样本对之间的距离，拉远负样本对之间的距离，这一过程可通过对比损失函数实现，此时正样本对中的形变样本被认为是原图样本特征FG(xi；θ)希望在特征空间中逼近的硬目标
因此，硬目标全局相似性损失可表示为：
硬目标是考虑形变图像作为原图逼近的单一目标，但在实际数据集中由于多张不同病理切片图像有可能来自于同一张病理全分辨率图，甚至同一个病人的多张不同图像也应具有一定相似度。因此，考虑单一相似的逼近目标，忽略这种原图与其它图像之间的相似关系。为能在不额外引入监督信息(如不同图像是否来自于同一个病人或同一张全分辨率图)的条件下充分考虑到原图与更多目标之间的相似性，定义软目标
如下：
其中，Z是归一化因子。这样的软目标可看作多个目标的加权组合，其权重信息通过高层特征经过变换得到，属于在端到端训练中可自适应调整的部分。通过构建软目标，接下来实现类似反向硬目标的计算，则软目标全局同质损失函数定义为：
最后，计算总的损失函数为：
L＝LLSH+λLGCH (9)
通过构建局部异质损失函数和全局同质损失函数，网络在无需人工标签下以自监督的范式完成形变表示学习的过程。本实施例中还包括应用经过形变表示学习预训练好的特征提取部分到病理图像分类和分割的不同任务中。
本实施例中，病理图像数据的来源选择两个公共的数据集进行网络训练，即GLaS和PCam。GLaS是在MICCAI 2015腺体分割竞赛上提供的标准数据集，其包含85张训练图像(37张良性和48张恶性)与80张测试集图像(37张良性和43张恶性)，所有图像来自16H&E染色组织切片在20倍的放大倍率下得到。大部分的图像都是宽为755、高为522像素，其中包含标注出现腺***置的分割标签。PCam数据集则是由从400张图像切片得到的327,680张组成，每张大小为96×96，每张图像切片包含一个分类标签用以表示是否存在转移的组织。整个数据集划分为70％、15％、15％，分别作为标注训练集、验证集、及测试集。
本发明实施中的实验在2个NVIDIAGeForceGTXTITANXp GPU上进行训练，在训练形变表示学***，并未把特征增强模块合并采用，另一方面也是为了使得网络参数可以更少。
本发明提出的通过形变表示学***均效果超出baseline模型10％，完全展现出预训练模型学到的丰富特征。在使用线性分类能力评估的过程中，固定特征提取器部分，仅训练分类器的部分参数，结果也证明预训练模型在多个卷积层上的表现均能超过在自然图像上表现显著的方法。最后，也通过消融实验来证实局部异质性损失函数和全局同质性损失函数均能够辅助预训练的特征学习。
综上所述，本发明面向病理图像分析问题，在应对标注数据少、标注成本高的、有更多无标注样本的前提下，针对病理图像自身的形变特征，提出一种新颖的自监督形变表示学习框架。该框架主要目的是通过形变构建局部异质性和全局同质性两个损失函数，使得网络能够在自监督的范式下学习到病理图像的局部结构特征和全局语义信息，并能够通过迁移学习泛化到包括病理图像分类和病理图像分割的不同下游任务上。本发明在公共数据集GLaS和PCam上取得不错的结果，性能较目前广泛使用的其它自监督方法具有较大提升，模型可被用作全新的病理图像分析的预训练方法。
在疾病评估流程中对组织进行病理切片分析是一项基础步骤。自动化病理图像分析需要大量任务相关的标注数据来训练模型，不充足的标注数据量会限制监督学***相当。由此，所提出的方法可作为病理图像分析的一种全新预训练范式。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
Claims (4)
1.一种利用自监督学习的病理图像分析方法，其特征在于，采用高效数据利用率的形变表示学习技术，包括构建一个自监督形变表示学习模型，用于病理图像分析，再用于病理图像的分类和分割；自监督形变表示学习模型具体包括三个部分，即形变模块、局部异质特征感知模块及全局同质特征感知模块；其中：
所述形变模块，用于对输入图像进行弹性形变操作；
所述局部异质特征感知模块，用于学习图像中局部区域由于形变造成的结构差异信息；该模块包含三个可学习的网络：特征提取器网络、多尺度特征网络和判别器网络；整个局部异质特征感知模块的学习过程分成三步：
第一步，采用图像特征编码器获取输入图像的高层语义特征，生成图像特征表示；具体地，根据原始输入病理图像xi和相应形变病理图像
分别通过特征提取器网络得到对应的特征提取器：F(xi；θ)与
其中，θ为特征提取器F的参数；为估计高层特征能代表原始输入x的信息量，利用互信息来表示：
I(X，Y)＝KL(p(x，y)||p(x)p(y)) (2)
其中，p(x，y)是X和Y的联合概率分布；p(x)和p(y)是边缘概率分布，最大化两者的互信息等价于优化两个分布之间的KL散度；对于图像xi及其形变过后的图像
希望两者各自的深层表示
能够包含形变过后的结构性差异，于是最大化
使两者携带同一张图像的信息；同时，去最小化
因为两者实际上是包含同一张图像上的形变结构差异性；为此采用JS距离来估计互信息的值，即：
其中，sp(x)＝log(1+ex)是softplus函数；D(X；φ)是一个参数为φ的判别器，用来区分正例样本和负例样本；
第二步，多尺度特征提取；首先构建正样本对
与负样本对
构建的原则是原始病理图像xi和特征表示
是来自同一张图的不同表示方法，负样本是由形变病理图像
和原始病理图像的特征
组合而成，其中蕴含了形变带来的结构差异；由于形变引起的结构差异具有多尺度特性，因此将单一尺度特征
和
采用特征增强模块FEM来得到F(xi；θ)与
用来表示多尺度特征，将正样本对中的xi替换为F(xi；θ)，负样本对中的
替换为
这样，负样本对
中反映了原图单一尺度特征和形变图多尺度上的形变结构差异；
第三步，分别将正负样本对送入判别器D(XEnc，F(X；θ)；φ)，φ为判别器的网络参数，要求判别器给正样本对输出1，负样本对输出0；具体地，判别器由维度分别是512、256和256的三个全卷积层组成；根据判别器的输出计算局部异质性损失函数，即：
其中，N代表所有样本的数量，sp()代表softplus函数；在整个计算过程中，
F(xi；θ)均为同一大小，宽和高均为M；在局部异质性损失函数的构建过程中，监督的标签信息是由形变操作带来的结构差异构成的，整个过程无需人为对图像进行标注，从而实现网络端到端的自监督学习；
所述全局同质特征感知模块，用于实现网络对病理图像的全局特征的学***均池化将特征聚合为全局特征FG(xj；θ)；至此，获取一个batch中所有的多尺度特征；接下来，在特征空间内构建正样本对FG(xi；θ)，
和负样本对FG(xi；θ)，
其中j≠i；
然后，构建全局同质性损失函数，监督网络学习全局特征学习：
根据硬目标的全局同质性，即利用对比损失函数直接将正样本对在特征空间中的距离拉近，负样本对在特征空间中的距离拉远；为此，定义距离度量为余弦距离，即：
根据给定的余弦距离度量计算基于硬目标的全局同质损失函数，即：
硬目标能有效将原图和形变图在特征空间的距离拉近；
在硬目标的基础上定义软目标为：
其中，Z是归一化因子；将软目标作用于对比损失函数，将原图与更多相似目标的距离同时拉近，将上述计算过程看作反向实现硬目标的计算，于是，软目标全局同质损失函数为：
最后，计算总的损失函数为：
L＝LLSH+λLGCH (10)。
2.根据权利要求1所述的利用自监督学习的病理图像分析方法，其特征在于，所述弹性形变操作，具体是在图像的每个位置(i，j)生成一个x方向和y方向在[-1，1]区间内随机变量，分别代表两个方向上的随机偏移量，然后通过如下所示的零均值、σ为方差的高斯核对随机偏移量进行卷积运算：
经过卷积运算得到平滑过的偏移图，利用每个点的偏移量指导原图进行位置变换。
3.根据权利要求1所述的利用自监督学习的病理图像分析方法，其特征在于，所述的特征增强模块FEM，采用动态的根据特征图尺寸来决定卷积核大小的方式；具体地，定义k＝log2 M个卷积核，大小均为s，空洞率分别是r0＝1，r1＝2，r2＝6，...，rk-1＝6×2k-3，则这些卷积核的实际大小是：
其中，0≤i≤k-1。
4.根据权利要求3所述的利用自监督学习的病理图像分析方法，其特征在于，利用构建的自监督形变表示学习模型对病理图像进行分割和分类；
病理图像分割：使用上述自监督形变表示学习预训练过的特征提取器来初始化分割网络，将带有分割标注的病理图像数据与标签一起实现端到端训练；
病理图像分类：包括两种不同的方式：
(1)半监督分类模式——采用少数据分类，先使用预训练的特征提取器初始化分类网络，然后整个网络在不同比例的标注数据上进行微调，即进行端到端训练；
(2)半监督分类模式——采用线性分类器，使用预训练的特征提取器来初始化分类网络后，固定特征提取器部分的参数，只训练分类网络的分类器部分，在不同的中间卷积层上连接分类器评估不同层的特征表现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110027548.5A CN112614131A (zh) | 2021-01-10 | 2021-01-10 | 基于形变表示学习的病理图像分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110027548.5A CN112614131A (zh) | 2021-01-10 | 2021-01-10 | 基于形变表示学习的病理图像分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112614131A true CN112614131A (zh) | 2021-04-06 |
Family
ID=75253641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110027548.5A Pending CN112614131A (zh) | 2021-01-10 | 2021-01-10 | 基于形变表示学习的病理图像分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614131A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344875A (zh) * | 2021-06-07 | 2021-09-03 | 武汉象点科技有限公司 | 一种基于自监督学习的异常图像检测方法 |
| CN113468364A (zh) * | 2021-07-21 | 2021-10-01 | 京东数科海益信息科技有限公司 | 一种图像处理方法及装置 |
| CN113780483A (zh) * | 2021-11-12 | 2021-12-10 | 首都医科大学附属北京潞河医院 | 结节超声分类数据处理方法及数据处理*** |
| CN114299324A (zh) * | 2021-12-01 | 2022-04-08 | 万达信息股份有限公司 | 一种基于多尺度域对抗网络的病理图像分类方法及*** |
| CN114332637A (zh) * | 2022-03-17 | 2022-04-12 | 北京航空航天大学杭州创新研究院 | 遥感影像水体提取方法、遥感影像水体提取的交互方法 |
| CN115049705A (zh) * | 2022-06-21 | 2022-09-13 | 北京理工大学 | 多模板网络框架的目标跟踪方法及装置 |
| CN115099294A (zh) * | 2022-03-21 | 2022-09-23 | 昆明理工大学 | 一种基于特征增强和决策融合的花卉图像分类算法 |
| CN115222942A (zh) * | 2022-07-26 | 2022-10-21 | 吉林建筑大学 | 一种基于弱监督学习的新冠肺炎ct图像分割的方法 |
| CN115393356A (zh) * | 2022-10-27 | 2022-11-25 | 武汉楚精灵医疗科技有限公司 | 目标部位异常形态识别方法、装置及计算机可读存储介质 |
| CN116977162A (zh) * | 2023-09-25 | 2023-10-31 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 图像配准方法、装置、存储介质以及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577813A (zh) * | 2013-11-25 | 2014-02-12 | 中国科学院自动化研究所 | 用于异质虹膜识别的信息融合方法 |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
-
2021
- 2021-01-10 CN CN202110027548.5A patent/CN112614131A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577813A (zh) * | 2013-11-25 | 2014-02-12 | 中国科学院自动化研究所 | 用于异质虹膜识别的信息融合方法 |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| JILAN XU 等: "Data-Efficient Histopathology Image Analysis with Deformation Representation Learning", 《2020 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344875A (zh) * | 2021-06-07 | 2021-09-03 | 武汉象点科技有限公司 | 一种基于自监督学习的异常图像检测方法 |
| CN113468364A (zh) * | 2021-07-21 | 2021-10-01 | 京东数科海益信息科技有限公司 | 一种图像处理方法及装置 |
| CN113468364B (zh) * | 2021-07-21 | 2024-04-09 | 京东科技信息技术有限公司 | 一种图像处理方法及装置 |
| CN113780483A (zh) * | 2021-11-12 | 2021-12-10 | 首都医科大学附属北京潞河医院 | 结节超声分类数据处理方法及数据处理*** |
| CN114299324B (zh) * | 2021-12-01 | 2024-03-29 | 万达信息股份有限公司 | 一种基于多尺度域对抗网络的病理图像分类方法及*** |
| CN114299324A (zh) * | 2021-12-01 | 2022-04-08 | 万达信息股份有限公司 | 一种基于多尺度域对抗网络的病理图像分类方法及*** |
| CN114332637A (zh) * | 2022-03-17 | 2022-04-12 | 北京航空航天大学杭州创新研究院 | 遥感影像水体提取方法、遥感影像水体提取的交互方法 |
| CN114332637B (zh) * | 2022-03-17 | 2022-08-30 | 北京航空航天大学杭州创新研究院 | 遥感影像水体提取方法、遥感影像水体提取的交互方法 |
| CN115099294A (zh) * | 2022-03-21 | 2022-09-23 | 昆明理工大学 | 一种基于特征增强和决策融合的花卉图像分类算法 |
| CN115049705A (zh) * | 2022-06-21 | 2022-09-13 | 北京理工大学 | 多模板网络框架的目标跟踪方法及装置 |
| CN115049705B (zh) * | 2022-06-21 | 2024-04-30 | 北京理工大学 | 多模板网络框架的目标跟踪方法及装置 |
| CN115222942A (zh) * | 2022-07-26 | 2022-10-21 | 吉林建筑大学 | 一种基于弱监督学习的新冠肺炎ct图像分割的方法 |
| CN115222942B (zh) * | 2022-07-26 | 2023-06-02 | 吉林建筑大学 | 一种基于弱监督学习的新冠肺炎ct图像分割的方法 |
| CN115393356B (zh) * | 2022-10-27 | 2023-02-03 | 武汉楚精灵医疗科技有限公司 | 目标部位异常形态识别方法、装置及计算机可读存储介质 |
| CN115393356A (zh) * | 2022-10-27 | 2022-11-25 | 武汉楚精灵医疗科技有限公司 | 目标部位异常形态识别方法、装置及计算机可读存储介质 |
| CN116977162A (zh) * | 2023-09-25 | 2023-10-31 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 图像配准方法、装置、存储介质以及电子设备 |
| CN116977162B (zh) * | 2023-09-25 | 2024-01-19 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 图像配准方法、装置、存储介质以及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112614131A (zh) | 基于形变表示学习的病理图像分析方法 | |
| Almotiri et al. | Retinal vessels segmentation techniques and algorithms: a survey | |
| Sun et al. | Fully automated macular pathology detection in retina optical coherence tomography images using sparse coding and dictionary learning | |
| Jalilian et al. | Iris segmentation using fully convolutional encoder–decoder networks | |
| CN110674866A (zh) | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 | |
| Prince et al. | Probabilistic models for inference about identity | |
| CN109977955B (zh) | 一种基于深度学习的***前病变识别的方法 | |
| Mao et al. | Feature representation using deep autoencoder for lung nodule image classification | |
| Cao et al. | A multi-kernel based framework for heterogeneous feature selection and over-sampling for computer-aided detection of pulmonary nodules | |
| CN105608471A (zh) | 一种鲁棒直推式标签估计及数据分类方法和*** | |
| JP7294695B2 (ja) | 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法 | |
| Fornaciali et al. | Towards automated melanoma screening: Proper computer vision & reliable results | |
| Li | Mammographic image based breast tissue classification with kernel self-optimized fisher discriminant for breast cancer diagnosis | |
| Zhang et al. | Feature-transfer network and local background suppression for microaneurysm detection | |
| CN115578589B (zh) | 一种无监督超声心动图切面识别方法 | |
| Liu et al. | Lung segmentation based on random forest and multi‐scale edge detection | |
| Liu et al. | Pathological lung segmentation based on random forest combined with deep model and multi-scale superpixels | |
| Bhimavarapu et al. | Analysis and characterization of plant diseases using transfer learning | |
| Twum et al. | Textural Analysis for Medicinal Plants Identification Using Log Gabor Filters | |
| Dutt et al. | Different approaches in pattern recognition | |
| Tang et al. | Adaptive spectral affinity propagation clustering | |
| Jena et al. | Elitist TLBO for identification and verification of plant diseases | |
| Turtinen et al. | Contextual analysis of textured scene images. | |
| CN115496933A (zh) | 基于空间-光谱原型特征学习的高光谱分类方法及*** | |
| Nurmamatovich et al. | Neural network clustering methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210406 |
|
| WD01 | Invention patent application deemed withdrawn after publication |