CN114240958A - 一种应用于病理学组织分割的对比学习方法 - Google Patents

一种应用于病理学组织分割的对比学习方法 Download PDF

Info

Publication number
CN114240958A
CN114240958A CN202111594975.8A CN202111594975A CN114240958A CN 114240958 A CN114240958 A CN 114240958A CN 202111594975 A CN202111594975 A CN 202111594975A CN 114240958 A CN114240958 A CN 114240958A
Authority
CN
China
Prior art keywords
image
pixel
superpixel
super
tissue segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111594975.8A
Other languages
English (en)
Other versions
CN114240958B (zh
Inventor
李辰
贾昶
高泽宇
吴佳伦
时江波
洪邦洋
毛安钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202111594975.8A priority Critical patent/CN114240958B/zh
Publication of CN114240958A publication Critical patent/CN114240958A/zh
Application granted granted Critical
Publication of CN114240958B publication Critical patent/CN114240958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种应用于病理学组织分割的对比学***滑度的稳健密集表示，使得模型来学习病理组织分割图像从全局到局部对比的判别性表示，进而模型能够清晰地学习到细胞和细胞外基质的特征，有效提升了组织分割的精度。作为医学辅助工具，能显著提高病理学家的判别质量和工作效率。

Description

一种应用于病理学组织分割的对比学习方法
技术领域
本发明属于数字化病理图像处理与辅助决策技术领域，具体涉及一种应用于病理学组织分割的对比学习方法。
背景技术
近十年来，基于全卷积网络的语义分割方法被提出并广泛应用于医学图像分析。这些方法中，大多数都是基于完全监督的。只有当具有精确注释的大规模数据集可用时，才能够达到最先进的性能。然而，为医学图像获取如此大规模的注释数据集具有挑战性。对于组织病理学图像中的细粒度的组织分割来说，更是不切实际的。
对比学习作为一种新兴的自监督学习范式已被证明可以有效减轻自然图像以及医学图像的注释工作。它对仅依赖未标记数据的正负样本来学习、优化图像的表示进行比较，随后便可以使用有限的注释数据来训练下游任务。这些对比学习方法遵循一个简单的框架，即通过图像增强(裁剪、旋转、翻转等)构建正样本，并从数据集中随机选择负样本。然而，这种方式对于组织病理学图像来说效果并不理想。此外，大多数对比学习方法都是为图像级别的全局判别而设计的，它们将相似图像对的表示拉得更近，并将不同的图像对的表示拉远。这会导致学习到的表示仅适用于图像级的下游任务，如图像分类，但不兼容像素级的下游任务，如图像分割。目前，一些研究开始引入局部判别并在特定图像类型的分割任务上取得了出色的性能，例如磁共振成像和胸部X射线。然而，这些精心设计的局部判别学习策略是针对特定领域的，因此无法直接应用到病理学图像的组织分割中。
发明内容
为了克服上述现有技术存在的缺陷，本发明的目的在于提出了一种应用于病理学组织分割的对比学习方法，通过构建一系列不同层次的对比学习任务，来学习从全局到局部的区分，从而使得模型能够清晰地学习到细胞和细胞外基质的特征，有效提升了组织分割的精度；作为医学辅助工具，能显著提高病理学家的判别质量和工作效率。
为了实现上述目的，本发明采取的技术方案为：
一种应用于病理学组织分割的对比学习方法，具体包括以下步骤：
步骤一、进行图像级对比学习任务：将不同放大倍数的组织病理学图像作为负样本，用于在表示空间中分离组织成分，即细胞和细胞外基质；
步骤二、进行超像素级对比学习任务：将图像中的每个超像素视为一个类，并将每个超像素与其他超像素区分开来，以区分具有不同细胞或细胞外基质的不同局部区域；
步骤三、进行像素级对比学***滑性。
所述步骤一具体方法为：
1)将组织病理学图像x，进行M次中心裁剪，每次裁剪的边长不同，随后将M个裁剪后的图像压缩至同样大小，得到M个不同放大倍数的图像，并用X＝{x1，x2，...，xM}表示；
2)对步骤一第1)步得到的每个图像随机采取形状或颜色变化的图像增强方式，经过图像增强后的图像集合分别表示为
Figure BDA0003430250500000031
Figure BDA0003430250500000032
则图像级的对比学习损失函数就可以表示为：
Figure BDA0003430250500000033
Figure BDA0003430250500000034
其中，v代表图像经过卷积神经网络编码器、解码器和投影头学习到的特征表示，τ代表缩放参数，sim代表余弦相似度。
所述步骤二的具体方法为：
1)使用现有的简单线性迭代聚类算法，将原始图像划分为多个超像素，对于步骤一第1)步中原始的组织病理学图像x，用S表示其中每个超像素s的索引，|S|表示超像素的数量，Ωn，n∈S，表示超像素sn中的一组像素；
2)从组织病理学图像x中利用图像增强方式采样两个视图
Figure BDA0003430250500000035
视图对应的超像素索引为
Figure BDA0003430250500000036
表示两视图共有的超像素索引；
3)将
Figure BDA0003430250500000037
输入骨干网络当中，进而得到对应的特征图
Figure BDA0003430250500000038
通过对超像素里的所有像素点进行平均池化，获得超像素的特征，如下公式所示：
Figure BDA0003430250500000041
其中，
Figure BDA0003430250500000042
是
Figure BDA0003430250500000043
的对应特征，
Figure BDA0003430250500000044
是索引为k的像素的特征向量；当超像素
Figure BDA0003430250500000045
存在，则，将
Figure BDA0003430250500000046
超像素级别对比学习损失函数表示为：
Figure BDA0003430250500000047
其中，τ代表缩放参数，sim代表余弦相似度，则，整个图像x的超像素级别的对比学习损失函数表示为：
Figure BDA0003430250500000048
步骤三的具体方法为：
根据超像素区域即步骤二第1)步，使用现有的简单线性迭代聚类算法得到的划分结果，对于单个超像素，设计以下像素级损失函数来保持其空间平滑度：
Figure BDA0003430250500000049
其中，
Figure BDA00034302505000000410
表示
Figure BDA00034302505000000411
中所有超像素的索引，
Figure BDA00034302505000000412
是
Figure BDA00034302505000000413
的平均特征，对于组织病理学图像x，其像素级的对比学习损失函数为：
Figure BDA00034302505000000414
步骤二第3)步所述的骨干网络包括步骤一图像级任务预训练得到的编码器、解码器和投影头。
相对于现有技术，本发明的有益效果在于：
本发明方法，通过步骤一的对比学习损失函数，激励卷积神经网络学习到不同放大倍数图像的差别，对应到病理学组织分割的图像上，就能更好地学习到细胞核和细胞外基质相关基质的差别。通过步骤二的损失函数，保持了网络对于不同超像素区域进行区分的空间敏感性。利用步骤三中损失函数，可以促使同一超像素内的每个像素特征值趋于一致，同时区分不同超像素中像素的特征，将步骤二局部区域内相邻像素的特征组合在一起。
通过三个层次的对比学***滑度的稳健密集表示，使得模型来学习病理组织分割图像从全局到局部对比的判别性表示，进而模型能够清晰地学习到细胞和细胞外基质的特征，有效提升了组织分割的精度。作为医学辅助工具，能显著提高病理学家的判别质量和工作效率。
附图说明
图1为本发明提出的从全局到局部的三步对比学习方法框架图。
图2为本发明步骤一示意图。
图3为本发明步骤二和步骤三示意图。
具体实施方式
下面结合附图，对本发明进一步详细说明。
参见图1，一种应用于病理学组织分割的对比学习方法，具体包括以下步骤：
步骤一、进行图像级对比学习任务：将不同放大倍数的组织病理学图像作为负样本，用于在表示空间中分离组织成分，即细胞(主要是指细胞核)和细胞外基质；步骤一区分的是细胞和细胞外基质；
步骤二、进行超像素级对比学习任务：将图像中的每个超像素视为一个类，并将每个超像素与其他超像素区分开来，以区分具有不同细胞或细胞外基质的不同局部区域；步骤二区分的是更小的局部区域，这个局部区域含有细胞或者细胞外基质；
步骤三、进行像素级对比学***滑性。
参见图2，所述步骤一具体方法为：
1)将组织病理学图像x，进行M次中心裁剪，每次裁剪的边长不同，随后将M个裁剪后的图像压缩至同样大小，得到M个不同放大倍数的图像，并用X＝{x1，x2，...，xM}表示；
2)对步骤一第1)步得到的每个图像随机采取形状或颜色变化的图像增强方式，经过图像增强后的图像集合分别表示为
Figure BDA0003430250500000061
Figure BDA0003430250500000062
则图像级的对比学习损失函数就可以表示为：
Figure BDA0003430250500000063
Figure BDA0003430250500000064
其中，v代表图像经过卷积神经网络编码器、解码器和投影头学习到的特征表示，τ代表缩放参数，sim代表余弦相似度；
该对比学习损失函数，激励卷积神经网络学习到不同放大倍数图像的差别，对应到病理学组织分割的图像上，学习到细胞核和细胞外基质相关基质的差别。
参见图3，所述步骤二的具体方法为：
1)使用现有的简单线性迭代聚类算法，将原始图像划分为多个超像素，对于步骤一第1)步中原始的组织病理学图像x，用S表示其中每个超像素s的索引，|S|表示超像素的数量，Ωn，n∈S，表示超像素sn中的一组像素；
2)从组织病理学图像x中利用图像增强方式采样两个视图
Figure BDA0003430250500000071
视图对应的超像素索引为
Figure BDA0003430250500000072
表示两视图共有的超像素索引；
3)将
Figure BDA0003430250500000073
输入骨干网络当中，该骨干网络由步骤一图像级任务预训练得到的编码器、解码器和投影头组成，得到对应的特征图
Figure BDA0003430250500000074
通过对超像素里的所有像素点进行平均池化，获得超像素的特征，如下公式所示：
Figure BDA0003430250500000075
其中，
Figure BDA0003430250500000076
是
Figure BDA0003430250500000077
的对应特征，
Figure BDA0003430250500000078
是索引为k的像素的特征向量；当超像素
Figure BDA0003430250500000079
存在，则，将
Figure BDA00034302505000000710
超像素级别对比学习损失函数表示为：
Figure BDA00034302505000000711
其中，τ代表缩放参数，sim代表余弦相似度，则，整个图像x的超像素级别的对比学习损失函数表示为：
Figure BDA00034302505000000712
对于不同超像素区域进行区分具有不同细胞或细胞外基质的不同局部区域。
参见图3，步骤三的具体方法为：
根据超像素区域即步骤二第1)步使用现有的简单线性迭代聚类算法得到的划分结果，对于单个超像素，设计以下像素级损失函数来保持其空间平滑度：
Figure BDA0003430250500000081
其中，
Figure BDA0003430250500000082
表示
Figure BDA0003430250500000083
中所有超像素的索引，
Figure BDA0003430250500000084
是
Figure BDA0003430250500000085
的平均特征，对于组织病理学图像x，其像素级的对比学习损失函数为：
Figure BDA0003430250500000086
上述损失函数促使同一超像素内的每个像素特征值趋于一致，同时区分不同超像素中像素的特征，将步骤二局部区域内相邻像素的特征组合在一起。

Claims (5)

1.一种应用于病理学组织分割的对比学习方法，其特征在于：具体包括以下步骤：
步骤一、进行图像级对比学习任务：将不同放大倍数的组织病理学图像作为负样本，用于在表示空间中分离组织成分，即细胞和细胞外基质；
步骤二、进行超像素级对比学习任务：将图像中的每个超像素视为一个类，并将每个超像素与其他超像素区分开来，以区分具有不同细胞或细胞外基质的不同局部区域；
步骤三、进行像素级对比学***滑性。
2.根据权利要求1所述的一种应用于病理学组织分割的对比学习方法，其特征在于：所述步骤一具体方法为：
1)将组织病理学图像x，进行M次中心裁剪，每次裁剪的边长不同，随后将M个裁剪后的图像压缩至同样大小，得到M个不同放大倍数的图像，并用X＝{x1，x2，...，xM}表示；
2)对步骤一第1)步得到的每个图像随机采取形状或颜色变化的图像增强方式，经过图像增强后的图像集合分别表示为
Figure FDA0003430250490000011
Figure FDA0003430250490000012
则图像级的对比学习损失函数就可以表示为：
Figure FDA0003430250490000021
Figure FDA0003430250490000022
其中，v代表图像经过卷积神经网络编码器、解码器和投影头学习到的特征表示，τ代表缩放参数，sim代表余弦相似度。
3.根据权利要求1所述的一种应用于病理学组织分割的对比学习方法，其特征在于：所述步骤二的具体方法为：
1)使用现有的简单线性迭代聚类算法，将原始图像划分为多个超像素，对于步骤一第1)步中原始的组织病理学图像x，用S表示其中每个超像素s的索引，|S|表示超像素的数量，Ωn，n∈S，表示超像素sn中的一组像素；
2)从组织病理学图像x中利用图像增强方式采样两个视图
Figure FDA0003430250490000023
视图对应的超像素索引为
Figure FDA0003430250490000024
和
Figure FDA0003430250490000025
Figure FDA0003430250490000026
表示两视图共有的超像素索引；
3)将
Figure FDA0003430250490000027
输入骨干网络当中，进而得到对应的特征图
Figure FDA0003430250490000028
和
Figure FDA0003430250490000029
通过对超像素里的所有像素点进行平均池化，获得超像素的特征，如下公式所示：
Figure FDA00034302504900000210
其中，
Figure FDA00034302504900000211
是
Figure FDA00034302504900000212
的对应特征，
Figure FDA00034302504900000213
是索引为k的像素的特征向量；当超像素
Figure FDA00034302504900000214
存在，则，将
Figure FDA00034302504900000215
和
Figure FDA00034302504900000216
超像素级别对比学习损失函数表示为：
Figure FDA00034302504900000217
其中，τ代表缩放参数，sim代表余弦相似度，则，整个图像x的超像素级别的对比学习损失函数表示为：
Figure FDA0003430250490000031
4.根据权利要求1所述的一种应用于病理学组织分割的对比学习方法，其特征在于：步骤三的具体方法为：
根据超像素区域即步骤二第1)步使用现有的简单线性迭代聚类算法得到的划分结果，对于单个超像素，设计以下像素级损失函数来保持其空间平滑度：
Figure FDA0003430250490000032
其中，
Figure FDA0003430250490000033
表示
Figure FDA0003430250490000034
中所有超像素的索引，
Figure FDA0003430250490000035
是
Figure FDA0003430250490000036
的平均特征，对于组织病理学图像x，其像素级的对比学习损失函数为：
Figure FDA0003430250490000037
5.根据权利要求1所述的一种应用于病理学组织分割的对比学习方法，其特征在于：步骤二第3)步所述的骨干网络包括步骤一图像级任务预训练得到的编码器、解码器和投影头。
CN202111594975.8A 2021-12-23 2021-12-23 一种应用于病理学组织分割的对比学习方法 Active CN114240958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111594975.8A CN114240958B (zh) 2021-12-23 2021-12-23 一种应用于病理学组织分割的对比学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111594975.8A CN114240958B (zh) 2021-12-23 2021-12-23 一种应用于病理学组织分割的对比学习方法

Publications (2)

Publication Number Publication Date
CN114240958A true CN114240958A (zh) 2022-03-25
CN114240958B CN114240958B (zh) 2024-04-05

Family

ID=80762351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111594975.8A Active CN114240958B (zh) 2021-12-23 2021-12-23 一种应用于病理学组织分割的对比学习方法

Country Status (1)

Country Link
CN (1) CN114240958B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758562A (zh) * 2023-08-22 2023-09-15 杭州实在智能科技有限公司 通用文本验证码识别方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012011579A1 (ja) * 2010-07-23 2012-01-26 独立行政法人産業技術総合研究所 病理組織画像の領域分割画像データ作成システム及び病理組織画像の特徴抽出システム
CN103353938A (zh) * 2013-06-14 2013-10-16 山东大学 一种基于层次级特征的细胞膜分割方法
CN113011427A (zh) * 2021-03-17 2021-06-22 中南大学 基于自监督对比学习的遥感图像语义分割方法
CN113379764A (zh) * 2021-06-02 2021-09-10 厦门理工学院 一种基于域对抗自监督学习的病理图像分割方法
CN113569852A (zh) * 2021-06-09 2021-10-29 中国科学院自动化研究所 语义分割模型的训练方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012011579A1 (ja) * 2010-07-23 2012-01-26 独立行政法人産業技術総合研究所 病理組織画像の領域分割画像データ作成システム及び病理組織画像の特徴抽出システム
CN103353938A (zh) * 2013-06-14 2013-10-16 山东大学 一种基于层次级特征的细胞膜分割方法
CN113011427A (zh) * 2021-03-17 2021-06-22 中南大学 基于自监督对比学习的遥感图像语义分割方法
CN113379764A (zh) * 2021-06-02 2021-09-10 厦门理工学院 一种基于域对抗自监督学习的病理图像分割方法
CN113569852A (zh) * 2021-06-09 2021-10-29 中国科学院自动化研究所 语义分割模型的训练方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴崇数;林霖;薛蕴菁;时鹏;: "基于自监督学习的病理图像层次分割", 计算机应用, no. 06 *
张松龙;谢林柏;: "基于级联全卷积神经网络的显著性检测", 激光与光电子学进展, no. 07 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758562A (zh) * 2023-08-22 2023-09-15 杭州实在智能科技有限公司 通用文本验证码识别方法及***
CN116758562B (zh) * 2023-08-22 2023-12-08 杭州实在智能科技有限公司 通用文本验证码识别方法及***

Also Published As

Publication number Publication date
CN114240958B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
Wang et al. Blind2unblind: Self-supervised image denoising with visible blind spots
CN109034208B (zh) 一种高低分辨率组合的宫颈细胞切片图像分类***
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN109035269B (zh) 一种宫颈细胞病理切片病变细胞分割方法及***
CN109145941B (zh) 一种非规则宫颈细胞团图像分类方法及***
CN112017191A (zh) 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN108305253B (zh) 一种基于多倍率深度学习的病理图像分类方法
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN108229576B (zh) 一种跨倍率病理图像特征学习方法
CN110838100A (zh) 一种基于滑动窗口的结肠镜病理切片筛查与分割***
CN111583279A (zh) 一种基于pcba的超像素图像分割方法
CN111080591A (zh) 基于编码解码结构结合残差模块的医学图像分割方法
CN114820579A (zh) 一种基于语义分割的图像复合缺陷的检测方法及***
Xia et al. Cervical cancer cell detection based on deep convolutional neural network
CN112529870A (zh) 基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法
CN111339924A (zh) 一种基于超像素和全卷积网络的极化sar图像分类方法
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
CN114240958A (zh) 一种应用于病理学组织分割的对比学习方法
CN110992320B (zh) 一种基于双重交错的医学图像分割网络
CN115775226A (zh) 基于Transformer的医学图像分类方法
CN115760875A (zh) 一种基于自监督学习的全视野医学图片区域分割方法
CN113128624B (zh) 一种基于多尺度字典的图网络人脸恢复方法
CN114708274A (zh) 基于实时选择机制的T-CutMix数据增强与三维卷积神经网络的图像分割方法及***
Niu et al. Lightweight and accurate single image super-resolution with channel segregation network
CN114283153A (zh) 基于神经网络的肺部病理切片癌细胞分割算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant