CN114783604A - 一种乳腺癌前哨***转移的预测方法、***及存储介质 - Google Patents
一种乳腺癌前哨***转移的预测方法、***及存储介质 Download PDFInfo
- Publication number
- CN114783604A CN114783604A CN202210420290.XA CN202210420290A CN114783604A CN 114783604 A CN114783604 A CN 114783604A CN 202210420290 A CN202210420290 A CN 202210420290A CN 114783604 A CN114783604 A CN 114783604A
- Authority
- CN
- China
- Prior art keywords
- wsi
- feature
- image block
- breast cancer
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010006187 Breast cancer Diseases 0.000 title claims abstract description 86
- 208000026310 Breast neoplasm Diseases 0.000 title claims abstract description 86
- 210000005005 sentinel lymph node Anatomy 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 46
- 208000007433 Lymphatic Metastasis Diseases 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 35
- 206010027476 Metastases Diseases 0.000 claims abstract description 30
- 230000009401 metastasis Effects 0.000 claims abstract description 30
- 238000013145 classification model Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000011524 similarity measure Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 208000003788 Neoplasm Micrometastasis Diseases 0.000 abstract description 6
- 206010028980 Neoplasm Diseases 0.000 description 9
- 230000001575 pathological effect Effects 0.000 description 9
- 230000007170 pathology Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000002601 intratumoral effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种乳腺癌前哨***转移的预测方法、***及存储介质,方法为:获取带标签的WSI作为训练数据集,进行预处理得到图像块集;构建WSI分类模型;使用图像块集对特征提取器进行预训练,获得特征向量集;将特征向量集输入原型聚类模块中,通过聚类提取多个原型;对乳腺癌前哨***WSI划分图像块后输入特征提取器中提取图像块特征;将图像块特征和原型输入特征融合模块进行匹配,生成软分配直方图,构造乳腺癌前哨***WSI的特征向量;将乳腺癌前哨***WSI的特征向量送入全连接层获取WSI分类分数并进行转移判断。本方法在保持对宏转移精确识别的同时,能够更好的解决微转移识别的问题,从而对乳腺癌前哨***转移进行精确地诊断。
Description
技术领域
本发明属于病理数字图像处理的技术领域,具体涉及一种乳腺癌前哨***转移的预测方法、***及存储介质。
背景技术
乳腺癌是女性的主要癌症,会诊时需要病理医生在显微镜下观察用苏木精和伊红(H&E)染色的组织标本玻片来对乳腺癌前哨***转移进行诊断,这是一个乏味,繁琐和容易出错的过程。近些年来,随着计算病理的兴起,通过使用数字扫描仪对H&E染色玻片进行扫描并存储为数字病理全切片图像(WSI),然后利用计算机视觉算法,特别是深度学习算法,来自动分析这些WSI帮助诊断乳腺癌,有效的改善了诊断流程。计算病理具有高效、客观和可重复的好处,但是计算病理在对WSI进行分析时,面临着问题:首先是WSI具有超高的分辨率,通常拥有千兆个像素,使得无法将一张完整的WSI直接输入到普通的卷积神经网络中;其次由于肿瘤组织通常只占WSI的一小部分,因此需要对肿瘤区域进行精细标注才能进行全监督深度学习,但这种精细标注的成本极高,尤其是在合格的病理医生稀缺的情况下。
针对上述问题,一种比较有前景的方法是多示例学习方法,在只给定整张WSI的标签作为弱监督信息的情况下,将一个WSI(包)切分成许多小的图像块(示例)来进行处理,然后通过常见的instance-space(IS)范式或者embedding-space(ES)范式来打通图像块和WSI之间的信息差。但是应用多示例学习方法时还有存在其他挑战:一是WSI通常表现出显著的肿瘤间异质性,这意味着患者之间的病理特征差异很大,给多示例学习带来了困难;二是在临床上,乳腺癌前哨***转移分为宏转移和微转移,前者是指肿瘤转移区域直径大于2毫米,后者则是指肿瘤转移区域直径是在0.2到2毫米之间;由于微转移的肿瘤转移区域很小,这也使得识别微转移要比识别宏转移更为困难。
在现有WSI分类中,一种最直接的多示例学***均的方式来融合每个示例的特征。还有一种基于自监督对比学***衡;同时,现有方法都是利用预训练的特征提取网络来提取图像块的特征,导致了图像块的判别能力不是很强,使得阳性图像块中的判别信息会在融合过程中被阴性图像块所覆盖,从而导致错误的预测。二是上述现有技术是在通过卷积神经网络(CNN)提取每个图像块特征之后,将这些特征做加权组合得到整个WSI的特征,然后用于最后的预测;但通过CNN提取的特征是没有明确的物理意义,导致无法明确WSI特征中每个维度的物理意义,缺乏可解释性。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种乳腺癌前哨***转移的预测方法、***及存储介质,该方法在保持对宏转移精确识别的同时,能够更好的解决微转移识别的问题,从而能够精确地对乳腺癌前哨***转移进行诊断。
为了达到上述目的,本发明采用以下技术方案:
一方面,本发明提供一种乳腺癌前哨***转移的预测方法,其特征在于,包括下述步骤:
获取带标签的WSI作为训练数据集,进行预处理得到图像块集;
构建WSI分类模型,所述WSI分类模型包括特征提取器、原型聚类模块、特征融合模块及全连接层;
使用图像块集对特征提取器进行预训练,获得特征向量集,并固定特征提取器的参数;
将特征向量集输入原型聚类模块中,通过聚类提取多个原型;
对乳腺癌前哨***WSI划分图像块后输入固定参数的特征提取器中提取图像块特征;
将图像块特征和原型输入特征融合模块进行匹配,生成软分配直方图,构造乳腺癌前哨***WSI的特征向量;
将乳腺癌前哨***WSI的特征向量送入全连接层获取WSI分类分数并进行转移判断。
作为优选的技术方案,所述训练数据集表示为:
其中,Xi表示第i张带标签的WSI,|S|表示为训练数据集S中带标签WSI的张数;
所述标签表示为Y∈{0,1},当Y=1时表示乳腺癌前哨***发生转移;当Y=0时表示乳腺癌前哨***未发生转移;
作为优选的技术方案,所述特征提取器基于卷积神经网络构建,使用最大池化多示例学习方法进行预训练,将输入的图像块转换为特征向量,表示为:
作为优选的技术方案,所述将特征向量集输入原型聚类模块中,通过聚类提取多个原型,具体为:
原型聚类模块使用AP聚类算法对任一WSI中图像块的特征向量进行聚类,得到第一阶段聚类中心:
使用AP聚类算法对第一阶段聚类中心进行聚类,得到第二阶段聚类中心作为原型:
所述AP聚类算法的相似性度量定义为:
所述将图像块特征和原型输入特征融合模块进行匹配,生成软分配直方图,具体为:
引入度量学习机制,使用可学习全连接层FC2将图像块特征映射到新的特征空间,通过余弦相似性来度量第n个图像块特征和第m个原型的相似性,公式为:
根据计算得到的相似性生成软分配直方图{hn}n,其中x轴表示原型,y轴表示相似性。
作为优选的技术方案,所述构造乳腺癌前哨***WSI的特征向量,具体为:
引入TOP-K选择机制,使用全连接层FC3为每个图像块特征分配一个分数rn来量化其与乳腺癌前哨***阳性的相关性,公式为:
按照降序对分数{rn}n进行排序,选择前K个最相关的图像块特征IK={n1,…,nK};
使用选择池化来聚合K个最相关图像块特征的相似度分数,获得乳腺癌前哨***WSI的特征向量h=[h(1),…,h(M)],
其中,M表示WSI特征向量的维度,h(m)表示WSI特征向量第m维的数值。
作为优选的技术方案,所述获取WSI分类分数,具体为:
将乳腺癌前哨***WSI的特征向量送入全连接层FC1中,计算得到WSI分类分数:
作为优选的技术方案,所述WSI分类模型的损失函数为:
另一方面,本发明提供一种乳腺癌前哨***转移的预测***,其特征在于,包括数据获取模块、模型构建模块、向量提取模块、原型提取模块、特征提取模块、特征向量构造模块及分类分数获取模块;
所述数据获取模块用于获取带标签的WSI作为训练数据集,进行预处理得到图像块集;
所述模型构建模块用于构建WSI分类模型;所述WSI分类模型包括特征提取器、原型聚类模块、特征融合模块及全连接层;
所述向量提取模块用于使用图像块集对特征提取器进行预训练,获得特征向量集,并固定特征提取器的参数;
所述原型提取模块用于将特征向量集输入原型聚类模块中,通过聚类提取多个原型;
所述特征提取模块用于对乳腺癌前哨***WSI划分图像块后输入固定参数的特征提取器中提取图像块特征;
所述特征向量构造模块用于将图像块特征和原型输入特征融合模块进行匹配,生成软分配直方图,构造乳腺癌前哨***WSI的特征向量;
所述分类分数获取模块用于将乳腺癌前哨***WSI的特征向量送入全连接层获取WSI分类分数并进行转移判断。
还一方面,本发明提供一种计算机可读存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现上述的一种乳腺癌前哨***转移的预测方法。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明原型聚类模块采用两段式的无监督聚类方式提取原型,在第一阶段对WSI内部进行聚类,在第二阶段对WSI之间进行聚类;通过该方式可以自动获取整个病理数据集中的原型,不需要事先指定原型数量,并且由于这些原型是在整个病理数据集中提取的,所以这些原型代表了病理数据集中典型的病理特征,可以有效的对肿瘤间异质性进行建模,直接捕获有意义的病理模式,表示病理数据在特征空间的多模态分布;同时,通过利用这些原型来构造WSI的整体特征,使得本方法更加具有解释性,因为WSI的特征向量中每一个维度都代表了一种原型在WSI中出现的频率。
2、本发明为了在识别微转移方面表现更好,通过引入度量学习机制,使用可学习全连接层来度量图像块特征与原型的相似性,生成软分配直方图;由于全连接层可学习,可以通过训练来学习一个更具辨别力的度量空间,将图像块和原型的特征向量映射到该度量空间后,可以增强图像块的判别能力,以实现更好的匹配;同时引入TOP-K选择机制,使用全连接层量化与乳腺癌前哨***阳性的相关性,使用选择池化来获得乳腺癌前哨***WSI的特征向量,排除了不相关的图像块的干扰,缓解了阴性图像块过多的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种乳腺癌前哨***转移的预测方法的流程图;
图2为本发明实施例中WSI分类模型的结构示意图;
图3为本发明实施例中原型聚类模块的结构示意图;
图4为本发明实施例中特征融合模块的结构示意图;
图5为本发明实施例中一种乳腺癌前哨***转移的预测***的结构图;
图6为本发明实施例中计算机可读存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本发明提出了一种新的弱监督方法来实现对乳腺癌前哨***转移的预测,叫基于原型的多示例学习(PMIL),是一种vocabulary-based(VS)范式的多示例学习;VS范式即先得到一批原型,然后利用这些原型来对图像块所提取出来的特征进行融合,然后利用融合后的特征来WSI对进行预测。
在本发明中,给定一组带有标签的WSI作为训练数据集任务是从中学习到一个二分类器Y=F(X),从而能够从一张输入的WSI中预测乳腺癌前哨***的转移,使用的是基于CNN的模型。由于WSI具有超高分辨率,所以无法直接将WSI输入到CNN中,常用的做法是使用多示例学习,将一个WSI(包)切分成许多小的图像块(示例),在只需要给定WSI的标签而不需这些示例标签的情况下,通过对这些图像块进行处理来学习个WSI分类器F(X)。
如图1所示,本实施例提供了一种乳腺癌前哨***转移的预测方法,包括下述步骤:
S1、获取带标签的WSI作为训练数据集,进行预处理得到图像块集;
具体的,训练数据集表示为:
其中,Xi表示第i张带标签的WSI,|S|表示为训练数据集S中带标签WSI的张数;
标签Y∈{0,1}为一个弱监督二分类标签,当Y=1时表示乳腺癌前哨***发生转移;当Y=0时表示乳腺癌前哨***未发生转移;
本实施例在20倍率下,将训练数据集中每一带标签WSI划分为2000~8000个256×256大小的图像块。
S2、构建WSI分类模型,包括特征提取器、原型聚类模块、特征融合模块及全连接层;
如图2所示,本实施例的目标就是构建一个WSI分类模型F(X),实现对乳腺癌前哨***转移的预测,其中特征提取器表示为gθ,用于提取输入图像块的特征向量;原型聚类模块表示为PD,用于学习多个原型,便于对病理数据中的肿瘤间异质性进行建模;特征融合模块表示为PSE,用于构造整张WSI的特征向量;全连接层表示为FC1,用于输出分类分数,预测乳腺癌前哨***的转移。
S3、使用图像块集对特征提取器进行预训练,获得特征向量集,并固定特征提取器的参数;
具体的,本发明中的特征提取器基于卷积神经网络(CNN)构建,使用最大池化多示例学习方法(MAX_MIL)进行预训练,将输入的图像块转换为特征向量,表示为:
S4、将特征向量集输入原型聚类模块中,通过聚类提取多个原型;
由于在整个训练集中有太多的图像块,很难直接应用传统的聚类算法(比如K-means),故如图3所示,原型聚类PD模块采用无监督聚类的方式,分为两个阶段来聚集多个原型:
第一阶段是在WSI内部进行聚类(ISC),即:PD模块使用AP聚类算法对任一WSI中图像块的特征向量进行聚类,得到第一阶段聚类中心:
第二阶段是在WSI之间进行聚类(XSC),即:使用AP聚类算法对第一阶段聚类中心进行聚类,得到第二阶段聚类中心作为原型:
由于采用的是无监督的AP聚类算法(Affinity Propagation Clustering),所以可以自动的决定类别数量;同时该算法还要求两图像块(如a和b)的特征之间要有明确的相似性度量,故将AP聚类算法的相似性度量定义为:
通过捕获典型的病理模式,原型有望以更细致的方式表示具有较大类内方差(在本任务中为前哨***转移阳性和前哨***转移阴性)的语义类,从而使WSI分类模型F(X)能够有效地对病理学数据中的肿瘤间异质性进行建模。
S5、对乳腺癌前哨***WSI划分图像块后输入固定参数的特征提取器中提取图像块特征;
S6、将图像块特征和原型输入特征融合模块进行匹配,生成软分配直方图,构造乳腺癌前哨***WSI的特征向量;
在PD模块得到的原型的基础上,通过PSE模块为输入的乳腺癌前哨***WSI构造WSI特征向量,具体为:
为了使WSI分类模型能够适应计算病理的任务,特别是在乳腺癌前哨***转移预测中识别微转移,如图4所示,在PSE模块中引入了两个机制:
第一引入度量学习机制;在现有的VS范式MIL方法中,通常使用预定义的相似性度量来匹配图像块和原型,例如余弦距离或马氏距离,但本发明引入了度量学习机制来学习相似性度量,具体而言:
使用可学习全连接层FC2将图像块特征映射到新的特征空间,通过余弦相似性来度量第n个图像块特征和第m个原型的相似性,公式为:
根据计算得到的相似性生成软分配直方图{hn}n,其中x轴表示原型,y轴表示相似性。
第二引入TOP-K选择机制,只选择与感兴趣类别(前哨***阳性)最相关的K个图像块进行聚合,具体为:
使用全连接层FC3为每个图像块特征分配一个分数rn来量化其与乳腺癌前哨***阳性的相关性,公式为:
按照降序对分数{rn}n进行排序,选择前K个最相关的图像块特征IK={n1,…,nK};
使用选择池化来聚合K个最相关图像块特征的相似度分数,获得乳腺癌前哨***WSI的特征向量h=[h(1),…,h(M)],
其中,M表示WSI特征向量的维度,h(m)表示WSI特征向量第m维的数值。
S7、将乳腺癌前哨***WSI的特征向量送入全连接层获取WSI分类分数并进行转移判断,计算WSI分类分数的公式为:
计算得到的WSI分类分数为0到1,当WSI分类分数大于等于0.5时,判断乳腺癌前哨***转移,否则判断为乳腺癌前哨***未转移。
由于图像块的数量过于巨大,这使得将gθ和网络中的其余参数一起进行训练在算力上是负担不起的(因为它需要并行存储所有图像块的众多中间特征图以进行反向传播);因此遵循通用的做法:先使用IS范式的最大池化(max-pooling)多示例学习(MAX-MIL)单独预训练特征提取器gθ,然后在模型训练过程中将特征提取器的参数固定。为了学习WSI分类模型中的参数{W1,W2,W3},使用下列损失函数:
其中,为全连接层FC1的损失函数,是二分类中常见的交叉熵损失函数;为全连接层FC3的损失函数,Y为真实的WSI标签,[o,1-o]T是WSI分类分数,r*=maxn{rn}为与乳腺癌前哨***阳性最大的相关性分数。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的一种乳腺癌前哨***转移的预测方法相同的思想,本发明还提供一种乳腺癌前哨***转移的预测***,该***可用于执行上述一种乳腺癌前哨***转移的预测方法。为了便于说明,一种乳腺癌前哨***转移的预测***实施例的结构示意图中,仅仅示出了与本发明实施例相关的部分,本领域技术人员可以理解,图示结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图5所示,本发明另一个实施例提供了一种乳腺癌前哨***转移的预测***,包括下述几个模块:
数据获取模块用于获取带标签的WSI作为训练数据集,进行预处理得到图像块集;
模型构建模块用于构建WSI分类模型;所述WSI分类模型包括特征提取器、原型聚类模块、特征融合模块及全连接层;
向量提取模块用于使用图像块集对特征提取器进行预训练,获得特征向量集,并固定特征提取器的参数;
原型提取模块用于将特征向量集输入原型聚类模块中,通过聚类提取多个原型;
特征提取模块用于对乳腺癌前哨***WSI划分图像块后输入固定参数的特征提取器中提取图像块特征;
特征向量构造模块用于将图像块特征和原型输入特征融合模块进行匹配,生成软分配直方图,构造乳腺癌前哨***WSI的特征向量;
分类分数获取模块用于将乳腺癌前哨***WSI的特征向量送入全连接层获取WSI分类分数并进行转移判断。
需要说明的是,本发明的一种乳腺癌前哨***转移的预测***与本发明的一种乳腺癌前哨***转移的预测方法一一对应,在上述一种乳腺癌前哨***转移的预测方法的实施例阐述的技术特征及其有益效果均适用于一种乳腺癌前哨***转移的预测***的实施例中,具体内容可参见本发明方法实施例中的叙述,此处不再赘述,特此声明。
此外,上述实施例的一种乳腺癌前哨***转移的预测***的实施方式中,各程序模块的逻辑划分仅是举例说明,实际应用中可以根据需要,例如出于相应硬件的配置要求或者软件的实现的便利考虑,将上述功能分配由不同的程序模块完成,即将所述一种乳腺癌前哨***转移的预测***的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。
如图6所示,在一个实施例中,提供了一种计算机可读存储介质,存储有程序于存储器中,所述程序被处理器执行时,实现所述的一种乳腺癌前哨***转移的预测方法,具体为:
获取带标签的WSI作为训练数据集,进行预处理得到图像块集;
构建WSI分类模型,所述WSI分类模型包括特征提取器、原型聚类模块、特征融合模块及全连接层;
使用图像块集对特征提取器进行预训练,获得特征向量集,并固定特征提取器的参数;
将特征向量集输入原型聚类模块中,通过聚类提取多个原型;
对乳腺癌前哨***WSI划分图像块后输入固定参数的特征提取器中提取图像块特征;
将图像块特征和原型输入特征融合模块进行匹配,生成软分配直方图,构造乳腺癌前哨***WSI的特征向量;
将乳腺癌前哨***WSI的特征向量送入全连接层获取WSI分类分数并进行转移判断。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种乳腺癌前哨***转移的预测方法,其特征在于,包括下述步骤:
获取带标签的WSI作为训练数据集,进行预处理得到图像块集;
构建WSI分类模型,所述WSI分类模型包括特征提取器、原型聚类模块、特征融合模块及全连接层;
使用图像块集对特征提取器进行预训练,获得特征向量集,并固定特征提取器的参数;
将特征向量集输入原型聚类模块中,通过聚类提取多个原型;
对乳腺癌前哨***WSI划分图像块后输入固定参数的特征提取器中提取图像块特征;
将图像块特征和原型输入特征融合模块进行匹配,生成软分配直方图,构造乳腺癌前哨***WSI的特征向量;
将乳腺癌前哨***WSI的特征向量送入全连接层获取WSI分类分数并进行转移判断。
4.根据权利要求3所述的一种乳腺癌前哨***转移的预测方法,其特征在于,所述将特征向量集输入原型聚类模块中,通过聚类提取多个原型,具体为:
原型聚类模块使用AP聚类算法对任一WSI中图像块的特征向量进行聚类,得到第一阶段聚类中心:
使用AP聚类算法对第一阶段聚类中心进行聚类,得到第二阶段聚类中心作为原型:
所述AP聚类算法的相似性度量定义为:
9.一种乳腺癌前哨***转移的预测***,其特征在于,包括数据获取模块、模型构建模块、向量提取模块、原型提取模块、特征提取模块、特征向量构造模块及分类分数获取模块;
所述数据获取模块用于获取带标签的WSI作为训练数据集,进行预处理得到图像块集;
所述模型构建模块用于构建WSI分类模型;所述WSI分类模型包括特征提取器、原型聚类模块、特征融合模块及全连接层;
所述向量提取模块用于使用图像块集对特征提取器进行预训练,获得特征向量集,并固定特征提取器的参数;
所述原型提取模块用于将特征向量集输入原型聚类模块中,通过聚类提取多个原型;
所述特征提取模块用于对乳腺癌前哨***WSI划分图像块后输入固定参数的特征提取器中提取图像块特征;
所述特征向量构造模块用于将图像块特征和原型输入特征融合模块进行匹配,生成软分配直方图,构造乳腺癌前哨***WSI的特征向量;
所述分类分数获取模块用于将乳腺癌前哨***WSI的特征向量送入全连接层获取WSI分类分数并进行转移判断。
10.一种计算机可读存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1-8任一项所述的一种乳腺癌前哨***转移的预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210420290.XA CN114783604A (zh) | 2022-04-21 | 2022-04-21 | 一种乳腺癌前哨***转移的预测方法、***及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210420290.XA CN114783604A (zh) | 2022-04-21 | 2022-04-21 | 一种乳腺癌前哨***转移的预测方法、***及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114783604A true CN114783604A (zh) | 2022-07-22 |
Family
ID=82431083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210420290.XA Pending CN114783604A (zh) | 2022-04-21 | 2022-04-21 | 一种乳腺癌前哨***转移的预测方法、***及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114783604A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114972341A (zh) * | 2022-07-28 | 2022-08-30 | 华南理工大学 | 基于贝叶斯辅助学习的wsi图像分类方法、***及介质 |
CN115984622A (zh) * | 2023-01-10 | 2023-04-18 | 深圳大学 | 基于多模态和多示例学习分类方法、预测方法及相关装置 |
CN117333485A (zh) * | 2023-11-30 | 2024-01-02 | 华南理工大学 | 基于弱监督深度序数回归网络的wsi生存预测方法 |
WO2024123021A1 (ko) * | 2022-12-05 | 2024-06-13 | 가톨릭대학교 산학협력단 | 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치 및 그의 학습 방법 |
-
2022
- 2022-04-21 CN CN202210420290.XA patent/CN114783604A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114972341A (zh) * | 2022-07-28 | 2022-08-30 | 华南理工大学 | 基于贝叶斯辅助学习的wsi图像分类方法、***及介质 |
CN114972341B (zh) * | 2022-07-28 | 2022-12-16 | 华南理工大学 | 基于贝叶斯辅助学习的wsi图像分类方法、***及介质 |
WO2024123021A1 (ko) * | 2022-12-05 | 2024-06-13 | 가톨릭대학교 산학협력단 | 앙상블 모델 기반의 조기 위암 림프절 전이를 예측하는 전자 장치 및 그의 학습 방법 |
CN115984622A (zh) * | 2023-01-10 | 2023-04-18 | 深圳大学 | 基于多模态和多示例学习分类方法、预测方法及相关装置 |
CN115984622B (zh) * | 2023-01-10 | 2023-12-29 | 深圳大学 | 基于多模态和多示例学习分类方法、预测方法及相关装置 |
CN117333485A (zh) * | 2023-11-30 | 2024-01-02 | 华南理工大学 | 基于弱监督深度序数回归网络的wsi生存预测方法 |
CN117333485B (zh) * | 2023-11-30 | 2024-04-05 | 华南理工大学 | 基于弱监督深度序数回归网络的wsi生存预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gour et al. | Residual learning based CNN for breast cancer histopathological image classification | |
Li et al. | Multi-task deep learning for fine-grained classification and grading in breast cancer histopathological images | |
CN114783604A (zh) | 一种乳腺癌前哨***转移的预测方法、***及存储介质 | |
CN111985536A (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
CN110264454B (zh) | 基于多隐藏层条件随机场的***组织病理图像诊断方法 | |
CN112633382A (zh) | 一种基于互近邻的少样本图像分类方法及*** | |
Taneja et al. | Multi-cell nuclei segmentation in cervical cancer images by integrated feature vectors | |
CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
CN112926403A (zh) | 基于层次聚类与困难样本三元组的无监督行人重识别方法 | |
Priya | Resnet based feature extraction with decision tree classifier for classificaton of mammogram images | |
Al-Dulaimi et al. | Classification of white blood cells using l-moments invariant features of nuclei shape | |
Ramya et al. | Brain tumor segmentation using cluster ensemble and deep super learner for classification of MRI | |
CN117274662A (zh) | 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法 | |
CN110647897B (zh) | 一种基于多部分注意力机制的零样本图像分类识别方法 | |
CN114864075A (zh) | 一种基于病理图像的胶质瘤级别分析方法及装置 | |
Rajput et al. | A transfer learning-based brain tumor classification using magnetic resonance images | |
Nayar et al. | Deep learning based model for multi-class classification of cervical cells using pap smear images | |
CN114093507A (zh) | 边缘计算网络中基于对比学习的皮肤病智能分类方法 | |
Jiang et al. | An effective multi-classification method for NHL pathological images | |
Jawad et al. | Histo-fusion: a novel domain specific learning to identify invasive ductal carcinoma (IDC) from histopathological images | |
Wetzer et al. | Towards automated multiscale imaging and analysis in TEM: Glomerulus detection by fusion of CNN and LBP maps | |
Settouti et al. | An instance and variable selection approach in pixel-based classification for automatic white blood cells segmentation | |
Rathore et al. | CBISC: a novel approach for colon biopsy image segmentation and classification | |
Alzu'bi et al. | Automatic BIRCH thresholding with features transformation for hierarchical breast cancer clustering | |
CN116188428A (zh) | 一种桥接多源域自适应的跨域组织病理学图像识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |