CN114549896A - 用于生存预测的全视野图像的异构高阶表示方法及装置 - Google Patents
用于生存预测的全视野图像的异构高阶表示方法及装置 Download PDFInfo
- Publication number
- CN114549896A CN114549896A CN202210081050.1A CN202210081050A CN114549896A CN 114549896 A CN114549896 A CN 114549896A CN 202210081050 A CN202210081050 A CN 202210081050A CN 114549896 A CN114549896 A CN 114549896A
- Authority
- CN
- China
- Prior art keywords
- full
- neural network
- graph
- labels
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004083 survival effect Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims abstract description 86
- 238000011176 pooling Methods 0.000 claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 9
- 239000011159 matrix material Substances 0.000 description 26
- 230000006870 function Effects 0.000 description 19
- 230000000717 retained effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种用于生存预测的全视野图像的异构高阶表示方法及装置,其中,方法包括:在全视野图像中选取至少一个关键区域,并对每个关键区域生成两类标签;根据预先构造的超图以及图模型分别使用超图神经网络与图神经网络对每个关键区域的标签进行融合,得到每个关键区域的区域标签;采取池化算法对所有区域标签进行融合,生成全视野图像的标签,并利用全连接神经网络生成生存预测值。由此,解决了相关技术在提取区域信息时,不仅会忽略浅层信息,还极易丢失对生存预测有价值的信息,导致难以从全视野图像中获取有代表性的信息,用于构造完整且有效的图结构,使得生存预测结果不够准确等问题。
Description
技术领域
本申请涉及全视野图像的生存预测技术领域,特别涉及一种用于生存预测的全视野图像的异构高阶表示方法及装置。
背景技术
在医疗方面的研究中,全视野图像由于其高分辨率以及其含有丰富的病理信息的特点,成为最重要的数据源之一,根据全视野图像预测癌症患者的生存成为其重要应用之一。近年来,基于全视野图像的生存预测越来越受到关注,然而,由于全视野图像拥有的十亿像素级别,导致其无法使用深度神经网络直接获取特征进行生存分析。因此,如何从全视野图像获取有代表性的信息从而进行准确的预测成为一个有挑战性的问题。
相关技术中,采取从全视野图像采样一定数量的区域,获取区域级别的信息,并通过一系列信息聚合的策略获得一个完整表示的方式,且在区域的信息提取中,采用卷积神经网络,并使用深层高级信息表示区域特征。
然而,卷积神经网络比较复杂,并且忽略了编码边缘和纹理的浅层信息,尤为重要的是,由于病理相关的数据较为复杂,因此构造用于表示学习的完整且有效的图结构亦是一个难题,而基于图结构做生存预测的模型难以避免丢失被认为对生存预测有价值的信息,且对高阶信息和低阶信息使用相同的图结构难以使方案达到最佳效果,亟需改善。
综上,相关技术中关于全视野图像上的生存预测的主要问题在于:
(1)难以从全视野图像获取有代表性的信息。
(2)难以构造用于表示学习的完整且有效的图结构。
因此,相关技术亟待改进。
申请内容
本申请提供一种用于生存预测的全视野图像的异构高阶表示方法及装置,以解决相关技术在提取区域信息时,不仅会忽略浅层信息,还极易丢失对生存预测有价值的信息,导致难以从全视野图像中获取有代表性的信息,用于构造完整且有效的图结构,使得生存预测结果不够准确等问题。
本申请第一方面实施例提供一种用于生存预测的全视野图像的异构高阶表示方法,包括以下步骤:在全视野图像中选取至少一个关键区域,并对每个关键区域生成两类标签;根据预先构造的超图以及图模型分别使用超图神经网络与图神经网络对所述每个关键区域的标签进行融合,得到所述每个关键区域的区域标签,其中,所述超图模型以及图模型由标签之间的关系以及关键区域之间的位置关系构建得到;以及采取池化算法对所有区域标签进行融合,生成所述全视野图像的标签,并利用全连接神经网络生成生存预测值。
可选地,在本申请的一个实施例中,所述在全视野图像中选取至少一个关键区域,并对每个关键区域生成两类标签,包括:在所述全视野图像中,选取包含细胞或组织的所述至少一个关键区域;对于所述每个关键区域,分别使用深层卷积神经网络和低层卷积神经网络构造所述每个关键区域的两类标签。
可选地,在本申请的一个实施例中,所述选取包含细胞和/或组织的所述至少一个关键区域,包括:在所述全视野图像中,随机选取任一区域;判断所述任一区域是否含有目标数量的细胞或者组织;若含有所述目标数量的细胞或者组织,则保留,否则不保留,直至选取数量达到预设数量。
可选地,在本申请的一个实施例中,所述根据预先构造的超图以及图模型分别使用超图神经网络与图神经网络对所述每个关键区域的标签进行融合,得到所述每个关键区域的区域标签,包括:将所述每个关键区域作为一个节点,每一个节点利用预设低阶的标签和位置信息寻找附近的节点,连接成边,生成初始图;基于所述初始图,将所述初始图的二阶邻居相连,得到最终图;将所述每一个节点当作中心点,利用预设高阶的标签和位置信息寻找附近的节点,并用超边连接,得到超图。
可选地,在本申请的一个实施例中,所述采取池化算法对所有区域标签进行融合,生成所述全视野图像的标签,并利用全连接神经网络生成生存预测值,包括:使用池化操作将融合之后的所有区域标签池化为代表所述全视野图像的标签;使用所述全连接神经网络,将所述全视野图像的标签作为输入,得到所述生存预测值。
本申请第二方面实施例提供一种用于生存预测的全视野图像的异构高阶表示装置,包括:生成模块,用于在全视野图像中选取至少一个关键区域,并对每个关键区域生成两类标签;融合模块,用于根据预先构造的超图以及图模型分别使用超图神经网络与图神经网络对所述每个关键区域的标签进行融合,得到所述每个关键区域的区域标签,其中,所述超图模型以及图模型由标签之间的关系以及关键区域之间的位置关系构建得到;以及预测模块,用于采取池化算法对所有区域标签进行融合,生成所述全视野图像的标签,并利用全连接神经网络生成生存预测值。
可选地,在本申请的一个实施例中,所述生成模块,包括:关键区域选取单元,用于在所述全视野图像中,选取包含细胞或组织的所述至少一个关键区域;构造单元,用于对于所述每个关键区域,分别使用深层卷积神经网络和低层卷积神经网络构造所述每个关键区域的两类标签。
可选地,在本申请的一个实施例中,所述关键区域选取单元进一步用于,在所述全视野图像中,随机选取任一区域,并且判断所述任一区域是否含有目标数量的细胞或者组织,且若含有所述目标数量的细胞或者组织,则保留,否则不保留,直至选取数量达到预设数量。
可选地,在本申请的一个实施例中,所述融合模块进一步用于,将所述每个关键区域作为一个节点,每一个节点利用预设低阶的标签和位置信息寻找附近的节点,连接成边,生成初始图,并且基于所述初始图,将所述初始图的二阶邻居相连,得到最终图,且将所述每一个节点当作中心点,利用预设高阶的标签和位置信息寻找附近的节点,并用超边连接,得到超图。
可选地,在本申请的一个实施例中,所述预测模块,包括:池化单元,用于使用池化操作将融合之后的所有区域标签池化为代表所述全视野图像的标签;预测单元,用于使用所述全连接神经网络,将所述全视野图像的标签作为输入,得到所述生存预测值。
本申请第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的用于生存预测的全视野图像的异构高阶表示方法。
本申请第四方面实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行,以用于实现如权利要求1-5任一项所述的用于生存预测的全视野图像的异构高阶表示方法。
本申请实施例通过深度不同的卷积神经网络得到该全视野图像中不同区域的两类标签,并根据标签之间的关系以及选取区域的位置关系构建超图模型以及图模型,进而使用超图神经网络以及图神经网络对每一个区域的标签进行融合,提高了在全视野图像中获取信息以及融合信息的能力,从而优化了生存预测算法的准确性。由此,解决了相关技术在提取区域信息时,不仅会忽略浅层信息,还极易丢失对生存预测有价值的信息,导致难以从全视野图像中获取有代表性的信息,用于构造完整且有效的图结构,使得生存预测结果不够准确。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本申请实施例提供的一种用于生存预测的全视野图像的异构高阶表示方法的流程图;
图2为根据本申请一个具体实施例提供的一种用于生存预测的全视野图像的异构高阶表示方法的原理示意图;
图3为根据本申请实施例提供的一种用于生存预测的全视野图像的异构高阶表示装置的结构示意图;
图4为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的用于生存预测的全视野图像的异构高阶表示方法及装置。针对上述背景技术中心提到的相关技术在提取区域信息时,不仅会忽略浅层信息,还极易丢失对生存预测有价值的信息,导致难以从全视野图像中获取有代表性的信息,用于构造完整且有效的图结构,使得生存预测结果不够准确的问题,本申请提供了一种用于生存预测的全视野图像的异构高阶表示方法,在该方法中,通过深度不同的卷积神经网络得到该全视野图像中不同区域的两类标签,并根据标签之间的关系以及选取区域的位置关系构建超图模型以及图模型,进而使用超图神经网络以及图神经网络对每一个区域的标签进行融合,提高了在全视野图像中获取信息以及融合信息的能力,从而优化了生存预测算法的准确性。由此,解决了相关技术在提取区域信息时,不仅会忽略浅层信息,还极易丢失对生存预测有价值的信息,导致难以从全视野图像中获取有代表性的信息,用于构造完整且有效的图结构,使得生存预测结果不够准确等问题。
具体而言,图1为本申请实施例所提供的一种用于生存预测的全视野图像的异构高阶表示方法的流程示意图。
如图1所示,该用于生存预测的全视野图像的异构高阶表示方法包括以下步骤:
在步骤S101中,在全视野图像中选取至少一个关键区域,并对每个关键区域生成两类标签。
在实际执行过程中,本申请实施例可以在全视野图像中选取至少一个关键区域,并利用深度高以及深度低的两种卷积神经网络对每一个区域生成两类标签,其中,两类标签可以是高阶标签和低阶标签。本申请实施例对于细胞和组织的全视野图像,通过深度不同的卷积神经网络得到该全视野图像中不同区域的两类标签的特征,进而实现更为丰富的全视野图像局部表示。
需要说明的是,深度高以及深度低的两种卷积神经网络可以由本领域技术人员根据实际情况进行设定,在此不做具体限制。
可选地,在本申请的一个实施例中,在全视野图像中选取至少一个关键区域,并对每个关键区域生成两类标签,包括:在全视野图像中,选取包含细胞或组织的至少一个关键区域;对于每个关键区域,分别使用深层卷积神经网络和低层卷积神经网络构造每个关键区域的两类标签。
作为一种可能实现的方式,本申请实施例在全视野图像中,可以选取包含细胞或组织的至少一个关键区域,并对每个关键区域,分别使用深层卷积神经网络和底层卷积神经网络构造每个关键区域的两类标签。举例而言,当关键区域的两类标签设置为高阶标签和低阶标签时,本申请实施例可以使用预先训练的34层的残差神经网络对每一个区域抽取标签,每一个区域可以使用残差神经网络第33层的输出作为该区域的高阶标签,使用残差神经网络的第28层作为该区域的低阶标签。
需要说明的是,预先训练的残差神经网络以及作为区域标签的残差神经网络的具体层数,可以由本领域技术人员根据实际情况进行相应修改,在此不做具体限制。
其中,在本申请的一个实施例中,选取包含细胞和/或组织的至少一个关键区域,包括:在全视野图像中,随机选取任一区域;判断任一区域是否含有目标数量的细胞或者组织;若含有目标数量的细胞或者组织,则保留,否则不保留,直至选取数量达到预设数量。
在一些情况下,本申请实施例选取包含细胞或者组织的至少一个关键区域时,在随机选取任一区域后,可以判断该区域是否含有目标数量的细胞或者组织,如果含有目标数量的细胞或者组织,则保留,否则不保留,直至选取数量达到一定数量。举例而言,本申请实施例在随机选取区域后,可以使用OSTU算法,判断该区域是否含有一定数量的细胞或者组织,并避免某些噪声区域,例如血液、空白或侵蚀等;若该区域含有一定数量的细胞或者组织并且不含有噪声,则保留该区域,否则不保留,直到选取一定数量为止。
需要说明的是,预设数量可以由本领域技术人员根据实际情况进行相应设置,在此不做具体限制。
在步骤S102中,根据预先构造的超图以及图模型分别使用超图神经网络与图神经网络对每个关键区域的标签进行融合,得到每个关键区域的区域标签,其中,超图模型以及图模型由标签之间的关系以及关键区域之间的位置关系构建得到。
可以理解的是,本申请实施例可以根据标签之间的关系以及选取区域的位置关系,构建超图模型以及图模型,并根据构造的超图模型以及图模型,分别使用超图神经网络以及图神经网络对每一个区域的两类标签,如高阶标签和低阶标签,进行融合。本申请实施例通过融合深层残差网络和低层残差网络提取的两类标签的信息,提高了在全视野图像中获取信息以及融合信息的能力,从而优化了生存预测算法的准确性。
具体地,本申请实施例利用图和超图,使用图神经网络以及超图神经网络分别对低阶标签和高阶标签进行融合,可以根据图拉普拉斯,在构建的图以及各个区域低阶标签拼接的矩阵Xl的图神经网络可以表示为:
本申请实施例可以使用三层的超图神经网络进行标签表示的深度传播,基于本申请实施例的目标为实现全局表示,全视野图像上的深度传播有利于区域标签的信息聚合,因此更符合本申请实施例的实际需求。
根据超图拉普拉斯,本申请实施例在构建的超图以及各个区域高阶标签拼接的矩阵Xh的超图神经网络可以表示为:
在实际执行过程中,本申请实施例使用的超图神经网络的层数可以为2。
本申请实施例融合了深层残差网络和低层残差网络提取的两类标签的信息,提高了在全视野图像中获取信息以及融合信息的能力,从而优化了生存预测算法的准确性。
可选地,在本申请的一个实施例中,根据预先构造的超图以及图模型分别使用超图神经网络与图神经网络对每个关键区域的标签进行融合,得到每个关键区域的区域标签,包括:将每个关键区域作为一个节点,每一个节点利用预设低阶的标签和位置信息寻找附近的节点,连接成边,生成初始图;基于初始图,将初始图的二阶邻居相连,得到最终图;将每一个节点当作中心点,利用预设高阶的标签和位置信息寻找附近的节点,并用超边连接,得到超图。
作为一种可以实现的方式,本申请实施例可以将每一个区域视为一个节点,每一个节点利用低阶的标签和位置信息寻找附近的节点,连接成边,得到图,在该图的基础上,将图的二阶邻居相连,得到最终的图。每一个节点当作中心点利用高阶的标签和位置信息寻找附近的节点,并将这些节点用一条超边连接,得到超图。
可以理解的是,在构造图和超图的过程中,本申请实施例不只使用提取的标签作为信息,还使用了区域的位置作为拓扑信息。在实际情况中,每个图或超图由多个建立在结构空间上的子图或子超图组成,故本申请实施例设选取的区域数目为N。
低阶图中,将每一个区域看成一个节点,两个节点具有相似的低阶标签则用边相连。在图中,每一个节点j都与其最近的K个邻居连接,可以根据欧几里得距离对边加权。在空间超图中,本申请实施例采取类似操作,得到两个一跳的图的邻接矩阵进一步地,通过考虑两种一跳的图的每个节点的邻居的邻居,得到两跳的图的邻接矩阵将多个子图聚合为一个图,进而得到其邻接矩阵并根据邻接矩阵得到图拉普拉斯矩阵L=D-A,其中,A为邻接矩阵,D为图的度数矩阵。
本申请实施例可以通过构建超图,处理高阶标签,子超图是根据高阶标签或者是位置信息而生成的,具体而言,如果几个区域的含有相似的高阶标签,那么这几个区域使用一条超边相连接,将每一个区域视为一个中心节点,通过将其与标签特征空间中的K个最近邻连接为其生成一条超边,进而可以获得N条超边。另一个子超图也可以通过超边生成,同样的,每个超边连接空间中相邻的多个邻居。本申请实施例中,超图、点和超边的关系可以表示为一个关联矩阵H:
其中,w为点v在超边e的权重,该权重由v和超边中间点的欧几里得距离决定。
点的度数以及边的度数可以定义为:
d(v)=∑e∈Ew(e)h(v,e),d(e)=∑v∈Vh(v,e),
超图拉普拉斯矩阵定义为:
Δ=I-Θ,
在步骤S103中,采取池化算法对所有区域标签进行融合,生成全视野图像的标签,并利用全连接神经网络生成生存预测值。
举例而言,本申请实施例可以采取池化算法,融合所有区域标签,并使用全连接神经网络生成生存预测值。本申请实施例通过融合深层残差网络和低层残差网络提取的两类标签的信息,可以提高在全视野图像中获取信息以及融合信息的能力,从而优化了生存预测算法的准确性。
可选地,在本申请的一个实施例中,采取池化算法对所有区域标签进行融合,生成全视野图像的标签,并利用全连接神经网络生成生存预测值,包括:使用池化操作将融合之后的所有区域标签池化为代表全视野图像的标签;使用全连接神经网络,将全视野图像的标签作为输入,得到生存预测值。
具体地,本申请实施例使用池化操作将融合之后的所有标签池化为代表全视野图像的标签;并使用池化操作将融合之后的所有标签池化为代表全视野图像的标签。由于高阶标签和低阶标签均会对后续获取生存预测值产生影响,故本申请实施例将图神经网络以及超图神经网络最后得到的矩阵进行最大池化操作,得到高阶表示全视野图像的标签xh以及低阶表示全视野图像的标签xl。
本申请实施例可以使用全连接神经网络,将全视野图像的标签作为输入,输出即为生存预测值使用全连接神经网络,将全视野图像的标签作为输入,输出即为生存预测值。该预测过程具体为一个回归网络,具体来说,本申请是实力使用的是多层感知机,输入两种标签,输出则为从全局特征回归得到的风险评估分数。
在进行模型优化中,本申请实施例使用了两种损失函数进行训练,第一种是负部分似然损失,定义为
其中,Si,Ti表示第i个样本的状态以及生存时间,Ri表示的是生存预测分数。
本申请实施例还定义了排序损失函数
下面结合图2,对本申请的一个具体实施例进行详细阐述。
如图2所示,本申请实施例包括以下步骤:
步骤S201:选取关键区域生成标签。本申请实施例在全视野图像中,选取包含细胞或者组织的关键区域,对于每一个关键的区域,分别使用深层卷积神经网络和低层卷积神经网络构造每一个关键区域的两种标签。
其中,在选取关键区域时,本申请实施例在全视野图像中随机选取区域,并使用OSTU算法判断区域是否含有一定数量的细胞或者组织,并避免某些噪声区域,例如血液、空白或侵蚀等;若含有一定数量的细胞或者组织并且不含有噪声则保留,否则不保留。直到选取一定数量为止。
在选取关键区域之后,本申请实施例使用预训练的34层的残差神经网络对每一个区域抽取标签,每一个区域使用残差神经网络第33层的输出作为该区域的高阶标签,使用残差神经网络的第28层作为该区域的低阶标签。本申请实施例对于细胞和组织的全视野图像,通过深度不同的卷积神经网络得到该全视野图像中不同区域的两类标签的特征,进而实现更为丰富的全视野图像局部表示。
步骤S202:构造模型进行标签融合。本申请实施例根据标签之间的关系以及选取区域的位置关系,构建超图模型以及图模型,根据构造的超图以及图模型,分别使用超图神经网络以及图神经网络对每一个区域的标签进行融合。
其中,本申请实施例在构造图和超图的过程中,除了使用提取的标签作为信息,还使用区域的位置作为拓扑信息。同时在实现中,每个图或超图由多个建立在结构空间上的子图或子超图组成,此处,设选取的区域数目为N。
低阶图中,本申请实施例把每一个区域看成是一个节点,两个节点具有相似的低阶标签则用边相连。在图中,每一个节点j都与它最近的K个邻居连接,根据欧几里得距离对边加权。在空间超图中,本申请实施例通过类似操作,得到两个一跳的图的邻接矩阵进一步,本申请实施例考虑两种一跳的图的每个节点的邻居的邻居,得到两跳的图的邻接矩阵本申请实施例将多个子图聚合为一个图,进而得到其邻接矩阵 根据邻接矩阵可以得到图拉普拉斯矩阵L=D-A,其中,A是邻接矩阵,D是图的度数矩阵。
本申请实施例可以通过构建超图,处理高阶标签,子超图是根据高阶标签或者是位置信息而生成的,具体而言,如果几个区域的含有相似的高阶标签,那么这几个区域使用一条超边相连接。每一个区域视为一个中心节点,通过将其与标签特征空间中的K个最近邻连接为它生成一条超边,从而获得N条超边。另一个子超图也通过超边生成,每个超边连接空间中相邻的多个邻居。对于超图,点和超边的关系可以表示为一个关联矩阵H:
其中,w为点v在超边e的权重,该权重由v和超边中间点的欧几里得距离决定。
点的度数以及边的度数定义为:
d(v)=∑e∈Ew(e)h(v,e),d(e)=∑v∈Vh(v,e),
定义矩阵:
超图拉普拉斯矩阵定义为:
Δ=I-Θ,
其中,W为超边的权重矩阵,对角矩阵Dv和De分别表示点和边的权重矩阵。
本申请实施例利用图和超图,使用图神经网络以及超图神经网络分别对低阶标签和高阶标签进行融合。
根据图拉普拉斯,本申请实施例在构建的图以及各个区域低阶标签拼接的矩阵Xl的图神经网络可以表示为:
其中,表示对称归一化的邻接矩阵,W(k)是神经网络第k层的权重。本申请实施例使用三层的超图神经网络进行标签表示的深度传播,由于本申请实施例的目标时实现全局表示,故全视野图像上的深度传播有利于区域标签的信息聚合。
根据超图拉普拉斯,本申请实施例在构建的超图以及各个区域高阶标签拼接的矩阵Xh的超图神经网络可以表示为:
在实际中,本申请实施例使用的超图神经网络的层数可以为2。本申请实施例融合了深层残差网络和低层残差网络提取的两类标签的信息,提高了在全视野图像中获取信息以及融合信息的能力,从而优化了生存预测算法的准确性。
步骤S203:根据标签进行生成预测。本申请实施例采取池化算法对超图神经网络以及图神经网络得到的所有区域标签进行融合,融合成全视野图像的标签,标签使用全连接神经网络生成生存预测值。
其中,池化操作具体表现在,本申请实施例使用池化操作将融合之后的所有标签池化为代表全视野图像的标签。由于高低阶标签都会对最终结果产生影响,本申请实施例将图神经网络以及超图神经网络最后得到的矩阵进行最大池化操作,得到高阶表示全视野图像的标签xh以及低阶表示全视野图像的标签xl。
本申请实施例使用全连接神经网络,将全视野图像的标签作为输入,输出即为生存预测值。本申请实施例可以通过回归网络进行预测,具体来说,我们使用的是多层感知机,输入两种标签,输出则为从全局特征回归得到的风险评估分数。
本申请实施例在进行模型优化中,使用两种损失函数进行训练,第一种是负部分似然损失,定义为:
其中Si、Ti表示第i个样本的状态以及生存时间,Ri表示的是生存预测分数。
排序损失函数定义为:
根据本申请实施例提出的用于生存预测的全视野图像的异构高阶表示方法,通过深度不同的卷积神经网络得到该全视野图像中不同区域的两类标签,并根据标签之间的关系以及选取区域的位置关系构建超图模型以及图模型,进而使用超图神经网络以及图神经网络对每一个区域的标签进行融合,提高了在全视野图像中获取信息以及融合信息的能力,从而优化了生存预测算法的准确性。由此,解决了相关技术在提取区域信息时,不仅会忽略浅层信息,还极易丢失对生存预测有价值的信息,导致难以从全视野图像中获取有代表性的信息,用于构造完整且有效的图结构,使得生存预测结果不够准确等问题。
其次参照附图描述根据本申请实施例提出的用于生存预测的全视野图像的异构高阶表示装置。
图3是本申请实施例的用于生存预测的全视野图像的异构高阶表示装置的方框示意图。
如图3所示,该用于生存预测的全视野图像的异构高阶表示装置10包括:生成模块100、融合模块200和预测模块300。
具体地,生成模块100,用于在全视野图像中选取至少一个关键区域,并对每个关键区域生成两类标签。
融合模块200,用于根据预先构造的超图以及图模型分别使用超图神经网络与图神经网络对每个关键区域的标签进行融合,得到每个关键区域的区域标签,其中,超图模型以及图模型由标签之间的关系以及关键区域之间的位置关系构建得到。
预测模块300,用于采取池化算法对所有区域标签进行融合,生成全视野图像的标签,并利用全连接神经网络生成生存预测值。
可选地,在本申请的一个实施例中,生成模块100包括:关键区域选取单元和构造单元。
其中,关键区域选取单元,用于在全视野图像中,选取包含细胞或组织的至少一个关键区域。
构造单元,用于对于每个关键区域,分别使用深层卷积神经网络和低层卷积神经网络构造每个关键区域的两类标签。
可选地,在本申请的一个实施例中,关键区域选取单元进一步用于,在全视野图像中,随机选取任一区域,并且判断任一区域是否含有目标数量的细胞或者组织,且若含有目标数量的细胞或者组织,则保留,否则不保留,直至选取数量达到预设数量。
可选地,在本申请的一个实施例中,融合模块200进一步用于,将每个关键区域作为一个节点,每一个节点利用预设低阶的标签和位置信息寻找附近的节点,连接成边,生成初始图,并且基于初始图,将初始图的二阶邻居相连,得到最终图,且将每一个节点当作中心点,利用预设高阶的标签和位置信息寻找附近的节点,并用超边连接,得到超图。
可选地,在本申请的一个实施例中,预测模块300包括:池化单元和预测单元。
其中,池化单元,用于使用池化操作将融合之后的所有区域标签池化为代表全视野图像的标签。
预测单元,用于使用全连接神经网络,将全视野图像的标签作为输入,得到生存预测值。
需要说明的是,前述对用于生存预测的全视野图像的异构高阶表示方法实施例的解释说明也适用于该实施例的用于生存预测的全视野图像的异构高阶表示装置,此处不再赘述。
根据本申请实施例提出的用于生存预测的全视野图像的异构高阶表示装置,通过深度不同的卷积神经网络得到该全视野图像中不同区域的两类标签,并根据标签之间的关系以及选取区域的位置关系构建超图模型以及图模型,进而使用超图神经网络以及图神经网络对每一个区域的标签进行融合,提高了在全视野图像中获取信息以及融合信息的能力,从而优化了生存预测算法的准确性。由此,解决了相关技术在提取区域信息时,不仅会忽略浅层信息,还极易丢失对生存预测有价值的信息,导致难以从全视野图像中获取有代表性的信息,用于构造完整且有效的图结构,使得生存预测结果不够准确等问题。
图4为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括:
存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
处理器402执行程序时实现上述实施例中提供的用于生存预测的全视野图像的异构高阶表示方法。
进一步地,电子设备还包括:
通信接口403,用于存储器401和处理器402之间的通信。
存储器401,用于存放可在处理器402上运行的计算机程序。
存储器401可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器401、处理器402和通信接口403独立实现,则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent,简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器401、处理器402及通信接口403,集成在一块芯片上实现,则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
处理器402可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的用于生存预测的全视野图像的异构高阶表示方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种用于生存预测的全视野图像的异构高阶表示方法,其特征在于,包括以下步骤:
在全视野图像中选取至少一个关键区域,并对每个关键区域生成两类标签;
根据预先构造的超图以及图模型分别使用超图神经网络与图神经网络对所述每个关键区域的标签进行融合,得到所述每个关键区域的区域标签,其中,所述超图模型以及图模型由标签之间的关系以及关键区域之间的位置关系构建得到;以及
采取池化算法对所有区域标签进行融合,生成所述全视野图像的标签,并利用全连接神经网络生成生存预测值。
2.根据权利要求1所述的方法,其特征在于,所述在全视野图像中选取至少一个关键区域,并对每个关键区域生成两类标签,包括:
在所述全视野图像中,选取包含细胞或组织的所述至少一个关键区域;
对于所述每个关键区域,分别使用深层卷积神经网络和低层卷积神经网络构造所述每个关键区域的两类标签。
3.根据权利要求2所述的方法,其特征在于,所述选取包含细胞和/或组织的所述至少一个关键区域,包括:
在所述全视野图像中,随机选取任一区域;
判断所述任一区域是否含有目标数量的细胞或者组织;
若含有所述目标数量的细胞或者组织,则保留,否则不保留,直至选取数量达到预设数量。
4.根据权利要求1所述的方法,其特征在于,所述根据预先构造的超图以及图模型分别使用超图神经网络与图神经网络对所述每个关键区域的标签进行融合,得到所述每个关键区域的区域标签,包括:
将所述每个关键区域作为一个节点,每一个节点利用预设低阶的标签和位置信息寻找附近的节点,连接成边,生成初始图;
基于所述初始图,将所述初始图的二阶邻居相连,得到最终图;
将所述每一个节点当作中心点,利用预设高阶的标签和位置信息寻找附近的节点,并用超边连接,得到超图。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述采取池化算法对所有区域标签进行融合,生成所述全视野图像的标签,并利用全连接神经网络生成生存预测值,包括:
使用池化操作将融合之后的所有区域标签池化为代表所述全视野图像的标签;
使用所述全连接神经网络,将所述全视野图像的标签作为输入,得到所述生存预测值。
6.一种用于生存预测的全视野图像的异构高阶表示装置,其特征在于,包括:
生成模块,用于在全视野图像中选取至少一个关键区域,并对每个关键区域生成两类标签;
融合模块,用于根据预先构造的超图以及图模型分别使用超图神经网络与图神经网络对所述每个关键区域的标签进行融合,得到所述每个关键区域的区域标签,其中,所述超图模型以及图模型由标签之间的关系以及关键区域之间的位置关系构建得到;以及
预测模块,用于采取池化算法对所有区域标签进行融合,生成所述全视野图像的标签,并利用全连接神经网络生成生存预测值。
7.根据权利要求6所述的装置,其特征在于,所述融合模块进一步用于,将所述每个关键区域作为一个节点,每一个节点利用预设低阶的标签和位置信息寻找附近的节点,连接成边,生成初始图,并且基于所述初始图,将所述初始图的二阶邻居相连,得到最终图,且将所述每一个节点当作中心点,利用预设高阶的标签和位置信息寻找附近的节点,并用超边连接,得到超图。
8.根据权利要求6所述的装置,其特征在于,所述预测模块,包括:
池化单元,用于使用池化操作将融合之后的所有区域标签池化为代表所述全视野图像的标签;
预测单元,用于使用所述全连接神经网络,将所述全视野图像的标签作为输入,得到所述生存预测值。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-5任一项所述的用于生存预测的全视野图像的异构高阶表示方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-5任一项所述的用于生存预测的全视野图像的异构高阶表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210081050.1A CN114549896A (zh) | 2022-01-24 | 2022-01-24 | 用于生存预测的全视野图像的异构高阶表示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210081050.1A CN114549896A (zh) | 2022-01-24 | 2022-01-24 | 用于生存预测的全视野图像的异构高阶表示方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114549896A true CN114549896A (zh) | 2022-05-27 |
Family
ID=81672536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210081050.1A Pending CN114549896A (zh) | 2022-01-24 | 2022-01-24 | 用于生存预测的全视野图像的异构高阶表示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549896A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115439449A (zh) * | 2022-09-06 | 2022-12-06 | 抖音视界有限公司 | 全视野组织学图像的处理方法、装置、介质和电子设备 |
CN115861275A (zh) * | 2022-12-26 | 2023-03-28 | 中南大学 | 细胞计数方法、装置、终端设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140107437A1 (en) * | 2011-06-30 | 2014-04-17 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | System and method of determining a susceptibility to cardiorespiratory insufficiency |
CN110993106A (zh) * | 2019-12-11 | 2020-04-10 | 深圳市华嘉生物智能科技有限公司 | 一种结合病理图像和临床信息的肝癌术后复发风险预测方法 |
CN112819768A (zh) * | 2021-01-26 | 2021-05-18 | 复旦大学 | 基于dcnn的癌症全视野数字病理切片生存分析方法 |
US20210271847A1 (en) * | 2019-06-25 | 2021-09-02 | Owkin Inc. | Systems and methods for image preprocessing |
CN113947607A (zh) * | 2021-09-29 | 2022-01-18 | 电子科技大学 | 一种基于深度学习的癌症病理图像生存预后模型构建方法 |
-
2022
- 2022-01-24 CN CN202210081050.1A patent/CN114549896A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140107437A1 (en) * | 2011-06-30 | 2014-04-17 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | System and method of determining a susceptibility to cardiorespiratory insufficiency |
US20210271847A1 (en) * | 2019-06-25 | 2021-09-02 | Owkin Inc. | Systems and methods for image preprocessing |
CN110993106A (zh) * | 2019-12-11 | 2020-04-10 | 深圳市华嘉生物智能科技有限公司 | 一种结合病理图像和临床信息的肝癌术后复发风险预测方法 |
CN112819768A (zh) * | 2021-01-26 | 2021-05-18 | 复旦大学 | 基于dcnn的癌症全视野数字病理切片生存分析方法 |
CN113947607A (zh) * | 2021-09-29 | 2022-01-18 | 电子科技大学 | 一种基于深度学习的癌症病理图像生存预后模型构建方法 |
Non-Patent Citations (1)
Title |
---|
DONGLIN DI等: "Big-Hypergraph Factorization Neural Network for Survival Prediction From Whole Slide Image", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, 4 January 2022 (2022-01-04) * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115439449A (zh) * | 2022-09-06 | 2022-12-06 | 抖音视界有限公司 | 全视野组织学图像的处理方法、装置、介质和电子设备 |
CN115439449B (zh) * | 2022-09-06 | 2023-05-09 | 抖音视界有限公司 | 全视野组织学图像的处理方法、装置、介质和电子设备 |
WO2024051655A1 (zh) * | 2022-09-06 | 2024-03-14 | 抖音视界有限公司 | 全视野组织学图像的处理方法、装置、介质和电子设备 |
CN115861275A (zh) * | 2022-12-26 | 2023-03-28 | 中南大学 | 细胞计数方法、装置、终端设备及介质 |
CN115861275B (zh) * | 2022-12-26 | 2024-02-06 | 中南大学 | 细胞计数方法、装置、终端设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230196117A1 (en) | Training method for semi-supervised learning model, image processing method, and device | |
CN112990211B (zh) | 一种神经网络的训练方法、图像处理方法以及装置 | |
CN114549896A (zh) | 用于生存预测的全视野图像的异构高阶表示方法及装置 | |
US10915767B2 (en) | Methods and systems for parking line marker detection and pairing and parking spot detection and classification | |
CN109033107B (zh) | 图像检索方法和装置、计算机设备和存储介质 | |
Li et al. | Topology-enhanced urban road extraction via a geographic feature-enhanced network | |
CN109871803B (zh) | 机器人回环检测方法和装置 | |
CN110276406B (zh) | 表情分类方法、装置、计算机设备及存储介质 | |
TW201835788A (zh) | 用於多維序列預測的方法和裝置 | |
CN112951386B (zh) | 影像驱动的脑图谱构建方法、装置、设备及存储介质 | |
CN112001401B (zh) | 用于实例分割的模型及训练方法,实例分割网络 | |
CN111382686A (zh) | 一种基于半监督生成对抗网络的车道线检测方法 | |
CN115273244B (zh) | 基于图神经网络的人体动作识别方法和*** | |
CN114861890B (zh) | 构建神经网络的方法、装置、计算设备及存储介质 | |
CN113792768A (zh) | 超图神经网络分类方法和装置 | |
CN107451617B (zh) | 一种图转导半监督分类方法 | |
CN114202035B (zh) | 一种多特征融合的大规模网络社区检测算法 | |
CN114565092A (zh) | 一种神经网络结构确定方法及其装置 | |
CN112016617A (zh) | 细粒度分类方法、装置及计算机可读存储介质 | |
CN113158970B (zh) | 一种基于快慢双流图卷积神经网络的动作识别方法与*** | |
CN113554656B (zh) | 基于图神经网络的光学遥感图像实例分割方法及装置 | |
CN112860936A (zh) | 一种基于稀疏图相似度迁移的视觉行人重识别方法 | |
CN115690737A (zh) | 一种车位检测方法、装置、电子设备及存储介质 | |
CN116110074A (zh) | 一种基于图神经网络的动态小股行人识别方法 | |
CN114067081A (zh) | 一种基于双向增强网络的3d牙齿模型分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |