CN116012353A - 一种基于图卷积神经网络的数字病理组织图像识别方法 - Google Patents
一种基于图卷积神经网络的数字病理组织图像识别方法 Download PDFInfo
- Publication number
- CN116012353A CN116012353A CN202310073714.4A CN202310073714A CN116012353A CN 116012353 A CN116012353 A CN 116012353A CN 202310073714 A CN202310073714 A CN 202310073714A CN 116012353 A CN116012353 A CN 116012353A
- Authority
- CN
- China
- Prior art keywords
- neural network
- image
- graph
- digital pathological
- pathological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于图卷积神经网络的数字病理组织图像识别方法,属于医学图像处理领域。该方法包括以下步骤:S1:获取病理组织切片图像,并进行预处理;S2:构建包含卷积神经网络模块,图卷积神经网络模块和特征融合模块的数字病理组织图像识别网络模型,采用预处理后的数字病理图像进行模型训练;S3:利用训练后的数字病理图像识别模型对应识别数字病理图像中病理组织的类别属性。对训练集进行扩充,有效避免卷积网络训练过拟合,从而实现更好的鲁棒性和泛化性能。利用图像特征与标签依赖特征融合,增加深度学习模型可学习的特征,从而改善深度学习模型对数字病理图像的分类识别能力。
Description
技术领域
本发明属于医学图像处理领域,涉及一种基于图卷积神经网络的数字病理组织图像识别方法。
背景技术
随着计算机视觉技术的不断发展,计算机辅助诊断与AI结合逐渐紧密。计算病理学在辅助病理学家进行数字病理诊断过程中起到了重要作用,极大提高了诊断准确率与诊断速度。同时,病理量化分析对于诸如乳腺癌、肺癌等肿瘤诊断具有极其重要的意义。病理图像是病理分析的基础,组织病理的多数形态属性都是通过病理图像进行推断分析得到的。在数字病理图像分析量化工作中实现对病理图像的准确分析,将会极大提高辅助诊断的参考价值。
具体而言,数字病理图像识别任务主要利用数字病理图像的可视化特征,进行多个组织类别、所属器官甚至疾病状态的高精度识别。但由于数字病理图像中组织基元高密度分布、组织之间粘连重叠,其精确识别一般依赖于深度学习方法,而非仅仅人工构造图像特征进行建模预测,借助卷积神经网络,深度学习模型能够提取数字病理图像的深层次特征,对图像特征到预测值进行回归训练,提高识别的精度和鲁棒性。
但在深度学习模型下,充分利用数字病理图像本身性质对提升识别效果十分重要。数字病理图像中病理组织往往同时出现,例如***与上皮组织,不同类别之间具有高度相关性。同时,病理组织具有等级制分类,例如上皮组织下属类别具有简单上皮、分层上皮等,分类时针对考虑各种子类的出现同样具有相关特性。所以,组织类别相关性以及依赖关系明显是数字病理图像本身具有的特征,但普通卷积神经网络无法建模这种相关信息,只能建模图像本身的特征,分类器效果很难进一步提升。因此,建模组织类别之间的相关性并有效提取标签中固有特征是一个关键问题。
发明内容
有鉴于此,本发明的目的在于提供一种基于图卷积神经网络的数字病理组织图像识别方法。利用图卷积神经网络模块将数字病理图像标签依赖信息进行高维建模,利用卷积神经网络提取数字病理图像特征;并由特征融合模块将标签建模特征与图像特征进行融合,通过标签依赖信息指导图像特征分类,显著提高数字病理图像识别分类精度,解决卷积神经网络无法提取图关系的问题,实现图关系建模并与卷积神经网络共同进行回归训练。
为达到上述目的,本发明提供如下技术方案:
一种基于图卷积神经网络的数字病理组织图像识别方法,该方法包括以下步骤:
S1:获取病理组织切片图像,并进行预处理;
S2:构建包含卷积神经网络模块,图卷积神经网络模块和特征融合模块的数字病理组织图像识别网络模型,采用预处理后的数字病理图像进行模型训练;
S3:利用训练后的数字病理图像识别模型对应识别数字病理图像中病理组织的类别属性。
可选的,所述步骤S1具体包括以下步骤:
S11:采集病理切片,并利用病理学常用染色方法增强病理组织对比度,利用数字显微镜对玻璃切片进行扫描,得到全视野数字病理图像数据;
S12:对全视野数字病理图像数据进行切割得到尺寸适合于计算机的较小图像,对图像内包含的病理组织类型进行人工标注;
S13:对标注后的数字病理图像数据进行归一化、尺度放缩、填充、随机裁剪以及水平翻转或垂直翻转的图像预处理。
可选的,所述步骤S2中,采用预处理后的数字病理图像数据进行模型训练具体包括以下步骤:
S21:利用卷积神经网络提取预处理后的数字病理图像数据的图像特征;
S22:利用图卷积神经网络建模统计数字病理图像数据中各病理组织类别之间的依赖与同时出现关系;
S23:利用特征融合模块将卷积神经网络提取的图像特征与图卷积神经网络提取的标签信息进行特征融合及预测分类分数;
S24:将经过特征融合的输出通过损失函数对分类预测分数进行训练。
可选的,所述步骤S21具体包括以下步骤:
可选的,所述步骤S22具体包括以下步骤:
S222:根据共现矩阵M构造条件概率矩阵Pij=P(Lj|Li)=Mij/Ni,其中Ni表示标签类别Li在训练集中总出现次数,得Pij=P(Lj|Li)表示当先验标签Li出现时Lj出现在样本图像中的条件概率;
S223:利用超参数阈值τ对条件概率Pij进行二值化,以滤除标签统计信息中的噪声,得到更贴近真实分布的共现矩阵,表示为:
其中,Aij表示二值化的共现矩阵;
S224、对二值化共现矩阵Aij按周围节点的考虑程度p加权,以解决训练过度平滑导致标签共现信息差异过小问题,表示为
其中p为超参数,p→1时,图节点特征更考虑周边节点,p→0时,图节点特征更考虑自身点特征,A′ij即为加权共现矩阵;
S225:以加权共现矩阵A′ij作为邻接矩阵进行图卷积计算,构成图卷积神经网络中的每一层:
其中表示为图卷积神经网络输入特征或上一层图卷积神经网络的输出,σ表示任一种激活函数;表示网络每一层中的可被学习的权重矩阵;Dl为权重矩阵所使用的维度参数,一般设为1024,而Dl+1表示下一层的期望维度,与Dl相同,最后一层网络的Dl+1与特征图通道数C相同;表示经过图卷积正则化的加权共现矩阵A′,具体为:
可选的,所述步骤S23具体包括:
可选的,所述步骤S24具体包括:
利用损失函数对经过特征融合的输出通过损失函数对分类预测分数进行训练,所述损失函数为加权二值交叉熵损失函数,表示为
本发明的有益效果在于:
步骤S1对训练集进行扩充,有效避免卷积网络训练过拟合,进一步扩大训练集,从而实现更好的鲁棒性和泛化性能。
步骤S2利用图像特征与标签依赖特征融合,增加深度学习模型可学习的特征,提高对训练数据信息利用程度,从而改善深度学习模型对数字病理图像的分类识别能力。
其中,步骤S21提取数字病理图像特征,利用卷积神经网络保证模型对病理组织图像的鲁棒性,为特征融合并进行分类器训练提供基础。
其中,步骤S22利用图卷积神经网络针对标签相关依赖信息进行建模,将共现矩阵的建模到图结构当中,经过图卷积网络传递学习,得到高维建模信息,从而实现对标签特征的提取。解决了深度学习当中无法处理标签对信息的问题。
其中,步骤S23利用矩阵乘法组合图像特征与标签特征,建立两种特征之间的关联,从而将不同标签信息进行了有效融合,并能充分利用数据信息计算预测类别分数。
其中,步骤S24利用加权二值交叉熵损失函数对预测分数进行训练,避免在数字病理图像中不同类别出现次数差距过大导致学习模型过于注重常见类别的情况。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明流程图;
图2为本发明实施例中数字病理组织图像识别网络模型结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
一种基于图卷积神经网络的医学数字病理组织图像识别方法,包括以下步骤:
S1、获取病理组织切片图像,并进行预处理;
S2、构建包含卷积神经网络模块,图卷积神经网络模块和特征融合模块的数字病理组织图像识别网络模型,采用预处理后的数字病理图像进行模型训练;
S3、利用训练后的数字病理图像识别模型对应识别数字病理图像中病理组织的类别属性。
进一步地,所述步骤S1具体包括以下分步骤:
S11、采集病理切片,并利用病理学常用染色方法增强病理组织对比度,利用数字显微镜对玻璃切片进行扫描,得到全视野数字病理图像数据;
S12、对全视野数字病理图像数据进行切割得到尺寸适合于计算机的较小图像,对图像内包含的病理组织类型进行人工标注;
S13、对标注后的数字病理图像数据进行归一化、尺度放缩、填充、随机裁剪以及水平翻转或垂直翻转的图像预处理。
进一步地,所述步骤S2采用预处理后的数字病理图像数据进行模型训练具体包括以下分步骤:
S21、利用卷积神经网络提取预处理后的数字病理图像数据的图像特征;
S22、利用图卷积神经网络建模统计数字病理图像数据中各病理组织类别之间的依赖与同时出现关系;
S23、利用特征融合模块将卷积神经网络提取的图像特征与图卷积神经网络提取的标签信息进行特征融合及预测分类分数;
S24、将经过特征融合的输出通过损失函数对分类预测分数进行训练。
进一步地,所述步骤S21具体包括以下分步骤:
进一步地,所述步骤S22具体包括以下分步骤:
S222、根据共现矩阵M构造条件概率矩阵Pij=P(Lj|Li)=Mij/Ni,其中Ni表示标签类别Li在训练集中总出现次数,可得Pij=P(Lj|Li)表示当先验标签Li出现时Lj出现在样本图像中的条件概率;
S223、利用超参数阈值τ对条件概率Pij进行二值化,以滤除标签统计信息中的噪声,得到更贴近真实分布的共现矩阵,表示为:
其中,Aij表示二值化的共现矩阵;
S224、对二值化共现矩阵Aij按周围节点的考虑程度p加权,以解决训练过度平滑导致标签共现信息差异过小问题,表示为
其中p为超参数,p→1时,图节点特征更考虑周边节点,p→0时,图节点特征更考虑自身点特征,A′ij即为加权共现矩阵;
S225、以加权共现矩阵A′ij作为邻接矩阵进行图卷积计算
其中表示为图卷积神经网络输入特征或上一层图卷积神经网络的输出,σ表示任一种激活函数;表示网络每一层中的可被学习的权重矩阵;Dl为权重矩阵所使用的维度参数,一般设为1024,而Dl+1表示下一层的期望维度,一般与Dl相同,但最后一层网络的Dl+1与特征图通道数C相同;表示经过图卷积正则化的加权共现矩阵A′,具体为:
进一步地,所述步骤S23具体包括:
进一步地,所述步骤S24具体包括:
利用损失函数对经过特征融合的输出通过损失函数对分类预测分数进行训练,所述损失函数为加权二值交叉熵损失函数,表示为
本发明在等级制分类病理组织数据集上有较好效果,针对分级病理组织数据ADP的实施例构造了基于图神经网络的病理组织识别模型,模型训练流程按照图1实现,模型网络架构如图2所示,模型使用TensorFlow架构在GPU上进行训练,训练过程使用随机梯度下降优化器,动量参数0.9,权重衰减系数0.0005,按照批次大小32训练80回合得到最终模型。
将本发明改进的模型与相同参数条件下训练的其他分类识别模型进行对比。实验结果如表1,实验中使用了VGG16、ResNet18、Inception-V3作为其他对比模型。
表1 ADP数据集实验对比
表1中,粗体表明该项分类性能指标优于对比模型,GCN+ResNet模型后的数字表示该模型中图神经网络部分所使用的超参数阈值τ的值。在该表中图神经网络的加入提升了VGG16、ResNet18、Inception-V3分类网络的分类性能,包括分类灵敏度(召回率)TPR、特异度TNR、正确率ACC以及F1分数。
试验结果表明对于普通卷积神经网络,图神经网络的改进能够让识别方法的识别准确率、F1分数等分类性能指标得到提高,本改进方法对现有的分类方法存在一定的普适性。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于图卷积神经网络的数字病理组织图像识别方法,其特征在于:该方法包括以下步骤:
S1:获取病理组织切片图像,并进行预处理;
S2:构建包含卷积神经网络模块,图卷积神经网络模块和特征融合模块的数字病理组织图像识别网络模型,采用预处理后的数字病理图像进行模型训练;
S3:利用训练后的数字病理图像识别模型对应识别数字病理图像中病理组织的类别属性。
2.根据权利要求1所述的一种基于图卷积神经网络的数字病理组织图像识别方法,其特征在于:所述步骤S1具体包括以下步骤:
S11:采集病理切片,并利用病理学常用染色方法增强病理组织对比度,利用数字显微镜对玻璃切片进行扫描,得到全视野数字病理图像数据;
S12:对全视野数字病理图像数据进行切割得到尺寸适合于计算机的较小图像,对图像内包含的病理组织类型进行人工标注;
S13:对标注后的数字病理图像数据进行归一化、尺度放缩、填充、随机裁剪以及水平翻转或垂直翻转的图像预处理。
3.根据权利要求2所述的一种基于图卷积神经网络的数字病理组织图像识别方法,其特征在于:所述步骤S2中,采用预处理后的数字病理图像数据进行模型训练具体包括以下步骤:
S21:利用卷积神经网络提取预处理后的数字病理图像数据的图像特征;
S22:利用图卷积神经网络建模统计数字病理图像数据中各病理组织类别之间的依赖与同时出现关系;
S23:利用特征融合模块将卷积神经网络提取的图像特征与图卷积神经网络提取的标签信息进行特征融合及预测分类分数;
S24:将经过特征融合的输出通过损失函数对分类预测分数进行训练。
5.根据权利要求4所述的一种基于图卷积神经网络的数字病理组织图像识别方法,其特征在于:所述步骤S22具体包括以下步骤:
S222:根据共现矩阵M构造条件概率矩阵Pij=P(Lj|Li)=Mij/Ni,其中Ni表示标签类别Li在训练集中总出现次数,得Pij=P(Lj|Li)表示当先验标签Li出现时Lj出现在样本图像中的条件概率;
S223:利用超参数阈值τ对条件概率Pij进行二值化,以滤除标签统计信息中的噪声,得到更贴近真实分布的共现矩阵,表示为:
其中,Aij表示二值化的共现矩阵;
S224、对二值化共现矩阵Aij按周围节点的考虑程度p加权,以解决训练过度平滑导致标签共现信息差异过小问题,表示为
其中p为超参数,p→1时,图节点特征更考虑周边节点,p→0时,图节点特征更考虑自身点特征,A'ij即为加权共现矩阵;
S225:以加权共现矩阵A'ij作为邻接矩阵进行图卷积计算,构成图卷积神经网络中的每一层:
其中表示为图卷积神经网络输入特征或上一层图卷积神经网络的输出,σ表示任一种激活函数;表示网络每一层中的可被学习的权重矩阵;Dl为权重矩阵所使用的维度参数,一般设为1024,而Dl+1表示下一层的期望维度,与Dl相同,最后一层网络的Dl+1与特征图通道数C相同;表示经过图卷积正则化的加权共现矩阵A',具体为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310073714.4A CN116012353A (zh) | 2023-02-07 | 2023-02-07 | 一种基于图卷积神经网络的数字病理组织图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310073714.4A CN116012353A (zh) | 2023-02-07 | 2023-02-07 | 一种基于图卷积神经网络的数字病理组织图像识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116012353A true CN116012353A (zh) | 2023-04-25 |
Family
ID=86021080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310073714.4A Pending CN116012353A (zh) | 2023-02-07 | 2023-02-07 | 一种基于图卷积神经网络的数字病理组织图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116012353A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116682576A (zh) * | 2023-08-02 | 2023-09-01 | 浙江大学 | 一种基于双层图卷积神经网络的肝癌病理预后***及装置 |
CN116883397A (zh) * | 2023-09-06 | 2023-10-13 | 佳木斯大学 | 一种应用于解剖病理学的自动精益方法及*** |
CN117036811A (zh) * | 2023-08-14 | 2023-11-10 | 桂林电子科技大学 | 基于双分支融合网络的病理图像智能分类***及方法 |
CN117115117A (zh) * | 2023-08-31 | 2023-11-24 | 南京诺源医疗器械有限公司 | 基于小样本下的病理图像识别方法、电子设备及存储介质 |
-
2023
- 2023-02-07 CN CN202310073714.4A patent/CN116012353A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116682576A (zh) * | 2023-08-02 | 2023-09-01 | 浙江大学 | 一种基于双层图卷积神经网络的肝癌病理预后***及装置 |
CN116682576B (zh) * | 2023-08-02 | 2023-12-19 | 浙江大学 | 一种基于双层图卷积神经网络的肝癌病理预后***及装置 |
CN117036811A (zh) * | 2023-08-14 | 2023-11-10 | 桂林电子科技大学 | 基于双分支融合网络的病理图像智能分类***及方法 |
CN117115117A (zh) * | 2023-08-31 | 2023-11-24 | 南京诺源医疗器械有限公司 | 基于小样本下的病理图像识别方法、电子设备及存储介质 |
CN117115117B (zh) * | 2023-08-31 | 2024-02-09 | 南京诺源医疗器械有限公司 | 基于小样本下的病理图像识别方法、电子设备及存储介质 |
CN116883397A (zh) * | 2023-09-06 | 2023-10-13 | 佳木斯大学 | 一种应用于解剖病理学的自动精益方法及*** |
CN116883397B (zh) * | 2023-09-06 | 2023-12-08 | 佳木斯大学 | 一种应用于解剖病理学的自动精益方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969626B (zh) | 基于3d神经网络的人脑核磁共振影像的海马体提取方法 | |
CN116012353A (zh) | 一种基于图卷积神经网络的数字病理组织图像识别方法 | |
CN109871875B (zh) | 一种基于深度学习的建筑物变化检测方法 | |
CN107133651B (zh) | 基于超网络判别子图的功能磁共振影像数据分类方法 | |
CN111985536A (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
CN110633758A (zh) | 针对小样本或样本不平衡的癌症区域检测定位的方法 | |
CN111553127A (zh) | 一种多标记的文本类数据特征选择方法及装置 | |
Zanjani et al. | Cancer detection in histopathology whole-slide images using conditional random fields on deep embedded spaces | |
CN113158777B (zh) | 质量评分方法、质量评分模型的训练方法及相关装置 | |
CN112085742B (zh) | 一种基于上下文注意力的nafld超声视频诊断方法 | |
CN112819821A (zh) | 一种细胞核图像检测方法 | |
CN111611919B (zh) | 一种基于结构化学习的道路场景布局分析方法 | |
CN114596467A (zh) | 基于证据深度学习的多模态影像分类方法 | |
CN111694954B (zh) | 图像分类方法、装置和电子设备 | |
CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
CN116883768A (zh) | 基于多模态特征融合的肺结节智能分级方法及*** | |
CN112183237A (zh) | 基于颜色空间自适应阈值分割的白细胞自动分类方法 | |
CN111815582A (zh) | 改进背景先验和前景先验的二维码区域检测方法 | |
CN114971294A (zh) | 数据采集方法、装置、设备及存储介质 | |
CN109740669B (zh) | 一种基于深度特征聚合的乳腺癌病理图像分类方法 | |
CN114580501A (zh) | 骨髓细胞分类方法、***、计算机设备及存储介质 | |
CN108805181B (zh) | 一种基于多分类模型的图像分类装置及分类方法 | |
Narmatha et al. | Skin cancer detection from dermoscopic images using Deep Siamese domain adaptation convolutional Neural Network optimized with Honey Badger Algorithm | |
CN113298254A (zh) | 面向深度迁移学习的去偏方法及其装置 | |
CN112861881A (zh) | 一种基于改进MobileNet模型的蜂窝肺识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |