CN115131628A - 一种基于分型辅助信息的乳腺图像分类方法及设备 - Google Patents
一种基于分型辅助信息的乳腺图像分类方法及设备 Download PDFInfo
- Publication number
- CN115131628A CN115131628A CN202210773314.XA CN202210773314A CN115131628A CN 115131628 A CN115131628 A CN 115131628A CN 202210773314 A CN202210773314 A CN 202210773314A CN 115131628 A CN115131628 A CN 115131628A
- Authority
- CN
- China
- Prior art keywords
- classification
- typing
- image
- auxiliary information
- auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 210000005075 mammary gland Anatomy 0.000 title description 5
- 238000013145 classification model Methods 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 210000000481 breast Anatomy 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 206010006187 Breast cancer Diseases 0.000 description 15
- 208000026310 Breast neoplasm Diseases 0.000 description 15
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 10
- ZINFAXPQMLDEEJ-GFVOIPPFSA-N cefoselis Chemical compound S([C@@H]1[C@@H](C(N1C=1C(O)=O)=O)NC(=O)\C(=N/OC)C=2N=C(N)SC=2)CC=1CN1C=CC(=N)N1CCO ZINFAXPQMLDEEJ-GFVOIPPFSA-N 0.000 description 8
- 230000001575 pathological effect Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 101150014929 TPS2 gene Proteins 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 101150077059 TPS1 gene Proteins 0.000 description 5
- 101100063254 Myxococcus xanthus tps gene Proteins 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 238000011337 individualized treatment Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000394 mitotic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于分型辅助信息的乳腺图像分类方法及设备，用于确定待分类图像的组织学分级，所述方法包括以下步骤：获取待分类图像，对所述待分类图像进行预处理；将经预处理的待分类图像拆分为多个序列数据，分别作为不同分类模型的输入，融合各分类模型的分类结果，获得最终分类标签；其中，所述分类模型包括主网络和基于分子分型辅助信息向量的辅助监督分支，所述主网络包括多尺度特征提取层，所述辅助监督分支对不同尺度特征提取层的中间输出特征进行调整处理，所述主网络和辅助监督分支的输出结果加权融合后形成所述分类模型的分类结果。与现有技术相比，本发明具有准确率高、效率高等优点。
Description
技术领域
本发明属于医学影像处理自动化技术领域，涉及一种医学影像分类方法，尤其是涉及一种基于分型辅助信息的乳腺图像分类方法及设备。
背景技术
即使在现代医学技术蓬勃发展的今天，乳腺癌仍旧超越了肺癌成为全球第一大癌。作为乳腺癌诊断金标准的病理检查为该类疾病的精准诊疗和制定个体化治疗方案奠定了基础。其中，提供有关肿瘤形态学评估的组织学分级至关重要，这是有利于患者预后估计和预测复发风险程度的独立预后因素。
目前，根据国际通用的Scarff-Bloom-Richardson乳腺癌组织学分级***统计癌细胞腺管形成比例、核多型性和核***象计数三个参数的总分，可将乳腺癌组织学分级划分三级：grade I得3～5分；grade II得6～7分；grade III得8～9分。众多研究表明，基于组织形态学分类的乳腺癌组织学分级与反映基因表达状态的分子分型存在一定关联：相对于I和II级而言，高级别乳腺癌分化程度更低，癌细胞恶性扩散风险更强，预后不佳，管腔上皮亚型占比较少。因此，有必要深入探究乳腺癌组织学分级和分子分型间的潜在规律，从而提高病理诊断与临床决策的一致性。
当前，病理科医师依据从苏木精-伊红染色切片中观察到的细胞结构等形态学信息手动鉴别乳腺癌组织学分级。由于人为主观性和病理图像分析复杂繁琐，难以保证鉴别的精度和时效性。随着数字病理的发展，同时在计算机辅助诊断的支持下，高性能的人工智能模型为乳腺癌组织学分级提供了动力，包括以特征工程为主要研究手段的影像组学算法和高度并行化的深度学习算法。即便如此，在运用这些方法前分析病理切片也均需经穿刺活检为前提。此外，石蜡切片及苏木精-伊红染色等操作步骤更是加重了研究负担。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种准确率高、效率高的基于分型辅助信息的乳腺图像分类方法及设备。
本发明的目的可以通过以下技术方案来实现：
一种基于分型辅助信息的乳腺图像分类方法，用于确定待分类图像的组织学分级，该方法包括以下步骤：
获取待分类图像，对所述待分类图像进行预处理；
将经预处理的待分类图像拆分为多个序列数据，分别作为不同分类模型的输入，融合各分类模型的分类结果，获得最终分类标签；
其中，所述分类模型包括主网络和基于分子分型辅助信息向量的辅助监督分支，所述主网络包括多尺度特征提取层，所述辅助监督分支对不同尺度特征提取层的中间输出特征进行调整处理，所述主网络和辅助监督分支的输出结果加权融合后形成所述分类模型的分类结果。
进一步地，所述分类模型训练时采用的训练数据集包括样本图像以及与该样本图像对应的组织学分级和分子分型标签信息，所述分子分型辅助信息向量基于所述训练数据集构造获得。
进一步地，所述分子分型辅助信息向量通过以下步骤构造：
基于所述训练数据集中每个样本的分子分型标签信息，构造满足高斯分布的双节点信息向量，实现信息初始化；
在所述双节点信息向量中加入随机高斯噪声，进行节点值归一化后，形成所述分子分型辅助信息向量。
进一步地，所述分子分型标签信息包括管腔上皮型和非管腔上皮型。
进一步地，所述预处理包括直方图均衡化、裁剪和强度归一化。
进一步地，所述主网络基于二维卷积神经网络模型构建，包括基于八度卷积的卷积后激活块、同时具有SEnet和SKnet激励的多个主模块以及含有不同空洞率的空洞卷积层的Dense-ASP3模块，多个所述主模块形成所述多尺度特征提取层。
进一步地，所述辅助监督分支包括多个分别连接不同尺度特征提取层的GAP全局平均池化层和MS attention模块。
进一步地，所述分类模型训练时，所述主网络采用的损失函数为基于类别F1-score的代价敏感损失函数，所述类别F1-score是一种由精确率和召回率的调和平均数所构成的模型性能评价指标；所述辅助监督分支采用的损失函数为Kullback-Leibler散度最小化损失函数。
进一步地，融合各分类模型的分类结果时，不同分类模型的权重基于各分类模型的预测准确率确定。
本发明还提供一种电子设备，包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上所述基于分型辅助信息的乳腺图像分类方法的指令。
与现有技术相比，本发明具有以下有益效果：
1、本发明设计了一个纳入分子分型的辅助监督分支以促进模型学习与分子分型估计的相关性特征，有效提升模型的性能，提高图像分类精度，效率高。
2、在网络模型结构设计时，本发明提出了一种命名为IOS2-DA net的二维卷积神经网络模型。其中，代替了传统卷积层的八度卷积弱化了模型对低频冗余信息的关注度，增强了对具有相似影像特征的病理分级的识别率。采用SEnet和SKnet的双核压缩激励模块模仿人类视觉编码特性，实现了有利于最终决策信息的提取；此外，该网络的Dense-ASP3模块充分利用了密集的多尺度特征，增强模型的学习能力。
3、针对不同时间序列的DCE-MRI影像，本发明提出了基于类别F1-score的代价敏感损失函数，该损失函数充分利用了模型对不同类别的精准率和敏感性的调和从而对样本进行自动损失加权。相对于传统交叉熵损失和focal loss损失而言，该损失函数使得模型在保证特异性的同时，显著性提升了分类召回率，鲁棒性更高。
附图说明
图1为本发明的流程示意图；
图2为实施例中的一种二维卷积神经网络IOS2-DA net结构示意图；
图3为实施例中的基于八度卷积的卷积后激活块的结构示意图；
图4为实施例中的主模块SE_Inception_SK的结构示意图；
图5为实施例中的Dense-ASP3模块的结构示意图；
图6为实施例中的一种带有分型辅助监督分支的网络整体结构示意图
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供一种基于分型辅助信息的乳腺图像分类方法，用于确定待分类图像的组织学分级，该方法包括以下步骤：
获取待分类图像，对所述待分类图像进行预处理，其中预处理包括直方图均衡化、裁剪和强度归一化等；
将经预处理的待分类图像拆分为多个序列数据，如包括DCE-MRI TPs 1，TPs 2，TPs 3序列，分别作为不同分类模型的输入，融合各分类模型的分类结果，获得最终分类标签。
如图6所示，本实施例使用的分类模型为带有分型辅助监督分支的网络，包括主网络和基于分子分型辅助信息向量的辅助监督分支，所述主网络包括多尺度特征提取层，所述辅助监督分支对不同尺度特征提取层的中间输出特征进行调整处理，所述主网络和辅助监督分支的输出结果加权融合后形成所述分类模型的分类结果。
如图2所示，本实施例中，主网络基于二维卷积神经网络模型构建，命名为IOS2-DAnet，包括基于八度卷积的卷积后激活块、同时具有SEnet和SKnet激励的多个主模块以及含有不同空洞率的空洞卷积层的Dense-ASP3模块，多个所述主模块形成所述多尺度特征提取层。其中，如图3所示，采用八度卷积代替传统卷积层构建卷积后激活块，通过超参数α控制卷积层中高低频通道比例，从而弱化模型对低频冗余信息的关注度，在增强对具有相似影像特征的病理分级的识别率的同时也减少了内存和计算资源的消耗。如图4所示，采用SEnet和SKnet的双核压缩激励模块***到Inception中构成IOS2-DA net的主模块SE_Inception_SK，能够分别自适应选取并融合不同分支上合适感受野的尺寸以及不同卷积通道的权重参数，提取有利于最终决策的关键信息，本实施例中，主模块设有三个。如图5所示，结合多度信息和扩张卷积的特点，本发明实施例还提出了Dense-ASP3模块，它将含有不同空洞率(r＝1，r＝2)的空洞卷积层进行密集连接，用于生成分布更为密集的多尺度特征，增强学习能力。
如图6所示，本实施例中，辅助监督分支包括多个分别连接不同尺度特征提取层的GAP全局平均池化层和MS attention模块。GAP全局平均池化层将来自IOS2-DA net三个多尺度IOS2层的输出特征串接，利用Kullback-Leibler(KL)散度最小化损失函数调整上述中间层输出特征，从而获取与分型信息向量最具相关性的预测值。
上述分类模型在模型训练阶段采用的训练数据集包括样本图像以及与该样本图像对应的组织学分级和分子分型标签信息，所述分子分型辅助信息向量基于所述训练数据集构造获得。辅助监督分支利用的分子分型辅助信息向量通过以下步骤获得：
(1)信息初始化。基于所述乳腺癌组织学分级数据集中每个样本的分子分型标记，构造满足高斯分布的双节点信息向量，计算公式为：
其中，x对应于信息向量中的节点，s表示分子亚型(非管腔上皮型为0，管腔上皮型为1)。
(2)加入随机噪声。在初始化后的分型信息向量中加入随机高斯噪声，以模仿具有不同阅片经验的放射科医师对同一病灶的不同分型诊断结果。如下式所示：
I’s(x)＝Is(x)+rs(x) (3)
(3)节点值归一化。如下式所示：
通过辅助监督分支获得的预测值与IOS2-DA net初步预测结果加权，即可获得一个分类模型的分类结果：
p＝(1-γ)·p1+γ·p2,0＜γ＜0.5 (5)
通过加权加权平均法将基于DCE-MRI TPs 1，TPs 2，TPs 3序列影像的预测结果进行集成融合，获得最终分类标签。融合过程如下所示：
(1)取各个基模型的预测准确率作为分类性能权值：
(2)该样本的综合预测概率由各基学习器的预测结果加权求和得到：
(3)根据P值大小确定集成模型的预测标签：
本实施例中，上述分类模型在训练阶段的训练数据集的通过以下方式构建。本实施例中，共计381例入组病例由病理活检诊断为乳腺癌，且在确诊前均经历过至少一次的术前MRI影像学检查，最后获取了256例符合研究纳入标准的病例。由病理科医师参考诺丁汉组织学分级***给出上述病例的组织学分级评分，grade I共9例；grade II共113例；gradeIII共133例。根据各病例分子分型的免疫组化特征表现进行标注，包括管腔上皮型和非管腔上皮型。考虑到低级别组织学分级的样本量与中高级别间的不均衡性，在本实施例中，将上述乳腺癌组织学分级方法应用于I&II级和III级的组织学分级预测研究当中。
截取乳腺DCE-MRI影像中病灶区域后进行图像预处理，继而建立乳腺癌组织学分级数据集。预处理方法依次为：
(1)在确定包含病灶区域的影像序列段后，以病灶位置为中心多尺度截取感兴趣区域图像块，采用双线性插值算法重新调整正方形图像块尺寸至64*64像素大小。
(2)采用直方图均衡化增强图像对比度。
(3)采用强度归一化操作将图像块像素值缩放至[0,1]，便于网络处理与分析。
(4)经十折交叉验证划分乳腺癌组织学分级数据集后，利用Python深度学习库Keras自带的数据增强方法仅对训练集做实时数据增强操作(旋转、镜像、缩放等)，验证集不做处理。
在分类模型训练前，设置批处理样本数64，初始学习率lr＝0.002，各卷积核加入l2权重正则化，系数为0.005。模型训练时，采用RMSprop优化器加快模型参数寻优。采用基于类别F1-score的代价敏感损失函数CFSL增加模型对困难样本的关注度，表达式为：
其中，F1-score是一种由精确率和召回率的调和平均数所构成的模型性能评价指标，调制项D(x)＝xβ中β是衡量F1-score影响的权重因子。
初始训练轮数为120，当模型训练10轮CFSL未下降，学习率降低为原来的0.2；当30次的微调后CFSL仍未收敛，模型停止训练。保存当前在验证集下最高准确率和较低损失时的模型权重。
在模型评估阶段，本发明实施例首先分别训练基于DCE-MRI TPs 1，TPs 2，TPs 3序列影像的基学习器模型，通过调整不同的超参数α，以确立网络模型结构中最佳的高低频通道比例，此时固定训练损失函数为focal loss(α＝1,β＝2)。实验结果如表1所示。
表1八度卷积中不同高低频通道比例对预测结果影响
由表1可知，当基于TPs 1，TPs 2，TPs 3序列影像的基学***衡，分类准确率最高至86.6％。
其次，在上述实验的基础上本发明实施例测试了不同损失函数对模型预测的影响，结果如表2所示。
表2不同损失函数对模型性能的评价
由表2可知，当损失函数分别选取经典的交叉熵损失、focal loss和CFSL时，在确保模型准确性足够高的前提下应尽量选择Sen与Spec较为均衡的预测模型。当设置权重因子β＝0.3的CFSL，基于DCE-MRI TPs 1序列影像的基学习器模型预测性能最好，AUC高达0.902，F1-score达0.906。同样地，在基于DCE-MRI TPs 3序列影像的基学习器模型，本发明实施例选择权重因子β＝2.0的CFSL损失下的训练权重作为最佳权重。对于基于DCE-MRITPs 2序列影像的基学习器模型，虽然利用最佳权重因子(β＝2.0)的CFSL训练时的模型性能略逊色于带有最佳权重因子(β＝1.0)的focal loss和交叉熵损失，但模型的Sen与Spec相差最小，性能更加稳定。因此，本发明实施例仍认为权重因子β＝2.0的CFSL损失适用于基于DCE-MRI TPs 2序列影像的基学习器模型。
最后，本实施例利用分子分型辅助信息构建模型辅助监督分支，以降低预测结果的假阳性。实验结果如表3所示。
表3分型辅助信息比例对最终预测结果的影响
由表3可知，当引入分子分型辅助监督分支后，模型在保持良好AUC和F1-score性能的前提下假阳性得以降低，即在实际应用过程中模型有更小的概率将grade I&II误判为grade III，能够有效辅助临床医生制定更为精准的治疗方案。
经上述评估可知，本发明实施例通过二维卷积神经网络自动提取乳腺癌DCE-MRI成像中各组织学分级相关特征，能够实现精准预测病理分级的目的；相较于仅利用病理图像进行分析的方法而言，本方法减少了穿刺活检取样等繁琐步骤，识别效率和精度更高，同时，引入分子分型辅助信息也进一步提升了模型的预测性能。
上述图像分类方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于分型辅助信息的乳腺图像分类方法，其特征在于，用于确定待分类图像的组织学分级，该方法包括以下步骤：
获取待分类图像，对所述待分类图像进行预处理；
将经预处理的待分类图像拆分为多个序列数据，分别作为不同分类模型的输入，融合各分类模型的分类结果，获得最终分类标签；
其中，所述分类模型包括主网络和基于分子分型辅助信息向量的辅助监督分支，所述主网络包括多尺度特征提取层，所述辅助监督分支对不同尺度特征提取层的中间输出特征进行调整处理，所述主网络和辅助监督分支的输出结果加权融合后形成所述分类模型的分类结果。
2.根据权利要求1所述的基于分型辅助信息的乳腺图像分类方法，其特征在于，所述分类模型训练时采用的训练数据集包括样本图像以及与该样本图像对应的组织学分级和分子分型标签信息，所述分子分型辅助信息向量基于所述训练数据集构造获得。
3.根据权利要求2所述的基于分型辅助信息的乳腺图像分类方法，其特征在于，所述分子分型辅助信息向量通过以下步骤构造：
基于所述训练数据集中每个样本的分子分型标签信息，构造满足高斯分布的双节点信息向量，实现信息初始化；
在所述双节点信息向量中加入随机高斯噪声，进行节点值归一化后，形成所述分子分型辅助信息向量。
4.根据权利要求2所述的基于分型辅助信息的乳腺图像分类方法，其特征在于，所述分子分型标签信息包括管腔上皮型和非管腔上皮型。
5.根据权利要求1所述的基于分型辅助信息的乳腺图像分类方法，其特征在于，所述预处理包括直方图均衡化、裁剪和强度归一化。
6.根据权利要求1所述的基于分型辅助信息的乳腺图像分类方法，其特征在于，所述主网络基于二维卷积神经网络模型构建，包括基于八度卷积的卷积后激活块、同时具有SEnet和SKnet激励的多个主模块以及含有不同空洞率的空洞卷积层的Dense-ASP3模块，多个所述主模块形成所述多尺度特征提取层。
7.根据权利要求1所述的基于分型辅助信息的乳腺图像分类方法，其特征在于，所述辅助监督分支包括多个分别连接不同尺度特征提取层的GAP全局平均池化层和MS attention模块。
8.根据权利要求1所述的基于分型辅助信息的乳腺图像分类方法，其特征在于，所述分类模型训练时，所述主网络采用的损失函数为基于类别F1-score的代价敏感损失函数，所述类别F1-score是一种由精确率和召回率的调和平均数所构成的模型性能评价指标；所述辅助监督分支采用的损失函数为Kullback-Leibler散度最小化损失函数。
9.根据权利要求1所述的基于分型辅助信息的乳腺图像分类方法，其特征在于，融合各分类模型的分类结果时，不同分类模型的权重基于各分类模型的预测准确率确定。
10.一种电子设备，其特征在于，包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-9任一所述基于分型辅助信息的乳腺图像分类方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210773314.XA CN115131628A (zh) | 2022-07-01 | 2022-07-01 | 一种基于分型辅助信息的乳腺图像分类方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210773314.XA CN115131628A (zh) | 2022-07-01 | 2022-07-01 | 一种基于分型辅助信息的乳腺图像分类方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115131628A true CN115131628A (zh) | 2022-09-30 |
Family
ID=83381070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210773314.XA Pending CN115131628A (zh) | 2022-07-01 | 2022-07-01 | 一种基于分型辅助信息的乳腺图像分类方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131628A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116013449A (zh) * | 2023-03-21 | 2023-04-25 | 成都信息工程大学 | 融合临床信息与磁共振图像的心肌病预后辅助预测方法 |
-
2022
- 2022-07-01 CN CN202210773314.XA patent/CN115131628A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116013449A (zh) * | 2023-03-21 | 2023-04-25 | 成都信息工程大学 | 融合临床信息与磁共振图像的心肌病预后辅助预测方法 |
| CN116013449B (zh) * | 2023-03-21 | 2023-07-07 | 成都信息工程大学 | 融合临床信息与磁共振图像的心肌病预后辅助预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN113344849B (zh) | 一种基于YOLOv5的微***检测*** | |
| CN111340828A (zh) | 基于级联卷积神经网络的脑部胶质瘤分割 | |
| CN110633758A (zh) | 针对小样本或样本不平衡的癌症区域检测定位的方法 | |
| CN112116605A (zh) | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 | |
| Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
| CN112215807A (zh) | 基于深度学习的细胞图像自动分类方法及*** | |
| CN110751636A (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
| CN112633257A (zh) | 基于改良卷积神经网络的马铃薯病害识别方法 | |
| CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
| CN113657449A (zh) | 一种含噪标注数据的中医舌象腐腻分类方法 | |
| CN113643269A (zh) | 基于无监督学习的乳腺癌分子分型方法、装置及*** | |
| CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| CN115641345A (zh) | 一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法 | |
| Razavi et al. | MiNuGAN: Dual segmentation of mitoses and nuclei using conditional GANs on multi-center breast H&E images | |
| CN114864075A (zh) | 一种基于病理图像的胶质瘤级别分析方法及装置 | |
| CN115131628A (zh) | 一种基于分型辅助信息的乳腺图像分类方法及设备 | |
| Barrera et al. | Automatic normalized digital color staining in the recognition of abnormal blood cells using generative adversarial networks | |
| Zhang et al. | Histopathological image recognition of breast cancer based on three-channel reconstructed color slice feature fusion | |
| CN113420793A (zh) | 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法 | |
| CN113781387A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN117252893A (zh) | 一种乳腺癌病理图像的分割处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |