CN114049935A - 一种基于多卷积神经网络的her2图像分类*** - Google Patents

一种基于多卷积神经网络的her2图像分类*** Download PDF

Info

Publication number
CN114049935A
CN114049935A CN202111395913.4A CN202111395913A CN114049935A CN 114049935 A CN114049935 A CN 114049935A CN 202111395913 A CN202111395913 A CN 202111395913A CN 114049935 A CN114049935 A CN 114049935A
Authority
CN
China
Prior art keywords
her2
image
convolution neural
neural network
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111395913.4A
Other languages
English (en)
Inventor
王新刚
邵翠玲
梁虎
李娜
吕建东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Qilu University of Technology
Priority to CN202111395913.4A priority Critical patent/CN114049935A/zh
Publication of CN114049935A publication Critical patent/CN114049935A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多卷积神经网络的HER2图像分类***，包括：图像获取模块，其被配置为：获取待分类HER2图像；预处理模块，其被配置为：对待分类HER2图像进行预处理；图像特征提取模块，其被配置为：将预处理后的待分类HER2图像输入多卷积神经网络，得到HER2图像的融合特征；分类模块，其被配置为：基于融合特征，采用分类器得到HER2图像所属类别；其中，多卷积神经网络包括特征提取器和特征融合器，所述特征提取器采用至少两种不同的卷积神经网络同时对待分类HER2图像进行特征提取，所述特征融合器利用线性加权融合方法对不同卷积神经网络提取的特征进行融合，得到融合特征，提高了HER2图像分类的准确性。

Description

一种基于多卷积神经网络的HER2图像分类***
技术领域
本发明涉及医学图像分类技术领域，特别是涉及一种基于多卷积神经网络的HER2图像分类***。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
人类表皮生长因子受体2(human epidermal growth factor receptor2，HER2)的表达水平通常通过免疫组织化学(IHC)或荧光原位杂交(FISH)来确定，根据浸润性癌细胞膜染色的程度和比例，给乳腺组织样品分配不同的HER2评分。随着科学技术的不断发展，人们开始借助计算机技术帮助医护人员对癌症病理数据图像进行筛查分类，癌症筛查的影像学研究已有40多年历史，随着高分辨率数字扫描仪的发展，全载玻片图像(WSI)被广泛使用，利用计算机对免疫组织化学(IHC)进行精确的分类，将大大降低病理医师人工识别的分辨难度和主观性差异，提高癌症分析与诊断的效率和准确率，从而造福人类。
到目前为止，已经存在利用机器学习算法来评估HER2图像的***，但是，单一的卷积神经网络不能很好的提取到HER2图像的多抽象特征，成功率和准确性都达不到标准。
发明内容
为了解决现有技术的不足，本发明提供了一种基于多卷积神经网络的HER2图像分类***，使用组合网络对HER2图像进行特征提取，再将不同网络提取到的图像信息利用线性加权融合算法进行融合，获得了较高的分类精度。
第一方面，本发明提供了一种基于多卷积神经网络的HER2图像分类***；
一种基于多卷积神经网络的HER2图像分类***，包括：
图像获取模块，其被配置为：获取待分类HER2图像；
预处理模块，其被配置为：对待分类HER2图像进行预处理；
图像特征提取模块，其被配置为：将预处理后的待分类HER2图像输入多卷积神经网络，得到HER2图像的融合特征；
分类模块，其被配置为：基于融合特征，采用分类器得到HER2图像所属类别；
其中，多卷积神经网络包括特征提取器和特征融合器，所述特征提取器采用至少两种不同的卷积神经网络同时对待分类HER2图像进行特征提取，所述特征融合器利用线性加权融合方法对不同卷积神经网络提取的特征进行融合，得到融合特征。
进一步的，所述特征融合器在对不同卷积神经网络提取的特征进行融合之前需要对不同卷积神经网络提取的特征进行展平和矫正，得到大小相同的特征。
进一步的，还包括网络训练模块，其被配置为：获取原始训练集，采用中值滤波器对原始训练集进行滤波处理后，输入数据扩增器进行数据扩增，采用扩增后的训练集对多卷积神经网络进行训练。
进一步的，所述数据扩增器被配置为：对输入HER2图像进行翻转；对翻转后的HER2图像进行切割，得到子图像，每个子图像与输入HER2图像具有相同的类别标签；丢弃与输入HER2图像类型明显不同的子图像。
进一步的，所述特征提取器采用VGG16、ResNet18和AlexNet三种卷积神经网络同时对待分类HER2图像进行特征提取。
进一步的，所述VGG16由1个输入层、13个卷积层、5个池化层和2个全连接层构成。
进一步的，所述Resnet18由17个卷积层和1个全连接层组成。
进一步的，所述AlexNet由5个卷积层、3个池化层和1个全连接层组成。
第二方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行以下步骤：
获取待分类HER2图像；
对待分类HER2图像进行预处理；
将预处理后的待分类HER2图像输入多卷积神经网络，得到HER2图像的融合特征；
基于融合特征，采用分类器得到HER2图像所属类别；
其中，多卷积神经网络包括特征提取器和特征融合器，所述特征提取器采用至少两种不同的卷积神经网络同时对待分类HER2图像进行特征提取，所述特征融合器利用线性加权融合方法对不同卷积神经网络提取的特征进行融合，得到融合特征。
第三方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行以下步骤：
获取待分类HER2图像；
对待分类HER2图像进行预处理；
将预处理后的待分类HER2图像输入多卷积神经网络，得到HER2图像的融合特征；
基于融合特征，采用分类器得到HER2图像所属类别；
其中，多卷积神经网络包括特征提取器和特征融合器，所述特征提取器采用至少两种不同的卷积神经网络同时对待分类HER2图像进行特征提取，所述特征融合器利用线性加权融合方法对不同卷积神经网络提取的特征进行融合，得到融合特征。
与现有技术相比，本发明的有益效果是：
本发明的一种基于多卷积神经网络的HER2图像分类***，其特征提取模块使用了多种神经网络，不同的卷积神经网络可以提取到HER2图像不同尺度的特征，使网络学习到更丰富的HER2图像信息，提高了HER2图像分类的准确性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为实施例一的基于多卷积神经网络的HER2图像分类***的框架图；
图2为实施例一的多卷积神经网络的架构图；
图3为实施例一的不同类别的HER2图像的示意图；
图4为实施例一的切割HER2图像的示意图；
图5为实施例一的特征融合器的结构示意图；
图6为实施例一的不同权重下的准确率示意图；
图7为实施例一的数据预处理前后对比图；
图8为实施例一的损失变化图；
图9为实施例一的不同分类器对比图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
实施例一
本实施例提供了一种基于多卷积神经网络的HER2图像分类***；
如图1所示，一种基于多卷积神经网络的HER2图像分类***，采用不同结构的网络进行HER2图像的特征提取，利用线性加权融合算法将不同网络提取到的图像信息进行融合，并对线性加权融合中的权重进行寻优，利用分类器进行HER2图像的分类输出。具体包括图像获取模块、预处理模块、融合特征提取模块、分类模块和网络训练模块。
图像获取模块，其被配置为：获取待分类HER2图像。
如图3所示，为斯坦福大学组织微阵列数据库中的四幅HER2图像，图3中的四幅HER2图像的类型分别为0、1+、2+和3+，每幅图像的尺寸为1504×1440像素。
预处理模块，其被配置为：对待分类HER2图像进行预处理，具体的，采用中值滤波器对原始训练集进行滤波处理。
在HER2图像的采集、获取、传送和转换(如成像、扫描、传输以及显示等)过程中，均处在复杂的环境中，所有的HER2图像均不同程度地被可见或不可见的噪声干扰，导致图像质量的下降。除了视觉上质量下降，噪声同样可能掩盖重要的图像细节。预处理可以去除不同类型噪声，同时对数据进行预处理可以起到简化数据的作用，提高网络模型的训练速度，从而提升特征提取和识别的可靠性。
作为一种实施方式，考虑到HER2图像本身的特点，选取中值滤波器来去除图像多余的信息，精简图像的信息。其中，中值滤波器的核大小为3×3。
图像特征提取模块，其被配置为：将预处理后的待分类HER2图像输入训练好的多卷积神经网络，得到HER2图像的融合特征。其中，如图2所示，多卷积神经网络包括特征提取器和特征融合器。
(1)特征提取器
特征提取器采用至少两种不同的卷积神经网络同时对待分类HER2图像进行特征提取。
考虑到单个卷积神经网络或残差网络不能提取图像的多个抽象特征，特征提取器使用多个预先训练的网络来提取特征。
作为一种实施方式，特征提取器采用VGG16、ResNet18和AlexNet三种卷积神经网络同时对待分类HER2图像进行特征提取。
ResNet18具有较深的网络结构，提高了分类的准确性，ResNet18网络中加入的残差块会降低梯度分散的可能性。传统Resnet18是由17个卷积层、一个Softmax层和1个全连接层组成的，因为各个网络的输出不一样大，为了使三个网络输出大小一致，本发明调整了最后的全连接层，本发明删除了传统网络的全连接层和Softmax层在最后又加了一个全连接层，因此，本发明的ResNet18由17个卷积层和1个全连接层组成，采用ReLu函数作为激活函数，其公式为，f(x)＝max(0,x)，当输入x<0时，输出为0，当x>0时，输出为x，激活函数使网络收敛更快。ResNet18网络输入为224×224×3的RGB图像。
VGG16网络结构非常规整，容易修改，串联的小卷积核比单独使用更大的卷积核具有更少的参数。VGG-16网络输入为224×224×3的RGB图像，传统Vgg16就是由1个输入层、13个卷积层、5个池化层、3个全连接层和1个输出层构成的，本发明保持原有的Vgg16原有的结构不变，只是删除了最后两个全连接层，两个随机丢弃层，两个激活层一个softmax层，在最后为了调整输出的大小，添加了一个全连接层，因此，本发明的Vgg16由1个输入层、13个卷积层、5个池化层和2个全连接层(最后一个全连接层就是输出层)构成。
AlexNet网络使用脱落层随机删除隐藏层中的神经元，每次迭代删除的神经元并不消失，具有不同的网络架构，但都共享权重，使得整个网络学***均池化层后面的层(两个全连接层、两个随机丢弃层、两个激活层和一个softmax层)，最后加了一个全连接层，因此，本发明的AlexNet网络由5个卷积层、3个池化层和1个全连接层组成。AlexNet网络输入为224×224×3的RGB图像。
(2)特征融合器
特征融合器利用线性加权融合方法对不同卷积神经网络提取的特征进行融合，得到融合特征。
如图5所示，为了融合不同网络输出的特征矩阵，特征融合器在利用线性加权融合算法对不同卷积神经网络提取的特征进行融合之前需要对不同卷积神经网络提取的特征进行展平和矫正，具体包括：首先使用展平层对每个卷积神经网络提取的特征矩阵进行展平，即，将多维输入进行一维的输出，展平层不会影响批次的大小；然后用全连接层对不同大小的展平后的特征进行矫正，得到大小相同的特征，便于不同模型的融合。
最优权值问题是一个在约束条件下的多目标决策优化问题，特征融合器采用线性加权法将多目标优化问题转化为单目标优化问题，建立数学模型:
max(f(x))＝ω1f1+ω2f2+ω3f3 (1)
其中，f1、f2和f3分别代表对VGG16、ResNet18和AlexNet神经网络提取的特征矩阵进行展平和校正后的特征，然后对三个特征进行线性加权融合；ω1、ω2和ω3分别代表f1、f2和f3的权重。
求解最优权重的过程可以分为两步:第一步是设置随机可行解；第二步是优化随机可行解。首先，将ω1，ω2，ω3的初始权重赋值为0.10，0.15，0.75，(ω1+ω2+ω3＝1且0<ω1<1，0<ω2<1，0<ω3<1)，优化的目标是准确率。通过实验调整，优化了最优权重，最终在ω1为0.40，ω2为0.35，ω3为0.25时得到最高的准确率，如图6所示。
分类模块，其被配置为：基于融合特征，采用分类器得到HER2图像所属类别。
作为一种实施方式，利用SVM分类器进行HER2图像的分类输出。
网络训练模块，其被配置为：获取原始训练集，采用中值滤波器对原始训练集进行滤波处理后，输入数据扩增器进行数据扩增，采用扩增后的训练集对多卷积神经网络进行训练。
作为一种实施方式，多卷积神经网络训练时所采用的训练集和测试集为斯坦福大学组织微阵列数据库的HER2图像，斯坦福大学组织微阵列数据库包括四种类型(0，1+，2+，3+)，各334幅HER2图像，每幅图像的尺寸为1504×1440像素。IHC检测每幅图像中HER2受体蛋白的表达，如图3所示，HER2评分计算如下：3+(大于10％的浸润性癌细胞显示强、完整和均匀的细胞膜染色)；2+(10％以上的肿瘤细胞中观察到弱至中等程度的完全膜染色)；1+(在超过10％的肿瘤细胞中，不完全膜染色很弱，几乎检测不到)；0(无染色或少于10％的浸润性癌细胞显示不完全和弱的细胞膜染色)。
作为一种实施方式，训练集需要采用中值滤波器进行滤波处理后，进行数据扩增，具体的：
HER2图像属于医学图像领域，公共数据集很少。从医院收集的数据可能差别很大，形式也不一定统一。有时候医生会需要手工标注，工作量很大。但是，少量的数据会使多卷积神经网络在训练过程中过度拟合，这意味着网络在训练数据中表现良好，但在测试数据中表现不佳，导致多卷积神经网络的性能下降。因此，为了获得更高的精度，对原始数据集进行扩展，解决数据不足的问题。由于HER2病理图像是旋转不变的，研究专家可以从不同方向分析HER2病理图像，对诊断没有影响。但是对于多卷积神经网络来说，它是一个和旋转平移之前完全不同的图像，但是它的类别是一样的。因此，数据扩增器被配置为：输入进行滤波处理后的训练集中的HER2图像，对输入HER2图像进行翻转；使用裁剪方法对翻转后的HER2图像进行切割，得到子图像，每个子图像被认为与原始图像具有相同的类别标签，经过剪切后的图像尺寸是224×224；丢弃与输入HER2图像类型明显不同的子图像(可以采用人工观察的方法)。如图4所示，输入HER2图像A所属类别为3+，子图像(a)应该属于1+，与原图像的类型不一致则丢弃；而子图像(b)属于3+，则保留下来。最终获得近5000幅HER2图像。
在实验中，采用斯坦福大学组织微阵列数据库中的400幅HER2图像(分别为0、1+、2+和3+的100幅图像)作为测试集，4000多幅图像作为训练集。使用Adam优化算法更新网络权重参数，学习率为0.001，批大小为16，输入尺寸为224×224，迭代次数为500，在测试期间，计算了整个训练数据集的权重和批处理规范化层。这些标准化提供了更好的结果。采用端到端随机梯度下降法对多卷积神经网络进行训练。
在实验中，为了评价对HER2病理图像的分类结果，使用的评价指标有准确率(Accuracy)、精准率(Precision)、查全率(Recall)和F1值(F1 Score)。其中准确率的计算公式为：
Figure BDA0003369890650000101
其中，TP(True Positive)代表真正例，即被正确预测为正例的个数；FN(FalseNegative)代表假负例，即被错误预测为负例的个数；FP(False Positive)代表假正例，即被错预测为负例的个数；TN(True Negative)代表真负例，即被正确预测为负例的个数。
精准率的计算公式为：
Figure BDA0003369890650000102
召回率的计算公式为：
Figure BDA0003369890650000111
F1值的计算公式为：
Figure BDA0003369890650000112
为了验证数据预处理和数据增强对分类结果的影响，首先将没有经过处理的原始数据集输入到多卷积神经网络中进行训练和测试得到图7中的左图。然后再对原始数据进行平滑滤波处理，接着平移旋转剪切扩增数据，使用Adam优化算法更新网络权重参数，学习率为0.001，批大小为16，输入尺寸为224×224，迭代次数为500，得到图7中的右图。
由图7中数据对比可知，如果在多卷积神经网络训练过程中没有对原始数据进行数据滤波处理和数据扩增，在训练集上的准确率很高，然而测试集上的准确率却比较低，并且会一直波动，不太稳定，即导致过拟合。然而，对HER2数据集进行平滑滤波处理和旋转后，在训练集和测试集上都达到了很高的准确率。所以，由上述实验可知，在多卷积神经网络训练过程中对HER2病理图像进行数据预处理和数据增强可以避免过拟合，提高识别准确率。
为了验证多卷积神经网络能够更好的提取HER2图像的信息来高效的分类，将现在比较常用的单个模型VGG16、VGG19、AlexNet与多卷积神经网络进行了对比，效果最好的模型ResNet18的评价指标结果如表1所示，表1还给出了VGG16、ResNet18、AlexNet两两结合的实验数据，为了更好地评价多卷积神经网络，还加入了召回率和F1值进行对比，损失变化图如图8所示，实验所得数据证明了多卷积神经网络的有效性。
表1各种模型的实验结果
方法 准确率 召回率 F1值
多卷积神经网络 0.931 0.948 0.947
VGG16+ResNet18 0.923 0.924 0.925
VGG16+AlexNet 0.916 0.916 0.915
AlexNet+ResNet18 0.917 0.916 0.921
ResNet18 0.906 0.906 0.905
为了验证SVM分类器与预先训练的多卷积神经网络相结合的最佳效果，将各种分类器与多卷积神经网络相结合，结果如图9所示。实验结果表明，本发明的***是高效和健壮的。本发明的基于多卷积神经网络的HER2图像分类***对于初级和高级病理学家对HER2染色图像进行分类有较大帮助。
本发明的基于多卷积神经网络的HER2图像分类***，考虑到单一的卷积神经网络或者残差网络不能很好的提取到图像的多抽象特征，因此，利用多个预训练的网络进行图像的特征提取，具体的，使用VGG-16、AlexNet和ResNet18的组合网络对HER2图像进行特征提取，再将不同网络提取到的图像信息利用线性加权融合算法进行融合，然后通过多次实验对线性加权融合中的权重进行寻优，最后利用全连接层进行HER2图像的分类输出，形成了自动分类***，获得了较高的HER2图像分类精度。
实施例二
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行执行以下步骤：
获取待分类HER2图像；
对待分类HER2图像进行预处理；
将预处理后的待分类HER2图像输入多卷积神经网络，得到HER2图像的融合特征；
基于融合特征，采用分类器得到HER2图像所属类别；
其中，多卷积神经网络包括特征提取器和特征融合器，所述特征提取器采用至少两种不同的卷积神经网络同时对待分类HER2图像进行特征提取，所述特征融合器利用线性加权融合方法对不同卷积神经网络提取的特征进行融合，得到融合特征。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例三
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，执行以下步骤：
获取待分类HER2图像；
对待分类HER2图像进行预处理；
将预处理后的待分类HER2图像输入多卷积神经网络，得到HER2图像的融合特征；
基于融合特征，采用分类器得到HER2图像所属类别；
其中，多卷积神经网络包括特征提取器和特征融合器，所述特征提取器采用至少两种不同的卷积神经网络同时对待分类HER2图像进行特征提取，所述特征融合器利用线性加权融合方法对不同卷积神经网络提取的特征进行融合，得到融合特征。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多卷积神经网络的HER2图像分类***，其特征是，包括：
图像获取模块，其被配置为：获取待分类HER2图像；
预处理模块，其被配置为：对待分类HER2图像进行预处理；
图像特征提取模块，其被配置为：将预处理后的待分类HER2图像输入多卷积神经网络，得到HER2图像的融合特征；
分类模块，其被配置为：基于融合特征，采用分类器得到HER2图像所属类别；
其中，多卷积神经网络包括特征提取器和特征融合器，所述特征提取器采用至少两种不同的卷积神经网络同时对待分类HER2图像进行特征提取，所述特征融合器利用线性加权融合方法对不同卷积神经网络提取的特征进行融合，得到融合特征。
2.如权利要求1所述的一种基于多卷积神经网络的HER2图像分类***，其特征是，所述特征融合器在对不同卷积神经网络提取的特征进行融合之前需要对不同卷积神经网络提取的特征进行展平和矫正，得到大小相同的特征。
3.如权利要求1所述的一种基于多卷积神经网络的HER2图像分类***，其特征是，还包括网络训练模块，其被配置为：获取原始训练集，采用中值滤波器对原始训练集进行滤波处理后，输入数据扩增器进行数据扩增，采用扩增后的训练集对多卷积神经网络进行训练。
4.如权利要求3所述的一种基于多卷积神经网络的HER2图像分类***，其特征是，所述数据扩增器被配置为：对输入HER2图像进行翻转；对翻转后的HER2图像进行切割，得到子图像，每个子图像与输入HER2图像具有相同的类别标签；丢弃与输入HER2图像类型明显不同的子图像。
5.如权利要求1所述的一种基于多卷积神经网络的HER2图像分类***，其特征是，所述特征提取器采用VGG16、ResNet18和AlexNet三种卷积神经网络同时对待分类HER2图像进行特征提取。
6.如权利要求5所述的一种基于多卷积神经网络的HER2图像分类***，其特征是，所述VGG16由1个输入层、13个卷积层、5个池化层和2个全连接层构成。
7.如权利要求5所述的一种基于多卷积神经网络的HER2图像分类***，其特征是，所述Resnet18由17个卷积层和1个全连接层组成。
8.如权利要求5所述的一种基于多卷积神经网络的HER2图像分类***，其特征是，所述AlexNet由5个卷积层、3个池化层和1个全连接层组成。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行以下步骤：
获取待分类HER2图像；
对待分类HER2图像进行预处理；
将预处理后的待分类HER2图像输入多卷积神经网络，得到HER2图像的融合特征；
基于融合特征，采用分类器得到HER2图像所属类别；
其中，多卷积神经网络包括特征提取器和特征融合器，所述特征提取器采用至少两种不同的卷积神经网络同时对待分类HER2图像进行特征提取，所述特征融合器利用线性加权融合方法对不同卷积神经网络提取的特征进行融合，得到融合特征。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行以下步骤：
获取待分类HER2图像；
对待分类HER2图像进行预处理；
将预处理后的待分类HER2图像输入多卷积神经网络，得到HER2图像的融合特征；
基于融合特征，采用分类器得到HER2图像所属类别；
其中，多卷积神经网络包括特征提取器和特征融合器，所述特征提取器采用至少两种不同的卷积神经网络同时对待分类HER2图像进行特征提取，所述特征融合器利用线性加权融合方法对不同卷积神经网络提取的特征进行融合，得到融合特征。
CN202111395913.4A 2021-11-23 2021-11-23 一种基于多卷积神经网络的her2图像分类*** Pending CN114049935A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111395913.4A CN114049935A (zh) 2021-11-23 2021-11-23 一种基于多卷积神经网络的her2图像分类***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111395913.4A CN114049935A (zh) 2021-11-23 2021-11-23 一种基于多卷积神经网络的her2图像分类***

Publications (1)

Publication Number Publication Date
CN114049935A true CN114049935A (zh) 2022-02-15

Family

ID=80211274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111395913.4A Pending CN114049935A (zh) 2021-11-23 2021-11-23 一种基于多卷积神经网络的her2图像分类***

Country Status (1)

Country Link
CN (1) CN114049935A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205637A (zh) * 2022-09-19 2022-10-18 山东世纪矿山机电有限公司 一种矿车物料的智能识别方法
CN115759658A (zh) * 2022-11-24 2023-03-07 浙江智慧信息产业有限公司 适用于智慧城市的企业能耗数据管理***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205637A (zh) * 2022-09-19 2022-10-18 山东世纪矿山机电有限公司 一种矿车物料的智能识别方法
CN115759658A (zh) * 2022-11-24 2023-03-07 浙江智慧信息产业有限公司 适用于智慧城市的企业能耗数据管理***

Similar Documents

Publication Publication Date Title
CN110120040B (zh) 切片图像处理方法、装置、计算机设备和存储介质
Kulkarni Crop disease detection using deep learning
Kumar et al. Breast cancer classification of image using convolutional neural network
CN111476283A (zh) 基于迁移学习的青光眼眼底图像识别方法
CN109410204B (zh) 一种基于cam的皮质白内障图像处理及增强方法
CN106407986A (zh) 一种基于深度模型的合成孔径雷达图像目标识别方法
CN111090764B (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN114049935A (zh) 一种基于多卷积神经网络的her2图像分类***
CN106340016A (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN112560968A (zh) 一种基于卷积和残差网络的her2图像分类方法及***
CN110717451B (zh) 一种基于深度学习的药用植物叶部病害图像识别方法
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及***
CN109472801A (zh) 一种用于多尺度的神经形态检测和分割方法
CN111626969B (zh) 一种基于注意力机制的玉米病害图像处理方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Nagamani et al. Tomato leaf disease detection using deep learning techniques
Mahbub et al. Detect bangladeshi mango leaf diseases using lightweight convolutional neural network
Borman et al. Classification of Medicinal Wild Plants Using Radial Basis Function Neural Network with Least Mean Square
CN113313169B (zh) 基于深度学习的训练素材智能识别方法、装置和设备
Ning et al. Multiscale context-cascaded ensemble framework (MsC 2 EF): application to breast histopathological image
Peng et al. Fully convolutional neural networks for tissue histopathology image classification and segmentation
CN117095173A (zh) 一种结直肠癌h&amp;e染色病理图像语义分割方法及***
CN112215082A (zh) 一种植物叶片图像识别方法
Singh et al. Tomato crop disease classification using convolution neural network and transfer learning
CN115471856A (zh) 一种***图像信息识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination