CN113743353B - 空间、通道和尺度注意力融合学习的宫颈细胞分类方法 - Google Patents

空间、通道和尺度注意力融合学习的宫颈细胞分类方法 Download PDF

Info

Publication number
CN113743353B
CN113743353B CN202111080795.8A CN202111080795A CN113743353B CN 113743353 B CN113743353 B CN 113743353B CN 202111080795 A CN202111080795 A CN 202111080795A CN 113743353 B CN113743353 B CN 113743353B
Authority
CN
China
Prior art keywords
channel
attention
module
scale
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111080795.8A
Other languages
English (en)
Other versions
CN113743353A (zh
Inventor
史骏
黄薇
唐昆铭
吴坤
郑利平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Publication of CN113743353A publication Critical patent/CN113743353A/zh
Application granted granted Critical
Publication of CN113743353B publication Critical patent/CN113743353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及空间、通道和尺度注意力融合学***。

Description

空间、通道和尺度注意力融合学习的宫颈细胞分类方法
技术领域
本发明涉及数字图像处理技术领域,尤其是一种空间、通道和尺度注意力融合学习的宫颈细胞分类方法。
背景技术
细胞学检查法是排查早期***最常用的方法,一张宫颈细胞涂片通常包含数以万计的宫颈细胞,其筛查过程为病理医生带来极大负担,阅片疲劳现象时有发生。计算机辅助分析技术根据肿瘤细胞特征建立模式识别模型对细胞涂片自动分析,使用客观评价标准,提高筛查效率,降低假阴性率,减轻病理医生的阅片负担。
注意力(Attention)机制从特征中提取出权重分布,再将该权重分布作用于原特征上,改变原有特征的分布,增强有效特征,抑制无效的特征。使用注意力机制,能够对数据的特征进行更有效的学习,提高宫颈细胞分类的精度。
目前,使用深度学习进行宫颈细胞的分类的方法均是使用卷积神经网络,不会对有效特征进行增强。针对宫颈细胞分类问题,利用注意力机制和卷积神经网络相结合的研究较少,特别地,利用通道、空间和尺度三种信息融合的深度学习方法来解决宫颈细胞分类问题尚未有报道。
发明内容
本发明的目的在于提供一种对数据的特征进行更加有效的学习,丰富传统卷积神经网络所提取的特征,提高结果正确率的空间、通道和尺度注意力融合学习的宫颈细胞分类方法。
为实现上述目的,本发明采用了以下技术方案:一种空间、通道和尺度注意力融合学习的宫颈细胞分类方法,该方法包括下列顺序的步骤:
(1)准备训练样本:将已标注好的宫颈细胞图像分类,得到5类样本;
(2)构造通道注意力模块;
(3)构造空间注意力模块;
(4)构建尺度注意力模块;
(5)构搭建基于空间、通道和尺度注意力融合学习的深度网络;
(6)构建宫颈细胞图像分类器;
(7)预测图像的类别:加载基于空间、通道和尺度注意力融合学习的深度网络的网络结构与权重参数,将宫颈细胞图像输入至基于空间、通道和尺度注意力融合学习的深度网络中得到分类结果。
在步骤(1)中,所述的5类样本包括:挖空细胞、角化不良细胞、生化细胞、旁基底细胞和表中层细胞。
所述步骤(2)具体是指:对输入分别进行全局最大池化和全局平均池化操作,将池化后的结果输入权值共享的全连接层后,最后将全局最大池化经过全连接层、以及全局平均池化经过全连接层的结果相加,并通过sigmoid函数激活得到通道注意力权重,将通道注意力模块的原始输入与所述通道注意力权重相乘得到重定标的通道注意加权特征映射。
在步骤(3)中,对输入分别进行全局平均池化和最大池化并将池化结果在通道维度上进行拼接,然后将拼接后的结果输入7*7的卷积层和sigmoid激活函数得到空间注意力权重,将空间注意力模块的原始输入与所述空间注意力权重相乘得到重定标的空间注意加权特征映射。
所述步骤(4)具体是指:
尺度注意力模块有三个输入,分别记为q,k,v,根据尺度注意力公式实现不同尺度信息的融合,所述尺度注意力公式如下:
其中,dr为输入特征的维度,q表示查询向量,k表示键向量,v表示值向量,T表示转置。
所述步骤(5)具体包括以下步骤:
(5a)构建三个分支分别记为b1,b2和b3,三个分支均由步骤(2)所述的通道注意力模块和步骤(3)所述的空间注意力模块构成;以resnet50作为主干网络,主干网络由第一模块、第二模块、第三模块、第四模块、第五模块和一个全连接层组成;取主干网络的第二模块、第三模块和第四个模块的输出分别记为f1,f2,f3
(5b)将步骤(5a)中主干网络三个模块的输出fi输入至对应的所述三个分支bi,i=1,2,3;
(5b)在三个分支中将输入相继输入至其内的通道注意力模块,通道注意力模块的输出再输入至空间注意力模块,空间注意力模块输出得到重定标后的特征,分别记为f1’,f2’,f3’;
(5c)将步骤(5b)的输出fi’分别进行全局最大池化操作得到池化结果gi,i=1,2,3;
(5d)将g1输入一全连接层fc1得到查询向量q1,将g2输入一个全连接层fc2得到键向量k2,将g2输入一个全连接层fc3得到值向量v2;将上述查询向量q1、键向量k2和值向量v2输入步骤(4)的尺度注意力模块中,将尺度注意力模块的输出结果与g2相加;将f2’与上述相加结果相乘,得到重定标的注意加权特征映射f2”;
(5e)将g2输入一个全连接层fc4得到查询向量q2,将g3输入一个全连接层fc5得到键向量k3,将g3输入一个全连接层fc6得到值向量v3;将上述查询向量q2、键向量k3和值向量v3输入步骤(4)的尺度注意力模块中,将尺度注意力模块的输出结果与g3相加;将f3’与上述相加结果相乘,得到重定标的注意加权特征映射f3”;
(5f)将f1’、f2”和f3”分别进行线性变换;
(5g)将上述经过线性变换后的三个结果与主干网络resnet50的全连接层的输出相加;
(5h)将步骤(5g)相加的结果输入到Softmax分类器得到一个5维向量,向量的维度数对应宫颈细胞类别的数目,各维的值表示该样本属于该类的概率。
将所述5类样本输入基于空间、通道和尺度注意力融合学习的深度网络中进行训练,通过反向传播算法不断优化交叉熵损失函数,调整基于空间、通道和尺度注意力融合学习的深度网络的参数,得到能够识别5类样本的分类器;所述交叉熵损失函数如下:
其中,p(xi)表示样本xi的真实类别,q(xi)表示样本xi的预测类别,n为样本总数。
由上述技术方案可知,本发明的有益效果为:第一,本发明从宫颈细胞自身特点出发,利用宫颈细胞图像特征图的通道、空间和尺度三种信息进行建模,从而获取更具鉴别能力的特征表示用于宫颈细胞分类;第二,本发明构建了一个能够对5类宫颈细胞图像进行分类的分类模型,利用本发明对宫颈细胞图像进行分类,能够辅助医生进行分析,有利于减轻病理医生的负担;第三,同时,本发明相较于人工筛查,计算机辅助分析成本较低,有利于解决医疗资源矛盾,覆盖基层、乡村等小型医院,提高全国整体筛查水平。
附图说明
图1为本发明的方法流程图;
图2为本发明的宫颈细胞图像训练样本示意图。
具体实施方式
一种空间、通道和尺度注意力融合学习的宫颈细胞分类方法,该方法包括下列顺序的步骤:
(1)准备训练样本:将已标注好的宫颈细胞图像分类,得到5类样本;
(2)构造通道注意力模块;
(3)构造空间注意力模块;
(4)构建尺度注意力模块;
(5)构搭建基于空间、通道和尺度注意力融合学习的深度网络;
(6)构建宫颈细胞图像分类器;
(7)预测图像的类别:加载基于空间、通道和尺度注意力融合学习的深度网络的网络结构与权重参数,将宫颈细胞图像输入至基于空间、通道和尺度注意力融合学习的深度网络中得到分类结果。
在步骤(1)中,所述的5类样本包括:挖空细胞、角化不良细胞、生化细胞、旁基底细胞和表中层细胞,如图2所示。
所述步骤(2)具体是指:对输入分别进行全局最大池化和全局平均池化操作,将池化后的结果输入权值共享的全连接层后,最后将全局最大池化经过全连接层、以及全局平均池化经过全连接层的结果相加,并通过sigmoid函数激活得到通道注意力权重,将通道注意力模块的原始输入与所述通道注意力权重相乘得到重定标的通道注意加权特征映射。
在步骤(3)中,对输入分别进行全局平均池化和最大池化并将池化结果在通道维度上进行拼接,然后将拼接后的结果输入7*7的卷积层和sigmoid激活函数得到空间注意力权重,将空间注意力模块的原始输入与所述空间注意力权重相乘得到重定标的空间注意加权特征映射。
所述步骤(4)具体是指:
尺度注意力模块有三个输入,分别记为q,k,v,根据尺度注意力公式实现不同尺度信息的融合,所述尺度注意力公式如下:
其中,dr为输入特征的维度,q表示查询向量,k表示键向量,v表示值向量,T表示转置。
所述步骤(5)具体包括以下步骤:
(5a)构建三个分支分别记为b1,b2和b3,三个分支均由步骤(2)所述的通道注意力模块和步骤(3)所述的空间注意力模块构成;以resnet50作为主干网络,主干网络由第一模块、第二模块、第三模块、第四模块、第五模块和一个全连接层组成,该全连接层的输出作为主干网络的输出;取主干网络的第二模块、第三模块和第四个模块的输出分别记为f1,f2,f3
(5b)将步骤(5a)中主干网络三个模块的输出fi输入至对应的所述三个分支bi,i=1,2,3;
(5b)在三个分支中将输入相继输入至其内的通道注意力模块,通道注意力模块的输出再输入至空间注意力模块,空间注意力模块输出得到重定标后的特征,分别记为f1’,f2’,f3’;
(5c)将步骤(5b)的输出fi’分别进行全局最大池化操作得到池化结果gi,i=1,2,3;
(5d)将g1输入一全连接层fc1得到查询向量q1,将g2输入一个全连接层fc2得到键向量k2,将g2输入一个全连接层fc3得到值向量v2;将上述查询向量q1、键向量k2和值向量v2输入步骤(4)的尺度注意力模块中,将尺度注意力模块的输出结果与g2相加;将f2’与上述相加结果相乘,得到重定标的注意加权特征映射f2”;
(5e)将g2输入一个全连接层fc4得到查询向量q2,将g3输入一个全连接层fc5得到键向量k3,将g3输入一个全连接层fc6得到值向量v3;将上述查询向量q2、键向量k3和值向量v3输入步骤(4)的尺度注意力模块中,将尺度注意力模块的输出结果与g3相加;将f3’与上述相加结果相乘,得到重定标的注意加权特征映射f3”;
(5f)将f1’、f2”和f3”分别进行线性变换;
(5g)将上述经过线性变换后的三个结果与主干网络resnet50的全连接层的输出相加;
(5h)将步骤(5g)相加的结果输入到Softmax分类器得到一个5维向量,向量的维度数对应宫颈细胞类别的数目,各维的值表示该样本属于该类的概率。
将所述5类样本输入基于空间、通道和尺度注意力融合学习的深度网络中进行训练,通过反向传播算法不断优化交叉熵损失函数,调整基于空间、通道和尺度注意力融合学习的深度网络的参数,得到能够识别5类样本的分类器;所述交叉熵损失函数如下:
其中,p(xi)表示样本xi的真实类别,q(xi)表示样本xi的预测类别,n为样本总数。
综上所述,本发明从宫颈细胞自身特点出发,利用宫颈细胞图像特征图的通道、空间和尺度三种信息进行建模,从而获取更具鉴别能力的特征表示用于宫颈细胞分类;本发明构建了一个能够对5类宫颈细胞图像进行分类的分类模型,利用本发明对宫颈细胞图像进行分类,能够辅助医生进行分析,有利于减轻病理医生的负担;同时,本发明相较于人工筛查,计算机辅助分析成本较低,有利于解决医疗资源矛盾,覆盖基层、乡村等小型医院,提高全国整体筛查水平。

Claims (6)

1.一种空间、通道和尺度注意力融合学习的宫颈细胞分类方法,其特征在于:该方法包括下列顺序的步骤:
(1)准备训练样本:将已标注好的宫颈细胞图像分类,得到5类样本;
(2)构造通道注意力模块;
(3)构造空间注意力模块;
(4)构建尺度注意力模块;
(5)构搭建基于空间、通道和尺度注意力融合学习的深度网络;
所述步骤(5)具体包括以下步骤:
(5a)构建三个分支分别记为b1,b2和b3,三个分支均由步骤(2)所述的通道注意力模块和步骤(3)所述的空间注意力模块构成;以resnet50作为主干网络,主干网络由第一模块、第二模块、第三模块、第四模块、第五模块和一个全连接层组成;取主干网络的第二模块、第三模块和第四个模块的输出分别记为f1,f2,f3
(5b)将步骤(5a)中主干网络三个模块的输出fi输入至对应的所述三个分支bi,i=1,2,3;
(5b)在三个分支中将输入相继输入至其内的通道注意力模块,通道注意力模块的输出再输入至空间注意力模块,空间注意力模块输出得到重定标后的特征,分别记为f1 ,f2 ,f3
(5c)将步骤(5b)的输出fi 分别进行全局最大池化操作得到池化结果gi,i=1,2,3;
(5d)将g1输入一全连接层fc1得到查询向量q1,将g2输入一个全连接层fc2得到键向量k2,将g2输入一个全连接层fc3得到值向量v2;将上述查询向量q1、键向量k2和值向量v2输入步骤(4)的尺度注意力模块中,将尺度注意力模块的输出结果与g2相加;将f2 与上述相加结果相乘,得到重定标的注意加权特征映射f2”;
(5e)将g2输入一个全连接层fc4得到查询向量q2,将g3输入一个全连接层fc5得到键向量k3,将g3输入一个全连接层fc6得到值向量v3;将上述查询向量q2、键向量k3和值向量v3输入步骤(4)的尺度注意力模块中,将尺度注意力模块的输出结果与g3相加;将f3 与上述相加结果相乘,得到重定标的注意加权特征映射f3”;
(5f)将f1 、f2”和f3”分别进行线性变换;
(5g)将上述经过线性变换后的三个结果与主干网络resnet50的全连接层的输出相加;
(5h)将步骤(5g)相加的结果输入到Softmax分类器得到一个5维向量,向量的维度数对应宫颈细胞类别的数目,各维的值表示该样本属于该类的概率;
(6)构建宫颈细胞图像分类器;
(7)预测图像的类别:加载基于空间、通道和尺度注意力融合学习的深度网络的网络结构与权重参数,将宫颈细胞图像输入至基于空间、通道和尺度注意力融合学习的深度网络中得到分类结果。
2.根据权利要求1所述的空间、通道和尺度注意力融合学习的宫颈细胞分类方法,其特征在于:在步骤(1)中,所述的5类样本包括:挖空细胞、角化不良细胞、生化细胞、旁基底细胞和表中层细胞。
3.根据权利要求1所述的空间、通道和尺度注意力融合学***均池化操作,将池化后的结果输入权值共享的全连接层后,最后将全局最大池化经过全连接层、以及全局平均池化经过全连接层的结果相加,并通过sigmoid函数激活得到通道注意力权重,将通道注意力模块的原始输入与所述通道注意力权重相乘得到重定标的通道注意加权特征映射。
4.根据权利要求1所述的空间、通道和尺度注意力融合学***均池化和最大池化并将池化结果在通道维度上进行拼接,然后将拼接后的结果输入7*7的卷积层和sigmoid激活函数得到空间注意力权重,将空间注意力模块的原始与所述空间注意力权重相乘得到重定标的空间注意加权特征映射。
5.根据权利要求1所述的空间、通道和尺度注意力融合学习的宫颈细胞分类方法,其特征在于:所述步骤(4)具体是指:
尺度注意力模块有三个输入,分别记为q,k,v,根据尺度注意力公式实现不同尺度信息的融合,所述尺度注意力公式如下:
其中,dr为输入特征的维度,q表示查询向量,k表示键向量,v表示值向量,T表示转置。
6.根据权利要求1所述的空间、通道和尺度注意力融合学习的宫颈细胞分类方法,其特征在于:将所述5类样本输入基于空间、通道和尺度注意力融合学习的深度网络中进行训练,通过反向传播算法不断优化交叉熵损失函数,调整基于空间、通道和尺度注意力融合学习的深度网络的参数,得到能够识别5类样本的分类器;所述交叉熵损失函数如下:
其中,p(xi)表示样本xi的真实类别,q(xi)表示样本xi的预测类别,n为样本总数。
CN202111080795.8A 2021-05-10 2021-09-15 空间、通道和尺度注意力融合学习的宫颈细胞分类方法 Active CN113743353B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110507184 2021-05-10
CN2021105071840 2021-05-10

Publications (2)

Publication Number Publication Date
CN113743353A CN113743353A (zh) 2021-12-03
CN113743353B true CN113743353B (zh) 2024-06-25

Family

ID=78739160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111080795.8A Active CN113743353B (zh) 2021-05-10 2021-09-15 空间、通道和尺度注意力融合学习的宫颈细胞分类方法

Country Status (1)

Country Link
CN (1) CN113743353B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433588B (zh) * 2023-02-21 2023-10-03 广东劢智医疗科技有限公司 一种基于宫颈细胞的多类别分类与置信判别方法
CN116386857B (zh) * 2023-06-07 2023-11-10 深圳市森盈智能科技有限公司 一种病理分析***及方法
CN116580396B (zh) * 2023-07-12 2023-09-22 北京大学 细胞水平识别方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9922272B2 (en) * 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
CN111104898B (zh) * 2019-12-18 2022-03-25 武汉大学 基于目标语义和注意力机制的图像场景分类方法及装置
CN111274903B (zh) * 2020-01-15 2022-12-06 合肥工业大学 一种基于图卷积神经网络的宫颈细胞图像分类方法
CN111523410B (zh) * 2020-04-09 2022-08-26 哈尔滨工业大学 一种基于注意力机制的视频显著性目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于改进CNN的宫颈细胞自动分类算法;李伟;孙星星;户媛姣;;计算机***应用;20200615(第06期);全文 *
基于重建注意力深度网络的超分辨率图像重建;项军;周正华;赵建伟;;计算机应用研究;20200630(第S1期);全文 *

Also Published As

Publication number Publication date
CN113743353A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN113743353B (zh) 空间、通道和尺度注意力融合学习的宫颈细胞分类方法
CN110728224B (zh) 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN110598029B (zh) 基于注意力转移机制的细粒度图像分类方法
CN111444960A (zh) 基于多模态数据输入的皮肤病图像分类***
CN114038037B (zh) 基于可分离残差注意力网络的表情标签修正和识别方法
CN111126386A (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN113378791B (zh) 基于双注意力机制和多尺度特征融合的宫颈细胞分类方法
CN110599502A (zh) 一种基于深度学习的皮肤病变分割方法
CN110136113B (zh) 一种基于卷积神经网络的***病理图像分类方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN117253122B (zh) 玉米种子近似品种筛选方法、装置、设备及存储介质
CN113724195A (zh) 基于免疫荧光图像的蛋白质的定量分析模型和建立方法
CN112149556B (zh) 一种基于深度互学习和知识传递的人脸属性识别方法
CN113436115A (zh) 一种基于深度无监督学习的图像阴影检测方法
CN117593666A (zh) 一种极光图像的地磁台站数据预测方法及***
CN117520914A (zh) 一种单细胞分类方法、***、设备及计算机可读存储介质
CN113011091A (zh) 一种自动分组的多尺度轻量型深度卷积神经网络优化方法
CN117315534A (zh) 一种基于vgg-16和鲸鱼优化算法的短视频分类方法
CN113011436A (zh) 一种基于卷积神经网络的中医舌色苔色协同分类方法
Peng et al. Fully convolutional neural networks for tissue histopathology image classification and segmentation
Yan et al. Two and multiple categorization of breast pathological images by transfer learning
CN113657290B (zh) 一种螺类采集与细分类识别***
CN113837490A (zh) 一种基于小波去噪生成对抗网络的股票收盘价预测方法
CN113139464A (zh) 一种电网故障检测方法
CN113469084A (zh) 基于对比生成对抗网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant