CN114298957A - 一种乳腺钼靶图像病灶的分类方法、***及存储介质 - Google Patents
一种乳腺钼靶图像病灶的分类方法、***及存储介质 Download PDFInfo
- Publication number
- CN114298957A CN114298957A CN202010996635.7A CN202010996635A CN114298957A CN 114298957 A CN114298957 A CN 114298957A CN 202010996635 A CN202010996635 A CN 202010996635A CN 114298957 A CN114298957 A CN 114298957A
- Authority
- CN
- China
- Prior art keywords
- target image
- molybdenum target
- convolution
- scale
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及对乳腺病灶的自动分类方法，公开了一种乳腺钼靶图像病灶的分类方法、***及存储介质，首先建立用于提取乳腺钼靶图像的深层次特征的多尺度注意力卷积神经网络模型；在对所述多尺度注意力卷积神经网络模型进行训练和验证；最后使用所述多尺度注意力卷积神经网络模型对乳腺钼靶图像完成病灶分类。本申请提供的多尺度注意力卷积神经网络模型，使用多尺度卷积模块和注意力模块对原始的密集连接网络进行改进，用于对乳腺钼靶图像中的肿块病灶和钙化病灶进行分类，通过深度学习中的卷积神经网络实现对乳腺钼靶图像中病灶的自动分类，有效提高医生诊断的准确率与诊断效率。
Description
技术领域
本发明涉及对乳腺病灶的自动分类方法，具体提供一种乳腺钼靶图像病灶的分类方法、***及存储介质。
背景技术
乳腺癌是女性最常见的癌症，是导致死亡的重要原因。女性乳腺是由皮肤、纤维组织、乳腺腺体和脂肪组成的，乳腺癌是发生在乳腺腺上皮组织的恶性肿瘤。乳腺癌中99％发生在女性，男性仅占1％。
据统计数据显示，仅2018年，全球女性乳腺癌患者就达到了女性癌症患者的24.2％，严重危害了女性的生命健康。然而，尽早发现乳腺癌能够显著提高患者的存活率。***X线照相技术是目前检测乳腺癌的最可靠和可信赖的诊断方法之一，是一种经济有效的乳腺癌筛查手段。乳腺病灶分为肿块病灶和钙化病灶，对病灶的准确分类是乳腺癌诊断的前提。通常放射科医生需要结合病灶在乳腺钼靶图像中所呈现出的形状纹理等特征来做出判断，需要放射科医生具有丰富的临床诊断经验。但是这样的诊断结果容易受医生主观经验的限制，因此需要先进的计算机辅助诊断***来帮助放射科医生克服这些困难。
乳腺钼靶图像是医生对于乳腺病灶诊断的重要手段，但是由于乳腺病灶在乳腺钼靶图像中所表现出的特征并不明显，而且与***组织有着高度的相似性，因此对于医生来说，直接通过乳腺钼靶图像实现病灶的真的仍然是一项艰巨的工作。通过深度学习中的卷积神经网络实现对乳腺钼靶图像中病灶的自动分类能够有效提高医生诊断的准确率与诊断效率，有效地诊断算法能够为医生的诊断提供可靠的参考。因此本专利提出了一种基于多尺度注意力卷积神经网络的乳腺钼靶图像分类算法，用于对乳腺钼靶图像中的肿块病灶和钙化病灶进行分类。
发明内容
本发明的目的是为了解决乳腺病灶诊断困难的问题，本发明提供了一种有效提高医生诊断的准确率与诊断效率的乳腺钼靶图像病灶的分类方法、***及存储介质。
本发明技术方案如下：
根据本申请的一个方面，提供了一种乳腺钼靶图像病灶的分类方法，所述方法包括：
1)建立多尺度注意力卷积神经网络模型；
2)对所述多尺度注意力卷积神经网络模型进行训练和验证；
3)使用所述多尺度注意力卷积神经网络模型对乳腺钼靶图像完成病灶分类。
进一步地，所述多尺度注意力卷积神经网络模型包括网络结构，所述网络结构为密集连接网络，所述密集连接网络包括由多个密集块堆叠形成，两个密集块之间通过过渡层连接，过渡层包括卷积层和平均池化层，所述密集块包括多个构建块，所述构建块由多尺度卷积模块和注意力模块组成。
进一步地，所述多尺度注意力卷积神经网络模型的训练及验证步骤包括：
S1：将乳腺钼靶图像数据集按照1:9的百分比划分，10％的数据作为模型的测试集，不参与模型的训练和验证过程，90％的数据按照比例划分为10个子集，其中钙化病灶标记为0，肿块病灶标记为1；
S2：对乳腺钼靶图像进行预处理，通过旋转、翻转、随机裁剪三种策略增强多尺度注意力卷积神经网络模型的训练数据；
S3：使用十倍交叉验证的方式训练所述多尺度注意力卷积神经网络模型，每次使用其中的九个子集作为训练集，剩余的一个子集用于模型性能的验证，整个实验过程重复进行10次；
S4：使用测试集对训练好的多尺度注意力卷积神经网络模型进行测试，最终输出钙化病灶和肿块病灶的预测结果。
进一步地，所述多尺度卷积模块包括多个分支，多个所述分支包括不同尺寸的卷积核，通过不同尺度的卷积核对输入的所述乳腺钼靶图像进行卷积，提取所述乳腺钼靶图像的不同尺度的特征，形成特征图，将多个所述分支得到的特征图进行叠加，输出所述乳腺钼靶图像的新特征图。
进一步地，所述多尺度卷积模块包括第一分支、第二分支与第三分支，所述第一分支包括尺寸为1×1卷积核，提取所述乳腺钼靶图像的细节特征，所述第二分支包括尺寸为1×1卷积核与3×3卷积核，所述第二分支通过1×1卷积核对所述所述乳腺钼靶图像降维，再通过3×3卷积核提取所述乳腺钼靶图像的特征，所述第三分支包括尺寸为1×1卷积核与两个3×3卷积核，所述第三分支通过1×1卷积核所述乳腺钼靶图像降维，再通过两个3×3卷积核提取所述乳腺钼靶图像的大尺度特征。
进一步地，所述第三分支包括尺寸为1×1卷积核与5×5卷积核，所述第三分支通过1×1卷积核所述乳腺钼靶图像降维，再通过5×5卷积核提取所述乳腺钼靶图像的大尺度特征。
进一步地，所述注意力模块包括原始特征图与注意力向量，所述原始特征图为F，所述注意力向量为M(F)，将所述注意力向量与所述原始特征图对位相乘，相乘结果与所述原始特征图相加，得到一个新的特征图，新的特征图为F'，
进一步地，所述注意力向量由原始特征图通过全局平均池化，两个全连接层和一个Sigmoid激活函数得到，所述注意力向量M(F)为：
M(F)＝σ(fc(Favg))；
根据本申请的另一个方面，提供了一种乳腺钼靶图像病灶的分类***，包括：乳腺DR设备与计算机设备，所述乳腺DR设备与计算机设备连接，所述计算机设备包括，
存储器，所述存储器存储有至少一条可执行指令；
处理器，所述处理器运行所述存储器上存储的指令，实现如上述乳腺钼靶图像病灶的分类方法。
根据本申请的另一个方面，提供了一种计算机可读存储介质，存储有至少一条可执行指令，所述可执行指令被处理器执行时实现上述乳腺钼靶图像病灶的分类方法。
本申请实施例提供的技术方案带来的有益效果包括：
本申请提供的多尺度注意力卷积神经网络模型，使用多尺度卷积模块和注意力模块对原始的密集连接网络进行改进，用于对乳腺钼靶图像中的肿块病灶和钙化病灶进行分类，通过深度学习中的卷积神经网络实现对乳腺钼靶图像中病灶的自动分类，有效提高医生诊断的准确率与诊断效率。
本申请使用注意力机制，能够在不增加模型计算复杂度的同时提高模型的表达能力，有效提高模型的拟合性能。
附图说明
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明密集块的基本结构的示意图。
图2为本发明多尺寸卷积模块的示意图。
图3为本发明注意力模块的示意图。
图4为本发明多尺度注意力卷积神经网络模型的训练结构示意图。
图5为本发明多尺度注意力卷积神经网络模型的参数示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”“,an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“inCludes”"inCluding”"Comprises”和/或“Comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。
根据图1至图5所示，本发明提供了一种乳腺钼靶图像病灶的分类方法，所述方法包括：
1)建立用于提取乳腺钼靶图像的深层次特征的多尺度注意力卷积神经网络模型；
2)对所述多尺度注意力卷积神经网络模型进行训练和验证；
3)使用多尺度注意力卷积神经网络模型对乳腺钼靶图像完成病灶的分类。
进一步地，多尺度注意力卷积神经网络模型包括整体网络结构，网络结构为密集连接网络，本申请建立了一个深度为121的多尺度注意力卷积神经网络模型，用于全尺寸乳腺钼靶图像的病灶分类，将全尺寸乳腺钼靶图像的尺寸调整为256×256以适应网络模型的输入，输入尺寸调整适应多尺度注意力卷积神经网络模型的乳腺钼靶图像，使用多尺度注意力卷积神经网络模型对乳腺钼靶图像的数据做出正确的判断。
进一步地，多尺度注意力卷积神经网络模型是以密集连接网络DenseNet作为骨干的，一个密集连接网络是由数个密集块堆叠而成，密集块之间通过过渡层连接，过渡层包括1×1的卷积层和步长为2的2×2的平均池化层，用于对特征图进行降维；密集块由多个构建块(Building Block)组成，本发明使用多尺度卷积模块和注意力模块替代原始的构建块，构建块由多尺度卷积模块和注意力模块组成。
对于密集块，每层特征图都会与之后的每一层特征图相连接，因此后面的构建块能够提取到之前所有层的特征，有效实现了特征的重用。
进一步地，多尺度卷积模块的核心思想是通过不同尺度的卷积核对输入特征图进行卷积，以提取到图像不同尺度的特征，进而提高模型的分类性能。多尺度卷积模块包括多个分支，多个分支包括不同尺寸的卷积核，通过不同尺度的卷积核对输入的乳腺钼靶图像进行卷积，提取乳腺钼靶图像的不同尺度的特征，形成特征图，将多个分支得到的特征图进行叠加，输出乳腺钼靶图像的新特征图；
进一步地，多尺度卷积模块包括第一分支、第二分支与第三分支，第一分支包括尺寸为1×1卷积核，提取乳腺钼靶图像的细节特征；第二分支包括尺寸为1×1卷积核与3×3卷积核，第二分支通过1×1卷积核对所述乳腺钼靶图像降维，再通过3×3卷积核提取所述乳腺钼靶图像的特征；第三分支包括尺寸为1×1卷积核与两个3×3卷积核，第三分支通过1×1卷积核乳腺钼靶图像降维，再通过两个3×3卷积核提取乳腺钼靶图像的大尺度特征。
在卷积社交网络中，第三分支的两个3×3卷积核能够替代5×5卷积核，因此，第三分支还可以由尺寸为1×1卷积核与5×5卷积核组成，第三分支通过1×1卷积核乳腺钼靶图像降维，再通过5×5卷积核提取乳腺钼靶图像的大尺度特征。
需要注意的是，在每一条分支中均首先使用1×1的卷积核进行降维，通过该操作，能够确保每条分支中所包含的特征图数量和维数都是相同的，最后将这三条分支得到的特征图进行叠加，得到一个新的特征图。
进一步地，卷积神经网络通过包含大量的参数需要海量的数据进行训练以提高模型的拟合能力。使用注意力机制能够在不增加模型计算复杂度的同时提高模型的表达能力，有效提高模型的拟合性能。本申请中所使用的注意力模块是挤压与激励网络(Squeeze-and-excitation network,SENet)，这是一种基于通道的注意力机制，它在通道维度上对特征进行了压缩，并对不同的通道重新加权，提高有用通道的权重，降低无用通道特征的权重。给定一个尺寸为c×h×w输入特征图F，注意力模块从通道维度上推导出一个维数为c×1×1的注意力向量M(F)，将注意力向量与原始特征图对位相乘并相加，得到一个新的特征图F'，因此经过注意力模块后得到的新的特征图可以表示为：
公式中，
表示按元素相乘。对于注意力向量M(F)，它是由原始特征图首先经过通过全局平均池化，两个全连接层和一个Sigmoid激活函数得到的。
可以用公式表示为：
M(F)＝σ(fc(Favg)) (2)
在公式中σ表示Sigmoid激活函数，fc表示FC1和FC2两个全连接层，Favg表示原始特征图经过全局平均池化后得到的特征向量，特征向量的维数。
进一步地，多尺度注意力卷积神经网络模型的训练及验证步骤包括：
S1：将乳腺钼靶图像数据集按照1:9的百分比划分，10％的数据作为模型的测试集，不参与模型的训练和验证过程，90％的数据按照比例划分为10个子集。其中钙化病灶标记为0，肿块病灶标记为1；
S2：对乳腺钼靶图像进行预处理，通过旋转、翻转、随机裁剪三种策略增强多尺度注意力卷积神经网络的训练数据；
S3：使用十倍交叉验证的方式训练所述多尺度注意力卷积神经网络模型，每次使用其中的九个子集作为训练集，剩余的一个子集用于模型性能的验证，整个实验过程重复进行10次；
S4：使用测试集对训练好的多尺度注意力卷积神经网络模型进行测试，最终输出钙化病灶和肿块病灶的预测结果。
乳腺钼靶图像是医生对于乳腺病灶诊断的重要手段，通过深度学习中的卷积神经网络实现对乳腺钼靶图像中病灶的自动分类能够有效提高医生诊断的准确率与诊断效率，有效地诊断算法能够为医生的诊断提供可靠的参考。
本发明还提供了一种乳腺钼靶图像病灶的分类***，包括：乳腺DR设备与计算机设备，所述乳腺DR设备与计算机设备连接，所述计算机设备包括，
存储器，所述存储器存储有至少一条可执行指令；
处理器，所述处理器运行所述存储器上存储的指令，实现如上述乳腺钼靶图像病灶的分类方法。
本发明还提供了一种计算机可读存储介质，存储有至少一条可执行指令，所述可执行指令被处理器执行时实现上述乳腺钼靶图像病灶的分类方法。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种乳腺钼靶图像病灶的分类方法，其特征在于：所述方法包括：
1)建立多尺度注意力卷积神经网络模型；
2)对所述多尺度注意力卷积神经网络模型进行训练和验证；
3)使用所述多尺度注意力卷积神经网络模型对乳腺钼靶图像完成病灶分类。
2.根据权利要求1所述的分类方法，其特征在于：所述多尺度注意力卷积神经网络模型包括网络结构，所述网络结构为密集连接网络，所述密集连接网络包括由多个密集块堆叠形成，两个密集块之间通过过渡层连接，过渡层包括卷积层和平均池化层，所述密集块包括多个构建块，构建块由多尺度卷积模块和注意力模块组成。
3.根据权利要求1所述的分类方法，其特征在于：所述多尺度注意力卷积神经网络模型的训练及验证步骤包括：
S1：将乳腺钼靶图像数据集按照1:9的百分比划分，10％的数据作为模型的测试集，不参与模型的训练和验证过程，90％的数据按照比例划分为10个子集，其中钙化病灶标记为0，肿块病灶标记为1；
S2：对乳腺钼靶图像进行预处理，通过旋转、翻转、随机裁剪三种策略增强多尺度注意力卷积神经网络模型的训练数据；
S3：使用十倍交叉验证的方式训练所述多尺度注意力卷积神经网络模型，每次使用其中的九个子集作为训练集，剩余的一个子集用于模型性能的验证，整个实验过程重复进行10次；
S4：使用测试集对训练好的多尺度注意力卷积神经网络模型进行测试，最终输出钙化病灶和肿块病灶的预测结果。
4.根据权利要求2所述的分类方法，其特征在于：所述多尺度卷积模块包括多个分支，多个所述分支包括不同尺寸的卷积核，通过不同尺度的卷积核对输入的所述乳腺钼靶图像进行卷积，提取所述乳腺钼靶图像的不同尺度的特征，形成特征图，将多个所述分支得到的特征图进行叠加，输出所述乳腺钼靶图像的新特征图。
5.根据权利要求4所述的分类方法，其特征在于：所述多尺度卷积模块包括第一分支、第二分支与第三分支，所述第一分支包括尺寸为1×1卷积核，提取所述乳腺钼靶图像的细节特征，所述第二分支包括尺寸为1×1卷积核与3×3卷积核，所述第二分支通过1×1卷积核对所述所述乳腺钼靶图像降维，再通过3×3卷积核提取所述乳腺钼靶图像的特征，所述第三分支包括尺寸为1×1卷积核与两个3×3卷积核，所述第三分支通过1×1卷积核所述乳腺钼靶图像降维，再通过两个3×3卷积核提取所述乳腺钼靶图像的大尺度特征。
6.根据权利要求5所述的分类方法，其特征在于：所述第三分支包括尺寸为1×1卷积核与5×5卷积核，所述第三分支通过1×1卷积核所述乳腺钼靶图像降维，再通过5×5卷积核提取所述乳腺钼靶图像的大尺度特征。
7.根据权利要求2所述的分类方法，其特征在于：所述注意力模块包括原始特征图与注意力向量，所述原始特征图为F，所述注意力向量为M(F)，将所述注意力向量与所述原始特征图对位相乘，相乘结果与所述原始特征图相加，得到一个新的特征图，新的特征图为F'，
8.根据权利要求7所述的分类方法，其特征在于：所述注意力向量由原始特征图通过全局平均池化，两个全连接层和一个Sigmoid激活函数得到，所述注意力向量M(F)为：
M(F)＝σ(fc(Favg))。
9.一种乳腺钼靶图像病灶的分类***，其特征在于：包括：乳腺DR设备与计算机设备，所述乳腺DR设备与计算机设备连接，所述计算机设备包括，
存储器，所述存储器存储有至少一条可执行指令；
处理器，所述处理器运行所述存储器上存储的指令，实现上述1-8任意一项的乳腺钼靶图像病灶的分类方法。
10.一种计算机可读存储介质，其特征在于：存储有至少一条可执行指令，所述可执行指令被处理器执行时实现上述1-8任意一项的乳腺钼靶图像病灶的分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010996635.7A CN114298957A (zh) | 2020-09-21 | 2020-09-21 | 一种乳腺钼靶图像病灶的分类方法、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010996635.7A CN114298957A (zh) | 2020-09-21 | 2020-09-21 | 一种乳腺钼靶图像病灶的分类方法、***及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114298957A true CN114298957A (zh) | 2022-04-08 |
Family
ID=80964538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010996635.7A Pending CN114298957A (zh) | 2020-09-21 | 2020-09-21 | 一种乳腺钼靶图像病灶的分类方法、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114298957A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456286A (zh) * | 2023-12-22 | 2024-01-26 | 吉林农业大学 | 一种人参分级方法、装置及设备 |
-
2020
- 2020-09-21 CN CN202010996635.7A patent/CN114298957A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456286A (zh) * | 2023-12-22 | 2024-01-26 | 吉林农业大学 | 一种人参分级方法、装置及设备 |
| CN117456286B (zh) * | 2023-12-22 | 2024-04-16 | 吉林农业大学 | 一种人参分级方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qi et al. | Automated diagnosis of breast ultrasonography images using deep neural networks | |
| Shamshad et al. | Transformers in medical imaging: A survey | |
| Sun et al. | Computer-aided diagnosis in histopathological images of the endometrium using a convolutional neural network and attention mechanisms | |
| Arora et al. | Deep feature–based automatic classification of mammograms | |
| Sajja et al. | Lung cancer detection based on CT scan images by using deep transfer learning | |
| Rampun et al. | Breast mass classification in mammograms using ensemble convolutional neural networks | |
| Omonigho et al. | Breast cancer: tumor detection in mammogram images using modified alexnet deep convolution neural network | |
| Chan et al. | Texture-map-based branch-collaborative network for oral cancer detection | |
| Yu et al. | A systematic survey of deep learning in breast cancer | |
| CN113506310B (zh) | 医学图像的处理方法、装置、电子设备和存储介质 | |
| Li et al. | Classification of breast mass in two‐view mammograms via deep learning | |
| CN113436173B (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及*** | |
| CN105023023B (zh) | 一种用于计算机辅助诊断的乳腺b超图像特征自学习提取方法 | |
| Aslam et al. | Liver-tumor detection using CNN ResUNet | |
| JP2024043567A (ja) | 特徴分離に基づく病理画像特徴抽出器の訓練方法、訓練装置、電子機器、記憶媒体及び病理画像分類システム | |
| Shi et al. | Automatic detection of pulmonary nodules in CT images based on 3D Res-I network | |
| CN114298957A (zh) | 一种乳腺钼靶图像病灶的分类方法、***及存储介质 | |
| CN101968851A (zh) | 基于字典学习上采样的医学影像处理方法 | |
| Boudouh et al. | Breast cancer: Breast tumor detection using deep transfer learning techniques in mammogram images | |
| CN116612313A (zh) | 基于改进EfficientNet-B0模型的肺结节良恶性分类方法 | |
| CN110472694A (zh) | 一种肺癌图像病理分类方法及装置 | |
| CN116229067A (zh) | 基于通道注意力的肝细胞癌ct图像分割方法 | |
| CN113139627B (zh) | 纵隔肿物识别方法、***及装置 | |
| Wan et al. | Ceus-net: Lesion segmentation in dynamic contrast-enhanced ultrasound with feature-reweighted attention mechanism | |
| Cao et al. | EFAG-CNN: Effectively fused attention guided convolutional neural network for WCE image classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |