CN116863194A - 一种足溃疡图像分类方法、***、设备及介质 - Google Patents
一种足溃疡图像分类方法、***、设备及介质 Download PDFInfo
- Publication number
- CN116863194A CN116863194A CN202310567048.XA CN202310567048A CN116863194A CN 116863194 A CN116863194 A CN 116863194A CN 202310567048 A CN202310567048 A CN 202310567048A CN 116863194 A CN116863194 A CN 116863194A
- Authority
- CN
- China
- Prior art keywords
- image
- foot ulcer
- network
- branch
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003790 Foot Ulcer Diseases 0.000 title claims abstract description 74
- 206010040943 Skin Ulcer Diseases 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000003993 interaction Effects 0.000 claims abstract description 23
- 238000011176 pooling Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000012795 verification Methods 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 230000008878 coupling Effects 0.000 claims abstract description 15
- 238000010168 coupling process Methods 0.000 claims abstract description 15
- 238000005859 coupling reaction Methods 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000013145 classification model Methods 0.000 claims abstract description 5
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 235000012434 pretzels Nutrition 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 208000015181 infectious disease Diseases 0.000 description 9
- 208000028867 ischemia Diseases 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 208000008960 Diabetic foot Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种足溃疡图像分类方法、***、设备及介质，包括：获取足溃疡图像作为训练数据集；基于卷积神经网络CNN和视觉密集交互网络ViT构建足溃疡图像分类网络；搭建图像融合模块、序列池化层、搭建特征耦合模块；使用足溃疡数据集训练网络模型，使用训练后的模型进行足溃疡图像分类，将训练后的分类模型在验证集和测试集上对每个样本预测属于各类别的概率，直到获得所有样本的预测概率，完成足溃疡图像分类的测试。通过集成CNN和ViT两个网络结构，使得两个网络的密集交互，实现信息互补，从而使得最终的网络能够更加准确地判断出足溃疡DFU的类别。
Description
技术领域
本发明属于计算机视觉模式识别技术领域，具体涉及一种足溃疡图像分类方法、***、设备及介质。
背景技术
图像分类的目标是将不同的图像划分到不同的类别，实现最小的分类误差，是人工智能技术中计算机视觉研究的重要问题之一，也是目标检测、物体追踪、图像分割等视觉任务的基础。图像分类的准确性是依靠特征提取的有效性来决定，目前流行的基于传统的机器学习图像分类算法和基于深度学习的图像分类算法就采用了完全不同的特征提取方式，最后达到的分类效果也大为不同，无法准确地判断出足溃疡DFU的类别。
发明内容
本发明的目的在于提供一种足溃疡图像分类方法、***、设备及介质，以解决传统足溃疡图像识别具有较大主观性以及目前针对足溃疡图像分类的算法具有准确率较低的问题。
为实现上述目的，本发明采用以下技术方案：
第一方面，本发明提供一种足溃疡图像分类方法，包括：
获取足溃疡图像作为训练数据集，并对获取的训练数据集进行扩充；
基于卷积神经网络CNN和视觉密集交互网络ViT构建足溃疡图像分类网络；
在卷积神经网络CNN分支前搭建图像融合模块；在视觉密集交互网络ViT分支中引入序列池化层；
搭建特征耦合模块，在卷积神经网络CNN分支和视觉密集交互网ViT分支特定层前实现交互；
使用足溃疡数据集训练网络模型，使用训练后的模型进行足溃疡图像分类，将训练后的分类模型在验证集和测试集上对每个样本预测属于各类别的概率，直到获得所有样本的预测概率，完成足溃疡图像分类的测试。
可选的，对获取的训练数据集进行扩充：
首先，获取足溃疡图像，其中：5955张用于训练集，5734张用于测试集，还有3994张没有标签的图像用于无监督的训练；
其次，扩充操作包括：垂直和水平翻转、亮度增强、随机对比度调整、高斯模糊、椒盐噪声和移动比例旋转，将数据集中雷同的图片进行了删除。
可选的，构建足溃疡图像分类网络：
足溃疡分类网络的结构包含两个分支结构，其中，CNN分支包括一个图像融合模块和11个卷积模块，卷积模块包括两层的批归一化层和激活层、两层的3×3的卷积层；批归一化层和激活层用于将图像特征归一化和激活处理，卷积层用于提取图像2D特征；ViT由三部分组成:嵌入层，Transformer编码器层和一个多层感知器头层MLP Head；在网络的Transformer编码器层和MLP Head层中引入了序列池化层；通过将两个分支结合，完成对足溃疡图像的分类任务。
可选的，搭建图像融合模块、序列池化层：
图像融合模块采用图像纹理特征提取算法LBP，LBP特征是根据图像中间像素点与周围像素点相比的大小确定值1或0，然后将中心像素点周围的二进制数转化为十进制数，得到LBP码，表示每个像素周围的局部结构；通过重复上述操作，处理完所有像素点，得到完整的LBP结果；先将RGB图像的三个颜色通道图像提取出来，再分别与LBP码结合，最后将融合了纹理信息的R、G、B图像融合为一张图片，作为CNN的输入；
序列池化层包含了输入图像中不同部分的相关信息，用于融合整个数据序列的特征，使网络对由Transformer编码器层产生的潜在空间的顺序嵌入进行加权；
可选的，特征耦合模块通过特征耦合模块可以将局部特征与全局表示进行连续耦合，具体操作如下：当由CNN分支的特定层得到的特征图输入到ViT分支时，特征图首先需要通过1×1的卷积操作来对齐ViT分支中的图像块嵌入的通道数；然后，通过下采样来完成空间上的维度对齐；最后，将特征图添加到ViT分支的特定层中；当将ViT分支的图像块嵌入输入到CNN分支时，图像块嵌入需要通过上采样来对齐空间尺度；然后，通过1×1的卷积操作将通道维度与来自CNN分支特定层的特征图的维度对齐，最后，将图像块嵌入添加到特CNN分支的特定层特征图中，同时，使用层归一化和批归一化对两个分支的特征进行正则化。
可选的，训练网络模型：
首先，将足溃疡数据集中的训练数据集按8：2分为训练数据集和验证数据集；其次，将训练数据集及验证数据集送入网络进行训练并验证，获得并保存使得验证分数最大的模型参数；最后，将足溃疡盲测试集送入模型中，用保存好的模型参数来预测DFU图像的类别。
第二方面，本发明提供一种足溃疡图像分类***，包括：
数据扩充模块，用于获取足溃疡图像作为训练数据集，并对获取的训练数据集进行扩充；
DFU图像分类网络构建模块，基于卷积神经网络CNN和视觉密集交互网络ViT构建足溃疡图像分类网络；在卷积神经网络CNN分支前搭建图像融合模块；在视觉密集交互网络ViT分支中引入序列池化层；搭建特征耦合模块，在卷积神经网络CNN分支和视觉密集交互网ViT分支特定层前实现交互；
训练及分类模块，用于使用足溃疡数据集训练网络模型，使用训练后的模型进行足溃疡图像分类，将训练后的分类模型在验证集和测试集上对每个样本预测属于各类别的概率，直到获得所有样本的预测概率，完成足溃疡图像分类的测试。
第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种足溃疡图像分类方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现一种足溃疡图像分类方法的步骤。
与现有技术相比，本发明有以下技术效果：
本发明通过在足溃疡分类网络中添加图像融合模块、序列池化层和特征耦合模块得到改进的足溃疡图像分类网络，再将处理后的数据集作为输入，对训练样本进行预训练，得到足溃疡图像分类网络模型的初始参数，最后采用训练好的网络模型对测试样本进行分类，得到分类结果。本发明实现了对DFU图像更高效准确的分类，通过集成CNN和ViT两个网络结构，使得两个网络的密集交互，实现信息互补，从而使得最终的网络能够更加准确地判断出足溃疡DFU的类别。
附图说明
图1是本发明整体流程图。
图2是本发明整体结构示意图。
图3是本发明CNN分支的结构示意图。
图4是本发明ViT分支的结构示意图。
图5是本发明特征耦合模块的结构示意图。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开内容的实施例，并与说明书一起用于解释本公开内容的原理。通过上述附图，已示出本公开内容明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开内容构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本公开内容相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开内容中的一些方面相一致的装置和方法的例子。
本发明由获取数据集、对获取数据集进行扩充处理、通过LBP算法提取图像纹理特征、纹理特征与RGB图像融合输入CNN分支、原始图像输入ViT分支、通过特征耦合模块连接两个分支、输出CNN分支结果、输出ViT分支的结果、融合两个分支的结果作为最终的输入。本发明实现了针对DFU图像的更准确的分类，能同时在网络中交互的利用数据的局部和全局特征，能够充分利用图像的纹理特征，能够通过序列池化操作使得网络更加关注重要的信息且更加紧凑，不仅提高了足溃疡DFU图像分类的准确率，还可以使得我们的网络可以应用于小的数据集。
本发明是一种足溃疡图像分类方法的一种实施例，整体流程如图1所示，模型整体框架如图2所示，有以下步骤：
(1)数据集处理
首先，根据数据集学术带头人发布的协议，我们申请并签订使用协议获得了DFUC2021数据集的使用权。该数据集来自2021年由英国、美国、印度和新西兰的首席科学家发起的一项糖尿病足溃疡挑战赛，该比赛为我们提供了15683张DFU图像，其中：5955张用于训练集(既无感染也无缺血的2552张，仅感染的2555张，仅缺血的227张，既感染又缺血的621张)，5734张用于测试集(没有标签)，还有3994张没有标签的图像用于无监督的训练。其次，我们对数据集进行了适当的扩充，操作包括：垂直和水平翻转、亮度增强、随机对比度调整、高斯模糊、椒盐噪声和移动比例旋转。因为原数据集中已经存在很多数据增强之后的图像，所以我们将数据集中雷同的图片进行了手动删除。
(2)搭建足溃疡DFU分类网络:
足溃疡DFU分类网络结构由两个分支构成。第一路分支是CNN，如图3所示，第二路分支是ViT，如图4所示。两个分支在经过重复堆叠12个卷积模块和Transformer编码器块之后，分别通过两个分类器来获得分类结果，最后经过简单的相加操作来获得最终的分类结果。
(3)搭建图像融合模块:
图像融合模块用到了传统的图像纹理特征提取算法LBP，它是医学应用中最成功的纹理描述方法之一。LBP特征是根据图像中间像素点与周围像素点相比的大小确定值1或0，然后将中心像素点周围的二进制数转化为十进制数，得到LBP码，表示每个像素周围的局部结构。其公式定义为：
其中，(xc,yc)是(r×r)框中的中心点，vn和vc分别是中心点和它相邻的格子的像素灰度值。s(u)是阈值函数，计算如下：
重复以上步骤，直到处理完所有像素点，得到完整的LBP结果。由于LBP码的无序性质不适合卷积运算，所以直接在LBP码上训练CNN模型是不适用的，这个问题可以通过将LBP码与原始的RGB图像融合来解决。具体地，先将RGB图像的三个颜色通道图像提取出来，再分别与LBP码结合，最后将融合了纹理信息的R、G、B图像融合为一张图片，作为CNN的输入。
(4)搭建序列池化层:
序列池化将来自Transformer编码器的基于顺序的信息进行池化，消除了对额外分类令牌的需要。序列池化允许网络对由Transformer编码器产生的潜在空间的顺序嵌入进行加权，并更好地关联输入数据之间的特征。这部分对于分类性能的提升很明显。此外，序列池化能够让模型更好地利用空间稀疏数据中的信息。
(5)搭建特征耦合模块:
如图5所示，当将由CNN得到的特征图输入到Transformer分支时，特征图首先需要通过1×1卷积操作来对齐图像块嵌入的通道数。然后通过下采样来完成空间上的维度对齐。最后，将特征图添加到图像块嵌入中。当将Transformer分支的图像块嵌入输入到CNN分支时，图像块嵌入需要上采样来对齐空间尺度。然后通过1×1卷积操作将通道维度与CNN特征图的维度对齐，最后添加到特征图中。同时，使用层归一化LayerNorm和批归一化BatchNorm对两个分支的特征进行正则化。
(6)训练网络模型
首先，将DFUC2021数据集中的训练数据集按8：2分为训练数据集和验证数据集；其次，将训练数据集及验证数据集送入网络进行训练并验证，获得并保存使得验证分数最大的模型参数；最后，将DFUC2021盲测试集送入模型中，用保存好的模型参数来预测DFU图像的类别。DFUC2021数据集中样本分为三个类别，既无感染也无缺血的2552张，仅感染的2555张，仅缺血的227张，既感染又缺血的621张。
我们使用交叉熵损失函数，它是多分类任务中最常用的损失函数。
其中p＝[p0,…,pC-1]是一个概率分布，每个元素pi表示样本属于第i类的概率；y＝[y0,…,yC-1]是样本标签的one-hot表示，当样本属于类别i时yi＝1,否则yi＝0；c是样本标签。
实验均使用224×224像素的输入大小。以0.001的学习率训练模型，采用Adam优化器，批量大小设置为32。如果验证分数在5个时间段后没有下降，学习率则以0.1倍的因子减少。我们将最大迭代数设置为50。在迭代过程中，保存使验证集上的分数最大化的最佳权重模型；
本发明实施例中模型设置的具体过程如下：
6.1)初始化。初始化函数选择Adam优化器来缓解后向传播过程中的梯度消失或***问题，有助于更好更快地收敛神经网络。
6.2)激活函数。扩展路径中在每个卷积层中使用校正线性单元(ReLU)对卷积层后的数据做非线性转换，解决网络中的梯度消失问题，定义输入为x，则ReLU定义为：
f(X)＝max(0,x) (4)
6.3)池化层。模型使用最大池化层函数选取邻域内特征点最大值。减少网络要学习的参数数量、防止过拟合、扩大感知野。模型上采样使用双线性插值法，其工作原理是在两个线性方向中选择一个线性方向进行插值，有助于增加目标的特征。
(7)使用训练后的模型进行DFU图像分类
将训练后的分类模型在测试集上对每个样本逐一分类，直到所有样本分类结束，完成DFU图像的分类。为了评估所提出方法的性能，使用医学图像分类任务中最常用的标准性能指标：宏观平均F1分数和宏观平均AUC值。
为了验证我们所提出模型的效果，采用与广泛应用于图像分类领域的模型进行了比较(以下简称对比实验)。在对比实验中，对于每一个样本，模型都会根据四个类别来进行评估打分：既无感染也无缺血，仅感染，仅缺血，既感染又缺血。表6从各个方面对六种模型进行了全面比较。实验结果表明，与其他模型相比，我们提出的模型性能最好。
表1与其他分类模型在DFUC2021数据集上的性能比较
本发明再一实施例中，提供一种DFU图像分类***，能够用于实现上述的一种DFU图像分类方法，具体的，该***包括：
数据扩充模块，用于获取足溃疡图像作为训练数据集，并对获取的训练数据集进行扩充；
DFU图像分类网络构建模块，基于卷积神经网络CNN和视觉密集交互网络ViT构建足溃疡图像分类网络；在卷积神经网络CNN分支前搭建图像融合模块；在视觉密集交互网络ViT分支中引入序列池化层；搭建特征耦合模块，在卷积神经网络CNN分支和视觉密集交互网ViT分支特定层前实现交互；
训练及分类模块，用于使用足溃疡数据集训练网络模型，使用训练后的模型进行足溃疡图像分类，将训练后的分类模型在验证集和测试集上对每个样本预测属于各类别的概率，直到获得所有样本的预测概率，完成足溃疡图像分类的测试。
本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于一种足溃疡DFU图像分类方法的操作。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作***。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关一种足溃疡DFU图像分类方法的相应步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (9)
1.一种足溃疡图像分类方法，其特征在于，包括：
获取足溃疡图像作为训练数据集，并对获取的训练数据集进行扩充；
基于卷积神经网络CNN和视觉密集交互网络ViT构建足溃疡图像分类网络；
在卷积神经网络CNN分支前搭建图像融合模块；在视觉密集交互网络ViT分支中引入序列池化层；
搭建特征耦合模块，在卷积神经网络CNN分支和视觉密集交互网ViT分支特定层前实现交互；
使用足溃疡数据集训练网络模型，使用训练后的模型进行足溃疡图像分类，将训练后的分类模型在验证集和测试集上对每个样本预测属于各类别的概率，直到获得所有样本的预测概率，完成足溃疡图像分类的测试。
2.根据权利要求1所述的一种足溃疡图像分类方法，其特征在于，对获取的训练数据集进行扩充：
首先，获取足溃疡图像，其中：5955张用于训练集，5734张用于测试集，还有3994张没有标签的图像用于无监督的训练；
其次，扩充操作包括：垂直和水平翻转、亮度增强、随机对比度调整、高斯模糊、椒盐噪声和移动比例旋转，将数据集中雷同的图片进行了删除。
3.根据权利要求1所述的一种足溃疡图像分类方法，其特征在于，构建足溃疡图像分类网络：
足溃疡分类网络的结构包含两个分支结构，其中，CNN分支包括一个图像融合模块和11个卷积模块，卷积模块包括两层的批归一化层和激活层、两层的3×3的卷积层；批归一化层和激活层用于将图像特征归一化和激活处理，卷积层用于提取图像2D特征；ViT由三部分组成:嵌入层，Transformer编码器层和一个多层感知器头层MLP Head；在网络的Transformer编码器层和MLP Head层中引入了序列池化层；通过将两个分支结合，完成对足溃疡图像的分类任务。
4.根据权利要求1所述的一种足溃疡图像分类方法，其特征在于，搭建图像融合模块、序列池化层：
图像融合模块采用图像纹理特征提取算法LBP，LBP特征是根据图像中间像素点与周围像素点相比的大小确定值1或0，然后将中心像素点周围的二进制数转化为十进制数，得到LBP码，表示每个像素周围的局部结构；通过重复上述操作，处理完所有像素点，得到完整的LBP结果；先将RGB图像的三个颜色通道图像提取出来，再分别与LBP码结合，最后将融合了纹理信息的R、G、B图像融合为一张图片，作为CNN的输入；
序列池化层包含了输入图像中不同部分的相关信息，用于融合整个数据序列的特征，使网络对由Transformer编码器层产生的潜在空间的顺序嵌入进行加权。
5.根据权利要求1所述的一种足溃疡图像分类方法，其特征在于，特征耦合模块通过特征耦合模块可以将局部特征与全局表示进行连续耦合，具体操作如下：当由CNN分支的特定层得到的特征图输入到ViT分支时，特征图首先需要通过1×1的卷积操作来对齐ViT分支中的图像块嵌入的通道数；然后，通过下采样来完成空间上的维度对齐；最后，将特征图添加到ViT分支的特定层中；当将ViT分支的图像块嵌入输入到CNN分支时，图像块嵌入需要通过上采样来对齐空间尺度；然后，通过1×1的卷积操作将通道维度与来自CNN分支特定层的特征图的维度对齐，最后，将图像块嵌入添加到特CNN分支的特定层特征图中，同时，使用层归一化和批归一化对两个分支的特征进行正则化。
6.根据权利要求1所述的一种足溃疡图像分类方法，其特征在于，训练网络模型：
首先，将足溃疡数据集中的训练数据集按8：2分为训练数据集和验证数据集；其次，将训练数据集及验证数据集送入网络进行训练并验证，获得并保存使得验证分数最大的模型参数；最后，将足溃疡盲测试集送入模型中，用保存好的模型参数来预测DFU图像的类别。
7.一种足溃疡图像分类***，其特征在于，包括：
数据扩充模块，用于获取足溃疡图像作为训练数据集，并对获取的训练数据集进行扩充；
DFU图像分类网络构建模块，基于卷积神经网络CNN和视觉密集交互网络ViT构建足溃疡图像分类网络；在卷积神经网络CNN分支前搭建图像融合模块；在视觉密集交互网络ViT分支中引入序列池化层；搭建特征耦合模块，在卷积神经网络CNN分支和视觉密集交互网ViT分支特定层前实现交互；
训练及分类模块，用于使用足溃疡数据集训练网络模型，使用训练后的模型进行足溃疡图像分类，将训练后的分类模型在验证集和测试集上对每个样本预测属于各类别的概率，直到获得所有样本的预测概率，完成足溃疡图像分类的测试。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述一种足溃疡图像分类方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述一种足溃疡图像分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310567048.XA CN116863194A (zh) | 2023-05-18 | 2023-05-18 | 一种足溃疡图像分类方法、***、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310567048.XA CN116863194A (zh) | 2023-05-18 | 2023-05-18 | 一种足溃疡图像分类方法、***、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116863194A true CN116863194A (zh) | 2023-10-10 |
Family
ID=88227415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310567048.XA Pending CN116863194A (zh) | 2023-05-18 | 2023-05-18 | 一种足溃疡图像分类方法、***、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863194A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152575A (zh) * | 2023-10-26 | 2023-12-01 | 吉林大学 | 图像处理装置、电子设备和计算机可读存储介质 |
| CN117392463A (zh) * | 2023-12-07 | 2024-01-12 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 图像分类方法、装置、计算机设备和存储介质 |
-
2023
- 2023-05-18 CN CN202310567048.XA patent/CN116863194A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152575A (zh) * | 2023-10-26 | 2023-12-01 | 吉林大学 | 图像处理装置、电子设备和计算机可读存储介质 |
| CN117152575B (zh) * | 2023-10-26 | 2024-02-02 | 吉林大学 | 图像处理装置、电子设备和计算机可读存储介质 |
| CN117392463A (zh) * | 2023-12-07 | 2024-01-12 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 图像分类方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3289529B1 (en) | Reducing image resolution in deep convolutional networks | |
| CN112308200B (zh) | 神经网络的搜索方法及装置 | |
| US20220215227A1 (en) | Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium | |
| CN112446383B (zh) | 车牌识别方法及装置、存储介质、终端 | |
| US20220230282A1 (en) | Image processing method, image processing apparatus, electronic device and computer-readable storage medium | |
| CN110826596A (zh) | 一种基于多尺度可变形卷积的语义分割方法 | |
| CN112329658A (zh) | 一种对于yolov3网络的检测算法改进方法 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN111696110B (zh) | 场景分割方法及*** | |
| CN116863194A (zh) | 一种足溃疡图像分类方法、***、设备及介质 | |
| CN112396607A (zh) | 一种可变形卷积融合增强的街景图像语义分割方法 | |
| CN113065645B (zh) | 孪生注意力网络、图像处理方法和装置 | |
| CN113326930A (zh) | 数据处理方法、神经网络的训练方法及相关装置、设备 | |
| CN116229461A (zh) | 一种基于多尺度细化的室内场景图像实时语义分割方法 | |
| CN112307982A (zh) | 基于交错增强注意力网络的人体行为识别方法 | |
| CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN114549913A (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN114037640A (zh) | 图像生成方法及装置 | |
| CN113841162A (zh) | 深度神经网络中的深度优先卷积 | |
| CN115410030A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN112329801A (zh) | 一种卷积神经网络非局部信息构建方法 | |
| CN114821058A (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
| CN115018039A (zh) | 一种神经网络蒸馏方法、目标检测方法以及装置 | |
| CN114648667B (zh) | 一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法 | |
| CN113963272A (zh) | 一种基于改进yolov3的无人机图像目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |