CN116721302B - 一种基于轻量级网络的冰雪晶粒子图像分类方法 - Google Patents
一种基于轻量级网络的冰雪晶粒子图像分类方法 Download PDFInfo
- Publication number
- CN116721302B CN116721302B CN202311002748.0A CN202311002748A CN116721302B CN 116721302 B CN116721302 B CN 116721302B CN 202311002748 A CN202311002748 A CN 202311002748A CN 116721302 B CN116721302 B CN 116721302B
- Authority
- CN
- China
- Prior art keywords
- ice
- convolution
- network
- image
- crystal particle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013078 crystal Substances 0.000 title claims abstract description 77
- 239000002245 particle Substances 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000003860 storage Methods 0.000 claims abstract description 7
- 230000008521 reorganization Effects 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000008707 rearrangement Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 241000533950 Leucojum Species 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims 3
- 230000002779 inactivation Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000009826 distribution Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000005427 atmospheric aerosol Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于轻量级网络的冰雪晶粒子图像分类方法，属于计算机视觉技术领域，包括：使用包含多个分类的冰雪晶粒子图像的训练样本数据集对搭建好的网络模型进行训练，并使用冰雪晶粒子图像的测试数据集对网络模型进行冰雪晶粒子图像进行分类测试验证，选择性能最好的模型参数进行保存；将获取的冰雪晶粒子图像输入到经过训练和测试的网络模型中，对冰雪晶粒子图像进行特征提取和类别的推理计算，得到一个预测的类别从而实现对冰雪晶粒子图像的自动分类。本发明通过深度可分离空洞卷积层能有效融合全局和局部特征，对于冰雪晶粒子这种在尺度和结构上存在微小差异的细节特征能有较好的分类效果。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于轻量级网络的冰雪晶粒子图像分类方法。
背景技术
冰雪晶粒子是一种重要的大气气溶胶，对气候和天气都有着重要的影响。正确的分类冰雪晶粒子图像有助于研究人员更好地理解和研究天气模式，从而更准确地预测天气变化，提高天气预报的准确性。其次，冰雪晶粒子可以改变大气中的光学属性、天空颜色、人类视觉感受等，这些信息都对人们的观察能力和感觉体验产生影响。正确的分类冰雪晶粒子有助于相关工作者更好地理解这些影响因素，从而制定出更合理的气象政策，以保障公众的视觉体验和健康。
近些年，随着深度学***衡的情况下，获取较好的分类效果。
但是现有技术存在的以下问题：1、缺乏对冰雪晶粒子形态特征的有效提取：现存的基于深度卷积网络的冰雪晶粒子分类方法，在对冰雪晶粒子这种类内差异大、类间差异小的细粒度和样本不均衡的问题进行处理时能力有限，难以充分提取和表达冰雪晶粒子图像中的特征信息，导致误差的产生，降低了分类的准确性和可靠性。2、推理速度慢：现存的基于深度卷积网络的冰雪晶粒子分类方法，存在着深度过深、计算IO开销过大等问题导致推理速度慢，对于快速将冰雪晶粒子进行识别分类的任务要求，这些方法在推理速度上还有很大优化空间。3、参数量规模大：现存的基于深度卷积网络的冰雪晶粒子分类方法，具有大规模的参数量，这直接导致算法难以嵌入到终端设备上，限制了算法的实际应用。
需要说明的是，在上述背景技术部分公开的信息只用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于克服现有技术的缺点，提供了一种基于轻量级网络的冰雪晶粒子图像分类方法，解决了现有技术存在的不足。
本发明的目的通过以下技术方案来实现：一种基于轻量级网络的冰雪晶粒子图像分类方法，所述分类方法包括：
使用包含多个分类的冰雪晶粒子图像的训练样本数据集对搭建好的轻量级网络UDiNet进行训练，并使用冰雪晶粒子图像的测试数据集对轻量级网络UDiNet进行冰雪晶粒子图像进行分类测试验证，选择性能最好的模型参数进行保存；
将获取的冰雪晶粒子图像输入到经过训练和测试的轻量级网络UDiNet中，对冰雪晶粒子图像进行特征提取和类别的推理计算，得到一个预测的类别从而实现对冰雪晶粒子图像的自动分类。
所述轻量级网络UDiNet的骨干网络为通道重组网络，轻量级网络UDiNet包括通道重组卷积单元、轻量级注意力机制层和深度可分离空洞卷积层；
所述通道重组卷积单元用于构建通道重组网络，在分组卷积时将特征图中各通道组的信息进行重排，形成通道重排机制，增大通道间的信息融合；所述轻量级注意力机制层用于特征图重要性加权，通过学习得到的注意力权重，使得轻量级网络UDiNet自动地选择和关注对当前任务更加重要的特征；
使用分组卷积和逐点卷积组成的基本单元对通道重组网络进行构建，并在分组卷积中引入分组通道重排机制将通道重组网络的最后一层基本单元的输出特征图作为深度可分离空洞卷积层的输入。
所述深度可分离空洞卷积层使用残差网络结构，其包括深度可分离空洞卷积分支和短连接分析，两个分支分别以通道重组网络最后一层基本单元生成的特征图和通道数为标准，通过深度可分离空洞卷积分支对输入特征图进行全局特征提取，通过短连接分支对输入特征图进行局部信息的采集，并将两个分支输出特征图在通道维度上进行连接，实现通道扩展。
所述通过深度可分离空洞卷积分支对输入特征图进行全局特征提取，通过短连接分支对输入特征图进行局部信息的采集具体包括：
A1、通过卷积核大小为3×3的深度卷积在单张特征图上学习冰雪晶粒子图像细节处的特征信息，然后通过卷积核大小为1×1的逐点卷积对冰雪晶粒子图像的多张特征图进行信息整合；
A2、通过卷积核大小为1×1的逐点卷积进行升维，获取冰雪晶粒子图像更多不同通道的特征信息，然后沿特征图周围填充两层值为0的像素点，以在扩大冰雪晶粒子特征图的同时不对特征信息到来噪声干扰；
A3、通过卷积核大小为3×3的深度卷积在单张特征图上学习冰雪晶粒子特征图像整体上的特征信息，通过卷积核大小为1×1的逐点卷积对冰雪晶粒子图像的多张特征图进行信息整合；
A4、将A1和A2步骤计算结果沿通道维度进行连接，作为深度可分离空洞卷积层的输出特征图。
所述轻量级网络UDiNet的训练包括以下内容：
将在大型图像数据集ImageNet上预训练过的卷积神经网络的参数用于轻量级网络UDiNet的骨干网络中卷积层的初始化；
采用Pytorch框架，Epochs设置为100，Batch Size设置为128；
使用AdamW优化算法，学习率设为0.0001；
在包含多个类别的冰雪晶粒子图像的公开数据集ICDC中，每个类别随机选择其中80%的图像数据进行训练。
所述使用冰雪晶粒子图像的测试数据集对轻量级网络UDiNet进行冰雪晶粒子图像进行分类测试验证，选择性能最好的模型参数进行保存具体包括以下内容：
在每个Epoch训练结束时，用同样的测试样本数据集对轻量级网络UDiNet进行测试，并对测试得到的分类结果进行评价；
通过公式计算轻量级网络UDiNet对所有测试样本数据集的分类准确率，其中ŷi表示轻量级网络UDiNet预测得出的第i个图像的类别，yi是相应的真实类别值，M是测试时输入网络模型的图像的总数，eq(yi,ŷi)是相等函数，当且仅当yi趋近于ŷi时，轻量级网络UDiNet的预测性能越好，准确率越接近于1；
测试所用数据为在包含多个类别的冰雪晶粒子图像的公开数据集ICDC中，除训练样本数据集外的所有剩余20%的图像数据进行测试；
保存多次测试中计算所得准确率最高时的轻量级网络UDiNet。
所述冰雪晶粒子图像的多个分类包括玫瑰花结状、玫瑰状、长柱状、短柱状、空心柱状、球状、小不规则状、板状、六角雪花状和复杂状；深度可分离空洞卷积层输出特征图输入至卷积分类器中，然后使用softmax函数将输出概率归一化，完成10类的冰雪晶粒子图像分类任务。
本发明具有以下优点：一种基于轻量级网络的冰雪晶粒子图像分类方法，通过深度可分离空洞卷积层能有效融合全局和局部特征，对于冰雪晶粒子这种在尺度和结构上存在微小差异的细节特征能有较好的分类效，其次，通过使用深度可分离卷积将普通卷积分成两步进行，极大地减少了模型的计算量和参数量；深度可分离空洞卷积分支使用逆瓶颈结构，能够在输入特征图通道数较少的情况下将低维的特征图映射到高维，在高维对数据进行特征提取，从而减少提取特征图信息过程中的损失；使用轻量级的模型架构设计，极大减少模型参数量，加快了模型推理速度，有望在各类边缘计算终端中进行部署应用；通过设计卷积分类器，在保留了空间信息的同时对输入的平移不变性具有一定鲁棒性，卷积分类器相比于全连接分类器不仅提高了模型的参数效率还增强了模型的泛化能力。
附图说明
图1为本发明的流程示意图；
图2为本发明的轻量级网络UDiNet的结构示意图1；
图3为本发明的轻量级网络UDiNet的结构示意图2；
图4为本发明的轻量级网络UDiNet的结构示意图3；
图5为本发明的轻量级网络UDiNet的结构示意图4；
图6为深度可分离空洞卷积层的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。
如图1所示，本发明具体涉及一种基于轻量级网络UDiNet的冰雪晶粒子图像分类方法。该网络通过深度可分离卷积极大地减少了网络所需的参数量和计算量，解决现存冰雪晶粒子分类算法参数量规模过大、计算量过高的痛点。其次，UDiNet使用一种深度可分离空洞卷积实现特征图中空间信息和位置信息的快速融合，增大了网络的感受野，使网络在快速整合分类信息的同时还拥有更加准确的分类能力。具体包括以下内容：
使用包含多个分类的冰雪晶粒子图像的训练样本数据集对搭建好的轻量级网络UDiNet进行训练，并使用冰雪晶粒子图像的测试数据集对轻量级网络UDiNet进行冰雪晶粒子图像进行分类测试验证，选择性能最好的模型参数进行保存；
将获取的冰雪晶粒子图像输入到经过训练和测试的轻量级网络UDiNet中，对冰雪晶粒子图像进行特征提取和类别的推理计算，得到一个预测的类别从而实现对冰雪晶粒子图像的自动分类。
轻量级网络UDiNet的输入为224×224×3的RGB彩色冰雪晶粒子图像，其骨干网络为通道重组网络，轻量级网络UDiNet包括通道重组卷积单元、轻量级注意力机制层和深度可分离空洞卷积层；
其中，其中深度可分离空洞卷积层为网络的最后一层卷积网络，轻量级网络UDiNet的每一个轻量级注意力机制层后都会使用ReLU6进行激活，指数平滑为momentum=0.9的批量归一化BatchNormalization加速训练提高性能。
如图2-图5所示，首先是使用卷积核大小为3×3的普通卷积在浅层进行初步的特征提取，然后将通道重组单元和注意力机制模块结合进行具有注意力机制的通道重组特征学习，接下来在网络的特征提取器部分的最后一层使用深度可分离空洞卷积将所有的特征在通道间和通道内进行充分特征提取和整合，最后基于网络特征提取器的输出，使用全连接层对模型的类别进行预测。
所述通道重组卷积单元用于构建通道重组网络，该单元在分组卷积时将特征图中各通道组的信息进行重排，形成通道重排机制，增大通道间的信息融合。为进一步增加识别准确率，如图3和图4所示，在通道重组网络的步骤2和步骤3后引入轻量级注意力机制层，实现特征图重要性加权，通过学习得到的注意力权重，模型可以自动地选择和关注对当前任务更加重要的特征。这有助于提高模型对关键特征的感知能力，减少冗余信息的干扰，从而提升模型的性能和泛化能力。最后将的最后一层通道重组卷积单元的输出特征图作为深度可分离空洞卷积层的输入。
使用分组卷积和逐点卷积组成的基本单元对通道重组网络进行构建，并在分组卷积中引入分组通道重排机制将通道重组网络的最后一层基本单元的输出特征图作为深度可分离空洞卷积层的输入。
所述深度可分离空洞卷积层使用残差网络结构，其包括深度可分离空洞卷积分支和短连接分析，两个分支分别以通道重组网络最后一层基本单元生成的特征图和通道数为标准，通过深度可分离空洞卷积分支对输入特征图进行全局特征提取，通过短连接分支对输入特征图进行局部信息的采集，并将两个分支输出特征图在通道维度上进行连接，实现通道扩展。
如图6所示，通过深度可分离空洞卷积分支对输入特征图进行全局特征提取，通过短连接分支对输入特征图进行局部信息的采集具体包括：
A1、通过卷积核大小为3×3的深度卷积在单张特征图上学习冰雪晶粒子图像细节处的特征信息，然后通过卷积核大小为1×1的逐点卷积对冰雪晶粒子图像的多张特征图进行信息整合；
A2、通过卷积核大小为1×1的逐点卷积进行升维，获取冰雪晶粒子图像更多不同通道的特征信息，然后沿特征图周围填充两层值为0的像素点，以在扩大冰雪晶粒子特征图的同时不对特征信息到来噪声干扰；
A3、通过卷积核大小为3×3的深度卷积在单张特征图上学习冰雪晶粒子特征图像整体上的特征信息，通过卷积核大小为1×1的逐点卷积对冰雪晶粒子图像的多张特征图进行信息整合；
A4、将A1和A2步骤计算结果沿通道维度进行连接，作为深度可分离空洞卷积层的输出特征图。
轻量级网络UDiNet的损失函数选择交叉熵损失函数，其定义如下公式所示：
其中N为样本个数，xi是输入的冰雪晶粒子图像，概率分布p(xi)为期望输出，即冰雪晶粒子图像xi的真实类别，概率分布q(xi)为实际输出，即网络模型对冰雪晶粒子图像xi预测得到的类别，损失越小，表明两者分布越接近即表明分类结果更好。
所述轻量级网络UDiNet的训练包括以下内容：
将在大型图像数据集ImageNet上预训练过的卷积神经网络的参数用于轻量级网络UDiNet的骨干网络中卷积层的初始化；
采用Pytorch框架，Epochs设置为100，Batch Size设置为128；
使用AdamW优化算法，学习率设为0.0001；
在包含多个类别的冰雪晶粒子图像的公开数据集ICDC中，每个类别随机选择其中80%的图像数据进行训练。同时，由于现有数据集的样本数量较少，为了提高模型的泛化能力，对数据进行了预处理操作，如随机长宽比裁剪、随机水平翻转等操作以进行数据增强，实现在一定程度上的数据集扩充；以及对图像进行标准化处理，将图像数据通过去均值实现中心化的处理，根据凸优化理论与数据概率分布相关知识，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果；此外，为了适应UDiNet模型的输入大小，使用随机裁剪将图像大小统一到224×224。具体预处理操作如下：以概率为0.8实现图像的随机水平翻转、垂直翻转；根据图像的大小进行0填充使图像大小为正方形，随后对其使用传统的插值算法双线性插值方法将其统一到256×256大小；为符合模型UDiNet输入再进行224×224的随机裁剪；进行逐像素标准化处理，即图像中每个通道的像素值减去对应通道的像素值的均值再除以标准差，实现数据中心化。其中，进行逐像素标准化处理时，RGB三个通道在训练集中的均值为0.056,0.331,0.666，标准差分别为0.080,0.218,0.303。
所述使用冰雪晶粒子图像的测试数据集对轻量级网络UDiNet进行冰雪晶粒子图像进行分类测试验证，选择性能最好的模型参数进行保存具体包括以下内容：
在每个Epoch训练结束时，用同样的测试样本数据集对轻量级网络UDiNet进行测试，并对测试得到的分类结果进行评价；
通过公式计算轻量级网络UDiNet对所有测试样本数据集的分类准确率，其中ŷi表示轻量级网络UDiNet预测得出的第i个图像的类别，yi是相应的真实类别值，M是测试时输入网络模型的图像的总数，eq(yi,ŷi)是相等函数，当且仅当yi趋近于ŷi时，轻量级网络UDiNet的预测性能越好，准确率越接近于1；
测试所用数据为在包含多个类别的冰雪晶粒子图像的公开数据集ICDC中，除训练样本数据集外的所有剩余20%的图像数据进行测试；并在输入网络前对其进行如下预处理操作：用双线性插值方法按照比例把图像调整到256×256；对图像随机裁剪成224×224大小；进行逐像素标准化处理，即图像中每个通道的像素值减去对应通道的像素值的均值再除以标准差，实现数据中心化。其中，进行逐像素标准化处理时，RGB通道在测试集中的均值为0.056,0.331,0.666，标准差分别为0.080,0.218,0.303；
保存多次测试中计算所得准确率最高时的轻量级网络UDiNet。
所述冰雪晶粒子图像的多个分类包括玫瑰花结状、玫瑰状、长柱状、短柱状、空心柱状、球状、小不规则状、板状、六角雪花状和复杂状；深度可分离空洞卷积层输出特征图输入至卷积分类器中，然后使用softmax函数将输出概率归一化，完成10类的冰雪晶粒子图像分类任务。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (3)
1.一种基于轻量级网络的冰雪晶粒子图像分类方法，其特征在于：所述分类方法包括：
使用包含多个分类的冰雪晶粒子图像的训练样本数据集对搭建好的轻量级网络UDiNet进行训练，并使用冰雪晶粒子图像的测试数据集对轻量级网络UDiNet进行冰雪晶粒子图像进行分类测试验证，选择性能最好的模型参数进行保存；
将获取的冰雪晶粒子图像输入到经过训练和测试的轻量级网络UDiNet中，对冰雪晶粒子图像进行特征提取和类别的推理计算，得到一个预测的类别从而实现对冰雪晶粒子图像的自动分类；
所述轻量级网络UDiNet的骨干网络为通道重组网络，轻量级网络UDiNet包括通道重组卷积单元、轻量级注意力机制层和深度可分离空洞卷积层；
所述通道重组卷积单元用于构建通道重组网络，在分组卷积时将特征图中各通道组的信息进行重排，形成通道重排机制，增大通道间的信息融合；所述轻量级注意力机制层用于特征图重要性加权，通过学习得到的注意力权重，使得轻量级网络UDiNet自动地选择和关注对当前任务更加重要的特征；轻量级注意力机制层包括对每组特征图进行深度可分离卷积、最大池化、深度可分离卷积和扩张归一化指数操作，获得当前组的特征图的注意力图，并将获得的注意力图与特征图进行叉积运算，获得的运算结果与特征图进行相加运算，实现特征重用；
使用分组卷积和逐点卷积组成的基本单元对通道重组网络进行构建，并在分组卷积中引入分组通道重排机制将通道重组网络的最后一层基本单元的输出特征图作为深度可分离空洞卷积层的输入；
所述深度可分离空洞卷积层使用残差网络结构，其包括深度可分离空洞卷积分支和短连接分析，两个分支分别以通道重组网络最后一层基本单元生成的特征图和通道数为标准，通过深度可分离空洞卷积分支对输入特征图进行全局特征提取，通过短连接分支对输入特征图进行局部信息的采集，并将两个分支输出特征图在通道维度上进行连接，实现通道扩展；
所述通过深度可分离空洞卷积分支对输入特征图进行全局特征提取，通过短连接分支对输入特征图进行局部信息的采集具体包括：
A1、通过卷积核大小为3×3的深度卷积在单张特征图上学习冰雪晶粒子图像细节处的特征信息，然后通过卷积核大小为1×1的逐点卷积对冰雪晶粒子图像的多张特征图进行信息整合；
A2、通过卷积核大小为1×1的逐点卷积进行升维，获取冰雪晶粒子图像更多不同通道的特征信息，然后沿特征图周围填充两层值为0的像素点，以在扩大冰雪晶粒子特征图的同时不对特征信息到来噪声干扰；
A3、通过卷积核大小为3×3的深度卷积在单张特征图上学习冰雪晶粒子特征图像整体上的特征信息，通过卷积核大小为1×1的逐点卷积对冰雪晶粒子图像的多张特征图进行信息整合；
A4、将A1和A2步骤计算结果沿通道维度进行连接，作为深度可分离空洞卷积层的输出特征图；
所述冰雪晶粒子图像的多个分类包括玫瑰花结状、玫瑰状、长柱状、短柱状、空心柱状、球状、小不规则状、板状、六角雪花状和复杂状；深度可分离空洞卷积层输出特征图输入至卷积分类器中，然后使用softmax函数将输出概率归一化，完成10类的冰雪晶粒子图像分类任务；
所述卷积分类器包括输入通道、随机失活单元、逐点卷积、平均池化、输出通道，其中输入通道、随机失活单元、逐点卷积、平均池化、输出通道依次连接。
2.根据权利要求1所述的一种基于轻量级网络的冰雪晶粒子图像分类方法，其特征在于：所述轻量级网络UDiNet的训练包括以下内容：
将在大型图像数据集ImageNet上预训练过的卷积神经网络的参数用于轻量级网络UDiNet的骨干网络中卷积层的初始化；
采用Pytorch框架，Epochs设置为100，Batch Size设置为128；
使用AdamW优化算法，学习率设为0.0001；
在包含多个类别的冰雪晶粒子图像的公开数据集ICDC中，每个类别随机选择其中80％的图像数据进行训练。
3.根据权利要求1所述的一种基于轻量级网络的冰雪晶粒子图像分类方法，其特征在于：所述使用冰雪晶粒子图像的测试数据集对轻量级网络UDiNet进行冰雪晶粒子图像进行分类测试验证，选择性能最好的模型参数进行保存具体包括以下内容：
在每个Epoch训练结束时，用同样的测试样本数据集对轻量级网络UDiNet进行测试，并对测试得到的分类结果进行评价；
通过公式计算轻量级网络UDiNet对所有测试样本数据集的分类准确率，其中/>表示轻量级网络UDiNet预测得出的第i个图像的类别，yi是相应的真实类别值，M是测试时输入网络模型的图像的总数，/>是相等函数，当且仅当yi趋近于/>时，轻量级网络UDiNet的预测性能越好，准确率越接近于1；
测试所用数据为在包含多个类别的冰雪晶粒子图像的公开数据集ICDC中，除训练样本数据集外的所有剩余20％的图像数据进行测试；
保存多次测试中计算所得准确率最高时的轻量级网络UDiNet。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311002748.0A CN116721302B (zh) | 2023-08-10 | 2023-08-10 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311002748.0A CN116721302B (zh) | 2023-08-10 | 2023-08-10 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116721302A CN116721302A (zh) | 2023-09-08 |
| CN116721302B true CN116721302B (zh) | 2024-01-12 |
Family
ID=87864761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311002748.0A Active CN116721302B (zh) | 2023-08-10 | 2023-08-10 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116721302B (zh) |
Citations (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019071754A1 (zh) * | 2017-10-09 | 2019-04-18 | 哈尔滨工业大学深圳研究生院 | 一种基于深度学习的图像隐私感知方法 |
| CN110427990A (zh) * | 2019-07-22 | 2019-11-08 | 浙江理工大学 | 一种基于卷积神经网络的艺术图像分类方法 |
| CN111539314A (zh) * | 2020-04-21 | 2020-08-14 | 上海海事大学 | 面向云雾遮挡的海面目标显著性检测方法 |
| CN111553193A (zh) * | 2020-04-01 | 2020-08-18 | 东南大学 | 一种基于轻量级深层神经网络的视觉slam闭环检测方法 |
| WO2020222985A1 (en) * | 2019-04-30 | 2020-11-05 | The Trustees Of Dartmouth College | System and method for attention-based classification of high-resolution microscopy images |
| CN113077444A (zh) * | 2021-04-01 | 2021-07-06 | 复旦大学 | 一种基于cnn的超声无损检测图像缺陷分类方法 |
| CN113420643A (zh) * | 2021-06-21 | 2021-09-21 | 西北工业大学 | 基于深度可分离空洞卷积的轻量级水下目标检测方法 |
| CN113627281A (zh) * | 2021-07-23 | 2021-11-09 | 中南民族大学 | 一种基于SK-EfficientNet的轻量级农作物病害识别方法 |
| CN113642390A (zh) * | 2021-07-06 | 2021-11-12 | 西安理工大学 | 一种基于局部注意力网络的街景图像语义分割方法 |
| CN114266898A (zh) * | 2022-01-11 | 2022-04-01 | 辽宁石油化工大学 | 一种基于改进EfficientNet的肝癌识别方法 |
| CN114445430A (zh) * | 2022-04-08 | 2022-05-06 | 暨南大学 | 轻量级多尺度特征融合的实时图像语义分割方法及*** |
| CN114724019A (zh) * | 2022-03-31 | 2022-07-08 | 湘潭大学 | 一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法 |
| CN114757904A (zh) * | 2022-04-07 | 2022-07-15 | 河南大学 | 一种基于ai深度学习算法的表面缺陷检测方法 |
| CN114882234A (zh) * | 2022-04-29 | 2022-08-09 | 西安理工大学 | 多尺度轻量级密集连目标检测网络的构建方法 |
| CN114937151A (zh) * | 2022-05-06 | 2022-08-23 | 西安电子科技大学 | 基于多感受野和注意力特征金字塔的轻量级目标检测方法 |
| CN115049941A (zh) * | 2022-06-27 | 2022-09-13 | 无锡学院 | 一种改进的ShuffleNet卷积神经网络及其遥感图像的分类方法 |
| CN115409846A (zh) * | 2022-05-30 | 2022-11-29 | 福州大学 | 一种基于深度学习的结直肠癌病灶区域轻量级分割方法 |
| CN115496951A (zh) * | 2022-10-09 | 2022-12-20 | 淮阴工学院 | 一种基于改进YOLOv5s的安全设备检测方法 |
| CN115496658A (zh) * | 2022-09-25 | 2022-12-20 | 桂林理工大学 | 基于双重注意力机制的轻量级图像超分辨率重建方法 |
| CN115690479A (zh) * | 2022-05-23 | 2023-02-03 | 安徽理工大学 | 一种基于卷积Transformer的遥感图像分类方法及*** |
| CN115830466A (zh) * | 2022-11-19 | 2023-03-21 | 山东科技大学 | 一种基于深度孪生神经网络的冰川变化遥感检测方法 |
| CN116029946A (zh) * | 2023-03-29 | 2023-04-28 | 中南大学 | 基于异构残差注意神经网络模型的图像去噪方法及*** |
| CN116229283A (zh) * | 2023-03-10 | 2023-06-06 | 江西师范大学 | 基于深度可分离卷积模块的遥感图像变化检测***及方法 |
| WO2023101564A1 (en) * | 2021-12-02 | 2023-06-08 | Kahu.Ai Limited | Skin lesion classification system and method |
| CN116310273A (zh) * | 2023-01-10 | 2023-06-23 | 河南工业大学 | 一种基于多空洞卷积和se注意力残差的无人机检测方法 |
| WO2023123108A1 (en) * | 2021-12-29 | 2023-07-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Methods and systems for enhancing qualities of images |
| CN116434002A (zh) * | 2023-03-24 | 2023-07-14 | 国网河北省电力有限公司电力科学研究院 | 基于轻量级神经网络的烟雾检测方法、***、介质和设备 |
| CN116452900A (zh) * | 2023-04-24 | 2023-07-18 | 西安电子科技大学 | 一种基于轻量级神经网络的目标检测方法 |
| CN116524432A (zh) * | 2023-04-18 | 2023-08-01 | 中交华控(天津)建筑集团有限公司 | 一种小目标检测算法在交通监控中的应用 |
| CN116524253A (zh) * | 2023-04-19 | 2023-08-01 | 杭州电子科技大学 | 一种基于轻量级Transformer的甲状腺癌病理图像分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210279505A1 (en) * | 2020-03-09 | 2021-09-09 | Shenzhen Malong Technologies Co., Ltd. | Progressive verification system and methods |
-
2023
- 2023-08-10 CN CN202311002748.0A patent/CN116721302B/zh active Active
Patent Citations (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019071754A1 (zh) * | 2017-10-09 | 2019-04-18 | 哈尔滨工业大学深圳研究生院 | 一种基于深度学习的图像隐私感知方法 |
| WO2020222985A1 (en) * | 2019-04-30 | 2020-11-05 | The Trustees Of Dartmouth College | System and method for attention-based classification of high-resolution microscopy images |
| CN110427990A (zh) * | 2019-07-22 | 2019-11-08 | 浙江理工大学 | 一种基于卷积神经网络的艺术图像分类方法 |
| CN111553193A (zh) * | 2020-04-01 | 2020-08-18 | 东南大学 | 一种基于轻量级深层神经网络的视觉slam闭环检测方法 |
| CN111539314A (zh) * | 2020-04-21 | 2020-08-14 | 上海海事大学 | 面向云雾遮挡的海面目标显著性检测方法 |
| CN113077444A (zh) * | 2021-04-01 | 2021-07-06 | 复旦大学 | 一种基于cnn的超声无损检测图像缺陷分类方法 |
| CN113420643A (zh) * | 2021-06-21 | 2021-09-21 | 西北工业大学 | 基于深度可分离空洞卷积的轻量级水下目标检测方法 |
| CN113642390A (zh) * | 2021-07-06 | 2021-11-12 | 西安理工大学 | 一种基于局部注意力网络的街景图像语义分割方法 |
| CN113627281A (zh) * | 2021-07-23 | 2021-11-09 | 中南民族大学 | 一种基于SK-EfficientNet的轻量级农作物病害识别方法 |
| WO2023101564A1 (en) * | 2021-12-02 | 2023-06-08 | Kahu.Ai Limited | Skin lesion classification system and method |
| WO2023123108A1 (en) * | 2021-12-29 | 2023-07-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Methods and systems for enhancing qualities of images |
| CN114266898A (zh) * | 2022-01-11 | 2022-04-01 | 辽宁石油化工大学 | 一种基于改进EfficientNet的肝癌识别方法 |
| CN114724019A (zh) * | 2022-03-31 | 2022-07-08 | 湘潭大学 | 一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法 |
| CN114757904A (zh) * | 2022-04-07 | 2022-07-15 | 河南大学 | 一种基于ai深度学习算法的表面缺陷检测方法 |
| CN114445430A (zh) * | 2022-04-08 | 2022-05-06 | 暨南大学 | 轻量级多尺度特征融合的实时图像语义分割方法及*** |
| CN114882234A (zh) * | 2022-04-29 | 2022-08-09 | 西安理工大学 | 多尺度轻量级密集连目标检测网络的构建方法 |
| CN114937151A (zh) * | 2022-05-06 | 2022-08-23 | 西安电子科技大学 | 基于多感受野和注意力特征金字塔的轻量级目标检测方法 |
| CN115690479A (zh) * | 2022-05-23 | 2023-02-03 | 安徽理工大学 | 一种基于卷积Transformer的遥感图像分类方法及*** |
| CN115409846A (zh) * | 2022-05-30 | 2022-11-29 | 福州大学 | 一种基于深度学习的结直肠癌病灶区域轻量级分割方法 |
| CN115049941A (zh) * | 2022-06-27 | 2022-09-13 | 无锡学院 | 一种改进的ShuffleNet卷积神经网络及其遥感图像的分类方法 |
| CN115496658A (zh) * | 2022-09-25 | 2022-12-20 | 桂林理工大学 | 基于双重注意力机制的轻量级图像超分辨率重建方法 |
| CN115496951A (zh) * | 2022-10-09 | 2022-12-20 | 淮阴工学院 | 一种基于改进YOLOv5s的安全设备检测方法 |
| CN115830466A (zh) * | 2022-11-19 | 2023-03-21 | 山东科技大学 | 一种基于深度孪生神经网络的冰川变化遥感检测方法 |
| CN116310273A (zh) * | 2023-01-10 | 2023-06-23 | 河南工业大学 | 一种基于多空洞卷积和se注意力残差的无人机检测方法 |
| CN116229283A (zh) * | 2023-03-10 | 2023-06-06 | 江西师范大学 | 基于深度可分离卷积模块的遥感图像变化检测***及方法 |
| CN116434002A (zh) * | 2023-03-24 | 2023-07-14 | 国网河北省电力有限公司电力科学研究院 | 基于轻量级神经网络的烟雾检测方法、***、介质和设备 |
| CN116029946A (zh) * | 2023-03-29 | 2023-04-28 | 中南大学 | 基于异构残差注意神经网络模型的图像去噪方法及*** |
| CN116524432A (zh) * | 2023-04-18 | 2023-08-01 | 中交华控(天津)建筑集团有限公司 | 一种小目标检测算法在交通监控中的应用 |
| CN116524253A (zh) * | 2023-04-19 | 2023-08-01 | 杭州电子科技大学 | 一种基于轻量级Transformer的甲状腺癌病理图像分类方法 |
| CN116452900A (zh) * | 2023-04-24 | 2023-07-18 | 西安电子科技大学 | 一种基于轻量级神经网络的目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| End-to-end aerial scenes classification with depthwise separable convolution and an attention mechanism;Wang, X等;《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》;第14卷;10484-10499 * |
| 基于双流CNN 与Bi－LSTM的施工人员不安全行为轻量级识别模型;马莉等;《西安科技大学学报》;第42卷(第4期);809-817 * |
| 基于改进YOLOX的接触网U型抱箍开口销检测算法;石强等;《国外电子测量技术》;第42卷(第7期);154-163 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116721302A (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113159051B (zh) | 一种基于边缘解耦的遥感图像轻量化语义分割方法 | |
| CN110929602A (zh) | 一种基于卷积神经网络的地基云图云状识别方法 | |
| CN108229550B (zh) | 一种基于多粒度级联森林网络的云图分类方法 | |
| CN112381097A (zh) | 一种基于深度学习的场景语义分割方法 | |
| CN108446616B (zh) | 基于全卷积神经网络集成学习的道路提取方法 | |
| CN109741341A (zh) | 一种基于超像素和长短时记忆网络的图像分割方法 | |
| CN114092815B (zh) | 一种大范围光伏发电设施遥感智能提取方法 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
| CN112528934A (zh) | 一种基于多尺度特征层的改进型YOLOv3的交通标志检测方法 | |
| CN112347970A (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
| CN112232328A (zh) | 基于卷积神经网络的遥感影像建筑区提取方法、装置 | |
| CN112766283B (zh) | 一种基于多尺度卷积网络的两相流流型识别方法 | |
| CN110599502A (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN114973011A (zh) | 一种基于深度学习的高分辨率遥感影像建筑物提取方法 | |
| CN112001293A (zh) | 结合多尺度信息和编解码网络的遥感影像地物分类方法 | |
| CN115393293A (zh) | 基于UNet网络与分水岭算法的电镜红细胞分割与定位方法 | |
| CN113298817A (zh) | 一种准确率高的遥感图像语义分割方法 | |
| CN111738052A (zh) | 基于深度学习的多特征融合高光谱遥感地物分类方法 | |
| CN112818777B (zh) | 一种基于密集连接与特征增强的遥感图像目标检测方法 | |
| CN116721302B (zh) | 一种基于轻量级网络的冰雪晶粒子图像分类方法 | |
| CN108388918A (zh) | 具有结构保持特性的数据特征选择方法 | |
| CN116012709B (zh) | 一种高分辨率遥感影像建筑物提取方法及*** | |
| CN109190451B (zh) | 基于lfp特征的遥感图像车辆检测方法 | |
| CN114494284B (zh) | 一种基于显式监督区域关系的场景解析模型及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |