CN111476713B - 基于多深度卷积神经网络融合的天气图像智能识别方法及*** - Google Patents
基于多深度卷积神经网络融合的天气图像智能识别方法及*** Download PDFInfo
- Publication number
- CN111476713B CN111476713B CN202010223800.5A CN202010223800A CN111476713B CN 111476713 B CN111476713 B CN 111476713B CN 202010223800 A CN202010223800 A CN 202010223800A CN 111476713 B CN111476713 B CN 111476713B
- Authority
- CN
- China
- Prior art keywords
- image
- weather
- images
- training
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000004927 fusion Effects 0.000 title claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 98
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 66
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 21
- 210000002569 neuron Anatomy 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 19
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 239000013589 supplement Substances 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000003416 augmentation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000003066 decision tree Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 4
- 238000003707 image sharpening Methods 0.000 claims description 4
- 210000004205 output neuron Anatomy 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 1
- 238000013136 deep learning model Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 11
- 230000003321 amplification Effects 0.000 description 10
- 238000003199 nucleic acid amplification method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000001965 increasing effect Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000000137 annealing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 208000020442 loss of weight Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多深度卷积神经网络融合的天气图像智能识别方法及***，该方法包括以下步骤：步骤A：采集图像，并对图像进行预处理；步骤B：搭建四种不同结构的深度卷积神经网络模型，分别对其全连接层进行改进，新增一层特征层，并基于步骤A得到的高质量训练数据进行网络的训练；步骤C：将所获得的四种深度学习模型新增特征层的特征提取出来，采用Xgboost集成学习模型进行训练，获得融合模型；步骤D：对需要识别的天气图像进行扩增，由获得的融合模型对扩增后的天气图像进行识别，经过投票得出最终票数最高的识别种类。本发明解决了已有传统天气识别方法手动提取图像特征的低效问题，有效提升了深度学习模型识别的准确率。
Description
技术领域
本发明属于天气图像识别领域，特别涉及一种基于多深度卷积神经网络融合的天气图像智能识别方法及***。
背景技术
天气状况时刻伴随着人们的日常生活，深刻影响着人们的衣食住行。比如雨雪雾天气时人们格外注意交通安全，雾霾严重时出行需佩戴口罩或者避免出行。人们根据天气情况决定每天的出行安排和日常活动。传统的天气识别一般需要大量的传感器进行数据的采集同时依靠专业气象人员的大量人工观测，成本以及效率都受到了很大的限制。随着计算机技术和深度学习的不断发展，图像识别技术得到了越来越广泛的应用，把图像识别技术应用在天气状况的识别领域中也受到了人们的关注。
传统的天气图像分类算法一般通过人工提取图像特征或者特征学习方法对天气图像进行全局描述，然后使用分类器判断是否属于该类天气。但是传统图像分类算法一般都提取图像低阶和浅层特征，没有充分利用图像的深层次特征，且人工设计并提取图像的特征效率低下，因此天气识别的准确率和效率都受到了一定程度的限制。此外，人工提取的特征很难具有良好的鲁棒性和泛化性，因此不能广泛适用于多种类别的天气识别。
在深度学习实现天气图像识别方法上，王亚朝等人发明了一种基于深度学习的室外非固定场景天气识别方法(专利公开号为CN109784298A)，利用各种天气图像数据训练轻量型卷积神经网络。但是该方法紧紧仅仅基于轻量型的单一卷积网络，识别准确率存在天花板。
随着深度学习的不断发展，卷积神经网络变得越来越深也越来越宽，性能越来越好。何凯明等人提出了残差网络，将部分原始输入的信息不经过矩阵乘法和非线性变换，直接传输到下一层，可参考论文《Deep Residual Learning for Image Recognition》(载于2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，2016年，第1卷)。随着网络深度的加深，梯度消失问题会愈加明显，为解决这个问题，Huang等人提出了 DenseNet--密集连接卷积网络，可参考论文《Densely Connected ConvolutionalNetworks》 (载于Computer Vision and Pattern Recognition，2017年)。Saining Xie等人提出了一种ResNet的升级版网络——ResNeXt，其结构可以在不增加参数复杂度的前提下提高准确率，可参考论文《Aggregated Residual Transformations for Deep NeuralNetworks》(载于 2017IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，2017年)。 Squeeze-and-Excitation Networks，简称SE_Net，它通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率,可参考论文《Squeeze-and-Excitation Networks》(载于IEEE Transactions on Pattern Analysis and MachineIntelligence，2017年)。
因此有必要把多种深度卷积神经网络进行融合，并应用于天气图像识别领域中。模型融合可以显著提升模型的准确率，解决单模型预测天气图像所存在的鲁棒性低的问题。但是深度学习是依靠大量数据进行驱动并自动提取特征，然而天气图像质量低，其中存在大量的无关干扰因素，因此网络训练数据质量得不到有效保障。在此背景下，研究一种高效的天气图像数据集处理方法以及一种鲁棒性强的卷积神经网络融合模型实现天气图像的自动识别尤为重要。
发明内容
本发明所要解决的技术问题是提供一种基于多深度卷积神经网络融合的天气图像智能识别方法及***。解决了已有传统天气识别方法手动提取图像特征时低效以及深度学习网络训练数据质量得不到有效保障的问题，有效提升了天气图像的识别准确率。
本发明所采用的技术方案如下：
一方面，一种基于多深度卷积神经网络融合的天气图像智能识别方法，包括以下步骤：
步骤A：图像采集与预处理；
采集不同天气现象的图像，对采集的图像集合依据预设的图像质量要求，进行筛选、局部类型图像补增、所有类型图像扩增以及图像尺寸标准化处理，获得预处理后的图像；
步骤B：构建四种不同结构的深度卷积神经网络，且在每个深度卷积神经网络的最后一层池化层和全连接层之间，新增一层全连接层，采用全连接的连接方式，获得新的深度卷积神经网络，并利用采集的历史图像集合，经过预处理后的图像训练集和对应的图像标签集合，对新的深度卷积神经网络进行训练，获得四种不同结构的基于深度卷积神经网络的天气图像识别模型；
所述新增的全连接层中神经元的个数为原始深度卷积神经网络的全连接层中神经元个数 M的3倍；
新增的全连接层中每个神经元的输入端均与所述的最后一层池化层连接，新增的全连接层中每个神经元的输出端均与后面一层全连接层中的每个神经元相连；
因为新增了一层由3M个神经元构成的全连接层可以提高网络在输出端的复杂度，增加了***的非线性，可以提高预测结果的准确度；
所述四种不同结构的深度卷积神经网络分别为ResNet152,DenseNet169,ResNext101_64×4d,SE_ResNeXt101_32×4d；
ResNet表示残差网络，DenseNet表示密集连接卷积网络，SE_ResNeXt表示引入压缩奖惩网络模块的残差网络，各网络后的数字表示卷积网络的层数以及卷积层的大小；
步骤C：将经过与处理后的图像训练集依次输入到四种不同结构的基于深度卷积神经网络的天气图像识别模型中，以各模型对每张训练图像得到的第一层全连接层的输出结果进行合并，得到每张训练图像的多维特征；
从训练集中分出一部分(20％)作为验证集，每次迭代随机抽取训练集中的多个图像数据构成一个批次对每个深度卷积神经网络参数进行训练和更新；训练和更新过程包括两个阶段，第一个阶段为前向传播，得到实际输出；第二阶段为计算损失函数Loss，采用随机梯度下降和反向传播的算法进行优化训练，当每次迭代计算的验证集Loss值在给定迭代次数内不再下降，则训练结束，保存当前的参数配置。
所述前向传播是网络根据输入图像数据以及网络中不同节点的参数值层层往后计算，最后得出网络的输出值。单个网络的实际输出值是一个1×M的一维数组，表示M种不同类天气的预测概率；第一阶段和第二阶段之间的联系是：这两个阶段是神经网络训练时的流程，第一阶段是前向传播，得出网络的输出值。第二阶段是在第一阶段完成之后才进行，由损失函数计算出网络输出值和实际值之间的损失，即loss，通过loss的反向传播计算不同神经元节点的参数变化量，使得网络向着最小的损失值进行优化。
步骤D：利用步骤C提取的训练图像的多维特征和对应的图像标签，对XGboost回归模型进行训练，得到基于Xgboost回归的天气图像融合识别模型；
步骤E：对待识别的天气图像进行扩增，将扩增后的所有待识别的天气图像均输入到四种不同结构的基于深度卷积神经网络的天气图像识别模型中，获得每张待识别的天气图像的多维特征，并输入至基于Xgboost回归的天气图像融合识别模型中，对扩增后的天气图像进行识别，获得每张待识别的天气图像的识别结果，再对所有的识别结果经过投票得出最终票数最高的天气识别类型。
投票的目的是增加预测结果的准确率与鲁棒性，降低可能由于图像噪声而产生的误判率。通过对待识别的天气图像进行了扩增后，将原始的一张图像经过随机裁剪、图像增强等方法扩增到了多张，分别将这多张图像经过四种不同结构的基于深度卷积神经网络的天气图像识别模型进行特征的提取，并用Xgboost回归模型进行识别，会产生对应的多个识别结果，等于进行了多次识别结果的投票，取得票数最大的类别为最终识别类别；
进一步地，所述不同天气现象的图像包含雨凇、雾凇、雨、雪、冰雹、露、霜、雾或霾、结冰9种类型的天气现象图像。
新增的全连接层记录了更多关于不同种天气图像的识别信息，同时数量选择合理，不会增加过多的计算量。本发明为了解决对于9种天气图像的分类，故原始全连接层有9个神经元，新增全连接层有27个神经元。
进一步地，任意两种天气现象的图像数量比不超过1.2。
进一步地，当某一天气现象的图像数量偏少时，所述局部类型图像补增的方式包括以下几种：
1)使用外部数据集，选择对应的天气现象清晰的图像补充到图像集合中；
2)从采集的图像集合，选择同一天气现象的图像，进行裁剪或水平翻转，获得新的图像，补充到图像集合中。
进一步地，当采集的图像集合经过筛选后的所有天气现象类型的图像数量均低于原始图像数量的95％时，所述所有类型图像扩增是指对采集的图像集合中未标注天气现象的图像，进行天气现象人工标注，并对天气现象特征区域进行裁剪，将裁剪得到的图像扩增到图像集合中；以及对原始图像进行图像旋转以及色彩抖动：图像旋转的角度在10-80°之间，色彩抖动包括图像锐化、滤波、亮度调整以及对比度调整中的一种或者多种。
通过上述的图像扩增，可以显著增加数据量，提高网络的识别能力。
进一步地，所述图像尺寸标准化处理是指对图像集合中的所有图像尺寸进行统计，并按照统计结果中的尺寸中位数，对所有图像进行尺寸缩放；且所构建的四种不同结构的深度卷积神经网络的输入端尺寸大小被设置为缩放后的图像大小。
以这样的方法设计网络的尺寸，可以使卷积神经网络的计算量和运行速度保持在合适的水平，保证所有图像的信息可以被网络尽可能充分利用，减少因为受限于网络尺寸而进行图像缩放所带来的信息损失，有利于提升网络的分类精度
进一步地，所述四种不同结构的深度卷积神经网络在训练过程中，采用的损失函数为加权交叉熵损失函数：
其中，y(i)代表图像属于第i类的真实类别标记，
表示图像属于第i类的识别概率，N 为天气现象类别总数,其数值等于输出神经元个数M；w(i)为对不同种类损失的权重，根据不同种类图像的数量以及区别的难易程度决定。
因为网络最后输出的是1×M维的数组，表示1-M不同类天气的概率，Loss的计算等同于对每一种类的概率值和其实际标签分别计算损失，最后将M个损失值相加得到总损失。这里的w(i)是根据不同种类识别准确率来进行调整的，某一类识别准确率低，我们就认为它比较难以区分，因此通过增大w(i)来增加该种类天气的损失，使网络更关注于该难以区分的种类；
所述四种不同结构的深度卷积神经网络在训练过程中，采用的学习率为余弦退火法学习率：学习率呈余弦函数型衰减，并在每个周期最大值时重新设置学习率，以初始学习率为最大学习率，以2*Tmax为周期，Tmax为一次学习率周期的迭代次数，Tmax取值范围为[10， 20]。
进一步地，对XGboost回归模型进行训练的过程中，决策树数量设置为100，最大深度设置为10，计算错分的样本和所有样本数量的比值作为多分类错误率merror，当图像集合中验证集的多分类错误率在20次的训练迭代过程内不再继续降低时，停止迭代，训练完毕；且采用十倍交叉验证的方法进行多次训练，取训练结束时验证集多分类错误率最低的模型参数作为基于Xgboost回归的天气图像融合识别模型的最优参数。
多分类错误率merror是指错分的样本和所有样本数量的比值；
进一步地，所述对待识别的天气图像进行扩增具体是指采用随机裁剪、拉伸、平移、旋转、锐化、细节、滤波、对比度调整、亮度调整中至少4种方式，对图像进行处理，得到扩增图像。
另一方面，一种基于多深度卷积神经网络融合的天气图像智能识别***，包括：
图像采集与预处理单元：用于采集不同天气现象的图像，对采集的图像集合依据预设的图像质量要求，进行筛选、局部类型图像补增、所有类型图像扩增以及图像尺寸标准化处理，获得预处理后的图像；
基于深度卷积神经网络的天气图像识别模型构建单元，通过构建四种不同结构的深度卷积神经网络，且在每个深度卷积神经网络的最后一层池化层和全连接层之间，新增一层全连接层，采用全连接的连接方式，获得新的深度卷积神经网络，并利用采集的历史图像集合，经过预处理后的图像训练集和对应的图像标签集合，对新的深度卷积神经网络进行训练，获得四种不同结构的基于深度卷积神经网络的天气图像识别模型；
所述新增的全连接层中神经元的个数为原始深度卷积神经网络的全连接层中神经元个数的3倍；
所述四种不同结构的深度卷积神经网络分别为ResNet152,DenseNet169,ResNext101_64×4d,SE_ResNeXt101_32×4d；
多维特征提取单元：将经过处理后的图像训练集依次输入到四种不同结构的基于深度卷积神经网络的天气图像识别模型中，以各模型对每张训练图像得到的第一层全连接层的输出结果进行合并，得到每张训练图像的多维特征；
基于Xgboost回归的天气图像融合识别模型构建单元：通过利用训练图像的多维特征和对应的图像标签，对XGboost回归模型进行训练，得到基于Xgboost回归的天气图像融合识别模型；
实时图像识别单元：对待识别的天气图像进行扩增，将扩增后的所有待识别的天气图像均输入到四种不同结构的基于深度卷积神经网络的天气图像识别模型中，获得每张待识别的天气图像的多维特征，并输入至基于Xgboost回归的天气图像融合识别模型中，对扩增后的天气图像进行识别，获得每张待识别的天气图像的识别结果，再对所有的识别结果经过投票得出最终票数最高的天气识别类型。
有益效果
本发明提供了一种基于多深度卷积神经网络融合的天气图像智能识别方法及***，相比于现有技术而言，具有以下几点优点：
1、本发明提供了一种新的行之有效的深度学***衡、数据增强、标准化几个方面构造了高质量的天气图像训练数据集，可以显著提高深度学习模型的性能。
2、本发明对于深度卷积神经网络的全连接层进行了改进，新增了一层全连接层作为特征层，增加了***的非线性，可以提高识别结果的准确度。基于此特征层的特征信息采用XGboost 进行了模型的融合训练，显著提高了天气图像识别准确率，识别准确率可到89.84。
3、本发明采用了加权交叉熵损失函数以及余弦退火法学习率调整策略，使得训练过程更加高效。同时测试时图像扩增+投票的方法可进一步增强模型的鲁棒性，降低可能由于图像噪声而产生的误判率。
4、本发明提供了一种高效且高精度的天气图像自动识别方法，可以快速识别天气图像对应的种类，为气象自动观测领域提供了可靠、及时的参考数据，有效减轻地面气象站工作人员的负担，有利于新型智慧气象服务的发展，提升公共气象服务水平。此外，本发明还可以应用于气象防灾减灾领域，具备非常高的应用价值。
附图说明
图1为本发明实例中所述识别方法流程图；
图2为本发明实例中数据预处理模块的流程图；
图3为实施例的训练集数据分析图；
图4为本发明实例中数据扩增环节人工标注+裁剪方案示意图；
图5为实施中部分数据增强后的示意图；其中，(a)为原始图像；(b)为原始图像经过对比度调整的效果图；(c)为原始图像经过亮度调整的效果图；(d)为原始图像经过高斯滤波处理的效果图；(e)为原始图像经过水平翻转之后再进行锐化增强的效果图；(f)为原始图像经过45°旋转处理的效果图；
图6为实施例训练集图像尺寸分布散点图；
图7为实施例卷积神经网络全连接层的设计——在池化层后新增特征层结构示意图。
图8为实施例四种不同卷积神经网络训练过程损失曲线；其中，(a)为ResNet152训练过程损失下降曲线；(b)为DenseNet169训练过程损失下降曲线；(c)为ResNext101_64x4d训练过程损失下降曲线；(d)为SE_ResNeXt101_32x4d训练过程损失下降曲线；
图9为实施例2中待识别图像原图；
图10为实施例2中待识别图像扩增图像；其中(a)为测试图像经过随机裁剪后进行图像锐化增强的效果图；(b)为测试图像经过随机裁剪后进行对比度调整的效果图；(c)为测试图像经过45°旋转后进行锐化增强的效果图；(d)为测试图像经过45°旋转后进行对比度调整的效果图。
具体实施方式
下面结合附图说明对本发明做进一步说明。
实施例1：
一种基于多深度卷积神经网络融合的天气图像智能识别方法的整体实施流程如图1所示，按如下步骤进行：
步骤A：收集雨凇、雾凇、雨、雪、冰雹、露、霜、雾或霾、结冰9种天气现象的图像，对于天气图像进行数据清洗、数据扩增以及标准化处理，将其制定为一定格式的数据集，整体步骤流程如图2所示。
1)数据分析
依据收集到的9000张九种不同天气情况的图像构造数据集，图像标签分别1-9，分别对应降雨凇、雾凇、雨、雪、冰雹、露、霜、雾或霾、结冰。将全部数据按2：1的比例分为训练集以及测试集。
对数据进行分析，训练集不同标签图像数量分布如图3所示，两两不同类别图像的数量比值大于1.2的类别组合数量有29个，因此训练集数据具有各类严重不均衡的问题。此外数据集具有明显错误标签的图像的数量为33个，数据集存在图像相关性低等特点，此外具有低分辨率以及受损的图像46张。因此，该训练数据集质量低，故需要对低质量数据进行清洗，并且进行图像扩增以及数据增强，提高训练集数据的质量以及数量，平衡数据集，以便使模型具有更好的效果。
2)数据清洗
由气象学专家对于所有图像进行筛选，删去无关图像并且对错误标签进行重新标注。
3)数据平衡
a.借助网络搜索技术，从网络中挑选了高质量天气图片添加到低数量训练集中。
b.使用图像裁剪、水平翻转的方法对数据量低数量训练集进行数据扩增。
4)数据扩增
依次采用以下两种方法进行数据扩增：
a.人工标注+裁剪:对图像中感兴趣区域进行人工标注，再将其裁剪出作为额外图像。如图4所示。
b.对图像进行旋转以及色彩抖动：图像旋转的角度确定为45°，色彩抖动包括图像锐化、滤波、亮度调整以及对比度调整中的一种或者多种。可以显著增加数据量，提高网络的泛化能力。如图5所示。
5)图像标准化：将执行4)后得到所有图像缩放成相同尺度大小的图像。具体做法为对所有图像的尺寸进行统计，统计结果如图6所示。根据其中位数确定缩放后图像尺寸——512 ×512。根据以上步骤构成了具体统一标准的天气图像训练数据集。
所述步骤B的具体处理过程如下：
候选四种卷积神经网络模型分别为ResNet152,DenseNet169,ResNext101_64x4d,SE_ResNeXt101_32x4d。网络均包括卷积层，池化层，全连接层。
A)网络输入图像尺寸设计
首先要确定网络的输入图像尺寸，尺寸大则计算量会增大，但是所提取的特征信息更多。尺寸小则计算快速，信息量变少。步骤A中根据中位数将全部的图像标准化为512×512，则其可以代表大多数图像，因此将网络的输入端尺寸大小设置为512×512。以这样的方法设计网络的尺寸，可以使卷积神经网络的计算量以及运行速度保持合理的水平，充分照顾到所有图像数据，保证其图像信息可以被网络充分利用，减少因为受限于网络尺寸而进行图像缩放所带来的信息损失，有利用提升网络的分类精度。
B)网络全连接层设计
为了识别出九类不同的天气图像，对四种深度卷积神经网络—ResNet152,DenseNet169，ResNext101_64x4d，SE_ResNeXt101_32x4d进行修改。将四种网络的输出层神经元个数M均设置为9个，同时在输出层之前新增一层全连接层，神经元个数为输出神经元个数的三倍——27个，因为新增了一层由3M个神经元构成的全连接层可以提高网络在输出端的复杂度，增加了***的非线性，可以提高识别结果的准确度。此外新增的全连接层记录了更多关于不同种天气图像的识别信息，以便模型融合时提取特征，同时数量选择合理，不会增加过多的计算量。网络全连接层设计示意图如图7所示。
C)损失函数的设计
采用加权交叉熵损失函数，对于类别数量较少的样本或者难分类样本，加强其对于 loss的贡献，对于较大数量样本削减其对于loss的贡献。四种模型均采取该损失函数进行训练。其公式如下：
其中y(i)代表图像属于i类的真实类别标记，
表示图像属于第i类的预测概率，N为天气现象类别总数,其数值等于输出神经元个数M，w(i)为对不同种类损失的权重，取值为大于0的实数，根据训练过程中不同种类预测正确率来进行调整的，某一类识别准确率低，就认为它比较难以区分，因此通过增大w(i)来增加该种类天气的损失，使网络更关注于该难以区分的种类。本实施例中N被设置为9，雨凇、雾凇、雨、雪、冰雹、露、霜、雾或霾、结冰分别对应1-9类。首先设置权重w(i)为1，对网络进行预训练，再对识别结果进行分析可知对于不同网络来说其难分种类均不同，因此四种网络的权重w(i)设置如表1所示.
表1实施例1损失权重w(i)设置表
D)余弦退火法学习率调整策略
学习率呈余弦函数型衰减。并在每个周期最大值时重新设置学习率。以初始学习率为最大学习率，以2*Tmax为周期。Tmax为一次学习率周期的迭代次数，可以针对不同的模型进行调整。本实施例中Tmax设置为15，初始学习率为0.001。四种深度神经网络均采用该策略进行学习率的调整。
E)迭代训练具体过程
从训练集中抽取20％作为验证集，训练过程建议使用GPU加速，训练的批大小为32。主要分为两个阶段，第一个阶段为前向传播，得到实际输出，第二阶段为计算损失函数Loss，采用随机梯度下降和反向传播的算法进行优化训练，当每次迭代计算的验证集Loss值在给定迭代次数内不再下降，则训练结束，保存当前的参数配置。本实施例采用迁移学习的方法，读取预训练模型的权重，对所设计的全连接层进行微调。实施例中四种不同的深度学习网络训练过程的损失变化曲线如图8所示。
基于以上方法分别得到了四个训练完毕的不同的深度学习模型ResNet152,DenseNet169, ResNext101_64x4d,SE_ResNeXt101_32x4d。
所述步骤C的具体处理过程如下：
1)特征向量的获取
采用步骤A中训练完毕的模型分别对训练集图像进行识别，把四个模型第一层全连接层输出的27×1维向量记录下来，组成108×1维特征向量，同时将天气图像种类标签作为特征向量的标签值。计算所有训练集天气图像的特征并与标签保存在一个CSV文件中。
2)Xgboost训练
基于Xgboost集成学习模型将训练集图像的所有特征进行训练，采用十倍交叉验证，得到最优预测模型。本发明中Xgboost决策树数量为100，最大深度为10，计算错分的样本和所有样本数量的比值作为多分类错误率merror，当验证集多分类错误率在20次迭代次数内不再下降，则结束训练。
所述步骤D的具体处理过程如下：
为了让模型预测结果具有一定的鲁棒性，我们在将测试集图像输入卷积神经网络获取特征之前进行扩增与增强，随机采用随机裁剪、拉伸、平移、旋转、锐化、细节、滤波、对比度调整、亮度调整中的4种策略得到四张扩增图像，与原图一同输入卷积网络得到108×1特征向量。再将特征向量输入XGboost回归预测模型预测出五张图像的识别类别，类别数最多的一类作为最终的识别结果。测试集预测结果如表2所示。
表2实施例1测试集图像识别结果
实施例2：
对单张天气图像进行自动识别。第一步是训练数据集的构造，收集6000张有关雨凇、雾凇、雨、雪、冰雹、露、霜、雾或霾、结冰9种天气现象的图像，首先分析数据，进行数据清洗，类别平衡，数据扩增，之后标准化为512×512大小的数据集。
第二步选择四种深度卷积神经网络模型分别为ResNe152,DenseNet169,ResNext101_64x4d,SE_ResNeXt101_32x4d，修改网络的全连接层，在输出层之前加入27×1的全连接层，构成网络的特征层。网络的损失函数为式(1)所示，其权重参数按表1进行设置。搭建好的网络需要先经过训练，训练过程建议使用GPU加速，训练的批大小为32，优化器为Adam且开始学习率为0.001，学习率采用余弦退火法学习率调整策略。
第三步为当网络训练完毕，提取所有网络对于不同图像计算所得的特征层特征信息，组成一个108×1的特征向量，投入XGboost基础学习模型训练，本实施例中Xgboost决策树数量为100，最大深度为10，当验证集多分类错误率在20次迭代次数内不再下降，则结束训练。
第四部是天气图像的预测。对图9所示的测试图像进行随机裁剪与45°旋转，之后分别对所得的图像进行锐化与对比度调整，生成如图10所示的扩增图像，再与原图一同输入四种卷积网络，提取出新增特征层的特征组成108×1维特征向量。之后输入第三步训练完毕的 XGboost回归预测模型预测出五张图像的类别，类别数最多的一类作为最终的识别结果。识别结果如表3所示。
表3测试图像识别结果
基于上述方法，本发明实施例还提供一种基于多深度卷积神经网络融合的天气图像智能识别***，包括：
图像采集与预处理单元：用于采集不同天气现象的图像，对采集的图像集合依据预设的图像质量要求，进行筛选、局部类型图像补增、所有类型图像扩增以及图像尺寸标准化处理，获得预处理后的图像；
基于深度卷积神经网络的天气图像识别模型构建单元，通过构建四种不同结构的深度卷积神经网络，且在每个深度卷积神经网络的最后一层池化层和全连接层之间，新增一层全连接层，采用全连接的连接方式，获得新的深度卷积神经网络，并利用采集的历史图像集合，经过预处理后的图像训练集和对应的图像标签集合，对新的深度卷积神经网络进行训练，获得四种不同结构的基于深度卷积神经网络的天气图像识别模型；
所述新增的全连接层中神经元的个数为原始深度卷积神经网络的全连接层中神经元个数的3倍；
所述四种不同结构的深度卷积神经网络分别为ResNet152,DenseNet169,ResNext101_64×4d,SE_ResNeXt101_32×4d；
多维特征提取单元：将经过与处理后的图像训练集依次输入到四种不同结构的基于深度卷积神经网络的天气图像识别模型中，以各模型对每张训练图像得到的第一层全连接层的输出结果进行合并，得到每张训练图像的多维特征；
基于Xgboost回归的天气图像融合识别模型构建单元：通过利用训练图像的多维特征和对应的图像标签，对XGboost回归模型进行训练，得到基于Xgboost回归的天气图像融合识别模型；
实时图像识别单元：对待识别的天气图像进行扩增，将扩增后的所有待识别的天气图像均输入到四种不同结构的基于深度卷积神经网络的天气图像识别模型中，获得每张待识别的天气图像的多维特征，并输入至基于Xgboost回归的天气图像融合识别模型中，对扩增后的天气图像进行识别，获得每张待识别的天气图像的识别结果，再对所有的识别结果经过投票得出最终票数最高的天气识别类型。
应当理解，本发明各个实施例中的功能单元模块可以集中在一个处理单元中，也可以是各个单元模块单独物理存在，也可以是两个或两个以上的单元模块集成在一个单元模块中，可以采用硬件或软件的形式来实现。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于多深度卷积神经网络融合的天气图像智能识别方法，其特征在于，包括以下步骤：
步骤A：图像采集与预处理；
采集不同天气现象的图像，对采集的图像集合依据预设的图像质量要求，进行筛选、局部类型图像补增、所有类型图像扩增以及图像尺寸标准化处理，获得预处理后的图像；
步骤B：构建四种不同结构的深度卷积神经网络，所述四种不同结构的深度卷积神经网络均包括卷积层、池化层和全连接层，且在每个深度卷积神经网络的最后一层池化层和全连接层之间，新增一层全连接层，采用全连接的连接方式，获得新的深度卷积神经网络，并利用采集的历史图像集合，经过预处理后的图像训练集和对应的图像标签集合，对新的深度卷积神经网络进行训练，获得四种不同结构的基于深度卷积神经网络的天气图像识别模型；
所述新增的全连接层中神经元的个数为原始深度卷积神经网络的全连接层中神经元个数的3倍；
步骤C：将经过处理后的图像训练集依次输入到四种不同结构的基于深度卷积神经网络的天气图像识别模型中，以各模型对每张训练图像得到的第一层全连接层的输出结果进行合并，得到每张训练图像的多维特征；
步骤D：利用步骤C提取的训练图像的多维特征和对应的图像标签，对XGboost回归模型进行训练，得到基于Xgboost回归的天气图像融合识别模型；
步骤E：对待识别的天气图像进行扩增，将扩增后的所有待识别的天气图像均输入到四种不同结构的基于深度卷积神经网络的天气图像识别模型中，获得每张待识别的天气图像的多维特征，并输入至基于Xgboost回归的天气图像融合识别模型中，对扩增后的天气图像进行识别，获得每张待识别的天气图像的识别结果，再对所有的识别结果经过投票得出最终票数最高的天气识别类型。
2.根据权利要求1所述的方法，其特征在于，所述不同天气现象的图像包含雨凇、雾凇、雨、雪、冰雹、露、霜、雾或霾、结冰9种类型的天气现象图像。
3.根据权利要求1所述的方法，其特征在于，任意两种天气现象的图像数量比不超过1.2。
4.根据权利要求3所述的方法，其特征在于，当某一天气现象的图像数量偏少时，所述局部类型图像补增的方式包括以下几种：
1)使用外部数据集，选择对应的天气现象清晰的图像补充到图像集合中；
2)从采集的图像集合，选择同一天气现象的图像，进行裁剪或水平翻转，获得新的图像，补充到图像集合中。
5.根据权利要求1所述的方法，其特征在于，当采集的图像集合经过筛选后的所有天气现象类型的图像数量均低于原始图像数量的95％时，所述所有类型图像扩增是指对采集的图像集合中未标注天气现象的图像，进行天气现象人工标注，并对天气现象特征区域进行裁剪，将裁剪得到的图像扩增到图像集合中；以及对原始图像进行图像旋转以及色彩抖动：图像旋转的角度在10-80°之间，色彩抖动包括图像锐化、滤波、亮度调整以及对比度调整中的一种或者多种。
6.根据权利要求1所述的方法，其特征在于，所述图像尺寸标准化处理是指对图像集合中的所有图像尺寸进行统计，并按照统计结果中的尺寸中位数，对所有图像进行尺寸缩放；且所构建的四种不同结构的深度卷积神经网络的输入端尺寸大小被设置为缩放后的图像大小。
7.根据权利要求1所述的方法，其特征在于，所述四种不同结构的深度卷积神经网络在训练过程中，采用的损失函数为加权交叉熵损失函数：
其中，y(i)代表图像属于第i类的真实类别标记，
表示图像属于第i类的识别概率，N为天气现象类别总数,其数值等于输出神经元个数M；w(i)为对不同种类损失的权重，根据不同种类图像的数量以及区别的难易程度决定。
8.根据权利要求1所述的方法，其特征在于，对XGboost回归模型进行训练的过程中，决策树数量设置为100，最大深度设置为10，计算错分的样本和所有样本数量的比值作为多分类错误率merror，当图像集合中验证集的多分类错误率在20次的训练迭代过程内不再继续降低时，停止迭代，训练完毕；且采用十倍交叉验证的方法进行多次训练，取训练结束时验证集多分类错误率最低的模型参数作为基于Xgboost回归的天气图像融合识别模型的最优参数。
9.根据权利要求1所述的方法，其特征在于，所述对待识别的天气图像进行扩增具体是指采用随机裁剪、拉伸、平移、旋转、锐化、细节、滤波、对比度调整、亮度调整中至少4种方式，对图像进行处理，得到扩增图像。
10.一种基于多深度卷积神经网络融合的天气图像智能识别***，其特征在于，包括：
图像采集与预处理单元：用于采集不同天气现象的图像，对采集的图像集合依据预设的图像质量要求，进行筛选、局部类型图像补增、所有类型图像扩增以及图像尺寸标准化处理，获得预处理后的图像；
基于深度卷积神经网络的天气图像识别模型构建单元，通过构建四种不同结构的深度卷积神经网络，且在每个深度卷积神经网络的最后一层池化层和全连接层之间，新增一层全连接层，采用全连接的连接方式，获得新的深度卷积神经网络，并利用采集的历史图像集合，经过预处理后的图像训练集和对应的图像标签集合，对新的深度卷积神经网络进行训练，获得四种不同结构的基于深度卷积神经网络的天气图像识别模型；
所述新增的全连接层中神经元的个数为原始深度卷积神经网络的全连接层中神经元个数的3倍；
所述四种不同结构的深度卷积神经网络分别为ResNet152,DenseNet169,ResNext101_64×4d,SE_ResNeXt101_32×4d；
多维特征提取单元：将经过处理后的图像训练集依次输入到四种不同结构的基于深度卷积神经网络的天气图像识别模型中，以各模型对每张训练图像得到的第一层全连接层的输出结果进行合并，得到每张训练图像的多维特征；
基于Xgboost回归的天气图像融合识别模型构建单元：通过利用训练图像的多维特征和对应的图像标签，对XGboost回归模型进行训练，得到基于Xgboost回归的天气图像融合识别模型；
实时图像识别单元：对待识别的天气图像进行扩增，将扩增后的所有待识别的天气图像均输入到四种不同结构的基于深度卷积神经网络的天气图像识别模型中，获得每张待识别的天气图像的多维特征，并输入至基于Xgboost回归的天气图像融合识别模型中，对扩增后的天气图像进行识别，获得每张待识别的天气图像的识别结果，再对所有的识别结果经过投票得出最终票数最高的天气识别类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010223800.5A CN111476713B (zh) | 2020-03-26 | 2020-03-26 | 基于多深度卷积神经网络融合的天气图像智能识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010223800.5A CN111476713B (zh) | 2020-03-26 | 2020-03-26 | 基于多深度卷积神经网络融合的天气图像智能识别方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111476713A CN111476713A (zh) | 2020-07-31 |
| CN111476713B true CN111476713B (zh) | 2022-07-22 |
Family
ID=71747875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010223800.5A Active CN111476713B (zh) | 2020-03-26 | 2020-03-26 | 基于多深度卷积神经网络融合的天气图像智能识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476713B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529060A (zh) * | 2020-12-02 | 2021-03-19 | 贝壳技术有限公司 | 一种图像材质类别识别方法及装置 |
| CN112650069A (zh) * | 2020-12-13 | 2021-04-13 | 福州市长乐区三互信息科技有限公司 | 智能化家居设备控制方法及其*** |
| CN112711072A (zh) * | 2020-12-23 | 2021-04-27 | 西安交通大学 | 基于Res U-net的三维地震数据断层识别方法 |
| CN112580580A (zh) * | 2020-12-28 | 2021-03-30 | 厦门理工学院 | 一种基于数据增强与模型融合的病理性近视识别方法 |
| CN112686329A (zh) * | 2021-01-06 | 2021-04-20 | 西安邮电大学 | 基于双核卷积特征提取的电子喉镜图像分类方法 |
| CN112758046B (zh) * | 2021-01-27 | 2022-11-04 | 的卢技术有限公司 | 一种基于智能识别的挡风玻璃清晰度控制方法与*** |
| CN112949934A (zh) * | 2021-03-25 | 2021-06-11 | 浙江万里学院 | 基于深度学习的短时强降雨预测方法 |
| CN112990333A (zh) * | 2021-03-27 | 2021-06-18 | 上海工程技术大学 | 一种基于深度学习的天气多分类识别方法 |
| CN113052259A (zh) * | 2021-04-14 | 2021-06-29 | 西南交通大学 | 一种基于联合投票网络的交通场景天气分类方法 |
| CN113111950B (zh) * | 2021-04-19 | 2022-05-31 | 中国农业科学院农业资源与农业区划研究所 | 一种基于集成学习的小麦锈病分类方法 |
| CN113706486A (zh) * | 2021-08-17 | 2021-11-26 | 西安电子科技大学 | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 |
| CN113971216B (zh) * | 2021-10-22 | 2023-02-03 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备和存储器 |
| CN114373137B (zh) * | 2021-12-28 | 2024-07-02 | 安徽省大气探测技术保障中心 | 一种基于智能识别技术的降水类天气识别*** |
| CN114782735B (zh) * | 2022-02-22 | 2024-04-26 | 北京航空航天大学杭州创新研究院 | 一种基于多区域数据增强的菜品识别方法 |
| CN114677677B (zh) * | 2022-05-30 | 2022-08-19 | 南京友一智能科技有限公司 | 一种质子交换膜燃料电池气体扩散层材料比例预测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392241A (zh) * | 2017-07-17 | 2017-11-24 | 北京邮电大学 | 一种基于加权列抽样XGBoost的图像目标分类方法 |
| CN109754002A (zh) * | 2018-12-24 | 2019-05-14 | 上海大学 | 一种基于深度学习的隐写分析混合集成方法 |
| CN109784298A (zh) * | 2019-01-28 | 2019-05-21 | 南京航空航天大学 | 一种基于深度学习的室外非固定场景天气识别方法 |
| CN110472817A (zh) * | 2019-07-03 | 2019-11-19 | 西北大学 | 一种结合深度神经网络的XGBoost集成信用评价***及其方法 |
| CN110490265A (zh) * | 2019-08-23 | 2019-11-22 | 安徽大学 | 一种基于双路卷积和特征融合的图像隐写分析方法 |
| CN110555465A (zh) * | 2019-08-13 | 2019-12-10 | 成都信息工程大学 | 一种基于cnn与多特征融合的天气图像识别方法 |
| WO2020013726A1 (ru) * | 2018-07-13 | 2020-01-16 | Публичное Акционерное Общество "Сбербанк России" | Способ интерпретации искусственных нейронных сетей |
-
2020
- 2020-03-26 CN CN202010223800.5A patent/CN111476713B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392241A (zh) * | 2017-07-17 | 2017-11-24 | 北京邮电大学 | 一种基于加权列抽样XGBoost的图像目标分类方法 |
| WO2020013726A1 (ru) * | 2018-07-13 | 2020-01-16 | Публичное Акционерное Общество "Сбербанк России" | Способ интерпретации искусственных нейронных сетей |
| CN109754002A (zh) * | 2018-12-24 | 2019-05-14 | 上海大学 | 一种基于深度学习的隐写分析混合集成方法 |
| CN109784298A (zh) * | 2019-01-28 | 2019-05-21 | 南京航空航天大学 | 一种基于深度学习的室外非固定场景天气识别方法 |
| CN110472817A (zh) * | 2019-07-03 | 2019-11-19 | 西北大学 | 一种结合深度神经网络的XGBoost集成信用评价***及其方法 |
| CN110555465A (zh) * | 2019-08-13 | 2019-12-10 | 成都信息工程大学 | 一种基于cnn与多特征融合的天气图像识别方法 |
| CN110490265A (zh) * | 2019-08-23 | 2019-11-22 | 安徽大学 | 一种基于双路卷积和特征融合的图像隐写分析方法 |
Non-Patent Citations (6)
| Title |
|---|
| Gesture Recognition for Chinese Traffic Police;F. Guo, J. Tang and C. Zhu;《2015 International Conference on Virtual Reality and Visualization (ICVRV)》;20151231;第64-67页 * |
| 冯海林 ; 胡明越 ; 杨垠晖 ; 夏凯.基于树木整体图像和集成迁移学习的树种识别.《农业机械学报》.2019, * |
| 基于卷积神经网络的天气现象识别方法研究;杨文佳，朱海龙，刘靖宇;《智能计算机与应用》;20191127;第214-216页 * |
| 李俊俊 ; 杨华民 ; 张澍裕 ; 李松江.基于神经网络融合的司机违规行为识别.《计算机应用与软件》.2018, * |
| 石雪怀 ; 戚湧 ; 张伟斌 ; 李千目.基于组合模型的交通事故严重程度预测方法.《计算机应用研究》.2018, * |
| 郭璠 ; 邹北骥 ; 唐琎.基于多光源模型的夜晚雾天图像去雾算法.《电子学报》.2017, * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476713A (zh) | 2020-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476713B (zh) | 基于多深度卷积神经网络融合的天气图像智能识别方法及*** | |
| CN110516596B (zh) | 基于Octave卷积的空谱注意力高光谱图像分类方法 | |
| WO2022160771A1 (zh) | 基于自适应多尺度特征提取模型的高光谱图像分类方法 | |
| CN107016405B (zh) | 一种基于分级预测卷积神经网络的害虫图像分类方法 | |
| CN106228185B (zh) | 一种基于神经网络的通用图像分类识别***及方法 | |
| CN111696101A (zh) | 一种基于SE-Inception的轻量级茄科病害识别方法 | |
| CN111639719B (zh) | 基于时空运动和特征融合的足迹图像检索方法 | |
| CN111914611B (zh) | 城市绿地高分遥感监测方法与*** | |
| CN107832797B (zh) | 基于深度融合残差网的多光谱图像分类方法 | |
| CN111161362B (zh) | 一种茶树生长状态光谱影像鉴别方法 | |
| CN112464911A (zh) | 基于改进YOLOv3-tiny的交通标志检测与识别方法 | |
| CN108564588B (zh) | 一种基于深度特征和图割法的建成区自动提取方法 | |
| CN103246894B (zh) | 一种解决光照不敏感问题的地基云图识别方法 | |
| CN111652326A (zh) | 基于MobileNet v2网络改进的果实成熟度识别方法和识别*** | |
| CN111860330A (zh) | 基于多特征融合和卷积神经网络的苹果叶部病害识别方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
| CN102902956A (zh) | 一种地基可见光云图识别处理方法 | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| CN114359727A (zh) | 基于轻量级优化Yolo v4的茶叶病害识别方法及*** | |
| CN111476197A (zh) | 基于多源卫星遥感影像油棕识别及面积提取的方法和*** | |
| CN114663769B (zh) | 一种基于YOLO v5的水果识别方法 | |
| CN112215268A (zh) | 一种灾害天气卫星云图分类方法和装置 | |
| CN114170511A (zh) | 基于Cascade RCNN的路面裂缝病害识别方法 | |
| CN114693616A (zh) | 一种基于改进目标检测模型与卷积神经网络的水稻病害检测方法、设备和介质 | |
| CN114049621A (zh) | 一种基于Mask R-CNN的棉花顶尖识别检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |