CN109508756B - 一种基于多线索多模态融合深度网络的地基云分类方法 - Google Patents
一种基于多线索多模态融合深度网络的地基云分类方法 Download PDFInfo
- Publication number
- CN109508756B CN109508756B CN201910060408.0A CN201910060408A CN109508756B CN 109508756 B CN109508756 B CN 109508756B CN 201910060408 A CN201910060408 A CN 201910060408A CN 109508756 B CN109508756 B CN 109508756B
- Authority
- CN
- China
- Prior art keywords
- modal
- network
- input
- foundation cloud
- fusion depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于多线索多模态融合深度网络的地基云分类方法,该方法包括:对输入地基云样本进行预处理,得到多线索多模态融合深度网络输入;将该输入转移到多线索多模态融合深度网络训练模型中,训练得到多线索多模态融合深度网络;提取每个输入地基云样本的全局视觉特征、局部视觉特征与多模态特征,融合得到每个输入地基云样本的最终特征表示;训练支持向量机分类器,得到地基云分类模型;获取测试输入地基云样本的最终特征表示,输入至地基云分类模型中得到分类结果。本发明具有融合异构特征能力,能够有效学习视觉信息与多模态信息,提取出更高辨别性的全局视觉特征、局部视觉特征与多模态特征,提高地基云分类的正确率。
Description
技术领域
本发明属于模式分类、气象科学、人工智能技术领域,具体涉及一种基于多线索多模态融合深度网络的地基云分类方法。
背景技术
在过去的几十年里,研究者们对地基云分类进行了广泛的探索。地基云分类对许多实际应用非常重要,这些应用包括气候预测、空中交通管制、天气监控等。如今,地基云分类仍然主要依赖于专业的观察者,而人工观测消耗时间和人力,并受观察者经验和主观因素等影响,导致地基云分类结果往往因人而异。因而,迫切需要提出精准的自动地基云分类方法。
大多数传统方法主要使用手工特征表示地基云图像,这些特征包括亮度、纹理、形状和颜色等。Singh和Glennen使用自相关矩阵、互相关矩阵、边界频率、Law特征和本原长度等纹理特征将地基云图像自动分为5类。Kazantzidis等人使用7种颜色特征、3种纹理特征、总云量和地基云图像上的雨滴将地基云图像分为7类。Liu等人提出用显著性局部二值编码提取具有表示信息的特征。以上方法均是基于手工特征的地基云视觉特征提取方法,并不适用于不同分布的地基云数据库。近年来,卷积神经网络(CNN)因其可以自动学***均池化或最大池化作用于每张卷积激活图上,然后提取基于卷积激活的特征并对地基云进行分类。Ye等人利用Fisher向量编码从卷积神经网络的卷积层提取特征对地基云图像进行分类。Zhang等人提出CloudNet同时提取地基云图像的纹理特征、结构特征和形状特征对地基云图像进行分类。由于地基云图像类内差别大类间差别小,分类难度大,现有的方法很难达到实际分类要求,主要有以下两方面原因。
首先,许多基于卷积神经网络的方法主要关注如何从整幅地基云图像上提取全局特征。由于受地基云图像上非显著信息的影响,提取的全局特征往往不是最优的。Ye等人使用模式挖掘与选择策略提取多个卷积层的局部视觉特征,然后利用Fisher向量对提取的特征进行编码。但是,他们仅仅是从预训练的卷积神经网络中直接提取地基云图像的视觉特征,没有学习的过程,这无疑会降低地基云图像的分类正确率。因而,需要提出一种能自动定位地基云图像显著区域进而提取具有判别性局部特征的方法。
其次,地基云图像属于地基云视觉信息,很难准确描述地基云。与此同时,云的形成是多种因素相互作用的结果,这些因素包括温度、湿度、气压、风速等,可以定义这些因素为多模态信息。云的形成与多模态信息具有较大相关性。例如,湿度影响云的产生,风影响云的形状。因此,多模态信息包含潜在的地基云信息,这些信息与视觉信息互补,将视觉信息与多模态信息融合可以提高地基云分类的准确率。
发明内容
本发明的目的是要解决地基云分类困难的问题,为此,本发明提供一种基于多线索多模态融合深度网络的地基云分类方法。
所述方法包括以下步骤:
步骤S1,对输入地基云样本进行预处理,得到多线索多模态融合深度网络输入,所述多线索多模态融合深度网络输入包括多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入;
步骤S2,将所述多线索多模态融合深度网络输入转移到多线索多模态融合深度网络训练模型中,训练得到多线索多模态融合深度网络;
步骤S3,提取每个输入地基云样本的全局视觉特征、局部视觉特征与多模态特征,并将其融合,得到每个输入地基云样本的最终特征表示;
步骤S4,根据所述最终特征表示训练支持向量机分类器,得到地基云分类模型;
步骤S5,获取测试输入地基云样本的最终特征表示,并将其输入至所述地基云分类模型中,得到测试输入地基云样本分类结果。
可选地,所述步骤S1包括:
步骤S11,对所述输入地基云样本中的地基云图像进行预处理,得到所述多线索多模态融合深度网络的视觉信息输入;
步骤S12,对所述输入地基云样本中的多模态信息进行预处理,得到所述多线索多模态融合深度网络的多模态信息输入。
可选地,所述步骤S11包括:
步骤S111,对将所述地基云图像进行归一化,得到归一化图像;
步骤S112,对所述归一化图像进行水平翻转,得到水平翻转图像;
步骤S113,对所述水平翻转图像进行随机裁剪;
步骤S114,将经随机裁剪后的地基云图像的每个RGB像素值减去相应的预设RGB像素均值,得到所述多线索多模态融合深度网络的视觉信息输入。
可选地,所述步骤S12包括:
步骤S121,获取所述输入地基云样本中的多模态信息;
步骤S122,将所述多模态信息的值进行归一化,得到多线索多模态融合深度网络的多模态信息输入。
可选地,所述步骤S2包括以下步骤:
步骤S21,构建多线索多模态融合深度网络,其中,所述多线索多模态融合深度网络包括主网络、集中网络、多模态网络、两个融合层、两个全连接层和损失函数;
步骤S22,初始化所述集中网络、多模态网络和全连接层的参数,得到多线索多模态融合深度网络训练模型;
步骤S23,将所述多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入分别批量输入至所述多线索多模态融合深度网络训练模型的主网络和多模态网络进行联合训练,得到多线索多模态融合深度网络。
可选地,所述步骤S3包括以下步骤:
步骤S31,将所述多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入分别输入至训练好的多线索多模态融合深度网络的主网络和多模态网络中;
步骤S32,分别提取主网络、集中网络和多模态网络的输出作为所述输入地基云样本的全局视觉特征、局部视觉特征和多模态特征;
步骤S33,将所述输入地基云样本的全局视觉特征、局部视觉特征和多模态特征进行融合,得到所述输入地基云样本的最终特征表示。
可选地,所述步骤S32中,将主网络中平均池化层的输出作为全局视觉特征,将集中网络中平均池化层的输出作为局部视觉特征,将多模态网络中最后一个全连接层的输出作为多模态特征。
可选地,所述步骤S33中,使用串联融合函数将所述输入地基云样本的全局视觉特征、局部视觉特征和多模态特征进行融合。
可选地,所述步骤S4被实施为:
将每个训练地基云样本的最终特征表示与该样本所对应的标签分别输入到支持向量机分类器中,训练得到所述地基云分类模型。
可选地,所述支持向量机分类器为径向基核函数。
本发明的有益效果为:本发明通过多线索多模态融合深度网络学习地基云视觉和多模态信息,能够有效融合异构特征信息,达到有效提取具有更高判别性的全局视觉特征、局部视觉特征和多模态特征的目的;通过融合全局视觉特征、局部视觉特征和多模态特征,能够充分利用它们之间的互补信息,提高地基云分类的正确率。
需要说明的是,本发明得到了国家自然科学基金项目No.61501327、No.61711530240、No.61501328,天津市自然科学基金重点项目No.17JCZDJC30600,天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703,模式分类国家重点实验室开放课题基金No.201700001、No.201800002,中国国家留学基金No.201708120040、No.201708120039和天津高等学校创新团队基金项目的资助。
附图说明
图1是根据本发明一实施例提出的一种基于多线索多模态融合深度网络的地基云分类方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例提出的一种基于多线索多模态融合深度网络的地基云分类方法的流程图,如图1所示,所述基于多线索多模态融合深度网络的地基云分类方法包括:
步骤S1,对输入地基云样本进行预处理,得到多线索多模态融合深度网络输入,所述多线索多模态融合深度网络输入包括多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入;
其中,所述对输入地基云样本进行预处理包括以下步骤:
步骤S11,对所述输入地基云样本中的地基云图像进行预处理,得到所述多线索多模态融合深度网络的视觉信息输入;
其中,对所述输入地基云样本中的地基云图像进行预处理包括以下步骤:
步骤S111,对将所述地基云图像进行归一化,得到归一化图像;
在本发明一实施例中,所述输入地基云样本中的地基云图像原始大小为1024×1024,其中,两个1024分别表示地基云图像的高度和宽度;归一化后的地基云图像大小为252×252,其中,两个252分别表示归一化后的地基云图像的高度和宽度。
步骤S112,对所述归一化图像进行水平翻转,得到水平翻转图像;
其中,所述水平翻转指的是以图像的竖直中心为基准左右翻转。
步骤S113,对所述水平翻转图像进行随机裁剪;
其中,所述随机剪裁指的是在不超过图像大小的范围内进行随机窗口裁剪。
在本发明一实施例中,图像的大小为252×252,在不超过图像大小的范围内进行随机窗口裁剪,窗口的上边界和左边界在图像内,且距离图像的上边界和下边界均不得超过28个像素,得到的地基云图像大小为224×224,其中,两个224分别表示经裁剪后地基云图像的高度和宽度。
步骤S114,将经随机裁剪后的地基云图像的每个RGB像素值减去相应的预设RGB像素均值,得到所述多线索多模态融合深度网络的视觉信息输入。
在本发明一实施例中,所述预设RGB像素均值可设为训练集中所有地基云图像在RGB通道上的均值。
步骤S12,对所述输入地基云样本中的多模态信息进行预处理,得到所述多线索多模态融合深度网络的多模态信息输入。
其中,对所述输入地基云样本中的多模态信息进行预处理包括以下步骤:
步骤S121,获取所述输入地基云样本中的多模态信息;
在本发明一实施例中,所述多模态信息包括温度、湿度、气压和瞬时风速等信息。其中,温度的值域范围可以在-20—45,湿度的范围可以在0—100,气压的范围可以在850—1100,风速的范围可以在0—5,将这些地基云多模态信息的值采用线性归一化方法归一化到0—1范围内。
步骤S122,将所述多模态信息的值进行归一化,得到多线索多模态融合深度网络的多模态信息输入。
步骤S2,将所述多线索多模态融合深度网络输入转移到多线索多模态融合深度网络训练模型中,训练得到多线索多模态融合深度网络;
进一步地,所述步骤S2包括以下步骤:
步骤S21,构建多线索多模态融合深度网络,其中,所述多线索多模态融合深度网络包括主网络、集中网络、多模态网络、两个融合层、两个全连接层和损失函数;
所述主网络是一个残差网络,其第一个卷积层的卷积核大小为m1×m1,步长为s1,卷积核组数量为n1;第二至第五层是由数量不等的残差块组成,每个残差块由K层卷积层组成,每个残差块第k个卷积层的卷积核大小为mk×mk,步长为sk,卷积核组数量为nk,即有nk个卷积激活图,在第一个卷积层和最后一个卷积层的后面分别是最大池化层和平均池化层,其中,最大池化层的核大小为m×m,步长为s。
所述集中网络中的集中图从主网络第三层的第一个残差块输出的卷积激活图中提取显著激活响应。使用Xi={xi,c|c=1,2,……,h×w}表示所述主网络第三层的第一个残差块的第i个卷积激活图,其中,h和w分别表示卷积激活图的宽和高,对Xi作降序排列,得到新的卷积激活图Xi'={x'i,c|c=1,2,……,h×w},取Xi'的前matten×matten个激活响应并按照这些激活响应之前的顺序重新组成大小为matten×matten的集中图;对nk个卷积激活图作相同的操作,得到nk个集中图;集中图的后面紧接着两个卷积层,第一个卷积层的卷积核大小为ma×ma,第二个卷积层的卷积核大小为mb×mb,步长分别为sa和sb,卷积核组数量分别为na,nb;对第一个卷积层的输出,设有一个批量归一化层和一个泄露修正线性单元,对第二个卷积层的输出,设有一个批量归一化层、一个泄露修正线性单元和一个平均池化层。
所述多模态网络由N层全连接层组成,第d层全连接层的神经元数量为ld,每个全连接层后面分别有一个批量归一化层和一个泄露修正线性单元。
所述多线索多模态融合深度网络的最后两个全连接层的神经元数量均为l。
在本发明一实施例中,主网络中的第一个卷积层的卷积核大小为7×7,步长为2,卷积核组数量为64;第二至第五层分别由3、4、6、3个残差块组成,每个残差块由3层卷积层组成,每个残差块中的第一个和第三个卷积层的卷积核大小为1×1,第二个卷积层的卷积核大小为3×3,这三个卷积核的步长均为1;第二层残差块第一至第三层卷积层卷积核组数量分别为64、64和256;之后每层残差块第一至第三层卷积层卷积核组数量为前一层相应数量的2倍;最大池化层核大小为3×3,步长为2。集中网络的集中图大小为7×7,数量为512个;集中图后面的第一个卷积层的卷积核大小为3×3,步长为2,第二个卷积层的卷积核大小为1×1,步长为2;第一个卷积层和第二个卷积层的卷积核组数量分别为512和2048。多模态网络由4层全连接层组成,神经元数量依次为64,256,512,2048。最后两个全连接层的神经元数量均为7。
在本发明一实施例中,所述泄露修正线性单元可表示为:
其中,fLeaky(v)为经过泄露修正线性单元作用后的输出值,v为神经元的输入值,η为泄露参数,可设为0.1。
在本发明一实施例中,第一个融合层的融合算法可以表示为:
Fgm=g(fg,fm),
其中,Fgm为融合后得到的每个输入地基云样本的一个融合特征表示,g为融合函数,fg和fm分别是主网络输出的全局视觉特征和多模态网络输出的多模态特征。
在本发明一实施例中,所述融合函数选为串联融合函数,即将提取的全局视觉特征fg与多模态特征fm进行串联,得到输入地基云样本的一个融合特征表示,即融合函数g可表示为:
g(fg,fm)=[λ1fg T,λ2fm T]T,
其中,λ1,λ2表示平衡全局视觉特征fg与多模态特征fm重要性的参数。
在本发明一实施例中,λ1,λ2可分别设为0.3和0.7,fg和fm的维度均为2048。
在本发明一实施例中,第二个融合层使用与第一个融合层相同的融合算法,其融合算法表示为:
Flm=g(fl,fm)=[λ3fT l,λ4fm T]T,
其中,fl和fm分别是集中网络输出的局部视觉特征和多模态网络输出的多模态特征,λ3,λ4表示平衡局部视觉特征fl与多模态特征fm重要性的参数。
在本发明一实施例中,λ3,λ4分别设为0.3和0.7,fl和fm的维度均为2048。
在本发明一实施例中,损失函数作用在柔性最大算法上,柔性最大算法表达式为:
其中,T是云的种类,zi为第一个融合层后面的第一个全连接层在第i个位置的神经元的输出值,zj为第一个融合层后面的一个全连接层在第j个位置的神经元的输出值。
损失函数是交叉熵函数,其表达式为:
其中,qj是真实标签的概率,当j是真实标签时,qj=1,否则qj=0。
在本发明一实施例中,第二个融合层后面的一个全连接层的损失函数与第一个融合层后面的一个全连接层的损失函数表达式相同,记为L2。
在本发明一实施例中,多线索多模态融合深度网络总损失函数表达式为:
L=αL1+βL2,
其中,α,β表示平衡损失L1和L2重要性的参数。
在本发明一实施例中,α,β的值均设为1。
步骤S22,初始化所述集中网络、多模态网络和全连接层的参数,得到多线索多模态融合深度网络训练模型;
在本发明一实施例中,卷积层、批量归一化层和全连接层的参数包括权重和偏置,权重初始化服从标准正太分布,偏置全部初始化为零。
步骤S23,将步骤S114得到的多线索多模态融合深度网络的视觉信息输入与步骤S121得到的多线索多模态融合深度网络的多模态信息输入分别批量输入至所述多线索多模态融合深度网络训练模型的主网络和多模态网络进行联合训练,得到多线索多模态融合深度网络。
在本发明一实施例中,可将多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入批量输入至所述多线索多模态融合深度网络训练模型的主网络和多模态网络中进行训练,其中,输入的多模态信息可以表示为:
M=[m1,m2,...,mp,...,mP]T,
其中,mp表示第p个多模态信息,P表示多模态信息的个数。
在本发明一实施例中,使用4个多模态信息,即P为4,m1,m2,m3,m4分别表示温度、湿度、气压、瞬时风速。
其中,视觉信息与多模态信息是一一对应的关系。
步骤S3,提取每个输入地基云样本的多线索特征:全局视觉特征、局部视觉特征与多模态特征,并将其融合,得到每个输入地基云样本的最终特征表示;
进一步地,所述步骤S3包括以下步骤:
步骤S31,将步骤S1预处理后得到的视觉信息与多模态信息分别输入至训练好的多线索多模态融合深度网络的主网络和多模态网络中;
步骤S32,分别提取主网络、集中网络和多模态网络的输出作为所述输入地基云样本的全局视觉特征、局部视觉特征和多模态特征;
在本发明一实施例中,可将主网络中平均池化层的输出作为全局视觉特征,将集中网络中平均池化层的输出作为局部视觉特征,将多模态网络中最后一个全连接层的输出作为多模态特征。
步骤S33,将所述输入地基云样本的全局视觉特征、局部视觉特征和多模态特征进行融合,得到所述输入地基云样本的最终特征表示。
在本发明一实施例中,融合算法可以表示为:
F=r(fg,fl,fm),
其中,F为融合后得到的每个输入地基云样本的最终特征表示,r为融合函数。
在本发明一实施例中,所述融合函数选为串联融合函数,即将提取的全局视觉特征fg,局部视觉特征fl和多模态特征fm进行串联,得到输入地基云样本的最终特征表示,即融合函数r表示为:
r(fg,fl,fm)=[λ5fg T,λ6fl T,λ7fm T]T,
其中,λ5,λ6,λ7分别表示平衡全局视觉特征fg,局部视觉特征fl和多模态特征fm重要性的参数。
在本发明一实施例中,λ5,λ6,λ7分别设为0.3、0.3和0.7。
步骤S4,训练支持向量机分类器,得到地基云分类模型;
所述步骤S4具体为:
将根据步骤S3得到的每个训练地基云样本的最终特征表示与该样本所对应的标签分别输入到支持向量机分类器中,训练得到所述地基云分类模型。
在本发明一实施例中,所述支持向量机分类器为径向基核函数。
步骤S5,获取测试输入地基云样本的最终特征表示,并将其输入至所述地基云分类模型中,得到测试输入地基云样本分类结果。
其中,所述测试输入地基云样本的最终特征表示可按照上述步骤得到。
在本发明一应用实例中,所使用的地基云图像数据库是在不同的季节不同的时间下在中国拍摄的,所用摄像机是鱼眼镜头,具有广泛的视角。多模态信息是用手持气象站获得的,包含温度、湿度、气压、瞬时风速等信息。地基云图像拍摄与多模态信息采集是同时进行的,因此,一幅图像对应多个多模态信息。通过从主网络、集中网络和多模态网络分别提取地基云样本的全局视觉信息、局部视觉信息和多模态信息,再将它们融合,地基云样本的分类正确率为88.63%,由此可见本发明方法的有效性。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (6)
1.一种基于多线索多模态融合深度网络的地基云分类方法,其特征在于,所述方法包括以下步骤:
步骤S1,对输入地基云样本进行预处理,得到多线索多模态融合深度网络输入,所述多线索多模态融合深度网络输入包括多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入;
步骤S2,将所述多线索多模态融合深度网络输入转移到多线索多模态融合深度网络训练模型中,训练得到多线索多模态融合深度网络;
步骤S3,提取每个输入地基云样本的全局视觉特征、局部视觉特征与多模态特征,并将其融合,得到每个输入地基云样本的最终特征表示;
步骤S4,根据所述最终特征表示训练支持向量机分类器,得到地基云分类模型;
步骤S5,获取测试输入地基云样本的最终特征表示,并将其输入至所述地基云分类模型中,得到测试输入地基云样本分类结果;
所述步骤S2包括以下步骤:
步骤S21,构建多线索多模态融合深度网络,其中,所述多线索多模态融合深度网络包括主网络、集中网络、多模态网络、两个融合层、两个全连接层和两个损失函数,所述主网络是一个残差网络,其第一个卷积层的卷积核大小为m1×m1,步长为s1,卷积核组数量为n1,第二至第五层是由数量不等的残差块组成,每个残差块由K层卷积层组成,所述集中网络中的集中图从主网络第三层的第一个残差块输出的卷积激活图中提取显著激活响应,所述多模态网络由N层全连接层组成,第一个融合层融合主网络输出的全局视觉特征和多模态网络输出的多模态特征,第二个融合层融合集中网络输出的局部视觉特征和多模态网络输出的多模态特征;
步骤S22,初始化所述集中网络、多模态网络和全连接层的参数,得到多线索多模态融合深度网络训练模型;
步骤S23,将所述多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入分别批量输入至所述多线索多模态融合深度网络训练模型的主网络和多模态网络进行联合训练,得到多线索多模态融合深度网络;
所述步骤S3包括以下步骤:
步骤S31,将所述多线索多模态融合深度网络的视觉信息输入和多线索多模态融合深度网络的多模态信息输入分别输入至训练好的多线索多模态融合深度网络的主网络和多模态网络中;
步骤S32,分别提取主网络、集中网络和多模态网络的输出作为所述输入地基云样本的全局视觉特征、局部视觉特征和多模态特征,其中,将主网络中平均池化层的输出作为全局视觉特征,将集中网络中平均池化层的输出作为局部视觉特征,将多模态网络中最后一个全连接层的输出作为多模态特征;
步骤S33,将所述输入地基云样本的全局视觉特征、局部视觉特征和多模态特征进行融合,得到所述输入地基云样本的最终特征表示,其中,使用串联融合函数将所述输入地基云样本的全局视觉特征、局部视觉特征和多模态特征进行融合。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1包括:
步骤S11,对所述输入地基云样本中的地基云图像进行预处理,得到所述多线索多模态融合深度网络的视觉信息输入;
步骤S12,对所述输入地基云样本中的多模态信息进行预处理,得到所述多线索多模态融合深度网络的多模态信息输入。
3.根据权利要求2所述的方法,其特征在于,所述步骤S11包括:
步骤S111,对将所述地基云图像进行归一化,得到归一化图像;
步骤S112,对所述归一化图像进行水平翻转,得到水平翻转图像;
步骤S113,对所述水平翻转图像进行随机裁剪;
步骤S114,将经随机裁剪后的地基云图像的每个RGB像素值减去相应的预设RGB像素均值,得到所述多线索多模态融合深度网络的视觉信息输入。
4.根据权利要求2或3所述的方法,其特征在于,所述步骤S12包括:
步骤S121,获取所述输入地基云样本中的多模态信息;
步骤S122,将所述多模态信息的值进行归一化,得到多线索多模态融合深度网络的多模态信息输入。
5.根据权利要求1所述的方法,其特征在于,所述步骤S4被实施为:
将每个训练地基云样本的最终特征表示与该样本所对应的标签分别输入到支持向量机分类器中,训练得到所述地基云分类模型。
6.根据权利要求5所述的方法,其特征在于,所述支持向量机分类器为径向基核函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910060408.0A CN109508756B (zh) | 2019-01-22 | 2019-01-22 | 一种基于多线索多模态融合深度网络的地基云分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910060408.0A CN109508756B (zh) | 2019-01-22 | 2019-01-22 | 一种基于多线索多模态融合深度网络的地基云分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109508756A CN109508756A (zh) | 2019-03-22 |
CN109508756B true CN109508756B (zh) | 2021-08-24 |
Family
ID=65757550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910060408.0A Active CN109508756B (zh) | 2019-01-22 | 2019-01-22 | 一种基于多线索多模态融合深度网络的地基云分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109508756B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242227B (zh) * | 2020-01-16 | 2023-05-23 | 天津师范大学 | 一种基于异构深度特征的多模态地基云识别方法 |
CN111340061A (zh) * | 2020-01-18 | 2020-06-26 | 中国人民解放军国防科技大学 | 基于svm模型参数优化的多模态数据融合和分类方法 |
CN113298399B (zh) * | 2021-05-31 | 2023-04-07 | 西南大学 | 基于大数据的科研项目分析方法 |
KR102596080B1 (ko) * | 2021-07-30 | 2023-10-31 | 대한민국 | 지상 카메라 기반으로 촬영된 영상과 서포트 벡터 머신 알고리즘을 이용한 주야간 전운량 산출 방법 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103336972A (zh) * | 2013-07-24 | 2013-10-02 | 中国科学院自动化研究所 | 一种基于完备化局部三值模式的地基云图分类方法 |
CN104463252A (zh) * | 2014-12-18 | 2015-03-25 | 南京信息工程大学 | 一种基于自适应极限学习机的地基云分类方法 |
CN108108720A (zh) * | 2018-01-08 | 2018-06-01 | 天津师范大学 | 一种基于深度多模态融合的地基云图像分类方法 |
CN108629368B (zh) * | 2018-03-28 | 2021-05-07 | 天津师范大学 | 一种基于联合深度融合的多模态地基云分类方法 |
CN109063756A (zh) * | 2018-07-20 | 2018-12-21 | 天津师范大学 | 一种基于多模态生成式对抗网络的云图分类方法 |
-
2019
- 2019-01-22 CN CN201910060408.0A patent/CN109508756B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109508756A (zh) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109508756B (zh) | 一种基于多线索多模态融合深度网络的地基云分类方法 | |
Jia et al. | Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot | |
CN109034044B (zh) | 一种基于融合卷积神经网络的行人再识别方法 | |
CN111259809B (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检*** | |
CN108629368B (zh) | 一种基于联合深度融合的多模态地基云分类方法 | |
CN110163187B (zh) | 基于f-rcnn的远距离交通标志检测识别方法 | |
CN109241817B (zh) | 一种无人机拍摄的农作物图像识别方法 | |
CN111242227B (zh) | 一种基于异构深度特征的多模态地基云识别方法 | |
CN105718945B (zh) | 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法 | |
CN107092926A (zh) | 基于深度学习的服务机器人物体识别算法 | |
CN110516723B (zh) | 一种基于深度张量融合的多模态地基云图识别方法 | |
CN110263705A (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 | |
CN108229589B (zh) | 一种基于迁移学习的地基云图分类方法 | |
CN108154102A (zh) | 一种道路交通标志识别方法 | |
CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
CN110827260B (zh) | 一种基于lbp特征与卷积神经网络的布匹缺陷分类方法 | |
CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
CN109685713B (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
CN110321862B (zh) | 一种基于紧致三元损失的行人再识别方法 | |
CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
CN109815814A (zh) | 一种基于卷积神经网络的人脸检测方法 | |
CN104063686A (zh) | 作物叶部病害图像交互式诊断***与方法 | |
CN108108720A (zh) | 一种基于深度多模态融合的地基云图像分类方法 | |
CN111291818B (zh) | 一种面向云掩膜的非均匀类别的样本均衡化方法 | |
CN111191704A (zh) | 一种基于任务图卷积网络的地基云分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |