CN110751209B - 一种融合深度图像分类和检索的智能台风定强方法 - Google Patents
一种融合深度图像分类和检索的智能台风定强方法 Download PDFInfo
- Publication number
- CN110751209B CN110751209B CN201910996243.8A CN201910996243A CN110751209B CN 110751209 B CN110751209 B CN 110751209B CN 201910996243 A CN201910996243 A CN 201910996243A CN 110751209 B CN110751209 B CN 110751209B
- Authority
- CN
- China
- Prior art keywords
- typhoon
- retrieval
- intensity
- image
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种融合深度图像分类和检索的智能台风定强方法,用以从有限的不均衡的卫星遥感数据中自动获取台风强度特征,并结合特征分类和特征检索双估计方法进行台风定强,解决台风强度预测误差大且泛化能力、可解释性差的问题。所述的台风定强方法包括:从卫星遥感数据中获取台风图像;训练深度卷积网络CNN模型、提取特征、构建特征检索库;使用训练好CNN模型对待测台风图像进行强度分类;采用向量距离检索模型对待测台风图像进行相似度检索;对分类和检索结果进行排序策略融合,得到最终的台风强度。
Description
技术领域
本发明涉及深度学习技术领域,特别涉及一种图像分类以及特征检索方法。
背景技术
热带气旋(也称为台风)是我国最主要的气象灾害之一,其引发的灾害对人民生活及经济发展造成了严重的损害,迫切需要提升对台风天气的预报和预警。随着科技的发展,台风相关的卫星遥感云图数据越来越多,而传统的台风定强方法主要依赖气象专家对于台风规律的总结而形成的数值动力模式分析的方法,比如dvorak和偏差角方差技术(DAVT)技术,不适合基于可视化云图而不是数值的复杂巨量的数据,因此,气象领域迫切需要引入当前的机器学习、深度学习领域的先进的计算机分析方法和手段来应对气象遥感数据的分析。
在数据科学领域,深度学习技术快速发展,在各种类型的任务中得到充分的使用并且效果突出,已有研究证明深度学习技术具备从大量数据中自动学习特征并进行图像精准识别的优势。因此,针对台风定强问题和数据背景,本专利提出了一种融合深度图像分类和检索的智能台风定强方法,解决了从海量台风云图中自动提取特征,精准量化台风强度的问题,并能够给出判决可视化依据。该方法经测试台风定强结果更准确,效率更高,大大降低了MAE指标。
发明内容
为了解决现有的台风定强方法泛化能力弱、误差高、且难以处理大量非数值数据的问题,本发明提供了一种融合深度图像分类和检索的智能台风定强的方法。方案如下:
步骤一:对卫星遥感数据预处理获取台风图像;
步骤二:标注数据、训练深度卷积网络CNN模型、提取特征、构建特征向量库;
步骤三:使用训练好CNN模型对待测台风图像进行强度分类;
步骤四:采用向量距离检索模型对待测台风图像进行相似度检索;
步骤五:对分类和检索结果进行排序策略融合,得到最终的台风定强结果。
附图说明
图一是本发明提供的融合深度图像分类和检索的智能台风定强方法的技术方案图;
图二是本发明提供的用于训练特征抽取和分类的深度卷积神经网络Resnet-50结构说明图(含Resnet-50中具体结构)。
具体实施方式
接下来将对本发明的实施方法作更详细的描述。
图一是本发明提供的融合深度图像分类和检索的智能台风定强方法的技术方案图,其中包括:
步骤S1:数据预处理,即对卫星遥感数据预处理获取待测台风图像
步骤S2:使用训练好的卷积深度网络对待测台风图像进行特征提取
步骤S3:基于该特征对待测图片进行强度分类,得到强度分类结果。
步骤S4:基于该特征在已生成的特征向量库中进行相似度计算,得到强度检索结果。
步骤S5:对分类和检索结果进行排序策略融合,得到待测台风最终的预测强度。
图二是用于训练特征抽取和分类的深度卷积神经网络Resnet-50结构说明图,其中包括:
步骤S2:对预训练的Resnet-50网络进行微调,用于提取训练集特征向量构成特征向量库。
步骤S3:利用已微调好的Resnet-50网络对待测图片进行分类。
下面将对每个步骤进行具体说明:
为了便于说明,在本发明实施例中,定义变量如下:
1)定义<xi,labeli>,i=1,2,...,N为输入的训练集数据,其中xi为第i个预处理后的台风图像,labeli为该图像对应的强度,在本实施例中labeli∈[10,72]且labeli为整数。
2)定义输入<xi,labeli>到CNN模型,CNN模型最终输出为yi,yi为一个63维的向量,表示分类结果的概率分布;其中labelpred是向量yi中预测概率最大的台风强度。
3)为了便于说明,在步骤S3-S5中,将台风定强结果根据其实际意义表示如下:
其中<j,wj>表示预测台风强度为j的概率为wj。
4)定义softmax(·)表示softmax函数。若q=[q1,q2,...,qn],则
步骤S1:数据预处理。原始数据来自葵花8卫星拍摄的遥感云图,来源于B13通道属于红外波长区域,大小为5500×5500像素,包含最佳路径。以最佳路径中的经纬度对应的原始遥感云图位置为图像中心,从中裁切得到400×400像素的台风图像,对应实际区域是2×2km,然后将其降采样得到224*224大小的台风图像xi。
步骤S2:标注数据、训练深度卷积网络CNN模型、提取特征、构建特征向量库。
(2.1):根据最佳路径中包含的台风中心经纬度和人工标注强度,对预处理后的台风图像xi标注强度labeli,得到训练集
Dtrain={<xi,labeli>|i=1,2,...,N}。
(2.2):使用训练集D微调训练深度卷积神经网络CNN进行特征提取和强度分类。其中CNN可以采用目前公认的预训练网络Vgg、Resnet、DenseNet、SENet等。本实施例中使用在ImageNet上预训练过的Resnet-50作为特征提取和强度分类网络,其结构如图二所示。微调训练方法为:冻结Resnet-50的conv1、conv2_和conv3_部分,对其他部分进行训练微调。训练网络的损失函数为交叉熵加惩罚项MSE,其公式为:
其中,公式第一项为交叉熵,第二项为MSE惩罚项;yi为分类网络的输出;Onehot(·)为独热函数,输出独热向量;n为训练时的批量大小;γ为权重衰减,目的是使交叉熵和MSE值加权,让其处于同一个数量级,本实施例中取0.001。
(2.3):提取特征向量,构建特征向量库。在本实施例中,对于训练好的Resnet-50,提取其平均池化层的输出作为特征向量,特征向量的长度为2048。为了便于描述,记Resnet-50平均池化层前的所有网络参数为W,定义符号*表示全连接层前的所有卷积、池化、激活等非线性操作。则特征向量可以表示为:
vi=W*xi
因此,对所有训练数据集Dtrain={<xi,labeli>|i=1,2,...,N},N为训练集总样本数,提取其特征向量构成特征向量库V={vi|vi=W*xi,i=1,2,...,N}。定义f(·)表示全连接层,用于将特征向量映射为与台风强度类别数的表示。则分类网络的输出可以表示为:
yi=softmax(f(vi))
步骤S3:使用训练好CNN模型Resnet-50对待测台风图像进行强度分类
(3.1)待测试图片x′由步骤S1预处理后得到,输入到步骤S2所述训练好的CNN模型Resnet-50中,得到其特征向量v′=W*x′
(3.2)将v′输入到所述训练好的Resnet-50分类模型中,得到预测强度的概率集合对C,
C={<i,w′i>|i=10,11,...,72}
(3.3)截取C中概率较大的前K个作为有效分类结果并降序排列得到CTopk,在本实施例中K取3。
CTopk={<c1,w′1>,<c2,w′2>,<c3,w′3>}
步骤S4:采用基于向量距离的检索模型对待测台风图像进行相似度检索
(4.1)***采用向量距离作为向量之间相似度的评判标准。向量距离的衡量主要有欧式距离、切比雪夫距离、曼哈顿距离、余弦距离等。本实施例中使用了余弦距离,对于向量v1,v2其余弦距离计算公式为:
(4.2)将步骤(3.1)所述待测试图片x′对应的特征向量v′在特征向量库V中依据上述余弦距离进行相似度最近邻检索,检索结果为相似度递减的台风图像序列和对应台风强度,表示为:
Seq={<imgi,labeli>|i=1,2,...M}
其中,imgi表示最相似图片,labeli表示其对应强度,M为取前M个图片,不妨设M=10。
步骤S5:对分类和检索结果进行排序策略融合。
(5.1)对相似度序列Seq进行排序后根据次序进行加权平均,得到检索的定强结果R。
R={<ri,w″i>|i=1,2,...,L}
其中w″i表示台风强度为ri的概率,L为Seq中的不同台风强度数目,w″i的值由以下得到:
式中,α为排序权重参数,本实例中取α=0.7,αj表示α的j次幂,⊙表示同或。
截取R中概率较大的前K个作为有效分类结果并降序排列得到RTopk,在本实施例中K取3。
RTopk={<r1,w″1>,<r2,w″2>,<r3,w″3>}
(5.2)将检索定强结果RTopk和分类定强结果CTopk相结合,得到最终的台风定强结果ZTop。
ZTop={<zi,wi>|i=1,2,...,T}
其中<zi,wi>表示预测强度为zi的概率为wi,T为集合RTopk和CTopk中所有不同台风强度的个数,wi的值由以下得到:
其中λ为分类预测和检索预测的权重占比。在本例中经实际测试取λ=0.2。
(5.3)对ZTop中的每一项进行加权平均,公式如下,得到最终台风定强结果y。
以上结合附图对所提出的融合深度图像分类和检索的智能台风定强方法及各模块的具体实施方式进行了阐述。通过以上实施方式的描述,所属领域的一般技术人员可以清楚地了解到本发明可借助软件加通用的硬件平台的方式来实现,当然也可以通过硬件实现,但前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现,该软件产品存储在一个存储介质中,包括若干指令用以使得一台或多台计算机设备执行本发明各个实施例所述的方法。
依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
以上所述的本发明实施方式,并不构成对发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种融合深度图像分类和检索的智能台风定强方法,其特征在于,所述台风定强方法包含以下结构和步骤:
(1)对卫星遥感数据预处理获取台风图像;
(2)对台风图像进行标注、训练深度卷积网络CNN模型,使用训练好的卷积网络将待测台风图像转成特征向量并构建特征检索库;
(3)使用训练好CNN模型对待测台风图像进行强度分类,得到分类定强的概率分布;
(4)采用向量距离检索模型对待测台风图像进行相似度检索:
(4.1)***采用向量距离作为向量之间相似度的评判标准,向量距离的衡量使用了余弦距离,对于向量v1,v2其余弦距离计算公式为:
(4.2)将步骤(3)所述待测台风图像对应的特征向量v′在特征向量库V中依据上述余弦距离进行相似度最近邻检索,检索结果为相似度递减的台风图像序列和对应台风强度,表示为:
Seq={<imgi,labeli>|i=1,2,...M},
其中,imgi表示最相似图片,labeli表示其对应强度,M为取前M个图片;
(5)对分类和检索结果进行排序策略融合,得到最终的台风强度,对分类和检索结果进行排序策略融合包括:
(5.1)对步骤(4.2)得到的相似度序列Seq进行排序后根据次序进行加权平均,得到检索的定强结果R,
R={<ri,w″i>|i=1,2,...,L},
其中w″i表示台风强度为ri的概率,L为Seq中的不同台风强度数目,w″i的值由以下得到:
式中,α为排序权重参数,取α=0.7,αj表示α的j次幂,⊙表示同或,
截取R中概率较大的前K个作为有效分类结果并降序排列得到RTop,K取3,
RTopk={<r1,w″1>,<r2,w″2>,<r3,w″3>};
(5.2)将检索定强结果RTopk和分类定强结果CTopk相结合,得到最终的台风定强结果ZTop,
ZTop={<zi,wi>|i=1,2,...,T},
其中<zi,wi>表示预测强度为zi的概率为wi,T为集合RTopk和CTopk中所有不同台风强度的个数,wi的值由以下得到:
其中λ为分类预测和检索预测的权重占比,取λ=0.2;
(5.3)对ZTop中的每一项进行加权平均,公式如下,得到最终台风定强结果y,
2.如权利要求1所述的方法,其特征在于,所述步骤(2)具体包括:
(2.1)使用台风训练数据训练卷积神经网络提取特征和分类,训练过程的损失函数为交叉熵加惩罚项MSE;
(2.2)将台风图像训练数据集作为输入通过(2.1)中训练好的卷积神经网络,抽取其特征向量,构成训练集特征向量库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910996243.8A CN110751209B (zh) | 2019-10-18 | 2019-10-18 | 一种融合深度图像分类和检索的智能台风定强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910996243.8A CN110751209B (zh) | 2019-10-18 | 2019-10-18 | 一种融合深度图像分类和检索的智能台风定强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110751209A CN110751209A (zh) | 2020-02-04 |
CN110751209B true CN110751209B (zh) | 2022-12-13 |
Family
ID=69278934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910996243.8A Active CN110751209B (zh) | 2019-10-18 | 2019-10-18 | 一种融合深度图像分类和检索的智能台风定强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110751209B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462230B (zh) * | 2020-02-18 | 2023-08-15 | 天津大学 | 一种基于深度强化学习的台风中心定位方法 |
CN111339369A (zh) * | 2020-02-25 | 2020-06-26 | 佛山科学技术学院 | 基于深度特征的视频检索方法、***、计算机设备及存储介质 |
CN111339344B (zh) * | 2020-02-25 | 2023-04-07 | 北京百度网讯科技有限公司 | 室内图像检索方法、装置及电子设备 |
CN112801227B (zh) * | 2021-04-06 | 2021-09-28 | 航天宏图信息技术股份有限公司 | 一种台风识别模型的生成方法、装置、设备及存储介质 |
CN114049545B (zh) * | 2021-11-05 | 2022-06-07 | 中山大学 | 一种基于点云体素的台风定强方法、***、设备及介质 |
CN116310425B (zh) * | 2023-05-24 | 2023-09-26 | 山东大学 | 一种细粒度图像检索方法、***、设备及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008129881A1 (ja) * | 2007-04-18 | 2008-10-30 | The University Of Tokyo | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 |
JP4800259B2 (ja) * | 2007-05-21 | 2011-10-26 | 日本電信電話株式会社 | パターン認識装置,パターン認識方法,その方法を実装したパターン認識プログラム,そのプログラムを記録した記録媒体 |
CN103810299B (zh) * | 2014-03-10 | 2017-02-15 | 西安电子科技大学 | 基于多特征融合的图像检索方法 |
CN106971174B (zh) * | 2017-04-24 | 2020-05-22 | 华南理工大学 | 一种cnn模型、cnn训练方法以及基于cnn的静脉识别方法 |
US10852419B2 (en) * | 2017-10-20 | 2020-12-01 | Texas Instruments Incorporated | System and method for camera radar fusion |
CN108229435B (zh) * | 2018-02-01 | 2021-03-30 | 北方工业大学 | 一种用于行人识别的方法 |
CN109064462A (zh) * | 2018-08-06 | 2018-12-21 | 长沙理工大学 | 一种基于深度学习的钢轨表面缺陷检测方法 |
CN109472240B (zh) * | 2018-11-12 | 2020-02-28 | 北京影谱科技股份有限公司 | 人脸识别多模型自适应特征融合增强方法和装置 |
CN109325960B (zh) * | 2018-11-20 | 2021-07-09 | 南京信息工程大学 | 一种红外云图气旋分析方法及分析*** |
CN109580656B (zh) * | 2018-12-24 | 2021-01-15 | 广东华中科技大学工业技术研究院 | 基于动态权重组合分类器的手机导光板缺陷检测方法及*** |
CN109948532A (zh) * | 2019-03-19 | 2019-06-28 | 桂林电子科技大学 | 基于深度卷积神经网络的超宽带雷达人体动作识别方法 |
CN110210567A (zh) * | 2019-06-06 | 2019-09-06 | 广州瑞智华创信息科技有限公司 | 一种基于卷积神经网络的服装图像分类与检索方法及*** |
-
2019
- 2019-10-18 CN CN201910996243.8A patent/CN110751209B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110751209A (zh) | 2020-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110751209B (zh) | 一种融合深度图像分类和检索的智能台风定强方法 | |
CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
CN113705478B (zh) | 一种基于改进YOLOv5的红树林单木目标检测方法 | |
CN112101430B (zh) | 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法 | |
CN110555841B (zh) | 基于自注意图像融合和dec的sar图像变化检测方法 | |
CN111985325B (zh) | 特高压环境评价中的航拍小目标快速识别方法 | |
CN112149547A (zh) | 基于图像金字塔引导和像素对匹配的遥感影像水体识别 | |
CN112837315A (zh) | 一种基于深度学习的输电线路绝缘子缺陷检测方法 | |
CN113034444A (zh) | 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法 | |
CN111832479B (zh) | 基于改进的自适应锚点r-cnn的视频目标检测方法 | |
CN115661932A (zh) | 一种垂钓行为检测方法 | |
Wang et al. | Air quality classification and measurement based on double output vision transformer | |
CN115292538A (zh) | 一种基于深度学习的地图线要素提取方法 | |
CN113971666A (zh) | 基于深度目标检测的输电线路机巡影像自适应识别方法 | |
CN117593666A (zh) | 一种极光图像的地磁台站数据预测方法及*** | |
CN108846364A (zh) | 一种基于fpga的视频特征检测方法和*** | |
CN117788810A (zh) | 一种无监督语义分割的学习*** | |
CN117292176A (zh) | 一种架空输电线路关键部件及缺陷的检测方法 | |
CN115830302A (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
Gan et al. | Water level classification for flood monitoring system using convolutional neural network | |
CN115100546A (zh) | 一种基于mobilenet的电力设备小目标缺陷识别方法及*** | |
CN112949630B (zh) | 基于边框分级筛选的弱监督目标检测方法 | |
CN113673534B (zh) | 一种基于Faster RCNN的RGB-D图像果实检测方法 | |
CN117808650B (zh) | 一种基于Transform-Flownet和R-FPN的降水预测方法 | |
Zhao et al. | Research on Traffic Sign Detection Algorithm Based on Improved YOLOv3 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |