CN113435539A - 基于深度学习的面向南极夜空云图的云量等级分类方法 - Google Patents

基于深度学习的面向南极夜空云图的云量等级分类方法 Download PDF

Info

Publication number
CN113435539A
CN113435539A CN202110826051.XA CN202110826051A CN113435539A CN 113435539 A CN113435539 A CN 113435539A CN 202110826051 A CN202110826051 A CN 202110826051A CN 113435539 A CN113435539 A CN 113435539A
Authority
CN
China
Prior art keywords
cloud
night sky
south pole
model
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110826051.XA
Other languages
English (en)
Inventor
汤善江
郭斌
孙超
于策
肖健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110826051.XA priority Critical patent/CN113435539A/zh
Publication of CN113435539A publication Critical patent/CN113435539A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于深度学习的面向南极夜空云图的云量等级分类方法，包括：预处理云图，将符合模型输入要求的云图分为训练集和测试集；建立南极夜空云图识别模型；在南极夜空云图识别模型中导入训练集的云图数据以调整南极夜空云图识别模型的参数；在南极夜空云图识别模型中导入测试集的云图数据以验证分类的正确性。本申请解决了现有技术中的图像识别分类方法对夜间的云量图像识别分类准确率低的问题。

Description

基于深度学习的面向南极夜空云图的云量等级分类方法
技术领域
本申请涉及图像识别分类技术领域，尤其涉及一种基于深度学习的面向南极夜空云图的云量等级分类方法
背景技术
对于天文选址，云量是首先需要考虑的因素之一。云量的监测方法包括目视观测、卫星探测和地面相机拍摄。装备有鱼眼镜头的全天相机拍摄的全天空地基云图，具有很高的空间和时间分辨率，其分析结果能够准确反映当地的云量覆盖与变化特征。因此，云量相机的监测方法得到了广泛的应用，如TMT(Thirty Meter Telescope)和LSST(LargeSynoptic Survey Telescope)等项目都积极采用了All-Sky-Camera对候选站点进行云量的监测和分析。
针对白天的云量图像，基于云和大气对光散射存在差异，可以将蓝/红两个波段的亮度比作为区分云和晴空的依据，采用阈值分割方法即可将云和背景分开并计算云量，但是对于夜间的云量图像，简单的阈值分割方法不足以区分云和夜空。较为粗略的方法是将图像制作成相应的动画，肉眼判断云量大小，这种人工方法需要设置有效的判断依据，但人为因素的影响不能忽视。
近年来，基于深度学习的图像分类方法逐渐成熟，依赖大型卷积神经网络对图像特征进行提取和抽象，相比基于传统图像处理的旧方法在分类精度上得到了很大的提高。该方法的特点是需要积累大量的已标注图像数据进行训练。
发明内容
本申请的目的在于，提出一种基于深度学习的面向南极夜空云图的云量等级分类方法，以解决现有技术中的图像识别分类方法对夜间的云量图像识别分类准确率低的问题。
为了达到上述目的，本申请采用如下技术方案：
一种基于深度学习的面向南极夜空云图的云量等级分类方法，包括如下步骤：
S1:将南极夜空云图进行预处理，得到符合模型输入要求的云图；将所述符合模型输入要求的云图分为训练集和测试集；
S2:建立用于图像识别的ResNet50卷积神经网络预训练模型，修改所述ResNet50卷积神经网络预训练模型为南极夜空云图识别模型；
S3:在所述南极夜空云图识别模型中导入所述训练集的云图数据以调整南极夜空云图识别模型的参数；
S4:在所述南极夜空云图识别模型中导入所述测试集的云图数据以验证分类的正确性。
优选的，所述步骤S1中对所述南极夜空云图进行预处理，得到符合模型输入要求的云图；将所述符合模型输入要求的云图分为训练集和测试集，包括如下步骤：
S11:将所述南极夜空云图分为N类并标注，属于同一类的云图放在同一个文件夹；
S12:对所述云图采用如下数据处理的方法：
S121：对步骤S11处理后的云图使用resize函数做缩放处理，所得图像大小为224*224*3；
S122：对步骤S121缩放处理后的云图进行随机水平翻转操作；
S13：对步骤S12处理后的云图进行标准化处理，使得网络对云图的动态变化不敏感，主要操作如(1)式：
Figure BDA0003173612020000031
其中，Ii詘为图片的红绿蓝三通道像素值；M为三通道像素值的均值；AS如(2)式：
As＝max(S,1.0/sqrt(N)) (2)
其中，S为三通道像素值的标准差；N为三通道各自的像素个数。
S14：将经过预处理的云图分为训练集与测试集，所述训练集与测试集的数据量分别占总体数据量的80％与20％。
优选的，所述步骤S2中建立用于图像识别的ResNet50卷积神经网络预训练模型，包括：
采用ILSVRC竞赛的经典网络模型ResNet50网络结构；将在ImageNet数据集上训练得到的ResNet50的预训练权重加载到网络相对应的层中。
优选的，所述步骤S2中修改所述ResNet50卷积神经网络预训练模型为南极夜空云图识别模型，包括：
修改输出层以满足太空图像分类任务情景：将dense layer和最终的softmaxlayer的输出类别改为N个，分别对应太空云图的N个类别，得到所述太空云图的分类模型。
优选的，所述步骤S3中在所述南极夜空云图识别模型中导入所述训练集的云图数据以调整南极夜空云图识别模型的参数，包括：
设定超参数并采用Finetuning微调策略对南极夜空云图识别模型进行迁移学习训练。
优选的，所述设定超参数并采用Finetuning微调策略对南极夜空云图识别模型进行迁移学习训练，包括：设定每次批处理大小batch_size为32，训练的迭代次数epochs为10，初始学习率为0.025并在模型训练后期逐步衰减，分别在4，6，8epoch之后衰减为当前值的1/10，优化器采用Adam算法，损失函数为交叉熵损失函数，然后在训练集上对整个网络进行微调，更新权值到精度满足阈值后保存模型。
优选的，所述步骤S4中在所述南极夜空云图识别模型中导入所述测试集的云图数据以验证分类的正确性，包括：
将测试集的云图数据作为输入来测试南极夜空云图识别模型，验证模型分类结果的正确性；经过测试后，将实时获取的南极夜空云图做缩放处理和标准化处理后输入至所述南极夜空云图识别模型中，输出结果即为南极夜空云图的云量等级分类结果。
本申请公开了一种基于深度学习的面向南极夜空云图的云量等级分类方法，该方法对南极夜空云图具有良好的分类效果。本申请南极夜空云图识别模型具有良好的泛化能力以及良好的可移植性。
附图说明
图1为基于深度学习的面向南极夜空云图的云量等级分类方法步骤示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，为基于深度学习的面向南极夜空云图的云量等级分类方法步骤示意图，包括：
步骤S1:将南极夜空云图进行预处理，得到符合模型输入要求的云图；将所述符合模型输入要求的云图分为训练集和测试集；
步骤S1中对所述南极夜空云图进行预处理，得到符合模型输入要求的云图；将所述符合模型输入要求的云图分为训练集和测试集，包括如下步骤：
S11:将所述南极夜空云图分为N类并标注，属于同一类的云图放在同一个文件夹；
S12:对所述云图采用如下数据处理的方法：
S121：对步骤S11处理后的云图使用resize函数做缩放处理，所得图像大小为224*224*3；
S122：对步骤S121缩放处理后的云图进行随机水平翻转操作；
S13：对步骤S12处理后的云图进行标准化处理，使得网络对云图的动态变化不敏感，主要操作如(1)式：
Figure BDA0003173612020000061
其中，Ii詘为图片的红绿蓝三通道像素值；M为三通道像素值的均值；AS如(2)式：
As＝max(S,1.0/sqrt(N)) (2)
其中，S为三通道像素值的标准差；N为三通道各自的像素个数。
S14：将经过预处理的云图分为训练集与测试集，所述训练集与测试集的数据量分别占总体数据量的80％与20％。
步骤S2:建立用于图像识别的ResNet50卷积神经网络预训练模型，修改所述ResNet50卷积神经网络预训练模型为南极夜空云图识别模型；
步骤S2中建立用于图像识别的ResNet50卷积神经网络预训练模型，包括：
采用ILSVRC竞赛的经典网络模型ResNet50网络结构；将在ImageNet数据集上训练得到的ResNet50的预训练权重加载到网络相对应的层中。
步骤S2中修改所述ResNet50卷积神经网络预训练模型为南极夜空云图识别模型，包括：
修改输出层以满足太空图像分类任务情景：将dense layer和最终的softmaxlayer的输出类别改为N个，分别对应太空云图的N个类别，得到所述太空云图的分类模型。
步骤S3:在所述南极夜空云图识别模型中导入所述训练集的云图数据以调整南极夜空云图识别模型的参数；
步骤S3中在所述南极夜空云图识别模型中导入所述训练集的云图数据以调整南极夜空云图识别模型的参数，包括：
设定超参数并采用Finetuning微调策略对南极夜空云图识别模型进行迁移学习训练。
具体的，所述设定超参数并采用Finetuning微调策略对南极夜空云图识别模型进行迁移学习训练，包括：设定每次批处理大小batch_size为32，训练的迭代次数epochs为10，初始学习率为0.025并在模型训练后期逐步衰减，分别在4,6,8epoch之后衰减为当前值的1/10，优化器采用Adam算法，损失函数为交叉熵损失函数，然后在训练集上对整个网络进行微调，更新权值到精度满足阈值后保存模型。
步骤S4:在所述南极夜空云图识别模型中导入所述测试集的云图数据以验证分类的正确性；
步骤S4中在所述南极夜空云图识别模型中导入所述测试集的云图数据以验证分类的正确性，包括：
将测试集的云图数据作为输入来测试南极夜空云图识别模型，验证模型分类结果的正确性；经过测试后，将实时获取的南极夜空云图做缩放处理和标准化处理后输入至所述南极夜空云图识别模型中，输出结果即为南极夜空云图的云量等级分类结果。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于深度学习的面向南极夜空云图的云量等级分类方法，其特征在于，包括如下步骤：
S1:将南极夜空云图进行预处理，得到符合模型输入要求的云图；将所述符合模型输入要求的云图分为训练集和测试集；
S2:建立用于图像识别的ResNet50卷积神经网络预训练模型，修改所述ResNet50卷积神经网络预训练模型为南极夜空云图识别模型；
S3:在所述南极夜空云图识别模型中导入所述训练集的云图数据以调整南极夜空云图识别模型的参数；
S4:在所述南极夜空云图识别模型中导入所述测试集的云图数据以验证分类的正确性。
2.根据权利要求1所述的一种基于深度学习的面向南极夜空云图的云量等级分类方法，其特征在于，所述步骤S1中对所述南极夜空云图进行预处理，得到符合模型输入要求的云图；将所述符合模型输入要求的云图分为训练集和测试集，包括如下步骤：
S11:将所述南极夜空云图分为N类并标注，属于同一类的云图放在同一个文件夹；
S12:对所述云图采用如下数据处理的方法：
对步骤S11处理后的云图使用resize函数做缩放处理，所得图像大小为224*224*3；对所述resize函数缩放处理后的云图进行随机水平翻转操作；
S13：对步骤S12处理后的云图进行标准化处理，使得网络对云图的动态变化不敏感，主要操作如(1)式：
Figure FDA0003173612010000011
其中，Iin为图片的红绿蓝三通道像素值；M为三通道像素值的均值；AS如(2)式：
As＝max(S,1.0/sqrt(N)) (2)
其中，S为三通道像素值的标准差；N为三通道各自的像素个数。
S14：将经过预处理的云图分为训练集与测试集，所述训练集与测试集的数据量分别占总体数据量的80％与20％。
3.根据权利要求1所述的一种基于深度学习的面向南极夜空云图的云量等级分类方法，其特征在于，所述步骤S2中建立用于图像识别的ResNet50卷积神经网络预训练模型，包括：
采用ILSVRC竞赛的经典网络模型ResNet50网络结构；将在ImageNet数据集上训练得到的ResNet50的预训练权重加载到网络相对应的层中。
4.根据权利要求1所述的一种基于深度学习的面向南极夜空云图的云量等级分类方法，其特征在于，所述步骤S2中修改所述ResNet50卷积神经网络预训练模型为南极夜空云图识别模型，包括：
修改输出层以满足太空图像分类任务情景：将dense layer和最终的softmax layer的输出类别改为N个，分别对应太空云图的N个类别，得到所述太空云图的分类模型。
5.根据权利要求1所述的一种基于深度学习的面向南极夜空云图的云量等级分类方法，其特征在于，所述步骤S3中在所述南极夜空云图识别模型中导入所述训练集的云图数据以调整南极夜空云图识别模型的参数，包括：
设定超参数并采用Finetuning微调策略对南极夜空云图识别模型进行迁移学习训练。
6.根据权利要求5所述的一种基于深度学习的面向南极夜空云图的云量等级分类方法，其特征在于，所述设定超参数并采用Finetuning微调策略对南极夜空云图识别模型进行迁移学习训练，包括：设定每次批处理大小batch_size为32，训练的迭代次数epochs为10，初始学习率为0.025并在模型训练后期逐步衰减，分别在4，6，8epoch之后衰减为当前值的1/10，优化器采用Adam算法，损失函数为交叉熵损失函数，然后在训练集上对整个网络进行微调，更新权值到精度满足阈值后保存模型。
7.根据权利要求1所述的一种基于深度学习的面向南极夜空云图的云量等级分类方法，其特征在于，所述步骤S4中在所述南极夜空云图识别模型中导入所述测试集的云图数据以验证分类的正确性，包括：
将测试集的云图数据作为输入来测试南极夜空云图识别模型，验证模型分类结果的正确性；经过测试后，将实时获取的南极夜空云图做缩放处理和标准化处理后输入至所述南极夜空云图识别模型中，输出结果即为南极夜空云图的云量等级分类结果。
CN202110826051.XA 2021-07-21 2021-07-21 基于深度学习的面向南极夜空云图的云量等级分类方法 Pending CN113435539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110826051.XA CN113435539A (zh) 2021-07-21 2021-07-21 基于深度学习的面向南极夜空云图的云量等级分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110826051.XA CN113435539A (zh) 2021-07-21 2021-07-21 基于深度学习的面向南极夜空云图的云量等级分类方法

Publications (1)

Publication Number Publication Date
CN113435539A true CN113435539A (zh) 2021-09-24

Family

ID=77761331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110826051.XA Pending CN113435539A (zh) 2021-07-21 2021-07-21 基于深度学习的面向南极夜空云图的云量等级分类方法

Country Status (1)

Country Link
CN (1) CN113435539A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504389A (zh) * 2014-12-18 2015-04-08 南京信息工程大学 一种基于卷积神经网络的卫星云量计算方法
CN108229589A (zh) * 2018-02-09 2018-06-29 天津师范大学 一种基于迁移学习的地基云图分类方法
CN108846474A (zh) * 2018-05-18 2018-11-20 南京信息工程大学 基于多维密集连接卷积神经网络的卫星云图云量计算方法
CN108985378A (zh) * 2018-07-20 2018-12-11 天津师范大学 一种基于混合交叉深度网络的域自适应方法
CN109740495A (zh) * 2018-12-28 2019-05-10 成都思晗科技股份有限公司 基于迁移学习技术的室外天气图像分类方法
CN111695640A (zh) * 2020-06-18 2020-09-22 南京信息职业技术学院 地基云图识别模型训练方法及地基云图识别方法
CN112215268A (zh) * 2020-09-27 2021-01-12 浙江工业大学 一种灾害天气卫星云图分类方法和装置
CN112288129A (zh) * 2020-09-18 2021-01-29 浙江大学 一种基于迁移学习和地基云图的超短期光伏功率预测模型

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504389A (zh) * 2014-12-18 2015-04-08 南京信息工程大学 一种基于卷积神经网络的卫星云量计算方法
CN108229589A (zh) * 2018-02-09 2018-06-29 天津师范大学 一种基于迁移学习的地基云图分类方法
CN108846474A (zh) * 2018-05-18 2018-11-20 南京信息工程大学 基于多维密集连接卷积神经网络的卫星云图云量计算方法
CN108985378A (zh) * 2018-07-20 2018-12-11 天津师范大学 一种基于混合交叉深度网络的域自适应方法
CN109740495A (zh) * 2018-12-28 2019-05-10 成都思晗科技股份有限公司 基于迁移学习技术的室外天气图像分类方法
CN111695640A (zh) * 2020-06-18 2020-09-22 南京信息职业技术学院 地基云图识别模型训练方法及地基云图识别方法
CN112288129A (zh) * 2020-09-18 2021-01-29 浙江大学 一种基于迁移学习和地基云图的超短期光伏功率预测模型
CN112215268A (zh) * 2020-09-27 2021-01-12 浙江工业大学 一种灾害天气卫星云图分类方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
崔顺 等: "基于卷积神经网络的全天空地基云图分类研究", 《天文研究与技术》 *
魏诗雅: "全天相机云图的自动分类算法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN109614996B (zh) 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN110909690B (zh) 一种基于区域生成的遮挡人脸图像检测方法
CN110263705A (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN109559302A (zh) 基于卷积神经网络的管道视频缺陷检测方法
US11694354B2 (en) Geospatial object geometry extraction from imagery
CN109214308A (zh) 一种基于焦点损失函数的交通异常图片识别方法
CN106096655B (zh) 一种基于卷积神经网络的光学遥感图像飞机检测方法
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN110956187A (zh) 一种基于集成学习的无人机影像植物冠层信息提取方法
CN108629368B (zh) 一种基于联合深度融合的多模态地基云分类方法
CN113869162A (zh) 一种基于人工智能的违章识别方法及***
CN107038416A (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN109508756B (zh) 一种基于多线索多模态融合深度网络的地基云分类方法
CN107818303A (zh) 无人机油气管线影像自动对比分析方法、***及软件存储器
CN112258490A (zh) 基于光学和红外图像融合的低发射率涂层智能探损方法
CN104517126A (zh) 一种基于图像分析的空气质量评估方法
Ma et al. Image-based air pollution estimation using hybrid convolutional neural network
CN110414438A (zh) 基于空间聚类信息修正的高光谱图像识别方法
CN111242868A (zh) 暗视觉环境下基于卷积神经网络的图像增强方法
CN114998251A (zh) 一种基于联邦学***台地面异常检测方法
CN113378912B (zh) 一种基于深度学习目标检测的林区非法开垦地块检测方法
CN114399667A (zh) 一种基于云量特征的全天空云图云量分类方法
US7058511B2 (en) Sub-visible cloud cover assessment: VNIR-SWIR
CN113378672A (zh) 基于改进YOLOv3的输电线缺陷多目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210924