CN110610190A - 一种针对雨天图片的卷积神经网络降雨强度分类方法 - Google Patents
一种针对雨天图片的卷积神经网络降雨强度分类方法 Download PDFInfo
- Publication number
- CN110610190A CN110610190A CN201910701424.3A CN201910701424A CN110610190A CN 110610190 A CN110610190 A CN 110610190A CN 201910701424 A CN201910701424 A CN 201910701424A CN 110610190 A CN110610190 A CN 110610190A
- Authority
- CN
- China
- Prior art keywords
- rainfall
- pictures
- neural network
- convolutional neural
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种针对雨天图片的卷积神经网络降雨强度分类方法,包括以下步骤:(1)通过图像处理软件合成降雨图片,得到合成数据集;(2)搭建卷积神经网络,使用步骤(1)中的合成数据集对卷积神经网络进行预训练;(3)采集实际降雨图片,得到真实数据集;(4)使用步骤(3)中的真实数据集对预训练的模型进行微调,得到训练好的模型;(5)将步骤(4)中的训练好的模型用于实时降雨强度分类。本发明的分类方法对于真实降雨图片和合成降雨图片的降雨强度的分类均具有较好的效果和较低的误差率,而且可以大大提高实时天气信息在空间上的精确度。
Description
技术领域
本发明属于市政工程雨水实时测量领域,尤其涉及一种针对雨天图片的卷积神经网络降雨强度分类方法。
背景技术
目前,我国城市内涝频发,造成了巨大的经济财产损失甚至是人员伤亡。暴雨具有明显的空间不均匀性,造成城市各地区间受灾程度的差异性十分明显。准确获得各地区的实时降雨级别,对于城市内涝的监测防控以及应急响应具有基础性意义。目前的天气预报无法反应降雨的空间不均匀性,同时准确性也不够,无法达到实时调度的需求。现有的雨强测量工具如雨量计等,虽能较为准确地测量雨强,但有着价格昂贵,难以实时传输数据,无法实时反映降雨的空间不均匀性等问题。
卷积神经网络具有稀疏连接,权值共享等特点,可以有效降低神经网络模型的参数量,但是卷积神经网络的训练仍然需要大量的数据,而真实降雨图片的获取比较困难,难以大规模获取真实降雨图片。而现有的公开数据集又罕有相似的数据集。这极大地阻碍了卷积神经网络在雨天图片降雨强度分类上的应用。
发明内容
针对现有技术存在的问题,本发明提供了一种针对雨天图片的卷积神经网络降雨强度分类方法。
为了实现上述目的,本发明采用以下技术方案:
一种针对雨天图片的卷积神经网络降雨强度分类方法,包括以下步骤:
(1)通过图像处理软件合成降雨图片,得到合成数据集;
(2)搭建卷积神经网络,使用步骤(1)中的合成数据集对卷积神经网络进行预训练;
(3)采集实际降雨图片,得到真实数据集;
(4)使用步骤(3)中的真实数据集对预训练的模型进行微调,得到训练好的模型;
(5)将步骤(4)中的训练好的模型用于实时降雨强度分类。
进一步地,步骤(1)中,通过图像处理软件对原图分别添加不同的降雨强度,得到合成降雨图片。
进一步地,步骤(1)中,选用合适的图像处理软件,如Photoshop,对原图添加不同数目和大小的雨痕,以模拟不同降雨强度下的降雨图片;因为降雨强度仅与雨痕数目及大小这两个参数相关,故在合成降雨图片过程中,其他参数,比如雨痕角度,分布,对比度等参数则随机设定,以增强模型的鲁棒性。
具体地,图像处理软件参数的选定,以Photoshop为例,包括:雨痕密度,相对大小,分布,角度,对比度等参数,相对大小指的是:雨层(噪音层)相对于底图的大小,角度指的是:雨痕与水平线所夹锐角;对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,差异范围越大代表对比度越大,差异范围越小代表对比度越小;但是,降雨强度大小只与雨滴数目以及大小有关,反映在Photoshop的参数上,即为雨痕密度与相对大小。合成数据集包括六类合成降雨图片,六类合成降雨图片分别为小雨、中雨、大雨、暴雨、大暴雨、特大暴雨的合成降雨图片;随机在合成数据集中抽取80%作为训练集,10%作为验证集,10%作为测试集;在一些优选的方式中,训练集中每类降雨图片的数量近似相等,验证集中每类降雨图片的数量近似相等,测试集中每类降雨图片的数量也近似相等。
在一些优选的方式中,步骤(2)的具体过程为:在得到合成数据集之后,利用卷积神经网络在合成数据集上预训练模型,包括卷积神经网络模型的搭建,各超参数的选择,如卷积神经网络层数,卷积神经网络结构等的选择。卷积神经网络对于图片的分类可以分为两个部分:特征提取和分类识别;特征提取部分通过经过多次卷积(Convolution)和降采样(Subsampling)操作,可高效地提取图片的特征,提取得到的图片特征存储在特征图(feature map)中;分类识别则是将特征图展开为全连接(fully connected)网络,进而计算出属于每一类的概率,概率最高的那一项即为预测的分类。使用卷积神经网络在已合成的较大规模的数据集上进行预训练。具体地,可以使用ResNet50网络,该卷积神经网络层数为50层,该卷积神经网络使用了五种不同的卷积神经网络模块,各模块之间使用短路连接。
进一步地,步骤(3)的具体过程为:建立图像采集网络,采集不同地点在不同降雨工况下的图片,并在不同地区分别布置雨量计,采集降雨量;根据雨量计数据将采集到的图片进行分类,作为标签;标签种类分别为小雨、中雨、大雨、暴雨、大暴雨、特大暴雨;具体地,24小时降水总量为0.1-9.9mm时,降雨强度等级为小雨;24小时降水总量为10.0-24.9mm时,降雨强度等级为中雨;24小时降水总量为25.0-49.9mm时,降雨强度等级为大雨;24小时降水总量为50.0-99.9mm时,降雨强度等级为暴雨;24小时降水总量为100.0-249.9mm时,降雨强度等级为大暴雨;24小时降水总量大于250.0mm时,降雨强度等级为特大暴雨。建立图像采集网络指的是,在不同地区分别布置雨量计,并在每个地区选用不同地点的监控摄像头用于采集真实降雨图片;在一些优选的方式中,将雨量计布置在无遮挡的地方即可,最好布置在楼顶。
进一步地,步骤(4)的具体过程为:使用真实数据集对步骤(2)中的预训练模型进行微调包括将特征提取部分的各卷积以及池化层的参数固定,只训练分类识别部分的全连接层的参数,使用步骤(3)中采集的真实数据集进行训练。如果真实图片规模足够大时可直接在真实数据集上进行训练以进一步提高模型的分类精度。
进一步地,步骤(5)的具体过程为:将步骤(4)中训练好的模型加载,并对实时采集的真实降雨图片进行实时在线分类。
本发明的有益效果是:
(1)本发明的分类方法应用于实际的降雨图片上,可以定性获取局部地区的降雨强度信息,这对于实时天气信息采集,城市内涝监测与应急响应等应用领域具有基础性意义。
(2)本发明首次将深度学习中的卷积神经网络引入到雨天图片的降雨强度分类,可以大大提高实时天气信息在空间上的精确度。本发明改变了在降雨强度信息获取方面需要依靠天气预报的方式,卷积神经网络对于图像的特征提取性能十分优异,可以提取出图片中的雨量信息并且能有效过滤背景的影响。
(3)本发明采用图像处理软件可以快速合成大量的降雨图片,可以将卷积神经网络训练到一个相当优异的程度,而且使用真实数据集对卷积神经网络进行微调,能够更好地对真实降雨图片进行分类。未来随着真实降雨图片数据量的不断累积,可以直接在真实数据集上进行训练,对于真实降雨图片的分类性能会有进一步的提升,这样训练好的模型在实际使用中运算速度会非常快速,可以直接用于实时采集的降雨图片的分类。
(4)本发明的分类方法对于真实降雨图片和合成降雨图片的降雨强度的分类均具有较好的效果和较低的误差率。
(5)本发明不仅能更加高效、准确地获取局部地区的降雨强度,更有利于卷积神经网络在降雨强度实时分类方面的推广。
附图说明
图1是针对雨天图片的卷积神经网络降雨强度分类方法的流程图。
图2是本发明中的原图以及合成图片。
图3是本发明实施例1中的典型卷积神经网络分类模型。
图4是本发明实施例1中的ResNet50网络的卷积模块示例。
图5是本发明中真实降雨图片采集设备。
图6是本发明中的所采集到的真实降雨图片。
图7是实施例2中针对雨天图片的卷积神经网络降雨强度在线量化方法流程图。
图8是实施例2中的典型卷积神经网络回归模型示例。
图9是实施例2中的具体的验证结果。
具体实施方式
以下结合附图,对本发明进行详细说明,应当指出的是,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
本发明通过卷积神经网络提取雨天图片特征,并分两步完成卷积神经网络的训练,即分别在合成数据集和真实数据集训练,能有效提取图片中的雨量信息,同时能忽略背景,明暗,雨痕角度,分布等干扰因素,有较高的分类准确度。
具体地,一种针对雨天图片的卷积神经网络降雨强度分类方法,如图1所示,包括以下步骤:
(1)通过图像处理软件合成降雨图片,得到合成数据集;
(2)搭建卷积神经网络(CNN),使用步骤(1)中的合成数据集对卷积神经网络进行预训练;
(3)采集实际降雨图片,得到真实数据集;
(4)使用步骤(3)中的真实数据集对预训练的模型进行微调(fine-tune),得到训练好的模型;
(5)将步骤(4)中的训练好的模型用于实时降雨强度分类。
在一些优选的方式中,步骤(1)具体的过程为:通过图像处理软件对原图分别添加六种不同的降雨强度,得到合成降雨图片;
在一些优选的方式中,步骤(1)中,选用合适的图像处理软件,合适的图像处理软件指的是能处理图层的软件,具体指的是可以向原图中添加雨层;比如,Photoshop,PhotoPos Pro,GIMP,Hornil StylePix,Krita等能处理图层的软件,在本实施例中,选用的软件是Photoshop,对原图添加不同数目和大小的雨痕,以模拟不同降雨强度下的降雨图片;降雨强度是指在某一历时内的平均降落量,它可以用单位时间内的降雨深度表示,反映在图像上,图片的曝光时间一定(1/200s左右),降雨强度只与图片中的雨痕密度以及大小有关。
因为降雨强度仅与雨痕数目及大小这两个参数相关,故在合成降雨图片过程中,改变这两个参数的数值,就可以合成不同降雨强度等级的降雨图片;降雨强度等级包括小雨、中雨、大雨、暴雨、大暴雨、特大暴雨,因此,需要合成小雨、中雨、大雨、暴雨、大暴雨、特大暴雨六类降雨图片,在一些优选的方式中,合成同一类降雨图片时,雨痕数目及大小这两个参数数值为固定的数值,这样合成较为方便;合成不同类降雨图片时,雨痕数目及大小这两个参数会变化,其他参数,比如雨痕角度,分布,对比度等参数则随机设定,以增强模型的鲁棒性。在另一些优选的方式中,合成同一类降雨图片时,雨痕数目及大小这两个参数数值在一定范围内变化;其他参数,比如雨痕角度,分布,对比度等参数则随机设定。
具体地,图像处理软件参数的选定,以Photoshop(PS)为例,包括:雨痕密度,相对大小,分布,角度,对比度等参数,相对大小指的是:雨层(噪音层)相对于底图的大小,角度指的是:雨痕与水平线所夹锐角;对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,差异范围越大代表对比度越大,差异范围越小代表对比度越小;但是,降雨强度大小只与雨滴数目以及大小有关,反映在Photoshop的参数上,即为雨痕密度与相对大小。以图2为例,图2(a)为原图,图2(b)为合成的降雨图片,雨痕密度选定为18,相对大小为400%,其他参数可随机选择,图2(b)中参数选择分布为高斯分布,角度为雨痕与水平线所夹锐角65度。本实施例中,小雨、中雨、大雨、暴雨、大暴雨、特大暴雨六类合成降雨图片中,每类合成了100000张,共600000张合成降雨图片,随机抽取80%作为训练集,10%作为验证集,10%作为测试集,三者之和就是合成数据集;本实施例中,雨痕密度与相对大小这两个参数数值的选定是根据合成图片的效果大概选定的,比如,降雨强度为小雨时,雨痕密度(在PS中的名称为噪音比例)设定为20,相对大小设定为200%;降雨强度为中雨时,雨痕密度设定为25,相对大小设定为220%;降雨强度为大雨时,雨痕密度设定为30,相对大小设定为240%;降雨强度为暴雨时,雨痕密度设定为35,相对大小设定为260%;降雨强度为大暴雨时,雨痕密度设定为40,相对大小设定为280%;降雨强度为特大暴雨时,雨痕密度设定为45,相对大小设定为300%。
在一些优选的方式中,训练集中每类降雨图片的数量近似相等,验证集中每类降雨图片的数量近似相等,测试集中每类降雨图片的数量也近似相等。
在一些优选的方式中,步骤(2)的具体过程为:在得到合成数据集之后,利用卷积神经网络在合成数据集上预训练模型,包括卷积神经网络模型的搭建,各超参数的选择,如卷积神经网络层数,卷积神经网络结构等的选择;使用卷积神经网络在已合成的数据集上进行预训练。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,搭建卷积神经网络就是设计卷积神经网络的结构,本实施例中,直接使用现有的卷积神经网络模型。一个典型的卷积神经网络如图3所示,卷积神经网络对于图片的分类可以分为两个部分:特征提取和分类识别;特征提取部分通过经过多次卷积(Convolution)和降采样(Subsampling)操作,可高效地提取图片的特征,提取得到的图片特征存储在特征图(feature map)中;分类识别则是将特征图展开为全连接(fully connected)网络,进而计算出属于每一类的概率,概率最高的那一项即为预测的分类;此处,计算公式是Softmax函数,公式为
其中,j=1,…,K,k=1,…,K,σ(z)j表示第j类的相对概率,zj表示第j类的概率权重(zj可以为负数,所以取e为底数,以计算相对概率,使得所有类的相对概率大于0,且和为1),k表示所分的类的总个数。
本实施例中使用ResNet50网络,卷积神经网络层数为50层,其网络架构参数如表1所示,该卷积神经网络使用了五种不同的卷积神经网络模块,各模块之间使用短路连接,以模块conv2_v为例,图4为模块conv2_v的具体结构。将该网络在合成数据集上进行预训练,测试集中各类降雨图片均为10000张,分类准确率为98.63%。
表1 ResNet50架构参数
在一些优选的方式中,步骤(3)的具体过程为:采集实际降雨图片包括建立图像采集网络,采集不同地点在不同降雨工况下的降雨图片,并在不同地区分别布置雨量计,采集降雨量;根据雨量计数据将采集到的图片进行分类,作为标签;标签种类分别为小雨、中雨、大雨、暴雨、大暴雨、特大暴雨。建立图像采集网络指的是,在不同地区分别布置雨量计,并在每个地区选用不同地点的监控摄像头用于采集真实降雨图片;在一些优选的方式中,将雨量计布置在无遮挡的地方即可,最好布置在楼顶。
本实施例中,在浙江大学紫金港校区,玉泉校区,华家池校区,之江校区,西溪校区,海宁校区六个校区各布置了一个雨量计,与浙江大学安保处合作,在每个校区选用四个不同地点的监控摄像头用于采集真实降雨图片,图5为真实降雨图片采集设备的图片,其中图5(a)为本实施例中所使用的布置在浙江大学玉泉校区的雨量计图片,图5(b)为本实施例中所使用的浙江大学紫金港校区某一处的监控设备的图片。根据雨量计数据对所采集真实降雨图片进行分类,作为标签。表2为具体的降雨强度等级划分标准。
表2降雨强度等级划分标准
降雨强度等级 | 24小时降水总量(mm) |
小雨 | 0.1-9.9 |
中雨 | 10.0-24.9 |
大雨 | 25.0-49.9 |
暴雨 | 50.0-99.9 |
大暴雨 | 100.0-249.9 |
特大暴雨 | ≥250.0 |
在本实施例中,从2016年1月1日至2018年12月31日,共采集了132场降雨事件,3168张真实降雨图片,其中80%作为训练集,10%作为验证集,10%作为测试集。真实降雨图片示例如图6所示,图6中的降雨强度等级为中雨。
在一些优选的方式中,步骤(4)的具体过程为:使用真实数据集对步骤(2)中的预训练模型进行微调包括将特征提取部分的各卷积以及池化层的参数固定,只训练分类识别部分的全连接层的参数,使用步骤(3)中采集的真实数据集进行训练。如果真实图片的数量足够多时可直接在真实数据集上进行训练以进一步提高模型的分类精度。本实施例中,在得到真实数据集之后,将卷积神经网络在真实降雨图片集上进行微调之后,测试集的分类准确率为83.28%。
在一些优选的方式中,步骤(5)的具体过程为:将步骤(4)中训练好的模型加载,并对实时采集的真实降雨图片进行实时在线分类。
在一些优选的方式中,在模型训练好后,将模型应用于城市实时控制***(或者城市大脑等);城市中的监控摄像头连接到城市实时控制***;当降雨发生时,监控摄像头在城市的不同地点实时采集图片数据,然后将图片数据转换为电信号,经过A/D转换器转换成数字图像信号,再经数字信号处理芯片(DSP)加工处理,并把处理后的信号传输到至城市实时控制***,城市实时控制***接收图片信号并将其转换成适于模型接收的图片形式,然后将图片输入训练好的模型中,此模型对图片进行降雨强度分类,得到实时降雨强度的分类结果,以便在暴雨发生时,进行实时调度,减小城市内涝造成的损失。
本实施例中,使用2019年1月1日至2019年4月30日之间的10次降雨事件作为实际应用验证,地点均为浙江大学紫金港校区,地点一至地点四为浙江大学紫金港校区的四个不同的拍摄地点,共40张真实降雨图片,天气情况以雨量计数据为准,分类结果的准确率为85.0%,表3为具体的验证结果。
表3 10次降雨事件的实时验证结果
由表3可知,本发明方法能够准确地对真实降雨图片进行分类,而且误差率较低。
实施例2
如图7所示,本发明提供的针对雨天图片的卷积神经网络降雨强度在线量化方法,包括以下步骤:
(1)通过图像处理软件合成降雨图片,得到合成数据集;
(2)搭建并修改卷积神经网络的结构(CNN),使用步骤(1)中的合成数据集对卷积神经网络进行预训练;
(3)采集实际降雨图片,得到真实数据集;
(4)使用步骤(3)中的真实数据集对预训练的模型进行微调(fine-tune),得到训练好的模型;
(5)将步骤(4)中训练好的模型用于实时降雨强度在线量化。
在一些优选的方式中,步骤(1)具体的过程为:通过图像处理软件对原图分别添加不同的降雨强度,得到合成降雨图片;
在一些优选的方式中,步骤(1)中,选用合适的图像处理软件,合适的图像处理软件指的是能处理图层的软件,具体指的是可以向原图中添加雨层;比如,Photoshop,PhotoPos Pro,GIMP,Hornil StylePix,Krita等能处理图层的软件,在本实施例中,选用的软件是Photoshop,对原图添加不同数目和大小的雨痕,以模拟不同降雨强度下的降雨图片;降雨强度是指在某一历时内的平均降落量,它可以用单位时间内的降雨深度表示,反映在图像上,图片的曝光时间一定(1/200s左右),降雨强度只与图片中的雨痕密度以及大小有关。
因为降雨强度仅与雨痕数目及大小这两个参数相关,故在合成降雨图片过程中,根据这两个参数的值确定合成图片的降雨强度;其他参数,比如雨痕角度,分布,对比度等参数则随机设定,以增强模型的鲁棒性。
具体地,图片处理软件参数的选定,以Photoshop为例,包括:雨痕密度,相对大小,分布,角度,对比度等参数,相对大小指的是:雨层(噪音层)相对于底图的大小,角度指的是:雨痕与水平线所夹锐角;对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,差异范围越大代表对比度越大,差异范围越小代表对比度越小;其中,降雨强度大小只与雨滴数目以及大小有关,反映在Photoshop的参数上,即为雨痕密度与相对大小;设雨痕密度为x,相对大小为y,降雨强度为D,假设降雨强度与雨痕密度、相对大小之间的关系为
D=kxy2
其中k为常数,这里取为1;该假设关系只用来对合成降雨图片的降雨强度数值进行量化,得到的降雨强度数值作为合成降雨图片的降雨强度标签;该式为假设的雨痕密度x,相对大小y与降雨强度D之间的映射关系,降雨强度D为一个数值,仅用作合成降雨图片的标签,无量纲。而在之后会使用真实数据集进行微调,降雨图片特征与降雨强度之间的映射会重构;所以该式是否能真实反映降雨强度与雨滴数目和相对大小的关系对最终的降雨强度预测结果影响不大,该式只用于模型的预训练过程,训练卷积神经网络对于降雨图片特征的提取能力。
在一些优选的方式中,合成数据集包括六类合成降雨图片,六类合成降雨图片分别为小雨、中雨、大雨、暴雨、大暴雨、特大暴雨的合成降雨图片;随机在合成数据集中抽取80%作为训练集,10%作为验证集,10%作为测试集;
在一些优选的方式中,训练集中每类降雨图片的数量近似相等,验证集中每类降雨图片的数量近似相等,测试集中每类降雨图片的数量也近似相等。
以图2为例,图2(a)为原图,图2(b)为合成的降雨图片,雨痕密度选定为18,相对大小为400%,则合成降雨图片的降雨强度数值为288。其他参数可随机选择,图2(b)中参数选择分布为高斯分布,角度为雨痕与水平线所夹锐角65度。本实施例中,共合成了100000张不同降雨强度的图片,随机抽取80%作为训练集,10%作为验证集,10%作为测试集,三者之和就是合成数据集。
在一些优选的方式中,步骤(2)的具体过程为:在得到合成数据集之后,利用卷积神经网络在合成数据集上预训练模型,包括卷积神经网络模型的搭建和修改,各超参数的选择;各超参数的选择,如卷积神经网络层数,卷积神经网络结构等的选择;卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,搭建卷积神经网络就是设计卷积神经网络的结构,本实施例中,直接使用现有的卷积神经网络模型;将卷积神经网络由分类模型改为回归模型,以便对降雨强度值进行量化,得到降雨强度的估计值;具体地,选用线性回归模型,可以得到降雨强度的具体估计值。修改后的模型结构示例如图8所示,卷积神经网络对于图片的量化可以分为两个部分,特征提取和线性回归;特征提取部分通过经过多次卷积(Convolution)和降采样(Subsampling)操作,可高效地提取图片的特征,提取得到的图片特征存储在特征图(feature map)中;线性回归则是将特征图展开为全连接(fullyconnected)网络,进而估算出降雨强度值,线性回归公式:
其中,为估算的降雨强度值,W为最后一层全连接的参数,X为输入变量,即倒数第二层的计算结果,b为可以学习的参数,T代表矩阵的转置,W与X均为矩阵。
使用卷积神经网络在已合成的较大规模的数据集上进行预训练。本实施例中使用ResNet50网络,该卷积神经网络层数为50,在卷积神经网络之后添加了线性回归层,以便输出具体的降雨强度值;将该网络在合成数据集上进行预训练,测试集中降雨图片为10000张,使用平均绝对百分误差(MAPE)来评价预测的准确性,如下式:
式中yi为测试集中第i张照片的标签,此处的标签就是降雨强度的数值;为测试集中第i张照片的预测值,n为测试集中的合成降雨图片的个数;本实施例中,合成数据测试集的预测平均绝对百分误差为4.91%。
在一些优选的方式中,步骤(3)的具体过程为:采集实际降雨图片包括建立图像采集网络,采集不同地点在不同降雨工况下的图片,同时使用雨量计记录瞬时降雨强度数据作为标签,此处的降雨强度单位为mm/h。具体地,24小时降水总量为0.1-9.9mm时,降雨强度等级为小雨;24小时降水总量为10.0-24.9mm时,降雨强度等级为中雨;24小时降水总量为25.0-49.9mm时,降雨强度等级为大雨;24小时降水总量为50.0-99.9mm时,降雨强度等级为暴雨;24小时降水总量为100.0-249.9mm时,降雨强度等级为大暴雨;24小时降水总量大于250.0mm时,降雨强度等级为特大暴雨。建立图像采集网络指的是,在不同地区分别布置雨量计,并在每个地区选用不同地点的监控摄像头用于采集真实降雨图片;将雨量计布置在无遮挡的地方即可,最好布置在楼顶。
本实施例中,在浙江大学紫金港校区,玉泉校区,华家池校区,之江校区,西溪校区,海宁校区等六个校区各布置了一个雨量计;与浙江大学安保处合作,在每个校区选用四个不同地点的监控摄像头用于采集真实降雨图片。图5为真实降雨图片采集设备的图片,其中,图5(a)为本实施例中所使用的布置在浙江大学玉泉校区的雨量计图片,图5(b)为本实施例中所使用的浙江大学紫金港校区地点一处的监控设备的图片。所采集的真实降雨图片,使用雨量计记录瞬时降雨强度作为标签,此处的降雨强度单位为mm/h。
在本实施例中,从2016年1月1日至2018年12月31日,共采集了132场降雨事件,3168张真实降雨图片,其中80%作为训练集,10%作为验证集,10%作为测试集。真实降雨图片示例如图6所示。
在一些优选的方式中,步骤(4)的具体过程为:使用真实数据集对预训练模型进行微调包括将特征提取部分的各卷积以及池化层的参数固定,只训练全连接层的参数,使用步骤(3)中采集的真实数据集进行训练。待真实图片规模足够大时可直接在真实数据集上进行训练以进一步提高模型的分类精度。
本实施例中,在得到真实数据集之后,将卷积神经网络在真实降雨图片集上进行微调之后,真实数据测试集的平均绝对百分误差为15.63%。
在一些优选的方式中,步骤(5)的具体过程为:将步骤(4)中训练好的模型加载,并对实时采集的真实降雨图片进行实时在线量化。
在一些优选的方式中,在模型训练好后,将模型应用于城市实时控制***(或者城市大脑等);城市中的监控摄像头连接到城市实时控制***;当降雨发生时,监控摄像头在城市的不同地点实时采集图片数据,然后将图片数据转换为电信号,经过A/D转换器转换成数字图像信号,再经数字信号处理芯片(DSP)加工处理,并把处理后的信号传输到至城市实时控制***,城市实时控制***接收图片数据信号并将其转换成适于模型接收的图片形式,然后将图片输入训练好的模型中,此模型对图片的降雨强度进行量化估计,得到实时降雨强度的预测数值,以便在暴雨发生时,进行实时调度,减小城市内涝造成的损失。
本实施例中,使用2019年1月1日至2019年4月30日之间的10次降雨事件作为实际应用验证,地点均为浙江大学紫金港校区,地点一至地点四为浙江大学紫金港校区的四个不同的拍摄地点,共40张真实降雨图片,使用雨量计记录瞬时降雨强度,最终得到平均绝对百分误差为14.67%,具体的验证结果如图9所示。由图9可知,本发明方法能够准确地对真实降雨图片进行量化预测,误差率较低。
显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
Claims (8)
1.一种针对雨天图片的卷积神经网络降雨强度分类方法,其特征在于,包括以下步骤:
(1)通过图像处理软件合成降雨图片,得到合成数据集;
(2)搭建卷积神经网络,使用步骤(1)中的合成数据集对卷积神经网络进行预训练;
(3)采集实际降雨图片,得到真实数据集;
(4)使用步骤(3)中的真实数据集对预训练的模型进行微调,得到训练好的模型;
(5)将步骤(4)中的训练好的模型用于实时降雨强度分类。
2.如权利要求1所述的一种针对雨天图片的卷积神经网络降雨强度分类方法,其特征在于,步骤(1)中,通过图像处理软件对原图分别添加不同的降雨强度,得到合成降雨图片。
3.如权利要求2所述的一种针对雨天图片的卷积神经网络降雨强度分类方法,其特征在于,步骤(1)中,选用合适的图像处理软件,如Photoshop,对原图添加不同数目和大小的雨痕,以模拟不同降雨强度下的降雨图片。
4.如权利要求1所述的一种针对雨天图片的卷积神经网络降雨强度分类方法,其特征在于,步骤(2)中,卷积神经网络对于图片的分类分为两个部分:特征提取和分类识别;特征提取部分通过经过多次卷积和降采样操作,提取图片的特征,提取得到的图片特征存储在特征图中;分类识别则是将特征图展开为全连接网络,进而计算出属于每一类的概率,概率最高的那一项即为预测的分类。
5.如权利要求1所述的一种针对雨天图片的卷积神经网络降雨强度分类方法,其特征在于,步骤(2)中使用卷积神经网络,如ResNet50网络,将该网络在合成数据集上进行预训练。
6.如权利要求1所述的一种针对雨天图片的卷积神经网络降雨强度分类方法,其特征在于,步骤(3)的具体过程为:建立图像采集网络,采集不同地点在不同降雨工况下的图片,得到真实数据集,根据雨量计数据将采集到的图片进行分类,分为小雨、中雨、大雨、暴雨、大暴雨、特大暴雨,作为标签。
7.如权利要求4所述的一种针对雨天图片的卷积神经网络降雨强度分类方法,其特征在于,步骤(4)的具体过程为:使用真实数据集对预训练模型进行微调包括将特征提取部分的各卷积以及池化层的参数固定,只训练分类识别部分的全连接层的参数,使用步骤(3)中的真实数据集进行训练。
8.如权利要求1所述的一种针对雨天图片的卷积神经网络降雨强度分类方法,其特征在于,步骤(5)的具体过程为:将步骤(4)中训练好的模型加载,并对实时采集的真实降雨图片进行分类。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910701424.3A CN110610190A (zh) | 2019-07-31 | 2019-07-31 | 一种针对雨天图片的卷积神经网络降雨强度分类方法 |
PCT/CN2020/072281 WO2021017445A1 (zh) | 2019-07-31 | 2020-01-15 | 一种针对雨天图片的卷积神经网络降雨强度分类方法及量化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910701424.3A CN110610190A (zh) | 2019-07-31 | 2019-07-31 | 一种针对雨天图片的卷积神经网络降雨强度分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110610190A true CN110610190A (zh) | 2019-12-24 |
Family
ID=68890317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910701424.3A Withdrawn CN110610190A (zh) | 2019-07-31 | 2019-07-31 | 一种针对雨天图片的卷积神经网络降雨强度分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110610190A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111050081A (zh) * | 2019-12-27 | 2020-04-21 | 维沃移动通信有限公司 | 拍摄方法及电子设备 |
CN111178439A (zh) * | 2019-12-31 | 2020-05-19 | 杭州电子科技大学 | 基于卷积神经网络及微调的sar图像分类方法 |
CN111914933A (zh) * | 2020-07-31 | 2020-11-10 | 中国民用航空华东地区空中交通管理局 | 降雪检测方法、装置、计算机设备和可读存储介质 |
WO2021017445A1 (zh) * | 2019-07-31 | 2021-02-04 | 浙江大学 | 一种针对雨天图片的卷积神经网络降雨强度分类方法及量化方法 |
CN112689078A (zh) * | 2021-01-22 | 2021-04-20 | 国网河南省电力公司信息通信公司 | 一种基于人工智能视频分析的雨水识别管理*** |
CN112883969A (zh) * | 2021-03-01 | 2021-06-01 | 河海大学 | 一种基于卷积神经网络的降雨强度检测方法 |
CN113534296A (zh) * | 2021-07-13 | 2021-10-22 | 象辑知源(武汉)科技有限公司 | 基于神经网络沙尘天气预报强度误差的测算方法及装置 |
CN113552656A (zh) * | 2021-07-26 | 2021-10-26 | 福建农林大学 | 基于室外影像多时空融合的降水强度监测方法及*** |
WO2021243898A1 (zh) * | 2020-06-05 | 2021-12-09 | 北京旷视科技有限公司 | 数据分析方法、装置、电子设备及存储介质 |
CN114296152A (zh) * | 2021-12-16 | 2022-04-08 | 中汽创智科技有限公司 | 一种雨量确定方法、装置、设备以及存储介质 |
CN117008219A (zh) * | 2023-10-07 | 2023-11-07 | 武汉大水云科技有限公司 | 一种基于人工智能降雨测量方法、装置、设备及存储介质 |
CN117129390A (zh) * | 2023-10-26 | 2023-11-28 | 北京中科技达科技有限公司 | 一种基于线阵摄像的降雨粒子实时监测***及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9465987B1 (en) * | 2015-03-17 | 2016-10-11 | Exelis, Inc. | Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms |
CN107506823A (zh) * | 2017-08-22 | 2017-12-22 | 南京大学 | 一种用于对话生成的混合神经网络模型的构建方法 |
CN107703564A (zh) * | 2017-10-13 | 2018-02-16 | 中国科学院深圳先进技术研究院 | 一种降雨预测方法、***及电子设备 |
CN108389220A (zh) * | 2018-02-05 | 2018-08-10 | 湖南航升卫星科技有限公司 | 遥感视频图像运动目标实时智能感知方法及其装置 |
CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
CN110049216A (zh) * | 2019-04-18 | 2019-07-23 | 安徽易睿众联科技有限公司 | 一种可实时识别降水类型的网络摄像机 |
-
2019
- 2019-07-31 CN CN201910701424.3A patent/CN110610190A/zh not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9465987B1 (en) * | 2015-03-17 | 2016-10-11 | Exelis, Inc. | Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms |
CN107506823A (zh) * | 2017-08-22 | 2017-12-22 | 南京大学 | 一种用于对话生成的混合神经网络模型的构建方法 |
CN107703564A (zh) * | 2017-10-13 | 2018-02-16 | 中国科学院深圳先进技术研究院 | 一种降雨预测方法、***及电子设备 |
CN108389220A (zh) * | 2018-02-05 | 2018-08-10 | 湖南航升卫星科技有限公司 | 遥感视频图像运动目标实时智能感知方法及其装置 |
CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
CN110049216A (zh) * | 2019-04-18 | 2019-07-23 | 安徽易睿众联科技有限公司 | 一种可实时识别降水类型的网络摄像机 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021017445A1 (zh) * | 2019-07-31 | 2021-02-04 | 浙江大学 | 一种针对雨天图片的卷积神经网络降雨强度分类方法及量化方法 |
CN111050081B (zh) * | 2019-12-27 | 2021-06-11 | 维沃移动通信有限公司 | 拍摄方法及电子设备 |
CN111050081A (zh) * | 2019-12-27 | 2020-04-21 | 维沃移动通信有限公司 | 拍摄方法及电子设备 |
CN111178439A (zh) * | 2019-12-31 | 2020-05-19 | 杭州电子科技大学 | 基于卷积神经网络及微调的sar图像分类方法 |
WO2021243898A1 (zh) * | 2020-06-05 | 2021-12-09 | 北京旷视科技有限公司 | 数据分析方法、装置、电子设备及存储介质 |
CN111914933A (zh) * | 2020-07-31 | 2020-11-10 | 中国民用航空华东地区空中交通管理局 | 降雪检测方法、装置、计算机设备和可读存储介质 |
CN112689078A (zh) * | 2021-01-22 | 2021-04-20 | 国网河南省电力公司信息通信公司 | 一种基于人工智能视频分析的雨水识别管理*** |
CN112883969B (zh) * | 2021-03-01 | 2022-08-26 | 河海大学 | 一种基于卷积神经网络的降雨强度检测方法 |
CN112883969A (zh) * | 2021-03-01 | 2021-06-01 | 河海大学 | 一种基于卷积神经网络的降雨强度检测方法 |
CN113534296A (zh) * | 2021-07-13 | 2021-10-22 | 象辑知源(武汉)科技有限公司 | 基于神经网络沙尘天气预报强度误差的测算方法及装置 |
CN113552656A (zh) * | 2021-07-26 | 2021-10-26 | 福建农林大学 | 基于室外影像多时空融合的降水强度监测方法及*** |
CN114296152A (zh) * | 2021-12-16 | 2022-04-08 | 中汽创智科技有限公司 | 一种雨量确定方法、装置、设备以及存储介质 |
CN114296152B (zh) * | 2021-12-16 | 2023-09-15 | 中汽创智科技有限公司 | 一种雨量确定方法、装置、设备以及存储介质 |
CN117008219A (zh) * | 2023-10-07 | 2023-11-07 | 武汉大水云科技有限公司 | 一种基于人工智能降雨测量方法、装置、设备及存储介质 |
CN117008219B (zh) * | 2023-10-07 | 2024-01-16 | 武汉大水云科技有限公司 | 一种基于人工智能降雨测量方法、装置、设备及存储介质 |
CN117129390A (zh) * | 2023-10-26 | 2023-11-28 | 北京中科技达科技有限公司 | 一种基于线阵摄像的降雨粒子实时监测***及方法 |
CN117129390B (zh) * | 2023-10-26 | 2024-01-23 | 北京中科技达科技有限公司 | 一种基于线阵摄像的降雨粒子实时监测***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110610190A (zh) | 一种针对雨天图片的卷积神经网络降雨强度分类方法 | |
CN110633626A (zh) | 一种针对雨天图片的卷积神经网络降雨强度在线量化方法 | |
CN113065578B (zh) | 一种基于双路区域注意力编解码的图像视觉语义分割方法 | |
CN112749654A (zh) | 一种用于视频大雾监测的深度神经网络模型构建方法、***及装置 | |
CN112287018A (zh) | 一种台风灾害下10kV杆塔受损风险评估方法及*** | |
CN112396635B (zh) | 一种基于多设备的复杂环境下多目标检测方法 | |
CN113869162A (zh) | 一种基于人工智能的违章识别方法及*** | |
CN111983732A (zh) | 一种基于深度学习的降水强度估计方法 | |
CN111462218A (zh) | 一种基于深度学习技术的城市内涝积水面积监测方法 | |
CN108509980B (zh) | 一种基于字典学习的水位监测方法 | |
CN115690632A (zh) | 一种内陆河流水体的水环境监测方法 | |
CN112801227B (zh) | 一种台风识别模型的生成方法、装置、设备及存储介质 | |
WO2021017445A1 (zh) | 一种针对雨天图片的卷积神经网络降雨强度分类方法及量化方法 | |
Yan et al. | Glacier classification from Sentinel-2 imagery using spatial-spectral attention convolutional model | |
CN115691049A (zh) | 一种基于深度学习的对流初生预警方法 | |
CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
CN110765900B (zh) | 一种基于dssd的自动检测违章建筑方法及*** | |
CN115830302A (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
Zheng et al. | Toward Improved Real‐Time Rainfall Intensity Estimation Using Video Surveillance Cameras | |
CN116452943A (zh) | 一种基于卷积神经网络进行图像识别的水位识别方法 | |
CN114266980A (zh) | 一种城市井盖破损检测方法及*** | |
CN111929680B (zh) | 一种基于sar图像的洪水淹没程度快速评价方法 | |
CN113902739A (zh) | Nut线夹缺陷识别方法、装置及设备、可读存储介质 | |
CN117849907B (zh) | 基于多源数据的气象灾害靶向预警方法及*** | |
CN116778696B (zh) | 一种基于视觉的城市内涝智能预警方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191224 |