CN115375683A - 基于图像处理的涝点检测方法、***、存储介质及设备 - Google Patents

基于图像处理的涝点检测方法、***、存储介质及设备 Download PDF

Info

Publication number
CN115375683A
CN115375683A CN202211299943.XA CN202211299943A CN115375683A CN 115375683 A CN115375683 A CN 115375683A CN 202211299943 A CN202211299943 A CN 202211299943A CN 115375683 A CN115375683 A CN 115375683A
Authority
CN
China
Prior art keywords
waterlogging
image
reference object
feature map
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211299943.XA
Other languages
English (en)
Inventor
李芬
冯祥胜
唐传师
何瑶
魏明明
胡沁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Atmospheric Exploration Technology Center
Original Assignee
Jiangxi Atmospheric Exploration Technology Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Atmospheric Exploration Technology Center filed Critical Jiangxi Atmospheric Exploration Technology Center
Priority to CN202211299943.XA priority Critical patent/CN115375683A/zh
Publication of CN115375683A publication Critical patent/CN115375683A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于图像处理的涝点检测方法、***、存储介质及设备,由于现在手机的普及率很高,而且手机都配置有拍摄功能,通过人们手中的手机作为涝点监测设备,获取手机拍摄的涝点照片,并对涝点照片中的积水进行识别,使得涝点检测方式更为智能、高效,不再需要依赖于观测站对城市道路中的内涝点进行监测,具体的,通过获取用户上传的拍摄图片,当判断该拍摄图片为预设区域中的涝点位置时,将拍摄图片输入图像处理模型,并进行后处理处理,得到后处理图像,最后判断该后处理图像是否属于内涝类别,若是,则发出内涝预警信息,该方法有效解决了搭建和维护观测站成本较高,且观测站出现故障的期间,无法及时给用户提供内涝点数据的问题。

Description

基于图像处理的涝点检测方法、***、存储介质及设备
技术领域
本发明属于涝点检测技术领域,具体涉及一种基于图像处理的涝点检测方法、***、存储介质及设备。
背景技术
城市内涝灾害是由于短历时强降雨、连续型降雨或者过程雨量偏大而造成径流过多,在城市地势低洼处、或排水不畅等情况下形成积水的自然灾害,影响因素主要是强降雨和城市排水能力。
一般的,如遇高强度暴雨,短时间内在城市的不同位置处会形成积水,即形成内涝点,为了对城市中的各个内涝点进行监测,通常会在内涝点处安设观测站,用来监测该内涝点是否存在积水,当内涝点积水严重时,会进行广播,以提醒人们绕道出行,这种方式虽然可以有效对各内涝点进行实时监测,但搭建观测站需要耗费大量的人力、物力,后续观测站的养护成本也高,另外,当观测站出现故障时,内涝点的积水监测将停摆,无法再给用户提供内涝数据,在一定程度上,会给人们的出行带来不便。
发明内容
基于此,本发明提供了一种基于图像处理的涝点检测方法、***、存储介质及设备,旨在解决现有技术中,依赖于观测站对城市道路中的内涝点进行监测,成本较高,且观测站出现故障的期间,无法及时给用户提供内涝数据的问题。
本发明实施例的第一方面提供了一种基于图像处理的涝点检测方法,所述方法包括:
预先获取预设区域中的各涝点位置以及各所述涝点位置的特征参照物,并预先建立所述涝点位置与对应的所述特征参照物的映射模型,并根据所有所述特征参照物,建立特征参照物库;
获取用户上传的拍摄图片,识别所述拍摄图片中的目标参照物,并判断所述目标参照物是否存在于所述特征参照物库中;
若是,则将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像;
将所述涝点分割图像进行后处理,得到后处理图像,并判断所述后处理图像是否属于内涝类别;
若是,则发出内涝预警信息,所述内涝预警信息至少包括所述内涝类别和所述目标涝点位置。
进一步的,所述将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像的步骤之前包括:
获取历史涝点图像,并对所述历史涝点图像中的第一积水类区域、第二积水类区域和非积水区域进行标记和划分,得到训练集数据,其中,所述第一积水类区域的积水深度大于第一阈值且小于等于第二阈值,所述第二积水类区域的积水深度大于等于第二阈值;
将所述训练集数据输入到图像分割网络中进行训练,其中,训练过程为,将所述训练集数据输入主干网络,得到特征图;
将所述特征图依次输入位置网络和路径网络,得到对应的位置特征图和路径特征图,并将所述位置特征图和所述路径特征图融合,得到历史涝点分割图像,以完成所述图像处理模型的建立。
进一步的,所述位置网络可以表示为:
Figure 549167DEST_PATH_IMAGE001
其中,Sji表示第(j,i)个格点的预测概率图,Aj表示尺寸为C×H×W的第j行的特征图,Bi表示由Aj经过变换得到尺寸为N×C的第i列的特征图,Cj表示由Aj经过变换得到尺寸为C×N的第j行的特征图,Di表示由Aj经过变换得到尺寸为C×N的第i列的特征图,E表示位置特征图,α表示位置特征参数,C表示为特征图的路径数,H表示特征图的高度,W表示特征图的长度,N表示特征图中像素的总列数。
进一步的,所述路径网络可以表示为:
Figure 614075DEST_PATH_IMAGE002
其中,Xji表示第(j,i)个路径的权重值,Aj表示尺寸为C×H×W的第j行的特征图,Bi表示由Aj经过变换得到尺寸为N×C的第i列的特征图,Cj表示由Aj经过变换得到尺寸为C×N的第j行的特征图,Di表示由Aj经过变换得到尺寸为C×N的第i列的特征图,F表示路径特征图,β表示路径特征参数,C表示为特征图的路径数,H表示特征图的高度,W表示特征图的长度。
进一步的,所述将所述涝点分割图像进行后处理,得到后处理图像,并判断所述后处理图像是否属于内涝类别的步骤包括:
根据所述历史涝点分割图像,确定像素点区域阈值,并根据所述像素点区域阈值,将所述涝点分割图像中的干扰区域滤除,得到目标图像;
将所述目标图像进行数学形态学运算,得到边界清晰的后处理图像。
进一步的,所述获取用户上传的拍摄图片,识别所述拍摄图片中的目标参照物,并判断所述目标参照物是否存在于所述特征参照物库中的步骤之后包括:
当判断所述目标参照物存在于所述特征参照物库中时,获取所述拍摄图片的拍摄时间,以及所述拍摄时间的预设时间段内的气象数据,并根据所述气象数据,判断是否存在雨水天气;
若是,则执行所述将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像的步骤。
进一步的,所述当判断所述目标参照物存在于所述特征参照物库中时,获取所述拍摄图片的拍摄时间,以及所述拍摄时间的预设时间段内的气象数据,并根据所述气象数据,判断是否存在雨水天气的步骤包括:
获取所述拍摄时间和用户上传所述拍摄图片的上传时间,判断所述拍摄时间与所述上传时间的间隔时间是否超过预设时间;
若否,则获取所述拍摄时间的预设时间段内的气象数据,并根据所述气象数据,判断是否存在雨水天气。
本发明实施例的第二方面提供了一种基于图像处理的涝点检测***,所述***包括:
获取模块,用于预先获取预设区域中的各涝点位置以及各所述涝点位置的特征参照物,并预先建立所述涝点位置与对应的所述特征参照物的映射模型,并根据所有所述特征参照物,建立特征参照物库;
参照物判断模块,用于获取用户上传的拍摄图片,识别所述拍摄图片中的目标参照物,并判断所述目标参照物是否存在于所述特征参照物库中;
图像处理模块,用于当判断所述目标参照物存在于所述特征参照物库中时,则将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像;
内涝判断模块,用于将所述涝点分割图像进行后处理,得到后处理图像,并判断所述后处理图像是否属于内涝类别;
发送模块,用于当判断所述后处理图像属于内涝类别时,则发出内涝预警信息,所述内涝预警信息至少包括所述内涝类别和所述目标涝点位置。
本发明实施例的第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面提供的一种基于图像处理的涝点检测方法。
本发明实施例的第四方面提供了一种基于图像处理的涝点检测设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面提供的一种基于图像处理的涝点检测方法。
实施本发明实施例当中提供的一种基于图像处理的涝点检测方法、***、存储介质及设备具有以下有益效果:
由于现在手机的普及率很高,而且手机都配置有拍摄功能,通过人们手中的手机作为涝点监测设备,获取手机拍摄的涝点照片,并对涝点照片中的积水进行识别,使得涝点检测方式更为智能、高效,不再需要依赖于观测站对城市道路中的内涝点进行监测,具体的,通过获取用户上传的拍摄图片,当判断该拍摄图片为预设区域中的涝点位置时,将拍摄图片输入图像处理模型,并进行后处理处理,得到后处理图像,最后判断该后处理图像是否属于内涝类别,若是,则发出内涝预警信息,该方法有效解决了搭建和维护观测站成本较高,且观测站出现故障的期间,无法及时给用户提供内涝点数据的问题。
附图说明
图1是本发明第一实施例提供的一种基于图像处理的涝点检测方法的实现流程图;
图2是本发明第二实施例提供的一种基于图像处理的涝点检测方法的实现流程图;
图3是本发明第三实施例提供的一种基于图像处理的涝点检测***的结构框图;
图4是本发明第四实施例提供的一种基于图像处理的涝点检测设备的结构框图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是,当元件被称为“固设于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1,图1示出了本发明第一实施例提供的一种基于图像处理的涝点检测方法,所述方法具体包括步骤S01至步骤S05。
步骤S01,预先获取预设区域中的各涝点位置以及各所述涝点位置的特征参照物,并预先建立所述涝点位置与对应的所述特征参照物的映射模型,并根据所有所述特征参照物,建立特征参照物库。
其中,在一个城市中,往往会存在若干内涝点,即每当遇到持续性的雨水天气或者短时间强降雨天气时,该位置都会有积水,为了对这些内涝点进行检测,需要获取这些内涝点的位置,即涝点位置,而该位置通常用经纬度为表示,这样可以更准确的定位。
需要说明的是,由于是基于图像处理的涝点检测,那么,需要在涝点位置进行照片的拍摄,为了确认拍摄的涝点图片是否为对应涝点位置的图片,需要预先获取各个涝点位置的特征参照物,其中,特征参照物为能代表此涝点位置的物体,例如为路牌、标志性建筑、园艺等,并建立涝点位置与特征参照物的映射模型,即当在涝点图片中识别到特定特征参照物时,便可知晓拍摄图片对应的具体的涝点位置,另外,将预先获取的所有内涝点的特征参照物汇总,建立特征参照物库,该特征参照物库用于当识别到拍摄图片中的目标参照物后,与特征参照物库中的特征参照物进行比对。
步骤S02,获取用户上传的拍摄图片,识别所述拍摄图片中的目标参照物,并判断所述目标参照物是否存在于所述特征参照物库中,若是,则执行步骤S03。
具体的,当识别拍摄图片中的目标参照物与特征参照物库中的特征参照物进行比对,发现特征参照物库中存在与目标参照物一致的特征参照物,则说明拍摄图片的位置为预设区域中的涝点位置。
步骤S03,则将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像。
具体的,首先需要建立图像处理模型,为了建立图像处理模型,应获取大量的历史涝点图像,该历史涝点图像为实际采集到的城市内涝图像,在经过预处理后,得到训练集数据、验证集数据和测试集数据,其中,预处理的目的在于消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而改进特征抽取、图像分割、匹配和识别的可靠性,在本实施例当中,预处理可以为通过旋转、平移、镜像和对比度调整对历史涝点图像进行增强,并利用Labelme软件对增强后的缺陷图像进行标注,并将Labelme输出的JSON文件转换为可区分类别的灰度图,80%的数据集作为训练集,剩下的20%作为验证集,需要说明的是,在获取到历史涝点图像后,对历史涝点图像中的第一积水类区域、第二积水类区域和非积水区域进行标记和划分,得到训练集数据,其中第一积水类区域的积水深度大于第一阈值且小于等于第二阈值,第二积水类区域的积水深度大于等于第二阈值,可以理解的,第一阈值和第二阈值可以根据实际情况进行定义。
进一步的,在准备好训练集数据、验证集数据和测试集数据后,构建图像分割网络,需要说明的是,图像分割网络中包括位置网络和路径网络,其中,由于语义分割中经常会出现对象的误分类,因此引入位置注意机制可以通过在局部特征上建立丰富的上下文链接,并从更大的视角对上下文信息进行特征表示,从而有效地增强特征表示能力。位置注意机制通过局部特征的选择性融合,增强了网络模型识别物体细节和边缘的能力,具体的,位置网络可以表示为:
Figure 403040DEST_PATH_IMAGE003
其中,Sji表示第(j,i)个格点的预测概率图,Aj表示尺寸为C×H×W的第j行的特征图,Bi表示由Aj经过变换得到尺寸为N×C的第i列的特征图,Cj表示由Aj经过变换得到尺寸为C×N的第j行的特征图,Di表示由Aj经过变换得到尺寸为C×N的第i列的特征图,E表示位置特征图,α表示位置特征参数,C表示为特征图的路径数,H表示特征图的高度,W表示特征图的长度,N表示特征图中像素的总列数,具体的,首先通过1×1卷积运算减少路径数,以获得尺寸为C×H×W的特征图A,然后对A执行尺寸变换以获得尺寸为N×C(C=H×W)的特征图B以及维度为C*N的特征图C和特征图D。执行特征图B和特征图C的矩阵乘法和softmax运算以获得每个点的预测概率图S。然后,执行特征图D和预测概率图S的矩阵乘法以获得维度变换。最后,对特征图A的相应特征进行求和融合,得到维度为C×H×W的位置特征图E。
另外,网络模型中的要素路径图越深,它对特定类别的响应就越快。路径注意模块对路径之间的依赖关系进行显式建模,可以突出相互依赖的特征映射,改善特定语义的特征表示,增强对同一类别网络模型的整体识别,所以路径网络可以表示为:
Figure 36147DEST_PATH_IMAGE004
其中,Xji表示第(j,i)个路径的权重值,Aj表示尺寸为C×H×W的第j行的特征图,Bi表示由Aj经过变换得到尺寸为N×C的第i列的特征图,Cj表示由Aj经过变换得到尺寸为C×N的第j行的特征图,Di表示由Aj经过变换得到尺寸为C×N的第i列的特征图,F表示路径特征图,β表示路径特征参数,C表示为特征图的路径数,H表示特征图的高度,W表示特征图的长度,具体的,首先通过1×1的卷积运算减少路径数量,得到维度为C×H×W的特征图A,然后对特征图A进行维度变换,得到维度为C×N (C=H×W)的特征图B和特征图D,以及维度为N×C的特征图C。特征图B和特征图C进行矩阵相乘和softmax化为每个路径的权重值X,然后特征图D与权重值X进行矩阵相乘得到维度变换。最后,对特征图A的对应特征进行求和融合,得到维度为C×H×W的路径特征图F。
图像处理模型建立完成后,将获取到的拍摄图片输入该图像处理模型中,以输出涝点分割图像,其中,获取到的拍摄图片可以由手机拍摄得到,也可以由固设于涝点处的摄像头拍摄得到。
步骤S04,将所述涝点分割图像进行后处理,得到后处理图像,并判断所述后处理图像是否属于内涝类别,若是,则执行步骤S05。
需要说明的是,根据历史涝点分割图像,确定像素点区域阈值,并根据像素点区域阈值,将涝点分割图像中的干扰区域滤除,得到目标图像,具体的,利用先验知识得到的合理阈值,对分割后的图像进行处理,过滤掉预测为内涝且面积太小的区域,具体的,图像分割网络中主干网络采用了带空洞卷积的ResNet50,输入图像到检测的特征图的尺寸缩放比是8:1,所以特征图上能够检测的最小单位映射还原到输出图像上是64个像素单位,也就是说模型对内涝检测的阈值是64的倍数。在本实施例当中,将阈值确定为8倍,即输出图像中预测为内涝且小于500像素的区域,将不作为内涝区域处理。
进一步的,对通过阈值过滤后分割图像进行数学形态学运算,主要是对预测为内涝区域的进行腐蚀再膨胀运算,除去预测为内涝的孤立的小点、毛刺和小桥,同时又保持预测为内涝区域的原有形状和大小。
步骤S05,则发出内涝预警信息,所述内涝预警信息至少包括所述内涝类别和所述目标涝点位置。
综上,本发明上述实施例当中的一种基于图像处理的涝点检测方法,通过获取用户上传的拍摄图片,当判断该拍摄图片为预设区域中的涝点位置时,将拍摄图片输入图像处理模型,并进行后处理处理,得到后处理图像,最后判断该后处理图像是否属于内涝类别,若是,则发出内涝预警信息,由于现在手机的普及率很高,而且手机都配置有拍摄功能,通过人们手中的手机作为涝点监测设备,获取手机拍摄的涝点照片,并对涝点照片中的积水进行识别,使得涝点检测方式更为智能、高效,不再需要依赖于观测站对城市道路中的内涝点进行监测,该方法有效解决了搭建和维护观测站成本较高,且观测站出现故障的期间,无法及时给用户提供内涝点数据的问题。
实施例二
请参阅图2,图2示出了本发明第二实施例提供的一种基于图像处理的涝点检测方法,实施例二与实施例一的区别在于,实施例二对拍摄图片的相关信息进行了识别,以保证输入图像处理模型中的为有用图片,所述方法具体包括步骤S20至步骤S25。
步骤S20,预先获取预设区域中的各涝点位置以及各所述涝点位置的特征参照物,并预先建立所述涝点位置与对应的所述特征参照物的映射模型,并根据所有所述特征参照物,建立特征参照物库。
步骤S21,获取用户上传的拍摄图片,识别所述拍摄图片中的目标参照物,并判断所述目标参照物是否存在于所述特征参照物库中,若是,则执行步骤S22。
步骤S22,获取所述拍摄图片的拍摄时间,以及所述拍摄时间的预设时间段内的气象数据,并根据所述气象数据,判断是否存在雨水天气,若是,则执行步骤S23。
需要说明的是,为了避免用户将在此涝点位置以往拍摄的历史涝点图片上传进行涝点水位的预测,提供虚假信息,需获取涝点图片的拍摄时间,根据用户上传拍摄图片的上传时间,当上传时间与拍摄时间之间间隔时间过长,则不再将拍摄图像输入图像处理模型中进行检测,当上传时间与拍摄时间之间间隔时间在预设时间内,则获取拍摄时间的预设时间段内的气象数据,并根据气象数据,判断是否存在雨水天气,若否,则停止将拍摄图像输入图像处理模型中,可以理解的,若拍摄时间的天气为晴天,且拍摄时间前后都未出现雨水天气,则该涝点位置必然不会产生积水,所以将被认定为用户的恶作剧行为。
步骤S23,则将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像。
步骤S24,将所述涝点分割图像进行后处理,得到后处理图像,并判断所述后处理图像是否属于内涝类别,若是,则执行步骤S25。
步骤S25,则发出内涝预警信息,所述内涝预警信息至少包括所述内涝类别和所述目标涝点位置。
综上,本发明上述实施例当中的一种基于图像处理的涝点检测方法,通过获取用户上传的拍摄图片,当判断该拍摄图片为预设区域中的涝点位置时,将拍摄图片输入图像处理模型,并进行后处理处理,得到后处理图像,最后判断该后处理图像是否属于内涝类别,若是,则发出内涝预警信息,由于现在手机的普及率很高,而且手机都配置有拍摄功能,通过人们手中的手机作为涝点监测设备,获取手机拍摄的涝点照片,并对涝点照片中的积水进行识别,使得涝点检测方式更为智能、高效,不再需要依赖于观测站对城市道路中的内涝点进行监测,该方法有效解决了搭建和维护观测站成本较高,且观测站出现故障的期间,无法及时给用户提供内涝点数据的问题,具体的,还可以更为智能的对虚假的拍摄图片进行分辨,避免对虚假的拍摄图片进行检测,浪费检测资源。
实施例三
请参阅图3,图3是本发明实施例三提供的一种基于图像处理的涝点检测***300的结构框图。本实施例中基于图像处理的涝点检测***300包括的各单元用于执行上述实施例中的各步骤。为了便于说明,仅示出了与本实施例相关的部分。参见图3,基于图像处理的涝点检测***300包括:获取模块31、参照物判断模块32、图像处理模块33、内涝判断模块34以及发送模块35,其中:
获取模块31,用于预先获取预设区域中的各涝点位置以及各所述涝点位置的特征参照物,并预先建立所述涝点位置与对应的所述特征参照物的映射模型,并根据所有所述特征参照物,建立特征参照物库;
参照物判断模块32,用于获取用户上传的拍摄图片,识别所述拍摄图片中的目标参照物,并判断所述目标参照物是否存在于所述特征参照物库中;
图像处理模块33,用于当判断所述目标参照物存在于所述特征参照物库中时,则将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像;
内涝判断模块34,用于将所述涝点分割图像进行后处理,得到后处理图像,并判断所述后处理图像是否属于内涝类别;
发送模块35,用于当判断所述后处理图像属于内涝类别时,则发出内涝预警信息,所述内涝预警信息至少包括所述内涝类别和所述目标涝点位置。
进一步的,在本发明一些可选实施例当中,所述基于图像处理的涝点检测***300还包括:
训练集数据获取模块,用于获取历史涝点图像,并对所述历史涝点图像中的第一积水类区域、第二积水类区域和非积水区域进行标记和划分,得到训练集数据,其中,所述第一积水类区域的积水深度大于第一阈值且小于等于第二阈值,所述第二积水类区域的积水深度大于等于第二阈值;
训练模块,用于将所述训练集数据输入到图像分割网络中进行训练,其中,训练过程为,将所述训练集数据输入主干网络,得到特征图;
图像处理模型建立模块,用于将所述特征图依次输入位置网络和路径网络,得到对应的位置特征图和路径特征图,并将所述位置特征图和所述路径特征图融合,得到历史涝点分割图像,以完成所述图像处理模型的建立,其中,所述位置网络可以表示为:
Figure 543351DEST_PATH_IMAGE005
其中,Sji表示第(j,i)个格点的预测概率图,Aj表示尺寸为C×H×W的第j行的特征图,Bi表示由Aj经过变换得到尺寸为N×C的第i列的特征图,Cj表示由Aj经过变换得到尺寸为C×N的第j行的特征图,Di表示由Aj经过变换得到尺寸为C×N的第i列的特征图,E表示位置特征图,α表示位置特征参数,C表示为特征图的路径数,H表示特征图的高度,W表示特征图的长度,N表示特征图中像素的总列数;
所述路径网络可以表示为:
Figure 146371DEST_PATH_IMAGE006
其中,Xji表示第(j,i)个路径的权重值,Aj表示尺寸为C×H×W的第j行的特征图,Bi表示由Aj经过变换得到尺寸为N×C的第i列的特征图,Cj表示由Aj经过变换得到尺寸为C×N的第j行的特征图,Di表示由Aj经过变换得到尺寸为C×N的第i列的特征图,F表示路径特征图,β表示路径特征参数,C表示为特征图的路径数,H表示特征图的高度,W表示特征图的长度。
进一步的,在本发明一些可选实施例当中,所述内涝判断模块34包括:
滤除单元,用于根据所述历史涝点分割图像,确定像素点区域阈值,并根据所述像素点区域阈值,将所述涝点分割图像中的干扰区域滤除,得到目标图像;
运算单元,用于将所述目标图像进行数学形态学运算,得到边界清晰的后处理图像。
进一步的,在本发明一些可选实施例当中,所述基于图像处理的涝点检测***300还包括:
雨水天气判断模块,用于当判断所述目标参照物存在于所述特征参照物库中时,获取所述拍摄图片的拍摄时间,以及所述拍摄时间的预设时间段内的气象数据,并根据所述气象数据,判断是否存在雨水天气,其中,当雨水天气判断模块的判断结果为是时,则执行所述将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像的步骤。
进一步的,在本发明一些可选实施例当中,所述雨水天气判断模块包括:
第一判断单元,用于获取所述拍摄时间和用户上传所述拍摄图片的上传时间,判断所述拍摄时间与所述上传时间的间隔时间是否超过预设时间,其中,当第一判断单元的判断结果为否时,则获取所述拍摄时间的预设时间段内的气象数据,并根据所述气象数据,判断是否存在雨水天气。
实施例四
本发明另一方面还提出一种基于图像处理的涝点检测设备,请参阅图4,所示为本发明第四实施例当中的一种基于图像处理的涝点检测设备,包括存储器20、处理器10以及存储在存储器上并可在处理器上运行的计算机程序30,所述处理器10执行所述计算机程序30时实现如上述的一种基于图像处理的涝点检测方法。
其中,处理器10在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器20中存储的程序代码或处理数据,例如执行访问限制程序等。
其中,存储器20至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是一种基于图像处理的涝点检测设备的内部存储单元,例如该一种基于图像处理的涝点检测设备的硬盘。存储器20在另一些实施例中也可以是一种基于图像处理的涝点检测设备的外部存储装置,例如一种基于图像处理的涝点检测设备上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,存储器20还可以既包括一种基于图像处理的涝点检测设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储一种基于图像处理的涝点检测设备的应用软件及各类数据,还可以用于暂时地存储已经输出或者将要输出的数据。
需要指出的是,图4示出的结构并不构成对一种基于图像处理的涝点检测设备的限定,在其它实施例当中,该一种基于图像处理的涝点检测设备可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本发明实施例还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述的涝点预测方法。
本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于图像处理的涝点检测方法,其特征在于,所述方法包括:
预先获取预设区域中的各涝点位置以及各所述涝点位置的特征参照物,并预先建立所述涝点位置与对应的所述特征参照物的映射模型,并根据所有所述特征参照物,建立特征参照物库;
获取用户上传的拍摄图片,识别所述拍摄图片中的目标参照物,并判断所述目标参照物是否存在于所述特征参照物库中;
若是,则将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像;
将所述涝点分割图像进行后处理,得到后处理图像,并判断所述后处理图像是否属于内涝类别;
若是,则发出内涝预警信息,所述内涝预警信息至少包括所述内涝类别和所述目标涝点位置。
2.根据权利要求1所述的基于图像处理的涝点检测方法,其特征在于,所述将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像的步骤之前包括:
获取历史涝点图像,并对所述历史涝点图像中的第一积水类区域、第二积水类区域和非积水区域进行标记和划分,得到训练集数据,其中,所述第一积水类区域的积水深度大于第一阈值且小于等于第二阈值,所述第二积水类区域的积水深度大于等于第二阈值;
将所述训练集数据输入到图像分割网络中进行训练,其中,训练过程为,将所述训练集数据输入主干网络,得到特征图;
将所述特征图依次输入位置网络和路径网络,得到对应的位置特征图和路径特征图,并将所述位置特征图和所述路径特征图融合,得到历史涝点分割图像,以完成所述图像处理模型的建立。
3.根据权利要求2所述的基于图像处理的涝点检测方法,其特征在于,所述位置网络可以表示为:
Figure 951682DEST_PATH_IMAGE001
其中,Sji表示第(j,i)个格点的预测概率图,Aj表示尺寸为C×H×W的第j行的特征图,Bi表示由Aj经过变换得到尺寸为N×C的第i列的特征图,Cj表示由Aj经过变换得到尺寸为C×N的第j行的特征图,Di表示由Aj经过变换得到尺寸为C×N的第i列的特征图,E表示位置特征图,α表示位置特征参数,C表示为特征图的路径数,H表示特征图的高度,W表示特征图的长度,N表示特征图中像素的总列数。
4.根据权利要求2所述的基于图像处理的涝点检测方法,其特征在于,所述路径网络可以表示为:
Figure 272942DEST_PATH_IMAGE002
其中,Xji表示第(j,i)个路径的权重值,Aj表示尺寸为C×H×W的第j行的特征图,Bi表示由Aj经过变换得到尺寸为N×C的第i列的特征图,Cj表示由Aj经过变换得到尺寸为C×N的第j行的特征图,Di表示由Aj经过变换得到尺寸为C×N的第i列的特征图,F表示路径特征图,β表示路径特征参数,C表示为特征图的路径数,H表示特征图的高度,W表示特征图的长度。
5.根据权利要求2所述的基于图像处理的涝点检测方法,其特征在于,所述将所述涝点分割图像进行后处理,得到后处理图像,并判断所述后处理图像是否属于内涝类别的步骤包括:
根据所述历史涝点分割图像,确定像素点区域阈值,并根据所述像素点区域阈值,将所述涝点分割图像中的干扰区域滤除,得到目标图像;
将所述目标图像进行数学形态学运算,得到边界清晰的后处理图像。
6.根据权利要求2所述的基于图像处理的涝点检测方法,其特征在于,所述获取用户上传的拍摄图片,识别所述拍摄图片中的目标参照物,并判断所述目标参照物是否存在于所述特征参照物库中的步骤之后包括:
当判断所述目标参照物存在于所述特征参照物库中时,获取所述拍摄图片的拍摄时间,以及所述拍摄时间的预设时间段内的气象数据,并根据所述气象数据,判断是否存在雨水天气;
若是,则执行所述将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像的步骤。
7.根据权利要求6所述的基于图像处理的涝点检测方法,其特征在于,所述当判断所述目标参照物存在于所述特征参照物库中时,获取所述拍摄图片的拍摄时间,以及所述拍摄时间的预设时间段内的气象数据,并根据所述气象数据,判断是否存在雨水天气的步骤包括:
获取所述拍摄时间和用户上传所述拍摄图片的上传时间,判断所述拍摄时间与所述上传时间的间隔时间是否超过预设时间;
若否,则获取所述拍摄时间的预设时间段内的气象数据,并根据所述气象数据,判断是否存在雨水天气。
8.一种基于图像处理的涝点检测***,其特征在于,所述***包括:
获取模块,用于预先获取预设区域中的各涝点位置以及各所述涝点位置的特征参照物,并预先建立所述涝点位置与对应的所述特征参照物的映射模型,并根据所有所述特征参照物,建立特征参照物库;
参照物判断模块,用于获取用户上传的拍摄图片,识别所述拍摄图片中的目标参照物,并判断所述目标参照物是否存在于所述特征参照物库中;
图像处理模块,用于当判断所述目标参照物存在于所述特征参照物库中时,则将所述目标参照物输入所述映射模型中,得到对应的目标涝点位置,并将所述拍摄图片输入图像处理模型,输出涝点分割图像;
内涝判断模块,用于将所述涝点分割图像进行后处理,得到后处理图像,并判断所述后处理图像是否属于内涝类别;
发送模块,用于当判断所述后处理图像属于内涝类别时,则发出内涝预警信息,所述内涝预警信息至少包括所述内涝类别和所述目标涝点位置。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一项所述的一种基于图像处理的涝点检测方法。
10.一种基于图像处理的涝点检测设备,其特征在于,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种基于图像处理的涝点检测方法。
CN202211299943.XA 2022-10-24 2022-10-24 基于图像处理的涝点检测方法、***、存储介质及设备 Pending CN115375683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211299943.XA CN115375683A (zh) 2022-10-24 2022-10-24 基于图像处理的涝点检测方法、***、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211299943.XA CN115375683A (zh) 2022-10-24 2022-10-24 基于图像处理的涝点检测方法、***、存储介质及设备

Publications (1)

Publication Number Publication Date
CN115375683A true CN115375683A (zh) 2022-11-22

Family

ID=84072881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211299943.XA Pending CN115375683A (zh) 2022-10-24 2022-10-24 基于图像处理的涝点检测方法、***、存储介质及设备

Country Status (1)

Country Link
CN (1) CN115375683A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345815A (zh) * 2013-06-08 2013-10-09 清华大学 城市暴雨洪水监测与交通控导***及方法
CN104281646A (zh) * 2014-08-28 2015-01-14 浙江大学 基于微博数据的城市内涝检测方法
CN109801327A (zh) * 2018-12-21 2019-05-24 杭州电子科技大学 一种基于视频数据的城市内涝积水深度信息提取方法
CN110501044A (zh) * 2019-08-20 2019-11-26 石家庄学院 一种城市内涝监控***及其监控方法
CN110893828A (zh) * 2018-09-13 2020-03-20 沈阳美行科技有限公司 一种路面积水预警方法及装置
CN111144254A (zh) * 2019-12-18 2020-05-12 江河瑞通(北京)技术有限公司 城市内涝积水程度识别方法及装置
CN111754564A (zh) * 2019-03-28 2020-10-09 杭州海康威视***技术有限公司 视频展示方法、装置、设备及存储介质
CN114119776A (zh) * 2022-01-26 2022-03-01 江西省大气探测技术中心 一种城市涝点管理方法、***、存储介质及设备
CN114220079A (zh) * 2021-12-22 2022-03-22 中国第一汽车股份有限公司 一种路面积水识别方法、装置、计算机设备和存储介质
CN114332487A (zh) * 2021-12-31 2022-04-12 北京精英路通科技有限公司 基于图像的积水预警方法、装置、设备、存储介质及产品
CN114663827A (zh) * 2022-02-28 2022-06-24 北京慧图科技(集团)股份有限公司 一种判断场景内涝积水深度的方法及***
CN114821340A (zh) * 2022-06-01 2022-07-29 河南大学 一种土地利用分类方法及***
CN114838784A (zh) * 2022-04-12 2022-08-02 中国市政工程华北设计研究总院有限公司 一种基于降雨积水情态分析的下凹桥水位监测预警***

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345815A (zh) * 2013-06-08 2013-10-09 清华大学 城市暴雨洪水监测与交通控导***及方法
CN104281646A (zh) * 2014-08-28 2015-01-14 浙江大学 基于微博数据的城市内涝检测方法
CN110893828A (zh) * 2018-09-13 2020-03-20 沈阳美行科技有限公司 一种路面积水预警方法及装置
CN109801327A (zh) * 2018-12-21 2019-05-24 杭州电子科技大学 一种基于视频数据的城市内涝积水深度信息提取方法
CN111754564A (zh) * 2019-03-28 2020-10-09 杭州海康威视***技术有限公司 视频展示方法、装置、设备及存储介质
CN110501044A (zh) * 2019-08-20 2019-11-26 石家庄学院 一种城市内涝监控***及其监控方法
CN111144254A (zh) * 2019-12-18 2020-05-12 江河瑞通(北京)技术有限公司 城市内涝积水程度识别方法及装置
CN114220079A (zh) * 2021-12-22 2022-03-22 中国第一汽车股份有限公司 一种路面积水识别方法、装置、计算机设备和存储介质
CN114332487A (zh) * 2021-12-31 2022-04-12 北京精英路通科技有限公司 基于图像的积水预警方法、装置、设备、存储介质及产品
CN114119776A (zh) * 2022-01-26 2022-03-01 江西省大气探测技术中心 一种城市涝点管理方法、***、存储介质及设备
CN114663827A (zh) * 2022-02-28 2022-06-24 北京慧图科技(集团)股份有限公司 一种判断场景内涝积水深度的方法及***
CN114838784A (zh) * 2022-04-12 2022-08-02 中国市政工程华北设计研究总院有限公司 一种基于降雨积水情态分析的下凹桥水位监测预警***
CN114821340A (zh) * 2022-06-01 2022-07-29 河南大学 一种土地利用分类方法及***

Similar Documents

Publication Publication Date Title
CN109033950B (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN110533950A (zh) 车位使用状况的检测方法、装置、电子设备及存储介质
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及***
CN112666553B (zh) 一种基于毫米波雷达的道路积水识别方法及设备
CN114332513B (zh) 一种面向智慧城市的新能源汽车异常停放大数据检测方法
CN113537105A (zh) 一种车位检测方法及装置
CN111723773B (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN113627299B (zh) 一种基于深度学习的导线漂浮物智能识别方法及装置
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
CN115497015A (zh) 一种基于卷积神经网络的河流漂浮污染物识别方法
CN110852236A (zh) 目标事件的确定方法及装置、存储介质、电子装置
CN113326783A (zh) 一种水利行业的边缘预警方法
CN115359392A (zh) 一种基于改进YOLOv5模型的路边施工行为检测方法
CN111239131A (zh) 一种ai智能水环保实时监测平台
CN111753610A (zh) 天气识别方法及装置
CN113963314A (zh) 降雨量监测方法、装置、计算机设备及存储介质
CN115375683A (zh) 基于图像处理的涝点检测方法、***、存储介质及设备
CN116311039A (zh) 一种城市降水量反演方法、装置、计算机设备及存储介质
CN116843946A (zh) 一种基于图像识别的隧道岩体主要结构面判识方法及装置
Ashqer et al. Parking lot space detection based on image processing
CN107886049B (zh) 一种基于摄像探头的能见度识别预警方法
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN113793069A (zh) 深度残差网络的城市内涝积水智能识别方法
CN115035591A (zh) 一种遛狗行为检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination