CN117708113B - 降水数据构建方法 - Google Patents
降水数据构建方法 Download PDFInfo
- Publication number
- CN117708113B CN117708113B CN202410166502.5A CN202410166502A CN117708113B CN 117708113 B CN117708113 B CN 117708113B CN 202410166502 A CN202410166502 A CN 202410166502A CN 117708113 B CN117708113 B CN 117708113B
- Authority
- CN
- China
- Prior art keywords
- precipitation
- data
- precipitation data
- basic
- screening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001556 precipitation Methods 0.000 title claims abstract description 800
- 238000010276 construction Methods 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 232
- 238000012216 screening Methods 0.000 claims abstract description 127
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000005259 measurement Methods 0.000 claims description 13
- 230000001186 cumulative effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 abstract description 14
- 238000001514 detection method Methods 0.000 abstract description 13
- 238000007689 inspection Methods 0.000 abstract description 6
- 238000003860 storage Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本公开提供了一种降水数据构建方法,涉及数据处理领域。该降水数据构建方法包括:根据全局降水监测区域中各监测站点的基础降水数据确定的筛选条件,初步筛选基础降水数据中的无效降水数据,当筛选后的基础降水数据与局部降水监测区域的参考降水数据之间的偏差较大,则更新筛选条件并对筛选后的基础降水数据中的无效降水数据进行多次筛选,最后通过遥感降水数据对筛选完成后的基础降水数据中的缺测数据进行填充,得到目标降水数据。本公开可以提高降水数据的完整性和准确性,且利用全局与局部监测降水区域的降水数据之间的偏差进行质检,检测难度低,并基于质检结果多次筛选无效降水数据,可以进一步提升降水数据的质量。
Description
技术领域
本公开涉及数据处理技术领域,具体而言,涉及一种降水数据构建方法。
背景技术
降水是全球大部分地区可利用水资源的主要来源,是几乎所有水文过程的关键补给,是决定植被生长和农业活动的主要影响因素,与人民生产生活和社会经济发展息息相关。同时,强降水也是造成洪涝、崩塌、滑坡、泥石流等自然灾害的主要因素之一,是防灾减灾工作中的关键预报和预警对象,近年来,全球变暖导致的极端降水显著增多。因此,对降水数据进行准确分析以应对极端天气具有重要意义,通过地面气象观测站的定时、定点长期观测是获得精确的降水数据的主要途径。
相关技术中,基于地面气象观测站确定的降水数据中存在大量的缺测和虚假数据,降水数据的完整性和准确性较差,并且对于覆盖面积较大的区域具有大量的降水数据,对整体区域对应的降水数据进行质量检测的难度较大,从而在一定程度上影响了降水数据的质量。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例的目的在于提供一种降水数据构建方法,进而至少在一定程度上解决降水数据的完整性和准确性较低的问题,以及因质检难度较大导致的降水数据质量较差的问题。
根据本公开实施例的一个方面,提供了一种降水数据构建方法,包括:
获取全局降水监测区域对应的历史降水数据,历史降水数据包括全局降水监测区域对应的基础降水数据和遥感降水数据以及局部降水监测区域对应的参考降水数据;
根据基础降水数据中各监测站点的降水数据确定筛选条件,并基于筛选条件对基础降水数据中的无效降水数据进行筛选,得到初步筛选后的基础降水数据;
确定初步筛选后的基础降水数据中局部降水监测区域对应的降水数据与参考降水数据之间的偏差数据;
若偏差数据大于或者等于预设的偏差阈值,则更新筛选条件,并根据更新后的筛选条件对基础降水数据中的无效降水数据进行二次筛选,直到偏差数据小于偏差阈值,得到筛选完成后的基础降水数据;
通过遥感降水数据对筛选完成后的基础降水数据中的缺测时段降水数据进行填充,得到目标降水数据。
本公开实施例提供的技术方案可以包括以下有益效果:
本公开的示例实施例中的降水数据构建方法,可以根据全局降水监测区域中各监测站点的基础降水数据确定的筛选条件,初步筛选基础降水数据中的无效降水数据,当筛选后的基础降水数据与局部降水监测区域的参考降水数据之间的偏差较大,则更新筛选条件并对筛选后的基础降水数据中的无效降水数据多次筛选,最后通过遥感降水数据对筛选完成后的基础降水数据中的缺测数据进行填充,得到目标降水数据。一方面,通过剔除基础降水数据中的无效降水数据,并通过参考降水数据对初步筛选后的基础降水数据进行质量监测,可以提高基础降水数据的准确性,并且通过遥感降水数据对筛选完成后的基础降水数据中的缺测时段的降水数据进行补充,可以提高基础降水数据的完整性,从而提高最终处理得到的目标降水数据的质量;另一方面,通过局部降水监测区域更加准确的参考降水数据对初步筛选后的基础降水数据进行质量检测,可以有效降低质量监测所需要的数据量,降低质量检测难度,并且在偏差较大时更新筛选条件,并通过更新后的筛选条件对基础降水数据进行多次筛选,可以进一步保证降水数据的准确性,以提升目标降水数据的质量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出了本公开实施例中的一种降水数据构建方法的流程图。
图2示意性示出了本公开实施例中根据当前监测站点对应的参考监测站点的降水数据筛选无效降水数据的流程图。
图3示意性示出了根据本公开实施例中基于更新后的筛选条件对初步筛选后的基础降水数据进行多次筛选的流程图。
图4示意性示出了本公开实施例中对被错误赋值为零的缺测数据进行填充的流程图。
图5示意性示出了根据本公开的一些实施例的电子设备的计算机***的结构示意图。
图6示意性示出了根据本公开的一些实施例的计算机可读存储介质的示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
图中附图标记如下:
500、电子设备;510、处理单元;520、存储单元;521、随机存取存储单元(RAM);522、高速缓存存储单元;523、只读存储单元(ROM);524、程序/实用工具;525、程序模块;
530、总线;540、显示单元;550、输入/输出(I/O)接口;560、网络适配器;570、外部设备;
600、程序产品。
具体实施方式
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在相关技术中,存在以下技术问题:
目前,地面气象观测站的定时、定点长期观测仍是获得精确的降水数据的主要途径,但是,降水观测过程中存在很多不确定因素影响了观测数据的质量,比如,雨量桶、翻斗式雨量计中可能存在石子、砂砾等杂物的影响,且全局降水监测区域的降水数据只经过快速质量控制,保留了很多可疑数据、未质控数据以及缺测数据,导致降水数据存在大量的缺测、虚假降水等问题,并且由于全局降水监测区域具有对应的大量的降水数据,质量检测的难度较大,从而在一定程度上影响了降水数据的质量。
基于相关技术中的一个或者多个问题,本公开实施例提出了一种降水数据构建方法,该方法可以由终端设备执行,也可以由服务器执行,下面以服务器执行为例,对降水数据构建方法进行说明。
图1示意性示出了本公开实施例中的一种降水数据构建方法的流程图。参考图1所示,该降水数据构建方法可以包括以下步骤:
步骤S110,获取全局降水监测区域对应的历史降水数据,历史降水数据包括全局降水监测区域对应的基础降水数据和遥感降水数据以及局部降水监测区域对应的参考降水数据;
步骤S120,根据基础降水数据中各监测站点的降水数据确定筛选条件,并基于筛选条件对基础降水数据中的无效降水数据进行筛选,得到初步筛选后的基础降水数据;
步骤S130,确定初步筛选后的基础降水数据中局部降水监测区域对应的降水数据与参考降水数据之间的偏差数据;
步骤S140,若偏差数据大于或者等于预设的偏差阈值,则更新筛选条件,并根据更新后的筛选条件对基础降水数据中的无效降水数据进行二次筛选,直到偏差数据小于偏差阈值,得到筛选完成后的基础降水数据;
步骤S150,通过遥感降水数据对筛选完成后的基础降水数据中的缺测时段降水数据进行填充,得到全局降水监测区域对应的目标降水数据。
根据本公开的降水数据构建方法,一方面,通过剔除基础降水数据中的无效降水数据,并通过参考降水数据对初步筛选后的基础降水数据进行质量监测,可以提高基础降水数据的准确性,并且通过遥感降水数据对筛选完成后的基础降水数据中的缺测时段的降水数据进行补充,可以提高基础降水数据的完整性,从而提高最终处理得到的目标降水数据的质量;另一方面,通过局部降水监测区域更加准确的参考降水数据对初步筛选后的基础降水数据进行质量检测,可以有效降低质量监测所需要的数据量,降低质量检测难度,并且在偏差较大时更新筛选条件,并通过更新后的筛选条件对基础降水数据进行多次筛选,可以进一步保证降水数据的准确性,以提升目标降水数据的质量。
下面,将对本示例实施例中的降水数据构建方法进行详细说明。
在步骤S110,获取全局降水监测区域对应的历史降水数据,历史降水数据包括全局降水监测区域对应的基础降水数据和遥感降水数据以及局部降水监测区域对应的参考降水数据。
在本公开的一示例实施例中,全局降水监测区域可以是覆盖大部分陆地和部分海岛的区域,也可以是覆盖某一地区对应的区域,局部降水监测区域可以是全局降水监测区域中对应的降水数据能够经过人工二次质检或其它质检手段提升数据质量的区域,本实施例对于全局降水监测区域和局部降水监测区域的选取不做特别限定。
基础降水数据是指能够覆盖全局降水监测区域但存在可疑数据、未质控数据以及缺测数据的降水数据,用于作为构建的降水数据的基础数据。基础降水数据可以通过全球地面国际交换站中有记录的所有的监测站点对应的降水数据确定,且基础降水数据可以包括多种时间分辨率的降水数据,如1,3,6,12,24小时分辨率的降水数据,相同或不同的监测站点对应的降水数据的时间分辨率可以相同,也可以不同,本实施例对于基础降水数据的确定方式以及各监测站点对应的降水数据的时间分辨率不做特别限定。
遥感降水数据是指能够覆盖全局降水监测区域且具有高观测精度的网格降水数据,用于填充基础降水数据中的缺测数据以及对基础降水数据表征的降水情况的准确性进行判断。遥感降水数据可以通过全局降水监测区域对应的卫星降水数据融合多卫星反演降水数据确定,且遥感降水数据的空间分辨率可以为0.1°,时间分辨率可以大于或等于基础降水数据的时间分辨率,如1小时分辨率,从而可以保证遥感降水数据对基础降水数据各时间尺度的缺测时段对应的降水数据进行填充,当然,也可以根据具体的情况将遥感降水数据插值为对应的时间尺度,本实施例对于遥感降水数据的确定方式以及对应的空间和时间分辨率的大小不做特别限定。
可选的,当监测站点对应的降水数据中含有缺测时段时,则可以利用距离最近的遥感数据网格点对应的降水数据对缺测时段的降水数据进行填充,从而在保障数据完整性的同时保证了填充的降水数据的准确性。
可选的,通过全球地面国际交换站获取的降水数据,以及通过卫星降水数据融合多卫星反演降水数据获取的降水数据之间存在不同的时间序列,因此可以提取全球地面国际交换站中与卫星降水数据融合多卫星反演降水数据相同时间序列对应的降水数据作为基础降水数据,并将通过卫星降水数据融合多卫星反演降水数据获取的降水数据作为遥感降水数据,从而可以利用相同时间序列的遥感降水数据判断基础降水数据中在某天的降水数据是否准确,且可以填充基础降水数据中的缺测时段对应的降水数据。
参考降水数据是指局部降水监测区域对应的经过人工二次核对的降水数据,用于验证填充后的基础降水数据中是否存在虚假降水。参考降水数据可以通过地面气候资料日值数据集确定,地面气候资料日值数据集基于雨量筒每日或每半日称重对应的降水量,从而使参考降水数据的确定可以不受信号强弱的影响,保障了参考降水数据的准确性;且参考降水数据经过了质量控制,并且进行了人工二次核对,数据的准确性较高,进一步保证了参考降水数据的准确性,从而可以保证对初步筛选后的基础降水数据进行质检时检测结果的准确性,本实施例对于参考降水数据的确定方式不做特别限定。
可选的,由于基础降水数据中存在多种时间分辨率的降水数据,对于不同的监测站点、不同时间上传的降水数据时间分辨率可能不同,且同一监测站点在同一天可能同时存在多种时间尺度的降水数据,各时间尺度的降水数据可能互相重合,导致当天的降水数据可能缺测某一时段,也可能全部缺测,因此可以通过整合各时间尺度的降水数据,然后基于整合得到的所有时间序列内的日累计降水量做进一步的分析,从而保障降水数据构建的时间一致性。
在步骤S120,根据基础降水数据中各监测站点的降水数据确定筛选条件,并基于筛选条件对基础降水数据中的无效降水数据进行筛选,得到初步筛选后的基础降水数据。
在本公开的一示例实施例中,无效降水数据是指影响基础降水数据准确性的降水数据,无效降水数据可以是基础降水数据中的虚假降水数据,也可以是监测站点对应的降水数据缺测时间较长时监测站点对应的所有时间序列的降水数据,当然,还可以是被错误赋值为零的缺测数据,本实施例对于无效降水数据的类型不做特别限定。
可以根据基础降水数据中各监测站点的降水数据确定筛选条件,如可以通过各监测站点对应的降水数据在所有的时间序列内的日累计降水量确定筛选条件,也可以通过各监测站点对应的降水数据在某一年基于日累计降水量确定的年累计降水量确定筛选条件,当然,还可以通过各监测站点对应的降水数据在所有的时间序列内,由日累计降水量确定的缺测时长在所有时间序列的占比确定筛选条件,本实施例对于筛选条件的确定方式不做特别限定。
可以基于筛选条件对基础降水数据中的无效降水数据进行筛选,从而可以剔除基础降水数据中的无效降水数据以及缺测数据较多的监测站点对应的所有时间序列的降水数据,以提高基础降水数据的准确性。
举例而言,当存在监测站点在某天对应的降水数据大于预设的降水量阈值时,则表示当天发生了强降水,而强降水具有一定的空间延续性,因此可以利用附近的监测站点对应的相同和相近日期的日累计降水量判断当前的监测站点对应的降水数据是否虚高;若当前的监测站点附近没有对应的监测站点,则可以对比同一监测站点对应的历史年的最大日累计降水量或年累计降水量,从而确定当前监测站点在当天的降水数据是否虚高,若判定为无效降水数据,则可以直接从基础降水数据中剔除当天对应的降水数据,从而提高基础降水数据的准确性。
可选的,可以统计各监测站点在所有时间序列内的日累计降水量,从而根据各监测站点对应的日累计降水量确定所有时间序列中各年份缺测的累计日期数,而当缺测的累计日期数较当前年份所有日期占比大于一定值时,则表明当前的监测站点在对应年份的数据存在过多缺测数据,若当前的监测站点在所有年份中存在过多缺测数据的年份占比超过一定阈值时,则去除当前的监测站点对应的所有时间序列的降水数据,从而保障基础降水数据的完整性,进一步的提高基础降水数据的准确性。
在步骤S130,确定初步筛选后的基础降水数据中局部降水监测区域对应的降水数据与参考降水数据之间的偏差数据。
在本公开的一示例实施例中,偏差数据是指基础降水数据中局部降水监测区域对应的降水数据与参考降水数据之间的偏差,用于对初步筛选后的基础降水数据进行质量评估,从而当质量评估的结果不满足对降水数据的质量要求时,则可以再次对基础降水数据中的无效降水数据进行筛选。偏差数据可以是局部降水监测区域中各监测站点对应的降水数据的年累计降水量与参考降水数据对应的年累计降水量之间的绝对或相对偏差,也可以是局部降水监测区域中各监测站点对应的降水数据的空间分布规律与参考降水数据对应的空间分布规律之间的偏差,本实施例对于偏差数据的类型不做特别限定。
可选的,通过确定初步筛选后的基础降水数据中局部降水监测区域对应的降水数据与参考降水数据之间的偏差数据,可以对初步筛选后的基础降水数据的质量进行评估,当偏差数据大于一定值时,则表明初步筛选后的基础降水数据中仍然存在虚假的降水数据,因此可以调整筛选条件再次对基础降水数据进行筛选,从而提高基础降水数据的准确性。
在步骤S140,若偏差数据大于或者等于预设的偏差阈值,则更新筛选条件,并根据更新后的筛选条件对基础降水数据中的无效降水数据进行二次筛选,直到偏差数据小于偏差阈值,得到筛选完成后的基础降水数据。
在本公开的一示例实施例中,偏差阈值是指判断是否更新筛选条件的判别标准,用于多次筛选基础降水数据中的无效降水数据,从而提高的基础降水数据的准确性。偏差阈值的设置可以根据偏差数据确定,如当局部降水监测区域中各监测站点对应的降水数据与参考降水数据之间的偏差数据较大时,则可以设置较大的偏差阈值,从而在保证去除无效降水数据的同时保留较多的降水数据,同样的,当偏差数据较小时,可以设置较小的偏差阈值,从而可以精确的去除基础降水数据中的无效降水数据,当然,还可以根据具体的情况设置合适的偏差阈值,本实施例对于偏差阈值的设置不做特别限定。
可选的,当基于局部降水监测区域确定的偏差数据大于或等于预设的偏差阈值时,更新的筛选条件可以对全局降水监测区域对应的基础降水数据中的无效降水数据进行筛选,从而可以提高全局降水监测区域对应的降水数据的准确性,并且可以逐日对筛选完成后留存的各监测站点对应的降水数据的缺测情况进行判断,从而补充缺测数据,进一步提高基础降水数据的完整性,以提高全局降水监测区域对应的降水数据的质量。
在步骤S150,通过遥感降水数据对筛选完成后的基础降水数据中的缺测时段降水数据进行填充,得到全局降水监测区域对应的目标降水数据。
在本公开的一示例实施例中,可以通过遥感降水数据对筛选完成后的基础降水数据中的缺测时段降水数据进行填充,举例而言,可以通过对筛选完成后的基础降水数据中各监测站点在所有时间序列内对应的降水数据的缺测时段进行判断,然后利用相同时段的遥感降水数据进行填充;也可以通过统计筛选完成后的基础降水数据中各监测站点的缺测数据的累计数从而判断被错误赋值为零的降水数据,然后利用对应的遥感降水数据进行填充,当然,还可以根据具体的情况选择合适时段的遥感降水数据填充基础降水数据,本实施例对于填充缺测时段降水数据的遥感降水数据的时段不做特别限定。
目标降水数据可以是能够覆盖全局降水监测区域且质量较高的降水数据,可以将目标降水数据作为数据基础对水文过程尤其极端降水发展过程等研究工作的开展,从而保障研究结果的准确性,以能够及时预防和应对极端降水造成的影响。
可选的,当通过遥感降水数据对筛选完成后的基础降水数据中的缺测时段降水数据进行填充时,可以标记填充在基础降水数据中的遥感降水数据,从而可以通过标记信息识别填充数据,使填充数据具有可追溯性,且通过标记信息可以区分填补的降水数据和基础降水数据,使得在对降水数据进行特定分析时,可以避免填充数据对结果产生的不必要的影响,此外,标记信息也可以作为评估填补数据质量的指标之一,通过监控填补数据的标记信息的情况判断填补过程中的误差大小,从而可以及时的进行修正和改进,进一步的提高通过填充后的基础降水数据的准确性。
在本公开的一示例实施例中,基础降水数据包括多个时间分辨率下的阶段降水数据,可以通过以下步骤实现步骤S120中筛选条件的确定:
可以合并不同时间分辨率下的阶段降水数据,得到各监测站点的日累计降水量;其中,阶段降水数据是指不同时间分辨率对应的降水数据,用于确定各监测站点在固定时间段对应的累计降水数据。阶段降水数据对应的时间尺度和基础降水数据的时间分辨率有关,举例而言,对于时间分辨率为3小时的基础降水数据,对应的阶段降水数据为前3小时,前6小时,前9小时,前12小时,前15小时,前18小时,前21小时,前24小时对应的累计降水数据,本实施例对于阶段降水数据的时间尺度不做特别限定。
可选的,通过合并不同时间分辨率下的阶段降水数据,得到各监测站点的日累计降水量,可以确保各监测站点对应的降水数据的完整性,基于完整性较高的日累计降水量确定筛选条件可以准确的筛选基础降水数据中的虚假强降水以及基础降水数据中缺测时间过长的降水数据,从而可以准确的剔除筛选出的无效降水数据,以保证筛选后的基础降水数据的准确性。
可以根据各监测站点对应的参考监测站点的日累计降水量筛选基础降水数据中的无效降水数据,举例而言,当存在监测站点在N年第i天的日累计降水量超过一定阈值时,且在距离当前监测站点一定范围内存在参考监测站点,则可以对比参考监测站点在第i-1天,第i天以及第i+1天对应的日累计降水量,并设置一定的降水量差值,从而筛选各监测站点对应的降水数据中的无效降水数据。
可选的,可以根据各监测站点在不同时间段对应的日累计降水量筛选基础降水数据中的无效降水数据,举例而言,当存在监测站点在N年第i天的日累计降水量超过一定阈值时,可以对比当前监测站点在不同年份,如N-1年对应的最大的日累计降水量,或基于日累计降水量确定的第N-1年的年累计降水量,并设置一定的数据阈值,从而筛选各监测站点对应的降水数据中的无效降水数据。
可选的,可以根据各监测站点的日累计降水量确定的无效降水年份的数量筛选基础降水数据中的无效降水数据,举例而言,可以统计各监测站点在所有时间序列对应的所有日期的日累计降水量,当基于日累计降水量确定第i个监测站点在N年的缺测日累计大于一定值,则第i个监测站点在N年为无效降水年份,且当第i个监测站点在所有时间序列中被视为无效降水年份的数量大于一定值,则将第i个监测站点在所有时间序列对应的降水数据均视为无效降水数据。
在本公开的一示例实施例中,可以通过以下步骤实现各监测站点对应的日累计降水量的确定:
可以根据各时间分辨率对应的数据量确定目标时间分辨率;检测目标时间分辨率对应的降水数据的缺测时段,当确定缺测时段的数量大于或者等于预设缺测时段数量阈值时,则基于目标时间分辨率对应的降水数据合并剩余其它的时间分辨率对应的降水数据,以得到各监测站点对应的日累计降水量。
其中,目标时间分辨率是指基础降水数据中数据量最多的降水数据对应的时间尺度,用于确定整合各阶段降水数据的基础数据,从而快速整合各时间分辨率对应的阶段降水数据,得到日累计降水量。目标时间分辨率的确定与各监测站点对应的降水数据的时间分辨率相关,举例而言,基础降水数据中各监测站点中多数监测站点对应的降水数据的时间分辨率为3小时,则可以将3作为目标时间分辨率,当然,也可以根据具体的情况选择合适时间尺度的目标时间分辨率,本实施例对于目标时间分辨率的大小不做特别限定。
示例性的,以目标时间分辨率为3小时为例对基于目标时间分辨率对应的降水数据合并剩余其它的时间分辨率对应的降水数据,得到各监测站点对应的日累计降水数据进行详细说明,当基础降水数据存在1小时,3小时,6小时,12小时,24小时的阶段降水数据,且各监测站点对应的3小时分辨率对应的降水数据量最多,1小时分辨率对应的降水数据最少,则首先统计所有时间序列中第i天各监测站点对应的3小时分辨率的阶段降水数据是否存在缺测时段,即第i天8个时段的阶段降水数据是否完整,若在缺测时次且缺测时段大于缺测时段数量阈值,如3,则判断6小时分辨率的阶段降水数据是否完整,若存在缺测时段且不能包括3小时分辨率对应的阶段降水数据中的缺测时段,则依次判断12小时和24小时分辨率对应的阶段降水数据是否完整,若存在均不能包括缺测时段的情况,则可以利用最少的1小时分辨率对应的阶段降水数据进行补充,从而尽可能的通过整合各时间分辨率的阶段降水数据,完整覆盖所有时间序列中的所有天数对应的所有时段的阶段降水数据,以得到各监测站点对应的日累计降水量,从而对基础降水数据做进一步的处理。
在本公开的一示例实施例中,可以通过以下步骤实现步骤S120中无效降水数据的初步筛选:
步骤S210,当检测到任一当前监测站点在当前日期的日累计降水量大于或者等于预设日累计降水量时,计算当前监测站点与其它的监测站点之间的直线距离,并根据各直线距离以及预设的选择距离选取多个参考监测站点;
步骤S220,获取参考监测站点在当前日期和与当前日期对应的前后各一天的参考日累计降水量;
步骤S230,若参考日累计降水量与当前监测站点在当前日期的日累计降水量之间的差值大于或等于预设降水量差值时,则将当前监测站点在当前日期的日累计降水量确定为无效降水数据。
其中,参考监测站点是指与对应的监测站点之间的直线距离较短的监测站点,用于判断各监测站点在所有时间序列内对应的降水数据中是否存在无效降水数据,从而将无效降水数据剔除,以提高基础降水数据的准确性。可以通过设置筛选距离确定各监测站点对应的多个参考监测站点,举例而言,当筛选距离为200km时,则可以在与当前监测站点距离小于200km内的所有监测站点中选取多个,如4个参考监测站点,当然,也可以根据具体的情况设置合适的筛选距离以及选取合适个数个参考监测站点,本实施例对于参考监测站点的个数以及筛选距离的大小不做特别限定。
示例性的,以预设日累计降水量为50mm进行详细说明,当第i个监测站点在第i天对应的日累计降水量大于50mm时,则表明在第i天发生了强降水或第i天的降水数据为无效降水数据,则可以获取对应的多个参考监测站点在第i-1天,第i天,第i+1天对应的参考日累计降水量,从而利用强将水的空间延续性对第i个监测站点在第i天对应的日累计降水量是否为无效降水数据进行判断。
可选的,当第i个监测站点在第i天对应的日累计降水量大于50mm,且与对应的各参考监测站点在第i-1天,第i天,第i+1天对应的参考日累计降水量之间的差值大于或等于预设降水量差值,则表明第i个监测站点在第i天对应的降水数据为无效降水数据,从而可以依次对所有时间序列中的所有日期各监测站点对应的降水数据中的无效降水数据进行筛选;可选的,预设降水量差值可以是根据各监测站点对应的日累计降水量确定的,如可以是各监测站点对应的日累计降水量的十分之九,本实施例对于判断无效降水数据的降水量差值的大小不做特别限定。
在本公开的一示例实施例中,可以通过以下步骤实现步骤S120中无效降水数据的初步筛选:
若当前监测站点在当前日期的日累计降水量大于预设日累计降水量,则获取当前监测站点对应的历史年累计降水量以及历史日累计降水量中降水量满足预设降水量筛选条件的历史参考日累计降水量;若当前日期的日累计降水量大于历史年累计降水量,或者当前日期的日累计降水量大于历史参考日累计降水量的预设倍数,则将当前监测站点在当前日期的日累计降水量确定为无效降水数据。
可选的,当存在监测站点在N年第i天对应的日累计降水量大于预设的日累计降水量时,历史参考日累计降水量可以是在N-1年中降水量最大的日期对应的日累计降水量,历史年累计降水量可以是N-1年对应的所有日期的日累计降水量的和,本实施例对于历史参考日降水量以及历史年累计降水量对应的年份不做特别限定。
示例性的,以预设筛选距离为200km,预设日累计降水量为50mm,预设倍数为2为例进行详细说明,当第i个监测站点在N年第i天对应的日累计降水量大于50mm,且在距离第i个监测站点200km内不存在其它的监测站点,则获取第i个监测站点在N-1年的历史年累计降水量以及在N-1年中历史参考日累计降水量,若第i个监测站点在N年第i天对应的日累计降水量大于第i个监测站点在N-1年的历史年累计降水量,且大于N-1年中最大的日累计降水量的2倍,则可以判定第i个监测站点在N年第i天对应的降水数据为无效降水数据,并依次对所有时间序列中的所有日期各监测站点对应的降水数据中的无效降水数据进行筛选,本实施例度对于预设筛选距离的值,预设日累计降水量的值,预设倍数不做特别限定。
在本公开的一示例实施例中,可以通过以下步骤实现步骤S120中无效降水数据的初步筛选:
可以根据各监测站点的日累计降水量确定各监测站点对应的缺测时长,并计算监测站点每年的各日累计降水量之间的年降水标准差;通过缺测时长和年降水标准筛选无效降水年份;当确定任一监测站点中无效降水年份的数量大于或等于预设数量阈值,则将监测站点对应的所有降水数据确定为无效降水数据。
其中,无效降水年份可以是监测站点对应的降水数据中缺测时长较长的年份,可以通过缺测时长和年降水标准筛选无效降水年份,举例而言,当统计的各监测站点在N年对应的缺测时长累计大于N年总天数的一半,或各监测站点N年对应的各日累计降水量之间的年降水标准差等于零,即存在N年对应的降水数据全为0或1的极端情况,则N年为当前监测站点的无效降水年份。
数量阈值是指用于判断是否剔除监测站点在所有时间序列内对应的降水数据的标准,数量阈值的设置与基础降水数据的所有时间序列对应的年份总数有关,如数量阈值可以设置为年份总数的一半,当存在监测站点在所有时间序列中对应的无效降水年份大于年份总数的一半时,则将当前的监测站点对应的所有时间序列的降水数据剔除,本实施例对于数量阈值的确定不做特别限定。
可选的,当基础降水数据中的所有时间序列的年份数为14年时,若第i个检测站点对应的无效降水年份的数量大于或等于7,则将第i个监测站点对应的所有降水数据视为无效降水数据。
在本公开的一示例实施例中,可以通过以下步骤实现步骤S140中对初步筛选后的基础降水数据中的无效降水数据的多次筛选:
步骤S310,当监测站点的基础降水数据对应的日累计降水量大于预设强降水的判定阈值,且与监测站点对应的其它年的日累计降水量之间的差值满足预设的虚假数据判定条件,则确定监测站点对应的降水数据为无效降水数据;
举例而言,当第i个监测站点在N年第i天的日累计降水量大于预设强降水的判定阈值,如100mm,并且与第i个监测站点在所有时间序列中除N年外的日累计降水量之间的差值满足预设的虚假数据判定条件,如大于所有时间序列中除N年外的日累计降水量的3倍,则将第i个监测站点在N年第i天对应的降水数据作为无效降水数据,本实施例对于强降水的判定阈值的设置以及虚假数据判定条件的设置不做特别限定。
步骤S320,当监测站点的基础降水数据对应的日累计降水量大于预设降水阈值,且与监测站点对应的除当前日外的所有时段的日累计降水量之间的差值满足预设的待核准数据判定条件,则对当前日对应的基础降水数据进行人工复核;
示例性的,当第i个监测站点在N年第i天的日累计降水量大于预设降水阈值,如大于50mm,且与N年中除了第i天剩余日期对应的日累计降水量最大值之间的差值满足预设的待核准数据判定条件,如大于剩余日期对应的日累计降水量最大值的3倍,则第i个监测站点在N年第i天对应的降水数据可能存在无效降水数据,因此需要通过人工复核,从而确定无效降水数据筛选的准确性。
步骤S330,当通过更新后的筛选条件确定监测站点对应的降水数据至少连续两年存在无效降水数据,则根据更新后的筛选条件对监测站点对应的降水数据中的无效降水数据进行多次筛选,直到偏差数据小于偏差阈值,以得到筛选完成后的基础降水数据。
示例性的,当第i个监测站点在所有的时间序列内存在至少连续两年,如2-3个连续年对应的降水数据含有无效降水数据,则表示填充后的基础降水数据中仍存在虚假数据,因此可以利用更新后的筛选条件,重复筛选无效降水数据的操作,从而得到准确性较高的基础降水数据。
在本公开的一示例实施例中,可以通过以下步骤实现步骤S150中缺测时段降水数据的填充:
可以对各监测站点逐日进行判断是否存在缺测时段;若任一监测站点存在缺测时段,则确定与当前监测站点之间的距离满足预设距离条件的遥感数据网格点,并获取遥感数据网格点对应的降水数据;利用降水数据中与缺测时段属于相同时段的降水数据填充当前监测站点缺测时段对应的降水数据,得到目标降水数据。
其中,遥感数据网格点是指与存在缺测时段的监测站点满足预设距离条件,即距离最近的网格点,遥感数据网格点对应的降水数据可以是某一时段的降水数据,也可以是某一天的降水数据,本实施例对于遥感数据网格点对应的降水数据的种类不做特别限定。
举例而言,当筛选后的基础降水数据中存在第i个监测站点,且第i个监测站点对应的降水数据存在缺测时段时,则利用距离第i个监测站点最近的遥感数据网格点对应的相同时段或相同日的降水数据对缺测时段降水数据进行填充,并且可以对填充的数据进行标记,从而可以得到带有标记信息目标降水数据,以做进一步的数据分析。
在本公开的一示例实施例中,可以通过以下步骤实现步骤S150中缺测时段降水数据的填充:
步骤S410,统计筛选完成后的基础降水数据中的年降水日数以及对应的遥感降水数据中的年参考降水日数;
步骤S420,当年降水日数与年参考降水日数之间的差值满足预设缺测数据判定条件时,则统计筛选完成后的基础降水数据为零的日期,并确定各日期对应的遥感降水数据是否大于零;
步骤S430,若遥感降水数据大于零,则利用对应的遥感降水数据填充基础降水数据为零的日期对应的降水数据,得到目标降水数据。
其中,年降水日数可以是基础降水数据中对应的日累计降水量不为零的累计天数,年参考降水日数可以是遥感降水数据中对应的日累计降水量不为零的累计天数,从而通过年降水日数和年参考降水日数之间的差值确定基础降水数据中是否存在被错误赋值为零的降水数据。
举例而言,当年降水日数与年参考降水日数之间的差值满足预设缺测数据判定条件时,如N年的年降水日数小于年参考降水日数的0.3倍,则表明基础降水数据中存在长时间的缺测数据,且对应的缺测数据被错误的赋值为零,因此可以统计筛选完成后的基础降水数据对应的日累计降水量为零的日期,并利用相同日的遥感降水数据对当天的降水情况进行确定,如当第i天的基础降水数据为零,而对应的遥感降水数据不为零,则表示第i天发生了降水,且对应的基础降水数据缺测并被错误的赋值为零,则可以利用第i天的遥感降水数据再次对基础降水数据中的缺测数据进行填充,从而进一步的保障了筛选完成后的基础降水数据的准确性和完整性,得到质量较高,且能够覆盖全局降水监测区域的目标降水数据。
在本公开的一示例实施例中,可以通过以下步骤实现对筛选完成后的降水数据的标记:
可以在通过遥感降水数据对筛选完成后的基础降水数据中的缺测时段降水数据进行填充时,通过标签标记填充的降水数据,以通过标签确定目标降水数据中的填充数据。
通过标签标记填充的降水数据,可以通过简单的方式使填充数据具有可追溯性,且通过标签信息对目标降水数据进行分类,可以避免填充数据对特定的研究的结果产生的不必要的影响,从而可以提高构建的准确性较高的目标降水数据的可信度和可用度。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述降水数据构建方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为装置、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施例、完全的软件实施例(包括固件、微代码等),或硬件和软件方面结合的实施例,这里可以统称为“电路”、“模块”或“***”。
下面参照图5来描述根据本公开的这种实施例的电子设备500。图5所示的电子设备500仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于:上述至少一个处理单元510、上述至少一个存储单元520、连接不同***组件(包括存储单元520和处理单元510)的总线530、显示单元540。
其中,存储单元存储有程序代码,程序代码可以被处理单元510执行,使得处理单元510执行本公开上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。例如,处理单元510可以执行如图1中所示的步骤S110,获取全局降水监测区域对应的历史降水数据,历史降水数据包括全局降水监测区域对应的基础降水数据和遥感降水数据以及局部降水监测区域对应的参考降水数据;步骤S120,根据基础降水数据中各监测站点的降水数据确定筛选条件,并基于筛选条件对基础降水数据中的无效降水数据进行筛选,得到初步筛选后的基础降水数据;步骤S130,确定初步筛选后的基础降水数据中局部降水监测区域对应的降水数据与参考降水数据之间的偏差数据;步骤S140,若偏差数据大于或者等于预设的偏差阈值,则更新筛选条件,并根据更新后的筛选条件对基础降水数据中的无效降水数据进行二次筛选,直到偏差数据小于偏差阈值,得到筛选完成后的基础降水数据;步骤S150,通过遥感降水数据对筛选完成后的基础降水数据中的缺测时段降水数据进行填充,得到全局降水监测区域对应的目标降水数据。
存储单元520可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)521和/或高速缓存存储单元522,还可以进一步包括只读存储单元(ROM)523。
存储单元520还可以包括具有一组(至少一个)程序模块525的程序/实用工具524,这样的程序模块525包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备570(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备500交互的设备通信,和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且,电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器560通过总线530与电子设备500的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备500使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本公开上述方法的程序产品。在一些可能的实施例中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本公开上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
参考图6所示,描述了根据本公开的实施例的用于实现降水数据构建方法的程序产品600,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施例的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (6)
1.一种降水数据构建方法,其特征在于,包括:
获取全局降水监测区域对应的历史降水数据,所述历史降水数据包括所述全局降水监测区域对应的基础降水数据和遥感降水数据以及局部降水监测区域对应的参考降水数据;
根据所述基础降水数据中各监测站点的降水数据确定筛选条件,并基于所述筛选条件对所述基础降水数据中的无效降水数据进行筛选,得到初步筛选后的基础降水数据;
确定初步筛选后的所述基础降水数据中所述局部降水监测区域对应的降水数据与所述参考降水数据之间的偏差数据;
若所述偏差数据大于或者等于预设的偏差阈值,则更新所述筛选条件,并根据更新后的筛选条件对所述基础降水数据中的无效降水数据进行二次筛选,直到所述偏差数据小于所述偏差阈值,得到筛选完成后的所述基础降水数据;
通过所述遥感降水数据对所述筛选完成后的基础降水数据中的缺测时段降水数据进行填充,得到所述全局降水监测区域对应的目标降水数据;
其中,所述基础降水数据包括多个时间分辨率下的阶段降水数据,所述根据所述基础降水数据中各监测站点的降水数据确定筛选条件,包括:
合并不同时间分辨率下的所述阶段降水数据,得到各所述监测站点的日累计降水量;
根据所述日累计降水量确定筛选条件;
其中,所述筛选条件包括:
根据各所述监测站点对应的参考监测站点的日累计降水量筛选所述基础降水数据中的无效降水数据;
根据各所述监测站点在不同时间段对应的日累计降水量筛选所述基础降水数据中的无效降水数据;
根据各所述监测站点的日累计降水量确定的无效降水年份的数量筛选所述基础降水数据中的无效降水数据;
所述基于所述筛选条件对所述基础降水数据中的无效降水数据进行筛选,得到初步筛选后的基础降水数据,包括:
当检测到任一当前监测站点在当前日期的日累计降水量大于或者等于预设日累计降水量时,计算所述当前监测站点与其它的监测站点之间的直线距离,并根据各所述直线距离以及预设的选择距离选取多个参考监测站点;
获取所述参考监测站点在所述当前日期和与所述当前日期对应的前后各一天的参考日累计降水量;
若所述参考日累计降水量与所述当前监测站点在所述当前日期的日累计降水量之间的差值大于或等于预设降水量差值时,则将所述当前监测站点在所述当前日期的日累计降水量确定为无效降水数据;
所述基于所述筛选条件对所述基础降水数据中的无效降水数据进行筛选,得到初步筛选后的基础降水数据,还包括:
若所述当前监测站点在当前日期的日累计降水量大于所述预设日累计降水量,则获取所述当前监测站点对应的历史年累计降水量以及历史日累计降水量中降水量满足预设降水量筛选条件的历史参考日累计降水量;
若所述当前日期的日累计降水量大于所述历史年累计降水量,或者所述当前日期的日累计降水量大于所述历史参考日累计降水量的预设倍数,则将所述当前监测站点在所述当前日期的日累计降水量确定为无效降水数据;
所述基于所述筛选条件对所述基础降水数据中的无效降水数据进行筛选,得到初步筛选后的基础降水数据,包括:
根据各所述监测站点的日累计降水量确定各所述监测站点对应的缺测时长,
并计算所述监测站点每年的各日累计降水量之间的年降水标准差;
通过所述缺测时长和所述年降水标准差筛选无效降水年份;
当确定任一监测站点中所述无效降水年份的数量大于或等于预设数量阈值,则将所述监测站点对应的所有降水数据确定为无效降水数据。
2.根据权利要求1所述的降水数据构建方法,其特征在于,所述合并不同时间分辨率下的所述阶段降水数据,得到各所述监测站点的日累计降水量,包括:
根据各所述时间分辨率对应的数据量确定目标时间分辨率;
检测所述目标时间分辨率对应的降水数据的缺测时段,当确定所述缺测时段的数量大于或者等于预设缺测时段数量阈值时,则基于所述目标时间分辨率对应的降水数据合并剩余其它的时间分辨率对应的降水数据,以得到各所述监测站点对应的所述日累计降水量。
3.根据权利要求1所述的降水数据构建方法,其特征在于,所述根据更新后的筛选条件对所述基础降水数据中的无效降水数据进行二次筛选,包括:
当所述监测站点的所述基础降水数据对应的日累计降水量大于预设强降水的判定阈值,且与所述监测站点对应的其它年的日累计降水量之间的差值满足预设的虚假数据判定条件,则确定所述监测站点对应的降水数据为无效降水数据;
当所述监测站点的所述基础降水数据对应的日累计降水量大于预设降水阈值,且与所述监测站点对应的除当前日外的所有时段的日累计降水量之间的差值满足预设的待核准数据判定条件,则对当前日对应的所述基础降水数据进行人工复核;
当通过更新后的所述筛选条件确定所述监测站点对应的降水数据至少连续两年存在所述无效降水数据,则根据更新后的所述筛选条件对所述监测站点对应的降水数据中的无效降水数据进行多次筛选,直到所述偏差数据小于所述偏差阈值,以得到筛选完成后的所述基础降水数据。
4.根据权利要求1所述的降水数据构建方法,其特征在于,所述通过所述遥感降水数据对所述筛选完成后的基础降水数据中的缺测时段降水数据进行填充,包括:
对各所述监测站点逐日进行判断是否存在缺测时段;
若任一监测站点存在缺测时段,则确定与当前监测站点之间的距离满足预设距离条件的遥感数据网格点,并获取所述遥感数据网格点对应的降水数据;
利用所述降水数据中与所述缺测时段属于相同时段的降水数据填充所述当前监测站点缺测时段对应的降水数据,得到所述目标降水数据。
5.根据权利要求4所述的降水数据构建方法,其特征在于,所述通过所述遥感降水数据对所述筛选完成后的基础降水数据中的缺测时段降水数据进行填充,包括:
统计所述筛选完成后的基础降水数据中的年降水日数以及对应的所述遥感降水数据中的年参考降水日数;
当所述年降水日数与所述年参考降水日数之间的差值满足预设缺测数据判定条件时,则统计筛选完成后的所述基础降水数据为零的日期,并确定各所述日期对应的遥感降水数据是否大于零;
若所述遥感降水数据大于零,则利用对应的所述遥感降水数据填充所述基础降水数据为零的日期对应的降水数据,得到所述目标降水数据。
6.根据权利要求1所述的降水数据构建方法,其特征在于,所述通过所述遥感降水数据对所述筛选完成后的基础降水数据中的缺测时段降水数据进行填充,还包括:
在通过所述遥感降水数据对所述筛选完成后的基础降水数据中的缺测时段降水数据进行填充时,通过标签标记填充的降水数据,以通过所述标签确定所述目标降水数据中的填充数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410166502.5A CN117708113B (zh) | 2024-02-06 | 2024-02-06 | 降水数据构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410166502.5A CN117708113B (zh) | 2024-02-06 | 2024-02-06 | 降水数据构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117708113A CN117708113A (zh) | 2024-03-15 |
CN117708113B true CN117708113B (zh) | 2024-05-17 |
Family
ID=90162875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410166502.5A Active CN117708113B (zh) | 2024-02-06 | 2024-02-06 | 降水数据构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117708113B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170134830A (ko) * | 2016-05-26 | 2017-12-07 | 경상대학교산학협력단 | 혼합분포형을 이용한 지구 기후 모델의 극치 강수자료의 오차 보정방법 |
CN110118982A (zh) * | 2019-04-12 | 2019-08-13 | 大连理工大学 | 一种基于空间优化插值的卫星降水数据校正方法 |
CN113205155A (zh) * | 2021-05-27 | 2021-08-03 | 中国水利水电科学研究院 | 一种基于分区自适应权重的多源降水数据融合方法 |
CN113516406A (zh) * | 2021-07-30 | 2021-10-19 | 中国气象局气象探测中心 | 一种基于实时观测分析的高铁沿线降水测点布置方法 |
CN114114198A (zh) * | 2022-01-27 | 2022-03-01 | 江西省气象信息中心(江西省气象培训中心、江西省农村经济信息中心) | 一种降水数据质控方法、装置、存储介质及设备 |
CN114118640A (zh) * | 2022-01-29 | 2022-03-01 | 中国长江三峡集团有限公司 | 长期降水预测模型构建方法、长期降水预测方法及装置 |
CN116070792A (zh) * | 2023-03-28 | 2023-05-05 | 中国科学院地理科学与资源研究所 | 一种多源降水数据的融合方法、装置、存储介质和设备 |
CN116822185A (zh) * | 2023-06-20 | 2023-09-29 | 河南科技大学 | 基于hasm的日降水数据空间模拟方法和*** |
CN116910041A (zh) * | 2023-06-21 | 2023-10-20 | 中国水利水电科学研究院 | 一种基于尺度分析的遥感降水产品的逐日订正方法 |
CN117290675A (zh) * | 2023-11-27 | 2023-12-26 | 中国电建集团西北勘测设计研究院有限公司 | 降水数据处理方法、装置、存储介质及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3652636A4 (en) * | 2017-07-11 | 2021-04-07 | The Trustees of Princeton University | SYSTEM AND METHOD FOR CARRYING OUT AN ACCURATE HYDROLOGICAL DETERMINATION USING DIFFERENT WEATHER DATA SOURCES |
-
2024
- 2024-02-06 CN CN202410166502.5A patent/CN117708113B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170134830A (ko) * | 2016-05-26 | 2017-12-07 | 경상대학교산학협력단 | 혼합분포형을 이용한 지구 기후 모델의 극치 강수자료의 오차 보정방법 |
CN110118982A (zh) * | 2019-04-12 | 2019-08-13 | 大连理工大学 | 一种基于空间优化插值的卫星降水数据校正方法 |
CN113205155A (zh) * | 2021-05-27 | 2021-08-03 | 中国水利水电科学研究院 | 一种基于分区自适应权重的多源降水数据融合方法 |
CN113516406A (zh) * | 2021-07-30 | 2021-10-19 | 中国气象局气象探测中心 | 一种基于实时观测分析的高铁沿线降水测点布置方法 |
CN114114198A (zh) * | 2022-01-27 | 2022-03-01 | 江西省气象信息中心(江西省气象培训中心、江西省农村经济信息中心) | 一种降水数据质控方法、装置、存储介质及设备 |
CN114118640A (zh) * | 2022-01-29 | 2022-03-01 | 中国长江三峡集团有限公司 | 长期降水预测模型构建方法、长期降水预测方法及装置 |
CN116070792A (zh) * | 2023-03-28 | 2023-05-05 | 中国科学院地理科学与资源研究所 | 一种多源降水数据的融合方法、装置、存储介质和设备 |
CN116822185A (zh) * | 2023-06-20 | 2023-09-29 | 河南科技大学 | 基于hasm的日降水数据空间模拟方法和*** |
CN116910041A (zh) * | 2023-06-21 | 2023-10-20 | 中国水利水电科学研究院 | 一种基于尺度分析的遥感降水产品的逐日订正方法 |
CN117290675A (zh) * | 2023-11-27 | 2023-12-26 | 中国电建集团西北勘测设计研究院有限公司 | 降水数据处理方法、装置、存储介质及电子设备 |
Non-Patent Citations (4)
Title |
---|
Correction of real-time satellite precipitation with multi-sensor satellite observations of land surface variables;Wanders, N.;《REMOTE SENSING OF ENVIRONMENT》;20150415;第160卷;全文 * |
全球地面气温和降水定时值数据整合与初步质量控制;于杨;朱晨;赵琦;徐文慧;杨溯;江慧;李庆祥;沈秋宇;;气象与环境学报;20161215(第06期);全文 * |
基于不适定反问题求解的降水图像降尺度研究;王根;盛绍学;黄勇;吴蓉;刘惠兰;;地球科学进展;20171010(第10期);全文 * |
遥感数据驱动的降水量高精度评价方法;董甲平;《中国优秀硕士学位论文全文数据库(基础科学辑)》;20240115(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117708113A (zh) | 2024-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110306605B (zh) | 一种用于基坑工程自动化监测的预警*** | |
CN112200358B (zh) | 一种滑坡等级预测方法、装置、设备和存储介质 | |
Basaglia et al. | Performance-based seismic risk assessment of urban systems | |
CN113051519B (zh) | 一种基于地球物理的地面沉降预警监测*** | |
CN110310021B (zh) | 一种用于基坑监测预警的场地环境与监测点匹配*** | |
CN112308292A (zh) | 一种火灾风险等级分布图的绘制方法 | |
CN109933637B (zh) | 一种洪水风险动态展示及分析*** | |
CN116050624B (zh) | 一种公路道路施工综合监测方法及*** | |
CN116822185B (zh) | 基于hasm的日降水数据空间模拟方法和*** | |
CN117290675B (zh) | 降水数据处理方法、装置、存储介质及电子设备 | |
CN113780719A (zh) | 一种矿山地质环境综合评价方法 | |
JP2020134300A (ja) | 予測方法、予測プログラム及び情報処理装置 | |
CN117217380A (zh) | 停车场空余停车位预测方法、装置、电子设备及存储介质 | |
CN114413834A (zh) | 一种基于北斗/gps定位***的高精度沉降监测方法 | |
CN117708113B (zh) | 降水数据构建方法 | |
JP2022172962A (ja) | 土砂災害予測方法及び土砂災害予測装置 | |
CN112016744B (zh) | 一种基于土壤水分的森林火灾预测方法、装置及存储介质 | |
CN116151482B (zh) | 一种露天矿区的开采土方量预测方法、装置、设备及介质 | |
CN116090674A (zh) | 草地退化早期预警方法、装置及*** | |
CN116151437A (zh) | 一种浅层崩塌灾害预警模型建立方法、装置、设备及介质 | |
CN112561171B (zh) | 一种滑坡的预测方法、装置、设备及存储介质 | |
CN116546171B (zh) | 一种监控设备数据采集方法 | |
CN117227551B (zh) | 新能源设备安全监控方法、装置、设备及可读存储介质 | |
Bitew et al. | Curating 62 years of Walnut Gulch Experimental Watershed dataset: Improving QAQC methods of rainfall and runoff measurements. | |
Chakrapani Lekha | Developing a regional scale landslide early warning system in a data-sparse region using remote sensing, geostatistics, and Google Earth Engine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |