CN110019595B - 一种多源气象数据集成方法及*** - Google Patents

Abstract

本发明涉及一种多源气象数据集成方法及***，包括：采集天气气象数据和电力气象数据形成原始数据；将原始数据格式统一为预设的标准格式；将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集。上述方案用于提高数值天气预报精度，实现电力行业定制化数值模式的建立与应用。

Description

一种多源气象数据集成方法及***

技术领域

本发明属于新能源发电领域，具体涉及一种多源气象数据集成方法及***。

背景技术

目前所有并网新能源场站及输电线路沿途都建设了专用的气象监测设备，结合气象部门的雷达、卫星及常规气象观测网络，可服务于电网运行的气象观测数据已呈现出“来源多样、体量巨大”的典型特征。但这些数据由于格式及结构迥异，尚未有效地开展统一集成应用，通过多源气象观测数据集成技术的研究应用，有效提高气象数据集成融合程度，全面支撑新能源资源预报及模拟评价。

同时，多源气象观测数据集成方面已取得一定成果，并建立了相对成熟的多源观测数据集成***。世界气象组织WMO(World Weather Organization)集成了世界上接近两百个国家和地区会员的多种来源的气象观测数据，通过质量控制和空间分析等方法集成这些观测数据并与成员单位共享；美国建立了国家气候资料中心，利用美国境内的气象资源传输网络收集全球和美国的气象资料，并对数据进行识别、质量控制、集成、存档和共享处理，中国气象局开发了MICAPS综合气象数据检索***，并研究了各类探测***、不同类型数据的质量控制技术和误差分析订正方法，得到了较高质量的数据和分析产品。

随着以风电、光伏为代表的清洁能源大规模接入电网，以及特高压电网、智能电网建设的加快，气象条件与电网运行的关系越来越密切。从资源空间分布来看，卫星数据不能满足新能源发电对于风、辐照度等气象数据时间序列连续的要求；从新能源场站产生气象要素来看，新能源场站监测的气象要素与发电装置的高度息息相关，主要是不同高度风速、辐照度、湿度、温度等，较常规气象数据更为定制化。此外，监测装置记录的数据需要利用专业软件和程序解析，中间处理过程更为复杂；从输电通道分析，电网的输电线路一般架设在人烟稀少与地形复杂的山区、戈壁滩等，而气象部门更多的是面向公众服务，部署的观测站点主要集中在人口较为密集、活动频繁的非输电通道地区。输电线路沿途安装的微气象、覆冰等监测装置，在弥补输电通道常规气象数据缺失的同时，可以更密集、更集中的监测输电线路周围气象条件。总的来说，电力行业的气象数据量更大、时间间隔更加密集、格式更加复杂，需要更多的手段与方法去处理，数据质量参差不齐，需要从不同的时空维度去检验校正，集成融合的难度更大。

多源气象数据集成虽然有一定的基础，但仍存在以下问题：首先，受局地气候影响，数据集成具有一定的区域性，气象数据集成***无法接入新能源场站等电力气象观测数据。其次，气象部门观测数据和新能源场站等电力气象数据来源多样化、结构千差万别，有待进一步开展多源数据融合技术的研究。

发明内容

为了解决上述问题，本发明提出一种多源气象数据集成方法及***，有效提高数值天气预报精度，实现电力行业定制化数值模式的建立与应用。

本发明的目的是采用下述技术方案实现的：

一种多源气象数据集成方法，所述方法包括：

采集天气气象数据和电力气象数据形成原始数据；

将所述原始数据格式统一为预设的标准格式；

将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集。

优选的，所述将原始数据格式统一为预设的标准格式后还包括：

将统一为预设标准格式的所有气象数据存储到多源气象数据库中；

所述将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集包括：

将统一存储的所有气象数据进行集成处理形成气象监测数据集。

优选的，所述将原始数据格式统一为预设的标准格式包括：通过特征要素提取法和数据反演法将数据转化为标准格式；所述标准格式为ASCII文本格式。

优选的，所述天气气象数据包括：卫星天气数据、气象站天气数据；所述电力气象数据包括：新能源场站观测数据、雷达数据和输电线路数据。

进一步地，所述输电线路数据包括监测时间、线路名称、杆塔号、经纬度信息和气象要素观测值；

所述新能源场站观测数据，包括风电场编号、测风塔编号、轮毂高度、经纬度信息和气象要素观测值；

所述雷达数据，包括站点编号、名称、采集时间、雷达波长、回波形状、体扫层数和经纬度信息；

所述卫星天气数据，包括采集时间、波段、频谱范围、分辨率和气象要素反演矩阵数据。

进一步地，所述将统一存储的所有气象数据进行集成处理形成气象监测数据集包括：

首先判断多源气象数据库中是否存在异常数据，若存在则剔除异常数据；

然后采用插值分析法、缓冲区分析法和叠置分析法对剔除异常后的数据集，生成气象监测数据集。

进一步地，所述对多源气象数据库中的气象数据进行异常处理包括：

判断多源气象数据库中的气象数据是否存在异常数据，若存在则剔除异常数据；

所述判断多源气象数据库中的气象数据是否存在异常数据，包括：

进行逻辑一致性检验，包括：将低于预设阈值的气象数据定义为异常数据；

进行时间连续性检验，包括判断待预测气象数据在连续时间范围内的规律性的变化；若单位时间内数据变化明显或者无变化，则定义当前时刻的数据为可疑数据，并与历史异常数据进行一致性比对，若可疑数据与历史异常数据一致，则确定所述可疑数据为异常数据；

进行空间一致性检验，包括：基于空间地理信息，结合四方位划分的方法，以目标位置为圆心划分不同半径的区域，基于空间地理信息检验东西南北四方位的气象数据关联性，若某一天气数据波动明显，则判定所述天气数据为异常数据；其中，空间地理信息包括下垫面数据信息和输电线路杆塔坐标信息；

进行完整性与正确性检验，包括：检查气象数据的完整性与正确性，将未包含全部属性的气象数据定义为异常数据；所述气象数据的属性，包括文件命名、数据文件、数据分层、要素表达、数据格式、数据组织、数据存储介质、原始数据；

基于数据挖掘的关联匹配检验，包括：利用Apriori算法生成频繁项集，获取频繁项集产生置信度为0.6以上的关联规则，将不同气象要素的变化进行关联，建立气象数据规则库；将多源气象数据库中每个时刻的气象要素根据关联规则与气象数据规则库中的每条规则进行匹配，逐时刻检验不同气象要素的变化是否与关联则匹配，将无法匹配的数据定义为异常数据。

进一步地，所述利用Apriori算法生成频繁项集包括：

根据实际工况在多源气象数据库中选取气象要素，根据仪器说明书及导出数据格式，获取地面观测站数据库中包含监测站点编号、名称、时间、经纬度信息、海拔高度和气象要素观测值；

对气象要素观测值进行离散化处理，并按气象要素的类别和等级分类；

根据预设的支持度阈值和置信度阈值，采用Apriori算法计算获取满足支持度和置信度阈值允许范围内的气象要素观测值的关联规则构成的频繁项集。

优选的，所述采集天气气象数据包括：

通过气象部门获得气象站天气数据；

通过网络下载或者卫星接收站接收卫星天气数据。

优选的，所述采集电力气象数据包括：

通过气象部门获得雷达数据；

利用新能源场站装有的气象装置，获得RWD格式的新能源场站观测数据；

利用输电线路装有的微气象在线监测装置，获得地形复杂地区覆盖输电通道的输电线路数据。

优选的，一种面向电力行业的多源气象数据集成***，其特征在于，包括：

采集模块，用于采集天气气象数据和电力气象数据形成原始数据；

存储模块，用于将原始数据格式统一为预设的标准格式；

集成模块，用于将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集。

与最接近的现有技术比，本发明的有益效果为：

本发明所提出的一种多源气象数据集成方法及***，主要针对于电力行业新能源场站、输电线路通道等电网(微)气象数据和传统气象资料的集成与应用，采集天气气象数据和电力气象数据形成原始数据；将原始数据格式统一为预设的标准格式；将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集。本方法可以将传统气象数据与电力行业气象数据进行整合、格式化与集成化。大大提高数据的可利用性与准确性；实现了跨领域多源数据的融合，充分整合资源，提高数据可利用性；从而将输电线路的地理信息与气象数据结合起来，从时间、空间、逻辑等维度结合新能源场站及输电线路地理位置对不同来源的气象数据进行质量控制，完善缺失数据，建立不同源气象数据库，大大减小了气象数据因地理信息造成的误差；在删除异常数据的过程中，将数据挖掘思想应用于气象数据本身的关联性匹配，更加全面深入的分析气象数据，提高了多源气象数据的质量。从长远看，可以提高数值预报模式预报精度，进而提高电网防灾减灾能力。

附图说明

图1为本发明实施例中提供的多源气象数据集成方法总流程图；

图2本发明实施例中提供的多源气象数据集成方法框图；

图3本发明实施例中提供的构成多源气象数据库的方法流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细的说明。

本方法以新能源场站多源气象观测数据为基础，分析气象观测数据的分布特征及时序、空间关联特性，结合不同地理、气候特征条件下的新能源场站区域气象要素特性分析，利用模糊识别、贝叶斯判别理论等对数据适用性、准确性、可靠性、连续性、完整性、可取得性、客观性等进行评估，并对数据进行冗余删除、坏数据修复等，使数据具有较高的可信度。针对非结构化、半结构化气象数据分别应用图像处理、模式识别技术和异构文本数据集成、文本预处理等方法，实现不同结构类型数据的信息提取。通过数据的结构化处理，以及数据的时空定位及匹配，进行不同气象观测数据的相互校验，并采用气象数据融合算法，实现对多源异构气象观测数据的集成。

所提出的一种多源气象数据集成方法，通过获取传统气象数据(常规气象站、卫星数据等)与电力行业气象数据(测风数据、测光数据、输电线路微气象数据)。

对气象数据的格式、连续性等进行识别，将原始数据其转换为ASCII文本数据。

从时间、空间、逻辑等维度结合新能源场站及输电线路地理位置对不同来源的气象数据进行质量控制，剔除异常数据，完善缺失数据，建立不同源气象数据库。

根据空间插值、缓冲区分析和叠置分析进行集成处理，生成高时空分辨率气象监测数据库，实现对多源气象数据的集成。

如图1和图2所示，其方法具体包括以下步骤：

S1采集天气气象数据和电力气象数据形成原始数据；

天气气象数据包括：卫星天气数据、气象站天气数据；

其中，采集天气气象数据包括：

通过气象部门获得气象站天气数据；

通过网络下载或者卫星接收站接收卫星天气数据。

所述电力气象数据包括：新能源场站观测数据、雷达数据和输电线路数据。

采集电力气象数据包括：

通过气象部门获得雷达数据；

利用新能源场站装有的气象装置，获得RWD格式的新能源场站观测数据；

利用输电线路装有的微气象在线监测装置，获得地形复杂地区覆盖输电通道的输电线路数据。

输电线路数据包括监测时间、线路名称、杆塔号、经纬度信息和气象要素观测值；

新能源场站观测数据，包括风电场编号、测风塔编号、轮毂高度、经纬度信息和气象要素观测值；

雷达数据，包括站点编号、名称、采集时间、雷达波长、回波形状、体扫层数和经纬度信息；

卫星天气数据，包括采集时间、波段、频谱范围、分辨率和气象要素反演矩阵数据。

S2将所述原始数据格式统一为预设的标准格式；

识别原始数据中的数据格式是否为预设标准格式；若是，则直接存储到多源气象数据库中；若否，则将统一为预设标准格式的所有气象数据存储到多源气象数据库中：

通过特征要素提取法和数据反演法将数据转化为标准格式；将非结构化的气象数据结构化，是本方法实施的前提条件，具体的逻辑示意图如图3。标准格式为ASCII文本格式。

本设计目的是为了将所有格式数据变为计算机可识别的ASCII文本格式数据，构成多源气象数据库：

①对多源气象数据库中的不同数据进行格式识别，默认可入库的数据格式为ASCII格式。如果数据格式为ASCII文本格式数据，可直接导入数据库进行质量控制，否则，需要选取处理方法(特征要素提取、数据反演等)进行预处理。

②通过预处理将数据转化为ASCII文本数据，根据来源不同分别导入新能源场站数据库、卫星数据库、雷达数据库、输电线路数据库等，形成统一格式化的多源气象数据库。

③由于不同来源数据的时间分辨率不同，根据多源气象数据的生成频率，实现自动入库，预处理程序并行计算，提高数据的处理效率。

S3将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集。

首先判断多源气象数据库中是否存在异常数据，若存在则剔除异常数据；

然后采用插值分析法、缓冲区分析法和叠置分析法对剔除异常后的数据集，生成气象监测数据集。

对多源气象数据库中的气象数据进行异常处理包括：

判断多源气象数据库中的气象数据是否存在异常数据，若存在则剔除异常数据；

其中判断多源气象数据库中的气象数据是否存在异常数据，包括：

进行逻辑一致性检验，包括：将低于预设阈值的气象数据定义为异常数据；如露点温度<空气温度等。

进行时间连续性检验，包括判断待预测气象数据在连续时间范围内的规律性的变化；若单位时间内数据变化明显或者无变化，变化明显是指数据变化量≥0.5的数据，则定义当前时刻的数据为可疑数据，并与历史异常数据进行一致性比对，若可疑数据与历史异常数据一致，则确定所述可疑数据为异常数据；

进行空间一致性检验，包括：基于空间地理信息，结合四方位划分的方法，以目标位置为圆心划分不同半径的区域，基于空间地理信息检验东西南北四方位的气象数据关联性，若某一天气数据波动明显，则判定所述天气数据为异常数据；其中，空间地理信息包括下垫面数据信息和输电线路杆塔坐标信息；

进行完整性与正确性检验，包括：检查气象数据的完整性与正确性，将未包含全部属性的气象数据定义为异常数据；所述气象数据的属性，包括文件命名、数据文件、数据分层、要素表达、数据格式、数据组织、数据存储介质、原始数据；

基于数据挖掘的关联匹配检验，包括：利用Apriori算法生成频繁项集，获取频繁项集产生置信度为0.6以上的关联规则，将不同气象要素的变化进行关联，建立气象数据规则库；将多源气象数据库中每个时刻的气象要素根据关联规则与气象数据规则库中的每条规则进行匹配，逐时刻检验不同气象要素的变化是否与关联则匹配，将无法匹配的数据定义为异常数据。

利用Apriori算法生成频繁项集包括：

根据实际工况在多源气象数据库中选取气象要素，根据仪器说明书及导出数据格式，获取地面观测站数据库中包含监测站点编号、名称、时间、经纬度信息、海拔高度和气象要素观测值；

对气象要素观测值进行离散化处理，并按气象要素的类别和等级分类；气象要素是表明大气物理状态、物理现象的各项要素。主要有：气温、气压、风、湿度、云、降水以及各种天气现象。例如将按风的别和等级将其划分为0～17级风或者强风和弱风。

根据预设的支持度阈值和置信度阈值，采用Apriori算法计算获取满足支持度和置信度阈值允许范围内的气象要素观测值的关联规则构成的频繁项集。

采用插值分析法、缓冲区分析法和叠置分析法对所述剔除异常后的数据集成入库。

多源气象数据的集成主要是在空间数据分析的基础上，形成结构统一的数据。本专利所采用的方法有插值分析法、缓冲区分析法和叠置分析法。

①插值分析法

本方法采用的距离反比权值插值、样条插值、克吕金插值、径向基函数插值和点密度插值对不同气象数据集进行校验集成。这些方法对于如何获得最佳估计值都给予了一定的假设，基于不同的插值方法会推求出不一样的结果。无论选择哪一种插值方法，在融合了不同数据集的前提下，已知点的数据多，分布越广，插值结果越接近实际情况。

②缓冲区分析法

本方法所采用的缓冲区分析是对一组或一类要素按缓冲的距离条件，建立缓冲区多边形，然后将这一个图层与需要进行缓冲区分析的图层进行叠加分析，得到所需要的结果。所以实际上缓冲区分析涉及两步操作，第一步是建立缓冲区图层，第二步是进行叠加分析。

③叠置分析法

叠置分析将两个或两个以上地理要素图层叠置，能够产生新的属性特征，或建立地理对象之间的空间对应关系。本方法采用叠置算法将含有不同属性的气象数据集成，形成全属性的气象数据集。

基于同一发明构思，本发明还提供一种多源气象数据集成***，包括：

采集模块，用于采集天气气象数据和电力气象数据形成原始数据；

存储模块，用于将原始数据格式统一为预设的标准格式；

集成模块，用于将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集。

其中，集成模块，包括：逻辑一致性检验单元，用于将低于预设阈值的气象数据定义为异常数据；

时间连续性检验单元，用于进行时间连续性检验，包括判断待预测气象数据在连续时间范围内的规律性的变化；若单位时间内数据变化明显或者无变化，则定义当前时刻的数据为可疑数据，并与历史异常数据进行一致性比对，若可疑数据与历史异常数据一致，则确定所述可疑数据为异常数据；

空间一致性检验单元，用于基于空间地理信息，结合四方位划分的方法，以目标位置为圆心划分不同半径的区域，基于空间地理信息检验东西南北四方位的气象数据关联性，若某一天气数据波动明显，则判定所述天气数据为异常数据；其中，空间地理信息包括下垫面数据信息和输电线路杆塔坐标信息；

完整性与正确性检验单元，用于检查气象数据的完整性与正确性，将未包含全部属性的气象数据定义为异常数据；所述气象数据的属性，包括文件命名、数据文件、数据分层、要素表达、数据格式、数据组织、数据存储介质、原始数据；

基于数据挖掘的关联匹配检验单元，用于利用Apriori算法生成频繁项集，获取频繁项集产生置信度为0.6以上的关联规则，将不同气象要素的变化进行关联，建立气象数据规则库；将多源气象数据库中每个时刻的气象要素根据关联规则与气象数据规则库中的每条规则进行匹配，逐时刻检验不同气象要素的变化是否与关联则匹配，将无法匹配的数据定义为异常数据。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本申请的技术方案而非对其保护范围的限制，尽管参照上述实施例对本申请进行了详细的说明，所属领域的普通技术人员应当理解：本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，这些变更、修改或者等同替换，其均在其申请待批的权利要求范围之内。

Claims (6)

1.一种多源气象数据集成方法，其特征在于，所述方法包括：

采集天气气象数据和电力气象数据形成原始数据；

将所述原始数据格式统一为预设的标准格式；

将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集；

所述将原始数据格式统一为预设的标准格式后还包括：

将统一为预设标准格式的所有气象数据存储到多源气象数据库中；

所述将统一为预设标准格式的所有气象数据进行集成处理形成气象监测数据集包括：

将统一存储的所有气象数据进行集成处理形成气象监测数据集；

所述将统一存储的所有气象数据进行集成处理形成气象监测数据集包括：

对多源气象数据库中的气象数据进行异常处理；

然后采用插值分析法、缓冲区分析法和叠置分析法对异常处理后的数据集合，生成气象监测数据集；

所述对多源气象数据库中的气象数据进行异常处理包括：

判断多源气象数据库中的气象数据是否存在异常数据，若存在则剔除异常数据；

所述判断多源气象数据库中的气象数据是否存在异常数据，包括：

进行逻辑一致性检验，包括：将低于预设阈值的气象数据定义为异常数据；

进行时间连续性检验，包括判断待预测气象数据在连续时间范围内的规律性的变化；若单位时间内数据变化明显或者无变化，则定义当前时刻的数据为可疑数据，并与历史异常数据进行一致性比对，若可疑数据与历史异常数据一致，则确定所述可疑数据为异常数据；

进行空间一致性检验，包括：基于空间地理信息，结合四方位划分的方法，以目标位置为圆心划分不同半径的区域，基于空间地理信息检验东西南北四方位的气象数据关联性，若某一天气数据波动明显，则判定所述天气数据为异常数据；其中，空间地理信息包括下垫面数据信息和输电线路杆塔坐标信息；

进行完整性与正确性检验，包括：检查气象数据的完整性与正确性，将未包含全部属性的气象数据定义为异常数据；所述气象数据的属性，包括文件命名、数据文件、数据分层、要素表达、数据格式、数据组织、数据存储介质、原始数据；

基于数据挖掘的关联匹配检验，包括：利用Apriori算法生成频繁项集，获取频繁项集产生置信度为0.6以上的关联规则，将不同气象要素的变化进行关联，建立气象数据规则库；将多源气象数据库中每个时刻的气象要素根据关联规则与气象数据规则库中的每条规则进行匹配，逐时刻检验不同气象要素的变化是否与关联则匹配，将无法匹配的数据定义为异常数据；

所述利用Apriori算法生成频繁项集包括：

根据实际工况在多源气象数据库中选取气象要素，根据仪器说明书及导出数据格式，获取地面观测站数据库中包含监测站点编号、名称、时间、经纬度信息、海拔高度和气象要素观测值；

对气象要素观测值进行离散化处理，并按气象要素的类别和等级分类；

根据预设的支持度阈值和置信度阈值，采用Apriori算法计算获取满足支持度和置信度阈值允许范围内的气象要素观测值的关联规则构成的频繁项集。

2.如权利要求1所述的方法，其特征在于，所述将原始数据格式统一为预设的标准格式包括：通过特征要素提取法和数据反演法将数据转化为标准格式；所述标准格式为ASCII文本格式。

3.如权利要求1所述的方法，其特征在于，所述天气气象数据包括：卫星天气数据、气象站天气数据；所述电力气象数据包括：新能源场站观测数据、雷达数据和输电线路数据。

4.如权利要求3所述的方法，其特征在于，所述输电线路数据包括监测时间、线路名称、杆塔号、经纬度信息和气象要素观测值；

所述新能源场站观测数据，包括风电场编号、测风塔编号、轮毂高度、经纬度信息和气象要素观测值；

所述雷达数据，包括站点编号、名称、采集时间、雷达波长、回波形状、体扫层数和经纬度信息；

所述卫星天气数据，包括采集时间、波段、频谱范围、分辨率和气象要素反演矩阵数据。

5.如权利要求3所述的方法，其特征在于，所述采集天气气象数据包括：

通过气象部门获得气象站天气数据；

通过网络下载或者卫星接收站接收卫星天气数据。

6.如权利要求3所述的方法，其特征在于，所述采集电力气象数据包括：

通过气象部门获得雷达数据；

利用新能源场站装有的气象装置，获得RWD格式的新能源场站观测数据；

利用输电线路装有的微气象在线监测装置，获得地形复杂地区覆盖输电通道的输电线路数据。