CN107506448A - 一种智能电网时标量测数据交换格式的方法及*** - Google Patents

Abstract

本发明涉及一种电网中数据交换格式的方法及***，特别是涉及智能电网中时标量测数据的交换格式。本发明设计的格式抽象了智能电网中所有的监测设备产生的数据格式，将从多个源服务器重抽取的数据以全新的命名规则建立E文件来进行数据共享和交换，从而规范和统一各***进行数据共享和交换的格式，降低各***数据对接的复杂性。

Description

一种智能电网时标量测数据交换格式的方法及***

技术领域

本发明涉及一种电网中数据交换格式，特别是涉及智能电网中时标量测数据的交换格式。

技术背景

E文件是由E语言生成的文件。E语言的命名源于Easy(简单)、Efficiency(高效)、Electric-power(电力)3个英文词头，它将电力***传统的面向关系的数据描述方式与面向对象的CIM相结合，既保留了面向关系方法的高效率，继承了其长期的研究成果，又吸收了面向对象方法的优点(如类的继承性等)，具有简洁、高效和适用于电力***的特点。E语言是一种标记语言，具有标记语言的基本特点和优点，其所形成的实例数据是一种标记化的纯文本数据。E语言通过少量标记符号和描述语法，可以简洁高效地描述电力***各种简单和复杂数据模型，数据量越大则效率越高，而且E语言比XML更符合人们使用的自然习惯，计算机处理也更简单。E语言与XML均一致地遵循CIM基础对象类，以E语言描述的电力***模型与以XML语言描述的电力***模型可进行双向转换。

智能电网时标量测数据是电网应用中十分重要的数据，作为智能电网四大数据类型的重要组成部分，是智能电网设备状态监测、辅助决策分析、大数据挖掘等的重要基础。目前，智能电网中传感器众多，分属于不同的设备厂商，而在业务领域，又属于不同的业务部门，这就给跨***进行数据共享带来难题。现有的***进行数据对接时格式众多，无法形成统一的对接方式。

发明内容

本发明一种智能电网时标量测数据交换格式的方法及***提出了一种基于E文件的智能电网时标量测数据交换格式，可以统一规范跨***/平台数据共享时标量测数据的格式，大幅降低数据共享时数据集成的复杂性，提高数据传输效率。

技术方案：本发明一种智能电网时标量测数据交换格式的方法及***包括数据采集、数据格式交换、数据导出3个***模块，数据由数据采集模块采集整理，进一步地，采集整理后的数据由数据格式交换模块进行格式交换，进一步地，由数据导出模块将格式交换后的数据导出。

步骤1：数据采集模块，数据在从多个源服务器中抽取出来时需要进行验证与筛选，要对数据的网省信息、数据值以及数据类型进行判断，筛选出有效的数据，并对存在错误信息的数据进行记录。

步骤2：数据格式交换模块，生成文件的代码为Java程序，会将数据采集模块采集的数据转化为文件流，不断写入文件中；程序根据E文件命名规则新建E文件，文件名为：网省信息-数据采集日期-文件生成时间-***代码-数据行数-8位随机数-源表名称.txt。

进一步地，其中网省代码为两位的网省大写首字母，如江苏为JS，浙江为ZJ；数据采集日期为数据产生的准确时间；文件生产时间为文件新建的准确时间；数据行数代表着这个E文件中有多少行，最大不超过五十万行，最小为一行；随机数为消除重名文件可能性加入的随机数字，其实际意义为一次抽取产生的文件个数。

进一步地，程序再将分类好的数据按照顺序写入新建的E文件中，文件内容为“五元组”，包括：测点名、时间、数据类型、值以及数据描述；这些数据均来自源数据库中，其中数据描述可以为空；当发现数据内容不符合要求，如数据类型丢失，数据大部分缺失(如一次抽取100个数值但是仅有50个)等错误，则丢弃这种无用的数据并对这次数据报错进行记录。

步骤3：数据导出模块，数据不断从数据源抽取，同时对数据进行验证，满足要求的数据会被写入E文件，E文件达到行号限制，程序会自动新建E文件继续写入数据，直至全部数据写入完毕。

进一步地，E文件通过统一的解析接口进行解析，再传入目标服务器进行储存，这样就完成了数据从源数据库转移到目标数据库的操作。

附图说明：图1一种智能电网时标量测数据交换格式的方法及***

具体实施方法：

本发明一种智能电网时标量测数据交换格式的方法及***，结合附图进行以下说明：

本发明主要针对跨***时标量测数据共享与交换，其目的在于解决跨***时标量测数据的共享与交换时数据格式、文件格式标准化问题。

步骤1、数据采集模块，数据在从多个源服务器中抽取出来时需要进行验证与筛选，要对数据的网省信息、数据值以及数据类型进行判断，筛选出有效的数据，并对存在错误信息的数据进行记录；

步骤2、数据格式交换模块，生成文件的代码为Java程序，会将数据采集模块采集的数据转化为文件流，不断写入文件中；程序根据E文件命名规则新建E文件，文件名为：网省信息-数据采集日期-文件生成时间-***代码-数据行数-8位随机数-源表名称.txt。

进一步地，其中网省代码为两位的网省大写首字母，如江苏为JS，浙江为ZJ；数据采集日期为数据产生的准确时间；文件生产时间为文件新建的准确时间；数据行数代表着这个E文件中有多少行，最大不超过五十万行，最小为一行；随机数为消除重名文件可能性加入的随机数字，其实际意义为一次抽取产生的文件个数。

进一步地，程序再将分类好的数据按照顺序写入新建的E文件中，文件内容为“五元组”，包括：测点名、时间、数据类型、值以及数据描述；这些数据均来自源数据库中，其中数据描述可以为空；当发现数据内容不符合要求，如数据类型丢失，数据大部分缺失(如一次抽取100个数值但是仅有50个)等错误，则丢弃这种无用的数据并对这次数据报错进行记录；

“五元组”的具体产生过程为：

(1)使用SQL语句查询数据库，得到地市代码、设备编号、数据时间、数据类型、数据值五项基本信息并拼装这些信息；

(2)测点名：测点名＝网省缩写+地市代码+数据源***代码+设备ID

(3)时间：时间＝特定格式的数据时间(年-月-日时：分：秒)；

(4)数据类型：数据类型在源数据库中体现为数字，需要通过一张映射关系表，将数字转化为字母，如：1代表电压，转化为数据类型就是“U”；2代表电流，转化为数据类型就是“I”；

(5)值：值是直接从数据库中抽取出的准确数字，无任何改动

(6)描述：部分***较为特殊，在SQL语句查询数据库时能够查询出中文的数据描述，则将这些信息写入E文件中的描述；除此之外，当查询不出数据描述时，描述的的信息与测点名信息一致，均为网省缩写+地市代码+数据源***代码+设备ID；

(7)“五元组”之间采取分隔符进行分隔，分隔符可以自定义，如单引号“‘”，这样，在E文件中的每一行均表现为：测点名’时间’数据类型’值’数据描述，即五项数据，四个分隔符。具体内容如下表中例子：

步骤3：数据导出模块，数据不断从数据源抽取，同时对数据进行验证，满足要求的数据会被写入E文件，E文件达到行号限制，程序会自动新建E文件继续写入数据，直至全部数据写入完毕；

进一步地，E文件通过统一的解析接口进行解析，再传入目标服务器进行储存，这样就完成了数据从源数据库转移到目标数据库的操作。

有益效果：本发明一种智能电网时标量测数据交换格式的方法及***将从多个源服务器重抽取的数据以全新的命名规则建立E文件来进行数据共享和交换，从而规范和统一各***进行数据共享和交换的格式，降低各***数据对接的复杂性。

Claims (5)

1.一种智能电网时标量测数据交换格式的***，其特征在于，该***包括数据采集、数据格式交换、数据导出3个***模块，数据由数据采集模块采集整理，进一步地，采集整理后的数据由数据格式交换模块进行格式交换，进一步地，由数据导出模块将格式交换后的数据导出。

2.根据权利要求1中所述，一种智能电网时标量测数据交换格式的方法及***，其特征在于，该***中数据采集模块将数据在从多个源服务器中抽取出来时需要进行验证与筛选，要对数据的网省信息、数据值以及数据类型进行判断，筛选出有效的数据，并对存在错误信息的数据进行记录。

3.根据权利要求1中所述，一种智能电网时标量测数据交换格式的方法及***，其特征在于，该***中数据格式交换模块将数据采集模块采集的数据转化为文件流，不断写入文件中；程序根据E文件命名规则新建E文件，文件名为：网省信息-数据采集日期-文件生成时间-***代码-数据行数-8位随机数-源表名称.txt。

4.根据权利要求1中所述，一种智能电网时标量测数据交换格式的方法及***，其特征在于，该***中数据导出模块数据不断从数据源抽取，同时对数据进行验证，满足要求的数据会被写入E文件，E文件达到行号限制，程序会自动新建E文件继续写入数据，直至全部数据写入完毕；E文件通过统一的解析接口进行解析，再传入目标服务器进行储存，这样就完成了数据从源数据库转移到目标数据库的操作。

5.一种智能电网时标量测数据交换格式的方法，其特征在于，该方法基于权利要求1中所述的一种智能电网时标量测数据交换格式的***，将数据由数据采集模块采集整理，进一步地，采集整理后的数据由数据格式交换模块进行格式交换，进一步地，由数据导出模块将格式交换后的数据导出。