CN102129646A

CN102129646A - 多维度电力市场交易数据交互统一监控方法

Info

Publication number: CN102129646A
Application number: CN2011100562611A
Authority: CN
Inventors: 杨立兵; 刘福斌; 洪元瑞; 李�灿; 承林; 芦越
Original assignee: Shanghai Huadong Electrojet Energy Information Co Ltd; East China Grid Co Ltd
Current assignee: Shanghai Huadong Electrojet Energy Information Co Ltd; East China Grid Co Ltd
Priority date: 2011-03-09
Filing date: 2011-03-09
Publication date: 2011-07-20

Abstract

本发明涉及一种多维度电力市场交易数据交互统一监控方法，对数据交互平台上交互的数据从交互方向上、时间周期上、数据类型上进行多维度建模，并对各个方向上的数据交互的状态进行定义，包括以下步骤：根据数据交互监控的整体结构图，电力市场交易数据交互监控平台中的数据交换方向按照数据源的级别和数据交互的目的，分为纵向和横向；实现纵向维度的数据统一监控，数据在发生交互前，先要在***中经过逻辑处理与整合，然后通过数据监控平台发送至高级单位，数据监控平台需要对数据从抽取到人工校验，再到发送的过程进行实时监控；实现横向维度统一监控。本发明创新性地从数据交互方向、源头、时间周期、数据类型等维度进行建模，实现统一监控管理。

Description

多维度电力市场交易数据交互统一监控方法

技术领域

本发明属于数据交互统一监控技术领域，涉及多维度、全过程、可视化的数据交互统一监控技术，特别涉及一种多维度电力市场交易数据交互统一监控方法。针对电力市场业务开展所需数据与所提供数据的多类型、多源、多口径、多维度等特性，基于可视化的实现原则，本发明应用了数据属性抽象建模技术，构建了多维度的可视化数据监控平台，实现了对模型数据、业务数据、从纵向贯通到横向集成的全过程监控与管理。

背景技术

电力市场改革有助于打破垄断、解除管制、引入竞争，以更合理地配置资源，提高资源利用率，促进电力工业与社会、经济、环境的协调发展。电力市场交易是改革的基础，需要通过“电力市场交易运营***”进行，而正常的交易业务与***的运行，均需要与外部数据或***进行大量的数据交互，由于电力市场交易所需数据类型多样，数据交互实现技术不同，并且数据交互建设的周期长，因此就形成了数据交互的多源性、多口径性。

多源性是指与电力市场交易形成数据交互的数据源头多；多口径性是指这些多源头的数据内容有可能会有部分重叠，对于同一类型的业务数据会有不同的统计口径。同时，数据从交互对象上又存在了纵向贯通与横向集成，因此也就存在了多种维度的交互。原有的数据交互监控管理技术，仅仅实现了数据交互过程中日志的记录与描述，且日志记录分散在不同的交互通道中，当面对现今的复杂的数据交互时，原有技术就无法满足对数据交互的统一监控，且其所记录的数据交互信息也无法实现可视化的监控技术，从而导致无法从总体上监控数据交换平台的数据交互情况与数据状态。因此需要一种多维度、全过程、可视化的数据交互统一监控技术来解决这些问题，并实现对数据交互全过程可视化监控管理。

市场交易数据交换分为纵向贯通和横向集成。纵向贯通是指与国家电网公司、省（市）电力公司的数据交换，通过公司信息交换平台实现。横向集成是指与公司调度通信中心、科技信息部、发展计划部、生产部等部门的数据交换。通过纵向贯通和集成能实现对市场交易和能量的全程管理，满足各种业务的数据需求。

按照国家电网目前的要求，华东电网公司向国家电网公司报送25种数据，分非周期性数据、年度数据、季度数据、月度数据、日数据五类，省市电力公司向华东电网公司上报数据类型全集与华东电网公司向国网公司上报数据类型一致。纵向贯通中，省市电力公司上报华东电网，通过国电南瑞平台上的触发器实现，当数据进入南瑞平台后，触发器启动，自动将业务数据同步到电力市场交易***。华东电网上报国网数据需要经过抽取、校验、发送环节，发送后通过中电普华平台将数据传输至国家电网交易运营***。

横向数据集成主要的数据来源是华东电网公司信息中心UIP***，其数据内容来自调度中心、发展策划部、生产部、科信部、财务部，按数据周期共分为两类：月度数据与日数据，其中日数据中也包含了分钟级的数据。横向集成通过Web Service技术实现，同时也具备了消息通知机制，即当数据源数据发生变更或者迟到补入时，数据源方会发送相应的消息通知接收方，接收方收到消息通知后，对此条消息进行反馈，已确认消息通知收到。

为能尽快适应国家政策、法律法规、市场规则的变化，电力市场交易需要不断地对自身进行调整，在自身调整中，为了适应这些多源性、多维度、多类型的数据交互，有效地对数据的交互状态进行监控管理，对数据交互的统一监控平台就显得尤为迫切和重要，因此，统一的监控平台不但要能够包含数据交互的状态信息，还要能够简便操作，容易理解，因此，对数据交互统一监控的视图，在模型设计上要尽可能地将所交换的数据进行分类、分源、分周期。同时对交互数据的监管还要能够清楚地定义数据交互的状态，并对数据内容进行查看管理，对数据质量做出评价，对数据交互的及时性做出判断。如此种种才能够满足多维度数据交互的统一监控要求，对电力市场交易的分析，判断给出强有力的支持。

有鉴于此，寻求一种多维度电力市场交易数据交互统一监控方法成为该领域技术人员的追求目标。

发明内容

本发明针对电力市场交易业务中，所需数据与所供数据的交互平台的多维度、多类型、多源头、多口径的复杂特性，以及决策管理人员对数据交互状态、总体情况和具体到数据内容上的监控管理需求，提供了一种多维度电力市场交易数据交互统一监控技术进行解决。

本发明目的之一：使用数据建模技术对数据交互平台与各个数据源头进行交换的数据建模，并对数据类型进行分析，从数据方向维度、时间周期维度、数据源维度、口径维度上对交互的数据进行分类，并建立统一的监控平台。

本发明目的之二：通过多维度的数据交互统一监控平台对数据交互的及时性、完整性、准确性做出监管、评价，为业务人员提供数据交互的状态全景图，对其做出正确的判断和决策提供支持。

本发明的技术解决方案如下：

一种多维度电力市场交易数据交互统一监控方法，对数据交互平台上交互的数据从交互方向上、时间周期上、数据类型上进行多维度建模，并对各个方向上的数据交互的状态进行定义，包括以下步骤：

（1）根据数据交互监控的整体结构图，电力市场交易数据交互监控平台中的数据交换方向按照数据源的级别和数据交互的目的，分为纵向和横向；

所述纵向数据交换为：基级单位上报中级单位，中级单位上报高级单位，高级单位下发中级单位；

所述横向数据交换为：信息中心通过webservice接口通信方式，交易运营***从数据中心获取自身所需数据；调度中心通过交易运营***自动触发，从电能计划及合同管理***取得双边交易合同信息与双边交易调度执行信息；

（2）实现纵向维度的数据统一监控，数据在发生交互前，先要在***中经过逻辑处理与整合，然后通过数据监控平台发送至高级单位，数据监控平台需要对数据从抽取到人工校验，再到发送的过程进行实时监控；

（3）实现横向维度统一监控，横向维度包括信息中心与调度中心数据，其中信息中心数据通过webservice实现数据同步，调度中心通过FTP文件读取方式实现数据同步。

所述调度中心还包括备用***，在数据交互平台与其它数据中心无法通信的情况下，通过备用功能，将业务数据用Excel的方式导入进交易运营***，以保证交易运营***的正常业务使用。

所述交互数据类型有数据周期性、报表名称、时间要求。

所述数据周期性中数据包括日数据、月度数据、季度数据、年度数据以及非周期性数据。

所述步骤（2）中，根据高级单位的标准数据表格把交易运营***里的数据从复杂的各类业务报表进行整合提炼，最终抽取存入到交易运营***数据库中与高级单位一致的数据表即映像表里，等待数据校验；在数据抽取已经存入映像表的同时也做后台记录日志；其中映像表里储存有每次点击数据获取时的所有“快照”，用户在此时即可进行数据校验操作；数据校验模块对映像表进行数据质量验证，对不合格的映像表把校验失败原因存入交易运营***日志，而对于校验成功的映像表也存入***日志；用户在页面选择所需要的数据类型点击发送，如此类数据从日志表里查出在映像表里最新的数据是校验通过的，***立即把此类数据存入纵向数据交互平台的实际表，同时***纵向数据交互平台的历史表；纵向数据交互平台的实际表等待发送指令发布成功后高级单位会通过服务来取得实际表里的数据，历史表里的数据是给予用户在页面查询校验成功的历史数据。

所述步骤（2）中，所述实时监控包括总体监控模式和明细监控模式。

本发明的多维度电力市场交易数据交互统一监控方法的主要特点有：

1、通过对数据交互平台中的数据，从数据方向、数据源头、数据周期、数据类型维度出发，将数据进行梳理、分类监控管理，从而实现了多维度的统一数据监控，使用本发明的技术，能够将原先无法整体表现、统一监控的数据交互平台的数据交互信息，进行统一的整合与管理。

2、建立多维度电力市场交易数据交互统一监控平台，不但提供了对数据交互状态的多维度建模，同时对各个维度灵活地提供了数据交互状态的定义，从而使得各个方向上的数据交互能够统一监视管理。

本发明由于采用了以上技术方案，使之与现有技术相比，本发明的多维度电力市场交易数据交互统一监控方法具有如下优点：

（1）除了对数据本身建模之外，创新性地从数据交互方向、源头、时间周期、数据类型等维度进行建模，在模型复杂的基础之上提供了简单明了的业务决策参考，将原本由于海量数据交互而无法实现的统一监控管理变成现实。

（2）对数据交互的过程进行了详细的定义和记录，从而使得对数据交互不仅能够实现监控，还能够对以往的历史数据进行分析整理，为当前的和未来的数据交互平台提供运行与决策支持。

附图说明

图1为本发明的一种多维度电力市场交易数据交互统一监控方法的数据交互整体结构图。

图2为本发明的实例中华东电网上报国网的业务流程图。

图3为本发明的实例中上报国网抽取逻辑示意图。

图4为本发明的实例中华东电网上报国网统一监控示意图。

图5为本发明的实例中纵向数据交互流程图。

具体实施方式

下面结合附图和实施例对本发明的多维度电力市场交易数据交互统一监控方法进行详细说明。

参看图1至图5，本发明采用了多维度的建模技术，对数据交互平台上交互的数据从交互方向上、时间周期上、数据类型上进行了建模，并对各个方向上的数据交互的状态进行了定义。

一、根据数据交互监控的整体结构图（图1所示），电力市场交易数据交互监控平台中的数据交换方向按照数据源的级别和数据交互的目的，可以分为纵向和横向，其中，纵向数据交换包括了省市电力公司上报华东电网、华东电网上报国网、国网下发华东电网。

省市电力公司上报华东电网公司，华东交易运营***数据交换平台自动接收省市上报的数据，共包括年度数据2个，季度数据2个，月度数据10个（因各省市业务不同数量不一），日数据1个，非周期数据5个。

华东电网上报国家电网，数据上报实现自动抽取，自动上报，人工校验，其中年度数据2个，季度数据2个，月度数据7个，日数据2个，非周期数据8个。

这两个方向上共包括以下数据类型。

国家电网下发华东电网，华东交易运营***自动接收国网下发的数据，其中共4个月度数据，包括了《月度结算结果表》，《发输电***月度电量计量表》，《月度计划结果汇总表》，《计划明细信息下传表》。

横向数据交换：

信息中心UIP，通过webservice接口通信方式，交易运营***从数据中心获取自身所需数据，其中包括月度数据19个，日数据15个。

调度中心（自动），交易运营***自动触发，从华东电能计划及合同管理***取得双边交易合同信息与双边交易调度执行信息。同时还有电厂1分钟、机组1分钟、省市1分钟、省市联络线1分钟的数据。

调度中心（备用），在数据交换平台与其它某个数据中心无法通信的情况下，可以通过备用功能，将业务数据用Excel的方式导入进交易运营***，以保证交易运营***的正常业务使用。

二、纵向维度的数据统一监控的实现

1、从纵向维度上的华东电网数据上报国网的业务流程图（如图2所示）中，可以看出，数据在发生交互前，先要在***中经过逻辑处理与整合，然后通过南瑞平台发送至国网，因此，数据监控平台就需要对数据从抽取到人工校验，再到发送的过程进行实时的监控。

其中，上报的数据抽取逻辑来自于华东电网本身的合同数据、计划编制数据、平衡数据和交易管理数据，整个的抽取过程都进行状态监控，数据交互前的组织逻辑如图3上报国网抽取逻辑示意图所示。

根据国网标准数据表格从业务上把交易运营***里的数据从复杂的各类业务报表进行整合提炼，最终抽取存入到交易运营***数据库中与国网一致数据表里（称之为映像表），等待数据校验。在数据抽取已经存入映像表的同时也做后台记录日志。映像表里存着每次点击数据获取时的所有“快照”，用户在此时就可以进行数据校验操作。数据校验模块对映像表进行数据质量验证，对不合格的映像表把校验失败原因存入交易运营***日志，而对于校验成功的映像表也存入***日志。用户在页面选择所需要的数据类型点击发送，如此类数据从日志表里查出在映像表里最新的数据是校验通过的，***立即把此类数据存入数据纵向交互平台的实际表，同时***数据纵向交互平台的历史表。数据纵向交互平台的实际表等待发送指令发布成功后国网会通过服务来取得实际表里的数据，历史表里的数据是给予用户在页面查询校验成功的历史数据。

针对此流程中记录的监控信息，有两种监控管理模式。

A、总体监控模式：

纵向华东电网上报国网的统一监控方式如图4华东电网上报国网统一监控示意图所示，其数据状态如下列表所示：

数据的周期与周期标识如下列表所示。

B、明细监控模式：

在华东电网上报国网的明细监控中，数据交互的过程被详细地分为数据抽取、数据校验、数据发送，它们被监控的状态如下列表所示。

数据抽取状态列表：

数据校验状态列表：

数据发送状态列表：

同时，在明细监控模式中，还能够通过对单条明细数据的获取，对其历史上的数据记录进行监控。

2、省市电力公司上报华东电网监控的实现：

省市上报华东的数据交互状态分为四类，如下列表所示：

其中发生交换的数据共分5种周期，分别是：年度数据，季度数据，月度数据，日数据，非周期数据。

此维度上的监控，还对数据的及时率和完成率进行了监控、统计与分析，统计结果和报表如：

完成率：统计各省市所需上报数据的实报情况，以其除以各省市的应报数，得出各省市数据上报的完成率。

及时率：根据各个不同的数据所需上报的截止时间，统计出各省市实报数据中及时上报的数据的数量，以其除以各省市应报数，得出各省市数据上报的及时率。

完成率的计算方法与公式如下所述：

a、报表查询时间格式为：xxxx年xx月----xxxx年xx月。

（1）此时间段所跨天数为：起始月份第一天至结束月份最后一天的天数之和DAY_NUMBER。

（2）此时间段所跨月数为：结束月份–起始月份+1=MONTH_NUMBER。

（3）此时间段所跨季度数为：结束月份所在季度–起始月份所在季度+1=QUARTER_NUMBER。

（4）此时间段所跨年度数为：结束年份–起始年份+1=YEAR_NUMBER。

b、其中，日数据对应应报数为：每日应报报表数 * DAY_NUMBER；

月数据对应应报数为：每月应报报表数 * MONTH_NUMBER；

季数据对应应报数为：每季度应报报表数 * QUARTER_NUMBER；

年数据对应应报数为：每年应报报表数 * YEAR_NUMBER。

c、完成率计算公式：

日完成率 = 日数据实报数 / 日数据应报数 * 100；

月完成率 = 月数据实报数 / 月数据应报数 * 100；

季完成率 = 季数据实报数 / 季数据应报数 * 100；

年完成率 = 年数据实报数 / 年数据应报数 * 100；

非周期完成率 = 非周期数据实报数 / 非周期数据应报数 * 100。

及时率的计算方法与公式如下所示：

a、报表查询时间格式为：xxxx年xx月---- xxxx年xx月。

（2）此时间段所跨月数为：结束月份 – 起始月份 + 1 = MONTH_NUMBER。

（3）此时间段所跨季度数为：结束月份所在季度 – 起始月份所在季度 + 1 = QUARTER_NUMBER。

（4）此时间段所跨年度数为：结束年份 – 起始年份 + 1 = YEAR_NUMBER。

月数据对应应报数为：每月应报报表数 * MONTH_NUMBER；

季数据对应应报数为：每季度应报报表数 * QUARTER_NUMBER；

年数据对应应报数为：每年应报报表数 * YEAR_NUMBER。

c、及时率计算公式：

日及时率 = 日数据及时上报数 / 日数据应报数 * 100；

月及时率 = 月数据及时上报数 / 月数据应报数 * 100；

季及时率 = 季数据及时上报数 / 季数据应报数 * 100；

年及时率 = 年数据及时上报数 / 年数据应报数 * 100；

非周期及时率 = 非周期数据及时上报数 / 非周期数据应报数 * 100。

3、国网下发华东电网数据统一监控的实现：

国网下发华东电网数据状态包括：下发数据接收成功，未下发，下发数据接收失败。此方向上只有一个周期类型，共4个数据。

三、横向维度统一监控的实现

横向维度包括信息中心（UIP）与调度中心数据，其中信息中心（UIP）数据通过webservice实现数据同步，调度中心通过FTP文件读取方式实现数据同步。

1、对与信息中心的数据交互的监控也同样并入多维度统一监控模式。与信息中心的数据交互被监控的状态列表如下所示。

2、与调度中心交互的数据主要包含了从华东电能计划及合同管理***取得的双边交易合同信息与双边交易调度执行信息；同时还有电厂1分钟、机组1分钟、省市1分钟、省市联络线1分钟的数据。数据的监控实现同样归入多维度统一监控平台执行，数据交互被监控的状态如下列表所示。

综上所述，本发明的多维度电力市场交易数据交互统一监控方法具有如下优点：（1）除了对数据本身建模之外，创新性地从数据交互方向、源头、时间周期、数据类型等维度进行建模，在模型复杂的基础之上提供了简单明了的业务决策参考，将原本由于海量数据交互而无法实现的统一监控管理变成现实。（2）对数据交互的过程进行了详细的定义和记录，从而使得对数据交互不仅能够实现监控，还能够对以往的历史数据进行分析整理，为当前的和未来的数据交互平台提供运行与决策支持。

当然，本技术领域内的一般技术人员应当认识到，上述实施例仅是用来说明本发明，而并非用作对本发明的限定，只要在本发明的实质精神范围内，对上述实施例的变化、变型等都将落在本发明权利要求的范围内。

Claims

1.一种多维度电力市场交易数据交互统一监控方法，其特征在于，对数据交互平台上交互的数据从交互方向上、时间周期上、数据类型上进行多维度建模，并对各个方向上的数据交互的状态进行定义，包括以下步骤：

2.根据权利要求1所述的多维度电力市场交易数据交互统一监控方法，其特征在于，所述调度中心还包括备用***，在数据交互平台与其它数据中心无法通信的情况下，通过备用功能，将业务数据用Excel的方式导入进交易运营***，以保证交易运营***的正常业务使用。

3.根据权利要求1所述的多维度电力市场交易数据交互统一监控方法，其特征在于，所述交互数据类型有数据周期性、报表名称、时间要求。

4.根据权利要求3所述的多维度电力市场交易数据交互统一监控方法，其特征在于，所述数据周期性中数据包括日数据、月度数据、季度数据、年度数据以及非周期性数据。

5.根据权利要求1所述的多维度电力市场交易数据交互统一监控方法，其特征在于，所述步骤（2）中，根据高级单位的标准数据表格把交易运营***里的数据从复杂的各类业务报表进行整合提炼，最终抽取存入到交易运营***数据库中与高级单位一致的数据表即映像表里，等待数据校验；在数据抽取已经存入映像表的同时也做后台记录日志；其中映像表里储存有每次点击数据获取时的所有“快照”，用户在此时即可进行数据校验操作；数据校验模块对映像表进行数据质量验证，对不合格的映像表把校验失败原因存入交易运营***日志，而对于校验成功的映像表也存入***日志；用户在页面选择所需要的数据类型点击发送，如此类数据从日志表里查出在映像表里最新的数据是校验通过的，***立即把此类数据存入纵向数据交互平台的实际表，同时***纵向数据交互平台的历史表；纵向数据交互平台的实际表等待发送指令发布成功后高级单位会通过服务来取得实际表里的数据，历史表里的数据是给予用户在页面查询校验成功的历史数据。

6.根据权利要求1所述的多维度电力市场交易数据交互统一监控方法，其特征在于，所述步骤（2）中，所述实时监控包括总体监控模式和明细监控模式。