CN104766151A - 一种用于电力交易数据仓库的质量管控方法及其管控*** - Google Patents

Abstract

本发明涉及一种用于电力交易数据仓库的质量管控方法及其管控***，该方法包括下述：定义校验元数据和校验规则；设置校验任务；执行校验服务；发布数据校验结果；处理跟踪质量问题。本发明提供的技术方案针对数据集，通过校验规则灵活定义，进行数据合理性、一致性和完整性和及时性的判定，并对四个管控指标进行统计和历史趋势分析，设计问题处理跟踪反馈机制，便于管理人员制定质量控制措施。***实现后，作为电力市场数据仓库的重要组成部分，为市场的高级分析和挖掘应用提供了数据质量的保障。

Description

一种用于电力交易数据仓库的质量管控方法及其管控***

技术领域

本发明涉及一种电力自动化领域的数据质量管控方法及其***，具体讲涉及一种用于电力交易数据仓库的质量管控方法及其管控***。

背景技术

随着智能电网的建设和电力市场的发展，交易运营***的定位由原来的信息管理发展为交易管控和经营决策。***运行多年，积累的海量数据成为公司进行市场策略分析的重要资源。基于数据仓库技术，构建电力市场分析***，用于支撑交易管控、市场辅助决策和市场态势分析等高级运用。其中，高质量的数据是支撑强大的决策优化等应用的前提条件。因此在数据仓库框架中，应独立于实际分析应用，通过平台工具，对数据质量进行统一管控。

数据质量管理(Data Quality Management)，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

现有信息***的质量管控工具，一般都是为某个应用量身定制，很难脱离业务数据而独立存在。其校验规则和校验逻辑也相对固化，不能满足由业务人员自由定制的需求。另外，数据校验结果，缺乏主动发布和通知的功能，也没有问题解决环节的反馈和跟踪，部分实现了数据的质量监示，几乎没有考虑质量问题的控制。

发明内容

为解决上述现有技术中的不足，本发明的目的是提供一种用于电力交易数据仓库的质量管控方法及其管控***，针对数据集，通过校验规则灵活定义，进行数据合理性、一致性和完整性和及时性的判定，并对四个管控指标进行统计和历史趋势分析，设计问题处理跟踪反馈机制，便于管理人员制定质量控制措施。***实现后，作为电力市场数据仓库的重要组成部分，为市场的高级分析和挖掘应用提供了数据质量的保障。

本发明的目的是采用下述技术方案实现的：

本发明提供一种用于电力交易数据仓库的质量管控方法，其改进之处在于，所述方法包括下述步骤

(1)定义校验元数据和校验规则；

(2)设置校验任务；

(3)执行校验服务；

(4)发布数据校验结果；

(5)处理跟踪质量问题。

进一步地，所述步骤(1)中，包括元数据信息设置；数据项是指数据仓库中数据表的值域，其元数据包括非空校验、零校验、是否进行范围校验、最大值、最小值和引用范围校验；数据集是指数据仓库中的一个表，其元数据包括数据频率、时间格式以及数据集维护人信息；通过元数据信息，实现数据本身的合理性校验。

进一步地，所述步骤(1)中，包括设置校验规则；基于数据库表域名技术，实现数据仓库模型选择器，支持对数据集中数据的选择和过滤条件的设置，形成动态查询语句；通过运算符连接动态查询语句，实现数据校验规则定义；元数据校验通过校验规则设定，不需要设置规则表达式，***直接调用元数据信息。

进一步地，所述步骤(1)中，校验规则定义包括及时性校验的时间定义；时间表达式包括时间类型和时间值；时间类型包括绝对时间和相对时间，绝对时间的格式为年/月/日/时/分；相对时间以小时为单位；时间表达式运用于校验规则中。

进一步地，所述步骤(2)中，校验任务与一个或多个校验规则关联，共享任务执行时间和执行频率。

进一步地，所述步骤(3)中，校验任务由后台进程周期扫描，如果满足执行时间要求，则触发任务，解析关联的校验规则并执行逻辑判断，并记录校验结果。

进一步地，所述步骤(4)中，校验结果结合消息机制，通过邮件或者短信接口，自动发送至数据集的维护人，提醒维护人员尽快处理。

进一步地，所述步骤(5)中，为数据质量的解决过程设计了反馈和跟踪机制，加强了对质量问题的管控智能。

本发明还提供一种用于电力交易数据仓库的质量管控方法的管控***，其改进之处在于，所述***包括：

<1>校验规则设置模块：包括元数据信息设置模块、校验规则配置模块和及时性时间定义模块，用于设置数据集的数据项本身、同一个数据集的数据项之间以及不同数据集的数据项之间的数据校验规则；

<2>校验任务管理模块：用于设置校验任务参数，所述校验任务参数包括关联的校验规则、 校验类型、告警级别、任务执行时间、告警通知方式和通知时间；一个任务关联一个或多个校验规则，校验规则共用一套校验任务参数；

<3>校验服务执行模块：通过后台的校验服务引擎，周期扫描校验任务，对符合时间要求的任务，读取其关联的校验规则，解析并执行数据查询脚本和逻辑运算，保存校验结果；同时通过消息机制，将校验结果发布至数据管理人员；

<4>校验结果统计模块：查询数据集的校验结果，统计数据集的合理性、一致性、完整性和及时性指标，对其进行排序分析和历史趋势分析，发现重点关注的数据；

<5>问题处理跟踪模块：对于没有通过校验的规则，管控***自动生成问题处理事件，要求维护人员在解决问题后，录入事件的解决措施和解决时间，并申请再次进行数据校验；重新校验由质量管控专责通过人工触发完成；如果通过，则记录事件确认标记，通过跟踪环节，监控异常数据处理情况。

与最接近的现有技术相比，本发明提供的技术方案具有的优异效果是：

本发明解决的技术问题是基于数据集的元数据定义，结合数据模型选择器、公式运算和及时性时间定义，实现了数据校验规则的灵活定义。基于和***、邮件***的接口，实现了校验结果的及时发布，缩短了质量问题的处理时间。基于问题跟踪反馈机制，实现了对数据质量问题的跟踪和考核，进一步促进问题解决的主观能动性。

本发明提供的数据仓库质量管控方法及***，主要解决如下问题：

(1)通过元数据定义，结合数据模型选择器和公式编辑器，实现数据校验规则的灵活定义。通过校验规则，设置数据项之间、数据集之间、数据集和原始业务数据之间的校验逻辑，实现数据合理性、一致性和及时性校核。采用此方法定义的校验规则，经由任务调度和定时服务，在后台实现数据质量的定时扫描。

(2)通过消息机制，结合***和邮件***，实现***自动推送校验异常信息。对异常信息的响应时间和完成时间进行监控，促使异常数据能够得到及时处理，促使问题数据得到及时有效地处理，保障电力市场数据仓库应用的可靠性。

附图说明

图1是本发明提供的本发明的功能流程示意图；

图2是本发明提供的数据质量校验引擎的流程图；

图3是本发明提供的具体实施例的及时性校验结果界面图；

图4是本发明提供的问题处理跟踪模块的处理流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

本发明所要解决的技术问题是基于数据集的元数据定义，结合灵活规则表达式，提出了数据校验规则的灵活定义方法。采用此方法定义的校验规则，经由任务调度，在后台实现数据质量的周期扫描。扫描结果经短信接口或邮件接口，及时发送至相应的数据维护人员，促使问题数据得到及时有效地处理，保障电力市场数据仓库应用的可靠性。

本发明的功能流程图如图1所示，包括如下步骤：

(1)设置校验规则。设置数据集和数据项的元数据信息，基于动态数据查询语句和运算符定义校验规则，实现数据集的数据项本身、同一个数据集的数据项之间、不同数据集的数据项之间的数据校验规则的配置。数据集的可选范围包括事实表、维度表以及业务源***的关系表。

(2)管理校验任务。一个任务关联一个或多个规则。在任务中，设置指标类型，告警级别，任务执行时间，告警通知延迟时间，告警通知方式等。任务执行时间可以选择遇节假日延迟。节假日参数，在静态参数管理中设置。所有任务通过校验服务调用。校验服务调用的流程图如图2所示。校验类型包括“合理性校验”、“一致性校验”、“完整性校验”和“及时性校验”。告警级别包括“一般”、“告警”、“严重”。告警通知方式包括短信和邮件，通知时间包括“立即”、“当日八点”或“最早工作日八点”。

(3)执行校验服务。所有校验任务由后台常驻进程周期扫描，如果满足任务执行时间要求，则触发任务，扫描相应的数据，结果存入质量信息表。根据告警延迟时间和告警通知方式，生成消息发布任务。当时间满足时，通过***接口或邮件***接口，将存在问题的数据集名称和使用的校验规则名称，及时发送至数据管理人员。

(4)校验结果统计分析。针对校验结果，以“校验规则”、“时间”、“数据集”、“数据维护人”等作为分析维度，从不同的角度分析和展示最容易发生质量问题的环节，帮助质量管理专责确定重点关注的数据。

(5)问题处理跟踪。对于没有通过的校验规则，***自动生成问题处理事件，维护人员解决后，在***中录入事件的解决措施和解决时间，并申请再次进行数据校验。重新校验由质量管控专责通过人工触发完成。如果校验通过，则录入“确认”标记。

本发明还提供一种用于电力交易数据仓库的质量管控***，所述***包括：

<1>校验规则设置模块：用于设置数据集的数据项本身、同一个数据集的数据项之间、不同数据集的数据项之间的数据校验规则；

<2>校验任务管理模块：用于设置校验任务参数，所述校验任务参数包括指标类型、告警级别、任务执行时间、告警通知延迟时间和告警通知方式；一个任务关联一个或一个以上的规则；

<3>校验服务执行模块：用于执行校验任务，编译和解析校验规则，并进行运算，保存校验结果；

<4>校验结果统计模块：从多个维度对校验结果进行统计分析，用于发现数据质量的关注重点。

<5>问题处理跟踪模块：***自动生成质量问题处理事件，要求记录事件的解决措施和解决时间，并通过人工触发校验任务完成确认。通过跟踪环节，协助质量管控专责，考核异常数据处理的效率。

实施例

1、定义数据项的元数据信息，用于数据的合理性校验。元数据信息包括“是否允许空”、“是否允许零”、“最大值”、“最小值”，“菜单范围”等参数的设置。定义数据集的元数据，包括用于及时性校验的“数据频率”、“时间格式”等参数，包括用于消息发布的“数据集维护人员”的参数。

表1 数据项的扩展元数据定义

2、定义校验规则。通过运算符连接动态查询语句。提供数据仓库模型选择器，基于数据库表域名技术，实现数据集和数据项的选择。提供运算符和函数选择器，运算符包括常规的数学运算符，函数则提供常用的数据库语法关键词，如“求和(”、“分组(”等。表达式编辑完成后，***提供语法检查。

例1：电厂上网电量。每15分钟一条数据，一天内一个电厂应有96条数据。校验规则表示为：

HAVING(D.v1)＝96

GROUP BY(to_char(D.t,’yyyymmdd’),D.p,D.a)

例2：总时段上网电量等于各时段上网电量的和。

D.v1＝D.v2+D.v3+D.v4+D.v5

where D.t＝:param and D.a＝’上网关口电量’

说明：D表示数据集，v1表示数据项总电量，v2表示数据项尖峰电量，v3表示数据项峰电量，v4表示数据项平电量，v5表示数据项谷电量。条件中数据集的时间主键在校验任务执行时传入，并且数据集的应用维主键是“上网关口电量”。

3、定义及时性时间表达式。按照固定格式设置及时性校验时间表达式。表达式的格式规范如下：

表2 及时性时间格式说明

及时性表达式示例如下：

SbsResult.gen_time[null,null,’monthresult’]<＝

SbsResult.datatime[null,null,’monthresult’]+{1,’960H’}     (1)；

SbsResult.gen_time[null,null,’monthresult’]<＝

{0,‘2014-11-0100:00:00’}     (2)；

conResult.gen_time[null,null,’largeUser’]

<tradeResult.gen_time[null,null,’largeUser’]+{1,’240H’}

where conResult.trade_id＝tradeResult.trade_id     (3)；

式(1)表示数据的产生时间，应小于数据业务时间+960小时。

式(2)示数据的产生时间，必须在固定时间之前。

式(3)表示对于同一笔交易，合同的生成时间，应在交易结果生成时间之后10天之内。

4、管理校验任务。新建校验任务，为其关联一个或者多个规则。以“结算结果完整性校 验任务”的设置为例。

●关联校验规则：月度结算结果集的记录条数＝结算单元个数；

●指标类型：完整性；

●告警级别：告警；

●任务执行时间：每月十日2点，-1/-1/10/2/0；

●告警通知方式：短信通知；

●告警通知延迟时间：当日八点；

5、执行校验服务。后台服务按照1小时的间隔，整点循环扫描所有任务，如果发现任务的执行时间在上次扫描和本次扫描之间，或者等于本次扫描时间，那么触发任务执行。执行完毕后，继续扫描下一条任务，直至所有任务扫描结束。

6、校验结果统计模块。以“校验规则”、“时间”、“数据集”、“数据维护人”、“指标类型”等作为分析维度，从不同的角度分析和展示最容易发生质量问题的环节，用于发现数据质量的关注重点。例如，及时性校验结果界面图如图3所示。

7、问题处理跟踪模块。***自动生成质量问题处理事件，记录事件的解决措施和解决时间，并通过人工触发校验任务完成确认。通过跟踪环节，协助质量管控专责，考核异常数据处理的效率。问题处理跟踪模块的处理流程图如图4所示。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (9)

1.一种用于电力交易数据仓库的质量管控方法，其特征在于，所述方法包括下述步骤：

(1)定义校验元数据和校验规则；

(2)设置校验任务；

(3)执行校验服务；

(4)发布数据校验结果；

(5)处理跟踪质量问题。

2.如权利要求1所述的质量管控方法，其特征在于，所述步骤(1)中，包括元数据信息设置；数据项是指数据仓库中数据表的值域，其元数据包括非空校验、零校验、是否进行范围校验、最大值、最小值和引用范围校验；数据集是指数据仓库中的一个表，其元数据包括数据频率、时间格式以及数据集维护人信息；通过元数据信息，实现数据本身的合理性校验。

3.如权利要求1所述的质量管控方法，其特征在于，所述步骤(1)中，包括设置校验规则；基于数据库表域名技术，实现数据仓库模型选择器，支持对数据集中数据的选择和过滤条件的设置，形成动态查询语句；通过运算符连接动态查询语句，实现数据校验规则定义；元数据校验通过校验规则设定，不需要设置规则表达式，***直接调用元数据信息。

4.如权利要求1所述的质量管控方法，其特征在于，所述步骤(1)中，校验规则定义包括及时性校验的时间定义；时间表达式包括时间类型和时间值；时间类型包括绝对时间和相对时间，绝对时间的格式为年/月/日/时/分；相对时间以小时为单位；时间表达式运用于校验规则中。

5.如权利要求1所述的质量管控方法，其特征在于，所述步骤(2)中，校验任务与一个或多个校验规则关联，共享任务执行时间和执行频率。

6.如权利要求1所述的质量管控方法，其特征在于，所述步骤(3)中，校验任务由后台进程周期扫描，如果满足执行时间要求，则触发任务，解析关联的校验规则并执行逻辑判断，并记录校验结果。

7.如权利要求1所述的质量管控方法，其特征在于，所述步骤(4)中，校验结果结合消息机制，通过邮件或者短信接口，自动发送至数据集的维护人，提醒维护人员尽快处理。

8.如权利要求1所述的质量管控方法，其特征在于，所述步骤(5)中，为数据质量的解决过程设计了反馈和跟踪机制，加强了对质量问题的管控智能。

9.一种如权利要求1-8中任一项所述的用于电力交易数据仓库的质量管控方法的管控***，其特征在于，所述***包括：

<1>校验规则设置模块：包括元数据信息设置模块、校验规则配置模块和及时性时间定义模块，用于设置数据集的数据项本身、同一个数据集的数据项之间以及不同数据集的数据项之间的数据校验规则；

<2>校验任务管理模块：用于设置校验任务参数，所述校验任务参数包括关联的校验规则、校验类型、告警级别、任务执行时间、告警通知方式和通知时间；一个任务关联一个或多个校验规则，校验规则共用一套校验任务参数；

<3>校验服务执行模块：通过后台的校验服务引擎，周期扫描校验任务，对符合时间要求的任务，读取其关联的校验规则，解析并执行数据查询脚本和逻辑运算，保存校验结果；同时通过消息机制，将校验结果发布至数据管理人员；

<4>校验结果统计模块：查询数据集的校验结果，统计数据集的合理性、一致性、完整性和及时性指标，对其进行排序分析和历史趋势分析，发现重点关注的数据；

<5>问题处理跟踪模块：对于没有通过校验的规则，管控***自动生成问题处理事件，要求维护人员在解决问题后，录入事件的解决措施和解决时间，并申请再次进行数据校验；重新校验由质量管控专责通过人工触发完成；如果通过，则记录事件确认标记，通过跟踪环节，监控异常数据处理情况。