CN102609537A - 一种基于数据库模式下的数据质量审计方法 - Google Patents

一种基于数据库模式下的数据质量审计方法 Download PDF

Info

Publication number
CN102609537A
CN102609537A CN2012100354613A CN201210035461A CN102609537A CN 102609537 A CN102609537 A CN 102609537A CN 2012100354613 A CN2012100354613 A CN 2012100354613A CN 201210035461 A CN201210035461 A CN 201210035461A CN 102609537 A CN102609537 A CN 102609537A
Authority
CN
China
Prior art keywords
data
kpi
processing module
alarm
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100354613A
Other languages
English (en)
Inventor
杨劲锋
陈锐民
肖勇
孙卫明
党三磊
阙华坤
刘健
刘明
王祖祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Guangdong Power Grid Co Ltd filed Critical Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority to CN2012100354613A priority Critical patent/CN102609537A/zh
Publication of CN102609537A publication Critical patent/CN102609537A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于数据库模式下的数据质量审计方法，包括以下内容：预处理模块、采集模块、KPI处理模块、告警信息入库模块和KPI信息入库模块。本方法解决在数据抽取过程中出现的各种复杂原因而导致数据异常情况。对各个需要关注的数据进行实时监测、实现对各种异常数据的快速监测、迅速定位，精确告警，提高***数据的可靠性、可用性与真实性。

Description

一种基于数据库模式下的数据质量审计方法
技术领域
本发明涉及一种数据质量审计技术领域，具体是指提供一种基于数据库模式下的使用规则解析器进行数据质量审计方法。
背景技术
在海量的电力计量数据中，通过建立数据仓库或数据集市***，实现各种数据的海量集中、运算以及数据的挖掘、预测分析等。而这些基础源数据我们通常都认为是正确无误的。但在实际过程中，我们通过分析全省计量自动化主站***发现，各源数据在数据采集、数据上送、及最终数据中间计算等过程中，都有可能存在数据的异常与差错。比如：主站计量数据由于无法采集远程终端数据造成数据缺失，或由于业务管理等原因造成***数据的可用性及可靠性降低，而手工修改部分数据，或者一些计算规则的调整而到底数据差异等。
传统的数据质量审计方法多用数据库存储过程实现，虽然能支持复杂的数据审计规则，但是对开发者的要求很高，并且代码的重用性不高。另一方面，因为大量的数据在数据库进行审计，加大了数据库的负荷，影响数据库的性能。
发明内容
本发明的目的在于提供一种基于数据库模式下的数据质量审计方法，解决在数据抽取过程中出现的各种复杂原因而导致数据异常情况。对各个需要关注的数据进行实时监测、实现对各种异常数据的快速监测、迅速定位，精确告警，提高***数据的可靠性、可用性与真实性。
本发明的目的可通过以下的技术措施来实现：
一种基于数据库模式下的数据质量审计方法，包括以下内容：
A)、预处理模块接受采集处理模块发送过来的采集请求，从生产***抽取原始数据，对原始数据进行数据加工，并向采集处理模块返回最终的符合预处理模块与采集处理模块约定的数据交换格式数据；
所述的数据加工包括按照每个KPI指标特定要求所进行的数据计算；所述KPI指标为关键性能指标，所述KPI指标特定要求包括数据类型转换。
所述数据交换格式为XML交换格式。
B)、采集处理模块根据各KPI指标设置的采集周期，按时间周期，向预处理模块发送采集请求，当请求结果数据返回后，对结果数据进行基本判断，并且通过消息队列向KPI信息入库模块传送采集的KPI数据值；以及，通过消息队列向KPI处理模块传送采集的KPI数据值；
C）、KPI处理模块从消息队列中获取需要处理的由采集处理模块写入的KPI数据值，并且加载各KPI对应的规则，由KPI对象规则解析器对采集的数据值进行规则解析，判断是否存在数据质量问题；其中，如果数据异常，则将告警数据写入告警消息队列，非告警数据写入非告警数据队列中；
所述KPI对应的规则包括布尔型规则、字符串型规则、区间型规则、枚举零散型规则。
D）、告警信息入库模块从消息队列中获取需要告警的数据，并且将告警数据写入到数据库中；
E）、KPI信息入库模块将采集处理模块采集的KPI数据值写入到数据库中。
本发明对比现有技术，有如下优点：
1、实现了对整个广东电网计量自动化***上传数据的质量检测与跟踪，对各数据实现全面的数据梳理、监察各数据差异、自动依据各规则对数据进行跟踪，并对各异常数据进行数据报警。
2、提供了常态化的内控数据监管模式，通过数据质量审计对广东电网计量自动化***发现、总结和挖掘所存在问题，不断有针对性的加强计量管理重点并优化计量相关流程，以加强计量管理能力、提高计量工作效率、改善计量工作质量。
附图说明
图1是本发明方法的数据审计逻辑实现图；
图2是本发明方法中的数据审计流程示意图。
具体实施方式
数据质量审计功能共分三大模块，分别是KPI指标管理、数据质量分析和告警管理。
1)、KPI指标管理
需要校验的数据分为基础资料数据、计量数据和文件三类。对基础资料数据需要进行关联完整性和重要属性非空校验；对计量数据需要进行明细数据和汇总计量数据突变校验，线损数据超阀值校验，汇总计量数据一致性校验，明细数据完整率校验。对文件校验是指接口文件规范性校验和接口文件装载数据规范性校验。
a、创建指标
在前台页面增加创建KPI指标的功能，允许用户建立数据的值范围、校验规则以及检验策略等。
b、编辑指标
允许对已存在的KPI指标进行编辑。
c、查询指标
对KPI指标分类别查询。
d、删除指标
删除已制定的KPI指标。
2)、数据质量分析
用户创建KPI指标时，定义了所需要校验的数据，数据的来源，数据值校验策略等，程序需要预先加载所有的KPI指标，然后再进行数据查询，将查询的结果按照数据值校验策略进行数据的质量分析，然后向告警管理模块输出有异常的数据的集合。
a、查询数据
在创建KPI指标时，通过SQL语句定义需要校验的数据，程序会在KPI指标指定的时间里执行SQL语句，进行数据库查询，然后将返回的结果输出至数据分析模块。
b、分析数据
接收数据查询模块输出的查询结果，对各项数据集的数据值按照KPI指标校验策略进行数据质量分析，将不合格的数据记录在非法数据集，向告警管理输出非法数据集。
3)、告警管理
接收数据分析模块输出的非法数据集，根据规则产生告警，提供相应的告警查询和告警处理功能；为了更方便的处理数据的质量问题，允许用户设置告警是否产生工单，对允许产生工单的告警，按照一定的策略自动产生工单，如对工单进行了处理，则相应的告警状态设置为归档。
a、查询告警
对产生的告警提供前台查询功能。
b、处理告警
对告警进行处理，用户可对告警进行“暂存”和“归档”。
c、产生工单
***对告警根据工单生成规则，自动生成工单，转入工单管理平台。
上述数据质量审计功能模块的数据审计过程如下：
A)、预处理模块接受采集处理模块发送过来的采集请求，从生产***（或称为数据源）抽取原始数据，对原始数据进行数据加工，并向采集处理模块返回最终的符合预处理模块与采集处理模块约定的数据交换格式（如XML交换格式）数据；
数据加工包括按照每个KPI指标特定要求所进行的数据计算；KPI指标为关键性能指标（KPI,Key Performance Indicator），KPI指标特定要求包括数据类型转换。
B)、采集处理模块根据各KPI指标设置的采集周期，按时间周期，向预处理模块发送采集请求，当请求结果数据返回后，对结果数据进行基本判断，并且通过消息队列向KPI信息入库模块传送采集的KPI数据值；以及，通过消息队列向KPI处理模块传送采集的KPI数据值；
采集周期由业务人员根据各KPI的实际情况定义，比如对于线损日数据，一般采集周期设置为每天采集，如果是月数据，则设置采集周期为月。
KPI是为了达到实现数据审计的目标而根据业务实际情况而量化、设定的各种考核指标。如为了实现对综合线损率的质量审计，可以定义KPI，名称为：综合线损率环比率，以实现对综合线损率数据环比。
C）、KPI处理模块从消息队列中获取需要处理的由采集处理模块写入的KPI数据值，并且加载各KPI对应的规则，由KPI对象规则解析器对采集的数据值进行规则解析，判断是否存在数据质量问题；其中，如果数据异常，则将告警数据写入告警消息队列，非告警数据写入非告警数据队列中；KPI对应的规则包括布尔型规则、字符串型规则、区间型规则、枚举零散型规则。
D）、告警信息入库模块从消息队列中获取需要告警的数据，并且将告警数据写入到数据库中，以方便前台呈现，便于客户追踪、发现数据质量问题；
E）、KPI信息入库模块将采集处理模块采集的KPI数据值写入到数据库中。
对全省各地市计量自动化***的数据进行质量审计与监管，提高了全省计量自动化***数据的可靠性、可用性。通过数据质量审计***的建设，加强了计量管理能力、提高了计量工作效率、改善了计量工作质量，进而推进了广东电网公司整体计量服务水平的可持续性提升。
在生产过程中，通过数据质量审计***，可以对关注的业务数据进行告警规则定义，通过告警数据及时发现数据异常情况，督促各地市计量自动化***对相关的业务或数据进行整改或处理。
本发明的实施方式不限于此，在本发明上述基本技术思想前提下，按照本领域的普通技术知识和惯用手段对本发明内容所做出其它多种形式的修改、替换或变更，均落在本发明权利保护范围之内。

Claims (5)

1.一种基于数据库模式下的数据质量审计方法，其特征在于包括以下内容：
A)、预处理模块接受采集处理模块发送过来的采集请求，从生产***抽取原始数据，对原始数据进行数据加工，并向采集处理模块返回最终的符合预处理模块与采集处理模块约定的数据交换格式数据；
B)、采集处理模块根据各KPI指标设置的采集周期，按时间周期，向预处理模块发送采集请求，当请求结果数据返回后，对结果数据进行基本判断，并且通过消息队列向KPI信息入库模块传送采集的KPI数据值；以及，通过消息队列向KPI处理模块传送采集的KPI数据值；所述KPI指标为关键性能指标；
C）、KPI处理模块从消息队列中获取需要处理的由采集处理模块写入的KPI数据值，并且加载各KPI对应的规则，由KPI对象规则解析器对采集的数据值进行规则解析，判断是否存在数据质量问题；其中，如果数据异常，则将告警数据写入告警消息队列，非告警数据写入非告警数据队列中；
D）、告警信息入库模块从消息队列中获取需要告警的数据，并且将告警数据写入到数据库中；
E）、KPI信息入库模块将采集处理模块采集的KPI数据值写入到数据库中。
2.根据权利要求1所述的基于数据库模式下的数据质量审计方法，其特征在于：所述的数据加工包括按照每个KPI指标特定要求所进行的数据计算。
3.根据权利要求2所述的基于数据库模式下的数据质量审计方法，其特征在于：所述KPI指标特定要求包括数据类型转换。
4.根据权利要求1所述的基于数据库模式下的数据质量审计方法，其特征在于：所述数据交换格式为XML交换格式。
5.根据权利要求1所述的基于数据库模式下的数据质量审计方法，其特征在于：所述KPI对应的规则包括布尔型规则、字符串型规则、区间型规则、枚举零散型规则。
CN2012100354613A 2012-02-17 2012-02-17 一种基于数据库模式下的数据质量审计方法 Pending CN102609537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100354613A CN102609537A (zh) 2012-02-17 2012-02-17 一种基于数据库模式下的数据质量审计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100354613A CN102609537A (zh) 2012-02-17 2012-02-17 一种基于数据库模式下的数据质量审计方法

Publications (1)

Publication Number Publication Date
CN102609537A true CN102609537A (zh) 2012-07-25

Family

ID=46526909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100354613A Pending CN102609537A (zh) 2012-02-17 2012-02-17 一种基于数据库模式下的数据质量审计方法

Country Status (1)

Country Link
CN (1) CN102609537A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034209A (zh) * 2012-12-18 2013-04-10 湖南大唐先一科技有限公司 一种在线测量数据准确性甄别方法
CN103414601A (zh) * 2013-07-19 2013-11-27 广东电网公司电力调度控制中心 用于通信资源管理***的数据检测方法和***
CN103514514A (zh) * 2013-09-23 2014-01-15 广州供电局有限公司 电力营销业务数据在线监测方法
CN103530328A (zh) * 2013-09-26 2014-01-22 杭州意能软件有限公司 一种数据统计分析***和方法
CN104102968A (zh) * 2013-04-15 2014-10-15 ***通信集团宁夏有限公司 一种移动关键业务的预警方法及装置
CN104217276A (zh) * 2013-06-05 2014-12-17 上海宝信软件股份有限公司 基于规则的自动化审计方法及***
WO2015024336A1 (zh) * 2013-08-20 2015-02-26 京东方科技集团股份有限公司 设备故障报警方法，装置与cim***
CN104820720A (zh) * 2015-05-26 2015-08-05 北京京东尚科信息技术有限公司 一种数据质量检测方法和装置
CN104866619A (zh) * 2015-06-09 2015-08-26 北京京东尚科信息技术有限公司 数据仓库的数据监控方法和***
CN107133231A (zh) * 2016-02-29 2017-09-05 中移(苏州)软件技术有限公司 一种数据获取方法和装置
CN107491930A (zh) * 2017-06-28 2017-12-19 华迪计算机集团有限公司 一种审计工作管控***及方法
CN108170707A (zh) * 2017-11-22 2018-06-15 国政通科技股份有限公司 一种数据质量检测的方法和***
CN110472102A (zh) * 2019-08-22 2019-11-19 北京锐安科技有限公司 一种数据处理方法、装置、设备和存储介质
CN111475500A (zh) * 2020-04-10 2020-07-31 浙江大学 一种自动发现审计规则和异常数据的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123786A (zh) * 2007-07-26 2008-02-13 ***通信集团山东有限公司 Gprs业务智能控制方法
CN101854652A (zh) * 2010-06-23 2010-10-06 天元莱博(北京)科技有限公司 一种电信网络业务性能监控***
CN101984702A (zh) * 2010-11-19 2011-03-09 中兴通讯股份有限公司 移动数据业务质量的监控预警方法及装置
CN102149119A (zh) * 2011-04-27 2011-08-10 浪潮通信信息***有限公司 一种语音业务质量端到端的分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123786A (zh) * 2007-07-26 2008-02-13 ***通信集团山东有限公司 Gprs业务智能控制方法
CN101854652A (zh) * 2010-06-23 2010-10-06 天元莱博(北京)科技有限公司 一种电信网络业务性能监控***
CN101984702A (zh) * 2010-11-19 2011-03-09 中兴通讯股份有限公司 移动数据业务质量的监控预警方法及装置
CN102149119A (zh) * 2011-04-27 2011-08-10 浪潮通信信息***有限公司 一种语音业务质量端到端的分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋国杰 等: "《实时主动数据仓库的概念、问题及应用》", 《计算机研究与发展》 *
泰克科技（中国）有限公司: "《优化UMTS网络KPI出奇招》", 《通信产业报》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034209A (zh) * 2012-12-18 2013-04-10 湖南大唐先一科技有限公司 一种在线测量数据准确性甄别方法
CN103034209B (zh) * 2012-12-18 2016-02-17 湖南大唐先一科技有限公司 一种在线测量数据准确性甄别方法
CN104102968A (zh) * 2013-04-15 2014-10-15 ***通信集团宁夏有限公司 一种移动关键业务的预警方法及装置
CN104217276A (zh) * 2013-06-05 2014-12-17 上海宝信软件股份有限公司 基于规则的自动化审计方法及***
CN103414601A (zh) * 2013-07-19 2013-11-27 广东电网公司电力调度控制中心 用于通信资源管理***的数据检测方法和***
WO2015024336A1 (zh) * 2013-08-20 2015-02-26 京东方科技集团股份有限公司 设备故障报警方法，装置与cim***
CN103514514A (zh) * 2013-09-23 2014-01-15 广州供电局有限公司 电力营销业务数据在线监测方法
CN103530328B (zh) * 2013-09-26 2016-08-17 浙江省电力锅炉压力容器检验所有限公司 一种数据统计分析***和方法
CN103530328A (zh) * 2013-09-26 2014-01-22 杭州意能软件有限公司 一种数据统计分析***和方法
CN104820720A (zh) * 2015-05-26 2015-08-05 北京京东尚科信息技术有限公司 一种数据质量检测方法和装置
CN104866619A (zh) * 2015-06-09 2015-08-26 北京京东尚科信息技术有限公司 数据仓库的数据监控方法和***
CN107133231A (zh) * 2016-02-29 2017-09-05 中移(苏州)软件技术有限公司 一种数据获取方法和装置
CN107133231B (zh) * 2016-02-29 2020-09-01 中移(苏州)软件技术有限公司 一种数据获取方法和装置
CN107491930A (zh) * 2017-06-28 2017-12-19 华迪计算机集团有限公司 一种审计工作管控***及方法
CN108170707A (zh) * 2017-11-22 2018-06-15 国政通科技股份有限公司 一种数据质量检测的方法和***
CN110472102A (zh) * 2019-08-22 2019-11-19 北京锐安科技有限公司 一种数据处理方法、装置、设备和存储介质
CN111475500A (zh) * 2020-04-10 2020-07-31 浙江大学 一种自动发现审计规则和异常数据的方法
CN111475500B (zh) * 2020-04-10 2022-04-12 浙江大学 一种自动发现审计规则和异常数据的方法

Similar Documents

Publication Publication Date Title
CN102609537A (zh) 一种基于数据库模式下的数据质量审计方法
WO2021052031A1 (zh) 基于统计四分位距的商品库存风险预警方法、***及计算机可读存储介质
CN107810500A (zh) 数据质量分析
CN105868373B (zh) 电力业务信息***关键数据处理方法及装置
CN112001586B (zh) 基于区块链共识机制的企业联网大数据审计风险控制架构
CN102708518B (zh) 基于地理信息技术的输变电工程环境敏感区综合管理***
CN104408547A (zh) 一种基于数据挖掘的医保欺诈行为的检测方法
CN102708149A (zh) 数据质量管理方法和***
CN104636973A (zh) 一种通过商品构成监控企业虚开***的方法及其***
CN101894319A (zh) 一种烟草企业数据质量管理***及方法
CN102567412A (zh) 一种计算机辅助电网负荷分析的信息处理方法
CN104899143A (zh) 提供数据挖掘的软件同行评审***实现装置
CN109710684B (zh) 一种基于逻辑推理机的智能财务报告生成***
CN104200324A (zh) 一种基于业务知识管理的配置管理方法
CN115358522A (zh) 一种企业在线监测***和方法
CN115798155A (zh) 一种天然气计量分析***
CN111737549A (zh) 一种经济指标智能分析***
CN106871963B (zh) 一种水库供水实时监测管理***
CN104391986A (zh) 业务重分类装置和方法
CN202770475U (zh) 一种烟支物理指标自动化检测分析装置
CN114218216A (zh) 资源管理方法、装置、设备及存储介质
CN115147086A (zh) 一种农民工工资支付监控预警平台***及方法
CN112448840B (zh) 一种通信数据质量监控方法、装置、服务器及存储介质
CN114596162A (zh) 一种智慧型碳交易服务管理***及方法
CN113762735A (zh) 一种基于规则库的数据质量治理***及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120725