CN107066500A - 一种基于pms模型的电网海量数据质量校验方法 - Google Patents
一种基于pms模型的电网海量数据质量校验方法 Download PDFInfo
- Publication number
- CN107066500A CN107066500A CN201611265616.7A CN201611265616A CN107066500A CN 107066500 A CN107066500 A CN 107066500A CN 201611265616 A CN201611265616 A CN 201611265616A CN 107066500 A CN107066500 A CN 107066500A
- Authority
- CN
- China
- Prior art keywords
- data
- quality
- engine
- service
- pms
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000009825 accumulation Methods 0.000 claims abstract description 29
- 238000012550 audit Methods 0.000 claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000012546 transfer Methods 0.000 claims abstract description 19
- 238000013524 data verification Methods 0.000 claims description 15
- 241001269238 Data Species 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims 1
- 238000012795 verification Methods 0.000 abstract description 8
- 238000012937 correction Methods 0.000 abstract description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 238000012800 visualization Methods 0.000 abstract description 3
- 230000003862 health status Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000013499 data model Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于PMS模型的电网海量数据质量校验方法，提供一种数据质量校验***，该***包括依次互相连接的存储层、引擎层、处理层和展示层，所述存储层包括关系数据库和实时数据库，所述引擎层包括数据传输检测引擎、数据质量检测引擎和数据质量审计引擎，所述处理层包括数据传输检测服务、数据质量检测服务和数据质量审计服务；本发明通过实时数据交互工具，可以快速完成实时数据的接入功能；根据电网测点模型树并结合多种校验方法针对数据传输状态、数据健康状态等进行综合评价，通过数据质量校验模块，提高各业务***中数据质量检测准确性，通过数据质量审计模块，提供了可视化、完整性的数据质量审计报告。
Description
技术领域
本发明属于电网运营监测技术领域，具体是涉及一种基于PMS模型的电网海量数据质量校验方法。
背景技术
在国家电网公司“十二五规划”指导下，海量准实时数据服务平台的建设已完成，在部分省公司，该平台将大量的实时数据导入管理信息大区中，参与信息数据的融合分析，实现对生产管理***、SCADA、调度自动化、计量表计、在线监测等***实时类数据的采集、存取和分析，实现了业务数据的分析和高级应用(如线损分析、负荷分析等)。但随着电网自动化***采集量的不断增大，覆盖范围越来越广，存储数据将成倍增长，对数据的完整性、唯一性、及时性、合法性、一致性和精确性等提出了更加严格的要求以便于大数据挖掘分析促进电网大数据业务的发展。
工程生产管理***(PMS，power production management system)是基于统一应用平台PI3000构建，采用B/S和C/S混合模式的多层(具体分为数据层、服务层和表现层)架构***。PI3000平台是根据SG186工程统一应用平台的指导原则，融合当前业务基础软件平台理念，基于模型驱动和构件化思想研发的一套面向电力行业的业务基础软件平台。其设计目标是能针对电力企业复杂多变的需求一致地创建和维护业务模型，并为个性化应用开发提供完备的基础设施，自动或辅助应用***的生成，最大程度提高应用***的开发和实施效率。构建其上的PMS将高度统一并具有很好的持续扩展能力，并能在符合标准规范。
PMS建立的是一个以资产管理为核心，业务覆盖公司总部、网省公司、地市公司三个层面、贯穿电网输、变、配生产全过程的一体化生产管理信息平台，对实现电网生产集约化、精细化、标准化管理，提高公司资产管理水平具有十分重要的意义。PMS作为生产管理和一线班组的工作平台，通过标准规范、流程监控、安全监控等手段，最终实现对生产管理的风险预控与辅助决策。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于PMS模型的电网海量数据质量校验方法，可以快速完成实时数据的接入功能；通过数据质量校验模块，提高各业务***中数据质量检测准确性；通过数据质量审计模块，提供了可视化、完整性。
技术方案：为实现上述目的，本发明的一种基于PMS模型的电网海量数据质量校验方法，提供一种数据质量校验***，该***包括依次互相连接的存储层、引擎层、处理层和展示层，所述存储层包括关系数据库和实时数据库，所述引擎层包括数据传输检测引擎、数据质量检测引擎和数据质量审计引擎，所述处理层包括数据传输检测服务、数据质量检测服务和数据质量审计服务；
所述方法包括以下步骤：
S1数据采集：通过FTP传输E文件的方式采集数据，具体是数据首先进入FTP服务器形成E文件数据，然后该E文件数据进入接口服务器；
S2进入存储层：接口服务器内数据随后进入存储层并被存入存储层内实时数据库中；
S3进入引擎层：通过引擎层选择数据传输检测引擎；
S4进入处理层：根据数据传输检测引擎进入数据传输检测服务，具体是检测FTP服务器和接口服务器之间的数据传输状态并将数据传输状态存入存储层内关系数据库中；
S5进入引擎层：通过引擎层选择数据质量检测引擎；
S6进入处理层：根据数据质量检测引擎进入数据质量检测引擎服务，具体是检测存储层内实时数据库中数据质量情况并将数据质量情况存入存储层内关系数据库中；
S7进入引擎层：通过引擎层选择数据质量审计引擎；
S8进入处理层：根据数据质量审计引擎进入数据质量审计服务，根据选择的数据源和时间参数调用关系数据库中的数据质量审计报告并查看相关数据质量情况；
S9进入展示层：展示层用于展示相关数据质量情况。
进一步地，所述步骤S4包括以下步骤：
FTP服务器和接口服务器之间的数据传输状态为FTP中断时，则需报警，现场人员处理该报警信息以保持FTP传输顺利。
进一步地，所述步骤S6包括以下步骤：
S61构建电网测点模型树；
S62在测点模型树中批量选中需要检测的测点；
S63新增一组数据质量校验方法，该数据质量校验方法包括数据漏点检测法、数据为空检测法、数据为0检测法、数据跳跃检测法、数据毛刺检测法和数据重复筛选法；
S64根据选中测点加载不同类型的数据质量校验方法生成数据质量校验规则库文件并将该数据质量校验规则库***存储层内关系数据库中；
S65调用数据质量检测服务，通过读取关系数据库中数据质量校验规则库文件并从实时数据库中相关测点每日数据开始进行数据质量检测，最后将相关测点数据质量记录存入关系数据库中。
进一步地，所述步骤S8包括以下步骤：
S81调用数据质量审计服务，利用JXL技术将关系数据库中存储的相关数据质量情况和数据传输状态生成Excel格式文件或利用iText技术将关系数据库中存储的相关数据质量情况和数据传输状态生成PDF格式文件，将生成的Excel格式文件或PDF格式文件作为数据质量审计报告；
S82选择数据源和时间参数，调用关系数据库中的数据质量审计报告并查看该数据源中电网测点模型树种已经选中的测点的数据质量情况。
进一步地，所述步骤S9中，所述展示层展示相关数据质量情况，相关数据质量情况包括FTP中断、数据为空、数据为0、数据漏点、数据重复、数据跳跃和数据毛刺。
有益效果：本发明与现有技术比较，具有的优点是：
本发明通过实时数据交互工具，可以快速完成实时数据的接入功能；根据电网测点模型树并结合多种校验方法针对数据传输状态、数据健康状态等进行综合评价，通过数据质量校验模块，提高各业务***中数据质量检测准确性，通过数据质量审计模块，提供了可视化、完整性的数据质量审计报告；
本发明提供一种基于PMS设备模型结构的电网海量数据质量校验方法，通过整合调度主、配网设备模型，并完成和海量实时数据挂接，在海量数据平台上形成一个完整的电网实时数据设备模型，结合电网实时数据设备模型配置不同的数据质量规则校验方法进行海量数据的质量校验对不同的业务***进行数据质量审计，对数据质量的缺陷、告警等结果反馈给管控部门，为相关业务部门提供分许决策的基础，为海量数据挖掘、高级应用分析提供强有力的支撑；实现基于海量数据平台的数据质量校验、应用定制，争取将各业务部门基于实时数据的应用开发吸引到使用平台的工具简单配置生成，避免大量不必要的数据质量清洗工作，减轻运维人员的压力，提高运维的工作效率。
附图说明
图1是基于PMS的电网实时数据质量校验流程图。
图2是基于PMS模型的数据质量校验***架构图。
图3是数据传输检测模块结构图。
图4是生成数据质量校验规则库文件流程图。
图5是基于PMS模型的实时数据检验***功能模块图。
图6是组件实例化流程图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
本发明提出了一种基于PMS模型的电网海量数据质量校验方法，基于PMS的设备模型结构，主要是整合调度主、配网设备模型，再完成和海量实时数据的挂接，在海量平台上形成一个完整的电网实时数据设备模型，结合电网实时数据设备模型配置不同的数据质量规则校验方法进行海量数据的质量校验对不同的业务***进行数据质量审计，参照图1，图1为基于PMS的电网实时数据质量校验流程图，首先是搭建基于PMS的电网实时数据模型，分别接入地市的EMS数据和DMS数据和接入网省的PMS模型，针对接入网省的PMS模型，需要根据各类设备定义生成基于PMS模型的实时数据模型；针对接入地市的EMS和DMS数据以及定义生成基于PMS模型的实时数据模型，需要根据调研处的各地PMS、EMS匹配规则进行匹配，对于匹配失败的测点形成web清单交由地市公司配合项目组解决，通过人工寻找问题，修改规范命名或改善匹配规则，对于匹配成功的解析地市的E文件数据并将该E文件数据通过接口进行接入，然后生成能对应到相关模型的实时数据存储，通过加载数据质量校验规则库，最后进行基于模型树的数据质量校验。
本发明提出了一种基于PMS模型的电网海量数据质量校验方法，提供一种数据质量校验***，参照图2，图2为基于PMS模型的数据质量校验***架构图，数据质量校验***包括依次互相连接的存储层、引擎层、处理层和展示层，其中存储层用于存储数据，存储层内设有关系数据库、实时数据库和数据质量规则库(ctl文件)，引擎层包括数据传输检测引擎和数据质量检测引擎，处理层包括数据传输检测服务、数据质量检测服务和数据质量审计服务，展示层用于展示数据质量情况；根据该数据质量校验***架构图实现数据质量校验方法，具体包括以下步骤：首先对海量实时数据进行采集，本发明针对接入接口采用的是FTP传输E文件的方式采集海量实时数据，具体实现方法是在接口服务器前连接FTP服务器，参照图3，FTP服务器和接口服务器相互连接，接口服务器和海量平台数据质量服务器互相连接，海量平台数据质量服务器和海量平台数据质量客户端互相连接，海量实时数据进入FTP服务器中形成E文件数据，该E文件数据被发送到接口服务器中，接口服务器获取FTP服务器上E文件数据，然后将该数据存入到存储层内实时数据库中，等效于存入海量平台数据质量服务器内安装的实时数据库中，海量平台数据质量服务器内还安装关系数据库等效于存储层内关系数据库，海量平台数据质量服务器获取FTP服务器和接口服务器之间数据传输状态，FTP服务器和接口服务器之间数据传输状态存入关系数据库中，海量平台数据质量服务器将数据质量相关数据发送到海量平台数据质量客户端内；针对E文件解析方式获取海量数据的方式时，数据质量校验之前需要进行数据传输状态检测，通过引擎层内数据传输检测引擎进入处理层中数据传输检测服务，调用数据传输检测服务过程中，在接口服务器中利用FTP服务监控检测技术监控FTP服务器和接口服务器之间的数据传输状态，并依靠JDBC技术将数据传输状态记录存入存储层内关系数据库中以备后续生成数据质量审计报告，如果出现FTP中断则及时报警，现场人员应立刻处理报警信息以保持FTP传输顺利；通过引擎层内数据质量检测引擎进入处理层中数据质量检测服务，通过调用数据质量检测服务检测存储层内实时数据库中数据质量情况并将数据质量情况存入存储层内关系数据库中；通过引擎层内数据质量审计引擎进入数据质量审计服务，调用数据质量审计服务，根据选择的数据源和时间参数调用关系数据库中的数据质量审计报告并查看相关测点数据质量情况；通过展示层展示相关数据质量情况，相关数据质量情况具体是根据在生成数据质量校验规则库文件中采用的校验规则确定的，包括FTP中断、数据为空、数据为0、数据漏点、数据重复、数据跳跃和数据毛刺；通过引擎层内数据质量检测引擎进入处理层中数据质量检测服务具体包括以下步骤：首先生成数据质量校验规则库文件，参照图4，将接口服务器采集到的测点基于PMS电网模型构建测点模型树；加载电网数据测点模型树；新增一组数据质量校验方法，该数据质量校验方法包括数据漏点检测法、数据为空检测法、数据为0检测法、数据跳跃检测法、数据毛刺检测法和数据重复筛选法；在数据源中测点模型树中的测点上加载不同类型的校验方法，生成数据质量校验规则库文件并将该数据质量校验规则库***存储层内关系数据库中；以下对不同类型的数据质量校验方法计算方法进行说明：
数据为空：查询测点无数据；
数据漏点：查询测点的采集周期，套用公式：24(小时)*(60/数据采集周期(分钟))-当日所有数据记录总数，则得到当日该测点的漏点数目；
数据为0：根据现场情况设置数据零漂，如果出现数据为0，可以根据该条数据的状态判断为0的值是否为正常，数据的状态记录了该条数据对应的设备的运行状态。设备在运行状态时候根据量测类型来判断测点数据为0是否正常；设备非运行状态时，数据为0才是正常状态；
数据跳跃：若测点的数据变化超过上一测点的20％，则认为是跳变的数据，在跳变的数据中需要根据数据中状态值判断该数据是否为正确的数据，数据状态值记录了该数据对应设备的运行状态；
数据毛刺：若测点的数据变化超过上一测点的30％，则认为是毛刺的数据，在跳变的数据中需要根据数据中状态值判断该数据是否为正确的数据，数据状态值记录了该数据对应设备的运行状态；
数据重复：查询实时库中是否有重复的测点；
通过引擎层内数据质量检测引擎进入处理层中数据质量检测服务，调用数据质量检测服务,通过读取关系数据库中数据质量校验规则库文件并从实时数据库中相关测点每日数据开始进行数据质量检测，最后将相关测点数据质量记录存入关系数据库中以便后续生成数据质量审计报告。
通过引擎层内数据质量审计引擎进入数据质量审计服务，调用数据质量审计服务，根据选择的数据源和时间参数调用关系数据库中的数据质量审计报告并查看相关数据质量情况；利用JXL技术将关系数据库中存储的相关数据质量情况和数据传输状态生成Excel格式文件或利用iText技术将关系数据库中存储的相关数据质量情况和数据传输状态生成PDF格式文件，将生成的Excel格式文件或PDF格式文件作为数据质量审计报告，数据质量审计结果包括FTP中断、数据为空、数据为0、数据漏点、数据重复、数据跳跃和数据毛刺，选择数据源和时间参数，调用关系数据库中的数据质量审计报告并查看该数据源中电网测点模型树种已经选中的测点的数据质量情况；
进入展示层，展示层用于展示相关数据质量情，展示关于数据一致性、完整性、正确性等审计结果，数据质量审计结果包括FTP中断、数据为空、数据为0、数据漏点、数据重复、数据跳跃和数据毛刺。
将基于PMS模型的实时数据检验***功能模块化得到如图5所示的实时数据校验***功能模块图，在该***功能模块图中包括了菜单管理组件、组件管理、页面模板管理、数据质量审计模块、数据质量校验模块、实时数据交互模块、实时数据检索、数据模型关联模块和数据传输检测模块；将组件实例化，参照图6，从组件库中选择组件，配置参数，展示数据模型树形结构，从数据模型树形结构中选择测点，参数配置完成，生成组件实例，配置测点相关数据质量校验规则。
实施例：
参照图3，图3所示为FTP服务器和接口服务器相互连接，接口服务器和海量平台数据质量服务器互相连接，海量平台数据质量服务器和海量平台数据质量客户端互相连接，在海量平台数据质量服务器上安装实时数据库以及oracle关系数据库，关系数据库中存储设备id，接入网省的PMS模型和其他配置信息，针对采用E文件解析方式获取海量数据的方式时数据质量校验需要启动数据传输检测程序，该程序监控接口服务器和FTP服务器的通信过程，如果出现FTP中断则及时报警并在关系数据库中生成记录文件以备生成数据质量审计报告，现场人员应该立刻处理报警信息，保持FTP传输顺利；
然后通过海量平台数据质量客户端登陆海量平台数据质量校验***打开校验规则库配置页面，在测点模型树种选择需要校验的测点并配置校验的方法，如数据漏点检测法、数据为空检测法、数据为0检测法、数据跳跃检测法、数据毛刺检测法和数据重复筛选法；生成校验规则库文件并将该数据质量校验规则库文件***关系数据库中；随后数据质量校验程序读取关系数据数据库中的数据质量校验规则库文件(ctl文件)，并从实时数据库中抽取符合校验算法的开始进行质量校验，计算完成后将数据质量校验的一致性、完整性、正确性等指标生成记录***关系数据库中供数据质量审计服务调用；
登陆海量平台数据质量校验***打开数据质量审计页面，选择数据源和时间参数后，数据质量审计服务调用关系数据库中的数据质量审计报告查看该数据源中模型树种已经选中的测点的质量报告，可以选择打印。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种基于PMS模型的电网海量数据质量校验方法，其特征在于：提供一种数据质量校验***，该***包括依次互相连接的存储层、引擎层、处理层和展示层，所述存储层包括关系数据库和实时数据库，所述引擎层包括数据传输检测引擎、数据质量检测引擎和数据质量审计引擎，所述处理层包括数据传输检测服务、数据质量检测服务和数据质量审计服务；
所述方法包括以下步骤：
S1数据采集：通过FTP传输E文件的方式采集数据，具体是数据首先进入FTP服务器形成E文件数据，然后该E文件数据进入接口服务器；
S2进入存储层：接口服务器内数据随后进入存储层并被存入存储层内实时数据库中；
S3进入引擎层：通过引擎层选择数据传输检测引擎；
S4进入处理层：根据数据传输检测引擎进入数据传输检测服务，具体是检测FTP服务器和接口服务器之间的数据传输状态并将数据传输状态存入存储层内关系数据库中；
S5进入引擎层：通过引擎层选择数据质量检测引擎；
S6进入处理层：根据数据质量检测引擎进入数据质量检测服务，具体是检测存储层内实时数据库中数据质量情况并将数据质量情况存入存储层内关系数据库中；
S7进入引擎层：通过引擎层选择数据质量审计引擎；
S8进入处理层：根据数据质量审计引擎进入数据质量审计服务，根据选择的数据源和时间参数调用关系数据库中的数据质量审计报告并查看相关数据质量情况；
S9进入展示层：展示层用于展示相关数据质量情况。
2.根据权利要求1所述的基于PMS模型的电网海量数据质量校验方法，其特征在于：所述步骤S4包括以下步骤：
FTP服务器和接口服务器之间的数据传输状态为FTP中断时，则需报警，现场人员处理该报警信息以保持FTP传输顺利。
3.根据权利要求1所述的基于PMS模型的电网海量数据质量校验方法，其特征在于：所述步骤S6包括以下步骤：
S61加载电网数据测点模型树；
S62在测点模型树中批量选中需要检测的测点；
S63新增一组数据质量校验方法，该数据质量校验方法包括数据漏点检测法、数据为空检测法、数据为0检测法、数据跳跃检测法、数据毛刺检测法和数据重复筛选法；
S64根据选中测点加载不同类型的数据质量校验方法生成数据质量校验规则库文件并将该数据质量校验规则库***存储层内关系数据库中；
S65调用数据质量检测服务，通过读取关系数据库中数据质量校验规则库文件并从实时数据库中相关测点每日数据开始进行数据质量检测，最后将相关测点数据质量记录存入关系数据库中。
4.根据权利要求1所述的基于PMS模型的电网海量数据质量校验方法，其特征在于：所述步骤S8包括以下步骤：
S81调用数据质量审计服务，利用JXL技术将关系数据库中存储的相关数据质量情况和数据传输状态生成Excel格式文件或利用iText技术将关系数据库中存储的相关数据质量情况和数据传输状态生成PDF格式文件，将生成的Excel格式文件或PDF格式文件作为数据质量审计报告；
S82选择数据源和时间参数，调用关系数据库中的数据质量审计报告并查看该数据源中电网测点模型树种已经选中的测点的数据质量情况。
5.根据权利要求1所述的基于PMS模型的电网海量数据质量校验方法，其特征在于：所述步骤S9中，所述展示层展示相关数据质量情况，所述相关数据质量情况包括FTP中断、数据为空、数据为0、数据漏点、数据重复、数据跳跃和数据毛刺。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611265616.7A CN107066500B (zh) | 2016-12-30 | 2016-12-30 | 一种基于pms模型的电网海量数据质量校验方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611265616.7A CN107066500B (zh) | 2016-12-30 | 2016-12-30 | 一种基于pms模型的电网海量数据质量校验方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107066500A true CN107066500A (zh) | 2017-08-18 |
| CN107066500B CN107066500B (zh) | 2020-12-04 |
Family
ID=59624351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611265616.7A Active CN107066500B (zh) | 2016-12-30 | 2016-12-30 | 一种基于pms模型的电网海量数据质量校验方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107066500B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609085A (zh) * | 2017-09-07 | 2018-01-19 | 国网辽宁省电力有限公司 | 一种基于大数据技术的智能电网量测数据处理方法及*** |
| CN107958049A (zh) * | 2017-11-28 | 2018-04-24 | 航天科工智慧产业发展有限公司 | 一种数据质量稽查管理*** |
| CN108170825A (zh) * | 2018-01-05 | 2018-06-15 | 上海电气分布式能源科技有限公司 | 基于云平台的分布式能源数据监控清洗方法 |
| CN110309131A (zh) * | 2019-04-12 | 2019-10-08 | 北京星网锐捷网络技术有限公司 | 海量结构化数据的质量评估方法及装置 |
| CN110727667A (zh) * | 2019-09-25 | 2020-01-24 | 国网安徽省电力有限公司蚌埠供电公司 | 一种电力设备一致性管理*** |
| CN112788083A (zh) * | 2019-11-11 | 2021-05-11 | 福建天晴数码有限公司 | 一种基于ftp进行引擎资源文件传输管理的方法 |
| CN114167198A (zh) * | 2021-10-18 | 2022-03-11 | 国网山东省电力公司平原县供电公司 | 一种同期线损数据的测量方法及测量平台 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140379667A1 (en) * | 2013-02-12 | 2014-12-25 | International Business Machines Corporation | Data quality assessment |
| CN104391903A (zh) * | 2014-11-14 | 2015-03-04 | 广州科腾信息技术有限公司 | 一种基于分布存储和并行计算的电网数据质量检测方法 |
| CN105550511A (zh) * | 2015-12-11 | 2016-05-04 | 北京锐软科技股份有限公司 | 一种基于数据校验技术的数据质量测评***及方法 |
-
2016
- 2016-12-30 CN CN201611265616.7A patent/CN107066500B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140379667A1 (en) * | 2013-02-12 | 2014-12-25 | International Business Machines Corporation | Data quality assessment |
| CN104391903A (zh) * | 2014-11-14 | 2015-03-04 | 广州科腾信息技术有限公司 | 一种基于分布存储和并行计算的电网数据质量检测方法 |
| CN105550511A (zh) * | 2015-12-11 | 2016-05-04 | 北京锐软科技股份有限公司 | 一种基于数据校验技术的数据质量测评***及方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609085A (zh) * | 2017-09-07 | 2018-01-19 | 国网辽宁省电力有限公司 | 一种基于大数据技术的智能电网量测数据处理方法及*** |
| CN107958049A (zh) * | 2017-11-28 | 2018-04-24 | 航天科工智慧产业发展有限公司 | 一种数据质量稽查管理*** |
| CN107958049B (zh) * | 2017-11-28 | 2021-09-14 | 航天科工智慧产业发展有限公司 | 一种数据质量稽查管理*** |
| CN108170825A (zh) * | 2018-01-05 | 2018-06-15 | 上海电气分布式能源科技有限公司 | 基于云平台的分布式能源数据监控清洗方法 |
| CN110309131A (zh) * | 2019-04-12 | 2019-10-08 | 北京星网锐捷网络技术有限公司 | 海量结构化数据的质量评估方法及装置 |
| CN110727667A (zh) * | 2019-09-25 | 2020-01-24 | 国网安徽省电力有限公司蚌埠供电公司 | 一种电力设备一致性管理*** |
| CN110727667B (zh) * | 2019-09-25 | 2023-10-17 | 国网安徽省电力有限公司蚌埠供电公司 | 一种电力设备一致性管理*** |
| CN112788083A (zh) * | 2019-11-11 | 2021-05-11 | 福建天晴数码有限公司 | 一种基于ftp进行引擎资源文件传输管理的方法 |
| CN112788083B (zh) * | 2019-11-11 | 2023-09-01 | 福建天晴数码有限公司 | 一种基于ftp进行引擎资源文件传输管理的方法 |
| CN114167198A (zh) * | 2021-10-18 | 2022-03-11 | 国网山东省电力公司平原县供电公司 | 一种同期线损数据的测量方法及测量平台 |
| CN114167198B (zh) * | 2021-10-18 | 2024-03-01 | 国网山东省电力公司平原县供电公司 | 一种同期线损数据的测量方法及测量平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107066500B (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107066500A (zh) | 一种基于pms模型的电网海量数据质量校验方法 | |
| CN111177101B (zh) | 一种基于大数据架构的配电网多维可视化平台 | |
| CN103762723B (zh) | 用于管理电网的方法和*** | |
| CN109447480A (zh) | 一种基于bim+gis建模的路桥工程设备安全监控***及方法 | |
| CN107818227A (zh) | 一种基于bim的桥梁检测信息管理方法及*** | |
| CN109658067A (zh) | 一种电力工程项目管控平台及*** | |
| CN107256247A (zh) | 大数据数据治理方法和装置 | |
| CN106557991A (zh) | 电压监测数据平台 | |
| CN107402332A (zh) | 一种智能配电终端多表位自动检测***及其检测方法 | |
| CN102147597A (zh) | 一种重大建筑与桥梁结构的健康监测*** | |
| CN111027834A (zh) | 基于三维检测技术的电力电缆信息化管理***及方法 | |
| CN104777813A (zh) | 综合气象观测运行监控***及其监控方法 | |
| CN109284346A (zh) | 一种基于云计算的配电网规划方法及装置 | |
| CN103514514A (zh) | 电力营销业务数据在线监测方法 | |
| CN103941675A (zh) | 基于无线网络的安全监测管理*** | |
| CN106874483A (zh) | 一种基于大数据技术的图形化的数据质量评测的装置及方法 | |
| CN107451737A (zh) | 一种用于建设工程施工图审查的大数据o2o审图云平台管理*** | |
| CN106022617A (zh) | 一种基于营销多***数据中心的稽查管控*** | |
| CN105574698A (zh) | 基于大数据下的智能仓储管理*** | |
| US20140006398A1 (en) | System and Method for Energy Management Information System Reliability Assurance | |
| CN111524027B (zh) | 一种电力信息统计方法、装置、设备及存储介质 | |
| CN112258159A (zh) | 基于bim+gis的水工结构管理***及方法 | |
| CN106646110A (zh) | 基于GIS和Petri技术的低压配电网故障定位*** | |
| CN106708984A (zh) | 采集电缆通道的基础数据的方法、装置和*** | |
| CN109656909A (zh) | 一种输电专业数据管理*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |