CN107368957A - 一种设备状态监测数据质量评测体系的构建方法 - Google Patents

Abstract

本发明公开了一种设备状态监测数据质量评测体系的构建方法，包括以下步骤：（1）分析影响数据质量的因素以及存在的数据质量问题；（2）确定适合的评价维度；（3）构建校验规则；（4）构建评价模型。本发明通过分析影响数据质量的主要因素，研究数据的一致性、数据的准确性、数据的完整性、数据的及时性等关键特性并建立数据质量评价指标和数据校验规则，实现数据质量指标计算、统计分析和综合评价的实时、自动处理，满足***动态、实时进行数据质量好坏量化诊断和评价的要求。

Description

一种设备状态监测数据质量评测体系的构建方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种设备状态监测数据质量评测体系的构建方法。

背景技术

在信息时代以大数据为代表的信息技术正以前所未有的广度、深度与电网生产运行和管理快速融合，发挥着越来越重要的作用，成为新时期电网生产管理精益转型的助推器。大数据的核心在于对产生的海量数据进行挖掘和分析，从而快速地获取有价值信息，转化为知识并进行决策和预判。由于生产数据量非常庞大，且分散在各个信息***，彼此孤立，未能得到有效整合和共享，数据完整性、准确性、一致性等质量问题依然存在。目前数据质量提升面临的主要问题有以下几个方面：

（1）数据来源多：一方面体现在由于信息***的分散建设，处理数据质量的源头***多，另一方面体现在同一类数据甚至是同一个属性，可能来源与不同的***，由于缺少血缘分析，对一部分数据甚至不清楚其源头是哪里；

（2）质量差：包括由于各类字典项不完善导致的产生大量的意义模糊甚至无意义的数据，部分出厂交接的数据以纸质形式存在，旧***的结构化数据因为没有良好的维护变成无意义的结构化数据；

（3）处理慢：当前电网公司的生产域信息***处于从历史上分散独立建设向一体化建设的过度阶段，因此***建设推进和历史数据迁移处于主导地位，数据质量治理工作进展稍处于弱势的地位而没有明显的改善。

因此，针对业务数据数量多、种类庞杂、横跨专业多等特点而引起的数据质量不高的现状，如何利用现有的数据，提高数据质量，满足不同企业的需求是当前面临的一个重要问题。

发明内容

为克服现有技术中存在的不足，本发明提出了一种设备状态监测数据质量评测体系的构建方法，所述方法的技术方案为：

一种设备状态监测数据质量评测体系的构建方法，包括以下步骤：

S1：分析影响数据质量的因素以及存在的数据质量问题；

S2：确定适合所述数据质量的评价维度；

S3：根据步骤S1、S2的分析结果，构建所述数据质量的校验规则；

S4：基于步骤S3所述的校验规则，构建所述数据质量的评价模型。

优选的，所述步骤S1中影响数据质量的因素包括字段、记录、记录类型和数据源。

优选的，所述步骤S2中的评价维度包含完整性、唯一性、一致性、合法性、精确性和及时性。

优选的，所述完整性是表征数据的完备性维度，包含数据的实体缺失、字段缺失、记录缺失和字段值缺失；

所述唯一性是表征数据的唯一性维度，包含数据的主键唯一和候选键唯一；

所述一致性是表征数据关联关系的维度，包含数据来源、冗余存储和数据口径；

所述合法性是表征数据是否在科学合理的范围内，包含数据的格式、类型、域值和业务规则的有效性；

所述精确性是表征数据的精确程度，包含数据格式、数据位数和数据结构的准确性；

所述及时性是表征数据维护的及时性，包含数据接入、数据上传、数据维护和数据应用的及时性。

优选的，所述步骤S2具体包括根据不同的数据类型确定不同的评价维度，所述数据类型包括基础数据、离线运维数据、在线监测数据和指标数据。

优选的，所述基础数据包括台帐数据、规则库、计算方法和计算模型，所述离线运维数据包括设备的缺陷记录数据、预防性试验记录及试验报告数据，所述在线监测数据包括对设备状态实时监测所获得的数据，所述指标数据包括技术指标数据和业务指标数据。

优选的，所述技术指标数据包括数据同步或者数据上送的及时率、成功率、总耗时，以及数据传输的可靠性、经济性、稳定性指标，所述业务指标数据包含设备台帐、运维、在线监测、状态评价、故障预测、技术监督涉及的数据和开展的业务应用的核心指标数据。

优选的，所述基础数据的评价维度包括完整性、唯一性、一致性和合法性，所述离线运维数据的评价维度包括完整性、唯一性、精确性和合法性，所述在线监测数据的评价维度包括完整性、一致性、精确性和及时性，所述指标数据的评价维度包括一致性和及时性。

优选的，所述步骤S3中的校验规则是基于电气物理规律及人工数据判别规律建立的，其生成流程如下：

（1）基础数据规则：数据的特征较为简单，只对完整性、唯一性、一致性和合法性简单的指标进行校核；

（2）在线监测数据规则：首先关联到基础数据规则，通过设备定位，校验相关的基础数据规则，然后校验在线监测数据的规则，包括对的数据完整性、一致性、精确性和及时性的指标进行校验；

（3）离线运维数据规则：首先关联到基础数据规则，对基础数据进行校验，再进一步关联到在线监测数据规则，分析在线监测数据内部之间的特征，最后深入分析离线运维数据之间的内部关联度，对离线运维数据进行校验，包括对数据完整性、唯一性、精确性和合法性的指标进行校验；

（4）指标数据规则：首先关联到基础数据规则，校验相关的基础数据规则，然后校验指标数据的规则，包括对数据一致性和及时性的指标进行校验。

优选的，所述步骤S4中的评价模型包括数据质量指标定义模型、数据质量评估算法或规则及数据质量诊断与评价结果，所述数据质量指标定义模型采用层级评价指标树设计，实现对指标权重、指标分数自动计算与分析。

本发明的益处是：本发明通过分析影响数据质量的主要因素，研究数据的一致性、数据的准确性、数据的完整性、数据的及时性等关键特性并建立数据质量评价指标和数据校验规则，以指导并考核大数据下***数据质量水平，实现数据质量指标计算、统计分析和综合评价的实时、自动处理，满足***动态、实时进行数据质量好坏量化诊断和评价的要求。

附图说明

图1是本发明的流程图。

具体实施方式

一种设备状态监测数据质量评测体系的构建方法，如图1所示，包括以下步骤：

S1：分析影响数据质量的因素以及存在的数据质量问题。

信息***中存在的数据质量问题有很多种，从存在范围的角度包括以下四种：

（1）属性（字段）层面，这类错误仅局限于单个属性的值。

（2）记录层面，这类错误表现在一条记录不同属性值之间出现的不一致性。

（3）记录类型，表现为同一数据源中不同的记录类型之间的不一致性。

（4）数据源层面，表现为数据源中的某些属性值或记录与其他数据源中的相关值的不一致性。数据质量主要类型如表1所示：

表1

S2：确定适合所述数据质量的评价维度；

通过对数据质量的识别和处理，建立以电网设备多维度数据为对象的生产数据填报规范，改善增量数据的质量。

本实施例的评价维度包含完整性、唯一性、一致性、合法性、精确性和及时性。其中，完整性是表征数据的完备性维度，唯一性是表征数据的唯一性维度，一致性是表征数据关联关系的维度，合法性是表征数据是否在科学合理的范围内，精确性是表征数据的精确程度，及时性是表征数据接入、数据上传、数据维护和数据应用的及时性。

本实施例将数据分为基础数据、离线运维数据、在线监测数据和指标数据。其中：基础数据包括台帐数据、规则库、计算方法和模型；离线运维数据包括设备的缺陷记录数据、预防性试验记录及试验报告数据；在线监测数据包括对设备状态实时监测所获得的数据；指标数据包括技术指标数据和业务指标数据，其中，技术指标数据包括数据同步或者数据上送的及时率、成功率、总耗时，以及数据传输的可靠性、经济性、稳定性指标，业务指标数据包含设备台帐、运维、在线监测、状态评价、故障预测、技术监督涉及的数据和开展的业务应用的核心指标数据。

在具体实施过程中，根据不同的数据类型确定不同的评价维度，基础数据的评价维度包括完整性、唯一性、一致性和合法性，离线运维数据的评价维度包括完整性、唯一性、精确性和合法性，在线监测数据的评价维度包括完整性、一致性、精确性和及时性，指标数据的评价维度包括一致性和及时性。

S3：根据步骤S1、S2的分析结果，构建不同数据类型的数据质量校验规则。其校验规则是基于电气物理规律及人工数据判别规律建立的，具体为：

1、基础数据

基础数据主要指台帐数据，各类导则库、计算方法、计算模型的基础数据，其中台帐数据以数据量大、关系复杂、来源广泛等存在的数据质量问题最多，问题主要表现在完整性、唯一性、一致性和合法性等四个方面。

（1）完整性

完整性包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面。其中:

实体缺失：基础数据实体缺失主要表现在数据由源***到目标***的同步过程存在设计、实施方面的缺陷，导致数据表没有同步。可通过修改同步设计处理。

属性缺失：属性缺失可能由于源***设计缺陷或不满足目标***使用需要而产生，例如变电站信息中没有经度和维度两项参数，则在***使用GIS***展示时，无法实现在地图上绘制变电站位置而残生属性缺失问题。

记录缺失：记录缺失的情况比较常见，比如变电站表中不存在新投产的变电站记录，设备类别表中没有新设置的设备类别记录等，此类问题多由业务处理不及时或基础数据更新不及时造成，可通过检查数据质量后逐个处理。

字段值缺失：字段值缺陷在基础数据中比较常见，表现为设备台帐的基本信息、技术参数等数据没有按照规定录入。产生字段值缺失的原因有***规则检查不严格，规则缺失，数据录入责任心不够、数据录入缺乏有效的审核机制等多方面，此类问题可通过设定字段检查规则，首先检查数据质量，之后根据实际情况处理。

（2）唯一性

唯一性指主键唯一和候选键唯一两个方面。唯一性问题产生的主要原因是数据范围扩大之后，原有数据的主键不具备唯一性，或不同来源的数据，主键规则不同，无法在新的***中正常使用。

（3）一致性

一致性指统一的数据来源、冗余存储和统一的数据口径。其中，数据来源不一致是指本***将获取来自不同***的与设备状态有关的数据，包括调度运行***、生产管理***和各类型的在线监测主站***，因历史建设及管辖范围等原因，在上述各***中都有一套设备台帐，因此对于本***的数据质量工作而言，台帐数据存在多个来源。

（4）合法性

合法性主要包括格式、类型、域值和业务规则的有效性。

台帐数据的合法性问题有台帐信息的基本参数、技术参数等格式、数据类型、数值等存在的明显错误和结构、参数值等不符合业务规则等等。例如基本参数或者技术参数中将数值型错误为字符型、输入字符的半角全角错误、主变压器容量录入为150000MVA（没有注意单位是MVA，当成KVA录入，相差1000倍）；不符合基本的业务规则方面，如对油浸式变压器，将其“类型”参数填写为SF6。数据合法性问题主要因源***规则监测不够完善和人为录入数据错误导致，可通过在数据质量检查中设置检查规则，实现问题数据的识别。

2、离线运维数据

本实施例的离线运维数据主要指设备的缺陷记录数据、预防性试验记录及试验报告数据，该数据来源于省级生产信息***，即从省级生产***中，同步到省级主站。通过以往对该类数据的统计分析来看，质量问题主要表现在以下几个方面：

（1）完整性

完整性包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面：

实体缺失：主要表现为数据库表在同步到目标***过程中，发生了数据库表缺失的情况，例如在试验报告数据从生产***同步到主站***过程中，缺少某张表，或因为生产***的数据结构发生变化，导致新产生的试验报告数据库表没有同步到省级主站中，此时即视为发生了实体缺失的数据质量问题。实体缺失，主要通过人工检查处理，首先是在设计两个***间同步数据时，确保完整无误，不遗漏相关的数据库表；另外是建立机制，源***数据结构发生变化时，及时修改同步设置，使目标***免受影响。

属性缺失：属性缺失可能的原因是部分属性是由其他属性加工而成，而非原始记录。例如试验报告中的三相不平衡率，是通过计算得出的，并不存在于原始的试验报告中。此类数据问题可通过在数据同步后增加数据库字段解决。

记录缺失：记录缺失在离线运维数据中，比较常见，例如因数据结构变化，原有的业务数据没有完成数据导入。此外，因其他原因，数据未能及时录入到信息***。记录缺失主要通过数据补录解决。

字段值缺失：字段缺失可能由以下原因造成：首先是业务数据因为未能走完流程，缺失部分字段；其次是录入不完整；最后是缺失校验规则导致关键属性缺失。字段值因为业务数据未能完成流程而缺失是正常的业务现象，不需要处理，而其他情况造成的字段缺失就需要根据实际情况分析判断，因为对于字段值缺失的数据问题，主要是结合业务需要，对每一类业务数据制定判断规则，逐一判断分析。

（2）唯一性

产生唯一性问题的原因是：数据在同步到更大范围的数据中心后，原有的主键（不论是作为新的主键还是候选键）不再具有唯一性。避免出现唯一性问题的主要措施是，在数据同步产生的新纪录中，对数据库表设计新的主键而不是使用原有的主键。

（3）精确性

业务数据的精确性问题主要表现在人工录入或者选择的内容不够详细，例如对于缺陷表象、缺陷原因和缺陷处理措施等缺陷关键因素，因录入人员责任心不强，以及标准库支撑不足等问题，往往会出现：其他、按照上次方式处理、已解决等等描述，导则这些数据在进行分析时，经常作为垃圾数据丢弃。解决运维数据精确性问题，需要结合大量的其他数据、业务经验，借助于其他信息，来识别“其他”等没有具体含义的字段，例如寻找相似案例，对缺陷表象，按照缺陷描述字段提取关键字进行匹配等。

（4）合法性

离线数据的合法性与基础数据类似，主要由录入不规范、信息***校验机制缺失等问题造成，在试验报告数据中比较常见，例如在填写试验报告时，将介损值填到了电容量的位置，此类合法性问题可通过对数据设定阈值，进行识别。

3、在线监测数据

（1）完整性

完整性包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面。

在线监测的完整性问题主要表现在记录缺失、属性和字段值缺失两方面。监测数据的记录缺失因为装置出现异常，无法有效实现监控功能而产生；属性和字段值缺失因为各厂家的监测装置具体监测的数据项不同，而统一内容的规范又不具备强制性要求，从而导则某些需要获取的字段在部分厂家的监测中不存在。此类问题的解决可通过督促厂家进行装置标准化改造和调整应用功能两种。

（2）一致性

一致性问题主要产生了数据应用方面，例如当前多用在线监测数据和离线试验检测进行对比，以发现同一类型数据，不同的采集口径下的差异。此为数据应用的一致性问题，一般不作为在线监测数据本身的质量指标。

（3）精确性

在线监测数据的精确性问题多由厂家装置的性能决定，数据传输和采集过程中很少会造成精确性不满足要求的问题，因此在应用中基本不考虑在线监测数据的精确性问题。

（4）及时性

及时性是监测数据的重要指标，不仅包括数据产生的及时性，也包括数据传输，数据处理的及时性，及时性主要的原因：一是厂家装置因为出现异常，无法及时采集监测数据；其次是数据同步存在功能或者网络的问题，无法及时同步。

4、指标数据

指标数据包括技术指标数据和业务指标数据。技术指标数据指有关数据同步或者数据上送的及时率、成功率、总耗时等，以及数据传输的可靠性、经济性、稳定性等指标。业务指标数据涵盖设备台帐、运维、在线监测、状态评价、故障预测以及技术监督等本***涉及的数据、开展的业务应用的核心指标，以下分别对技术指标数据和业务指标数据可能存在的数据质量问题。指标数据的质量问题存在于一致性和及时性两个方面。

（1）一致性

本方法设计的一致性，主要发生在以下两种情况：一是在主站设定的关于业务数据的指标与源***可能存在数据差异，导致不一致问题发生。例如本***设定了缺陷的消缺率或在线监测装置的在线率，但是因为统计口径或者数据的原因，有可能让会与生产***或者在线监测主站***统计的指标不一致，此类问题一般不影响本***使用，可弱化处理。二是本***的不同业务之间的统计指标存在差异，例如监测中心和技术监督中心的统计指标不一致，此类问题主要通过对不同的业务模块的统一指标，制定相同的统计方法，并确保数据源一致。

（2）及时性

数据交互，包括实时和非实时数据的采集和处理，因此对于各类数据采集接口的及时性，提出了比较高的要求，将设定数据传输及时性指标，对在线监测数据、调度实时数据的及时上传进行监测和考核；存在和生产***、其他监测主站***等的数据交互，在满足数据传输的基础上，对与上述***时间的数据传输，考查其及时性指标可以保障本***的数据完整性，当出现数据传输问题时，可及时发现并处理。及时性问题主要发生在数据传输环节上，例如前置通信机故障、装置故障、通信网络异常等等。及时性问题主要是在发生问题之后，采取措施，防止问题再次发生的方式处理。

S4：基于上述步骤所制定的校验规则，构建所述数据质量的评价模型。

本方法的评价模型包括数据质量指标定义模型、数据质量评估算法或规则及数据质量诊断与评价结果，所述数据质量指标定义模型采用层级评价指标树设计，实现对指标权重、指标分数自动计算与分析。

Claims (10)

1.一种设备状态监测数据质量评测体系的构建方法，其特征在于，包括以下步骤：

S1：分析影响数据质量的因素以及存在的数据质量问题；

S2：确定适合所述数据质量的评价维度；

S3：根据步骤S1、S2的分析结果，构建所述数据质量的校验规则；

S4：基于步骤S3所述的校验规则，构建所述数据质量的评价模型。

2.根据权利要求1所述的一种设备状态监测数据质量评测体系的构建方法，其特征在于，所述步骤S1中影响数据质量的因素包括字段、记录、记录类型和数据源。

3.根据权利要求1所述的一种设备状态监测数据质量评测体系的构建方法，其特征在于，所述步骤S2中的评价维度包含完整性、唯一性、一致性、合法性、精确性和及时性。

4.根据权利要求3所述的一种设备状态监测数据质量评测体系的构建方法，其特征在于，

所述完整性是表征数据的完备性维度，包含数据的实体缺失、字段缺失、记录缺失和字段值缺失；

所述唯一性是表征数据的唯一性维度，包含数据的主键唯一和候选键唯一；

所述一致性是表征数据关联关系的维度，包含数据来源、冗余存储和数据口径；

所述合法性是表征数据是否在科学合理的范围内，包含数据的格式、类型、域值和业务规则的有效性；

所述精确性是表征数据的精确程度，包含数据格式、数据位数和数据结构的准确性；

所述及时性是表征数据维护的及时性，包含数据接入、数据上传、数据维护和数据应用的及时性。

5.根据权利要求1所述的一种设备状态监测数据质量评测体系的构建方法，其特征在于，所述步骤S2具体包括根据不同的数据类型确定不同的评价维度，所述数据类型包括基础数据、离线运维数据、在线监测数据和指标数据。

6.根据权利要求5所述的一种设备状态监测数据质量评测体系的构建方法，其特征在于，所述基础数据包括台帐数据、规则库、计算方法和计算模型，所述离线运维数据包括设备的缺陷记录数据、预防性试验记录及试验报告数据，所述在线监测数据包括对设备状态实时监测所获得的数据，所述指标数据包括技术指标数据和业务指标数据。

7.根据权利要求6所述的一种设备状态监测数据质量评测体系的构建方法，其特征在于，所述技术指标数据包括数据同步或者数据上送的及时率、成功率、总耗时，以及数据传输的可靠性、经济性、稳定性指标，所述业务指标数据包含设备台帐、运维、在线监测、状态评价、故障预测、技术监督涉及的数据和开展的业务应用的核心指标数据。

8.根据权利要求5所述的一种设备状态监测数据质量评测体系的构建方法，其特征在于，所述基础数据的评价维度包括完整性、唯一性、一致性和合法性，所述离线运维数据的评价维度包括完整性、唯一性、精确性和合法性，所述在线监测数据的评价维度包括完整性、一致性、精确性和及时性，所述指标数据的评价维度包括一致性和及时性。

9.根据权利要求1所述的一种设备状态监测数据质量评测体系的构建方法，其特征在于，所述步骤S3中的校验规则是基于电气物理规律及人工数据判别规律建立的，其生成流程如下：

（1）基础数据规则：数据的特征较为简单，只对完整性、唯一性、一致性和合法性简单的指标进行校核；

（2）在线监测数据规则：首先关联到基础数据规则，通过设备定位，校验相关的基础数据规则，然后校验在线监测数据的规则，包括对的数据完整性、一致性、精确性和及时性的指标进行校验；

（3）离线运维数据规则：首先关联到基础数据规则，对基础数据进行校验，再进一步关联到在线监测数据规则，分析在线监测数据内部之间的特征，最后深入分析离线运维数据之间的内部关联度，对离线运维数据进行校验，包括对数据完整性、唯一性、精确性和合法性的指标进行校验；

（4）指标数据规则：首先关联到基础数据规则，校验相关的基础数据规则，然后校验指标数据的规则，包括对数据一致性和及时性的指标进行校验。

10.根据权利要求1所述的一种设备状态监测数据质量评测体系的构建方法，其特征在于，所述步骤S4中的评价模型包括数据质量指标定义模型、数据质量评估算法或规则及数据质量诊断与评价结果，所述数据质量指标定义模型采用层级评价指标树设计，实现对指标权重、指标分数自动计算与分析。