CN116860562B - 一种用于数据中台数据质量的监控方法及*** - Google Patents

一种用于数据中台数据质量的监控方法及*** Download PDF

Info

Publication number
CN116860562B
CN116860562B CN202311126435.6A CN202311126435A CN116860562B CN 116860562 B CN116860562 B CN 116860562B CN 202311126435 A CN202311126435 A CN 202311126435A CN 116860562 B CN116860562 B CN 116860562B
Authority
CN
China
Prior art keywords
data
sequence
monitoring
monitoring information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311126435.6A
Other languages
English (en)
Other versions
CN116860562A (zh
Inventor
叶名震
王益斌
庞新安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Zhongqingneng Technology Co ltd
Original Assignee
Hunan Zhongqingneng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zhongqingneng Technology Co ltd filed Critical Hunan Zhongqingneng Technology Co ltd
Priority to CN202311126435.6A priority Critical patent/CN116860562B/zh
Publication of CN116860562A publication Critical patent/CN116860562A/zh
Application granted granted Critical
Publication of CN116860562B publication Critical patent/CN116860562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

本发明属于数据中台、数据质量监控技术领域，提出了一种用于数据中台数据质量的监控方法及***，具体为：配置数据中台的分布式监控网络，通过分布式监控网络持续获取电力数据画像，再利用电力数据画像获得画像紊性水平，最后根据画像紊性水平向数据中台进行预警。通过画像紊性水平实现对电力数据画像中监控数据源端数据质量进行评价的目的，提高数据中台中获得的异样数据质量的评价灵敏性，实现对低质量数据的排除，再持续获得一个节点所管理的各个单元的电力信息，分析其数据采集是否受到干扰，从而使数据中台能够直接监控数据源端数据质量，提高了数据中台所获得的数据的可信度，大大保障了基于数据中台做出的决策的准确性和有效性。

Description

一种用于数据中台数据质量的监控方法及***
技术领域
本发明属于数据中台、数据质量监控技术领域，具体涉及一种用于数据中台数据质量的监控方法及***。
背景技术
随着社会经济和信息技术的飞速发展，人类日常的生产和生活产生了大量的数据，对大数据进行处理分析已成为人们重要的决策支持和可靠的业务优化手段。然而，大数据处理过程中，各个***获得的海量数据往往存储在不同的数据库中，导致数据碎片化和数据孤岛现象，使得数据无法高效整合和共享。因此，数据中台应运而生，它是一种集中的数据管理和服务平台，将各个***的数据进行集中治理，帮助人们打破数据孤岛，消除数据碎片化。
然而，数据中台中的数据是海量且冗杂的，其价值密度较低，数据质量往往良莠不齐，导致数据可信度低，从而影响基于数据中台做出的决策的准确性和有效性。目前，人们对数据质量的进行监控的关注点通常在于两端数据是否一致，即数据中台端从数据源端进行数据同步时是否发生错误，从而导致数据不完整或不准确。而事实上，数据质量低不仅仅是因为两端数据不一致，还可能是数据源端获取的数据受到了干扰。在这种情况下，数据从一开始就是错误或不准确的，即使后期做到两端数据完全一致，也只是数据中台同步了这些错误或不准确的数据，其数据质量自然无法提高。因此，需要一种用于数据中台数据质量的监控方法及***，使数据中台能够判断数据源端获取的数据是否受到了干扰，期望达到直接监控数据源端数据质量的目的。
发明内容
本发明的目的在于提出一种用于数据中台数据质量的监控方法及***，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为了实现上述目的，根据本发明的一方面，提供一种用于数据中台数据质量的监控方法，所述方法包括以下步骤：
S100，配置数据中台的分布式监控网络；
S200，通过分布式监控网络持续获取电力数据画像；
S300，利用电力数据画像计算画像紊性水平；
S400，根据画像紊性水平向数据中台进行预警。
进一步地，在步骤S100中，配置数据中台的分布式监控网络的方法是：数据中台的建立采用分布式***，以分布式***中的各个服务器分别作为节点，各个节点分别与数据中台连接并进行数据交换或者数据传输；
以一个数据采集点作为一个单元，其中数据采集点为用于采集数据中台所需数据的位置或者地点；各个单元均布置有电力分析仪，通过电力分析仪采集监测信息，一个单元采集的监测信息包括电压、电流、功率、电能、频率和功率因数中的两种或两种以上，将单元采集的监测信息的数量记作NSen；把连接于同一个节点的单元数量记作NUni；通过各个节点和单元构建成的信息网络作为分布式监控网络。
进一步地，在步骤S200中，通过分布式监控网络持续获取电力数据画像的方法是：设定一个时间区间作为测量间隔t1，t1∈[1,60]秒；各个单元每隔t1获取一次电力信息，其中电力信息包括所有监测信息对应的实时测量值；以同一个监测信息下不同单元的实时测量值为一列，以同一个单元下不同监测信息的实时测量值为一行，构建一个矩阵FMX；以FMX中任意一列的极大值与极小值之差作为该列对应监测信息的实测水平，获取各个监测信息对应的实测水平；
设定一个时间区间作为测量间隔t2，t2∈[60,120]分钟；设定一个关于时刻数量的变量tk，其取值范围为tk∈[1,20]个，以一个时刻与其前tk个时刻的实测水平的算术平均值作为该时刻的预测水平；以监测信息在t2时段内各个时刻的实测水平与预测水平分别构建一个序列，分别记作监测序列与预测序列；通过监测序列与预测序列计算获得均方根误差作为该监测信息的测模距离；各个监测数据种的测模距离构建一个序列作为测模序列；以测模序列作为当前时刻的电力数据画像。
进一步地，在步骤S300中，利用电力数据画像计算画像紊性水平的方法是：获取当前时刻的电力数据画像中各个元素的平均值EFL，如果电力数据画像中一个元素的数值大于EFL，则将该元素对应监测信息定义为一阶监测信息；将任意一个一阶监测信息中的各个时刻的预测水平与实测水平进行比较，如果一个时刻下预测水平小于实测水平，则定义该时刻的预测水平为第一紊扰值，
以一阶监测信息在t2时间内获得的各个第一紊扰值的均方根值作为该一阶监测信息的偏模距离；计算获得画像紊性偏向比DO_Pr，其计算方法为：
；
其中v1和v2均为累加变量，MMDv2为第v2个一阶监测信息的测模距离，DMDv1为第v1个一阶监测信息的偏模距离，以nq代表一阶监测信息的数量；
将一阶监测信息的各个第一紊扰值中的中位数与最小值的差值记作下标域值；将一阶监测信息的各个第一紊扰值中的最大值与中位数的差值记作上标域值；计算获得画像紊性水平DOL，计算方法为：
；
其中v3为累加变量，avg_LFDv3为第v3个监测信息的各个第一紊扰值的均值,LLVv3和HLVv3分别为第v3个一阶监测数据的下标域值和上标域值。
由于画像紊性水平是根据采集的数据结合数学模型处理后计算获得，有效将电力数据画像中的数据质量进行量化，然而在测量间隔t2的取值较大的情况下，利用上述方法所算出的画像紊性水平经常会出现量化程度不足的现象，这是因为这个方法着重强调个体测模距离，对各个时刻下的数据都具有等同的敏感性，无法较为有效地实时放大并且划分各个测模距离之间的差异，导致处理所得的紊性水平出现欠拟合问题，而目前尚未存在可行的技术来弥补这个方法带来的量化不足现象，为消除测模距离之间的差异划分不足对紊性水平出现欠拟合的现象，本发明提出了一个更优选的方案：
优选地，在步骤S300中，利用电力数据画像计算画像紊性水平的方法是：在t2时间段内，获取同一个监测信息各个时刻的测模距离构建成序列作为检测序列；对任一个监测信息对应的检测序列，从当前时刻往前搜索首次出现极大值的时刻对应的序号，将序号的数值记作该监测信息的端值区间；获取各个监测信息的端值区间后把其中的最大值记作MVZ；在各个检测序列中每隔MVZ个元素分割出一个序列作为拟应序列RTM；
以j作为拟应序列的序号，则第j个拟应序列记作RTMj，其中j＞1；当检测序列中剩余元素的数量无法满足构成拟应序列，则不再构建拟应序列；将检测序列中首个拟应序列作为第一拟应序列RTMFs，其余拟应序列作为第二拟应序列RTMj；以i1作为拟应序列的元素的序号；
如果RTMj(i1)≤RTMFs(i1)，则将RTMj(i1)标记为对应监测信息的低标指量，否则标记为对应监测信息的高标指量，其中RTMj(i1)和RTMFs(i1)分别代表第一拟应序列和第二拟应序列的第i1个元素；对各个第二拟应序列均进行对比后，将标记的各个指量和高标指量分别构成低标指量序列LSL和高标指量序列HSL；计算得到监测信息的子紊性值DOV，其算方法为：
；
其中k1为累加变量，sum<>为求和函数，RTMFs为第一拟应序列，L_SIV(k1)代表低标指量序列中第k1个元素，np为低标指量序列中的元素的总数量；
计算得到画像紊性水平DOL,计算方法为：
；
其中k2和k3均为累加变量，exp()为自然常数e为底数的指数函数，DOVk2为第k2种监测信息的子紊性值，TAVk3为第k3种监测数据下第一拟应序列中元素的算术平均值，LSLk3和HSLk3分别代表第k3种监测信息的低标指量序列以及高标指量序列，NSen为监测信息的总数量。
有益效果：画像紊性水平是通过划分的各个拟应序列之间的对应的测模距离在进行比较筛选而获取的特征数据后计算得出，从而将各个测模距离之间形成规律对比，具有较为稳定可信的总体参考价值，实现对各个测模距离的差异的有效放大，弥补了相关衍生计算值的全局代表性不足的缺点。通过画像紊性水平实现对电力数据画像中监控数据源端数据质量进行评价的目的，为画像中感兴趣区域的数值特征量化形成精数值量化数据，为进一步对数据质量把控做数据支撑，提高数据中台中获得的异样数据质量的评价灵敏性，实现对低质量数据的标记或排除。
进一步地，在步骤S400中，所述根据画像紊性水平向数据中台进行预警的方法是：连续获取同一个服务器获得的各个画像紊性水平，将时间段t2内获得的各个画像紊性水平通过异常验算判断当前时刻的画像紊性水平是否异常，其中异常验算的方法为拉依达准则法、狄克逊准则法或者肖维勒准则法中的任一种；如果当前时刻的画像紊性水平异常，则将当前时刻的前t1时间段中获得的所有电力信息做电力信息异常标记，并且向客户端或者管理程序发送数据异常警报，所述数据异常警报包括文本、声音、图像或者表格。
优选地，其中，本发明中所有未定义的变量，若未有明确定义，均可为人工设置的阈值。
本发明还提供了一种用于数据中台数据质量的监控***，所述一种用于数据中台数据质量的监控***包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种用于数据中台数据质量的监控方法中的步骤，所述一种用于数据中台数据质量的监控***可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中，可运行的***可包括，但不仅限于，处理器、存储器、服务器集群，所述处理器执行所述计算机程序运行在以下***的单元中：
网络配置单元，用于配置数据中台的分布式监控网络；
数据采集单元，用于通过分布式监控网络持续获取电力数据画像；
质量分析单元，用于利用电力数据画像获得画像紊性水平；
监控告警单元，用于根据画像紊性水平向数据中台进行预警。
本发明的有益效果为：本发明提供一种用于数据中台数据质量的监控方法及***，通过画像紊性水平实现对电力数据画像中监控数据源端数据质量进行评价，为画像中感兴趣区域的数值特征量化形成数值量化数据，为进一步对数据质量把控做数据支撑，提高数据中台中获得的异样数据质量的评价灵敏性，实现对低质量数据的排除，再通过持续获得各个节点所管理的各个单元的电力信息，分析其数据采集是否受到干扰，从而使数据中台能够直接监控数据源端数据质量，提高了数据中台所获得的数据的可信度，大大保障了基于数据中台做出的决策的准确性和有效性。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种用于数据中台数据质量的监控方法的流程图；
图2所示为一种用于数据中台数据质量的监控***结构图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为一种用于数据中台数据质量的监控方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种用于数据中台数据质量的监控方法，所述方法包括以下步骤：
S100，配置数据中台的分布式监控网络；
S200，通过分布式监控网络持续获取电力数据画像；
S300，利用电力数据画像计算画像紊性水平；
S400，根据画像紊性水平向数据中台进行预警。
进一步地，在步骤S100中，配置数据中台的分布式监控网络的方法是：数据中台的建立采用分布式***，以分布式***中的各个服务器分别作为节点，各个节点分别与数据中台连接并进行数据交换或者数据传输；
以一个数据采集点作为一个单元，其中数据采集点为用于采集数据中台所需数据的位置或者地点；各个单元均布置有电力分析仪，通过电力分析仪采集监测信息，一个单元采集的监测信息包括电压、电流、功率、电能、频率和功率因数中的两种或两种以上，将单元采集的监测信息的数量记作NSen；把连接于同一个节点的单元数量记作NUni；通过各个节点和单元构建成的信息网络作为分布式监控网络。
进一步地，在步骤S200中，通过分布式监控网络持续获取电力数据画像的方法是：设定一个时间区间作为测量间隔t1，t1∈[1,60]秒；各个单元每隔t1获取一次电力信息，其中电力信息包括所有监测信息对应的实时测量值；以同一个监测信息下不同单元的实时测量值为一列，以同一个单元下不同监测信息的实时测量值为一行，构建一个矩阵FMX；以FMX中任意一列的极大值与极小值之差作为该列对应监测信息的实测水平，获取各个监测信息对应的实测水平；
设定一个时间区间作为测量间隔t2，t2∈[60,120]分钟；以一个时刻与其前tk个时刻的实测水平的算术平均值作为该时刻的预测水平，tk∈[1,20]；以监测信息在t2时段内各个时刻的实测水平与预测水平分别构建一个序列，分别记作监测序列与预测序列；通过监测序列与预测序列计算获得均方根误差作为该监测信息的测模距离；各个监测数据种的测模距离构建一个序列作为测模序列；以测模序列作为当前时刻的电力数据画像。
进一步地，在步骤S300中，利用电力数据画像计算画像紊性水平的方法是：
获取当前时刻的电力数据画像中各个元素的平均值EFL，如果电力数据画像中一个元素的数值大于EFL，则将该元素对应监测信息定义为一阶监测信息；将任意一个一阶监测信息中的各个时刻的预测水平与实测水平进行比较，如果一个时刻下预测水平小于实测水平，则定义该时刻的预测水平为第一紊扰值，
以一阶监测信息在t2时间内获得的各个第一紊扰值的均方根值作为该一阶监测信息的偏模距离；计算获得画像紊性偏向比DO_Pr，其计算方法为：
；
其中v1和v2均为累加变量，MMDv2为第v2个一阶监测信息的测模距离，DMDv1为第v1个一阶监测信息的偏模距离，以nq代表一阶监测信息的数量；
将一阶监测信息的各个第一紊扰值中的中位数与最小值的差值记作下标域值；将一阶监测信息的各个第一紊扰值中的最大值与中位数的差值记作上标域值；计算获得画像紊性水平DOL，计算方法为：
；
其中v3为累加变量，avg_LFDv3为第v3个监测信息的各个第一紊扰值的均值,LLVv3和HLVv3分别为第v3个一阶监测数据的下标域值和上标域值。
进一步地，在步骤S300中，利用电力数据画像计算画像紊性水平的方法是：在t2时间段内，获取同一个监测信息各个时刻的测模距离构建成序列作为检测序列；对任一个监测信息对应的检测序列，从当前时刻往前搜索首次出现极大值的时刻对应的序号，将序号的数值记作该监测信息的端值区间；获取各个监测信息的端值区间后把其中的最大值记作MVZ；在各个检测序列中每隔MVZ个元素分割出一个序列作为拟应序列RTM；
以j作为拟应序列的序号，则第j个拟应序列记作RTMj，其中j＞1；当检测序列中剩余元素的数量无法满足构成拟应序列，则不再构建拟应序列；将检测序列中首个拟应序列作为第一拟应序列RTMFs，其余拟应序列作为第二拟应序列RTMj；以i1作为拟应序列的元素的序号；
如果RTMj(i1)≤RTMFs(i1)，则将RTMj(i1)标记为对应监测信息的低标指量，否则标记为对应监测信息的高标指量，其中RTMj(i1)和RTMFs(i1)分别代表第一拟应序列和第二拟应序列的第i1个元素；对各个第二拟应序列均进行对比后，将标记的各个指量和高标指量分别构成低标指量序列LSL和高标指量序列HSL；计算得到监测信息的子紊性值DOV，其算方法为：
；
其中k1为累加变量，sum<>为求和函数，RTMFs为第一拟应序列，L_SIV(k1)代表低标指量序列中第k1个元素，np为低标指量序列中的元素的总数量；
计算得到画像紊性水平DOL,计算方法为：
；
其中k2和k3均为累加变量，exp()为自然常数e为底数的指数函数，DOVk2为第k2种监测信息的子紊性值，TAVk3为第k3种监测数据下第一拟应序列中元素的算术平均值，LSLk3和HSLk3分别代表第k3种监测信息的低标指量序列以及高标指量序列，NSen为监测信息的总数量。
进一步地，在步骤S400中，所述根据画像紊性水平向数据中台进行预警的方法是：连续获取同一个服务器获得的各个画像紊性水平，将时间段t2内获得的各个画像紊性水平通过异常验算判断当前时刻的画像紊性水平是否异常，其中异常验算的方法为拉依达准则法、狄克逊准则法或者肖维勒准则法中的任一种；如果当前时刻的画像紊性水平异常，则将当前时刻的前t1时间段中获得的所有电力信息做电力信息异常标记，并且向客户端或者管理程序发送数据异常警报，所述数据异常警报包括文本、声音、图像或者表格。
本发明的实施例提供的一种用于数据中台数据质量的监控***，如图2所示为本发明的一种用于数据中台数据质量的监控***结构图，该实施例的一种用于数据中台数据质量的监控***包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种用于数据中台数据质量的监控***实施例中的步骤。
所述***包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下***的单元中：
网络配置单元，用于配置数据中台的分布式监控网络；
数据采集单元，用于通过分布式监控网络持续获取电力数据画像；
质量分析单元，用于利用电力数据画像获得画像紊性水平；
监控告警单元，用于根据画像紊性水平向数据中台进行预警。
所述一种用于数据中台数据质量的监控***可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端服务器等计算设备中。所述一种用于数据中台数据质量的监控***，可运行的***可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种用于数据中台数据质量的监控***的示例，并不构成对一种用于数据中台数据质量的监控***的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种用于数据中台数据质量的监控***还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种用于数据中台数据质量的监控***运行***的控制中心，利用各种接口和线路连接整个一种用于数据中台数据质量的监控***可运行***的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种用于数据中台数据质量的监控***的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (5)

1.一种用于数据中台数据质量的监控方法，其特征在于，所述方法包括以下步骤：
S100，配置数据中台的分布式监控网络；
S200，通过分布式监控网络持续获取电力数据画像；
S300，利用电力数据画像计算画像紊性水平；
S400，根据画像紊性水平向数据中台进行预警；
其中，在步骤S200中，通过分布式监控网络持续获取电力数据画像的方法是：设定一个时间区间作为测量间隔t1，t1∈[1,60]秒；各个单元每隔t1获取一次电力信息，其中电力信息包括所有监测信息对应的实时测量值；以同一个监测信息下不同单元的实时测量值为一列，以同一个单元下不同监测信息的实时测量值为一行，构建一个矩阵FMX；以FMX中任意一列的极大值与极小值之差作为该列对应监测信息的实测水平，获取各个监测信息对应的实测水平；
设定一个时间区间作为测量间隔t2，t2∈[60,120]分钟；设定一个关于时刻数量的变量tk，其取值范围为tk∈[1,20]个，以一个时刻与其前tk个时刻的实测水平的算术平均值作为该时刻的预测水平；以监测信息在t2时段内各个时刻的实测水平与预测水平分别构建一个序列，分别记作监测序列与预测序列；通过监测序列与预测序列计算获得均方根误差作为该监测信息的测模距离；各个监测数据中的测模距离构建一个序列作为测模序列；以测模序列作为当前时刻的电力数据画像；
其中，在步骤S300中，利用电力数据画像计算画像紊性水平的方法是：获取当前时刻的电力数据画像中各个元素的平均值EFL，如果电力数据画像中一个元素的数值大于EFL，则将该元素对应监测信息定义为一阶监测信息；将任意一个一阶监测信息中的各个时刻的预测水平与实测水平进行比较，如果一个时刻下预测水平小于实测水平，则定义该时刻的预测水平为第一紊扰值，
设定一个时间区间作为测量间隔t2，t2∈[60,120]分钟，以一阶监测信息在t2时间内获得的各个第一紊扰值的均方根值作为该一阶监测信息的偏模距离；计算获得画像紊性偏向比DO_Pr，其计算方法为：
；
其中v1和v2均为累加变量，MMDv2为第v2个一阶监测信息的测模距离，DMDv1为第v1个一阶监测信息的偏模距离，以nq代表一阶监测信息的数量；
将一阶监测信息的各个第一紊扰值中的中位数与最小值的差值记作下标域值；将一阶监测信息的各个第一紊扰值中的最大值与中位数的差值记作上标域值；计算获得画像紊性水平DOL，计算方法为：
；
其中v3为累加变量，avg_LFDv3为第v3个监测信息的各个第一紊扰值的均值,LLVv3和HLVv3分别为第v3个一阶监测数据的下标域值和上标域值。
2.根据权利要求1所述的一种用于数据中台数据质量的监控方法，其特征在于，在步骤S100中，配置数据中台的分布式监控网络的方法是：数据中台的建立采用分布式***，以分布式***中的各个服务器分别作为节点，各个节点分别与数据中台连接并进行数据交换或者数据传输；
以一个数据采集点作为一个单元，其中数据采集点为用于采集数据中台所需数据的位置或者地点；各个单元均布置有电力分析仪，通过电力分析仪采集监测信息，一个单元采集的监测信息包括电压、电流、功率、电能、频率和功率因数中的两种或两种以上，将单元采集的监测信息的数量记作NSen；把连接于同一个节点的单元数量记作NUni；通过各个节点和单元构建成的信息网络作为分布式监控网络。
3.根据权利要求1所述的一种用于数据中台数据质量的监控方法，其特征在于，在步骤S300中，利用电力数据画像计算画像紊性水平的方法是：设定一个时间区间作为测量间隔t2，t2∈[60,120]分钟，在t2时间段内，获取同一个监测信息各个时刻的测模距离构建成序列作为检测序列；对任一个监测信息对应的检测序列，从当前时刻往前搜索首次出现极大值的时刻对应的序号，将序号的数值记作该监测信息的端值区间；获取各个监测信息的端值区间后把其中的最大值记作MVZ；在各个检测序列中每隔MVZ个元素分割出一个序列作为拟应序列RTM；
以j作为拟应序列的序号，则第j个拟应序列记作RTMj，其中j＞1；当检测序列中剩余元素的数量无法满足构成拟应序列，则不再构建拟应序列；将检测序列中首个拟应序列作为第一拟应序列RTMFs，其余拟应序列作为第二拟应序列RTMj；以i1作为拟应序列的元素的序号；
如果RTMj(i1)≤RTMFs(i1)，则将RTMj(i1)标记为对应监测信息的低标指量，否则标记为对应监测信息的高标指量，其中RTMj(i1)和RTMFs(i1)分别代表第一拟应序列和第二拟应序列的第i1个元素；对各个第二拟应序列均进行对比后，将标记的各个低标指量和高标指量分别构成低标指量序列LSL和高标指量序列HSL；计算得到监测信息的子紊性值DOV，并通过子紊性值计算获得画像紊性水平DOL。
4.根据权利要求1所述的一种用于数据中台数据质量的监控方法，其特征在于，在步骤S400中，所述根据画像紊性水平向数据中台进行预警的方法是：设定一个时间区间作为测量间隔t2，t2∈[60,120]分钟，连续获取同一个服务器获得的各个画像紊性水平，将时间段t2内获得的各个画像紊性水平通过异常验算判断当前时刻的画像紊性水平是否异常，其中异常验算的方法为拉依达准则法、狄克逊准则法或者肖维勒准则法中的任一种；设定一个时间区间作为测量间隔t1，t1∈[1,60]秒，如果当前时刻的画像紊性水平异常，则将当前时刻的前t1时间段中获得的所有电力信息做电力信息异常标记，并且向客户端或者管理程序发送数据异常警报，所述数据异常警报包括文本、声音、图像或者表格。
5.一种用于数据中台数据质量的监控***，其特征在于，所述一种用于数据中台数据质量的监控***包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-4中任一项所述的一种用于数据中台数据质量的监控方法中的步骤，所述一种用于数据中台数据质量的监控***运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心的计算设备中。
CN202311126435.6A 2023-09-04 2023-09-04 一种用于数据中台数据质量的监控方法及*** Active CN116860562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311126435.6A CN116860562B (zh) 2023-09-04 2023-09-04 一种用于数据中台数据质量的监控方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311126435.6A CN116860562B (zh) 2023-09-04 2023-09-04 一种用于数据中台数据质量的监控方法及***

Publications (2)

Publication Number Publication Date
CN116860562A CN116860562A (zh) 2023-10-10
CN116860562B true CN116860562B (zh) 2023-11-24

Family

ID=88234459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311126435.6A Active CN116860562B (zh) 2023-09-04 2023-09-04 一种用于数据中台数据质量的监控方法及***

Country Status (1)

Country Link
CN (1) CN116860562B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117395699A (zh) * 2023-11-08 2024-01-12 广东理致技术有限公司 一种基于物联网的监测因子节能通讯方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170078252A (ko) * 2015-12-29 2017-07-07 삼성에스디에스 주식회사 시계열의 데이터를 모니터링 하는 방법 및 그 장치
CN110457193A (zh) * 2019-07-30 2019-11-15 深圳供电局有限公司 基于电力信息***运维数据的健康画像展示方法及其***
WO2021164465A1 (zh) * 2020-02-20 2021-08-26 深圳壹账通智能科技有限公司 智能预警方法与***
JP2021165830A (ja) * 2020-04-02 2021-10-14 キヤノン株式会社 画像形成装置
CN114004584A (zh) * 2021-10-22 2022-02-01 国网重庆市电力公司电力科学研究院 一种基于数据中台构建用户画像的电力信息管理方法
CN114004585A (zh) * 2021-10-22 2022-02-01 国网重庆市电力公司电力科学研究院 一种电力用户数据管理***
CN114640707A (zh) * 2022-03-04 2022-06-17 微位（深圳）网络科技有限公司 一种消息异步处理方法、装置、电子设备及存储介质
CN114820047A (zh) * 2022-04-08 2022-07-29 国网河南省电力公司电力科学研究院 基于电能质量监测数据的多元用户用电需求画像方法
CN115114647A (zh) * 2022-08-26 2022-09-27 湖南华菱电子商务有限公司 一种基于数字中台构建客户画像的客户信息管理方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170078252A (ko) * 2015-12-29 2017-07-07 삼성에스디에스 주식회사 시계열의 데이터를 모니터링 하는 방법 및 그 장치
CN110457193A (zh) * 2019-07-30 2019-11-15 深圳供电局有限公司 基于电力信息***运维数据的健康画像展示方法及其***
WO2021164465A1 (zh) * 2020-02-20 2021-08-26 深圳壹账通智能科技有限公司 智能预警方法与***
JP2021165830A (ja) * 2020-04-02 2021-10-14 キヤノン株式会社 画像形成装置
CN114004584A (zh) * 2021-10-22 2022-02-01 国网重庆市电力公司电力科学研究院 一种基于数据中台构建用户画像的电力信息管理方法
CN114004585A (zh) * 2021-10-22 2022-02-01 国网重庆市电力公司电力科学研究院 一种电力用户数据管理***
CN114640707A (zh) * 2022-03-04 2022-06-17 微位（深圳）网络科技有限公司 一种消息异步处理方法、装置、电子设备及存储介质
CN114820047A (zh) * 2022-04-08 2022-07-29 国网河南省电力公司电力科学研究院 基于电能质量监测数据的多元用户用电需求画像方法
CN115114647A (zh) * 2022-08-26 2022-09-27 湖南华菱电子商务有限公司 一种基于数字中台构建客户画像的客户信息管理方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于电力大数据分析模型的防返贫预警监测应用;李丽英;罗志坤;唐敬军;廖丽萍;李爱元;付强;湖南电力;第41卷(第005期);58-62 *
基于电力大数据的标签画像技术与应用研究;吕辉;许道强;仲春林;李昆明;方超;;电力信息与通信技术(第02期);43-48 *
基于聚类的电网低压台区用电画像方法研究;时珊珊;田英杰;金瑞杨;张灏宇;袁志昌;宋洁;苏运;;电工电能新技术(第08期);69-77 *

Also Published As

Publication number Publication date
CN116860562A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN111459700B (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
CN109034244B (zh) 基于电量曲线特征模型的线损异常诊断方法及装置
CN110703057B (zh) 基于数据增强和神经网络的电力设备局部放电诊断方法
CN116860562B (zh) 一种用于数据中台数据质量的监控方法及***
CN110988563B (zh) 一种ups故障检测方法、装置、设备和存储介质
CN111158964B (zh) 一种磁盘故障预测方法、***、装置及存储介质
CN108491931B (zh) 一种基于机器学习提高无损检测精度的方法
CN115841046B (zh) 基于维纳过程的加速退化试验数据处理方法和装置
CN112801315A (zh) 电力二次设备的状态诊断方法、装置及终端
CN114356900A (zh) 一种电力数据异常检测方法、装置、设备及介质
CN117035563B (zh) 产品质量安全风险监测方法、设备、监测***及介质
CN117207778B (zh) 一种车辆部件无损检测方法及***
CN110751201B (zh) 基于纹理特征变换的sar装备任务失效成因推理方法
CN110728315B (zh) 一种实时质量控制方法，***和设备
CN111625525B (zh) 一种环境数据修复/填充方法及***
CN107491576B (zh) 基于性能退化数据的导弹部件可靠性分析方法
Behzadi et al. Dependency anomaly detection for heterogeneous time series: A Granger-Lasso approach
CN117439899B (zh) 一种基于大数据的通信机房巡检方法及***
CN112884167B (zh) 一种基于机器学习的多指标异常检测方法及其应用***
CN117150233B (zh) 一种电网异常数据治理方法、***、设备及介质
CN116936103B (zh) 一种基于同向网络的用户健康预测管理方法及***
WO2022088084A1 (zh) 数据处理方法、装置及***、电子设备
CN115017127A (zh) 一种自动巡检采集设备的方法、装置和存储介质
CN116980335A (zh) 风险类别识别模型的生成方法、装置及相关设备
CN118228001A (zh) 一种基于计算机大数据的平台架构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant