CN110119858A - 基于大数据的电网调度自动化***的数据质量评估方法 - Google Patents

基于大数据的电网调度自动化***的数据质量评估方法 Download PDF

Info

Publication number
CN110119858A
CN110119858A CN201810110931.5A CN201810110931A CN110119858A CN 110119858 A CN110119858 A CN 110119858A CN 201810110931 A CN201810110931 A CN 201810110931A CN 110119858 A CN110119858 A CN 110119858A
Authority
CN
China
Prior art keywords
sample
data
point
space
sample space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810110931.5A
Other languages
English (en)
Inventor
罗耀强
张珍凤
陈俊长
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING ESTABLE ELECTRIC POWER TECHNOLOGY Co Ltd
Original Assignee
NANJING ESTABLE ELECTRIC POWER TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING ESTABLE ELECTRIC POWER TECHNOLOGY Co Ltd filed Critical NANJING ESTABLE ELECTRIC POWER TECHNOLOGY Co Ltd
Priority to CN201810110931.5A priority Critical patent/CN110119858A/zh
Publication of CN110119858A publication Critical patent/CN110119858A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明具体涉及一种基于大数据的电网调度自动化***的数据质量评估方法，包括：获取调度***的数据，将获取的数据根据设备的进行分类，每个设备的数据构建成样本空间X；建立的样本空间X，对样本空间X中的所有样本点p进行KNN算法进行分类，输出样本空间中可能为离群点的样本；根据建立的样本空间X，对样本空间X中的所有样本点p进行局部离群因子算法LOF算法，输出样本空间X中可能为离群点的样本；根据建立的样本空间X，对样本空间X中的样本通过INFLO算法，输出样本空间X中可能为离群点的样本；将步骤二将上述的结果进行比较，如果三次结果中相同的样本出现的次数大于等于两次，则该样本即为异常点；输出异常点的数据。

Description

基于大数据的电网调度自动化***的数据质量评估方法
技术领域
本发明涉及电网调度自动化***，具体涉及一种基于大数据的电网调度自动化***的数据质量评估方法。
背景技术
随着通信技术、电子计算机信息技术的发展和电力生产调度自动化水平的提高。现代电力生产调度自动化***建立在集成的、高速双向通信网络的基础上，通过先进的传感和测量技术、先进的设备技术、先进的控制方法以及先进的决策支持***技术的应用，实现电网的可 靠、安全、经济、高效、环境友好和使用安全的目标。电网调度自动化***产生了海量数据，但是海量数据中也存在着大量的无效数据。这些无效数据产生的原因多种多样，可能由于测量设备测量精度限制、可能由于测量设备本身故障，可能由于通讯传输导致、也可能主站接收数据时产生错误。数据准确性对于后期的数据分析至关重要，错误数据或缺失数据将导致数据分析结果不正确，影响人工决策，进而影响电网的稳定运行。传统的电网中，主要采用状态评估等方式对数据的正确性进行校核，其利用了不同监测设备的相互冗余信息。但其需要准确的拓扑信息，也无法利用海量的历史数据。在现有海量数据情况下，可引入大数据技术，更加有效的改善数据质量。
发明内容
1、所要解决的技术问题：
针对现有技术的不足，本发明提供一种基于大数据的电网调度自动化***的数据质量评估方法，通过建立数据样本空间，对调度***采集的数据采用KNN、LOF、INFLO混合算法对离群点进行甄别数据异常点，通过混合算法对数据的甄别能够高效，快速，低错误率地识别错误数据、无效数据以及丢失的数据，提升了电网调度***的数据质量及可用性，能从海量时序样本中快速排除干扰点，提高仿真计算和状态监测等工作结果的精确度。
2、技术方案：
一种基于大数据的电网调度自动化***的数据质量评估方法，包括以下步骤：
步骤一：获取调度***的数据，将获取的数据根据设备的进行分类，每个设备的数据构建成样本空间X。
步骤二：根据步骤一中建立的样本空间X，对样本空间X中的所有样本点p进行KNN算法进行分类，输出样本空间中可能为离群点的样本。
步骤三：根据步骤一中建立的样本空间X，对样本空间X中的所有样本点p进行局部离群因子算法LOF算法，输出样本空间X中可能为离群点的样本。
步骤四：根据步骤一中建立的样本空间X，对样本空间X中的样本通过INFLO算法，输出样本空间X中可能为离群点的样本。
步骤五：将步骤二到步骤四的结果进行比较，如果三次结果中相同的样本出现的次数大于等于两次，则该样本即为异常点。
步骤六：输出异常点的数据。进一步的，所述步骤二中辨别离群点的过程为：通过计算样本间距离来作为各个对象之间的非相似性指标；所述距离为欧氏距离或曼哈顿距离。
进一步的，所述步骤三中辨别离群点的过程为：首先计算每个样本点p与其他对象之间的欧几里得距离，对欧几里得距离进行排序后，计算每个样本点p的第k距离以及第k邻域；而后计算每个样本点p的可达密度；最后计算局部离群因子；其中如果点p的局部离群因子趋近于1，说明p的邻域点密度相近，p可能与邻域同属一簇；如果局部离群因子越小于1，说明p的密度高于其邻域点密度，p为密集点；如果局部离群因子越大于1，说明p的密度小于其邻域点密度，p越可能是异常点。
进一步地，所述步骤三中辨别离群点的具体过程为：先通过样本空间中样本点p的最近k邻居与逆k邻居，构成了该数据点的影响空间；再计算样本点p的影响空间中的所有点的局部密度的均值或者对象的局部密度，即INFLO的值；如果INFLO的值趋近于1.则说明该数据点就可能是一个正常的点，如果值比较高，那么该点是异常点的概率极大。
3、有益效果：
本发明采用基于大数据离群点检测技术对调度自动化数据质量进行评估，对于离群检测有较好的效果。
具体实施方式
一种基于大数据的电网调度自动化***的数据质量评估方法，包括以下步骤：
步骤一：获取调度***的数据，将获取的数据根据设备的进行分类，每个设备的数据构建成样本空间X。
步骤二：根据步骤一中建立的样本空间X，对样本空间X中的所有样本点p进行KNN算法进行分类，输出样本空间中可能为离群点的样本。
步骤三：根据步骤一中建立的样本空间X，对样本空间X中的所有样本点p进行局部离群因子算法LOF算法，输出样本空间X中可能为离群点的样本。
步骤四：根据步骤一中建立的样本空间X，对样本空间X中的样本通过INFLO算法，输出样本空间X中可能为离群点的样本。
步骤五：将步骤二到步骤四的结果进行比较，如果三次结果中相同的样本出现的次数大于等于两次，则该样本即为异常点。
步骤六：输出异常点的数据。进一步的，所述步骤二中辨别离群点的过程为：通过计算样本间距离来作为各个对象之间的非相似性指标；所述距离为欧氏距离或曼哈顿距离。
进一步的，所述步骤三中辨别离群点的过程为：首先计算每个样本点p与其他对象之间的欧几里得距离，对欧几里得距离进行排序后，计算每个样本点p的第k距离以及第k邻域；而后计算每个样本点p的可达密度；最后计算局部离群因子；其中如果点p的局部离群因子趋近于1，说明p的邻域点密度相近，p可能与邻域同属一簇；如果局部离群因子越小于1，说明p的密度高于其邻域点密度，p为密集点；如果局部离群因子越大于1，说明p的密度小于其邻域点密度，p越可能是异常点。
进一步地，所述步骤三中辨别离群点的具体过程为：先通过样本空间中样本点p的最近k邻居与逆k邻居，构成了该数据点的影响空间；再计算样本点p的影响空间中的所有点的局部密度的均值或者对象的局部密度，即INFLO的值；如果INFLO的值趋近于1.则说明该数据点就可能是一个正常的点，如果值比较高，那么该点是异常点的概率极大。
虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (4)

1.一种基于大数据的电网调度自动化***的数据质量评估方法，包括以下步骤：
步骤一：获取调度***的的数据，将获取的数据根据设备的进行分类，每个设备的数据构建成样本空间X；
步骤二：根据步骤一中建立的样本空间X，对样本空间X中的所有样本点p进行KNN算法进行分类，输出样本空间中可能为离群点的样本；
步骤三：根据步骤一中建立的样本空间X，对样本空间X中的所有样本点p进行局部离群因子算法LOF算法，输出样本空间X中可能为离群点的样本；
步骤四：根据步骤一中建立的样本空间X，对样本空间X中的样本通过INFLO算法，输出样本空间X中可能为离群点的样本；
步骤五：将步骤二到步骤四的结果进行比较，如果三次结果中相同的样本出现的次数大于等于两次，则该样本即为异常点；
步骤六：输出异常点的数据。
2.根据权利要求1所述的一种基于大数据的电网调度自动化***的数据质量评估方法，其特征在于：步骤二中辨别离群点为：通过计算样本间距离来作为各个对象之间的非相似性指标；所述距离为欧氏距离或曼哈顿距离。
3.根据权利要求1所述的一种基于大数据的电网调度自动化***的数据质量评估方法，其特征在于：所述步骤三中辨别离群点的过程为：首先计算每个样本点p与其他对象之间的欧几里得距离，对欧几里得距离进行排序后，计算每个样本点p的第k距离以及第k邻域；而后计算每个样本点p的可达密度；最后计算局部离群因子；其中如果点p的局部离群因子趋近于1，说明p的邻域点密度相近，p可能与邻域同属一簇；如果局部离群因子越小于1，说明p的密度高于其邻域点密度，p为密集点；如果局部离群因子越大于1，说明p的密度小于其邻域点密度，p越可能是异常点。
4.根据权利要求1所述的一种基于大数据的电网调度自动化***的数据质量评估方法，其特征在于：所述步骤三中辨别离群点的具体过程为：先通过样本空间中样本点p的最近k邻居与逆k邻居，构成了该数据点的影响空间；再计算样本点p的影响空间中的所有点的局部密度的均值或者对象的局部密度，即INFLO的值；如果INFLO的值趋近于1.则说明该数据点就可能是一个正常的点，如果值比较高，那么该点是异常点的概率极大。
CN201810110931.5A 2018-02-05 2018-02-05 基于大数据的电网调度自动化***的数据质量评估方法 Pending CN110119858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810110931.5A CN110119858A (zh) 2018-02-05 2018-02-05 基于大数据的电网调度自动化***的数据质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810110931.5A CN110119858A (zh) 2018-02-05 2018-02-05 基于大数据的电网调度自动化***的数据质量评估方法

Publications (1)

Publication Number Publication Date
CN110119858A true CN110119858A (zh) 2019-08-13

Family

ID=67519181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810110931.5A Pending CN110119858A (zh) 2018-02-05 2018-02-05 基于大数据的电网调度自动化***的数据质量评估方法

Country Status (1)

Country Link
CN (1) CN110119858A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930057A (zh) * 2019-12-06 2020-03-27 国网湖北省电力有限公司电力科学研究院 基于lof算法的配电变压器检验结果可信度的量化评判方法
CN112083371A (zh) * 2020-08-07 2020-12-15 国网山东省电力公司济宁供电公司 一种基于lof的异常高压计量点筛查方法及***
CN113809418A (zh) * 2020-12-22 2021-12-17 珠海迈巨微电子有限责任公司 电池管理芯片、***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193835A (zh) * 2011-03-25 2011-09-21 上海磁浮交通发展有限公司 基于3取2计算机***的预执行方法
CN104796386A (zh) * 2014-01-21 2015-07-22 腾讯科技（深圳）有限公司 一种僵尸网络的检测方法、装置和***
CN107357844A (zh) * 2017-06-26 2017-11-17 广州视源电子科技股份有限公司 离群点检测方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193835A (zh) * 2011-03-25 2011-09-21 上海磁浮交通发展有限公司 基于3取2计算机***的预执行方法
CN104796386A (zh) * 2014-01-21 2015-07-22 腾讯科技（深圳）有限公司 一种僵尸网络的检测方法、装置和***
CN107357844A (zh) * 2017-06-26 2017-11-17 广州视源电子科技股份有限公司 离群点检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李育发等: "基于离群点检测的CEMS***数据异常点甄别", 《中国科技纵横》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930057A (zh) * 2019-12-06 2020-03-27 国网湖北省电力有限公司电力科学研究院 基于lof算法的配电变压器检验结果可信度的量化评判方法
CN112083371A (zh) * 2020-08-07 2020-12-15 国网山东省电力公司济宁供电公司 一种基于lof的异常高压计量点筛查方法及***
CN113809418A (zh) * 2020-12-22 2021-12-17 珠海迈巨微电子有限责任公司 电池管理芯片、***及方法

Similar Documents

Publication Publication Date Title
CN108375476B (zh) 一种水电机组健康评估方法
CN109489977B (zh) 基于KNN-AdaBoost的轴承故障诊断方法
CN105511445B (zh) 基于局部近邻标准化矩阵的多模态过程故障检测方法
CN106707060B (zh) 一种获得电力变压器离散型状态参数的方法
Davarifar et al. Real-time model base fault diagnosis of PV panels using statistical signal processing
CN105846780A (zh) 一种基于决策树模型的光伏组件故障诊断方法
CN110119858A (zh) 基于大数据的电网调度自动化***的数据质量评估方法
CN103631681A (zh) 一种在线修复风电场异常数据的方法
CN116660672B (zh) 基于大数据的电网设备故障诊断方法及***
CN108092623A (zh) 一种光伏阵列多传感器故障检测定位方法
CN107679089A (zh) 一种用于电力传感数据的清洗方法、装置和***
CN116388402B (zh) 一种应用于变电设备的异常报警分析方法
CN108957385A (zh) 一种电能计量设备自动化检定线异常表位确认方法及装置
CN105954695A (zh) 一种基于同步的同质传感器突变参数识别方法与装置
CN115455358A (zh) 基于非线性回归模型的电气参数趋势预警及故障诊断方法
CN110096723B (zh) 基于运维检测大数据的高压开关柜绝缘状态分析方法
CN115453356A (zh) 一种动力设备运行状态监测分析方法、***、终端及介质
CN109613372B (zh) 一种基于多元电网数据库的电网故障诊断方法
CN104392591A (zh) 输电线杆故障监测专家***
CN117674249A (zh) 一种含分布式光伏的配电网故障自愈控制与评价方法
CN117743794A (zh) 一种分布式光伏电站故障诊断及效能损失评估***
CN106646106B (zh) 基于变点探测技术的电网故障检测方法
CN117408162A (zh) 基于数字孪生的电网故障控制方法
CN106443238A (zh) 高压设备状态评估方法、在线监测装置评估方法及装置
CN110083804B (zh) 基于条件分布回归的风电场scada数据缺失的智能修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190813

RJ01 Rejection of invention patent application after publication