CN106228296A - 用于架空输电线负荷评估的气象大数据的筛选预处理方法 - Google Patents

用于架空输电线负荷评估的气象大数据的筛选预处理方法 Download PDF

Info

Publication number
CN106228296A
CN106228296A CN201610569074.6A CN201610569074A CN106228296A CN 106228296 A CN106228296 A CN 106228296A CN 201610569074 A CN201610569074 A CN 201610569074A CN 106228296 A CN106228296 A CN 106228296A
Authority
CN
China
Prior art keywords
data
interpolation
screening
transmission line
meteorological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610569074.6A
Other languages
English (en)
Inventor
綦昆仑
刘刚
李炀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201610569074.6A priority Critical patent/CN106228296A/zh
Publication of CN106228296A publication Critical patent/CN106228296A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种用于架空输电线负荷评估的气象大数据的筛选预处理方法,包括以下步骤:S1、对源数据进行筛选;S2、对于源数据中丢失的数据利用大数据的改进插值拟合的方法进行补充。该方法对影响输电线路负荷能力的气象数据进行筛选和去噪,通过从原始气象数据的预处理,包括去噪以及插值补充,提高了源数据的利用率与准确性,在具体实现上,通过MATLAB编程调用工具箱,实现起来简洁方便。本发明可有效处理用于架空输电线路负荷评价的大量气象数据的筛选与预处理,并作为有效分析架空输电线负荷评估的气象大数据关联关系的基础。

Description

用于架空输电线负荷评估的气象大数据的筛选预处理方法
技术领域
本发明涉及气象大数据筛选预处理的技术领域,特别涉及一种用于架空输电线负荷评估的气象大数据的筛选预处理方法。
背景技术
随着科技的进步,电力工作人员对负荷预测准确程度的要求越来越高,要求对内部和外部影响的因素进行全面梳理,建立合理的数学模型,制定合理的计算方法,让负荷预测结论做到快、精、细、准,做到合理调度电力负荷。电力负荷受各种因素的影响尤其是气候因素的影响特别明显,因此有必要研究出电力负荷与各主要影响因素之间的关系及相关程度,从而大大提升电力负荷预测的精度,确保电力供需达到平衡,不再出现“拉闸限电”现象。
通过对电力负荷的跟踪调查,发现气象因素的变化影响电网负荷的变化,特别是随着智能电网的建设、智能家电的普及和应用以及人民群众生活水平的不断提升,对居住环境舒适度的要求越来越高,气象因素的变化对电力负荷变化影响程度也越来越大。因此有必要研究气象因素对电力负荷影响的规律,从而在一定程度上提高电力负荷预测的精度,保证电力很好的服务于地方经济发展,提供可靠的电网支撑,提供优质的电力服务。
为了更好地对相关的关键因素进行大数据的处理建模,必须要对原始数据进行一定的修正与补足,进而提高整个模型的准确性与完整性。其中插值运算是根据数据的分布规律,找到一个函数表达式可以连接已知的各点,并用此函数表达式预测两点之间任意位置上的函数值。而如果能够利用插值中的多维插值的方法,便可对多维气象大数据进行统一的预处理,大大提高整个建模效率。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种用于架空输电线负荷评估的气象大数据的筛选预处理方法,通过对气象大数据进行去噪和标准化,可促进建立不同因素之间的关联关系,进而有效提高输电线路负荷实时监测与动态增容能力。
本发明的目的通过下述技术方案实现:
一种用于架空输电线负荷评估的气象大数据的筛选预处理方法,所述筛选预处理方法包括下列步骤:
S1、对源数据进行筛选,该步骤具体包括:
S101、从源数据中分析找出噪声数据与坏数据;
S102、采用相似性方法设置数据合理的阈值范围,对超出范围的数据进行剔除;
S2、对于源数据中丢失的数据利用大数据的改进插值拟合的方法进行补充,该步骤具体包括:
S201、从源数据中分析找出丢失的数据;
S202、确定进行插值拟合的区域范围以及相关参数;
S203、使用多维插值的命令进行插值补充,在离散的原始气象大数据的基础上补插连续函数;
S204、在每两个坐标轴上使用二维插值的方法,进行修正,并且对比不同的参数设置,选择最佳方案;
S205、画出插值拟合图像;
S206、对原图像进行上色以及光滑处理。
进一步地,所述步骤S101、从源数据中分析找出噪声数据与坏数据具体过程如下:
通过设置不同温度的阈值,若温度间的变化超过阈值设定的范围,即其中α(t),β(t)为设置的阈值,则判断该数据为噪声数据与坏数据。
进一步地,所述步骤S102、采用相似性方法设置数据合理的阈值范围,对超出范围的数据进行剔除具体过程如下:
对于给定原始数据:
如果有其中α(t),β(t)为阈值,则用下式对x(i,t)进行修复:
其中
而x(i,t)表示第i天第t时刻的数据。
进一步地,所述步骤S203、使用多维插值的命令进行插值补充具体过程如下:
使用Matlab中的n维插值函数
VI=interpn(X1,X2,X3...V,Y1,Y2,Y3,…,method)
对源数据进行插值补充。
本发明相对于现有技术具有如下的优点及效果:
本发明提出的用于架空输电线负荷评估的气象大数据的筛选预处理方法,通过从原始气象数据的预处理,包括去噪以及插值补充,提高了源数据的利用率与准确性,在具体实现上,通过MATLAB编程调用工具箱,实现起来简洁方便。本发明可有效处理用于架空输电线路负荷评价的大量气象数据的筛选与预处理,并作为有效分析架空输电线负荷评估的气象大数据关联关系的基础。
附图说明
图1是本发明中公开的用于架空输电线负荷评估的气象大数据的筛选预处理方法的流通步骤图;
图2(a)是使用MATLAB实现一组三维原始数据的插值补充的示意图;
图2(b)是使用MATLAB实现一组三维原始数据的插值补充的涂色后的示意图;
图2(c)是使用MATLAB实现一组三维原始数据的插值补充的涂色并进行光滑处理后的示意图;
图3(a)是经过数据预处理之后的数据进行三维插值补充的上色并光滑处理后的示意图;
图3(b)是经过数据预处理之后的数据进行三维插值补充后在底面坐标的投影示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例
对于绝大部分地区而言,气象因素是影响架空输电线路负荷的主要影响因素。正确分析关于架空输电线负荷的气象大数据之间以及气象大数据与架空输电线数据的相互关联关系对于增大架空输电线负荷评估的正确性具有重大意义。影响架空输电线负荷的气象因素有很多。为了计算架空输电线负荷的气象大数据之间以及气象大数据与架空输电线数据的相互关联关系的前提必须按是提取气象因素关键信息,如温度、湿度、风向、风速等,并对这些关键信息的数据进行标准化处理,同时对于架空输电线路主要指标和常规负荷进行筛选与去噪,才能进行后期建模分析。
请参见图1,图1是本实施例中公开的用于架空输电线负荷评估的气象大数据的筛选预处理方法的流通步骤图。在本实施例中使用代表位置和温度的三维数据进行描述。本专利使用插值方法对原始数据进行补充,而对于其中的异常数据采取设置标准阈值的方法进行剔除。图1所示的用于架空输电线负荷评估的气象大数据的筛选预处理方法,具体包括以下步骤:
S1、对源数据进行筛选;
该步骤具体又包括下列子步骤:
S101、从源数据中分析找出噪声数据与坏数据;
通过分析所研究的区域以及最终的应用选择,初步找出对于所要研究的问题中有干扰的以及不合理的数据。
具体应用中,通过设置不同温度的阈值,若温度间的变化超过阈值设定的范围,即其中α(t),β(t)为设置的阈值,则认为该数据对于所要研究的问题是有干扰的以及不合理的噪声数据与坏数据。
S102、采用相似性方法设置数据合理的阈值范围,对超出范围的数据进行剔除;
具体应用中,该步骤的过程如下:
对于给定原始数据:
如果有其中α(t),β(t)为阈值,则需要用下式对x(i,t)进行修复:
其中
而x(i,t)表示第i天第t时刻的数据。在这里X轴、Y轴分别代表图中坐标,可以通过X、Y的值来唯一确定给定数据在图中的位置。
S2、对于源数据中丢失的数据利用大数据的改进插值拟合的方法进行补充;
该步骤又包括下列子步骤:
S201、从源数据中分析找出丢失的数据;
分析所研究的区域以及最终的研究目的,找出对于所要研究的问题中所缺少的数据以及必要数据。即对于研究的某坐标或者区域的气象数据没有出现在原始数据中,则认为该坐标或者区域的数据为丢失的数据。
S202、确定进行插值拟合的区域范围以及相关参数;
在本实施例中,随机选取一块区域作为具体实施例来进行说明,经过如上处理后的数据格的具体数值在Matlab中的格式如下所示:
x=0:400:5600;
y=0:400:4800;
z=[370 470 550 600 670 690 670 620 580 450 400 300 100 150 250;...
510 620 730 800 850 870 850 780 720 650 500 200 300 350 320;...
650 760 880 970 1020 1050 1020 830 900 700 300 500 550 480 350;...
740 880 1080 1130 1250 1280 1230 1040 900 500 700 780 750 650 550;...
830 980 1180 1320 1450 1420 1400 1300 700 900 850 840 380 780 750;...
880 1060 1230 1390 1500 1500 1400 900 1100 1060 950 870 900 930950;...
910 1090 1270 1500 1200 1100 1350 1450 1200 1150 1010 880 1000 10501100;...
950 1190 1370 1500 1200 1100 1550 1600 1550 1380 1070 900 1050 11501200;...
1430 1430 1460 1500 1550 1600 1550 1600 1600 1600 1550 1500 1500 15501550;...
1420 1430 1450 1480 1500 1550 1510 1430 1300 1200 980 850 750 550500;...
1380 1410 1430 1450 1470 1320 1280 1200 1080 940 780 620 460 370350;...
1370 1390 1410 1430 1440 1140 1110 1050 950 820 690 540 380 300210;...
1350 1370 1390 1400 1410 960 940 880 800 690 570 430 290 210 150];
其中在这里,X表示从[0,5600]的范围内,Y表示从[0,4800]的范围内的一块随机选取的区域,均以400为间隔进行分割,而Z轴数据表示转换后的温度的数值(均以随机数值表示,根据不同的实际数据进行替换)。
S203、使用Matlab中多维插值的命令进行插值补充,在离散的原始气象大数据的基础上补插连续函数;
由于数据量仅有有限多点,为得到更多的未知地点的数据则通过Matlab中的多维插值的命令进行插值补充,在离散的原始气象大数据的基础上补插连续函数,使得这条连续曲线通过全部给定的离散数据点,以此得到更多的未知地点温度数据。
在主要采用多维插值的方法n维插值基础上:
VI=interpn(X1,X2,X3...V,Y1,Y2,Y3,…,method)
S204、在每两个坐标轴上使用二维插值的方法,进行修正,并且对比不同的参数设置,选择最佳方案;
S205、画出插值拟合图像;
具体应用中,为了使拟合的结果更直观,通过Matlab自带的画图函数surfc在三维空间画出插值拟合后的数据。
S206、对原图像进行上色以及光滑处理,使得最终结果更加光滑与准确。
具有应用中,该步骤对原图像进行上色以及光滑处理,使得最终结果更加光滑与准确。同时如图2(a)、图2(b)以及图2(c)所示,将使用不同参数的多维插值方法放到同一图进行比较,具体实施通过Matlab自带的画图函数subplot实施。
如图3(a)和图3(b)所示,经过上述的对于原始气象大数据的数据预处理得到一组三维用于架空输电线路负荷评估的原始气象大数据的插值补充。
另外除了使用上述interpn函数进行插值拟合外,可以通过如下对于原始数据的拟合处理进行原始数据的预处理,并直接画出数据预处理后的图像:
[X,Y,Z]=griddata(x,y,z,linspace(min(x),max(x))',linspace(min(y),max(y)),'v4')
最后使用Ndgrid函数产生n维空间上的栅格,具体使用格式如下:
[X1,X2,X3]=ndgrid(x1,x2,x3,…)
按照上述去噪与预处理方法推广到其他区域进行拟合检验,进行之后的主成分(PCA)分析方法,进而为效分析架空输电线负荷评估的气象大数据关联关系打下基础。)
对原始数据进行预处理,消除数据“噪音”并补足缺少的数据之后,便可进一步进行之后的主成分(PCA)分析方法,进而为效分析架空输电线负荷评估的气象大数据关联关系打下基础。
综上所述,本发明提出的用于架空输电线负荷评估的气象大数据的筛选预处理方法,通过从原始气象数据的预处理,包括去噪以及插值补充,提高了源数据的利用率与准确性,在具体实现上,通过MATLAB编程调用工具箱,实现起来简洁方便。本发明可有效处理用于架空输电线路负荷评价的大量气象数据的筛选与预处理,并作为有效分析架空输电线负荷评估的气象大数据关联关系的基础。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (4)

1.一种用于架空输电线负荷评估的气象大数据的筛选预处理方法,其特征在于,所述筛选预处理方法包括下列步骤:
S1、对源数据进行筛选,该步骤具体包括:
S101、从源数据中分析找出噪声数据与坏数据;
S102、采用相似性方法设置数据合理的阈值范围,对超出范围的数据进行剔除;
S2、对于源数据中丢失的数据利用大数据的改进插值拟合的方法进行补充,该步骤具体包括:
S201、从源数据中分析找出丢失的数据;
S202、确定进行插值拟合的区域范围以及相关参数;
S203、使用多维插值的命令进行插值补充,在离散的原始气象大数据的基础上补插连续函数;
S204、在每两个坐标轴上使用二维插值的方法,进行修正,并且对比不同的参数设置,选择最佳方案;
S205、画出插值拟合图像;
S206、对原图像进行上色以及光滑处理。
2.根据权利要求1所述的用于架空输电线负荷评估的气象大数据的筛选预处理方法,其特征在于,所述步骤S101、从源数据中分析找出噪声数据与坏数据具体过程如下:
通过设置不同温度的阈值,若温度间的变化超过阈值设定的范围,即其中α(t),β(t)为设置的阈值,则判断该数据为噪声数据与坏数据。
3.根据权利要求2所述的用于架空输电线负荷评估的气象大数据的筛选预处理方法,其特征在于,所述步骤S102、采用相似性方法设置数据合理的阈值范围,对超出范围的数据进行剔除具体过程如下:
对于给定原始数据:
如果有其中α(t),β(t)为阈值,则用下式对x(i,t)进行修复:
其中
而x(i,t)表示第i天第t时刻的数据。
4.根据权利要求1所述的用于架空输电线负荷评估的气象大数据的筛选预处理方法,其特征在于,
所述步骤S203、使用多维插值的命令进行插值补充具体过程如下:
使用Matlab中的n维插值函数
VI=interpn(X1,X2,X3...V,Y1,Y2,Y3,…,method)
对源数据进行插值补充。
CN201610569074.6A 2016-07-18 2016-07-18 用于架空输电线负荷评估的气象大数据的筛选预处理方法 Pending CN106228296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610569074.6A CN106228296A (zh) 2016-07-18 2016-07-18 用于架空输电线负荷评估的气象大数据的筛选预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610569074.6A CN106228296A (zh) 2016-07-18 2016-07-18 用于架空输电线负荷评估的气象大数据的筛选预处理方法

Publications (1)

Publication Number Publication Date
CN106228296A true CN106228296A (zh) 2016-12-14

Family

ID=57531960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610569074.6A Pending CN106228296A (zh) 2016-07-18 2016-07-18 用于架空输电线负荷评估的气象大数据的筛选预处理方法

Country Status (1)

Country Link
CN (1) CN106228296A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133317A (zh) * 2017-12-20 2018-06-08 长安大学 一种山区高速公路平纵组合安全水平的评价方法
CN111352617A (zh) * 2020-03-16 2020-06-30 山东省物化探勘查院 一种基于Fortran语言的磁法数据辅助整理方法
CN112946398A (zh) * 2021-03-04 2021-06-11 国网浙江省电力有限公司嘉兴供电公司 一种结合气象预测数据的输变电线路的增容容量预估方法
CN117196353A (zh) * 2023-11-07 2023-12-08 山东省济宁生态环境监测中心(山东省南四湖东平湖流域生态环境监测中心) 基于大数据的环境污染评估与监测方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072900A (ja) * 2002-08-06 2004-03-04 Mitsubishi Heavy Ind Ltd 電力ネットワーク管理システムおよび電力ネットワーク管理方法
CN103985065A (zh) * 2014-05-20 2014-08-13 天津大学 一种基于故障预扫描的电力***风险评估方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072900A (ja) * 2002-08-06 2004-03-04 Mitsubishi Heavy Ind Ltd 電力ネットワーク管理システムおよび電力ネットワーク管理方法
CN103985065A (zh) * 2014-05-20 2014-08-13 天津大学 一种基于故障预扫描的电力***风险评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱倩雯等: "风电场输出功率异常数据识别与重构方法研究", 《电力***保护与控制》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133317A (zh) * 2017-12-20 2018-06-08 长安大学 一种山区高速公路平纵组合安全水平的评价方法
CN108133317B (zh) * 2017-12-20 2021-12-14 长安大学 一种山区高速公路平纵组合安全水平的评价方法
CN111352617A (zh) * 2020-03-16 2020-06-30 山东省物化探勘查院 一种基于Fortran语言的磁法数据辅助整理方法
CN112946398A (zh) * 2021-03-04 2021-06-11 国网浙江省电力有限公司嘉兴供电公司 一种结合气象预测数据的输变电线路的增容容量预估方法
CN117196353A (zh) * 2023-11-07 2023-12-08 山东省济宁生态环境监测中心(山东省南四湖东平湖流域生态环境监测中心) 基于大数据的环境污染评估与监测方法及***
CN117196353B (zh) * 2023-11-07 2024-02-27 山东省济宁生态环境监测中心(山东省南四湖东平湖流域生态环境监测中心) 基于大数据的环境污染评估与监测方法及***

Similar Documents

Publication Publication Date Title
Luo et al. Real-time anomaly detection for very short-term load forecasting
CN106228296A (zh) 用于架空输电线负荷评估的气象大数据的筛选预处理方法
CN109657844B (zh) 电力短期负荷预测方法和装置
Wang et al. Secondary forecasting based on deviation analysis for short-term load forecasting
Jota et al. Building load management using cluster and statistical analyses
CN104715156B (zh) 一种建筑节能潜力动态评估方法
CN103632306A (zh) 一种基于聚类分析的配电网供电区域划分方法
Tao et al. Input dimension reduction for load forecasting based on support vector machines
CN105184673A (zh) 一种配电网图模文件可视化离线校核方法
CN106056233A (zh) 一种电力负荷预测的方法
CN106202707A (zh) 一种基于灰色置信区间的结构应力‑强度干涉模型集合可靠性分析方法
CN103177160B (zh) 基于特征的飞机结构件自动装夹实现方法
CN110490220A (zh) 一种母线负荷辨识方法和***
Kumar et al. Internet of energy handbook
Park et al. A Study of Strategy for Spread of Green IT
KR101764758B1 (ko) 물/에너지/식량 자원의 상호 연계 분석 시스템 및 방법
Ullah et al. Industrial energy management system: Design of a conceptual framework using IoT and big data
CN103745417A (zh) 一种电网负荷特征曲线分析方法
Wang et al. Three-dimensional maturity model of regional power users against the background of the ubiquitous power internet of things
CN112926777B (zh) 考虑商业建筑用能行为的日前负荷预测方法及***
CN109101778A (zh) 基于性能退化数据和寿命数据融合的Wiener过程参数估计方法
CN106451438B (zh) 一种考虑智能用电行为的负荷区间预测方法
CN103415021B (zh) 一种基于可满足性问题规约的无线频率分配方法
CN108154281A (zh) 一种天然气净化厂能源消耗评价方法及装置
CN108108864B (zh) 一种实验室质量控制数据管理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161214