CN108764541B - 一种结合时空特征和误差处理的风能预测方法 - Google Patents
一种结合时空特征和误差处理的风能预测方法 Download PDFInfo
- Publication number
- CN108764541B CN108764541B CN201810469434.4A CN201810469434A CN108764541B CN 108764541 B CN108764541 B CN 108764541B CN 201810469434 A CN201810469434 A CN 201810469434A CN 108764541 B CN108764541 B CN 108764541B
- Authority
- CN
- China
- Prior art keywords
- feature
- space
- model
- time
- wind energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Wind Motors (AREA)
Abstract
本发明公开了一种结合时空特征和误差处理的风能预测方法,所述方法包括以下步骤:从风能时间序列中提取时间特征,通过多输入‑单输出的模式提取距离较近风电机之间的信息,引入空间特征;通过基于k近邻的噪声数据检测方法对时间特征和空间特征进行预处理;对预处理后的特征进行时空特征的方差属性分析,基于分析的结果训练多组预测器模型;采用加权平均数方式对多个预测模型进行组合,生成基于时空特征方差的集成学习模型,用于对组合后的预测模型进行误差预测;使用集成学习模型得到预测值y,将和时空特征相应的误差特征输入到辅助模型中,得到结果y′,则最终的预测值为y+y′;集成学习模型和辅助模型相结合生成最终的模型。
Description
技术领域
本发明涉及数据挖掘、特征工程和风能预测领域,尤其涉及一种结合时空特征和误差处理的风能预测方法。
背景技术
目前用于风能预测的机器学习算法主要有人工神经网络、决策树、支持向量机回归等。由于风能预测问题本身就是一个“依据特征预测数值”的问题,与一般的机器学习方法具有很好的可结合性,使得大多数常用的机器学习方法包括:随机森林、神经网络、以及各类回归算法等能够很容易的迁移应用到这一领域。
目前无法证明一个模型比另一个模型更好:首先,尚不存在一个公认的评价标准来评判各个模型,其次,若要对比两个模型的效果,需要在相同的数据集下进行对比,这是不符合现实需求的,风能预测器的表现与其具体应用的区域有很强的相关性,不同模型在不同的数据集下表现不同,一些场景下神经网络是表现最好的模型,而在另外的场景中,支持向量机回归是最好的模型。因此这些模型目前处于并存的状态。
除了针对模型的研究,也有研究人员对用于预测的特征进行了考察,研究人员将时空信息引入到风能特征提取中,使得风电功率预测的准确率有了很大提高。所谓时空特征,就是既包含一个发电机发电功率的历史信息,又包含其附近其它发电机发电功率信息的特征。一般的,发电机的发电功率强相关于风速,而风速本身就是一种时空相关特征,因此引入时空特征是风电功率预测的一个突破性进展。
但是,目前对于风能预测的技术也存在缺点。首先,单一模型只能满足特定环境下的预测,不能满足一般条件的风电预测。另外,对于时空特征的研究还不够,一般只是将若干距离较近的发电机的特征拼接到一起,而未做更深入的信息挖掘。
发明内容
本发明提供了一种结合时空特征和误差处理的风能预测方法,本发明能够提取更为有效的特征结合集成学习,有效克服传统单一模型在预测中往往只能适用特定场景,不具有普适性的技术性问题,详见下文描述:
一种结合时空特征和误差处理的风能预测方法,所述方法包括以下步骤:
从风能时间序列中提取时间特征,通过多输入-单输出的模式提取距离较近风电机之间的信息,引入空间特征;
通过基于k近邻的噪声数据检测方法对时间特征和空间特征进行预处理;
对预处理后的特征进行时空特征的方差属性分析,基于分析的结果训练多组预测器模型;
采用加权平均数方式对多个预测模型进行组合,生成基于时空特征方差的集成学习模型,用于对组合后的预测模型进行误差预测;
使用集成学习模型得到预测值y,将和时空特征相应的误差特征输入到辅助模型中,得到结果y′,则最终的预测值为y+y′;集成学习模型和辅助模型相结合生成最终的模型。
所述通过基于k近邻的噪声数据检测方法对时间特征和空间特征进行预处理具体为:
对每个时空特征Xi,计算与其他特征Xj的相似度,选择h个相似度最大的作为近邻,然后依据时空特征X的输出和近邻的输出,判断时空特征X是否是噪音,并剔除掉噪声构成特征集。
所述基于分析的结果训练多组预测器模型具体为:
训练集为时空特征Xi的方差为v(Xi),若满足|v(Xj)-v(Xi)|<δ,δ∈实数R,<X,y>∈则时空特征Xj的方差、与时空特征Xi的方差接近,则将Xj和Xi划分为一组;并用划分后产生的每组数据单独训练预测器模型。
所述辅助模型具体为:
所述辅助模型用于预测组合后的集成学习模型的误差;
所述判断时空特征X是否是噪音,并剔除掉噪声构成特征集具体为:
yi>max(Nsi)+α·max(|sp-sq|)
或
yi<min(Nsi)-α·max(|sp-sq|)
对特征Xi的所有近邻表示为集合Nxi,相应的输出表示为集合Nyi。对将Nyi除去最大值max(Nyi)、最小值min(Nyi)后构成新的集合Nsi。如果(sp、sq为Nsi中任意元素,表示特征对应的输出)、满足上述任一公式,则判定(Xi,yi)为噪声数据,其中α∈R为可调节参数,yi为特征Xi对应的输出。
本发明提供的技术方案的有益效果是:
1、本发明以k-d树为基础,提出了一种风电数据特征的噪声检测方法,能够检测出训练集合中的极端数据,以使得训练集数据一致性更佳,所训练模型鲁棒性、稳定性更强;
2、本发明利用时空特征,训练一种融合弱模型的集成学习模型,相对于传统方法,本发明融合弱模型时权值计算方式不同,预测准确率有明显提升;
3、本发明对机器学习在风电功率预测中的误差进行分析与处理,采用降噪的方法,使得预测准确率进一步提升。
附图说明
图1为一种结合时空特征和误差处理的风能预测方法的流程图;
图2为时空特征提取方法的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
为实现上述目的,本发明实施例提出了结合时空特征和误差处理的的风能预测方法,参见图1,该方法包含以下步骤:
101:从风能时间序列中提取时间特征,通过多输入-单输出的模式提取距离较近风电机之间的信息,引入空间特征;
一方面,风能时间序列反应了风电机的输出电功率随时间的变化,因此从风能时间序列中提取特征数据,用于训练预测模型。
另一方面,本发明实施例将距离较近的风电机互称为“邻居”。提取距离较近风电机之间的信息,引入空间特征。
本发明实施例采用多输入-单输出的模式,即<X,y>,其中X是向量,即时空特征,y是输出。
102:通过基于k近邻的噪声数据检测方法对时间特征和空间特征进行预处理;
本发明实施例设计了一种基于k近邻的噪声数据检测算法,该方法对已经提取得到的时间特征和空间特征进行处理。
对每个时空特征Xi(即同时包含时间特征和空间特征),计算与其他特征Xj的相似度,选择h个相似度最大的作为近邻,然后依据时空特征X的输出和近邻的输出,判断时空特征X是否是噪音,并剔除掉噪声构成特征集。
103:对步骤102中预处理后的特征进行时空特征的方差属性分析;
时空特征(即同时包含时间特征和空间特征)是一段时间内、一定空间范围内各涡轮机的发电功能,则时空特征的稳定程度反映了当前该地区风力的稳定程度。方差反映了将一个时空特征作为一列数时,数据间的离散程度或稳定程度。稳定程度对于风能预测的结果有极大的影响,越稳定越容易预测,越能达到高准确率。
104:训练多组预测器模型;
其中,例如:训练集为时空特征为X,依据步骤103求得时空特征Xi的方差为v(Xi)。若满足|v(Xj)-v(Xi)|<δ,(δ∈实数R,)则特征Xj的方差、与特征Xi的方差较为接近,则将Xj和Xi划分为一组。并用划分后产生的每组数据单独训练预测器模型。
105:采用加权平均数方式对多个预测模型进行组合,生成基于时空特征方差的集成学习模型VFMLEs;
其中,步骤104中得到的每个预测模型称为弱预测器或基本预测器,对多个弱预测器进行组合可以得到强预测器,本发明实施例采用加权平均的方式生成强预测器。
106:对组合后的预测模型进行误差预测;
其中,在得到VFMLEs预测模型后,再训练一个辅助模型AM(Auxiliary Model),用于预测组合后的VFMLEs模型的误差。将数据集和组合后的VFMLEs模型的预测值y’构成训练AM新的数据集误差特征eX为当前时间点最近的若干连续风电功率值
本发明实施例基于k-d树完成此过程,进一步反应风电变化趋势与预测误差的关系。
107:辅助模型AM的训练过程。
其中,该步骤107具体为:
在对原始训练集时空特征X进行预测时,使用VFMLEs模型得到预测值y。同时,将和时空特征X相应的误差特征eX输入到辅助模型AM中,得到结果y′,则***最终的预测值为y+y′。VFMLEs模型和AM模型相结合生成最终的模型VFMLEs-AM。
综上所述,本发明实施例利用时空特征,训练一种融合弱模型的集成学习模型,相对于传统方法,本发明融合弱模型时权值计算方式不同,预测准确率有明显提升。
实施例2
下面结合具体的计算公式、实例、以及图2对实施例1中的方案进行进一步地介绍,详见下文描述:
202:在相应的分组内分别提取时空特征,本发明实施例采用多输入-单输出的模式,即<X,y>,其中X是向量,即时空特征,y是输出。时空特征提取方法如图2所示。
如图2所示,对于单一观测对象nti,时间特征从单一风电机的数据中获得,得到tb序列,在任意时刻,选取过去最近的若干测量值作为特征,并以未来某特定时间距离的测量值作为对应于该时间特征的输出。空间特征为根据目标风电机的邻居,生成一个邻居集合{nt1,nt2,…,ntn},依次为每个风电机提取时间特征,最后时间特征和空间特征组合为时空特征。
203:采用基于k近邻的噪声数据检测算法,对已经提取得到的特征数据进行处理;
对时空特征X,首先通过比较相似度,寻找其近邻,然后依据时空特征X的输出和近邻的输出,判断时空特征X是否是噪音。
在数据较为稀疏时,将相似度较高的若干个数据项叠加,得到新的“输入-输出”数据项,即对原数据集进行扩充,以得到一致性更好的数据集。本部分利用k-d树来加速近邻查询。
205:时空特征的属性分析;
对于一个特定时空t,其时空特征X表示为xt=<xt,0,xt,1,···;xt,n-1>,相应的输出为yt。特征的方差如公式(2)所示。
公式(2)中,为<xt,0,xt,1,···,xt,n-1>的平均值,方差反映了将一个时空特征作为一列数时,数据间的离散程度或稳定程度。稳定程度对于风能预测的结果有极大的影响,越稳定越容易预测,越能达到高准确率。
一个子集可被用来训练多个不同类型的模型。训练完成的模型表示为Ψ={Ψi},其中p=|Ψ|,i∈[0;p),p为弱预测器的数量。
207:估计训练好的模型在每种类型数据上的效果;
208:本发明采用加权平均数的方法来融合多个预测模型的结果,故需要计算每个预测模型在预测每种类型数据时的权重,以矩阵Wp×group表示;
其中,Wi,j表示模型Ψi在预测type属性值等于j的场景时所占的权重。计算方法如公式(3)所示。
公式(3)中E,j表示矩阵E的第j列,h和t是两个可调节的参数。
209:利用k-d树对误差特征进行提取,以所有实例的输入特征为基础,构建一颗k-d树,并选择一个整数然后对每个Xi,利用已构建的k-d树,查询其近邻,Xi的所有近邻表示为集合Nxi,相应的输出表示为集合Nyi。
210:在提取特征基础上进行去噪。
对特征Xi的所有近邻表示为集合Nxi,相应的输出表示为集合Nyi。对将Nyi除去最大值max(Nyi)、最小值min(Nyi)后构成新的集合Nsi。如果(sp、sq为Nsi中任意元素,表示特征对应的输出)、满足下述任一公式,则判定(Xi,yi)为噪声数据,其中α∈R为可调节参数,yi为特征Xi对应的输出。
yi>max(Nsi)+α·max(|sp-sq|) (4)
或
yi<min(Nsi)-α·max(|sp-sq|) (5)
211:在对输入特征X进行预测时,使用原始模型得到预测值y,同时,将和X相应的误差特征eX输入到误差预测器中,得到结果y′,则***最终的预测值为y+y′。
综上所述,本发明实施例以k-d树为基础,提出了一种风电数据特征的噪声检测方法,能够检测出训练集合中的极端数据,以使得训练集数据一致性更佳,所训练模型鲁棒性、稳定性更强。
实施例3
下面结合具体的实验数据对实施例1和2中的方案进行可行性验证,详见下文描述:
风电功率预测问题本质上是一个数值预测问题,而评价数值预测问题有通用的标准,例如:平均绝对误差MAE、平均平方误差MSE和均方根误差RMSE等。通常一般以“误差率(误差与实际数值的百分比)”来评判模型,这种方法有一定的缺陷,例如误差率的数值依赖实际数值大小,当实际值很小时,即使预测误差很小,误差率也可能很大,反之,当实际值较大时,即使模型表现差,误差率也可能很小。本发明实施例主要使用MSE来评价和对比实验结果。MAE的计算公式如公式(6)所示。
公式(6)中,N表示预测目的个数,pi和qi分别为预测结果和实际结果,MSE的值越小,表示预测结果越好。
实验结果表明,通过在5个数据集对比SVR、k-NN、DT、ANNs和RW方法。区别于传统集成学习最大的不同在于组合弱模型结果时的权值计算方式。本发明实施例采用倒数法的集成学习方法统称为RW方法。集成学习方法采用的表现最好的支持向量机回归和神经网络叠加。决策树和神经网络算法存在一定的随机性。
通过最后对误差的预测,以MSE为评价标准时,本发明实施例提出的方法较SVR、k-NN,DT和ANNs在准确率均有提升,多个数据集上的平均结果显示,较上述四种方法分别提升了4.644%、12.088%、17.176%和5.629%。本发明实施例所设计的方法从两个大的方向对用于风电功率预测的机器学习模型进行改进,并在两个方面均有了一定提升。将二者综合到一起时,准确性更佳。传统方法与VFMLEs方法MSE结果对比结果如表1所示。
表1传统方法与VFMLEs方法MSE结果对比
由表1可见,不同的基本算法在单独使用时,表现有所差异,单个模型的表现与其用作同质集成学习的弱模型时表现的排名类似,例如:SVR优于k-NN。值得注意的是,表中的RW方法,其与VFMLEs的差别,仅在于弱模型组合方式的不同,用于训练RW弱模型的数据子集,也是依据时空特征的方差分组获得的。本发明实施例所提出最终VFMLEs-AM模型与其他方法对比结果如表2所示。
表2综合实验结果
从表2可知,以MSE为评价标准时,本发明实施例提出的方法较SVR、k-NN,DT和ANNs在准确率均有提升,多个数据集上的平均结果显示,较上述四种方法分别提升了4.644%、12.088%、17.176%和5.629%。
本发明实施例对各器件的型号除做特殊说明的以外,其他器件的型号不做限制,只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种结合时空特征和误差处理的风能预测方法,其特征在于,所述方法包括以下步骤:
从风能时间序列中提取时间特征,通过多输入-单输出的模式提取距离较近风电机之间的信息,引入空间特征;
通过基于k近邻的噪声数据检测方法对时间特征和空间特征进行预处理;
对预处理后的特征进行时空特征的方差属性分析,基于分析的结果训练多组预测器模型;
采用加权平均数方式对多个预测模型进行组合,生成基于时空特征方差的集成学习模型,用于对组合后的预测模型进行误差预测;
使用集成学习模型得到预测值y,将和时空特征相应的误差特征输入到辅助模型中,得到结果y′,则最终的预测值为y+y′;集成学习模型和辅助模型相结合生成最终的模型。
2.根据权利要求1所述的一种结合时空特征和误差处理的风能预测方法,其特征在于,所述通过基于k近邻的噪声数据检测方法对时间特征和空间特征进行预处理具体为:
对每个时空特征Xi,计算与其他特征Xj的相似度,选择h个相似度最大的作为近邻,然后依据时空特征X的输出和近邻的输出,判断时空特征X是否是噪音,并剔除掉噪声构成特征集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810469434.4A CN108764541B (zh) | 2018-05-16 | 2018-05-16 | 一种结合时空特征和误差处理的风能预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810469434.4A CN108764541B (zh) | 2018-05-16 | 2018-05-16 | 一种结合时空特征和误差处理的风能预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108764541A CN108764541A (zh) | 2018-11-06 |
CN108764541B true CN108764541B (zh) | 2021-06-29 |
Family
ID=64008011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810469434.4A Active CN108764541B (zh) | 2018-05-16 | 2018-05-16 | 一种结合时空特征和误差处理的风能预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108764541B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657839B (zh) * | 2018-11-22 | 2023-05-26 | 天津大学 | 一种基于深度卷积神经网络的风电功率预测方法 |
CN110727916B (zh) * | 2019-08-20 | 2021-04-23 | 广东省科学院广州地理研究所 | 一种大规模海域风能长期预测方法及*** |
CN110634565B (zh) * | 2019-09-18 | 2021-04-06 | 深圳市微克科技有限公司 | 一种医疗大数据回归分析方法 |
CN111261288A (zh) * | 2020-04-07 | 2020-06-09 | 上海市精神卫生中心(上海市心理咨询培训中心) | 一种基于bdnf早期识别双相障碍的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440541A (zh) * | 2013-09-18 | 2013-12-11 | 山东大学 | 多风电场短期输出功率的联合概率密度预测方法 |
CN104778506A (zh) * | 2015-03-31 | 2015-07-15 | 天津大学 | 基于局部集成学习的短期风速预报方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10628838B2 (en) * | 2013-04-24 | 2020-04-21 | International Business Machines Corporation | System and method for modeling and forecasting cyclical demand systems with dynamic controls and dynamic incentives |
-
2018
- 2018-05-16 CN CN201810469434.4A patent/CN108764541B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440541A (zh) * | 2013-09-18 | 2013-12-11 | 山东大学 | 多风电场短期输出功率的联合概率密度预测方法 |
CN104778506A (zh) * | 2015-03-31 | 2015-07-15 | 天津大学 | 基于局部集成学习的短期风速预报方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108764541A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Actional-structural graph convolutional networks for skeleton-based action recognition | |
CN108764541B (zh) | 一种结合时空特征和误差处理的风能预测方法 | |
CN109614981B (zh) | 基于斯皮尔曼等级相关的卷积神经网络的电力***智能故障检测方法及*** | |
Yar et al. | Optimized dual fire attention network and medium-scale fire classification benchmark | |
CN111079646A (zh) | 基于深度学习的弱监督视频时序动作定位的方法及*** | |
Chen et al. | Pointgpt: Auto-regressively generative pre-training from point clouds | |
CN114972213A (zh) | 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法 | |
Thomson et al. | Efficient and compact convolutional neural network architectures for non-temporal real-time fire detection | |
JP2018169959A (ja) | 多層ニューラルネットワーク(ディープラーニング)の性能向上のための高寄与度項目の抽出システム、抽出方法及び抽出プログラム | |
CN110245984A (zh) | 一种基于因果推断的网络购物行为分析方法和*** | |
CN109447014A (zh) | 一种基于双通道卷积神经网络的视频在线行为检测方法 | |
Han et al. | L-Net: lightweight and fast object detector-based ShuffleNetV2 | |
CN112528811A (zh) | 行为识别方法和装置 | |
Gan et al. | Temporal attention-pyramid pooling for temporal action detection | |
Dong et al. | Mining data correlation from multi-faceted sensor data in the Internet of Things | |
Li et al. | Symmetry discovery and retrieval of nonrigid 3D shapes using geodesic skeleton paths | |
Grycuk et al. | A novel method for solar image retrieval based on the parzen kernel estimate of the function derivative and convolutional autoencoder | |
CN111738086B (zh) | 用于点云分割的构图方法、***及点云分割***、装置 | |
Zhang | [Retracted] Sports Action Recognition Based on Particle Swarm Optimization Neural Networks | |
CN116912774A (zh) | 一种基于边缘计算的输变电设备红外图像目标识别方法、电子装置及存储介质 | |
CN115225373B (zh) | 一种信息不完备条件下的网络空间安全态势表达方法及装置 | |
CN106816871B (zh) | 一种电力***状态相似性分析方法 | |
CN113435575B (zh) | 基于不平衡数据的门图神经网络暂态稳定性评估方法 | |
Wang et al. | Fuzzy-nms: Improving 3d object detection with fuzzy classification in nms | |
Fu et al. | Nested densely atrous spatial pyramid pooling and deep dense short connection for skeleton detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |