CN114968999A - 一种基于时序匹配和双向四分位算法的异常数据清洗方法 - Google Patents
一种基于时序匹配和双向四分位算法的异常数据清洗方法 Download PDFInfo
- Publication number
- CN114968999A CN114968999A CN202210565276.9A CN202210565276A CN114968999A CN 114968999 A CN114968999 A CN 114968999A CN 202210565276 A CN202210565276 A CN 202210565276A CN 114968999 A CN114968999 A CN 114968999A
- Authority
- CN
- China
- Prior art keywords
- wind
- wind power
- power
- time sequence
- wind speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- Wind Motors (AREA)
Abstract
本发明公开了属于风电机组发电技术领域的一种基于时序匹配和双向四分位算法的异常数据清洗方法。该方法包括以下步骤:步骤1:采集风电机组的实测风速和风电功率数据;步骤2:辨识风电机组限功率异常数据;具体包括:步骤21:采用基本趋势转折点和重要趋势转折点确定算法对风电功率时间序列进行分段划分;步骤22:基于风速‑风电功率时序匹配度量对限功率分段时间序列进行筛选;步骤23:基于额定功率剔除系数对额定功率分段时间序列进行剔除;步骤3:利用双向四分位算法清洗风电功率分散型异常数据。本发明能够同时有效地清洗堆积型异常数据和分散型异常数据,且可以有效辨识过渡区域内与正常数据空间分布特征相似的异常运行数据。
Description
技术领域
本发明涉及风力发电技术领域,尤其涉及一种基于时序匹配和双向四分位算法的异常数据清洗方法。
背景技术
受风电机组停机、限电、通信噪声和设备故障等多种因素的影响,采集的风电机组实测数据通常含有大量复杂的异常运行数据,无法直接用于风电场运维效能评价、风电功率预测、风电机组发电能力评估及运行状态监测,通常需要先进行风电机组异常运行数据清洗。但是,现有风电机组异常运行数据清洗算法通常是基于离散数据的空间分布特征展开,忽略了运行数据的时序特性,无法有效辨识与正常数据空间分布特征相似的异常运行数据;且对于存在大量堆积型限电数据样本,传统的数据清洗方法无法有效识别过渡区域数据类别,容易造成正常数据的错删和异常数据的漏删问题。针对现有技术的不足,本发明提供一种基于时序匹配和双向四分位算法的异常数据清洗方法,同时适用于堆积型异常数据和分散型异常数据清洗,且能够有效辨识过渡区域内与正常数据空间分布特征相似的异常运行数据。
发明内容
本发明的目的是提出一种基于时序匹配和双向四分位算法的异常数据清洗方法,其特征在于,包括以下步骤:
步骤1:采集风电机组的实测风速和风电功率数据;
步骤2:利用风速-风电功率时序匹配算法辨识风电机组限功率异常数据;具体包括:
步骤21:采用基本趋势转折点和重要趋势转折点确定算法对风电功率时间序列进行分段划分;
步骤22:基于风速-风电功率时序匹配度量对限功率分段时间序列进行筛选;
步骤23:基于额定功率剔除系数对额定功率分段时间序列进行剔除;
步骤3:利用双向四分位算法清洗风电功率分散型异常数据。
所述步骤21中的基本趋势转折点定义如下:
基本趋势转折点分为上升趋势转折点和下降趋势转折点;设风电功率的时间序列为P=<P1,P2,…,Pn>,若第t时刻的风电功率Pt满足Pt-1≥Pt<Pt+1或Pt-1>Pt≤Pt+1,则风电功率Pt为上升趋势转折点;若第t时刻的风电功率Pt满足Pt-1≤Pt>Pt+1或Pt-1<Pt≥Pt+1,则风电功率Pt为下降趋势转折点。
所述步骤21中的重要趋势转折点定义如下:
对于风电功率时间序列基本转折点序列一个重要趋势转折点PIT与两个连续的基本趋势转折点和构成的最小模式序列中,是否为重要趋势转折点,取决于到PIT和线段的垂直距离D,垂直距离D越大,越有可能是重要趋势转折点。
所述垂直距离D的大小受数值本身大小的影响,利用相对垂直距离RD和绝对波动量相结合的方式确定风电功率时间序列的重要趋势转折点;所述相对垂直距离RD和绝对波动量的计算分别如公式(1)和公式(2)所示:
所述步骤22具体包括如下子步骤:
步骤221:采用数据时间对标法,提取不同风电功率分段时间序列所对应的风速分段时间序列;
步骤222:计算不同分段时间序列的长度L;所述分段时间序列的长度L应满足L≥γ,γ为时长阈值;
步骤223:计算不同分段时间序列的风速-风电功率时序匹配度,提取时序不匹配的风电功率分段时间序列。
所述步骤223具体如下:
根据风电机组限功率数据在风速-风电功率散点图中的横向堆积分布特征,采用线性拟合法求取不同分段时间序列中风速和风电功率的线性函数;再根据线性函数的斜率提取风电机组限功率数据,线性函数的斜率越接近0,该分段时间序列的数据是限功率数据的可能性越大;所述线性函数和斜率阈值如公式(3)和公式(4)所示:
P=aiV+bi (3)
ai≤δ (4)
式中,ai为第i个分段时间序列对应线性函数的斜率;bi为第i个分段时间序列对应线性函数的截距;δ为用于确定风电机组限功率数据的斜率阈值。
所述步骤23中基于额定功率剔除系数对额定功率分段时间序列进行剔除的公式为:
所述步骤3具体包括以下子步骤:
步骤31:采用纵向四分位算法清洗纵向分布的风电机组分散型异常数据;将风速按照0.25m/s的区间间隔划分为若干个风速区间,并计算各风速区间内风电功率的异常值内限,内限以外的数据为异常数据;其中,第i个风速区间内,风电功率的异常值内限计算方法如公式(6)所示:
式中,为第i个风速区间风电功率的异常值内限下限;为第i个风速区间风电功率的异常值内限上限;为第i个风速区间风电功率的第一分位数;为第i个风速区间风电功率的第三分位数;为第i个风速区间风电功率的四分位距,
步骤32:采用横向四分位算法清洗横向分布的风电机组分散型异常数据;将风电功率按照25kW的区间间隔划分为若干个风电功率区间,并计算各风电功率区间内风速的异常值内限,内限以外的数据为异常数据;其中,第i个风电功率区间内,风速的异常值内限计算方法如公式(7)所示:
式中,为第i个风电功率区间风速的异常值内限下限;为第i个风电功率区间风速的异常值内限上限;为第i个风电功率区间风速的第一分位数;为第i个风电功率区间风速的第三分位数;为第i个风速区间风电功率的四分位距,
本发明的有益效果在于:
本发明能够同时有效地清洗堆积型异常数据和分散型异常数据,且可以有效辨识过渡区域内与正常数据空间分布特征相似的异常运行数据,解决了堆积型限电数据与正常数据过渡区域的数据类别难以有效辨识的问题。
附图说明
图1为基于时序匹配和双向四分位算法的异常数据清洗方法的流程图;
图2为基于双向四分位算法的异常数据清洗结果图;
图3为基于时序匹配和双向四分位算法的异常数据清洗结果图。
具体实施方式
本发明提出一种基于时序匹配和双向四分位算法的异常数据清洗方法,下面结合附图和具体实施例对本发明做进一步说明。
图1为基于时序匹配和双向四分位算法的异常数据清洗方法的流程图;具体实施步骤如下:
(1)采集风电机组的实测风速和风电功率数据,本案例采用1.5MW风电机组的实测风速和风电功率数据,数据长度约为3个月,数据时间分辨率为10min;
(2)利用风速-风电功率时序匹配算法辨识风电机组限功率异常数据,具体步骤如下:
1)采用基本趋势转折点和重要趋势转折点确定算法对风电功率时间序列进行分段划分,基本趋势转折点和重要趋势转折点的定义如下:
a.基本趋势转折点:根据时间序列相邻三个时间点的基本变化趋势,基本趋势转折点主要分为上升趋势转折点和下降趋势转折点;设风电功率的时间序列为P=<P1,P2,…,Pn〉,若第t时刻的风电功率Pt满足Pt-1≥Pt<Pt+1或Pt-1>Pt≤Pt+1,则风电功率Pt为上升趋势转折点;若第t时刻的风电功率Pt满足Pt-1≤Pt>Pt+1或Pt-1<Pt≥Pt+1,则风电功率Pt为下降趋势转折点;
b.重要趋势转折点:重要趋势转折点的确定是为了降低风电功率时间序列噪声点的影响;对于风电功率时间序列基本转折点序列一个重要趋势转折点PIT与两个连续的基本趋势转折点和构成的最小模式序列中,是否为重要趋势转折点,取决于到PIT和线段的垂直距离D,垂直距离D越大,越有可能是重要趋势转折点,垂直距离的大小受数值本身大小的影响,因此,本发明提出了相对垂直距离RD和绝对波动量相结合的方式,用于风电功率时间序列重要趋势转折点确定,相对垂直距离和绝对波动量的计算方法如公式(1)和公式(2)所示:
式中,RD为的相对垂直距离;t1为风电功率PIT所对应的时刻;t2为风电功率所对应的时刻;t3为风电功率所对应的时刻;ΔP为风电功率绝对波动量;α为相对垂直距离阈值,目的是剔除噪声点对重要趋势转折点的影响,本实施例取值为0.18;β为绝对波动量阈值,目的是剔除零值附近噪声点对重要趋势转折点的影响,本实施例取值为0.01。
2)基于风速-风电功率时序匹配度量的限功率分段时间序列筛选,具体步骤如下:
a.首先,采用数据时间对标法,提取不同风电功率分段时间序列所对应的风速分段时间序列;
b.然后,计算不同分段时间序列的长度L;由于风电机组限功率运行通常会持续一定的时间,分段时间序列时间的长度应满足L≥γ,时长阈值γ受数据时间分辨率和风电机组实际限功率运行状态的影响,需要根据不同风电机组实际情况确定,本实施例取值为6;
c.最后,计算不同分段时间序列的风速-风电功率时序匹配度,提取时序不匹配的风电功率分段时间序列;本发明中根据风电机组限功率数据在风速-风电功率散点图中的横向堆积分布特征,提出采用线性拟合的方法,求取不同分段时间序列中风速和风电功率的线性函数,根据线性函数的斜率提取风电机组限功率数据,线性函数的斜率越接近0,该分段时间序列的数据是限功率数据的可能性越大;线性函数计算公式和斜率阈值如公式(3)和公式(4)所示:
P=aiV+bi (3)
ai≤δ (4)
式中,ai为第i个分段时间序列对应线性函数的斜率;bi为第i个分段时间序列对应线性函数的截距;δ为用于确定风电机组限功率数据的斜率阈值,根据不同风电机组确定,通常接近于0。
3)基于额定功率剔除系数的额定功率分段时间序列剔除;由于风电机组额定功率的空间分布特征与限功率数据相似,容易造成错误辨识,需要在不匹配分段时间序列中剔除,额定功率剔除方法如公式(5)所示:
式中,为额定功率剔除系数,根据《GBT19960.1-2005风力发电机组第1部分:通用技术条件》中的描述:“在正常工作状态下,风电机组功率输出与理论值的偏差应不超过10%”,本章中取PN为风电机组额定功率。
(3)利用双向四分位算法清洗风电功率分散型异常数据,具体步骤如下:
1)首先,采用纵向四分位算法清洗纵向分布的风电机组分散型异常数据;将风速按照0.25m/s的区间间隔划分为若干个风速区间(风速区间内数据的个数不少于总数据量的千分之一),并计算各风速区间内风电功率的异常值内限,内限以外的数据为异常数据。其中,第i个风速区间内,风电功率的异常值内限计算方法如公式(6)所示;
式中,为第i个风速区间风电功率的异常值内限下限;为第i个风速区间风电功率的异常值内限上限;为第i个风速区间风电功率的第一分位数;为第i个风速区间风电功率的第三分位数;为第i个风速区间风电功率的四分位距,
2)然后,采用横向四分位算法清洗横向分布的风电机组分散型异常数据;将风电功率按照25kW的区间间隔划分为若干个风电功率区间(风电功率区间内数据的个数不少于总数据量的千分之一),并计算各风电功率区间内风速的异常值内限,内限以外的数据为异常数据。其中,第i个风电功率区间内,风速的异常值内限计算方法如公式(7)所示;
式中,为第i个风电功率区间风速的异常值内限下限;为第i个风电功率区间风速的异常值内限上限;为第i个风电功率区间风速的第一分位数;为第i个风电功率区间风速的第三分位数;为第i个风速区间风电功率的四分位距,图2为基于双向四分位算法的异常数据清洗结果图。
图3为基于时序匹配和双向四分位算法的异常数据清洗结果图。通过具体实施例分析可以看出:本发明提供的基于时序匹配和双向四分位算法的异常数据清洗方法能够同时有效地清洗堆积型异常数据和分散型异常数据,且可以有效辨识过渡区域内与正常数据空间分布特征相似的异常运行数据。
此实施例仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种基于时序匹配和双向四分位算法的异常数据清洗方法,其特征在于,包括以下步骤:
步骤1:采集风电机组的实测风速和风电功率数据;
步骤2:利用风速-风电功率时序匹配算法辨识风电机组限功率异常数据;具体包括:
步骤21:采用基本趋势转折点和重要趋势转折点确定算法对风电功率时间序列进行分段划分;
步骤22:基于风速-风电功率时序匹配度量对限功率分段时间序列进行筛选;
步骤23:基于额定功率剔除系数对额定功率分段时间序列进行剔除;
步骤3:利用双向四分位算法清洗风电功率分散型异常数据。
2.根据权利要求1所述基于时序匹配和双向四分位算法的异常数据清洗方法,其特征在于,所述步骤21中的基本趋势转折点定义如下:
基本趋势转折点分为上升趋势转折点和下降趋势转折点;设风电功率的时间序列为P=<P1,P2,…,Pn>,若第t时刻的风电功率Pt满足Pt-1≥Pt<Pt+1或Pt-1>Pt≤Pt+1,则风电功率Pt为上升趋势转折点;若第t时刻的风电功率Pt满足Pt-1≤Pt>Pt+1或Pt-1<Pt≥Pt+1,则风电功率Pt为下降趋势转折点。
5.根据权利要求1所述基于时序匹配和双向四分位算法的异常数据清洗方法,其特征在于,所述步骤22具体包括如下子步骤:
步骤221:采用数据时间对标法,提取不同风电功率分段时间序列所对应的风速分段时间序列;
步骤222:计算不同分段时间序列的长度L;所述分段时间序列的长度L应满足L≥γ,γ为时长阈值;
步骤223:计算不同分段时间序列的风速-风电功率时序匹配度,提取时序不匹配的风电功率分段时间序列。
6.根据权利要求5所述基于时序匹配和双向四分位算法的异常数据清洗方法,其特征在于,所述步骤223具体如下:
根据风电机组限功率数据在风速-风电功率散点图中的横向堆积分布特征,采用线性拟合法求取不同分段时间序列中风速和风电功率的线性函数;再根据线性函数的斜率提取风电机组限功率数据,线性函数的斜率越接近0,该分段时间序列的数据是限功率数据的可能性越大;所述线性函数和斜率阈值如公式(3)和公式(4)所示:
P=aiV+bi (3)
ai≤δ (4)
式中,ai为第i个分段时间序列对应线性函数的斜率;bi为第i个分段时间序列对应线性函数的截距;δ为用于确定风电机组限功率数据的斜率阈值。
8.根据权利要求1所述基于时序匹配和双向四分位算法的异常数据清洗方法,其特征在于,所述步骤3具体包括以下子步骤:
步骤31:采用纵向四分位算法清洗纵向分布的风电机组分散型异常数据;将风速按照0.25m/s的区间间隔划分为若干个风速区间,并计算各风速区间内风电功率的异常值内限,内限以外的数据为异常数据;其中,第i个风速区间内,风电功率的异常值内限计算方法如公式(6)所示:
式中,为第i个风速区间风电功率的异常值内限下限;为第i个风速区间风电功率的异常值内限上限;为第i个风速区间风电功率的第一分位数;为第i个风速区间风电功率的第三分位数;为第i个风速区间风电功率的四分位距,
步骤32:采用横向四分位算法清洗横向分布的风电机组分散型异常数据;将风电功率按照25kW的区间间隔划分为若干个风电功率区间,并计算各风电功率区间内风速的异常值内限,内限以外的数据为异常数据;其中,第i个风电功率区间内,风速的异常值内限计算方法如公式(7)所示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210565276.9A CN114968999A (zh) | 2022-05-23 | 2022-05-23 | 一种基于时序匹配和双向四分位算法的异常数据清洗方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210565276.9A CN114968999A (zh) | 2022-05-23 | 2022-05-23 | 一种基于时序匹配和双向四分位算法的异常数据清洗方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114968999A true CN114968999A (zh) | 2022-08-30 |
Family
ID=82985766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210565276.9A Pending CN114968999A (zh) | 2022-05-23 | 2022-05-23 | 一种基于时序匹配和双向四分位算法的异常数据清洗方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114968999A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115858894A (zh) * | 2023-02-14 | 2023-03-28 | 温州众成科技有限公司 | 一种可视化的大数据分析方法 |
CN115955251A (zh) * | 2023-03-15 | 2023-04-11 | 北京智蚁杨帆科技有限公司 | 一种基于大数据应用的可再生能源智慧管理方法及*** |
-
2022
- 2022-05-23 CN CN202210565276.9A patent/CN114968999A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115858894A (zh) * | 2023-02-14 | 2023-03-28 | 温州众成科技有限公司 | 一种可视化的大数据分析方法 |
CN115955251A (zh) * | 2023-03-15 | 2023-04-11 | 北京智蚁杨帆科技有限公司 | 一种基于大数据应用的可再生能源智慧管理方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114968999A (zh) | 一种基于时序匹配和双向四分位算法的异常数据清洗方法 | |
CN103475021B (zh) | 一种基于统计模型的风电场弃风电量确定方法 | |
CN111522808B (zh) | 一种风电机组异常运行数据处理方法 | |
CN108443088B (zh) | 一种基于累计概率分布的风电机组状态判定方法 | |
CN109918364B (zh) | 一种基于二维概率密度估计和四分位法的数据清洗方法 | |
CN108536958B (zh) | 一种基于功率曲线健康状态分级的风机实时评价方法 | |
CN106570790B (zh) | 一种计及风速数据分段特性的风电场出力数据修复方法 | |
CN107067100A (zh) | 风电功率异常数据辨识方法及辨识装置 | |
CN118013450B (zh) | 一种基于太阳总辐射计算的光伏优化*** | |
CN115293372A (zh) | 基于多维度、多参量数值分析的光伏组串故障诊断方法 | |
Huang et al. | Wind turbine health assessment framework based on power analysis using machine learning method | |
CN110578659B (zh) | 一种用于对风电机组scada数据进行处理的***和方法 | |
CN116894151B (zh) | 基于人工智能的智慧电网异常数据清洗方法 | |
CN117365869A (zh) | 一种风电机组桨叶扫塔故障的自适应预警策略设计方法 | |
CN111062133A (zh) | 风电机组性能分析方法及*** | |
CN113554203B (zh) | 基于高维网格化和LightGBM的风电预测方法及装置 | |
CN110298767A (zh) | 一种火力发电厂时间序列变量异常监测方法及*** | |
CN115310839A (zh) | 一种光伏电站积灰预警评估方法和*** | |
CN115616248A (zh) | 一种风电机组风速计数据异常识别方法及*** | |
CN115271423A (zh) | 基于混合相似度的风力发电机组运行状态评估方法 | |
CN111178601B (zh) | 一种基于气象数据后处理的风电机组功率预测方法 | |
CN111242411B (zh) | 一种风电机组功率特性评价方法及*** | |
CN115326393A (zh) | 一种基于温度信息的风电机组轴承对故障诊断方法 | |
CN112696324B (zh) | 风力发电机组数据处理方法、装置及其*** | |
CN113431800A (zh) | 一种实时判别风机运行状态的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |