CN117118457B - 基于特征提取的电网数据压缩方法、***、设备及介质 - Google Patents
基于特征提取的电网数据压缩方法、***、设备及介质 Download PDFInfo
- Publication number
- CN117118457B CN117118457B CN202311387222.9A CN202311387222A CN117118457B CN 117118457 B CN117118457 B CN 117118457B CN 202311387222 A CN202311387222 A CN 202311387222A CN 117118457 B CN117118457 B CN 117118457B
- Authority
- CN
- China
- Prior art keywords
- power grid
- data
- grid data
- feature
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013144 data compression Methods 0.000 title claims abstract description 29
- 239000013598 vector Substances 0.000 claims abstract description 82
- 238000007906 compression Methods 0.000 claims abstract description 19
- 230000006835 compression Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012847 principal component analysis method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
- H03M7/4031—Fixed length to variable length coding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及数据压缩技术领域，尤其涉及基于特征提取的电网数据压缩方法、***、设备及介质，所述方法具体包括：获取原始电网数据，对所述原始电网数据进行数据预处理后进行特征提取，获得电网数据特征集，所述电网数据特征集包括统计特征、频域特征和时域特征中的至少一种；将所述电网数据特征集中的每个特征向量进行拼接，获得综合特征向量；根据数据压缩算法对所述综合特征向量进行压缩，获得电网压缩数据。本发明通过将统计特征、频域特征和时域特征进行拼接，得到综合特征向量，可以更全面地表征电网数据的特征，提高数据表达的维度和丰富性。
Description
技术领域
本发明属于数据压缩技术领域，具体涉及一种基于特征提取的电网数据压缩方法、***、设备及介质。
背景技术
在电力***中，数据采集和处理是重要的环节，但由于电网数据量大，通常需要对电网数据进行压缩来减少存储空间和传输成本。然而，目前对电网数据的压缩只采用了单一的压缩算法，未能充分利用不同特征之间的相关性，导致压缩效率不高，也未明确指出应该选择哪些具体的特征进行提取，未对不同特征之间的权衡进行深入探讨，这导致特征提取的过程不够全面、准确，对电网数据特征的表达能力有所局限。
发明内容
有鉴于此，本发明的目的在于提供基于特征提取的电网数据压缩方法、***、设备及介质，以解决上述现有技术问题的至少之一。
本发明提供了基于特征提取的电网数据压缩方法，所述方法具体包括：
获取原始电网数据，对所述原始电网数据进行数据预处理后进行特征提取，获得电网数据特征集，所述电网数据特征集包括统计特征、频域特征和时域特征中的至少一种；
将所述电网数据特征集中的每个特征向量进行拼接，获得综合特征向量；
根据数据压缩算法对所述综合特征向量进行压缩，获得电网压缩数据。
进一步的，所述对所述原始电网数据进行数据预处理后进行特征提取，获得电网数据特征集，具体包括：
对所述原始电网数据进行数据预处理后，获得标准电网数据；
根据所述标准电网数据中每个不同类型的数据，分别提取统计特征、频域特征和时域特征中的至少一种；
将所述标准电网数据中每个不同类型的数据对应的所有特征分别进行结合，获得电网数据特征集。
更进一步的，所述提取统计特征、频域特征和时域特征中的至少一种，具体包括：
对所述标准电网数据通过统计计算获得统计特征，所述统计特征包括均值、方差、最大值和最小值；
对所述标准电网数据通过傅里叶变换获得频域特征，所述频域特征包括频谱能量；
对所述标准电网数据通过滑动窗口差分获得时域特征，所述时域特征包括差分值。
更进一步的，所述对所述标准电网数据通过滑动窗口差分获得时域特征，具体包括：
设置滑动窗口的参数，所述滑动窗口的参数包括滑动窗口大小和滑动步长；
对所述标准电网数据中的时间序列数据创建若干个滑动窗口，分别计算每个滑动窗口内连续数据点的差分值；
将每个滑动窗口内连续数据点的差分值进行结合，获得时域特征。
进一步的，所述根据数据压缩算法对所述综合特征向量进行压缩，具体包括：
将所述综合特征向量划分为离散型高频率特征向量和连续型多维度特征向量；
根据哈夫曼编码，对所述离散型高频率特征向量进行压缩；
根据主成分分析法，对所述连续型多维度特征向量进行压缩。
更进一步的，所述根据哈夫曼编码，对所述离散型高频率特征向量进行压缩，具体包括：
遍历所述离散型高频率特征向量中每个特征值的出现次数，获得每个特征值的出现频率；
根据每个特征值的出现频率构建哈夫曼树；
根据所述哈夫曼树，对每个特征值分别生成对应的哈夫曼编码；
将每个哈夫曼编码替换所述离散型高频率特征向量中对应的特征值，获得压缩后的离散型高频率特征向量。
更进一步的，所述根据主成分分析法，对所述连续型多维度特征向量进行压缩，具体包括：
确定所述连续型多维度特征向量的协方差矩阵；
对所述协方差矩阵进行特征值分解，得到每个特征值及每个特征值对应的特征向量；
根据每个特征值的大小，将前k个特征值及前k个特征值对应的特征向量进行降维处理，获得压缩后的连续型多维度特征向量。
本发明还提供了基于特征提取的电网数据压缩***，所述***具体包括：
特征提取模块，用于获取原始电网数据，对所述原始电网数据进行数据预处理后进行特征提取，获得电网数据特征集，所述电网数据特征集包括统计特征、频域特征和时域特征中的至少一种；
特征拼接模块，用于将所述电网数据特征集中的每个特征向量进行拼接，获得综合特征向量；
数据压缩模块，用于根据数据压缩算法对所述综合特征向量进行压缩，获得电网压缩数据。
本发明还提供了一种计算机设备，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如上述方法中任一项所述的基于特征提取的电网数据压缩方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述方法中任一项所述的基于特征提取的电网数据压缩方法。
1、通过将统计特征、频域特征和时域特征进行拼接，得到综合特征向量，可以更全面地表征电网数据的特征，提高数据表达的维度和丰富性。
2、根据综合特征向量的类型，灵活选择不同的压缩算法，如哈夫曼编码和主成分分析法。这样可以根据不同特征的性质，选择适合的压缩算法，优化压缩效果。
3、通过主成分分析法对连续型多维度特征向量进行降维，可以将高维度的电网数据映射到较低维度的空间，减少存储和计算成本。
4、通过对离散型高频率特征向量使用哈夫曼编码进行有损压缩，对连续型多维度特征向量使用主成分分析法进行无损压缩，可以在保留关键信息的同时，进一步降低数据存储和传输的开销。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的基于特征提取的电网数据压缩方法的流程示意图；
图2是本发明实施例提供的基于特征提取的电网数据压缩***的结构示意图；
图3是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在电力***中，数据采集和处理是重要的环节，但由于电网数据量大，通常需要对电网数据进行压缩来减少存储空间和传输成本。然而，目前对电网数据的压缩只采用了单一的压缩算法，未能充分利用不同特征之间的相关性，导致压缩效率不高，也未明确指出应该选择哪些具体的特征进行提取，未对不同特征之间的权衡进行深入探讨，这导致特征提取的过程不够全面、准确，对电网数据特征的表达能力有所局限。
参照图1，本发明实施例提供了基于特征提取的电网数据压缩方法，所述方法具体包括：
S101：获取原始电网数据，对所述原始电网数据进行数据预处理后进行特征提取，获得电网数据特征集，所述电网数据特征集包括统计特征、频域特征和时域特征中的至少一种。
在一些实施例中，所述对所述原始电网数据进行数据预处理后进行特征提取，获得电网数据特征集，具体包括：
对所述原始电网数据进行数据预处理后，获得标准电网数据；
根据所述标准电网数据中每个不同类型的数据，分别提取统计特征、频域特征和时域特征中的至少一种；
将所述标准电网数据中每个不同类型的数据对应的所有特征分别进行结合，获得电网数据特征集。
该实施例中，首先对原始电网数据进行数据预处理，包括去除噪声、处理缺失值、数据标准化等，预处理后，得到了标准电网数据，保证了数据的质量和一致性。针对标准电网数据，根据不同类型的数据提取至少一种统计特征、频域特征或时域特征，比如对于电压信号、电流信号等可以提取频域特征和统计特征，对于设备运行状态、线路负载、变压器参数等可以提取时域特征和统计特征，根据不同类型的数据提取了不同的特征，从而有效地捕捉了电网数据的不同方面信息。
在一些实施例中，所述提取统计特征、频域特征和时域特征中的至少一种，具体包括：
对所述标准电网数据通过统计计算获得统计特征，所述统计特征包括均值、方差、最大值和最小值；
对所述标准电网数据通过傅里叶变换获得频域特征，所述频域特征包括频谱能量；
对所述标准电网数据通过滑动窗口差分获得时域特征，所述时域特征包括差分值。
该实施例中，对标准电网数据应用应用离散傅里叶变换（Discrete FourierTransform，DFT）或快速傅里叶变换（Fast Fourier Transform，FFT），以得到复数形式的频域数据，然后对该频域数据计算每个频率分量的模的平方，即频谱能量，将计算得到的频谱能量作为频域特征，通常使用的公式是，其中，E(f)表示频率为f的频谱能量，|X(f)|表示在频率f处的频域数据的模。频谱能量反映了不同频率分量在电压数据中所占的能量比例，有助于发现周期性变化和频率特征，比如可以用于故障检测，因为在电网中某些故障和异常情况会引起特定频率分量的能量变化。
在一些实施例中，所述对所述标准电网数据通过滑动窗口差分获得时域特征，具体包括：
设置滑动窗口的参数，所述滑动窗口的参数包括滑动窗口大小和滑动步长；
对所述标准电网数据中的时间序列数据创建若干个滑动窗口，分别计算每个滑动窗口内连续数据点的差分值；
将每个滑动窗口内连续数据点的差分值进行结合，获得时域特征。
该实施例中，滑动窗口大小表示每次从原始数据中取出的连续数据点的个数，决定了时域特征的维度，滑动步长表示滑动窗口每次滑动的数据点个数，决定了时域特征的采样率。从标准电网数据中创建若干个滑动窗口，并对每个滑动窗口内连续数据点进行差分计算，对于第i个滑动窗口，可以计算差分值为每个连续数据点之间的差异，即diff(i,j)=x(j+1)-x(j)，其中，x(j)表示第i个滑动窗口中的第j个数据点，x(j+1)表示第i个滑动窗口中的第j+1个数据点，diff(i,j)表示第i个滑动窗口内的第j个差分值，将每个滑动窗口内的差分值进行结合，获得时域特征。
S102：将所述电网数据特征集中的每个特征向量进行拼接，获得综合特征向量；
根据数据压缩算法对所述综合特征向量进行压缩，获得电网压缩数据。
在一些实施例中，所述根据数据压缩算法对所述综合特征向量进行压缩，具体包括：
将所述综合特征向量划分为离散型高频率特征向量和连续型多维度特征向量；
根据哈夫曼编码，对所述离散型高频率特征向量进行压缩；
根据主成分分析法，对所述连续型多维度特征向量进行压缩。
该实施例中，哈夫曼编码适合处理离散型、具有较高频率重复出现的数据，特别是针对数据的编码和压缩操作。而PCA（主成分分析法）适合处理连续型、具有较高维度的数据，特别是用于降维处理和提取主要特征。
例如，电网中的传感器数据通常是离散的，例如设备状态（开/关）、告警信息（有/无故障）等，这些数据中可能有一些特定状态的频率较高，可以通过哈夫曼编码来实现更高效的压缩。电网中的电力质量数据通常包含各种连续型测量数据，例如电压、电流、功率等，这些数据的维度较高，可以通过PCA来降低维度，提取主要特征，并减少冗余信息。又比如，电网中的设备状态数据包含多个特征，例如温度、压力、湿度等，使用PCA可以将这些特征映射到主要成分上，减少特征维度，方便后续设备状态分析。
具体的，所述根据哈夫曼编码，对所述离散型高频率特征向量进行压缩，具体包括：
遍历所述离散型高频率特征向量中每个特征值的出现次数，获得每个特征值的出现频率；
根据每个特征值的出现频率构建哈夫曼树；
根据所述哈夫曼树，对每个特征值分别生成对应的哈夫曼编码；
将每个哈夫曼编码替换所述离散型高频率特征向量中对应的特征值，获得压缩后的离散型高频率特征向量。
该实施例中，假设离散型高频率特征向量为[f1, f2, f3, f2, f1, f3, f1,f3]，遍历离散型高频率特征向量中每个特征值的出现次数，获得每个特征值的出现频率（f1 出现了3次，频率为3/8；f2 出现了2次，频率为2/8；f3 出现了3次，频率为3/8），再根据每个特征值的出现频率构建哈夫曼树：首先，创建三个叶子节点，分别表示 f1, f2, f3，并赋予它们对应的频率；然后，将频率最小的两个节点合并为一个新节点，其频率为这两个节点的频率之和。这样不断合并节点，直到最后合并为根节点，构建完成哈夫曼树。
接着，根据所述哈夫曼树，对每个特征值分别生成对应的哈夫曼编码，从根节点出发，沿着左子树路径到达叶子节点，编码为0，沿着右子树路径到达叶子节点，编码为1，则f1编码为0，f2 编码为10，f3 编码为11。通过哈夫曼编码，将原始离散型高频率特征向量中的特征值进行替换，可以显著减少数据的存储空间。由于出现频率高的特征值被赋予较短的编码，出现频率低的特征值被赋予较长的编码，从而实现了对离散型高频率特征向量的压缩。同时，哈夫曼编码是一种前缀编码，不会造成编码冲突，可以保证数据的唯一解码，不会丢失信息。
具体的，所述根据主成分分析法，对所述连续型多维度特征向量进行压缩，具体包括：
确定所述连续型多维度特征向量的协方差矩阵；
对所述协方差矩阵进行特征值分解，得到每个特征值及每个特征值对应的特征向量；
根据每个特征值的大小，将前k个特征值及前k个特征值对应的特征向量进行降维处理，获得压缩后的连续型多维度特征向量。
该实施例中，假设连续型多维度特征向量为3维，原始特征向量如下：x1 = [1, 2,3]，x2 = [4, 5, 6]，x3 = [7, 8, 9]，x4 = [10, 11, 12]。
首先，计算每个维度的均值：mean_x = [ (1+4+7+10)/4 , (2+5+8+11)/4 , (3+6+9+12)/4 ] = [5.5, 6.5, 7.5]。
然后，计算协方差矩阵，协方差矩阵为：
| cov(x1, x1) cov(x1, x2) cov(x1, x3) cov(x1, x4) |
| cov(x2, x1) cov(x2, x2) cov(x2, x3) cov(x2, x4) |
| cov(x3, x1) cov(x3, x2) cov(x3, x3) cov(x3, x4) |
| cov(x4, x1) cov(x4, x2) cov(x4, x3) cov(x4, x4) |
其中，cov(x, y)表示x和y之间的协方差。对所述协方差矩阵进行特征值分解，得到每个特征值及每个特征值对应的特征向量，假设得到的特征值和特征向量如下：
特征值：λ1≈20.2, λ2≈0.04, λ3≈0.0
特征向量：v1≈[0.37, 0.6, 0.71], v2≈[0.82, -0.55, -0.15], v3≈[0.43,0.58, -0.69]
根据每个特征值的大小，将前k个特征值及前k个特征值对应的特征向量进行降维处理，获得压缩后的连续型多维度特征向量。假设选择前两个特征值（k=2），对应的特征向量为v1和v2。
压缩后的特征向量为x1' 和x2'：
x1' = [x1 dot v1, x1 dot v2] = [0.371 + 0.62 + 0.713, 0.821 - 0.552 -0.153]≈[4.28, 0.47]
x2' = [x2 dot v1, x2 dot v2] = [0.374 + 0.65 + 0.716, 0.824 - 0.555 -0.156]≈[11.2, -1.47]
x3' = [x3 dot v1, x3 dot v2] = [0.377 + 0.68 + 0.719, 0.827 - 0.558 -0.159]≈[18.12, -2.09]
x4' = [x4 dot v1, x4 dot v2] = [0.3710 + 0.611 + 0.7112, 0.8210 -0.5511 - 0.1512]≈[25.04, -2.71]
通过对连续型多维度特征向量进行PCA压缩，选择前k个特征值对应的特征向量，可以实现对特征向量的降维处理，从而减少数据的维度。在实际应用中，如果选择的特征值较小，说明这些特征向量的方差较小，可以认为这些特征对数据的影响较小，可以将其舍弃，从而进一步减小数据的存储空间和计算复杂度，同时保留主要特征，尽量保持数据的重要信息。
参照图2，本发明实施例还提供了基于特征提取的电网数据压缩***2，所述***2具体包括：
特征提取模块201，用于获取原始电网数据，对所述原始电网数据进行数据预处理后进行特征提取，获得电网数据特征集，所述电网数据特征集包括统计特征、频域特征和时域特征中的至少一种；
特征拼接模块202，用于将所述电网数据特征集中的每个特征向量进行拼接，获得综合特征向量；
数据压缩模块203，用于根据数据压缩算法对所述综合特征向量进行压缩，获得电网压缩数据。
可以理解的是，如图1所示的基于特征提取的电网数据压缩方法实施例中的内容均适用于本基于特征提取的电网数据压缩***实施例中，本基于特征提取的电网数据压缩***实施例所具体实现的功能与如图1所示的基于特征提取的电网数据压缩方法实施例相同，并且达到的有益效果与如图1所示的基于特征提取的电网数据压缩方法实施例所达到的有益效果也相同。
需要说明的是，上述***之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述***的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
参照图3，本发明实施例还提供了一种计算机设备3，包括：存储器302和处理器301及存储在存储器302上的计算机程序303，当所述计算机程序303在处理器301上被执行时，实现如上述方法中任一项所述的基于特征提取的电网数据压缩方法。
所述计算机设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该计算机设备3可包括，但不仅限于，处理器301、存储器302。本领域技术人员可以理解，图3仅仅是计算机设备3的举例，并不构成对计算机设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器302在一些实施例中可以是所述计算机设备3的内部存储单元，例如计算机设备3的硬盘或内存。所述存储器302在另一些实施例中也可以是所述计算机设备3的外部存储设备，例如所述计算机设备3上配备的插接式硬盘，智能存储卡（Smart MediaCard, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器302还可以既包括所述计算机设备3的内部存储单元也包括外部存储设备。所述存储器302用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器302还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述方法中任一项所述的基于特征提取的电网数据压缩方法。
该实施例中，所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所公开的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.基于特征提取的电网数据压缩方法，其特征在于，所述方法具体包括：
获取原始电网数据，对所述原始电网数据进行数据预处理后进行特征提取，获得电网数据特征集，所述电网数据特征集包括统计特征、频域特征和时域特征中的至少一种；
将所述电网数据特征集中的每个特征向量进行拼接，获得综合特征向量；
根据数据压缩算法对所述综合特征向量进行压缩，获得电网压缩数据；
所述对所述原始电网数据进行数据预处理后进行特征提取，获得电网数据特征集，具体包括：
对所述原始电网数据进行数据预处理后，获得标准电网数据；
根据所述标准电网数据中每个不同类型的数据，分别提取统计特征、频域特征和时域特征中的至少一种；
将所述标准电网数据中每个不同类型的数据对应的所有特征分别进行结合，获得电网数据特征集；
所述提取统计特征、频域特征和时域特征中的至少一种，具体包括：
对所述标准电网数据通过统计计算获得统计特征，所述统计特征包括均值、方差、最大值和最小值；
对所述标准电网数据通过傅里叶变换获得频域特征，所述频域特征包括频谱能量；
对所述标准电网数据通过滑动窗口差分获得时域特征，所述时域特征包括差分值；
所述对所述标准电网数据通过滑动窗口差分获得时域特征，具体包括：
设置滑动窗口的参数，所述滑动窗口的参数包括滑动窗口大小和滑动步长；
对所述标准电网数据中的时间序列数据创建若干个滑动窗口，分别计算每个滑动窗口内连续数据点的差分值；
将每个滑动窗口内连续数据点的差分值进行结合，获得时域特征。
2.根据权利要求1所述的基于特征提取的电网数据压缩方法，其特征在于，所述根据数据压缩算法对所述综合特征向量进行压缩，具体包括：
将所述综合特征向量划分为离散型高频率特征向量和连续型多维度特征向量；
根据哈夫曼编码，对所述离散型高频率特征向量进行压缩；
根据主成分分析法，对所述连续型多维度特征向量进行压缩。
3.根据权利要求2所述的基于特征提取的电网数据压缩方法，其特征在于，所述根据哈夫曼编码，对所述离散型高频率特征向量进行压缩，具体包括：
遍历所述离散型高频率特征向量中每个特征值的出现次数，获得每个特征值的出现频率；
根据每个特征值的出现频率构建哈夫曼树；
根据所述哈夫曼树，对每个特征值分别生成对应的哈夫曼编码；
将每个哈夫曼编码替换所述离散型高频率特征向量中对应的特征值，获得压缩后的离散型高频率特征向量。
4.根据权利要求2所述的基于特征提取的电网数据压缩方法，其特征在于，所述根据主成分分析法，对所述连续型多维度特征向量进行压缩，具体包括：
确定所述连续型多维度特征向量的协方差矩阵；
对所述协方差矩阵进行特征值分解，得到每个特征值及每个特征值对应的特征向量；
根据每个特征值的大小，将前k个特征值及前k个特征值对应的特征向量进行降维处理，获得压缩后的连续型多维度特征向量。
5.基于特征提取的电网数据压缩***，其特征在于，所述***具体包括：
特征提取模块，用于获取原始电网数据，对所述原始电网数据进行数据预处理后进行特征提取，获得电网数据特征集，所述电网数据特征集包括统计特征、频域特征和时域特征中的至少一种；
特征拼接模块，用于将所述电网数据特征集中的每个特征向量进行拼接，获得综合特征向量；
数据压缩模块，用于根据数据压缩算法对所述综合特征向量进行压缩，获得电网压缩数据；
所述对所述原始电网数据进行数据预处理后进行特征提取，获得电网数据特征集，具体包括：
对所述原始电网数据进行数据预处理后，获得标准电网数据；
根据所述标准电网数据中每个不同类型的数据，分别提取统计特征、频域特征和时域特征中的至少一种；
将所述标准电网数据中每个不同类型的数据对应的所有特征分别进行结合，获得电网数据特征集；
所述提取统计特征、频域特征和时域特征中的至少一种，具体包括：
对所述标准电网数据通过统计计算获得统计特征，所述统计特征包括均值、方差、最大值和最小值；
对所述标准电网数据通过傅里叶变换获得频域特征，所述频域特征包括频谱能量；
对所述标准电网数据通过滑动窗口差分获得时域特征，所述时域特征包括差分值；
所述对所述标准电网数据通过滑动窗口差分获得时域特征，具体包括：
设置滑动窗口的参数，所述滑动窗口的参数包括滑动窗口大小和滑动步长；
对所述标准电网数据中的时间序列数据创建若干个滑动窗口，分别计算每个滑动窗口内连续数据点的差分值；
将每个滑动窗口内连续数据点的差分值进行结合，获得时域特征。
6.一种计算机设备，其特征在于，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如权利要求1至4中任一项所述的基于特征提取的电网数据压缩方法。
7.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如权利要求1至4中任一项所述的基于特征提取的电网数据压缩方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311387222.9A CN117118457B (zh) | 2023-10-25 | 2023-10-25 | 基于特征提取的电网数据压缩方法、***、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311387222.9A CN117118457B (zh) | 2023-10-25 | 2023-10-25 | 基于特征提取的电网数据压缩方法、***、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117118457A CN117118457A (zh) | 2023-11-24 |
| CN117118457B true CN117118457B (zh) | 2024-01-26 |
Family
ID=88797005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311387222.9A Active CN117118457B (zh) | 2023-10-25 | 2023-10-25 | 基于特征提取的电网数据压缩方法、***、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117118457B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114358041A (zh) * | 2021-11-29 | 2022-04-15 | 国网安徽省电力有限公司马鞍山供电公司 | 一种基于混合算法的特征波形提取方法及分析方法 |
| CN116131860A (zh) * | 2022-12-28 | 2023-05-16 | 山东华科信息技术有限公司 | 分布式能源并网监测的数据压缩***和数据压缩方法 |
| CN116559598A (zh) * | 2023-07-10 | 2023-08-08 | 武汉创星空间科技发展有限公司 | 一种智慧配电网故障定位方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8362931B2 (en) * | 2010-11-30 | 2013-01-29 | Microsoft Corporation | Compression and decompression of mass spectrometry data |
-
2023
- 2023-10-25 CN CN202311387222.9A patent/CN117118457B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114358041A (zh) * | 2021-11-29 | 2022-04-15 | 国网安徽省电力有限公司马鞍山供电公司 | 一种基于混合算法的特征波形提取方法及分析方法 |
| CN116131860A (zh) * | 2022-12-28 | 2023-05-16 | 山东华科信息技术有限公司 | 分布式能源并网监测的数据压缩***和数据压缩方法 |
| CN116559598A (zh) * | 2023-07-10 | 2023-08-08 | 武汉创星空间科技发展有限公司 | 一种智慧配电网故障定位方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117118457A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859054B (zh) | 网络社团挖掘方法、装置、计算机设备及存储介质 | |
| US20140286582A1 (en) | Signature representation of data having high dimensionality | |
| CN110445860B (zh) | 一种报文发送方法、装置、终端设备及存储介质 | |
| CN108959187B (zh) | 一种变量分箱方法、装置、终端设备及存储介质 | |
| CN111428122B (zh) | 图片检索方法、装置及电子设备 | |
| CN111241544B (zh) | 一种恶意程序识别方法、装置、电子设备及存储介质 | |
| CN112769612A (zh) | 一种告警事件去误报方法及装置 | |
| CN108037422A (zh) | 一种光伏***直流电弧故障特征提取和识别方法及装置 | |
| CN112116436A (zh) | 一种智能推荐方法、装置、计算机设备及可读存储介质 | |
| CN115511890A (zh) | 异型网络接口大流量数据的分析*** | |
| CN110376519B (zh) | 高压断路器故障诊断方法、装置及终端设备 | |
| CN117118457B (zh) | 基于特征提取的电网数据压缩方法、***、设备及介质 | |
| CN117115009A (zh) | 基于单位体素的三维点云数据去噪平滑处理方法和装置 | |
| CN111291328A (zh) | 一种基于精细斜率的暂态事件识别方法、***以及设备 | |
| CN111010191A (zh) | 数据采集方法、***、设备及存储介质 | |
| CN112926647B (zh) | 模型训练方法、域名检测方法及装置 | |
| CN114167237A (zh) | 一种gis局部放电故障识别方法、***、计算机设备、存储介质 | |
| CN113824995A (zh) | 机器人的数据传输方法及装置、电子设备、存储介质 | |
| CN106778692B (zh) | 一种基于s变换的电缆局部放电信号识别方法及装置 | |
| CN113111350A (zh) | 一种恶意pdf文件的检测方法、装置及电子设备 | |
| CN112800183B (zh) | 内容名称数据处理方法及终端设备 | |
| CN112328464B (zh) | 指标数据存储、相关性分析方法及计算机可读存储介质 | |
| CN107544943B (zh) | 一种基于fft库函数的部分频点的计算方法及装置 | |
| CN113423079B (zh) | 信息编码方法、装置、设备、存储介质及程序产品 | |
| CN112597109B (zh) | 数据存储方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |