CN110995273B - 电力数据库的数据压缩方法、装置、设备及介质 - Google Patents

电力数据库的数据压缩方法、装置、设备及介质 Download PDF

Info

Publication number
CN110995273B
CN110995273B CN201910998288.9A CN201910998288A CN110995273B CN 110995273 B CN110995273 B CN 110995273B CN 201910998288 A CN201910998288 A CN 201910998288A CN 110995273 B CN110995273 B CN 110995273B
Authority
CN
China
Prior art keywords
value
data
compression
compressed
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910998288.9A
Other languages
English (en)
Other versions
CN110995273A (zh
Inventor
程志豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Shenku Xiaojiang Technology Co ltd
Original Assignee
Wuhan Shenku Xiaojiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Shenku Xiaojiang Technology Co ltd filed Critical Wuhan Shenku Xiaojiang Technology Co ltd
Priority to CN201910998288.9A priority Critical patent/CN110995273B/zh
Publication of CN110995273A publication Critical patent/CN110995273A/zh
Application granted granted Critical
Publication of CN110995273B publication Critical patent/CN110995273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提出了一种电力数据库的数据压缩方法、装置、设备及介质。包括：获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值；建立一种高性能高压缩比的压缩算法，根据该压缩算法分别对时间戳和值进行压缩。对时间戳压缩时，记录第一时间点，后面的时间只需要记录偏移值，对偏移值进行压缩存储；对值进行压缩时，建立异或算法，根据异或算法对数据值进行两两进行异或计算获取计算结果，根据计算结果对值进行压缩存储。本发明通过将时序数据集合分成时间戳以及与时间戳相关联的数据值，通过压缩算法对时间戳进行压缩，通过异或算法对数据值进行压缩，这样既不会对时序数据的精度产生影响，同时也能够更加有效进行压缩。

Description

电力数据库的数据压缩方法、装置、设备及介质
技术领域
本发明涉及风电场监控技术领域，尤其涉及一种电力数据库的数据压缩方法、装置、设备及介质。
背景技术
数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。
但是，针对现有的监控***的存储***，数据压缩一般通过死区压缩和螺旋门压缩来实现，这样的数据压缩算法往往都是以损失数据精度为代价，但是通常的无损压缩的方式，对于时序数据的压缩比往往是有限的，所以提供一种针对时序数据的精度不产生影响，且能更加有效进行压缩的压缩方法成为了一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
有鉴于此，本发明提出了一种电力数据库的数据压缩方法、装置、设备及介质，旨在解决现有技术无法提供一种针对时序数据的精度不产生影响，且能更加有效进行压缩的压缩方法的问题。
本发明的技术方案是这样实现的：
一方面，本发明提供了一种电力数据库的数据压缩方法，所述电力数据库的数据压缩方法包括以下步骤：
S1，获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值；
S2，建立压缩算法，并设定压缩阈值的范围，根据该压缩算法对时间戳进行压缩，获取压缩后的压缩值，并将压缩阈值与压缩值进行比较，根据比较结果对压缩值进行存储；
S3，建立异或算法，根据异或算法对数据值两两进行异或计算，获取计算结果，根据计算结果对数据值进行压缩并存储。
在以上技术方案的基础上，优选的，步骤S1中，获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值，还包括以下步骤，获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值，根据先后顺序对时间戳进行排序，第一个时间戳作为起始时间，并对该时序数据集合进行病毒扫描，筛除存在病毒的时序数据集合。
在以上技术方案的基础上，优选的，步骤S2中，还包括以下步骤，压缩算法为：
D＝(tn-tn-1)-(tn-1-tn-2)；
其中，D是压缩值，tn代表时间戳，n≥0，当n＝0时，t-1是起始时间，如果D为0，则存储1位’0’；如果D属于[-63,64]，存储’10’后跟7位D值；如果D属于[-255,256]，存储’110’后跟9位D值；如果D属于[-2047,2048]，存储’1110’后跟12位D值；否则，存储’1111’后跟32位D值。
在以上技术方案的基础上，优选的，步骤S2中，建立压缩算法，并设定压缩阈值的范围，根据该压缩算法对时间戳进行压缩，获取压缩后的压缩值，并将压缩阈值与压缩值进行比较，根据比较结果对压缩值进行存储，还包括以下步骤，建立压缩算法，设定压缩阈值的范围，并设定范围的数据存储方式，根据该压缩算法对时间戳进行压缩，获取压缩后的压缩值，并将压缩阈值与压缩值进行比较，根据比较结果判断压缩值的范围，并根据该范围按照对应的数据存储方式对压缩值进行存储。
在以上技术方案的基础上，优选的，步骤S3中，建立异或算法，根据异或算法对数据值两两进行异或计算，获取计算结果，根据计算结果对数据值进行压缩并存储，还包括以下步骤，建立异或算法，并设定计算结果对应的存储方式，根据异或算法对数据值两两进行异或计算，当异或结果为0时，***存储1位’0’；当异或结果不为0时，***存储1位’1’。
在以上技术方案的基础上，优选的，根据异或算法对数据值两两进行异或计算，当异或结果为0时，***存储1位’0’；当异或结果不为0时，***存储1位’1’，还包括以下步骤，根据异或算法对数据值两两进行异或计算，当异或结果为0，***存储1位’0’时，对压缩后的数据值进行判断，若压缩后的数据值中的前导零和后缀零的数量与前一个压缩后的数据值中的前导零和后缀零的数量相同，则只存储异或值；当异或结果不为0，***存储1位’1’时，用5位存储前导零长度，用6位存储异或值的长度数值，最后存储异或值。
在以上技术方案的基础上，优选的，根据计算结果对数据值进行压缩并存储，还包括以下步骤，对数据值进行排查，对数据值中多次出现的数值进行标记，并筛选出没有进行标记的数值，并将这些未进行标记的数值根据其对应的数据值进行分类压缩并存储。
更进一步优选的，所述电力数据库的数据压缩装置包括：
获取模块，用于获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值；
时间戳压缩存储模块，用于建立压缩算法，并设定压缩阈值的范围，根据该压缩算法对时间戳进行压缩，获取压缩后的压缩值，并将压缩阈值与压缩值进行比较，根据比较结果对压缩值进行存储；
数据值压缩存储模块，用于建立异或算法，根据异或算法对数据值两两进行异或计算，获取计算结果，根据计算结果对数据值进行压缩并存储。
第二方面，所述电力数据库的数据压缩方法还包括一种设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的电力数据库的数据压缩方法程序，所述电力数据库的数据压缩方法程序配置为实现如上文所述的电力数据库的数据压缩方法的步骤。
第三方面，所述电力数据库的数据压缩方法还包括一种介质，所述介质为计算机介质，所述计算机介质上存储有电力数据库的数据压缩方法程序，所述电力数据库的数据压缩方法程序被处理器执行时实现如上文所述的电力数据库的数据压缩方法的步骤。
本发明的一种电力数据库的数据压缩方法相对于现有技术具有以下有益效果：
(1)通过将时序数据集合分成时间戳以及与时间戳相关联的数据值，分别对时间戳以及数据值进行压缩，在压缩完成之后，再将压缩后的时间戳以及对应的压缩数据值进行打包存储，通过这样的方式，可以更加有效对数据进行压缩，提高了压缩效率；
(2)通过使用压缩算法以及异或算法对时序数据进行处理并压缩，压缩算法会设置对应的压缩范围以及对应的存储方式，在对数据进行压缩后，会根据压缩后的压缩数据值选择对应的存储方式，通过这种方法，可以达到无损压缩数据，并提高压缩速度的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例方案涉及的硬件运行环境的设备的结构示意图；
图2为本发明电力数据库的数据压缩方法第一实施例的流程示意图；
图3为本发明电力数据库的数据压缩方法第一实施例的功能模块示意图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
如图1所示，该设备可以包括：处理器1001，例如中央处理器(Central ProcessingUnit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对设备的限定，在实际应用中设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及电力数据库的数据压缩方法程序。
在图1所示的设备中，网络接口1004主要用于建立设备与存储电力数据库的数据压缩方法***中所需的所有数据的服务器的通信连接；用户接口1003主要用于与用户进行数据交互；本发明电力数据库的数据压缩方法设备中的处理器1001、存储器1005可以设置在电力数据库的数据压缩方法设备中，所述电力数据库的数据压缩方法设备通过处理器1001调用存储器1005中存储的电力数据库的数据压缩方法程序，并执行本发明实施提供的电力数据库的数据压缩方法。
结合图2，图2为本发明电力数据库的数据压缩方法第一实施例的流程示意图。
本实施例中，所述电力数据库的数据压缩方法包括以下步骤：
S10：获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值。
应当理解的是，时序数据是指时间序列数据，时间序列数据是同一统一指标按时间顺序记录的数据列，在同一数据列中的各个数据必须是同口径的，要求具有可比性，时序数据可以是时期数，也可以是时点数，时间序列分析的目的是通过找出样本内时间序列的统计特性和发展规律，构建时间序列模型，进行样本外预测，本实施例中，时序数据集合包括：时间戳以及与时间戳相关联的数据值。
应当理解的是，时间戳是指一个能表示一份数据在某个特定时间之前已经存在的、完整的、可验证的数据，时间戳通常是一个字符序列，唯一地表示某一时刻的时间。
应当理解的是，获取时序数据集合之后，会根据时间戳的先后顺序对时间戳进行排序，将排在第一位的时间戳作为起始时间戳，然后将之后的时间戳按顺序进行命名，命名方式如：第一时间戳。同时***会对该时序数据集合进行病毒扫描，以防止病毒对数据进行损坏，影响压缩效率。
S20：建立压缩算法，并设定压缩阈值的范围，根据该压缩算法对时间戳进行压缩，获取压缩后的压缩值，并将压缩阈值与压缩值进行比较，根据比较结果对压缩值进行存储。
应当理解的是，压缩算法为：
D＝(tn-tn-1)-(tn-1-tn-2)；
其中，D是压缩值，tn代表时间戳，n≥0，当n＝0时，t-1是起始时间，如果D为0，则存储1位’0’；如果D属于[-63,64]，存储’10’后跟7位D值；如果D属于[-255,256]，存储’110’后跟9位D值；如果D属于[-2047,2048]，存储’1110’后跟12位D值；否则，存储’1111’后跟32位D值。
应当理解的是，给该压缩算法加一个定义，对压缩算法进行标示，func:D＝(tn-tn-1)-(tn-1-tn-2)，其中，func即为给该压缩算法加的定义，没有任何意义，只是对压缩算法起标示作用。
应当理解的是，建立压缩算法，并设定压缩阈值的范围，对时间戳进行压缩后，会将压缩后的值与压缩阈值的范围进行比较，并根据压缩阈值的范围对压缩后的值进行存储。
S30：建立异或算法，根据异或算法对数据值两两进行异或计算，获取计算结果，根据计算结果对数据值进行压缩并存储。
应当理解的是，异或应用于逻辑运算，其运算法则为：如果a、b两个值不同，则异或结果为1；如果a、b两个值相同，则异或结果为0。本实施中，当两个数据值的异或结果为0时，***存储1位’0’，同时若压缩后的数据值中的前导零和后缀零的数量与前一个压缩后的数据值中的前导零和后缀零的数量相同，则只存储异或值；当两个数据值的异或结果不为0时，***存储1位’1’，同时用5位存储前导零长度，用6位存储异或值的长度数值，最后存储异或值，本实施例中提到的异或值都是满足用户设定条件的有意义的数值，同时位是指比特长度。
需要说明的是，以上仅为举例说明，并不对本申请的技术方案构成任何限定。
通过上述描述不难发现，本实施例通过获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值；建立一种高性能高压缩比的压缩算法，根据该压缩算法分别对时间戳和值进行压缩。对时间戳压缩时，记录第一时间点，后面的时间只需要记录偏移值，对偏移值进行压缩存储；对值进行压缩时，建立异或算法，根据异或算法对数据值进行两两进行异或计算获取计算结果，根据计算结果对值进行压缩存储。本实施例通过将时序数据集合分成时间戳以及与时间戳相关联的数据值，通过压缩算法对时间戳进行压缩，通过异或算法对数据值进行压缩，这样既不会对时序数据的精度产生影响，同时也能够更加有效进行压缩。
此外，本发明实施例还提出一种电力数据库的数据压缩装置。如图3所示，该电力数据库的数据压缩装置包括：获取模块10、时间戳压缩存储模块20、数据值压缩存储模块30。
获取模块10，用于获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值；
时间戳压缩存储模块20，用于建立压缩算法，并设定压缩阈值的范围，根据该压缩算法对时间戳进行压缩，获取压缩后的压缩值，并将压缩阈值与压缩值进行比较，根据比较结果对压缩值进行存储；
数据值压缩存储模块30，用于建立异或算法，根据异或算法对数据值两两进行异或计算，获取计算结果，根据计算结果对数据值进行压缩并存储。
此外，需要说明的是，以上所描述的装置实施例仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的电力数据库的数据压缩方法，此处不再赘述。
此外，本发明实施例还提出一种介质，所述介质为计算机介质，所述计算机介质上存储有电力数据库的数据压缩方法程序，所述电力数据库的数据压缩方法程序被处理器执行时实现如下操作：
S1，获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值；
S2，建立压缩算法，并设定压缩阈值的范围，根据该压缩算法对时间戳进行压缩，获取压缩后的压缩值，并将压缩阈值与压缩值进行比较，根据比较结果对压缩值进行存储；
S3，建立异或算法，根据异或算法对数据值两两进行异或计算，获取计算结果，根据计算结果对数据值进行压缩并存储。
进一步地，所述电力数据库的数据压缩方法程序被处理器执行时还实现如下操作：
获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值，根据先后顺序对时间戳进行排序，第一个时间戳作为起始时间，并对该时序数据集合进行病毒扫描，筛除存在病毒的时序数据集合。
进一步地，所述电力数据库的数据压缩方法程序被处理器执行时还实现如下操作：
压缩算法为：
D＝(tn-tn-1)-(tn-1-tn-2)；
其中，D是压缩值，tn代表时间戳，n≥0，当n＝0时，t-1是起始时间，如果D为0，则存储1位’0’；如果D属于[-63,64]，存储’10’后跟7位D值；如果D属于[-255,256]，存储’110’后跟9位D值；如果D属于[-2047,2048]，存储’1110’后跟12位D值；否则，存储’1111’后跟32位D值。
进一步地，所述电力数据库的数据压缩方法程序被处理器执行时还实现如下操作：
建立压缩算法，设定压缩阈值的范围，并设定范围的数据存储方式，根据该压缩算法对时间戳进行压缩，获取压缩后的压缩值，并将压缩阈值与压缩值进行比较，根据比较结果判断压缩值的范围，并根据该范围按照对应的数据存储方式对压缩值进行存储。
进一步地，所述电力数据库的数据压缩方法程序被处理器执行时还实现如下操作：
建立异或算法，并设定计算结果对应的存储方式，根据异或算法对数据值两两进行异或计算，当异或结果为0时，***存储1位’0’；当异或结果不为0时，***存储1位’1’。
进一步地，所述电力数据库的数据压缩方法程序被处理器执行时还实现如下操作：
根据异或算法对数据值两两进行异或计算，当异或结果为0，***存储1位’0’时，对压缩后的数据值进行判断，若压缩后的数据值中的前导零和后缀零的数量与前一个压缩后的数据值中的前导零和后缀零的数量相同，则只存储异或值；当异或结果不为0，***存储1位’1’时，用5位存储前导零长度，用6位存储异或值的长度数值，最后存储异或值。
进一步地，所述电力数据库的数据压缩方法程序被处理器执行时还实现如下操作：
对数据值进行排查，对数据值中多次出现的数值进行标记，并筛选出没有进行标记的数值，并将这些未进行标记的数值根据其对应的数据值进行分类压缩并存储。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种电力数据库的数据压缩方法，其特征在于：包括以下步骤；
S1，获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值；
S2，建立压缩算法，设定压缩阈值的范围，并设定范围的数据存储方式，根据该压缩算法对时间戳进行压缩，获取压缩后的压缩值，并将压缩阈值与压缩值进行比较，根据比较结果判断压缩值的范围，并根据该范围按照对应的数据存储方式对压缩值进行存储；其中，压缩算法为：
D＝(tn-tn-1)-(tn-1-tn-2)；
其中，D是压缩值，tn代表时间戳，n≥0，当n＝0时，t-1是起始时间，如果D为0，则存储1位’0’；如果D属于[-63,64]，存储’10’后跟7位D值；如果D属于[-255,256]，存储’110’后跟9位D值；如果D属于[-2047,2048]，存储’1110’后跟12位D值；否则，存储’1111’后跟32位D值；
S3，建立异或算法，并设定计算结果对应的存储方式，根据异或算法对数据值两两进行异或计算，获取计算结果，根据计算结果对数据值进行压缩并存储；其中，
当异或结果为0时，***存储1位’0’，对压缩后的数据值进行判断，若压缩后的数据值中的前导零和后缀零的数量与前一个压缩后的数据值中的前导零和后缀零的数量相同，则只存储异或值；
当异或结果不为0时，***存储1位’1’；用5位存储前导零长度，用6位存储异或值的长度数值，最后存储异或值。
2.如权利要求1所述的电力数据库的数据压缩方法，其特征在于：步骤S1中，获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值，还包括以下步骤，获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值，根据先后顺序对时间戳进行排序，第一个时间戳作为起始时间，并对该时序数据集合进行病毒扫描，筛除存在病毒的时序数据集合。
3.如权利要求1所述的电力数据库的数据压缩方法，其特征在于：根据计算结果对数据值进行压缩并存储，还包括以下步骤，对数据值进行排查，对数据值中多次出现的数值进行标记，并筛选出没有进行标记的数值，并将这些未进行标记的数值根据其对应的数据值进行分类压缩并存储。
4.一种电力数据库的数据压缩装置，其特征在于，所述电力数据库的数据压缩装置包括：
获取模块，用于获取时序数据集合，该时序数据集合包括：时间戳以及与时间戳相关联的数据值；
时间戳压缩存储模块，用于建立压缩算法，设定压缩阈值的范围，并设定范围的数据存储方式，根据该压缩算法对时间戳进行压缩，获取压缩后的压缩值，并将压缩阈值与压缩值进行比较，根据比较结果判断压缩值的范围，并根据该范围按照对应的数据存储方式对压缩值进行存储；其中，压缩算法为：
D＝(tn-tn-1)-(tn-1-tn-2)；
其中，D是压缩值，tn代表时间戳，n≥0，当n＝0时，t-1是起始时间，如果D为0，则存储1位’0’；如果D属于[-63,64]，存储’10’后跟7位D值；如果D属于[-255,256]，存储’110’后跟9位D值；如果D属于[-2047,2048]，存储’1110’后跟12位D值；否则，存储’1111’后跟32位D值；
数据值压缩存储模块，用于建立异或算法，并设定计算结果对应的存储方式，根据异或算法对数据值两两进行异或计算，获取计算结果，根据计算结果对数据值进行压缩并存储；其中，
当异或结果为0时，***存储1位’0’，对压缩后的数据值进行判断，若压缩后的数据值中的前导零和后缀零的数量与前一个压缩后的数据值中的前导零和后缀零的数量相同，则只存储异或值；
当异或结果不为0时，***存储1位’1’；用5位存储前导零长度，用6位存储异或值的长度数值，最后存储异或值。
5.一种设备，其特征在于，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的电力数据库的数据压缩方法程序，所述电力数据库的数据压缩方法程序配置为实现如权利要求1至3任一项所述的电力数据库的数据压缩方法的步骤。
6.一种介质，其特征在于，所述介质为计算机介质，所述计算机介质上存储有电力数据库的数据压缩方法程序，所述电力数据库的数据压缩方法程序被处理器执行时实现如权利要求1至3任一项所述的电力数据库的数据压缩方法的步骤。
CN201910998288.9A 2019-10-21 2019-10-21 电力数据库的数据压缩方法、装置、设备及介质 Active CN110995273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910998288.9A CN110995273B (zh) 2019-10-21 2019-10-21 电力数据库的数据压缩方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910998288.9A CN110995273B (zh) 2019-10-21 2019-10-21 电力数据库的数据压缩方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN110995273A CN110995273A (zh) 2020-04-10
CN110995273B true CN110995273B (zh) 2023-04-07

Family

ID=70082191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910998288.9A Active CN110995273B (zh) 2019-10-21 2019-10-21 电力数据库的数据压缩方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN110995273B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113078908B (zh) * 2021-03-10 2022-03-25 杭州又拍云科技有限公司 一种适用于时间序列数据库的简易编解码方法
CN114327264B (zh) * 2021-12-22 2023-05-12 北京力控元通科技有限公司 一种时序数据压缩方法、装置及设备
CN114665885B (zh) * 2022-03-29 2022-11-04 北京诺司时空科技有限公司 一种时序数据库自适应数据压缩方法
CN117118456B (zh) * 2023-10-25 2024-01-26 山东德源电力科技股份有限公司 基于深度融合的磁控开关控制数据处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577456A (zh) * 2012-07-31 2014-02-12 国际商业机器公司 用于处理时序数据的方法和装置
CN108153483A (zh) * 2016-12-06 2018-06-12 南京南瑞继保电气有限公司 一种基于属性分组的时序数据压缩方法
CN110266316A (zh) * 2019-05-08 2019-09-20 阿里巴巴集团控股有限公司 一种数据压缩、解压方法、装置和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3853765B2 (ja) * 2002-11-08 2006-12-06 Ｎｅｃインフロンティア株式会社 パケット圧縮方式及びパケット復元方式並びにパケット圧縮方法及びパケット復元方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577456A (zh) * 2012-07-31 2014-02-12 国际商业机器公司 用于处理时序数据的方法和装置
CN108153483A (zh) * 2016-12-06 2018-06-12 南京南瑞继保电气有限公司 一种基于属性分组的时序数据压缩方法
CN110266316A (zh) * 2019-05-08 2019-09-20 阿里巴巴集团控股有限公司 一种数据压缩、解压方法、装置和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭威 ; 方宽 ; 黄慧欣 ; 林俊 ; .DM数据库中大规模数据智能自适应压缩算法.科学技术与工程.2018,(03),全文. *

Also Published As

Publication number Publication date
CN110995273A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110995273B (zh) 电力数据库的数据压缩方法、装置、设备及介质
CN110569214B (zh) 用于日志文件的索引构建方法、装置及电子设备
CN106936441B (zh) 一种数据压缩方法和装置
US20060173878A1 (en) Efficient processing of time series data
CN111008230B (zh) 数据存储方法、装置、计算机设备及存储介质
Ali et al. A review of digital forensics methods for JPEG file carving
CN110020665B (zh) 一种兼容不同飞行质谱仪的微生物质谱数据分析方法
US20200294629A1 (en) Gene sequencing data compression method and decompression method, system and computer-readable medium
CN112800061B (zh) 一种数据存储方法、装置、服务器及存储介质
CN111475324A (zh) 日志信息的分析方法、装置、计算机设备和存储介质
WO2021068891A1 (en) Method, system, electronic device, and storage medium for storing and collecting temperature data
CN112328631A (zh) 一种生产故障分析方法、装置、电子设备及存储介质
CN115203004A (zh) 代码覆盖率测试方法、装置、存储介质及电子设备
CN115687674A (zh) 服务于智慧云服务平台的大数据需求分析方法及***
CN109240916B (zh) 信息输出控制方法、装置及计算机可读存储介质
CN107169057B (zh) 一种重复图片的检测方法和装置
CN110032432B (zh) 实例的压缩方法和装置、实例的解压方法和装置
CN112445687A (zh) 一种计算设备的卡顿检测方法及相关装置
CN114466082B (zh) 数据压缩、数据解压方法、***及人工智能ai芯片
CN116010480A (zh) 一种时序数据库审计方法及***
CN116226047A (zh) 一种快速读取gzip压缩的stdf文件MIR信息的方法及装置
CN115905119A (zh) 一种bmc日志压缩提取方法及***
CN104637496A (zh) 计算机***及音频比对方法
CN109062797B (zh) 生成信息的方法和装置
CN112597498A (zh) 一种webshell的检测方法、***、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant