CN110311687A - 一种基于集成算法的时序数据无损压缩方法 - Google Patents

Abstract

本发明公开了一种基于集成算法的时序数据无损压缩方法，将所有的数据分为多个数据块，每个数据块包含多个数据串；读入前一部分数据串的值并利用所有内置的压缩算法对其进行一次压缩，得到每个数据串的最优压缩算法；成为最优压缩算法次数最多的算法，成为该数据块的当前最优压缩算法；利用数据块的当前最优压缩算法，对该数据块接下来的数据串进行压缩；经过一段时间的压缩，对该数据块的当前最优压缩算法进行验证，判断是否重新选择该数据块的当前最优压缩算法。本发明不局限于一种压缩算法，不断改变的算法可以达到最大的压缩率。

Description

一种基于集成算法的时序数据无损压缩方法

技术领域

本发明涉及一种时序数据压缩方法，特别是一种基于集成算法的时序数据无损压缩方法。

背景技术

时序数据往往占用大量储存空间，造成了存储资源的浪费。时序数据的压缩就是要把时间戳和值所组成的键值对(Key-Value Pair)进行压缩，降低在硬盘中或在内存中的占用空间，并且能够根据一定的算法复现原有数据。现有的时序数据压缩方法要么是有损压缩，即会丧失数据的精度；要么在压缩率上不尽人意，不能达到最小化数据占用空间的目的，造成一定的资源浪费。

发明内容

本发明所要解决的技术问题是提供一种基于集成算法的时序数据无损压缩方法，提高时序数据的压缩率，达到最小化数据占用空间的目的。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于集成算法的时序数据无损压缩方法，其特征在于包含以下步骤：

步骤一：将所有的数据分为多个数据块，每个数据块包含多个按照数值的时间戳顺序排列的数据串；

步骤二：对于一个数据块，读入其前一部分数据串的值，读入的数据串的数量预先指定，对读取的这部分数据串，利用***内置的所有压缩算法对每一个数据串都进行一次压缩；

步骤三：对经过所有压缩算法压缩的数据串，得到每一个数据串的最优压缩算法；

步骤四：对于一个数据块，选取步骤三中成为最优压缩算法次数最多的算法作为该数据块的当前最优压缩算法；

步骤五：对该数据块接下来的数据串，使用该数据块的当前最优压缩算法进行压缩，对每一个经过压缩的数据串，包括之前采用所有算法进行压缩的数据串，在其压缩完以后的二进制串的最前面拼接上该数据串使用的压缩算法；

步骤六：在接下来的压缩过程中，定期对该数据块的当前最优压缩算法进行验证，如果验证成功，则继续使用该数据块的当前最优压缩算法进行压缩，如果失败，则重新选择该数据块的当前最优压缩算法，使用新的算法对接下来的数据串进行压缩；

步骤七：重复定期验证的过程，直到该数据块的全部数据串都被压缩完毕。

进一步地，需要恢复数据时，根据二进制串最前面的标识位获取该数据串的压缩算法，再根据相应的压缩算法的解压缩方法进行解压缩。

进一步地，所述步骤二中的***内置的所有压缩算法包括DFCM算法、FCM算法、XOR算法、线性预测的XOR算法和delta-of-delta算法。

进一步地，所述步骤二中，当所有算法的压缩效果都比不压缩要差时，则不采用任何压缩，直接存储不经过压缩的结果。

进一步地，所述步骤三中最优压缩算法的判断过程为对经过所有压缩算法压缩的数据串，比较其经过压缩后的二进制串的长度，压缩完以后二进制串长度最短的算法，为该数据串的最优压缩算法。

进一步地，所述步骤五中拼接在数据串前的压缩算法采用标识位，标识位采用定长标识位或采用霍夫曼编码的标识位。

进一步地，所述步骤六具体为

在接下来的压缩过程中，读入接下来一部分数据串的值，读入的数据串的数量预先指定，对于这部分数据串，利用***内置的所有压缩算法，对每一个数据串都进行一次压缩，得到每一个数据串的最优压缩算法，根据每一个数据串的最优压缩算法，得到这一部分数据串的当前最优压缩算法；如果该最优算法与该数据块的当前最优压缩算法一致，则验证完成，继续对接下来的数据按照该数据块的当前最优压缩算法进行压缩；如果不一致，则用于验证的这一部分数据串的当前最优压缩算法更新为该数据块的当前最优压缩算法，使用新的当前最优压缩算法进行压缩。

本发明与现有技术相比，具有以下优点和效果：本发明的一种基于集成算法的时序数据无损压缩方法将所有数据分割成块，然后对每个数据块选择最优的压缩算法进行压缩，下一个数据块则可以选择不同的压缩算法进行压缩，保证每个数据块都是采用最优化的压缩算法，而不是整体采用一种压缩算法，这样区别对待不同的数据，达到了最佳的压缩率，达到了最小化数据占用空间的目的，避免计算机存储资源的浪费。

附图说明

图1是一种基于集成算法的时序数据无损压缩方法的示意图。

具体实施方式

下面通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

如图1所示，本发明的一种基于集成算法的时序数据无损压缩方法，包括多个单独的压缩算法，包含一个算法选择过程，包含一个算法验证过程，包含一个解压缩方法。具体包括以下步骤：

步骤一：将所有的数据分为多个数据块，每个数据块包含多个按照数值的时间戳顺序排列的数据串。在实际使用中，数据块的划分可以按照某一个实际指标的采集过程来进行。每一个数据块中的数据串可以按照小时的频率进行分割。按照采集的规则，同一个数据块内的数据串应该具有相似的分布。

步骤二：对于一个数据块，读入其前一部分数据串的值，读入的数据串的数量预先指定。对这部分数据串，利用***内置的所有压缩算法，对每一个数据串都进行一次压缩。***内置的所有压缩算法均采用无损算法，包括但不限于：DFCM算法、FCM算法、XOR算法、线性预测的XOR算法、delta-of-delta算法等。除此以外，还包括不压缩的结果。也就是说，如果所有算法的压缩效果都比不压缩要差，则不采用任何压缩，直接存储不经过压缩的结果。

步骤三：对经过所有压缩算法压缩的数据串，可以得到每一个数据串的“最优压缩算法”。对经过所有压缩算法压缩的数据串，比较其经过压缩后的二进制串的长度。压缩完以后二进制串长度最短的算法，称为该数据串的“最优压缩算法”。

步骤四：对于该数据块，在上一步中成为“最优压缩算法”次数最多的算法，成为该数据块的“当前最优压缩算法”。

步骤五：对该数据块接下来的数据串，使用该数据块的“当前最优压缩算法”进行压缩。对每一个经过压缩的数据串，包括之前采用所有算法进行压缩的数据串，在其压缩完以后的二进制串的最前面(最低位)拼接上该数据串使用的压缩算法。拼接时，使用标识位来唯一标识一个算法，标识位可以采用定长标识位，也可以采用霍夫曼编码的标识位。

步骤六：在接下来的压缩过程中，定期对该数据块的“当前最优压缩算法”进行验证。验证的方法为：读入接下来一部分数据串的值，读入的数据串的数量预先指定。对于这部分数据串，利用***内置的所有压缩算法，对每一个数据串都进行一次压缩，得到每一个数据串的“最优压缩算法”，根据每一个数据串的“最优压缩算法”，得到这一部分数据串的“当前最优压缩算法”。如果该最优算法与该数据块的“当前最优压缩算法”一致，则验证完成。如果验证成功，则继续使用该数据块的“当前最优压缩算法”进行压缩。如果失败，则重新选择该数据块的“当前最优压缩算法”，使用新的算法对接下来的数据串进行压缩。新的算法可以使用验证的数据串所确定的“当前最优压缩算法”。

步骤七：重复定期验证的过程，直到该数据块的全部数据串都被压缩完毕。

步骤八：需要恢复数据时，根据二进制串最前面(最低位)的标识位获取该数据串的压缩算法，再根据相应的压缩算法的解压缩方法进行解压缩。

本发明根据上述的一种基于集成算法的无损浮点型时序数据压缩方法，举例描述该算法为：

假设要压缩的数据块为：1.0、2.0、3.0、4.0、5.0、6.0、7.0、8.0、9.0、10.0、11.0、12.0、13.0、14.0、15.0、16.0、17.0、……25.0、26.0、27.0、28.0、29.0、30.0、……95.0、96.0、97.0、98.0、99.0、100.0。按照5个一组的分为20个数据串，对前5个数据串使用所有压缩算法进行压缩。发现使用预测公式为的XOR压缩算法，效果最好。那么预测公式为的XOR算法则为该数据块的“当前最优压缩算法”。使用“当前最优压缩算法”对接下来的数据串进行压缩。当压缩到一半时，进行验证。取3个数据串，使用所有压缩算法进行压缩，发现依然是使用预测公式为的XOR算法压缩效果最好。那么验证成功，继续使用“当前最优压缩算法”进行压缩。

本发明的一种基于集成算法的时序数据无损压缩方法将所有数据分割成块，然后对每个数据块选择最优的压缩算法进行压缩，下一个数据块则可以选择不同的压缩算法进行压缩，保证每个数据块都是采用最优化的压缩算法，而不是整体采用一种压缩算法，这样区别对待不同的数据，达到了最佳的压缩率，达到了最小化数据占用空间的目的，避免计算机存储资源的浪费。

本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.一种基于集成算法的时序数据无损压缩方法，其特征在于包含以下步骤：

步骤一：将所有的数据分为多个数据块，每个数据块包含多个按照数值的时间戳顺序排列的数据串；

步骤二：对于一个数据块，读入其前一部分数据串的值，读入的数据串的数量预先指定，对读取的这部分数据串，利用***内置的所有压缩算法对每一个数据串都进行一次压缩；

步骤三：对经过所有压缩算法压缩的数据串，得到每一个数据串的最优压缩算法；

步骤四：对于一个数据块，选取步骤三中成为最优压缩算法次数最多的算法作为该数据块的当前最优压缩算法；

步骤五：对该数据块接下来的数据串，使用该数据块的当前最优压缩算法进行压缩，对每一个经过压缩的数据串，包括之前采用所有算法进行压缩的数据串，在其压缩完以后的二进制串的最前面拼接上该数据串使用的压缩算法；

步骤六：在接下来的压缩过程中，定期对该数据块的当前最优压缩算法进行验证，如果验证成功，则继续使用该数据块的当前最优压缩算法进行压缩，如果失败，则重新选择该数据块的当前最优压缩算法，使用新的算法对接下来的数据串进行压缩；

步骤七：重复定期验证的过程，直到该数据块的全部数据串都被压缩完毕。

2.按照权利要求1所述的基于集成算法的时序数据无损压缩方法，其特征在于：需要恢复数据时，根据二进制串最前面的标识位获取该数据串的压缩算法，再根据相应的压缩算法的解压缩方法进行解压缩。

3.按照权利要求1所述的基于集成算法的时序数据无损压缩方法，其特征在于：所述步骤二中的***内置的所有压缩算法包括DFCM算法、FCM算法、XOR算法、线性预测的XOR算法和delta-of-delta算法。

4.按照权利要求1所述的基于集成算法的时序数据无损压缩方法，其特征在于：所述步骤二中，当所有算法的压缩效果都比不压缩要差时，则不采用任何压缩，直接存储不经过压缩的结果。

5.按照权利要求1所述的基于集成算法的时序数据无损压缩方法，其特征在于：所述步骤三中最有压缩算法的判断过程为对经过所有压缩算法压缩的数据串，比较其经过压缩后的二进制串的长度，压缩完以后二进制串长度最短的算法，为该数据串的最优压缩算法。

6.按照权利要求1所述的基于集成算法的时序数据无损压缩方法，其特征在于：所述步骤五中拼接在数据串前的压缩算法采用标识位，标识位采用定长标识位或采用霍夫曼编码的标识位。

7.按照权利要求1所述的基于集成算法的时序数据无损压缩方法，其特征在于：所述步骤六具体为

在接下来的压缩过程中，读入接下来一部分数据串的值，读入的数据串的数量预先指定，对于这部分数据串，利用***内置的所有压缩算法，对每一个数据串都进行一次压缩，得到每一个数据串的最优压缩算法，根据每一个数据串的最优压缩算法，得到这一部分数据串的当前最优压缩算法；如果该最优算法与该数据块的当前最优压缩算法一致，则验证完成，继续对接下来的数据按照该数据块的当前最优压缩算法进行压缩；如果不一致，则用于验证的这一部分数据串的当前最优压缩算法更新为该数据块的当前最优压缩算法，使用新的当前最优压缩算法进行压缩。