CN116303409B - 超高压缩比的工业生产时序数据透明压缩方法 - Google Patents

Abstract

本发明提供一种超高压缩比的工业生产时序数据透明压缩方法，综合采用无损压缩和有损压缩对写入数据进行有效压缩，同时，在无损压缩完成之后，根据数据读取频率判断数据价值，在此判断基础上，对数据进行有针对性地区分开有损压缩的方式，由此最大程度缓解了用户在压缩比和失真度方面的矛盾纠结，在确定数据毫无价值的情况下直接清除数据，又最大限度节省了数据库的存储空间。

Description

超高压缩比的工业生产时序数据透明压缩方法

技术领域

本发明涉及信息处理技术，更具体地，涉及一种超高压缩比的工业生产时序数据透明压缩方法。

背景技术

由于数字化的多媒体信息尤其是数字视频、音频信号的数据量特别庞大；如果不对其进行有效的压缩就难以得到实际的应用。因此，数据压缩技术已成为当今数字通信、广播、存储和多媒体娱乐中的一项关键的共性技术。

数据压缩技术通常分为有损压缩和无损压缩两大类技术。但目前市面上鲜见有在一款软件之内同时集成有损压缩和无损压缩。有损压缩和无损压缩，尽管只有一字之差，但其工作原理却大相径庭，实现效果也差别甚大。甚至可以说，二者是“互斥”的。

有损压缩利用了人类对数据（例如图像数据或音频数据）中的某些频率成分不敏感的特性，允许压缩过程中损失一定的信息；虽然不能完全恢复原始数据，但是所损失的部分对理解原始图像的影响缩小，却换来了大得多的压缩比。

而无损压缩利用数据的统计冗余进行压缩，可完全恢复原始数据而不引起任何失真，但压缩率是受到数据统计冗余度的理论限制一般不会太大。

由此可见，有损压缩易于失真但压缩率大，无损压缩保真但压缩率不足，二者似乎并不兼容，因此一直以来很难找到一款合适的软件能够同时对原数据进行有损压缩和无损压缩。

更进一步，由于两种压缩方式各自的优缺点，诸多用户对于有损压缩和无损压缩的选择极度地纠结，一方面希望在数据压缩后尽可能确保数据不失真，另一方面又希望尽可能获取尽可能大的压缩比以节约存储空间，然而，现实中却是由于有损压缩和无损压缩的互斥而使二者不可得兼。

发明内容

本发明提供的超高压缩比的工业生产时序数据透明压缩方法，能够有效地平衡有损压缩和无损压缩的优缺点，将两种看似相互排斥的压缩方式根据实际情况有效地糅合于整体压缩过程中，有效地解决了现有技术存在的诸多缺陷。

具体而言，本发明提供一种超高压缩比的工业生产时序数据透明压缩方法，对写入数据库中的即时数据进行无损压缩，无损压缩完成之后，所述即时数据转变成随时间推移的历史数据；在无损压缩完成之后经过一个考察周期T的时间点作为考察时间起点，从该考察时间起点开始的每个时间点均向前回溯一个考察周期T计算在考察周期T内的所述历史数据的读取次数N，由此得出从所述时间点回溯的该考察周期T内的读取频率f=N/T，针对读取频率设定第一阈值k1和第二阈值k2，其中k1>k2>0，如若所述读取频率f≥k1，所述历史数据保持原状；如若所述读取频率处于k1>f≥k2的区间内，则对所述历史数据采用第一阶多项式拟合有损压缩；如若所述读取频率处于k2>f>0的区间内，则对所述历史数据采用第二阶多项式拟合有损压缩，其中，第一阶多项式拟合有损压缩在拟合阶数上高于第二阶多项式拟合有损压缩；如若在计算机意义上计算得出所述读取频率f=N/T=0，则从数据库中清除所述历史数据。

优选地，所述第一阶多项式拟合有损压缩和/或所述第二阶多项式拟合有损压缩包括如下步骤：步骤一：获取初始历史数据及初始历史数据的初始考察时间点，设定经过初始历史数据的拟合曲线的类型；步骤二：根据拟合曲线获取初始历史数据的初始可行域；步骤三：获取初始考察时间点后的设定时间间隔的第一历史数据，根据拟合曲线获取第一历史数据的第一可行域；步骤四：判断初始可行域与第一可行域是否存在交集，若是，执行步骤五，若否，执行步骤六；步骤五：将交集作为初始可行域，将第一历史数据作为初始历史数据，执行步骤三；步骤六：获取初始可行域内的坐标值，坐标值作为拟合曲线的系数，存储坐标值和第一步骤中初始时间点获取的初始历史数据，并将第一历史数据作为初始历史数据，重新执行步骤一。

更优选地，所述拟合曲线函数为二次函数，其方程式表述为：y＝a2t2+a1t+a0其中，t为时间，y为t时刻获取的历史数据的幅值。

优选地，在对所述即时数据采用无损压缩时，针对时间戳采用差值压缩法，即，在以绝对值形式存储首个时间戳之后，其后各时间戳均采用与前一时间戳的差值的形式存储，用公式表达为：Deltan = Tn - Tn-1，其中，Tn表示第n个时间戳的绝对值，Tn-1表示第n-1个时间戳的绝对值，因此，Deltan表示第n个时间戳与第n-1个时间戳的绝对值的差值。

优选地，在对所述即时数据采用无损压缩时，针对时间戳采用双重差值压缩法，即，首先算出前后相邻时间戳之间的差值作为第一阶差值，再计算出前后相邻第一阶差值之间的差值作为双重差值存储，用公式表达为：Deltan = （Tn - Tn-1）-（Tn - Tn-1），其中，Tn表示第n个时间戳的绝对值，Tn-1表示第n-1个时间戳的绝对值，Tn-2表示第n-2个时间戳的绝对值。

本发明综合采用无损压缩和有损压缩对写入数据进行有效压缩，同时，在无损压缩完成之后，根据数据读取频率判断数据价值，在此判断基础上，对数据进行有针对性地区分开有损压缩的方式，由此最大程度缓解了用户在压缩比和失真度方面的矛盾纠结，在确定数据毫无价值的情况下直接清除数据，又最大限度节省了数据库的存储空间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图进行论述，显然，在结合附图进行描述的技术方案仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图所示实施例得到其它的实施例及其附图。

图1示出了根据本发明实施例的超高压缩比的工业生产时序数据透明压缩方法的触发阶段的示例时序图；

图2示出了根据本发明实施例的超高压缩比的工业生产时序数据透明压缩方法的触发阶段的另一示例时序图；

图3示出了根据本发明实施例的超高压缩比的工业生产时序数据透明压缩方法在有损压缩阶段的示例性流程图；

图4示出了根据本发明实施例的超高压缩比的工业生产时序数据透明压缩方法在有损压缩阶段的可行域压缩的示意图；

图5示出了根据本发明实施例的超高压缩比的工业生产时序数据透明压缩方法的全流程示意图。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚完整描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部实施例。基于本发明中所述的实施例，本领域普通技术人员在不需要创造性劳动的前提下所得到的所有其它实施例，都在本发明所保护的范围内。

本发明所提供的超高压缩比的工业生产时序数据透明压缩方法，借鉴了人脑的记忆特点。对于人脑而言，刚入脑的信息往往最为保真，最为贴合实际，当然对于当前事件的处理也最为重要，然而，随着时间的推移，人脑中所记忆的信息将逐渐模糊，逐渐失真。而本发明则考虑在写入信息之时对数据采取无损压缩，从而最大限度确保保真度，而后随着时间的推移，即时数据变为历史数据进行存储后，采取特定的触发机制改无损压缩为有损压缩，由于历史数据相比于即时数据而言往往重要性要降低，因此，对此类不重要的历史数据采取有损压缩即使出现失真也无伤大雅，却又能保证更高的压缩比，从而节省压缩空间。

换言之，本发明所提供的超高压缩比的工业生产时序数据透明压缩方法，分为无损压缩阶段、触发阶段、有损压缩阶段这三个阶段。下文中，将对这三个阶段进行详细介绍。

首先介绍无损压缩阶段。在该阶段中，对写入数据库中的数据进行无损压缩。

需要注意的是，无损压缩的种类在理论上可能存在无限多种。只要能够确保数据被压缩后能够被可逆地还原（解压缩），且还原后的数据与还原前的数据相比完全无失真，就可以称之为无损压缩。而对于上述这些初始测量数据的无损压缩，可以采用两阶段压缩的形式。首先在第一阶段，根据数据类型、特点，选择适合的无损压缩算法。在第一阶段确定压缩算法之后，在第二阶段利用选定的无损压缩算法正式对数据进行无损压缩。最后，将压缩后的数据存储下来。

例如，可考虑首先对这些写入数据的时间戳数据进行压缩。

时间戳通常采用long类型进行存储，格式例如为1571889600000、1571889600010、1571889600025、1571889600030，这些格式肉眼可见长度极为可观，海量的如此格式的时间戳，可以想见需要耗费多大的存储空间。因此对于这些时间戳，可以采用差值压缩法，即，在以绝对值形式存储首个时间戳之后，其后各时间戳均采用与前一时间戳的差值的形式存储，用公式表达为Delta(n) = T(n) - T(n-1)，例如，如表1所示：

如上表可见，差值的存储空间要远小于时间戳绝对值所需要的存储空间，且这种压缩是可逆的，在解压缩时，利用差值的换算，仍然能返回至原有的时间戳绝对值。

进一步，为了更进一步压缩时间戳的存储空间，还可以进一步考虑双重差值压缩法，即，首先算出前后相邻时间戳之间的差值作为第一阶差值，再计算出前后相邻第一阶差值之间的差值作为双重差值存储，用公式表达为Deltan = Tn - Tn-1，例如，如表2所示：

据发明人统计，在相同情况下，如果差值压缩法之下的压缩比为10:1，那么在双重差值压缩下的压缩比可以达到15:1。

接下来介绍触发阶段，该阶段是无损压缩阶段和有损压缩阶段之间的过渡阶段，也是即时数据向历史数据的过渡阶段。

在对写入数据库的即时数据进行无损压缩之后，随着时间的推移，即时数据将转变为历史数据。还需要考虑的是，如果历史数据在特定时间内读取的次数极少，则触发机制可将该历史数据判定为非重要数据，由于重要性的降低，则数据的失真就显得并不敏感，也可考虑转为压缩比更高的有损压缩。

例如，当写入数据在数据库中存储一个月之后，触发机制判定这一个月之中该写入数据仅仅读取两次，由此就可判定该数据为非重要数据，就可以转而采用有损压缩。

具体而言，一旦在数据库中写入数据，在对数据进行无损压缩之后，即行构建周期总读取次数N这一参数，在无损压缩完成之时计为第一次数据读取，因此周期总读取次数N初始自动设定为0，在自无损压缩完成之后的一个考察周期T内，写入数据随着时间推移变为历史数据，每读取一次该历史数据，则周期总读取次数N自动加1。由此就可以统计出在无损压缩完成之后的周期总读取次数N。由此可以计算出在自无损压缩完成之后的一个考察周期T内的读取频率为f=N/T。

例如，在图1所示的范例中，自无损压缩结束之后在一个考察周期T内读取两次，由此，总读取次数N迭加了两次“1”，因此，在该考察周期T内总读取次数N=2，由此，在该考察周期T内读取频率为f=2/T。

因此，在此将从无损压缩完成之后经过一个考察周期T的时间点作为考察时间起点，从该起点开始的每个时间点向前回溯一个考察周期T考察读取频率。

例如，在图2中，从考察时间起点之后的某个时间点1回溯一个考察周期T考察读取次数，将发现图1中的第一次读取已经错过，由此，在回溯的考察周期T内，只有一次读取，因此，在时间点1时回溯一个考察周期T内的读取次数为1，相应地，N=1，则读取频率f=N/T=1/T。

针对读取频率可设定第一阈值k1和第二阈值k2，其中，k1>k2>0，如若在时间点1处读取频率f≥k1，则表明在该时间周期T内读取频率仍然相当高所以数据价值也很高，因此，数据保持原状。如若在时间点1处读取频率处于k1>f≥k2的区间内，则表明数据仍有一定价值但需要提高压缩比，则考虑对数据采用第一阶多项式拟合有损压缩，如若k2>f>0，则表明数据价值进一步降低因此需要更高的压缩比，则考虑对数据采用第二阶多项式拟合有损压缩，这其中，第一阶多项式拟合有损压缩在拟合阶数上高于第二阶多项式拟合有损压缩。

这里需要注意的是，有损压缩也包含了诸多方式，其中的分阶多项式拟合方式就是其中的典型。在分阶多项式拟合中，往往越高阶的多项式拟合会导致数据失真度更低。因此，上文中，对于相对更有价值的数据，采用更高阶的多项式拟合，而对相对价值较低的数据，采用更低阶的多项式拟合。

如若在计算机意义上f=N/T=0，则表明数据“几乎”无人问津，此时在数据库中删除该数据，从而最大限度节约数据库的数据存储空间。

需要注意的是，计算机意义上“等于0”与数学意义上的“等于0”，含义不尽相同。在数学意义上如若N/T=0，必然能得出N=0，由此可反推这一周期内数据绝对无人读取。

然而，在计算机意义上则未必，即使N≠0，在N极小而T极大的情况下，N/T也可能通过运算得出一个很小的小数，而计算机的任何数据格式都是有一定精度的，如若该小数小于这一精度，则计算机运算中也会认定f=N/T=0。这就是上文中提到“几乎”无人问津的表述中“几乎”一词的含义所在。

上文中所提到的第一阶多项式拟合有损压缩和/或第二阶多项式拟合有损压缩可采用本发明特有的可行域压缩方法。下文将对此进行介绍。

图3示出了根据本发明实施例的超高压缩比的工业生产时序数据透明压缩方法的有损压缩阶段的流程示意图。如图3所示，有损压缩阶段的循环周期包括以下步骤：

步骤101、获取初始历史数据及初始历史数据的初始考察时间点，设定经过初始历史数据的拟合曲线的类型；

步骤102、根据拟合曲线获取初始历史数据的初始可行域；

步骤103、获取初始考察时间点后的设定时间间隔的第一历史数据，根据拟合曲线获取第一历史数据的第一可行域；

步骤104、判断初始可行域与第一可行域是否存在交集，若是，执行步骤105，若否，执行步骤106；

步骤105、将交集作为初始可行域，将第一历史数据作为初始历史数据，执行步骤103；

步骤106、获取初始可行域内的坐标值，坐标值作为拟合曲线的系数，存储坐标值和步骤101中初始时间点获取的初始历史数据，并将第一历史数据作为初始测量数据，执行步骤101。

如上述步骤可见，步骤104是关键的一步判断步骤，如若步骤104始终判断初始可行域和第一可行域存在交集，则上述路程始终处于步骤103-105的循环之中，在此情况下，初始历史数据之后的多个顺次间隔为所述设定时间间隔的多个历史数据均在所述拟合曲线的第一可行域的范围之内。该循环直至步骤104遇到的采集时间点的历史数据与第一可行域不存在交集，则从步骤106跳出了整个循环周期。因此，步骤106既可以视为一个循环周期的结束，也可以视为下一个循环周期的重新开始。

由此，在整个循环周期中只需保存初始历史数据和拟合曲线即可反映整个周期的大体数值状况。当然，如此一来，确实会出现数据精确性的误差损失，但由于周期内的所有采集时间点的历史数据均处于可行域范围之内，因此这种误差损失被有效控制在可控范围内。

下文中将以举例介绍上述有损压缩的循环周期。如图4所示，图4示出了根据本发明的压缩方法的有损压缩阶段的示例性示意图。在示例中，拟合曲线设定为二次曲线，即，抛物线。二次曲线的方程式为：

y＝a2t2+a1t+a0

其中t为时间，y为t时刻获取的历史数据的幅值。

设两相邻测量数据之间的距离为时间间隔T，设定偏差为ε，测量数据的时间行程为N，在抛物线以及设定偏差ε所限定的区域内，从第一个测量数据到第N个测量数据均位于该区域内，当第N+1个测量数据PN+1(t，Y)位于设定偏差ε以外时，则从第N+1个测量数据重新开始计算新的抛物线所对应的参数(a2，a1，a0)。

在图4中，P（t0,Y0）即表示，本次压缩循环周期的初始采集时间点为t0，初始历史数据为Y0, 根据本示例中的拟合曲线（即，y＝a2t2+a1t+a0）以及设定偏差ε可求得初始可行域。由此，再考察P（t0,Y0）的下一个时间点的第一可行域，如果该第一可行域与初始可行域有交集，则表明下一时间点对应的测量数据处于设定偏差ε的范围之内。以此类推直至第N+1个测量数据跳出了设定偏差ε的范围，那么结束此次压缩循环周期，此次压缩循环周期只保存初始测量数据，即，P（t0,Y0），以及拟合曲线方程式（y＝a2t2+a1t+a0）即可在可控范围ε之内代表此次循环周期内所有采集时间点的数据。

随后，如图4可见，第N+1个测量数据跳出了设定偏差ε的范围，因此，以第N+1个测量数据作为初始测量数据开启了下一个循环周期。

由此，依照如图3所示的流程就可以对海量数据进行周期性的循环可行域压缩，每个压缩周期内均保留下各自的初始采集时间点数据以及各自的拟合曲线方程式。这种可行域压缩方式可以展现强大的压缩功能。

行文至此已将本发明的超高压缩比的工业生产时序数据透明压缩方法基本介绍完毕。图5呈现了根据本发明的超高压缩比的工业生产时序数据透明压缩方法的整体流程图。本发明综合采用无损压缩和有损压缩对写入数据进行有效压缩，同时，在无损压缩完成之后，根据数据读取频率判断数据价值，在此判断基础上，对数据进行有针对性地区分开有损压缩的方式，由此最大程度缓解了用户在压缩比和失真度方面的矛盾纠结，在确定数据毫无价值的情况下直接清除数据，又最大限度节省了数据库的存储空间。

正如上文所言，呼应了本发明对人脑记忆特点的借鉴。对应于人脑，刚写入数据库的数据往往最为保真也最为重要，但形成历史记忆之后，可以逐渐通过有损压缩模糊化数据乃至最终将数据清除。

以上所述仅为本发明的示例性实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (3)

1.一种超高压缩比的工业生产时序数据透明压缩方法，其特征在于，

对写入数据库中的即时数据进行无损压缩，无损压缩完成之后，所述即时数据转变成随时间推移的历史数据；

在对所述即时数据采用无损压缩时，针对时间戳采用差值压缩法，即，在以绝对值形式存储首个时间戳之后，其后各时间戳均采用与前一时间戳的差值的形式存储，用公式表达为：Delta_n = T_n - T_n-1，其中，T_n表示第n个时间戳的绝对值，T_n-1表示第n-1个时间戳的绝对值，因此，Delta_n表示第n个时间戳与第n-1个时间戳的绝对值的差值，

在无损压缩完成之后经过一个考察周期T的时间点作为考察时间起点，从该考察时间起点开始的每个时间点均向前回溯一个考察周期T计算在考察周期T内的所述历史数据的读取次数N，由此得出从所述时间点回溯的该考察周期T内的读取频率f=N/T，

针对读取频率设定第一阈值k1和第二阈值k2，其中k1>k2>0，

如若所述读取频率f≥k1，所述历史数据保持原状；

如若所述读取频率处于k1>f≥k2的区间内，则对所述历史数据采用第一阶多项式拟合有损压缩；

如若所述读取频率处于k2>f>0的区间内，则对所述历史数据采用第二阶多项式拟合有损压缩，其中，第一阶多项式拟合有损压缩在拟合阶数上高于第二阶多项式拟合有损压缩；

如若在计算机意义上计算得出所述读取频率f=N/T=0，则从数据库中清除所述历史数据。

2.根据权利要求1所述的超高压缩比的工业生产时序数据透明压缩方法，其特征在于，

所述第一阶多项式拟合有损压缩和/或所述第二阶多项式拟合有损压缩包括如下步骤：

步骤一：获取初始历史数据及初始历史数据的初始考察时间点，设定经过初始历史数据的拟合曲线的类型；

步骤二：根据拟合曲线获取初始历史数据的初始可行域；

步骤三：获取初始考察时间点后的设定时间间隔的第一历史数据，根据拟合曲线获取第一历史数据的第一可行域；

步骤四：判断初始可行域与第一可行域是否存在交集，若是，执行步骤五，若否，执行步骤六；

步骤五：将交集作为初始可行域，将第一历史数据作为初始历史数据，执行步骤三；

步骤六：获取初始可行域内的坐标值，坐标值作为拟合曲线的系数，存储坐标值和第一步骤中初始时间点获取的初始历史数据，并将第一历史数据作为初始历史数据，重新执行步骤一。

3.根据权利要求2所述的超高压缩比的工业生产时序数据透明压缩方法，其特征在于，所述拟合曲线函数为二次函数，其方程式表述为：

y＝a₂t²+a₁t+a₀其中，t为时间，y为t时刻获取的历史数据的幅值。