CN104682962A - 一种海量燃气数据的压缩方法 - Google Patents

Abstract

本发明提供了一种海量燃气数据的压缩方法，步骤为：参数初始化、比较记录时间间隔、“旋转门”数据压缩、数据解压、计算偏差以及根据偏差调整压缩容差。该方法采用负反馈来实时调节压缩参数，从而始终确保较高的压缩精度，能够根据燃气数据的使用时间规律对燃气数据进行精确压缩，具有较好的应用前景。

Description

一种海量燃气数据的压缩方法

技术领域

本发明涉及一种数据压缩方法，尤其是一种用于对海量的燃气数据进行压缩的方法。

背景技术

随着自动化技术的不断发展，相关的技术和产品为燃气管网和设备运行状态信息的监管建立提供了坚实的技术基础。燃气信息监管***包括燃气数据的采集、反馈、存储和分析。数据的采集包括管网及燃气设备运行的工作压力、流量以及针对特殊用户的安全报警等信号的采集，通过通讯手段将数据反馈回数据中心，帮助管理人员及时、准确地了解运行情况。城市燃气管网、调压站、用户燃气表具等监管***中每天都产生海量的过程数据，在监控过程中长期积累的数据是燃气企业宝贵的资源，为诊断和处理故障提供了第一手资料；同时，可以通过对不同时间段的历史数据进行分析，模拟出整个管网运行的变化规律，为管网的优化提供直观而且准确的数据依据。因此，普遍存在着存储和利用这些海量生产数据的应用需求，但保存历史数据存在一定的困难：由于监控数据点数量巨大，需要保存的历史数据十分可观，若不经压缩直接存储，将需要很多的存储介质。因此，研究的历史数据的压缩方法显得很重要。通常采用的旋转门趋势分析(Swinging Door Trend，SDT)算法是目前过程工业中数据压缩最为流行的算法，国外著名的实时数据库OSI公司的PI、GE公司Proficy Historian以及爱康诺(ICONICS)公司的Hyper Historian等数据库都是采用SDT(“旋转门”压缩)技术，中国的实时数据库厂商基本上也是基于SDT技术进行拓展。

发明内容

本发明要解决的技术问题是由于监控数据点数量巨大，而现有的压缩方法失容差性差、真率较高，在数据解压后不能有效地反映实际数据情况。

为了解决上述技术问题，本发明提供了一种海量燃气数据的压缩方法，包括如下步骤：

步骤1，根据燃气使用时间段实时设定最大时间间隔参数T_max、压缩偏移量的调整幅度参数η、压缩容差ΔE、偏差容差参数μ、期望误差δs以及死区阈值ε，其中，死区阈值ε＝μ·δs，压缩容差ΔE＝ΔE_max-ΔE_min，ΔE_max和ΔE_min分别为压缩容差ΔE的上限和下限；

步骤2，按时间先后顺序读取燃气数据采集序列中的一个数据点y_k(0<k≤n)，并计算数据点y_k与前一数据点y_k-1的记录时间间隔Δt，若Δt＜T_max，则进入步骤4，若Δt≥T_max，则进入步骤3；

步骤3，直接存储前一数据点，并将k加1，再返回步骤2；

步骤4，计算“旋转门”转动到数据点y_k状态时的上扇门斜率和下扇门斜率，并将数据点y_k状态时的上扇门斜率和下扇门斜率与前一数据点y_k-1状态时的上扇门斜率和下扇门斜率作比较，取上扇门斜率的较大值作为数据点y_k状态时的上扇门斜率，取下扇门斜率的较小值作为数据点y_k状态时的下扇门斜率，若此时数据点y_k状态时的上扇门斜率≤数据点y_k状态时的下扇门斜率，则存储前一数据点y_k-1，同时结束本次“旋转门”的数据压缩，并将前一数据点y_k-1作为下一“旋转门”数据压缩的起始点，再进入步骤5，若此时本次数据点状态时的上扇门斜率＞本次数据点状态时的下扇门斜率，则直接进入步骤5；

步骤5，判断当前燃气数据采集序列中的数据是否压缩完毕，若压缩完毕，则进入步骤6，若未压缩完毕，则将k加1后返回步骤2；

步骤6，对压缩后的数据进行数据解压，并采用线性插值法恢复没有存储的数据点，根据解压后的数据以及原始数据y₁，…，y_n计算最大误差以及平均误差若δ_max≥δs，则存储δ_max所对应的原始数据，再根据偏差e＝δs-δ进行调整：

1)若|e|＜ε，表明偏差在允许范围内，则不对ΔE作调整，并进入步骤7；

2)若e≥ε，表明平均误差δ偏小，ΔE设置偏低，会导致压缩比CR偏低，则进入步骤1对压缩偏移量ΔE在ΔE_max限定范围内作增大调整ΔE＝ΔE+η·e/ε，若ΔE＞ΔE_max，则ΔE＝ΔE_max；

3)若e＜-ε，表明平均误差δ偏大，ΔE设置偏高，会降低压缩后数据的解压精度，则进入步骤1对压缩偏移量ΔE在ΔE_min限定范围内作减小调整ΔE＝ΔE-η·e/ε，若ΔE＜ΔE_min，则ΔE＝ΔE_min；

步骤7，判断是否有新的燃气数据采集序列待压缩，若有，则返回步骤2，若没有，则结束并退出。

采用“旋转门”数据压缩方法对有时间规律的燃气数据进行压缩，根据实时解压效果及时调整压缩容差ΔE，使数据压缩过程始终保持较高的压缩解压精度；采用将数据点y_k状态时的上扇门斜率和下扇门斜率与前一数据点y_k-1状态时的上扇门斜率和下扇门斜率作比较，取上扇门斜率的较大值作为数据点y_k状态时的上扇门斜率，取下扇门斜率的较小值作为数据点y_k状态时的下扇门斜率，从而只要一次“旋转门”压缩过程中上扇门斜率最大值与下扇门斜率最小值满足旋转条件便执行压缩，进一步提高了压缩精度，有效防止突变的数据被遗漏；采用在δ_max≥δs时存储δ_max所对应的原始数据，能够将出现突变的数据进行存储，有效防止突变的数据被遗漏，进一步提高了压缩精度。

作为本发明的进一步限定方案，步骤1中最大时间间隔参数T_max在0:00～6:00时间段内的值为1800秒，在6:00～8:00时间段内的值为300秒，在8:00～10:00时间段内的值为600秒，在10:00～12:00时间段内的值为300秒，在12:00～17:00时间段内的值为900秒，在17:00～19:00时间段内的值为300秒，在19:00～24:00时间段内的值为1200秒。根据燃气使用的时间规律来实时调整最大时间间隔参数T_max，不仅降低了压缩耗能，还提高了数据压缩率，进一步减少了压缩后的数据量。

作为本发明的进一步限定方案，步骤1中压缩偏移量的调整幅度参数η＝(ΔE_max-ΔE_min)/12。采用该调整幅度参数能够满足燃气实际使用时的调整幅度，在该调整幅度参数下进行调整能够避免单次调节过大而导致压缩精度下降的问题。

作为本发明的进一步限定方案，步骤1中偏差容差参数μ大小为0.1～0.2。采用0.1～0.2偏差容差参数能够确保燃气数据压缩始终在较高的压缩精度内。

本发明的有益效果在于：(1)采用“旋转门”数据压缩方法对有时间规律的燃气数据进行压缩，根据实时解压效果及时调整压缩容差ΔE，使数据压缩过程始终保持较高的压缩解压精度；(2)采用将数据点y_k状态时的上扇门斜率和下扇门斜率与前一数据点y_k-1状态时的上扇门斜率和下扇门斜率作比较，取上扇门斜率的较大值作为数据点y_k状态时的上扇门斜率，取下扇门斜率的较小值作为数据点y_k状态时的下扇门斜率，从而只要一次“旋转门”压缩过程中上扇门斜率最大值与下扇门斜率最小值满足旋转条件便执行压缩，进一步提高了压缩精度，有效防止突变的数据被遗漏；(3)采用在δ_max≥δs时存储δ_max所对应的原始数据，能够将出现突变的数据进行存储，有效防止突变的数据被遗漏，进一步提高了压缩精度。

附图说明

图1为本发明的控制反馈模型；

图2为本发明的方法流程图。

具体实施方式

目前“旋转门”数据压缩方法在压缩过程中通过丢弃一些数据从而减少数据容量。要求这些被丢弃的数据必须在一定范围内不影响数据的恢复和重建，因此，评价压缩过程好坏的重要指标通常是数据的解压缩误差。针对这个问题，本发明在数据压缩过程中，计算出期望压缩性能和实际性能之间的绝对偏差，根据绝对偏差大小自动对压缩容差ΔE进行调整，并把调整后的ΔE作为下一组数据的压缩偏移量，这样使实际压缩性能不断接近期望性能。

实际压缩性能一般用压缩比和误差来衡量。假定一组燃气数据个数为n，记为y₁，…，y_n，压缩后数据个数为m(m≤n)；解压后数据个数仍为n，记为：则压縮比CR、相对误差RE、绝对误差AE、平方和误差SE以及均方差MSE定义分别为： $\mathrm{CR}={{\log }_2}^{\left(\frac{n}{m}\right)},$ $\mathrm{RE}=\frac{{\mathrm{\&Sigma;}}_{i=1}^n|y_i-{\hat{y}}_i|}{{\mathrm{\&Sigma;}}_{i=1}^n\left|y_i\right|},\mathrm{AE}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}|y_i-{\hat{y}}_i|,\mathrm{SE}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{(y_i-{\hat{y}}_i)}^2$ 以及 $\mathrm{MSE}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{(y_i-{\hat{y}}_i)}^2.$

其中，CR用来衡量算法的压缩能力，AE、RE、SE和MSE均可用来衡量数据的失真度。

燃气数据具有单调增加的特性，大部分燃气数据在每天用餐前的若干小时内变化比较大，其余时间基本不变化。本发明针对燃气数据的特性，对传统的“旋转门”数据压缩方法进行改进，用压缩比衡量数据的压缩能力，用数据的平均误差来衡量数据的失真度。压缩比CR＝0表示无压缩能力，CR＝1表示压缩后的数据为原数据的一半，CR值越大则压缩能力越强。平均误差表示了全部数据压缩误差的平均值，是综合考率全部数据的误差，从而可以准确地评估一组数据的整体压缩性能，平均误差δ定义为本发明同时对单个数据的绝对误差给予评价，对于一个压缩区间内误差超过期望误差的最大误差所对应的数据点直接进行存储。

如图1所示，本发明的主要思想是：首先对燃气数据的“旋转门”压缩方法进行改进，找出压缩区间内超过期望误差的最大误差点进行存储；然后根据反馈控制的思想对“旋转门”压缩方法中的压缩容差ΔE进行修正计算，燃气数据“旋转门”压缩方法的压缩过程作为被控对象，改进方法的控制策略作为控制器，负责调整“旋转门”压缩方法中的压缩容差ΔE；***输入为期望误差δ_s，输出为实际的平均误差δ，输出负反馈到输入端，计算偏差e＝δ_s‐δ，并通过一个非线性死区环节ε送给控制器。

如图2所示，本发明的海量燃气数据的压缩方法，具体包括如下步骤：

步骤1，根据燃气使用时间段实时设定最大时间间隔参数T_max、压缩偏移量的调整幅度参数η、压缩容差ΔE、偏差容差参数μ、期望误差δs以及死区阈值ε，其中，死区阈值ε＝μ·δs，压缩容差ΔE＝ΔE_max-ΔE_min，ΔE_max和ΔE_min分别为压缩容差ΔE的上限和下限；

步骤2，按时间先后顺序读取燃气数据采集序列中的一个数据点y_k(0<k≤n)，并计算数据点y_k与前一数据点y_k-1的记录时间间隔Δt，若Δt＜T_max，则进入步骤4，若Δt≥T_max，则进入步骤3；

步骤3，直接存储前一数据点，并将k加1，再返回步骤2；

步骤4，计算“旋转门”转动到数据点y_k状态时的上扇门斜率和下扇门斜率，并将数据点y_k状态时的上扇门斜率和下扇门斜率与前一数据点y_k-1状态时的上扇门斜率和下扇门斜率作比较，取上扇门斜率的较大值作为数据点y_k状态时的上扇门斜率，取下扇门斜率的较小值作为数据点y_k状态时的下扇门斜率，若此时数据点y_k状态时的上扇门斜率≤数据点y_k状态时的下扇门斜率，则存储前一数据点y_k-1，同时结束本次“旋转门”的数据压缩，并将前一数据点y_k-1作为下一“旋转门”数据压缩的起始点，再进入步骤5，若此时本次数据点状态时的上扇门斜率＞本次数据点状态时的下扇门斜率，则直接进入步骤5；

步骤5，判断当前燃气数据采集序列中的数据是否压缩完毕，若压缩完毕，则进入步骤6，若未压缩完毕，则将k加1后返回步骤2；

步骤6，对压缩后的数据进行数据解压，并采用线性插值法恢复没有存储的数据点，根据解压后的数据以及原始数据y₁，…，y_n计算最大误差以及平均误差若δ_max≥δs，则存储δ_max所对应的原始数据，再根据偏差e＝δs-δ进行调整：

1)若|e|＜ε，表明偏差在允许范围内，则不对ΔE作调整，并进入步骤7；

2)若e≥ε，表明平均误差δ偏小，ΔE设置偏低，会导致压缩比CR偏低，则进入步骤1对压缩偏移量ΔE在ΔE_max限定范围内作增大调整ΔE＝ΔE+η·e/ε，若ΔE＞ΔE_max，则ΔE＝ΔE_max；

3)若e＜-ε，表明平均误差δ偏大，ΔE设置偏高，会降低压缩后数据的解压精度，则进入步骤1对压缩偏移量ΔE在ΔE_min限定范围内作减小调整ΔE＝ΔE-η·e/ε，若ΔE＜ΔE_min，则ΔE＝ΔE_min；

步骤7，判断是否有新的燃气数据采集序列待压缩，若有，则返回步骤2，若没有，则结束并退出。

根据燃气使用的时间规律，本发明的步骤1中最大时间间隔参数T_max在0:00～6:00时间段内的值为1800秒，在6:00～8:00时间段内的值为300秒，在8:00～10:00时间段内的值为600秒，在10:00～12:00时间段内的值为300秒，在12:00～17:00时间段内的值为900秒，在17:00～19:00时间段内的值为300秒，在19:00～24:00时间段内的值为1200秒。根据燃气使用的时间规律来实时调整最大时间间隔参数T_max，不仅降低了压缩耗能，还提高了数据压缩率，进一步减少了压缩后的数据量。

根据采集的燃气数据的特点，本发明的步骤1中压缩偏移量的调整幅度参数设定为：η＝(ΔE_max-ΔE_min)/12。采用该调整幅度参数能够满足燃气实际使用时的调整幅度，在该调整幅度参数下进行调整能够避免单次调节过大而导致压缩精度下降的问题。

根据采集的燃气数据的特点，本发明的步骤1中偏差容差参数μ的大小设定为：0.1～0.2。优选地可设定为0.15，能够更好地与燃气数据的特点相适应。采用0.1～0.2偏差容差参数能够确保燃气数据压缩始终在较高的压缩精度内。

Claims (5)

1.一种海量燃气数据的压缩方法，其特征在于，包括如下步骤：

步骤1，根据燃气使用时间段实时设定最大时间间隔参数T_max、压缩偏移量的调整幅度参数η、压缩容差ΔE、偏差容差参数μ、期望误差δs以及死区阈值ε，其中，死区阈值ε＝μ·δs，压缩容差ΔE＝ΔE_max-ΔE_min，ΔE_max和ΔE_min分别为压缩容差ΔE的上限和下限；

步骤2，按时间先后顺序读取燃气数据采集序列中的一个数据点y_k(0<k≤n)，并计算数据点y_k与前一数据点y_k-1的记录时间间隔Δt，若Δt＜T_max，则进入步骤4，若Δt≥T_max，则进入步骤3；

步骤3，直接存储前一数据点，并将k加1，再返回步骤2；

步骤4，计算“旋转门”转动到数据点y_k状态时的上扇门斜率和下扇门斜率，并将数据点y_k状态时的上扇门斜率和下扇门斜率与前一数据点y_k-1状态时的上扇门斜率和下扇门斜率作比较，取上扇门斜率的较大值作为数据点y_k状态时的上扇门斜率，取下扇门斜率的较小值作为数据点y_k状态时的下扇门斜率，若此时数据点y_k状态时的上扇门斜率≤数据点y_k状态时的下扇门斜率，则存储前一数据点y_k-1，同时结束本次“旋转门”的数据压缩，并将前一数据点y_k-1作为下一“旋转门”数据压缩的起始点，再进入步骤5，若此时本次数据点状态时的上扇门斜率＞本次数据点状态时的下扇门斜率，则直接进入步骤5；

步骤5，判断当前燃气数据采集序列中的数据是否压缩完毕，若压缩完毕，则进入步骤6，若未压缩完毕，则将k加1后返回步骤2；

步骤6，对压缩后的数据进行数据解压，并采用线性插值法恢复没有存储的数据点，根据解压后的数据以及原始数据y₁，…，y_n计算最大误差以及平均误差若δ_max≥δs，则存储δ_max所对应的原始数据，再根据偏差e＝δs-δ进行调整：

1)若|e|＜ε，表明偏差在允许范围内，则不对ΔE作调整，并进入步骤7；

2)若e≥ε，表明平均误差δ偏小，ΔE设置偏低，会导致压缩比CR偏低，则进入步骤1对压缩偏移量ΔE在ΔE_max限定范围内作增大调整ΔE＝ΔE+η·e/ε，若ΔE＞ΔE_max，则ΔE＝ΔE_max；

3)若e＜-ε，表明平均误差δ偏大，ΔE设置偏高，会降低压缩后数据的解压精度，则进入步骤1对压缩偏移量ΔE在ΔE_min限定范围内作减小调整ΔE＝ΔE-η·e/ε，若ΔE＜ΔE_min，则ΔE＝ΔE_min；

步骤7，判断是否有新的燃气数据采集序列待压缩，若有，则返回步骤2，若没有，则结束并退出。

2.根据权利要求1所述的海量燃气数据的压缩方法，其特征在于：所述步骤1中最大时间间隔参数T_max在0:00～6:00时间段内的值为1800秒，在6:00～8:00时间段内的值为300秒，在8:00～10:00时间段内的值为600秒，在10:00～12:00时间段内的值为300秒，在12:00～17:00时间段内的值为900秒，在17:00～19:00时间段内的值为300秒，在19:00～24:00时间段内的值为1200秒。

3.根据权利要求1或2所述的海量燃气数据的压缩方法，其特征在于：所述步骤1中压缩偏移量的调整幅度参数η＝(ΔE_max-ΔE_min)/12。

4.根据权利要求1或2所述的海量燃气数据的压缩方法，其特征在于：所述步骤1中偏差容差参数μ大小为0.1～0.2。

5.根据权利要求3所述的海量燃气数据的压缩方法，其特征在于：所述步骤1中偏差容差参数μ大小为0.1～0.2。