CN112968751A - 一种工业时序数据压缩方法及*** - Google Patents

Abstract

本发明公开了一种工业时序数据压缩方法及***，采集m个采集点在n个采集时间点的时序数据；根据采集的工业时序数据构成m×n的稀疏矩阵δ_m×n；利用压缩算法对稀疏矩阵δ_m×n进行压缩，得到数据帧；所述数据帧包括矩阵头、矩阵的内容信息和校验值，其中矩阵头包括附带长宽的矩阵标识，哈夫曼编码编码信息，基准时间戳，采集时间点差值；将所述数据帧和哈夫曼编码信息发送给服务器；控制服务器依据哈夫曼编码信息将所述数据帧进行解压，得到解压数据和各数据在不同时刻的时间戳；依据各数据在不同时刻的时间戳，将时间戳与对应的解压数据一同进行存储。优点：本发明能够达到高效、无损的采集和存储时序数据的目的。

Description

一种工业时序数据压缩方法及***

技术领域

本发明涉及一种工业时序数据压缩方法及***，属于智能制造、工业互联网、数据压缩技术领域。

背景技术

中国制造业就业人数超过2亿，规模占我国GDP的30％，也占全球制造业的30％，且规模已经连续10年排名世界第一，按照国际分类方法，目前我国制造业现状是大部分仍处于第三梯队，部分处于第二梯队，少量处于第一梯队。随着人力成本上升、土地集约化使用要求提高，大量制造转移到东南亚、印度等地区，探索一条符合中国制造业国情和适用于广大中小企业的工业互联网发展道路不仅能节省大量的资金投入，也对中国制造业提升有深远影响。数据采集是工业互联网的基础，高度智能化的生产过程需要采集人员、机械设备状态、工艺参数、物料信息、环境参数、产品测试参数(简称5M1E数据)，利用这些数据和分析后的二次数据与OEE、产能、追溯、质量、财务等指标关联，能保障生产高效、高质、集约成本地进行。但是由于工业生产实时性的要求，因此要求工业数据采集也要保证一定的实时性，高实时的数据采集带来了大量的工业数据，但是大量的工业数据在两个时间点之间是重复的无效数据，因此需要通过特定的压缩方法来降低数据传输量。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种工业时序数据压缩方法及***。

为解决上述技术问题，本发明提供一种工业时序数据压缩方法，采集m个采集点在n个采集时间点的时序数据；

根据采集的工业时序数据构成m×n的稀疏矩阵δ_m×n；

对稀疏矩阵δ_m×n进行扫描并记录下该矩阵中每个字符的频率f_τ，然后对该字符表进行哈夫曼编码，得到哈夫曼编码信息，通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧；所述数据帧包括矩阵头、矩阵的内容信息，其中矩阵头包括附带长宽的矩阵标识，哈夫曼编码编码信息，基准时间戳，采集时间点差值；

将所述数据帧和哈夫曼编码信息发送给服务器；

控制服务器依据哈夫曼编码信息将所述数据帧进行解压，得到解压数据和各数据在不同时刻的时间戳；

依据各数据在不同时刻的时间戳，将时间戳与对应的解压数据一同进行存储。

进一步的，所述对稀疏矩阵δ_m×n进行扫描并记录下该矩阵中每个字符的频率f_τ，然后对该字符表进行哈夫曼编码，得到哈夫曼编码信息，通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧的过程包括：

统计字符信息再进行频率分析，频率分析后定义存放字符频率信息的数组Array，其分别存放‘0’至‘9’以及‘.’的字符，统计出数组中各字符的频率；从而以这些频率为权值，作为构造哈夫曼树的依据；

构造哈夫曼树；

定义一个HaffCodes类数组并对其进行初始化，初始化的哈夫曼树从叶子结点出发，到根结点为止，将左分支设置为0，右分支设置为1，得到相应字符的哈夫曼编码信息；

通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧。

进一步的，所述构造哈夫曼树的过程包括：

假设有n个权值，则构造出的哈夫曼树有n个叶子结点，n个权值分别设为w1、w2、…、wn，哈夫曼树的构造规则为：

(1)将w1、w2、…，wn看成是有n棵树的森林，每棵树仅有一个结点；

(2)在森林中选出根结点的权值最小的两棵树进行合并，作为一棵新树的左、右子树，且新树的根结点权值为其左、右子树根结点权值之和；

(3)从森林中删除选取的两棵树，并将新树加入森林；

(4)重复(2)、(3)步，直到森林中只剩一棵树为止，该树为所求得的哈夫曼树。

进一步的，所述服务器依据哈夫曼编码信息将带有基准时间的数据帧进行解压，得到解压数据和各数据在不同时刻的时间戳的过程包括：

读取矩阵标识，哈夫曼编码信息，基准时间戳，采集时间点差值数组，确定矩阵为一个m×n矩阵，同时也得出时间点差值数组大小为n；

根据哈夫曼编码信息，将对应二进制码翻译成对应字符，以每7个字符为一个数据，最后还原为m×n的矩阵；

根据基准时间戳和采集时间点差值数组将每列数据附加上时间戳。

一种工业时序数据压缩***，包括：

数据采集模块，用于采集m个采集点在n个采集时间点的时序数据；

矩阵确定模块，用于根据采集的工业时序数据构成m×n的稀疏矩阵δ_m×n；

压缩模块，用于对稀疏矩阵δ_m×n进行扫描并记录下该矩阵中每个字符的频率f_τ，然后对该字符表进行哈夫曼编码，得到哈夫曼编码信息，通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧；所述数据帧包括矩阵头、矩阵的内容信息和校验值，其中矩阵头包括附带长宽的矩阵标识，哈夫曼编码编码信息，基准时间戳，采集时间点差值；

传输模块，用于将所述数据帧和哈夫曼编码信息发送给服务器；

解压模块，用于控制服务器依据哈夫曼编码信息将所述数据帧进行解压，得到解压数据和各数据在不同时刻的时间戳；

存储模块，用于依据各数据在不同时刻的时间戳，将时间戳与对应的解压数据一同进行存储。

进一步的，所述压缩包括：

统计模块，用于统计字符信息，定义存放字符频率信息的数组Array，其分别存放‘0’至‘9’以及‘.’的字符，统计出数组中各字符的频率，以这些频率为权值，作为构造哈夫曼树的依据；

哈夫曼树构造模块，用于根据构造哈夫曼树的依据构造哈夫曼树；

哈夫曼编码获取模块，用于定义一个HaffCodes类数组并对其进行初始化，初始化的哈夫曼树从叶子结点出发，到根结点为止，将左分支设置为0，右分支设置为1，得到相应字符的哈夫曼编码信息；

数据帧确定模块，用于通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧。

进一步的，所述哈夫曼树构造模块的构建过程包括：

假设有n个权值，则构造出的哈夫曼树有n个叶子结点，n个权值分别设为w1、w2、…、wn，哈夫曼树的构造规则为：

(1)将w1、w2、…，wn看成是有n棵树的森林，每棵树仅有一个结点；

(2)在森林中选出根结点的权值最小的两棵树进行合并，作为一棵新树的左、右子树，且新树的根结点权值为其左、右子树根结点权值之和；

(3)从森林中删除选取的两棵树，并将新树加入森林；

(4)重复(2)、(3)步，直到森林中只剩一棵树为止，该树为所求得的哈夫曼树。

进一步的，所述解压模块包括：

读取模块，用于读取矩阵标识，哈夫曼编码信息，基准时间戳，采集时间点差值数组，确定矩阵为一个m×n矩阵，同时也得出时间点差值数组大小为n；

还原模块，用于根据哈夫曼编码信息，将对应二进制码翻译成对应字符，以每7个字符为一个数据，最后还原为m×n的矩阵；

附件模块，用于根据基准时间戳和采集时间点差值数组将每列数据附加上时间戳。

本发明所达到的有益效果：

面向工业生产的设计、制造、运作、管理等过程时序数据的高效压缩传输压缩算法简单，解压缩速度快，支持工业传感器各项参数数据的压缩、传输。

支持工业现场数据的清洗、集成、转换和简约，并且能实现数据无损的解压缩。

支持工业现场设备监控***、工艺分析***、管理***获取实时的数据，灵活适用于多种工业生产场景状态监测、故障诊断、预测预警等多种应用场景。

附图说明

图1为本发明中的哈夫曼树示意图；

图2为本发明的数据帧的数据部分示意图；

图3为本发明中方法的实施流程图；

图4为本发明中***的整体结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种工业时序数据压缩***，包括带数据接口的PLC控制器、工业数据采集网关、服务器，其中工业数据采集网关包含工业数据采集模块、压缩算法模块、数据发送模块；服务器包含接收模块、解压算法模块、数据存储模块，算法中的压缩算法和解压算法分别存放在工业数据采集网关和服务器上。

本发明的中***整体结构如图4所示，带数据接口的PLC控制器采集各个采集点的时序数据通过Modbus协议传送给数据采集网关的接收队列1；压缩算法模块将队列1中的数据进行压缩，并存放以发送队列2；通过采集网关的数据发送模块通过MQTT协议将队列2中的数据发送给服务器；最后数据由服务器进行接收、解压、存储；

本发明的中***整体结构如图4所示，工业时序数据采集网关的数据采集模块，与各采集点的带数据接口的PLC控制器进行通信，通信协议采用Modbus，PLC控制器如图1中标号为1的模块，数据采集模块为如图2中标号为3的模块；

本发明的中***整体结构如图4所示，工业时序数据采集网关的数据发送模块，与服务器进行通信，通信协议采用MQTT，数据发送模块如图1中标号为8的模块，服务器如图1中标号为10的模块；

如图3所示，为该***的具体执行步骤：

步骤1：首先工业数据采集网关的数据采集模块采集时序数据；

步骤2：处理数据，m+1个采集点在n个集采时间点所采集的数据集构成m×n的稀疏矩阵δ_m×n；

步骤3：将该段时间内的产生的数据集经过压缩算法进行压缩，具体子步骤如下：

3.1统计字符信息，定义存放字符频率信息的数组Array[10]，其分别存放‘0’至‘9’以及‘.’的字符，统计出数组中各字符的频率，以这些频率为权值，作为构造哈夫曼树的依据，如表1；

3.2构造哈夫曼树，哈夫曼的存储结构采用双亲孩子表示法，即利用结构体数组来实现。先初始化哈夫曼树，即将上述统计的字符信息赋值给哈夫曼树的叶子结点，然后循环提取哈夫曼树中权值最小的两个根结点，将它们合并起来，组成新的根结点，知道最后哈夫曼树只剩下一个根结点为止，得到的哈夫曼树如图1；

3.3获得哈夫曼编码，定义一个HaffCodes类数组并对其进行初始化。规定在哈夫曼树中，左分支为0，右分支为1，从叶子结点出发，到根结点为止，即可得到相应字符的哈夫曼编码，如表2字符编码表；

表2

字符	7	.	2	9	3	6	8	0	1	5	4
												编码	000	001	010	011	1000	1001	101	110	11100	11101	1111

3.4数据规范化，将m×n矩阵数据集的数据，按精度为4，宽度为7进行规范化，比如，3.1415的精度为4，可以考虑用31415的整数进行表示；

3.5压缩数据，通过哈夫曼编码信息，将时序数据通过数据压缩模块进行压缩。先把矩阵数据排列成一维字符数组，然后对每个字符逐一处理。每读到一个字符，则找出它的编码，将字符编码不够8bit的，读入下一个数值，找其编码，取其适当的位补齐前面不够8bit的编码，如果超过8bit就分开，和后面的字符一同处理。；

步骤4：通过数据发送模块，将带有图2数据部分的数据帧发往服务器，如图2为数据帧中数据部分的内容；图2中标号1的矩阵头含有，附带长宽的矩阵标识，压缩编码信息，基准时间戳，采集时间点差值；标号2中为矩阵的内容信息；标号3位校验值；

步骤5：服务器接收到数据帧，通过解压算法还原数据矩阵，解压算法的具体步骤如下：

5.1首先读取矩阵标识，编码信息，基准时间戳，采集时间点差值数组，得知是一个m×n矩阵，同时也得出时间点差值数组大小为n；

5.2根据编码信息，将对应二进制码翻译成对应字符，以每7个字符为一个数据，最后还原为m×n的矩阵；

5.3根据基准时间戳和采集时间点差值数组，每列数据附加上时间戳；

步骤6：对这一时间段的数据流进行存储；

重复以上采集周期，可以连续采集并存储时序数据流。

表1字符频率表

字符	0	1	2	3	4	5	6	7	8	9	.
												ASCLL	999	225	644	312	543	231	453	543	931	724	634

相应的本发明还提供一种工业时序数据压缩***，包括：

数据采集模块，用于采集m个采集点在n个采集时间点的时序数据；

矩阵确定模块，用于根据采集的工业时序数据构成m×n的稀疏矩阵δ_m×n；

压缩模块，用于对稀疏矩阵δ_m×n进行扫描并记录下该矩阵中每个字符的频率f_τ，然后对该字符表进行哈夫曼编码，得到哈夫曼编码信息，通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧；所述数据帧包括矩阵头、矩阵的内容信息和校验值，其中矩阵头包括附带长宽的矩阵标识，哈夫曼编码编码信息，基准时间戳，采集时间点差值；

传输模块，用于将所述数据帧和哈夫曼编码信息发送给服务器；

解压模块，用于控制服务器依据哈夫曼编码信息将所述数据帧进行解压，得到解压数据和各数据在不同时刻的时间戳；

存储模块，用于依据各数据在不同时刻的时间戳，将时间戳与对应的解压数据一同进行存储。

所述压缩包括：

统计模块，用于统计字符信息，定义存放字符频率信息的数组Array，其分别存放‘0’至‘9’以及‘.’的字符，统计出数组中各字符的频率，以这些频率为权值，作为构造哈夫曼树的依据；

哈夫曼树构造模块，用于根据构造哈夫曼树的依据构造哈夫曼树；

哈夫曼编码获取模块，用于定义一个HaffCodes类数组并对其进行初始化，初始化的哈夫曼树从叶子结点出发，到根结点为止，将左分支设置为0，右分支设置为1，得到相应字符的哈夫曼编码信息；

数据帧确定模块，用于通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧。

所述哈夫曼树构造模块的构建过程包括：

假设有n个权值，则构造出的哈夫曼树有n个叶子结点，n个权值分别设为w1、w2、…、wn，哈夫曼树的构造规则为：

(1)将w1、w2、…，wn看成是有n棵树的森林，每棵树仅有一个结点；

(2)在森林中选出根结点的权值最小的两棵树进行合并，作为一棵新树的左、右子树，且新树的根结点权值为其左、右子树根结点权值之和；

(3)从森林中删除选取的两棵树，并将新树加入森林；

(4)重复(2)、(3)步，直到森林中只剩一棵树为止，该树为所求得的哈夫曼树。

所述解压模块包括：

读取模块，用于读取矩阵标识，哈夫曼编码信息，基准时间戳，采集时间点差值数组，确定矩阵为一个m×n矩阵，同时也得出时间点差值数组大小为n；

还原模块，用于根据哈夫曼编码信息，将对应二进制码翻译成对应字符，以每7个字符为一个数据，最后还原为m×n的矩阵；

附件模块，用于根据基准时间戳和采集时间点差值数组将每列数据附加上时间戳。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种工业时序数据压缩方法，其特征在于，

采集m个采集点在n个采集时间点的时序数据；

根据采集的工业时序数据构成m×n的稀疏矩阵δ_m×n；

对稀疏矩阵δ_m×n进行扫描并记录下该矩阵中每个字符的频率f_τ，然后对该字符表进行哈夫曼编码，得到哈夫曼编码信息，通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧；所述数据帧包括矩阵头、矩阵的内容信息，其中矩阵头包括附带长宽的矩阵标识，哈夫曼编码编码信息，基准时间戳，采集时间点差值；

将所述数据帧和哈夫曼编码信息发送给服务器；

控制服务器依据哈夫曼编码信息将所述数据帧进行解压，得到解压数据和各数据在不同时刻的时间戳；

依据各数据在不同时刻的时间戳，将时间戳与对应的解压数据一同进行存储。

2.根据权利要求1所述的工业时序数据压缩方法，其特征在于，所述对稀疏矩阵δ_m×n进行扫描并记录下该矩阵中每个字符的频率f_τ，然后对该字符表进行哈夫曼编码，得到哈夫曼编码信息，通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧的过程包括：

统计字符信息再进行频率分析，定义存放字符频率信息的数组Array，其分别存放‘0’至‘9’以及‘.’的字符，统计出数组中各字符的频率；从而以这些频率为权值，作为构造哈夫曼树的依据；

构造哈夫曼树；

定义一个HaffCodes类数组并对其进行初始化，初始化的哈夫曼树从叶子结点出发，到根结点为止，将左分支设置为0，右分支设置为1，得到相应字符的哈夫曼编码信息；

通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧。

3.根据权利要求2所述的工业时序数据压缩方法，其特征在于，所述构造哈夫曼树的过程包括：

假设有n个权值，则构造出的哈夫曼树有n个叶子结点，n个权值分别设为w1、w2、…、wn，哈夫曼树的构造规则为：

(1)将w1、w2、…，wn看成是有n棵树的森林，每棵树仅有一个结点；

(2)在森林中选出根结点的权值最小的两棵树进行合并，作为一棵新树的左、右子树，且新树的根结点权值为其左、右子树根结点权值之和；

(3)从森林中删除选取的两棵树，并将新树加入森林；

(4)重复(2)、(3)步，直到森林中只剩一棵树为止，该树为所求得的哈夫曼树。

4.根据权利要求1所述的工业时序数据压缩方法，其特征在于，所述服务器依据哈夫曼编码信息将带有基准时间的数据帧进行解压，得到解压数据和各数据在不同时刻的时间戳的过程包括：

读取矩阵标识，哈夫曼编码信息，基准时间戳，采集时间点差值数组，确定矩阵为一个m×n矩阵，同时也得出时间点差值数组大小为n；

根据哈夫曼编码信息，将对应二进制码翻译成对应字符，以每7个字符为一个数据，最后还原为m×n的矩阵；

根据基准时间戳和采集时间点差值数组将每列数据附加上时间戳。

5.一种工业时序数据压缩***，其特征在于，包括：

数据采集模块，用于采集m个采集点在n个采集时间点的时序数据；

矩阵确定模块，用于根据采集的工业时序数据构成m×n的稀疏矩阵δ_m×n；

压缩模块，用于对稀疏矩阵δ_m×n进行扫描并记录下该矩阵中每个字符的频率f_τ，然后对该字符表进行哈夫曼编码，得到哈夫曼编码信息，通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧；所述数据帧包括矩阵头、矩阵的内容信息和校验值，其中矩阵头包括附带长宽的矩阵标识，哈夫曼编码编码信息，基准时间戳，采集时间点差值；

传输模块，用于将所述数据帧和哈夫曼编码信息发送给服务器；

解压模块，用于控制服务器依据哈夫曼编码信息将所述数据帧进行解压，得到解压数据和各数据在不同时刻的时间戳；

存储模块，用于依据各数据在不同时刻的时间戳，将时间戳与对应的解压数据一同进行存储。

6.根据权利要求5所述的工业时序数据压缩***，其特征在于，所述压缩包括：

统计模块，用于统计字符信息，定义存放字符频率信息的数组Array，其分别存放‘0’至‘9’以及‘.’的字符，统计出数组中各字符的频率，以这些频率为权值，作为构造哈夫曼树的依据；

哈夫曼树构造模块，用于根据构造哈夫曼树的依据构造哈夫曼树；

哈夫曼编码获取模块，用于定义一个HaffCodes类数组并对其进行初始化，初始化的哈夫曼树从叶子结点出发，到根结点为止，将左分支设置为0，右分支设置为1，得到相应字符的哈夫曼编码信息；

数据帧确定模块，用于通过哈夫曼编码信息，将时序数据进行压缩，得到数据帧。

7.根据权利要求6所述的工业时序数据压缩***，其特征在于，所述哈夫曼树构造模块的构建过程包括：

假设有n个权值，则构造出的哈夫曼树有n个叶子结点，n个权值分别设为w1、w2、…、wn，哈夫曼树的构造规则为：

(1)将w1、w2、…，wn看成是有n棵树的森林，每棵树仅有一个结点；

(2)在森林中选出根结点的权值最小的两棵树进行合并，作为一棵新树的左、右子树，且新树的根结点权值为其左、右子树根结点权值之和；

(3)从森林中删除选取的两棵树，并将新树加入森林；

(4)重复(2)、(3)步，直到森林中只剩一棵树为止，该树为所求得的哈夫曼树。

8.根据权利要求5所述的工业时序数据压缩方法，其特征在于，所述解压模块包括：

读取模块，用于读取矩阵标识，哈夫曼编码信息，基准时间戳，采集时间点差值数组，确定矩阵为一个m×n矩阵，同时也得出时间点差值数组大小为n；

还原模块，用于根据哈夫曼编码信息，将对应二进制码翻译成对应字符，以每7个字符为一个数据，最后还原为m×n的矩阵；

附件模块，用于根据基准时间戳和采集时间点差值数组将每列数据附加上时间戳。

Images