CN114726380B - 一种监测数据无损压缩方法、装置、设备及可读存储介质 - Google Patents

一种监测数据无损压缩方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114726380B
CN114726380B CN202210636103.1A CN202210636103A CN114726380B CN 114726380 B CN114726380 B CN 114726380B CN 202210636103 A CN202210636103 A CN 202210636103A CN 114726380 B CN114726380 B CN 114726380B
Authority
CN
China
Prior art keywords
value
monitoring
data
calculating
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210636103.1A
Other languages
English (en)
Other versions
CN114726380A (zh
Inventor
杨柳
吴壮壮
刘恒
马征
张洪铭
李明慧
周海文
周权
路英烁
宋俊波
秦畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202210636103.1A priority Critical patent/CN114726380B/zh
Publication of CN114726380A publication Critical patent/CN114726380A/zh
Application granted granted Critical
Publication of CN114726380B publication Critical patent/CN114726380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了一种监测数据无损压缩方法、装置、设备及可读存储介质，涉及数据计算技术领域，包括获取待压缩数据表；根据预设的时间差分数学模型将所有时间数据进行计算得到时间戳压缩结果；根据预设的数据进制转换数学模型将所有监测值进行计算得到待压缩数值；根据预设的哈夫曼编码数学模型将待压缩数值进行计算得到监测值压缩结果。本发明的有益效果为通过针对监测值的浮点数特性，采用包含差分思想的算法编码进行编码转换、进制转换编码和哈夫曼编码三种编码思想相结合，最终构建监测值无损压缩算法模型，完成对监测值的压缩编码，达到提高数据压缩率、降低数据库存储压力的效果。

Description

一种监测数据无损压缩方法、装置、设备及可读存储介质
技术领域
本发明涉及数据计算技术领域，具体而言，涉及一种监测数据无损压缩方法、装置、设备及可读存储介质。
背景技术
随着国家对交通构筑物安全的重视，交通构筑物上的各个角落布置的传感器密度会越来越高，相对应监测频率也会随着提高，采集每时每刻的监测数据，每年产生的数据达到PB级之多。目前在交通构筑物结构健康监测工作中，在交通构筑物的特定关键部位安装的传感器所采集到的交通构筑物结构响应数据均属于海量数据范畴，数据在长期的累积下，使得数据处理与分析及存储工作的工作量日益增加。当前的压缩技术应对交通构筑物监测***中产生的监测数据时，存在压缩率低的缺点。
发明内容
本发明的目的在于提供一种监测数据无损压缩方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种监测数据无损压缩方法，包括：获取待压缩数据表，所述待压缩数据表包括传感器采集到的监测值和每个所述监测值对应的时间数据，每个所述监测值为所述传感器按照时间顺序采集得到；根据预设的时间差分数学模型将所有所述时间数据进行计算得到时间戳压缩结果，所述时间戳压缩结果包括一个起始时间戳和所有所述时间数据进行二次差值法处理后得到的时间戳二次差值；根据预设的数据进制转换数学模型将所有所述监测值进行计算得到待压缩数值；根据预设的哈夫曼编码数学模型将所述待压缩数值进行计算得到监测值压缩结果。
第二方面，本申请还提供了一种监测数据无损压缩装置，包括：数据采集模块，用于获取待压缩数据表，所述待压缩数据表包括传感器采集到的监测值和每个所述监测值对应的时间数据；第一计算模块，用于根据预设的时间差分数学模型将所有所述时间数据进行计算得到时间戳压缩结果，所述时间戳压缩结果包括一个起始时间戳和所有所述时间数据进行二次差值法处理后得到的时间戳二次差值；第二计算模块，用于根据预设的数据进制转换数学模型将所有所述监测值进行计算得到待压缩数值；第三计算模块，用于根据预设的哈夫曼编码数学模型将所述待压缩数值进行计算得到监测值压缩结果。
第三方面，本申请还提供了一种监测数据无损压缩设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述监测数据无损压缩方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于监测数据无损压缩方法的步骤。
本发明的有益效果为：
本发明通过针对监测值的浮点数特性，采用包含差分思想的算法编码进行编码转换、进制转换编码和哈夫曼编码三种编码思想相结合，最终构建监测值无损压缩算法模型，完成对监测值的压缩编码，达到提高数据压缩率、降低数据库存储压力的效果。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的监测数据无损压缩方法流程示意图；
图2为本发明实施例中所述的监测数据无损压缩装置结构示意图；
图3为本发明实施例中所述的监测数据无损压缩设备结构示意图；
图4为本发明实施例中所述的ASCII码转换示意图。
图中标记：1、数据采集模块；2、第一计算模块；21、第一计算单元；22、第二计算单元；3、第二计算模块；31、第三计算单元；311、第一判断单元；312、第二判断单元；313、第三判断单元；32、第四计算单元；321、第五计算单元；322、第六计算单元；4、第三计算模块；41、第七计算单元；42、第八计算单元；43、第九计算单元；800、监测数据无损压缩设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种监测数据无损压缩方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300和步骤S400。
步骤S100、获取待压缩数据表，待压缩数据表包括传感器采集到的监测值和每个监测值对应的时间数据，每个监测值为传感器按照时间顺序采集得到。
需要说明的是，在步骤S100中，采集由交通构造物内传感器设备产生的时序数据，将采集到的监测数据进行缺失值填补、数据标准化、异常值剔除等操作，将得到的数据整理为待压缩数据表，简化后续压缩过程的步骤，提升数据处理的效率。
S200、根据预设的时间差分数学模型将所有时间数据进行计算得到时间戳压缩结果，时间戳压缩结果包括一个起始时间戳和所有时间数据进行二次差值法处理后得到的时间戳二次差值。
需要说明的是，在步骤S200中，本步骤是对时间数据进行无损压缩，通过时间数据转换为时间戳形式后，将时间戳数据进行二次差值后得到时间戳压缩结果。通过对时间数据和监测值分别压缩处理，降低压缩数据的计算量。
S300、根据预设的数据进制转换数学模型将所有监测值进行计算得到待压缩数值。
需要说明的是，在步骤S300中，数据进制转换数学模型通过对浮点数形式的监测值进行多次进制转换，最终转化为ASCII编码，有效降低了存储成本。
S400、根据预设的哈夫曼编码数学模型将待压缩数值进行计算得到监测值压缩结果。
需要说明的是，在步骤S400中，哈夫曼编码数学模型通过对待压缩数值中ASCII码符号出现频率进行假设后构造哈夫曼编码数，通过存储哈夫曼编码数大幅降低存储成本。
在本申请所公开的具体实施例中，步骤S200中包括步骤S210和步骤S220。
S210、将时间数据转换为UNIX时间戳形式并按照时间顺序排列得到时间戳数据列。
S220、根据预设的时间戳二次差值法数学模型将时间戳数据列进行计算得到起始时间戳和时间戳二次差值。
需要说明的是，如表1所示，表1示出了时间戳二次差值法计算表，本申请将时间数据转换为UNIX时间戳数据，按照时间戳数据排列后提取出起始时间戳数据进行存储，其余的时间戳数据采用对差值法进行二次差值来保证二次差值90%以上的数为0可以用1bit位进行存储，出现的跳点、缺点等情况在基于之前缺失值填补也能保证二次差值在[-60,60]以内，这一类的二次差值使用控制位‘1’来标记并用7bit来存储DN-DN-1，在时间戳二次差值法计算表中6个时间戳只需要64bit+8*2+3*1=83bit进行存储，比直接存储时间戳存储成本为（长整型为8字节64bit*6）要大幅度降低。
表1 时间戳二次差值法计算表
Figure 57278DEST_PATH_IMAGE002
在本申请所公开的具体实施例中，步骤S300中包括步骤S310、和步骤S320。
S310、根据预设的差分编码数学模型将所有监测值进行计算得到监测值编码，监测值编码为十进制编码。
在本申请所公开的具体实施例中，步骤S310中包括步骤S311、步骤S312和步骤S313。
S311、遍历所有监测值，根据时间顺序对相邻两个监测值进行差值计算，判断计算结果是否为0。
S312、若相邻监测值的差值为0，则将相邻两个监测值中时间顺序靠后一个监测值数据作为0存储至第一数组，第一数组用于存储差值为0的数组。
S313、若相邻两个监测值的差值不为0，则对相邻两个监测值的整数部分和浮点数部分分别进行差值处理，计算得到正整数数组。
需要说明的是，在上述步骤中，如表2所示，表2示出了监测值差分编码表，将采集到的监测值按照时间顺序进行排列，遍历所有监测值判断监测值与前一个点差值是否为0，若差值为0，则声明一个第一数组（delta数组）用于存储与前一个点差值为0的索引值。
如果不为0，则继续执行如下步骤：
取监测值整数部分Xi，计算Xi-Xi-1保存整数部分差值数组dx（默认dx[0]为第一条数据整数部分）；
取监测值小数部分（默认取四位）将其整数化保存为数组ex；
分别遍历整数差值数组dx与小数整数化数组ex进行拼接，拼接规则如下，其中i为第i条数据，
Figure 974418DEST_PATH_IMAGE003
为编码后结果：
当i=0为第一条数据时，
Figure 754155DEST_PATH_IMAGE004
；
其中，rx为正整数数组，dx为整数部分差值数组，ex为小数部分差值数组，i为第i条数据。
当delta[i]=0成立时：表明监测值与前一个监测值相同则不重复记录，
Figure 149365DEST_PATH_IMAGE005
；
其中，rx为正整数数组，i为第i条数据。
当dx[i]=0成立时：表明监测值整数部分与前一个监测值整数部分相同则只记录小数部分（则rx[i]长度默认为4位），
Figure 508277DEST_PATH_IMAGE006
；
其中，rx为正整数数组，dx为整数部分差值数组，ex为小数部分差值数组，i为第i条数据。
当dx[i]>0成立时：表明监测值整数大于前一个部分监测值，监测值的拼接规则为
Figure 330740DEST_PATH_IMAGE007
其中，rx为正整数数组，dx为整数部分差值数组，ex为小数部分差值数组，i为第i条数据。
该公式表示将整数差值部分+小数差值部分+‘0’拼接组成的字符串转换成整数，末尾的‘0’是
Figure 597773DEST_PATH_IMAGE008
>0的标志位（
Figure 796673DEST_PATH_IMAGE009
长度范围在5-9位之间）;
当
Figure 465552DEST_PATH_IMAGE008
<0成立时：表明监测值整数大于前一个部分监测值，监测值的拼接规则为
Figure 786812DEST_PATH_IMAGE010
其中，rx为正整数数组，dx为整数部分差值数组，ex为小数部分差值数组，i为第i条数据。
该公式表示将整数差值部分放最前面+小数差值部分+‘1’拼接组成的字符串转换成整数，末尾的‘1’是
Figure 541141DEST_PATH_IMAGE008
<0的标志位（
Figure 278153DEST_PATH_IMAGE009
长度范围在5-9位之间）。
编码后将浮点数转换为4-9位之间的正整数存储12*4=48bytes存储由此可见通过该种方式编码将浮点数转换为正整数同时还能够降低数据的平均长度，提升数据的压缩率，提高***的资源使用效率。
表2 监测值差分编码表
Figure 801538DEST_PATH_IMAGE012
S320、根据预设的编码进制转换模型将监测值编码进行计算得到待压缩数值，待压缩数值的进制高于监测值差分编码的进制。
在本申请所公开的具体实施例中，步骤S320中包括步骤S321和步骤S322。
S321、对监测值差分编码进行进制转换得到二进制形式编码。
S322、将二进制形式编码按照每7个比特位进行ASCII编码得到待压缩数值，待压缩数值为ASCII码符号。
需要说明的是，在上述步骤中，如图4和表3所示，图4示出了ASCII码转换示意图，表3示出了监测值ASCII编码表，在utf-8 （Unicode Transformation Format）中，单字节字符对应ASCII码中128个字符，如果能将10进制字符的信息与ASCII码建立联系，就能将10进制转化成128进制，就能做到1个字节存储log2128=7bit的信息，实现空间利用率达到87.5%。本申请采用的方法是将10进制字符组成的字串对应的数字转化为2进制形式，然后每7个bit与一个ASCII码对应（ASCII码中128个字符可对应0-127），得出待压缩数值，由监测值ASCII编码表结果可知，压缩前存储12条浮点数记录每条需要8bytes来保存，12条记录共需要12*8=96bytes存储，编码后将浮点数转换为4-9位之间的正整数存储12*4=48bytes，然后基于进制压缩转换编码方式将整数经过位与运算后转换为ASCII码，其存储成本为3+2+2+2+1+1+2+3+2+2+2+2=24bytes相比于最开始存储浮点数的96bytes来说压缩比达到4，有效降低了存储成本。
表3 监测值ASCII编码表
Figure 231383DEST_PATH_IMAGE014
在本申请所公开的具体实施例中，步骤S400中包括步骤S410、步骤S420和步骤S430。
S410、根据待压缩数值计算得到字符频率表，字符频率表中包括了待压缩数值中的数值与数值对应的频率。
S420、对字符频率表进行哈夫曼编码计算得到哈夫曼编码表。
S430、根据待压缩数值和哈夫曼编码表计算得到监测值压缩结果。
需要说明的是，在上述步骤中，本申请提出了在进制转换的基础上已经将十进制整数转换成128进制的ASCII码，这样做的目的就是为了更好地结合哈夫曼编码的特点，编码范围只包含128个ASCII码，本申请使用哈夫曼原理对上述8条监测数据中ASCII码符号出现频率进行假设后构造哈夫曼编码树其符号频率得到了表4所示的基于ASCII码频率对应哈夫曼编码表。根据表4中计算得到的ASCII码出现频率存储ASCII码编码总共需要10000bytes空间，大小为200+300+600+700+1000+3200+1900+2100=10000bytes，如果按照哈夫曼编码存储该ASCII码表存储总共需要3275bytes空间大小为200*5+300*5+600*4+700*4+1000*4+3200*2+1900*2+2100*2)/8bit=3274.5bytes+8bytes+4bytes（最后的8+4bytes为哈夫曼编码表的存储成本），其压缩比达到3.05表明压缩效果较好，完成了对监测值的压缩编码，降低数据库的存储压力，提高***的资源使用率。
表4 基于ASCII码频率对应哈夫曼编码表
Figure 286058DEST_PATH_IMAGE016
实施例2：
如图2所示，本实施例提供了一种监测数据无损压缩装置，装置包括
数据采集模块1，用于获取待压缩数据表，待压缩数据表包括传感器采集到的监测值和每个监测值对应的时间数据。
第一计算模块2，用于根据预设的时间差分数学模型将所有时间数据进行计算得到时间戳压缩结果，时间戳压缩结果包括一个起始时间戳和所有时间数据进行二次差值法处理后得到的时间戳二次差值。
第二计算模块3，用于根据预设的数据进制转换数学模型将所有监测值进行计算得到待压缩数值。
第三计算模块4，用于根据预设的哈夫曼编码数学模型将待压缩数值进行计算得到监测值压缩结果。
在一些具体的实施例中，第一计算模块2包括：
第一计算单元21，用于将时间数据转换为UNIX时间戳形式并按照时间顺序排列得到时间戳数据列。
第二计算单元22，用于根据预设的时间戳二次差值法数学模型将时间戳数据列进行计算得到起始时间戳和时间戳二次差值。
在一些具体的实施例中，第二计算模块3包括：
第三计算单元31，用于根据预设的差分编码数学模型将所有监测值进行计算得到监测值编码，监测值编码为十进制编码。
第四计算单元32，用于根据预设的编码进制转换模型将监测值编码进行计算得到待压缩数值，待压缩数值的进制高于监测值差分编码的进制。
在一些具体的实施例中，第三计算单元31包括：
第一判断单元311，用于遍历所有监测值，根据时间顺序对相邻两个监测值进行差值计算，判断计算结果是否为0。
第二判断单元312，用于判断若相邻监测值的差值为0，则将相邻两个监测值中时间顺序靠后一个监测值数据作为0存储至第一数组，第一数组用于存储差值为0的数组。
第三判断单元313，用于判断若相邻两个监测值的差值不为0，则对相邻两个监测值的整数部分和浮点数部分分别进行差值处理，计算得到正整数数组。
在一些具体的实施例中，第四计算单元32包括：
第五计算单元321，用于对监测值差分编码进行进制转换得到二进制形式编码。
第六计算单元322，用于将二进制形式编码按照每7个比特位进行ASCII编码得到待压缩数值，待压缩数值为ASCII码符号。
在一些具体的实施例中，第三计算模块4包括：
第七计算单元41，用于根据待压缩数值计算得到字符频率表，字符频率表中包括了待压缩数值中的数值与数值对应的频率。
第八计算单元42，用于对字符频率表进行哈夫曼编码计算得到哈夫曼编码表。
第九计算单元43，用于根据待压缩数值和哈夫曼编码表计算得到监测值压缩结果。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种监测数据无损压缩设备，下文描述的一种监测数据无损压缩设备与上文描述的一种监测数据无损压缩方法可相互对应参照。
图3是根据示例性实施例示出的一种监测数据无损压缩设备800的框图。如图3所示，该监测数据无损压缩设备800可以包括：处理器801，存储器802。该监测数据无损压缩设备800还可以包括多媒体组件803， I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该监测数据无损压缩设备800的整体操作，以完成上述的监测数据无损压缩方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该监测数据无损压缩设备800的操作，这些数据例如可以包括用于在该监测数据无损压缩设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random AccessMemory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该监测数据无损压缩设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，监测数据无损压缩设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的监测数据无损压缩方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的监测数据无损压缩方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由监测数据无损压缩设备800的处理器801执行以完成上述的监测数据无损压缩方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种监测数据无损压缩方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的监测数据无损压缩方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种监测数据无损压缩方法，其特征在于，包括：
获取待压缩数据表，所述待压缩数据表包括传感器采集到的监测值和每个所述监测值对应的时间数据，每个所述监测值为所述传感器按照时间顺序采集得到；
根据预设的时间差分数学模型将所有所述时间数据进行计算得到时间戳压缩结果，所述时间戳压缩结果包括一个起始时间戳和所有所述时间数据进行二次差值法处理后得到的时间戳二次差值；
根据预设的数据进制转换数学模型将所有所述监测值进行计算得到待压缩数值；
根据预设的哈夫曼编码数学模型将所述待压缩数值进行计算得到监测值压缩结果；
根据预设的数据进制转换数学模型将所有所述监测值进行计算得到待压缩数值，包括：
根据预设的差分编码数学模型将所有所述监测值进行计算得到监测值编码，所述监测值编码为十进制编码；
根据预设的编码进制转换模型将所述监测值编码进行计算得到待压缩数值，所述待压缩数值的进制高于所述监测值差分编码的进制；
所述根据预设的差分编码数学模型将所有所述监测值进行计算得到监测值编码，所述监测值编码为十进制编码，包括：
遍历所有监测值，根据时间顺序对相邻两个监测值进行差值计算，判断计算结果是否为0；
若相邻监测值的差值为0，则将相邻两个监测值中时间顺序靠后一个监测值数据作为0存储至第一数组，第一数组用于存储差值为0的数组；
若相邻两个监测值的差值不为0，则对相邻两个监测值的整数部分和浮点数部分分别进行差值处理，计算得到正整数数组。
2.根据权利要求1所述的监测数据无损压缩方法，其特征在于，所述根据预设的时间差分数学模型将所有所述时间数据进行计算得到时间戳压缩结果，包括：
将所述时间数据转换为UNIX时间戳形式并按照时间顺序排列得到时间戳数据列；
根据预设的时间戳二次差值法数学模型将时间戳数据列进行计算得到起始时间戳和时间戳二次差值。
3.根据权利要求1所述的监测数据无损压缩方法，其特征在于，根据预设的哈夫曼编码数学模型将所述待压缩数值进行计算得到监测值压缩结果，包括：
根据所述待压缩数值计算得到字符频率表，所述字符频率表中包括了所述待压缩数值中的数值与所述数值对应的频率；
对所述字符频率表进行哈夫曼编码计算得到哈夫曼编码表；
根据所述待压缩数值和所述哈夫曼编码表计算得到监测值压缩结果。
4.一种监测数据无损压缩装置，其特征在于，包括：
数据采集模块，用于获取待压缩数据表，所述待压缩数据表包括传感器采集到的监测值和每个所述监测值对应的时间数据；
第一计算模块，用于根据预设的时间差分数学模型将所有所述时间数据进行计算得到时间戳压缩结果，所述时间戳压缩结果包括一个起始时间戳和所有所述时间数据进行二次差值法处理后得到的时间戳二次差值；
第二计算模块，用于根据预设的数据进制转换数学模型将所有所述监测值进行计算得到待压缩数值；
第三计算模块，用于根据预设的哈夫曼编码数学模型将所述待压缩数值进行计算得到监测值压缩结果；
所述第二计算模块包括：
第三计算单元，用于根据预设的差分编码数学模型将所有所述监测值进行计算得到监测值编码，所述监测值编码为十进制编码；
第四计算单元，用于根据预设的编码进制转换模型将所述监测值编码进行计算得到待压缩数值，所述待压缩数值的进制高于所述监测值差分编码的进制；
第三计算单元包括：
第一判断单元，用于遍历所有监测值，根据时间顺序对相邻两个监测值进行差值计算，判断计算结果是否为0；
第二判断单元，用于判断若相邻监测值的差值为0，则将相邻两个监测值中时间顺序靠后一个监测值数据作为0存储至第一数组，第一数组用于存储差值为0的数组；
第三判断单元，用于判断若相邻两个监测值的差值不为0，则对相邻两个监测值的整数部分和浮点数部分分别进行差值处理，计算得到正整数数组。
5.根据权利要求4所述的监测数据无损压缩装置，其特征在于，所述第一计算模块包括：
第一计算单元，用于将所述时间数据转换为UNIX时间戳形式并按照时间顺序排列得到时间戳数据列；
第二计算单元，用于根据预设的时间戳二次差值法数学模型将时间戳数据列进行计算得到起始时间戳和时间戳二次差值。
6.根据权利要求4所述的监测数据无损压缩装置，其特征在于，所述第三计算模块包括：
第七计算单元，用于根据所述待压缩数值计算得到字符频率表，所述字符频率表中包括了所述待压缩数值中的数值与所述数值对应的频率；
第八计算单元，用于对所述字符频率表进行哈夫曼编码计算得到哈夫曼编码表；
第九计算单元，用于根据所述待压缩数值和所述哈夫曼编码表计算得到监测值压缩结果。
7.一种监测数据无损压缩设备，其特征在于，包括：存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述监测数据无损压缩方法的步骤。
8.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述监测数据无损压缩方法的步骤。
CN202210636103.1A 2022-06-07 2022-06-07 一种监测数据无损压缩方法、装置、设备及可读存储介质 Active CN114726380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210636103.1A CN114726380B (zh) 2022-06-07 2022-06-07 一种监测数据无损压缩方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210636103.1A CN114726380B (zh) 2022-06-07 2022-06-07 一种监测数据无损压缩方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114726380A CN114726380A (zh) 2022-07-08
CN114726380B true CN114726380B (zh) 2022-09-02

Family

ID=82232796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210636103.1A Active CN114726380B (zh) 2022-06-07 2022-06-07 一种监测数据无损压缩方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114726380B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278777A (zh) * 2022-09-26 2022-11-01 江苏骏利精密制造科技有限公司 一种车载净化器数据传输方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004098066A1 (ja) * 2003-04-28 2004-11-11 Nippon Telegraph And Telephone Corporation 浮動小数点形式ディジタル信号可逆符号化方法、及び復号化方法と、その各装置、その各プログラム
JP4719667B2 (ja) * 2006-12-28 2011-07-06 日立オートモティブシステムズ株式会社 時系列データ圧縮方法
US8000541B2 (en) * 2008-10-28 2011-08-16 Gregory James Gosian Quantization differencing compression algorithm
CN102263560B (zh) * 2010-05-28 2013-11-20 富士通株式会社 差分编码方法和***
CN103051341B (zh) * 2012-12-31 2016-01-27 华为技术有限公司 数据编码装置及方法、数据解码装置及方法
CN110210054A (zh) * 2019-04-25 2019-09-06 中国电力科学研究院有限公司 一种采样数据预处理方法
CN111988618B (zh) * 2019-05-22 2022-05-20 杭州海康威视数字技术股份有限公司 进行解码、编码的方法、解码端和编码端
CN111211787A (zh) * 2019-10-09 2020-05-29 华中科技大学 一种工业数据压缩方法、***、存储介质及终端
CN112887713B (zh) * 2019-11-30 2022-06-28 华为技术有限公司 图片压缩、解压缩方法和装置
CN111931345B (zh) * 2020-07-09 2021-11-02 西南交通大学 一种监测数据预测方法、装置、设备及可读存储介质
CN112968751A (zh) * 2021-01-27 2021-06-15 伊之密机器人自动化科技(苏州)有限公司 一种工业时序数据压缩方法及***
CN113078908B (zh) * 2021-03-10 2022-03-25 杭州又拍云科技有限公司 一种适用于时间序列数据库的简易编解码方法

Also Published As

Publication number Publication date
CN114726380A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
KR102535450B1 (ko) 데이터 저장 방법 및 장치, 및 그 컴퓨터 디바이스 및 저장 매체
CN114726380B (zh) 一种监测数据无损压缩方法、装置、设备及可读存储介质
US20200185058A1 (en) Gene sequencing data compression preprocessing, compression and decompression method, system, and computer-readable medium
CN107590157B (zh) 一种数据存储方法、数据查询方法及相关设备
CN112968751A (zh) 一种工业时序数据压缩方法及***
CN112650751A (zh) 数据处理方法、装置、电子设备及数据处理***
CN113078908B (zh) 一种适用于时间序列数据库的简易编解码方法
CN114579570A (zh) 数据处理方法及装置
US10437825B2 (en) Optimized data condenser and method
CN116827354B (zh) 一种文件数据分布式存储管理***
CN115882867B (zh) 一种基于大数据的数据压缩存储方法
CN110287147B (zh) 一种字符串排序方法及装置
CN115905119A (zh) 一种bmc日志压缩提取方法及***
CN111538730B (zh) 一种基于哈希桶算法的数据统计的方法及其***
SE9903191D0 (sv) Compression and decompression coding scheme and apparatus
CN112685456A (zh) 一种用户访问数据的处理方法、装置及计算机***
CN112329393A (zh) 一种短码id的生成方法、设备、存储介质
CN107832415B (zh) 一种comtrade二进制数据文件的快速解析方法
CN113297296B (zh) 多样式类型数据的json化处理方法
CN115630060B (zh) 一种监控数据处理方法及***
CN115001628B (zh) 数据编码的方法及装置、数据解码的方法及装置和数据结构
Nguyen Reducing storage size of large quantitative data using a combined lossy compression method-An application to an IoT dataset
CN114327264A (zh) 一种时序数据压缩方法、装置及设备
JP3511901B2 (ja) 情報処理装置および情報処理システム
CN117118455A (zh) 数据压缩方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant