CN114679184A - 一种时序数据库的数据压缩方法及*** - Google Patents

一种时序数据库的数据压缩方法及*** Download PDF

Info

Publication number
CN114679184A
CN114679184A CN202210373970.0A CN202210373970A CN114679184A CN 114679184 A CN114679184 A CN 114679184A CN 202210373970 A CN202210373970 A CN 202210373970A CN 114679184 A CN114679184 A CN 114679184A
Authority
CN
China
Prior art keywords
data
time sequence
regression model
floating point
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210373970.0A
Other languages
English (en)
Other versions
CN114679184B (zh
Inventor
王宏志
闫浩
郑博
梁栋
叶天生
燕钰
丁小欧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Nosi Spacetime Technology Co ltd
Harbin Institute of Technology
Original Assignee
Beijing Nosi Spacetime Technology Co ltd
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Nosi Spacetime Technology Co ltd, Harbin Institute of Technology filed Critical Beijing Nosi Spacetime Technology Co ltd
Priority to CN202210373970.0A priority Critical patent/CN114679184B/zh
Publication of CN114679184A publication Critical patent/CN114679184A/zh
Application granted granted Critical
Publication of CN114679184B publication Critical patent/CN114679184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3068—Precoding preceding compression, e.g. Burrows-Wheeler transformation
    • H03M7/3071—Prediction
    • H03M7/3073—Time
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6058—Saving memory space in the encoder or decoder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种时序数据库的数据压缩方法及***，具体涉及一种时序数据库内的数据压缩方法及***，本发明为解决时序数据库中压缩算法效率低的问题，利用时序数据库的压缩算法提取原始时序数据，原始时序数据包括整型数据和浮点数据；计算整型数据的delta数组；建立回归模型，设置权重因子为10，将delta数组输入回归模型内进行训练，得到训练好的回归模型；再将delta数组输入训练好的回归模型内，得到整型数据数值预测值；将整型数据数值预测值与真实值作差，得到误差结果；采用ZigZag变换对误差结果进行变换，并利用哈夫曼编码将变换后的误差结果进行保存；对浮点数据进行精度缩减，并采用异或运算进行压缩。属于计算机技术领域。

Description

一种时序数据库的数据压缩方法及***
技术领域
本发明涉及一种压缩方法及***，具体涉及一种时序数据库内的数据压缩方法及***，属于计算机技术领域。
背景技术
时序数据，即时间序列数据，我们把按照时间戳的大小顺序排列的一系列记录值的数据称为时间序列数据(Time Series Data)。在日常生活中，时序数据相当常见，比如，汽车的位置定位，在一段时间内某辆特定汽车的其他属性，包括型号、颜色、车牌号、所有者等都是不变的，但它的位置数据是随着时间变化不断在变化的，那么根据时间确定的位置值及其他属性所组成的一系列数据就是一组时序数据，当我们驾驶汽车开启导航时，就需要根据这一组时序数据判断接下来到达目的地的路线以及存储驾驶记录，在即将到来的无人驾驶中更是必不可少的。在互联网中，时序数据更是无处不在，比如，用户访问网站的记录、应用***的***日志数据等等。
时序数据随时间不间断的增长，且增长频率越来越快。在一些比较热点的场景下，数据积累的速度将会十分惊人。因此数据库中将要存储海量的时序数据。这些过往的数据的存在不仅占据着相当大一部分的存储空间，而且查询利用率特别低，甚至更多情况下用户仅需要近似值，同时还消耗着数据库相当大一部分资源。因此有必要对这些数据进行进一步的压缩，以减少资源的消耗，而实际上，目前的开源时序数据库也确实是这样做的，但其中的压缩算法效率较低。
发明内容
本发明为了解决时序数据库中压缩算法效率低的问题，进而提出了一种时序数据库的数据压缩方法及***。
本发明采取的技术方案是：
一种时序数据库的数据压缩方法，它包括以下步骤：
S1、利用时序数据库的压缩算法提取原始时序数据，原始时序数据包括整型数据和浮点数据；
S2、计算S1提取的整型数据的delta数组；
S3、建立回归模型，设置回归模型中误差损失函数的权重因子为10，将S2中得到的delta数组输入回归模型内进行训练，输出整型数据数值的预测值，直到loss收敛，得到训练好的回归模型；
S4、将S2中得到的delta数组输入S3中训练好的回归模型内，得到整型数据数值的预测值；
S5、将S4中得到的整型数据数值的预测值与S1原始时序数据中整型数据数值的真实值作差，得到误差结果；
S6、对S5中得到的误差结果采用ZigZag变换方法进行变换，得到变换后的误差结果，利用哈夫曼编码将变换后的误差结果进行保存；
S7、对S1中提取的浮点数据进行精度缩减，将精度缩减后的浮点数据采用异或运算进行压缩。
优选的，所述S1中利用时序数据库的压缩算法提取原始时序数据，原始时序数据包括整型数据和浮点数据，具体过程为：
当时序数据库后台进程处于每秒处理数据量小于20万条或休息时，根据设置的时间段或时序数据库默认的时间段利用时序数据库的压缩算法提取原始时序数据，所述原始时序数据包括整型数据和浮点数据。
优选的，所述设置的时间段为用户在查询时根据需要自己指定的时间段。
优选的，所述设置的时间段为七天或24小时。
优选的，所述时序数据库默认的时间段为七天。
优选的，所述S3中建立的回归模型包括多项式回归模型、正弦回归模型。
优选的，所述S3中设置回归模型中误差损失函数的权重因子为10，则回归模型的输出结果需同时满足以下条件：
条件一：所有误差代价之和的10倍小于所有误差收益之和；
条件二：本次迭代的整体代价小于上一轮迭代的整体代价。
优选的，所有误差代价之和为负值误差绝对值之和；所有误差收益之和为正值误差之和；整体代价为所有误差的绝对值之和。
优选的，所述S7中对S1中提取的浮点数据进行精度缩减，将精度缩减后的浮点数据采用异或运算进行压缩，具体过程为：
根据S1中得到的浮点数据，选取浮点数据尾数部分中除前4位之外的后19位数据进行精度缩减，即若选取的19位数据的第1位为1，则所述前四4位进1，否则不进1，并将后19位数据置0，将精度缩减后的浮点数据采用异或运算进行压缩。
一种时序数据库的数据压缩***，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如一种时序数据库的数据压缩方法的任一步骤。
有益效果：
本发明将时序数据分为整型数据和浮点数据，针对整型数据和浮点数据分别采用不同的压缩方法进行压缩，使整型数据和浮点数据的压缩效果均达到最佳，有效的提高了时序数据库中压缩算法的效率。对于整型数据，本发明通过建立回归模型对其进行压缩，使时序数据库在存储时只需要存储整型数据中与回归模型参数相同的数据作为回归模型的输入，输出整型数据的数值预测值，在得到整型数据的数值预测值后与整型数据的数值真实值作差，即可得到二者的误差，在对误差进行ZigZag变换，将变换后的误差利用哈夫曼编码的方式进行存储，至此，即完成了原始时序数据整型数据的压缩处理，同时满足了无损压缩。这样在计算某个时间结点的数据时，仅将存储的参数输入回归模型内，就可以获取时序数据库内存储的对应的数据，相当于在回归模型内进行了一次简单的数学公式计算，使回归模型轻量化，不仅提高了时序数据整型数据的压缩效率，还极大的提升了查询时间，以满足用户的查询需求，同时相比于传统的将原始数据进行变换格式并存储要节省极大的存储空间。对于浮点数据，首先对其进行精度缩减，将时序数据库中浮点类型数据之间的差异集中在浮点数据尾数部分的前4位。将缩减处理后的浮点数据使用异或运算进行压缩，如此能够减少大多数尾数部分占用的存储空间，尽可能得到相似的浮点数据二进制表示形式，可以相当大的提高浮点数据的压缩比，从而提高时序数据浮点数据的压缩效率。
附图说明
图1是本发明的结构流程图；
具体实施方式
具体实施方式一：结合图1说明本实施方式，本实施方式所述一种时序数据库的数据压缩方法，它包括以下步骤：
S1、利用时序数据库的压缩算法提取原始时序数据，原始时序数据包括整型数据和浮点数据，具体过程为：
当时序数据库后台进程处于每秒处理数据量≤20万条或休息状态时，根据设置的时间段或时序数据库默认的时间段利用时序数据库本身自带的数据压缩算法提取原始时序数据，所述原始时序数据例如汽车位置定位时，根据时间确定的位置值及其他属性所组成的一系列数据，并将原始时序数据分为整型数据和浮点数据。所述设置的时间段为用户在查询时根据需要自己指定的时间段，一般为七天或24小时；所述时序数据库默认的时间段为七天。为了保证数据的压缩效率，针对整型数据和浮点数据分别采用不同的压缩方法进行压缩，使整型数据和浮点数据的压缩效果均达到最佳。
S2、计算S1提取的整型数据的delta数组；
根据S1中得到的整型数据，计算其delta数组，delta数组能够提高压缩的效果。
S3、建立回归模型，设置回归模型中误差损失函数的权重因子为10，将S2中得到的delta数组输入回归模型内进行训练，输出整型数据数值的预测值，得到训练好的回归模型；
由于回归模型重要的基础或者方法是回归分析，而回归分析最主要就是使用曲线/线拟合若干的数据点，由此保证从曲线或线到数据点的距离差异最小，有利于帮助数据分析或研究人员排除并估计出一组最佳的变量。所以本发明采用回归模型对时序数据进行预测分析。
首先，建立回归模型，设置回归模型中误差损失函数的权重因子为10，模型训练过程为多轮迭代。定义每一轮迭代的收益为正值误差之和，代价为负值误差绝对值之和，整体代价为收益和代价之和，即所有误差绝对值之和。
将S2中得到的delta数组输入回归模型内进行训练，训练至输出结果同时满足以下两个条件，即可得到训练好的回归模型，条件一：所有误差代价之和的10倍小于所有误差收益之和；条件二：本次迭代的整体代价小于上一轮迭代的整体代价；举例如下：
例子1：假设某一轮迭代后的误差数据依次为-10、-30、12、-18、25、96，那么本次的误差收益为12+25+96＝133，代价为10+30+18＝58，则133<58*10，即误差收益小于误差代价的10倍，不满足条件一，进入下一轮迭代。每一轮迭代是将S2中得到的所有delta数组输入回归模型内进行训练。
例子2：假设上一轮的整体代价为80，本次迭代后的误差数据依次为-1、-3、12、-8、25、96，那么本次的误差收益为12+25+96＝133，代价为1+3+8＝12，则133≥12*10，即误差代价的10倍小于误差收益，满足条件一；但上一轮的整体代价小于本次的整体代价，即133+12＝145>80，不满足条件二，则进入下一轮迭代。
例子3：假设上一轮整体代价为150，本次迭代后的误差数据依次为-1、-3、12、-8、25、96，那么本次预测的误差收益为12+25+96＝133，代价为1+3+8＝12，则133≥12*10，即误差代价的10倍小于误差收益，满足条件一；此时本次的整体代价小于上一轮迭代的整体代价，即145<150，满足条件二；所以本次迭代同时满足条件一和条件二，则输出本轮迭代结果，得到训练好的回归模型。
回归模型包括多项式回归模型、正弦回归模型等，利用计算好的delta数组分别输入多项式回归模型和正弦回归模型内进行数据拟合训练，根据得到的输出结果，选取其中的最优结果作为输出，将所述输出最优结果对应的模型作为最优回归模型，使之为训练好的回归模型。
本发明通过设置回归模型对原始时序数据(例如汽车位置定位时，根据时间确定的位置值及其他属性所组成的一系列数据)整型数据进行压缩，使时序数据库在存储时只需要存储回归模型的参数，这样在计算某个时间结点的数据时，仅将存储的参数输入回归模型内，就可以获取时序数据库内存储的对应的数据，相当于在回归模型内进行了一次简单的数学公式计算，使回归模型轻量化，且极大的提升了查询时间，以满足用户的查询需求。同时相比于传统的将原始数据进行变换格式并存储要节省极大的存储空间。
轻量化的回归模型具有以下优点：
(1)只需要保存原始时序数据(例如汽车位置定位时，根据时间确定的位置值及其他属性所组成的一系列数据)中整型数据少量的参数便可以表示一段时序数据。
(2)根据原始时序数据(例如汽车位置定位时，根据时间确定的位置值及其他属性所组成的一系列数据)整型数据进行训练回归模型的过程十分快速，不会消耗过多的资源。
(3)在进行数据解压即进行回归模型预测时，计算速度快，足以满足用户需求。
S4、将S2中得到的delta数组输入S3中训练好的回归模型内，得到整型数据数值的预测值；
此步骤得到的整型数据数值的预测值便于后续与整型数据数值的真实值作比较，得到二者的误差，从而实现数据的压缩。
S5、将S4中得到的整型数据数值的预测值与S1原始时序数据中整型数据数值的真实值作差，得到误差结果；
在得到原始时序数据(例如汽车位置定位时，根据时间确定的位置值及其他属性所组成的一系列数据)时，即可直观的得到整型数据数值的真实值，将整型数据数值的预测值与整型数据数值的真实值作差，得到二者的误差，在对误差进行处理。
S6、对S5中得到的误差结果采用ZigZag变换方法进行变换，得到变换后的误差结果，利用哈夫曼编码将变换后的误差结果进行保存；
采用ZigZag变换方法对S5中得到的误差结果进行处理，由于ZigZag变换具有高效压缩前导0的特性，所以可以使误差尽可能的多为正值，以便于更好的利用ZigZag特性，但同时又不能为了保证误差为正值而矫枉过正，所以本发明使用上述权重因子进行权衡，再对处理后的误差进行保存，至此，即完成了原始时序数据(例如汽车位置定位时，根据时间确定的位置值及其他属性所组成的一系列数据)整型数据的压缩处理，同时满足了无损压缩。
S7、对S1中提取的浮点数据进行精度缩减，将精度缩减后的浮点数据采用异或运算进行压缩，具体过程为：
根据S1中得到的浮点数据，选取浮点数据尾数部分中除前4位之外的后19位数据进行精度缩减，具体过程为：若选取的19位数据的第1位为1，则所述前4位(即尾数部分中除前4位)进1，否则不进1，并将后19位数据置0；
将精度缩减后的浮点数据采用异或运算进行压缩。
此步骤是将S1中得到的浮点数据进行有损压缩。首先，对浮点数据进行精度缩减，即选取浮点数据的尾数部分(共23位)除前4位之外的后19位数据，若选取的19位数据的第1位为1，则所述前四位进1，否则不进1，并将后19位数据置0。经过上述缩减处理后可将时序数据库中浮点类型数据之间的差异集中在浮点数据尾数部分的前4位。再将缩减处理后的浮点数据使用异或运算进行压缩，如此能够减少大多数尾数部分占用的存储空间，尽可能得到相似的浮点数据的二进制表示形式，可以相当大的提高浮点数据的压缩比，至此，即完成了原始时序数据(例如汽车位置定位时，根据时间确定的位置值及其他属性所组成的一系列数据)浮点数据的压缩处理。
具体实施方式二：结合图1说明本实施方式，本实施方式所述一种时序数据库的数据压缩***，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如一种时序数据库的数据压缩方法的任一步骤。

Claims (10)

1.一种时序数据库的数据压缩方法，其特征在于：它包括以下步骤：
S1、利用时序数据库的压缩算法提取原始时序数据，原始时序数据包括整型数据和浮点数据；
S2、计算S1提取的整型数据的delta数组；
S3、建立回归模型，设置回归模型中误差损失函数的权重因子为10，将S2中得到的delta数组输入回归模型内进行训练，输出整型数据数值的预测值，直到loss收敛，得到训练好的回归模型；
S4、将S2中得到的delta数组输入S3中训练好的回归模型内，得到整型数据数值的预测值；
S5、将S4中得到的整型数据数值的预测值与S1原始时序数据中整型数据数值的真实值作差，得到误差结果；
S6、对S5中得到的误差结果采用ZigZag变换方法进行变换，得到变换后的误差结果，利用哈夫曼编码将变换后的误差结果进行保存；
S7、对S1中提取的浮点数据进行精度缩减，将精度缩减后的浮点数据采用异或运算进行压缩。
2.根据权利要求1中所述的一种时序数据库的数据压缩方法，其特征在于：所述S1中利用时序数据库的压缩算法提取原始时序数据，原始时序数据包括整型数据和浮点数据，具体过程为：
当时序数据库后台进程处于每秒处理数据量小于20万条或休息时，根据设置的时间段或时序数据库默认的时间段利用时序数据库的压缩算法提取原始时序数据，所述原始时序数据包括整型数据和浮点数据。
3.根据权利要求2中所述的一种时序数据库的数据压缩方法，其特征在于：所述设置的时间段为用户在查询时根据需要自己指定的时间段。
4.根据权利要求3中所述的一种时序数据库的数据压缩方法，其特征在于：所述设置的时间段为七天或24小时。
5.根据权利要求4中所述的一种时序数据库的数据压缩方法，其特征在于：所述时序数据库默认的时间段为七天。
6.根据权利要求5中所述的一种时序数据库的数据压缩方法，其特征在于：所述S3中建立的回归模型包括多项式回归模型、正弦回归模型。
7.根据权利要求6中所述的一种时序数据库的数据压缩方法，其特征在于：所述S3中设置回归模型中误差损失函数的权重因子为10，则回归模型的输出结果需同时满足以下条件：
条件一：所有误差代价之和的10倍小于所有误差收益之和；
条件二：本次迭代的整体代价小于上一轮迭代的整体代价。
8.根据权利要求7中所述的一种时序数据库的数据压缩方法，其特征在于：所有误差代价之和为负值误差绝对值之和；所有误差收益之和为正值误差之和；整体代价为所有误差的绝对值之和。
9.根据权利要求8中所述的一种时序数据库的数据压缩方法，其特征在于：所述S7中对S1中提取的浮点数据进行精度缩减，将精度缩减后的浮点数据采用异或运算进行压缩，具体过程为：
根据S1中得到的浮点数据，选取浮点数据尾数部分中除前4位之外的后19位数据进行精度缩减，即若选取的19位数据的第1位为1，则所述前四4位进1，否则不进1，并将后19位数据置0，将精度缩减后的浮点数据采用异或运算进行压缩。
10.一种时序数据库的数据压缩***，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-9任一所述方法的步骤。
CN202210373970.0A 2022-04-11 2022-04-11 一种时序数据库的数据压缩方法及*** Active CN114679184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210373970.0A CN114679184B (zh) 2022-04-11 2022-04-11 一种时序数据库的数据压缩方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210373970.0A CN114679184B (zh) 2022-04-11 2022-04-11 一种时序数据库的数据压缩方法及***

Publications (2)

Publication Number Publication Date
CN114679184A true CN114679184A (zh) 2022-06-28
CN114679184B CN114679184B (zh) 2022-11-01

Family

ID=82078867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210373970.0A Active CN114679184B (zh) 2022-04-11 2022-04-11 一种时序数据库的数据压缩方法及***

Country Status (1)

Country Link
CN (1) CN114679184B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594394B1 (en) * 1998-07-22 2003-07-15 Geoenergy, Inc. Fast compression and transmission of seismic data
CN112527754A (zh) * 2020-12-23 2021-03-19 山东鲁能软件技术有限公司 基于按位变长存储的数值型数据压缩方法及***
CN112965976A (zh) * 2021-02-26 2021-06-15 中国人民解放军海军工程大学 一种电磁能***业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置
JP2021158443A (ja) * 2020-03-25 2021-10-07 株式会社ブリヂストン タイヤ内センサーデータの圧縮方法、及び、タイヤ内センサーデータの圧縮装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594394B1 (en) * 1998-07-22 2003-07-15 Geoenergy, Inc. Fast compression and transmission of seismic data
JP2021158443A (ja) * 2020-03-25 2021-10-07 株式会社ブリヂストン タイヤ内センサーデータの圧縮方法、及び、タイヤ内センサーデータの圧縮装置
CN112527754A (zh) * 2020-12-23 2021-03-19 山东鲁能软件技术有限公司 基于按位变长存储的数值型数据压缩方法及***
CN112965976A (zh) * 2021-02-26 2021-06-15 中国人民解放军海军工程大学 一种电磁能***业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUBHAM CHANDAK: "LFZip: Lossy Compression of Multivariate Floating-Point Time Series Data via Improved Prediction", 《2020 DATA COMPRESSION CONFERENCE (DCC)》 *
卢民荣: "基于极值点特征识别的大规模时序数据压缩分析", 《统计与决策》 *

Also Published As

Publication number Publication date
CN114679184B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN107395211B (zh) 一种基于卷积神经网络模型的数据处理方法及装置
JP3083730B2 (ja) データ情報を圧縮するためのシステムおよび方法
US11544542B2 (en) Computing device and method
WO2020057593A1 (zh) 一种卷积神经网络的卷积处理方法、装置及存储介质
CN113741858B (zh) 存内乘加计算方法、装置、芯片和计算设备
WO2019177731A1 (en) Cluster compression for compressing weights in neural networks
CN112580805A (zh) 神经网络模型的量化方法和量化神经网络模型的装置
CN114665884B (zh) 时序数据库自适应有损压缩方法、***及介质
CN113610227A (zh) 一种高效的深度卷积神经网络剪枝方法
CN114418062A (zh) 深度卷积神经网络量化的方法、***、设备和存储介质
CN110263917B (zh) 一种神经网络压缩方法及装置
CN114679184B (zh) 一种时序数据库的数据压缩方法及***
CN114997360B (zh) 神经架构搜索算法的演化参数优化方法、***及存储介质
CN116318172A (zh) 一种设计仿真软件数据自适应压缩方法
CN115730646A (zh) 一种基于部分量化的混合专家网络优化方法
US20230053844A1 (en) Improved Quality Value Compression Framework in Aligned Sequencing Data Based on Novel Contexts
CN114328669A (zh) 基于深度学习的自动化时序数据库索引推荐方法、存储介质及设备
CN112734010A (zh) 一种适用于图像识别的卷积神经网络模型压缩方法
CN112836825A (zh) 一种基于主动降维的高维贝叶斯优化方法
CN113537447A (zh) 多层神经网络的生成方法、装置、应用方法及存储介质
CN110807092A (zh) 数据处理方法及装置
CN113726342B (zh) 面向大规模图迭代计算的分段差值压缩与惰性解压方法
WO2024021105A1 (en) Method, device and storage medium for constructing requirement behavior tree
CN109698704B (zh) 比对型基因测序数据解压方法、***及计算机可读介质
CN116630451A (zh) 高效快速图像压缩和存储方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant