CN109101504A - 一种高效的日志压缩和索引方法 - Google Patents

一种高效的日志压缩和索引方法 Download PDF

Info

Publication number
CN109101504A
CN109101504A CN201710470489.2A CN201710470489A CN109101504A CN 109101504 A CN109101504 A CN 109101504A CN 201710470489 A CN201710470489 A CN 201710470489A CN 109101504 A CN109101504 A CN 109101504A
Authority
CN
China
Prior art keywords
log
data
compression
field
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710470489.2A
Other languages
English (en)
Other versions
CN109101504B (zh
Inventor
孙清孟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Constant Technology (shanghai) Ltd By Share Ltd
Original Assignee
Constant Technology (shanghai) Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Constant Technology (shanghai) Ltd By Share Ltd filed Critical Constant Technology (shanghai) Ltd By Share Ltd
Priority to CN201710470489.2A priority Critical patent/CN109101504B/zh
Publication of CN109101504A publication Critical patent/CN109101504A/zh
Application granted granted Critical
Publication of CN109101504B publication Critical patent/CN109101504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开一种高效的日志压缩和索引方法。1)日志数据特点分析；2)日志预处理；3)压缩算法组合；4)压缩数据索引；5)数据解压缩还原；6)条件查询，采用条件查询模块，其根据用户提供过的字段条件，输出满足字段条件的日志记录数据,实现日志的压缩和索引。本发明提供了一种高效的日志压缩和索引方法，对日志的特点，进行预处理和可逆变换，使之成为更适合压缩的格式，综合运用各种压缩算法，达到最大压缩率的要求，且压缩后的数据便于查询，保证数据完整性、正确性。

Description

一种高效的日志压缩和索引方法
技术领域
本发明涉及一种高效的日志压缩和索引方法，具体涉及一种分布式、高压缩率和快速索引的方法。
背景技术
随着互联网数据的大爆发，现网环境中单节点的Radius和DNS服务器等日志生成量达到了日均100GB，这极大的提高了存储成本。当前日志存储只是简单的落盘备份，运用这些数据是极其的困难，而且由于数据简单扁平，通过简单的方式备份会占用更多存储空间。所以对于这些数据，急需一个能够减少存储空间，提供快速检索功能***进行处理，并保障数据安全的方法。通用的压缩工具或者算法都是适用于普通的文本文件或者文本流，不能深入的理解数据的含义。所以使用通用压缩工具来压缩日志数据既不能达到较高压缩比，又不能提供快速的检索功能。
发明内容
有鉴于此，本发明提供了一种高效的日志压缩和索引方法，对日志的特点，进行预处理和可逆变换，使之成为更适合压缩的格式，综合运用各种压缩算法，达到最大压缩率的要求，且压缩后的数据便于查询，保证数据完整性、正确性。
本发明通过以下技术手段解决上述技术问题：
本发明的一种高效的日志压缩和索引方法，其包括以下步骤：
1)日志数据特点分析，采用日志数据特点解析模块对日志自身的特点进行解析，包括对日志结构、日志字段数据类型、单字段重复及相似程度和字段间的关系约束等特点进行解析，输出解析结果；
2)日志预处理，采用日志预处理模块根据日志分析模块输出的特点，对原始日志数据进行处理，处理内容包括排序、分列、分块及聚合，将数据各字段处理成重复或者相似度高的格式，使数据既能易于压缩，又不会增加检索查询的消耗，然后输出处理好的分块数据；
3)压缩算法组合，采用压缩算法组合模块对日志数据进行初次压缩，通过机器学习的方式选择、排列出最优的编码和压缩算法，生成压缩算法组合表；
4)压缩数据索引，对于需要查询的字段，压缩数据索引模块提供查询字段对应压缩数据的索引表；
5)数据解压缩还原，数据解压缩还原模块根据索引表，对压缩结果进行逆向处理，还原出原始数据；
6)条件查询，采用条件查询模块，其根据用户提供过的字段条件，输出满足字段条件的日志记录数据,实现日志的压缩和索引。
所述步骤4中的索引表减少了不必要的解压缩过程，提高查询效率。
所述步骤6中的字段条件包括组合字段。
本发明本发明所要解决的问题是，在日志数据高速膨胀的趋势下，提供一种分布式、高压缩率和快速索引的方法。以满足数据分析平台和软件的对日志的存储需求,解决了日志数据存储成本高、难以运用的问题。
本发明解决了常用压缩工具或方法对压缩日志数据的压缩效率比较低问题，并且压缩后难以检索使用的难题。首先，通过分析通用压缩方法的处理方式，选择差异化的方法，并且兼顾对压缩数据的检索。常用压缩工具或方法大体基于三种方式：基于统计、基于字典或基于变换三种方式。本发明通过分析日志数据特点，进行预处理，然后选择组合合适的算法进行更高效的压缩。
为了解决压缩数据检索查询速度慢的问题，本发明提出对于压缩数据的索引的模块。并且对相同或者相似的数据进行聚合，形成一个压缩块，对于未命中检索条件的压缩块不需要解压缩，减少不必要解压缩过程，提要检索效率。
附图说明
下面结合附图和实施例对本发明作进一步描述。
图1为本发明处理流程图；
图2为本发明处理模块矩阵图；
图3为本发明查询流程图；
图4为本发明日志分析特点模块图；
图5为本发明日志预处理模块图；
图6为本发明压缩算法组合模块图；
图7为本发明日志压缩及索引模块图；
图8为本发明条件查询模块图。
具体实施方式
以下将结合附图对本发明进行详细说明，如图1、2、3、4、5、6、7和8所示：
一种高效的日志压缩和索引方法，其包括以下步骤：
1)日志数据特点分析，采用日志数据特点解析模块对日志自身的特点进行解析，包括对日志结构、日志字段数据类型、单字段重复及相似程度和字段间的关系约束等特点进行解析，输出解析结果；
2)日志预处理，采用日志预处理模块根据日志分析模块输出的特点，对原始日志数据进行处理，处理内容包括排序、分列、分块及聚合，将数据各字段处理成重复或者相似度高的格式，使数据既能易于压缩，又不会增加检索查询的消耗，然后输出处理好的分块数据；
3)压缩算法组合，采用压缩算法组合模块对日志数据进行初次压缩，通过机器学习的方式选择、排列出最优的编码和压缩算法，生成压缩算法组合表；
4)压缩数据索引，对于需要查询的字段，压缩数据索引模块提供查询字段对应压缩数据的索引表；
5)数据解压缩还原，数据解压缩还原模块根据索引表，对压缩结果进行逆向处理，还原出原始数据；
6)条件查询，采用条件查询模块，其根据用户提供过的字段条件，输出满足字段条件的日志记录数据,实现日志的压缩和索引。
所述步骤4中的索引表减少了不必要的解压缩过程，提高查询效率。
所述步骤6中的字段条件包括组合字段。
实施例1
以Radius服务器日志数据为例，下面是一条完整的Radius日志：
13,19404110xx,5717136xx,46003091822xxxx,,07C8B3B9,,0,0,0,0,0,2013-10-27 23:39:53,2013-10-27 23:49:56,7DF7A31040EB2F56EBA839828CB7B36B,19404110xx,5717136xx,168718548,861333646xxxx,,1,0,,2013-10-27 23:49:56.74548487,18,0,4
在Radius日中一共有27个字段，字段列表如下：
字段名 类型 例子 含义
ProviderID int 1 提供者ID
SrcIP int 19404110xx 源IP
DstIP int 5717136xx 目的IP
Account string 46003091822xxxx IMSI
UserPassword string 密码
Acct_Sess_Id string 07C8B3B9 会话ID
Acct_Multi_Sess_Id string . 多会话ID
Acct_Link_Count int 0 链接数量
Acct_Input_Octets int 0 上行字节
Acct_Output_Octets int 0 下行字节
Acct_input_packets int 0 上行包数
Acct_Output_Packets int 0 下行包数
starttime time 2013-10-27 23:39:53 上线时间
Endtime time 2013-10-27 23:49:56 下线时间
Request_auth string 7DF7A31040EB2F56EBA839828CB7B36B 认证字串
nas_ipaddr int 19404110xx NAS IP
radius_ipaddr int 5717136xx RadiusIP
framed_ip_address int 1687185xx 用户IP
calling_tel string 861333646xxxx 主叫号码
called_tel string 被叫号码
acct_status_type string 1 账户类型
ignored int 0 .
nas_domainname string NAS域名
capturetime time 2013-10-27 23:49:56.74548487 捕获时间
nas_port_type string 1 NAS端口类型
nas_delay_time time 0 NAS延迟时间
off_cause int 4 下线原因
●分析字段含义及关系约束：在此类日志中SrcIP等于nas_ipaddr，DstIP等于radius_ipaddr，对于这种恒等约束关系的数据，只需要存储一份。Endtime＝去除纳秒精度的capturetime减去nas_delay_time，对于可以通过算术计算推算出其他字段的关系，也可以减少一个字段的存储。这样可以很大程度减少后续的处理和空间占用。
●分析日志数据类型，用于选择合适的编码和存储方式。对于int类型的数据使用BCD压缩编码转换之后再使用RLE编码。对于字符串为其生成字典，在字段重复度高的日志数据中，压缩效果明显。Time数据类型转换为Unix时间戳，由20字节长度转换成4字节长度。
●分析主要关键字字段：对于Account一样的记录，其calling_tel也肯定一样，此Account的framed_ip_address、SrcIP、DstIP也会在一定的字典范围内变动，所以选取Account作为主键。通过选择出来的主键进行记录的聚合，然后使用基于字典类型的压缩算法可以提高压缩率。必要时，选取次要关键字。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种高效的日志压缩和索引方法，其特征在于，包括以下步骤：
1)日志数据特点分析，采用日志数据特点解析模块对日志自身的特点进行解析，包括对日志结构、日志字段数据类型、单字段重复及相似程度和字段间的关系约束等特点进行解析，输出解析结果；
2)日志预处理，采用日志预处理模块根据日志分析模块输出的特点，对原始日志数据进行处理，处理内容包括排序、分列、分块及聚合，将数据各字段处理成重复或者相似度高的格式，使数据既能易于压缩，又不会增加检索查询的消耗，然后输出处理好的分块数据；
3)压缩算法组合，采用压缩算法组合模块对日志数据进行初次压缩，通过机器学习的方式选择、排列出最优的编码和压缩算法，生成压缩算法组合表；
4)压缩数据索引，对于需要查询的字段，压缩数据索引模块提供查询字段对应压缩数据的索引表；
5)数据解压缩还原，数据解压缩还原模块根据索引表，对压缩结果进行逆向处理，还原出原始数据；
6)条件查询，采用条件查询模块，其根据用户提供过的字段条件，输出满足字段条件的日志记录数据,实现日志的压缩和索引。
2.根据权利要求1所述的一种高效的日志压缩和索引方法，其特征在于：所述步骤4中的索引表减少了不必要的解压缩过程，提高查询效率。
3.根据权利要求1所述的一种高效的日志压缩和索引方法，其特征在于：所述步骤6中的字段条件包括组合字段。
CN201710470489.2A 2017-06-20 2017-06-20 一种日志压缩和索引方法 Active CN109101504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710470489.2A CN109101504B (zh) 2017-06-20 2017-06-20 一种日志压缩和索引方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710470489.2A CN109101504B (zh) 2017-06-20 2017-06-20 一种日志压缩和索引方法

Publications (2)

Publication Number Publication Date
CN109101504A true CN109101504A (zh) 2018-12-28
CN109101504B CN109101504B (zh) 2023-09-19

Family

ID=64795654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710470489.2A Active CN109101504B (zh) 2017-06-20 2017-06-20 一种日志压缩和索引方法

Country Status (1)

Country Link
CN (1) CN109101504B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888862A (zh) * 2019-11-26 2020-03-17 深圳市随手金服信息科技有限公司 数据存储、查询方法、装置、服务器和存储介质
CN111444155A (zh) * 2020-04-15 2020-07-24 中国银行股份有限公司 日志文本的处理方法、装置、电子设备及计算机存储介质
CN111488439A (zh) * 2020-03-18 2020-08-04 杭州迪普科技股份有限公司 保存和分析日志数据的***和方法
CN114697070A (zh) * 2021-12-31 2022-07-01 成都思维世纪科技有限责任公司 一种针对http协议流量动态压缩存储的方法及***
CN114745195A (zh) * 2022-04-25 2022-07-12 上海海阳气象导航技术有限公司 一种气象导航数据交换方法、***、存储介质及终端
CN115630065A (zh) * 2022-10-18 2023-01-20 天津神舟通用数据技术有限公司 一种基于多压缩模式子分区表的存储和查询方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1975725A (zh) * 2006-12-12 2007-06-06 华为技术有限公司 一种管理日志的方法及***
CN101676899A (zh) * 2008-09-18 2010-03-24 上海宝信软件股份有限公司 海量数据库记录的归档和查询方法
CN101977361A (zh) * 2010-10-13 2011-02-16 深圳市多赢软件技术有限公司 一种批量短信预处理方法
CN102073712A (zh) * 2010-12-31 2011-05-25 北京四方继保自动化股份有限公司 基于动态变化帧的过程数据全息归档和反演方法
CN102081659A (zh) * 2011-01-14 2011-06-01 南开大学 倒排索引压缩的预处理方法
US20120111514A1 (en) * 2010-11-05 2012-05-10 Greenfield Ethanol Inc. Bagasse fractionation for cellulosic ethanol and chemical production
CN102708187A (zh) * 2012-05-14 2012-10-03 成都信息工程学院 基于Hbase数据库的倒排索引混合压缩及解压方法
US20130075333A1 (en) * 2011-09-22 2013-03-28 Randall B. Pruet Apparatus and Process for Treatment of Water
CN103473797A (zh) * 2013-09-16 2013-12-25 电子科技大学 基于压缩感知采样数据修正的空域可缩小图像重构方法
CN103487833A (zh) * 2013-09-16 2014-01-01 电子科技大学 一种三维地震体矢量量化压缩体绘制方法
CN103686177A (zh) * 2013-12-19 2014-03-26 中国科学院深圳先进技术研究院 一种图像压缩、解压方法、压缩、解压装置以及***
US20140163664A1 (en) * 2006-11-21 2014-06-12 David S. Goldsmith Integrated system for the ballistic and nonballistic infixion and retrieval of implants with or without drug targeting
CN103914485A (zh) * 2013-01-07 2014-07-09 上海宝信软件股份有限公司 一种远程收集和检索展示应用***日志的***及方法
US20140209260A1 (en) * 2013-01-31 2014-07-31 University Of New Brunswick Enzymatic treatment of wood chips
CN104376040A (zh) * 2014-10-11 2015-02-25 北京中搜网络技术股份有限公司 一种用于文档索引的文档id压缩方法
CN104731796A (zh) * 2013-12-19 2015-06-24 北京思博途信息技术有限公司 数据存储计算方法和***
CN105740477A (zh) * 2016-03-18 2016-07-06 中国科学院信息工程研究所 针对大规模嵌入式设备固件的函数搜索方法和搜索引擎
CN106354617A (zh) * 2016-08-29 2017-01-25 广州华多网络科技有限公司 程序压缩性日志文件输出方法及装置
CN106484709A (zh) * 2015-08-26 2017-03-08 北京神州泰岳软件股份有限公司 一种日志数据的审计方法和审计装置

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140163664A1 (en) * 2006-11-21 2014-06-12 David S. Goldsmith Integrated system for the ballistic and nonballistic infixion and retrieval of implants with or without drug targeting
CN1975725A (zh) * 2006-12-12 2007-06-06 华为技术有限公司 一种管理日志的方法及***
CN101676899A (zh) * 2008-09-18 2010-03-24 上海宝信软件股份有限公司 海量数据库记录的归档和查询方法
CN101977361A (zh) * 2010-10-13 2011-02-16 深圳市多赢软件技术有限公司 一种批量短信预处理方法
US20120111514A1 (en) * 2010-11-05 2012-05-10 Greenfield Ethanol Inc. Bagasse fractionation for cellulosic ethanol and chemical production
CN102073712A (zh) * 2010-12-31 2011-05-25 北京四方继保自动化股份有限公司 基于动态变化帧的过程数据全息归档和反演方法
CN102081659A (zh) * 2011-01-14 2011-06-01 南开大学 倒排索引压缩的预处理方法
US20130075333A1 (en) * 2011-09-22 2013-03-28 Randall B. Pruet Apparatus and Process for Treatment of Water
CN102708187A (zh) * 2012-05-14 2012-10-03 成都信息工程学院 基于Hbase数据库的倒排索引混合压缩及解压方法
CN103914485A (zh) * 2013-01-07 2014-07-09 上海宝信软件股份有限公司 一种远程收集和检索展示应用***日志的***及方法
US20140209260A1 (en) * 2013-01-31 2014-07-31 University Of New Brunswick Enzymatic treatment of wood chips
CN103487833A (zh) * 2013-09-16 2014-01-01 电子科技大学 一种三维地震体矢量量化压缩体绘制方法
CN103473797A (zh) * 2013-09-16 2013-12-25 电子科技大学 基于压缩感知采样数据修正的空域可缩小图像重构方法
CN103686177A (zh) * 2013-12-19 2014-03-26 中国科学院深圳先进技术研究院 一种图像压缩、解压方法、压缩、解压装置以及***
CN104731796A (zh) * 2013-12-19 2015-06-24 北京思博途信息技术有限公司 数据存储计算方法和***
CN104376040A (zh) * 2014-10-11 2015-02-25 北京中搜网络技术股份有限公司 一种用于文档索引的文档id压缩方法
CN106484709A (zh) * 2015-08-26 2017-03-08 北京神州泰岳软件股份有限公司 一种日志数据的审计方法和审计装置
CN105740477A (zh) * 2016-03-18 2016-07-06 中国科学院信息工程研究所 针对大规模嵌入式设备固件的函数搜索方法和搜索引擎
CN106354617A (zh) * 2016-08-29 2017-01-25 广州华多网络科技有限公司 程序压缩性日志文件输出方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
喻庚等: "基于索引的快速手写中文文档关键词检索" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888862A (zh) * 2019-11-26 2020-03-17 深圳市随手金服信息科技有限公司 数据存储、查询方法、装置、服务器和存储介质
CN111488439A (zh) * 2020-03-18 2020-08-04 杭州迪普科技股份有限公司 保存和分析日志数据的***和方法
CN111488439B (zh) * 2020-03-18 2023-04-18 杭州迪普科技股份有限公司 保存和分析日志数据的***和方法
CN111444155A (zh) * 2020-04-15 2020-07-24 中国银行股份有限公司 日志文本的处理方法、装置、电子设备及计算机存储介质
CN111444155B (zh) * 2020-04-15 2024-02-02 中国银行股份有限公司 日志文本的处理方法、装置、电子设备及计算机存储介质
CN114697070A (zh) * 2021-12-31 2022-07-01 成都思维世纪科技有限责任公司 一种针对http协议流量动态压缩存储的方法及***
CN114697070B (zh) * 2021-12-31 2024-04-02 成都思维世纪科技有限责任公司 一种针对http协议流量动态压缩存储的方法及***
CN114745195A (zh) * 2022-04-25 2022-07-12 上海海阳气象导航技术有限公司 一种气象导航数据交换方法、***、存储介质及终端
CN115630065A (zh) * 2022-10-18 2023-01-20 天津神舟通用数据技术有限公司 一种基于多压缩模式子分区表的存储和查询方法
CN115630065B (zh) * 2022-10-18 2023-08-22 天津神舟通用数据技术有限公司 一种基于多压缩模式子分区表的存储和查询方法

Also Published As

Publication number Publication date
CN109101504B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN109101504A (zh) 一种高效的日志压缩和索引方法
CN105868305A (zh) 一种支持模糊匹配的云存储数据去重复方法
CN101178709A (zh) 日志记录***和方法
CN108256076A (zh) 分布式海量数据处理方法及装置
CN102193948A (zh) 特征匹配方法和装置
CN101800761B (zh) 一种基于网络字典的无损数据压缩方法
CN111563109A (zh) 基数统计方法、装置、***、设备和计算机可读存储介质
CN106897280A (zh) 数据查询方法及装置
MXPA02008319A (es) Metodo para el procesamiento de flujo de trabajo a traves de red de computadoras.
CN103401933A (zh) 一种资源信息和对应资源文件批量上传的方法和***
CN105100801B (zh) 一种基于大数据的大压缩比数据压缩方法
CN113360501A (zh) 一种基于区块链的分布式数据存储方法及***
CN110362560B (zh) 一种无业务主键数据在存储数据库时去重的方法
CN101916259B (zh) 确定自动机状态转换表的空间压缩方法
CN103778258A (zh) 一种数据库数据的发送、接收方法、客户端、服务器
CN104133883B (zh) 电话号码归属地数据压缩方法
CN113468571A (zh) 基于区块链的溯源方法
CN111221967A (zh) 一种基于区块链架构的语言数据分类存储***
Talasila et al. Generalized deduplication: Lossless compression by clustering similar data
CN101304565B (zh) 移动终端识别方法和单元以及增值服务提供方法和***
CN102790766A (zh) 对象查询的方法、***、对象查询装置和对象查询获取装置
CN115310960A (zh) 基于互联网的数字经济化方法
CN107612554A (zh) 数据压缩处理方法
US8918374B1 (en) Compression of relational table data files
CN112506876A (zh) 一种支持sql查询的无损压缩查询方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant