CN1904882A - 数据库近线数据的压缩方法 - Google Patents
数据库近线数据的压缩方法 Download PDFInfo
- Publication number
- CN1904882A CN1904882A CN 200510087061 CN200510087061A CN1904882A CN 1904882 A CN1904882 A CN 1904882A CN 200510087061 CN200510087061 CN 200510087061 CN 200510087061 A CN200510087061 A CN 200510087061A CN 1904882 A CN1904882 A CN 1904882A
- Authority
- CN
- China
- Prior art keywords
- data
- compression
- database
- line data
- compression method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
对数据库近线数据的一种压缩方法。可有效地扩大近线数据库的存储容量和近线数据的使用周期，有助于提高在线数据的访问效率，并减少对离线数据进行查询的可能性。
Description
技术领域
本发明属数据库压缩技术。
背景技术
数据库的数据，按其使用状态，一般分为如下三种：在线数据，即高频度实时查询的数据；近线数据，即访问频度较低的数据；离线数据，即归档存储的历史数据，对这些数据不再经常查询。
对于近线数据，现有的数据库技术尚未提供压缩方法，本发明便是对该领域的一种技术创新。
对近线数据进行压缩，可扩大近线数据库的数据容量，有助于延长其使用周期，从而可缓解对在线数据的查询压力，提高其响应时间和使用效率，也可降低对归档历史数据的查询需求。
发明内容
本发明的主要内容是为数据库的近线数据提供数据压缩方法，当数据库管理***在内存缓冲区与磁盘文件之间交换数据时，对数据块进行压缩/解压缩处理。
附图说明
图1：一般数据库管理***的示意图
图2：具有数据压缩功能的数据库管理***的示意图
具体实施方式
本发明的核心技术是把数据压缩技术嵌入到数据库管理***中。当数据库管理***要把缓存中的数据块写入磁盘时，先对数据块作压缩处理，然后再写入磁盘；反之，当数据库管理***将数据块从磁盘读入缓存时，对数据块作相应的解压缩处理。
一般数据库管理***的示意图如图1所示。
数据库管理***所涉及的物理数据文件一般有四种类型：参数文件、控制文件、数据文件及日志文件。
参数文件和控制文件的数据量不是很大，一般不考虑对它们的压缩处理。数据文件的数据量很大，可以在数据块的读写时增加压缩/解压缩处理。日志文件的数据量一般也是很大，但用作近线数据处理的数据库，考虑到其对数据库数据修改操作的频率不是很高，日志文件的数据量也可能不是很大，所以对日志文件数据块读写时的压缩/解压缩处理可以作为可选项。本选项可以在数据库管理***安装时，由***管理员选择。
增加压缩/解压缩处理模块后的数据库管理***的示意图如图2所示。
与原来的数据库管理***相比，增加压缩/解压缩处理后，数据库管理***数据访问的响应时间可能会有一些延长。但考虑到以下几点因素，这种延迟不会太大。因为：一是对数据块的压缩/解压缩处理，跟对数据块的读写操作一样，是由后台进程完成的，对数据的读写和压缩/解压缩两种处理在一定程度上可以并行处理；二是通常对于近线数据的访问频度大大低于在线数据，***有相对充裕的处理能力。
本发明的主要价值为：
1、在不增加存储设备投入的情况下，大大增加近线数据的存储容量。
2、对近线数据的查询访问，可使用与在线数据相同的应用软件，不必另行开发应用***。
Claims (3)
1、近线数据库的一种数据压缩方法，其主要特征是：当数据库管理***在内存缓存区与磁盘文件之间交换数据时，对数据块进行压缩/解压缩处理。
2、如权利要求1所述的近线数据库的数据压缩方法，对数据库的数据文件进行压缩/解压缩处理。
3、如权利要求1所述的近线数据库的数据压缩方法，对日志文件或其它文件进行压缩/解压缩处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200510087061 CN1904882A (zh) | 2005-07-26 | 2005-07-26 | 数据库近线数据的压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200510087061 CN1904882A (zh) | 2005-07-26 | 2005-07-26 | 数据库近线数据的压缩方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1904882A true CN1904882A (zh) | 2007-01-31 |
Family
ID=37674148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200510087061 Pending CN1904882A (zh) | 2005-07-26 | 2005-07-26 | 数据库近线数据的压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1904882A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101446951A (zh) * | 2007-11-20 | 2009-06-03 | 通用电气公司 | 用于提供最近和摘要数据的压缩数据存储 |
| CN101847162A (zh) * | 2010-05-25 | 2010-09-29 | 中国电力科学研究院 | 基于文件和数据库交换的电力***仿真中心数据处理方法 |
| CN101576855B (zh) * | 2009-06-19 | 2011-05-04 | 深圳市科陆电子科技股份有限公司 | 一种基于缓存的数据存储***及方法 |
| CN104462176A (zh) * | 2013-09-19 | 2015-03-25 | 国际商业机器公司 | 用于通过使用解压缩图进行数据访问的***和方法 |
| CN107436738A (zh) * | 2017-08-17 | 2017-12-05 | 北京理工大学 | 一种数据存储方法及*** |
| US10432217B2 (en) | 2016-06-28 | 2019-10-01 | International Business Machines Corporation | Page filtering via compression dictionary filtering |
-
2005
- 2005-07-26 CN CN 200510087061 patent/CN1904882A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101446951A (zh) * | 2007-11-20 | 2009-06-03 | 通用电气公司 | 用于提供最近和摘要数据的压缩数据存储 |
| CN101576855B (zh) * | 2009-06-19 | 2011-05-04 | 深圳市科陆电子科技股份有限公司 | 一种基于缓存的数据存储***及方法 |
| CN101847162A (zh) * | 2010-05-25 | 2010-09-29 | 中国电力科学研究院 | 基于文件和数据库交换的电力***仿真中心数据处理方法 |
| US10437827B2 (en) | 2013-09-19 | 2019-10-08 | International Business Machines Corporation | Data access performance using decompression maps |
| CN104462176B (zh) * | 2013-09-19 | 2018-05-11 | 国际商业机器公司 | 用于通过使用解压缩图进行数据访问的***和方法 |
| US10437826B2 (en) | 2013-09-19 | 2019-10-08 | International Business Machines Corporation | Data access performance using decompression maps |
| CN104462176A (zh) * | 2013-09-19 | 2015-03-25 | 国际商业机器公司 | 用于通过使用解压缩图进行数据访问的***和方法 |
| US10432217B2 (en) | 2016-06-28 | 2019-10-01 | International Business Machines Corporation | Page filtering via compression dictionary filtering |
| US10439638B2 (en) | 2016-06-28 | 2019-10-08 | International Business Machines Corporation | Page filtering via compression dictionary filtering |
| US10903850B2 (en) | 2016-06-28 | 2021-01-26 | International Business Machines Corporation | Page filtering via compression dictionary filtering |
| US10903851B2 (en) | 2016-06-28 | 2021-01-26 | International Business Machines Corporation | Page filtering via compression dictionary filtering |
| CN107436738A (zh) * | 2017-08-17 | 2017-12-05 | 北京理工大学 | 一种数据存储方法及*** |
| CN107436738B (zh) * | 2017-08-17 | 2019-10-25 | 北京理工大学 | 一种数据存储方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | Optimizing Space Amplification in RocksDB. | |
| CN102609360B (zh) | 一种数据处理方法、装置及*** | |
| CN103488709B (zh) | 一种索引建立方法及***、检索方法及*** | |
| CN103116661B (zh) | 一种数据库的数据处理方法 | |
| CN1904882A (zh) | 数据库近线数据的压缩方法 | |
| US20080162523A1 (en) | Techniques for selective compression of database information | |
| CN103020205A (zh) | 一种分布式文件***上基于硬件加速卡的压缩解压缩方法 | |
| US9996557B2 (en) | Database storage system based on optical disk and method using the system | |
| CN105378716B (zh) | 一种数据存储格式的转换方法及装置 | |
| US20130124796A1 (en) | Storage method and apparatus which are based on data content identification | |
| CN105027122A (zh) | 压缩和重复数据删除分层驱动 | |
| CN101493821A (zh) | 数据缓存方法和装置 | |
| CN108427539A (zh) | 缓存设备数据的离线去重压缩方法、装置及可读存储介质 | |
| CN101625703B (zh) | 一种内存数据库的日志合并方法和*** | |
| CN111475507B (zh) | 一种工作负载自适应单层lsmt的键值数据索引方法 | |
| WO2014188528A1 (ja) | メモリ装置、計算機システム及びメモリ装置の制御方法 | |
| CN105094709A (zh) | 一种固态盘存储***的动态数据压缩方法 | |
| CN101221585A (zh) | 数据存储方法及装置 | |
| CN110908608A (zh) | 一种存储空间节省方法及*** | |
| CN102147768A (zh) | 存储器、固态缓存***及缓存数据处理方法 | |
| CN103488685A (zh) | 一种基于分布式存储***的碎片文件存储方法 | |
| WO2022037015A1 (zh) | 一种基于持久性内存的列式存储方法、装置及设备 | |
| CN107656971A (zh) | 一种基于Redis的智能电网采集监测数据存储方法 | |
| WO2023185111A1 (zh) | 一种数据文件的快速存取方法及装置 | |
| WO2023024459A1 (zh) | 一种数据处理的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |