CN1908932A - 一种海量数据紧缩存储方法及执行装置 - Google Patents

Abstract

本发明涉及一种海量数据紧缩存储方法及执行装置，其包括：选择存储策略的步骤，通过侦测CPU的类型，选择与所述CPU类型相匹配的存储策略进行数据存储；页面内紧缩冗余数据的步骤，在页面内保存一条记录具有完整信息，其它记录均参照该记录；紧缩组合索引的步骤，采用增量的方式记录各个索引记录之间的差别；区分历史数据和活动数据的步骤，将历史数据中由多版本并发控制协议附加的头部版本控制数据去除，并实现历史数据和活动数据的动态转换；重新编码的步骤，在数据库内根据数据值的频度不同，对数据值进行重新编码，并且在不解码的情况下进行运算。用以改进上述现有存储方法所存在的问题和不足，提高查询效率、减小存储空间。

Description

一种海量数据紧缩存储方法及执行装置

技术领域

本发明涉及数据存储技术，其特别涉及一种在使用多版本并发控制协议(MVCC)的数据库管理***(DBMS)中海量数据的存储技术，具体的讲是一种海量数据紧缩存储方法及执行装置。

背景技术

数据库存储子***是数据库***的重要组成部分，它负责数据在存储介质上的保存、向查询处理子***提供数据存取。存储方法指的是数据在永久性介质(如磁盘、磁带)上的存放格式和在易失性介质(如普通内存)上的存放方式。

通常的存储方法有如下几种：

一、保守存储的策略：这是传统的存储方式[1]。因为有些CPU要求内存中的数据按照数据类型进行对齐存放，所以这种方法兼顾到这部分CPU，将数据在磁盘和内存中都按照对齐要求进行存放。这种情况下，CPU的效率是最好的，但是无疑会增加数据的存储规模，增加I/O量。

二、紧凑存储的策略：许多***根据CPU的特点使用该策略[2]。例如如果CPU没有内存对齐的要求，例如Intel的32位CPU系列，DBMS就可以将数据不对齐在存储介质上存放。这样就会缩小数据占用的存储空间，从而减少I/O量，提升查询效率。这种方法在一定程度上会给CPU带来一些负担，因为对齐的工作实际上在CPU内部完成。

三、压缩存储的策略：有些***采取压缩部分数据的方式节省存储空间[3]。为了压缩数据，需要使用耗费CPU的LZ算法或者其它压缩算法。由于压缩后的数据失去了数据格式，所以当数据提供给查询子***时，又需要耗费CPU进行解压缩。

方法一在CPU瓶颈的应用中有优势，但是在I/O瓶颈的应用中如果使用不需要对齐的CPU，那么方法二就具有优势。同时，方法一会浪费存储介质。在对于CPU足够富余的应用中，方式三具有一定的好处。然而，上述这些***不具有根据数据的语义特点进行优化的特点。

发明内容

本发明的目的在于，提供一种海量数据紧缩存储方法及执行装置，用以改进上述现有存储方法所存在的问题和不足，提高查询效率、减小存储空间。

本发明的技术方案为：

一种海量数据紧缩存储方法，其包括以下步骤：

选择存储策略的步骤，通过侦测CPU的类型，选择与所述CPU类型相匹配的存储策略进行数据存储；

页面内紧缩冗余数据的步骤，在页面内保存一条记录具有完整信息，其它记录均参照该记录；

紧缩组合索引的步骤，采用增量的方式记录各个索引记录之间的差别；

区分历史数据和活动数据的步骤，将历史数据中由多版本并发控制协议(MVCC)附加的头部版本控制数据去除，并实现历史数据和活动数据的动态转换；

重新编码的步骤，在数据库内根据数据值的频度不同，对数据值进行重新编码，并且在不解码的情况下进行运算。

在所述的页面内紧缩冗余数据的步骤中，首先评价一个页面内的重复值出现的频度，在达到预定频度后，选取一条记录完整记录其值，然后其它记录均参照该记录。

在所述的重新编码的步骤中，根据数据库中数据值(数值、字符或者字符串)出现的频度，给数据值在数据库内部进行重新编码，频度高的数据值采用短编码，而频度低的数据值采用长编码。

本发明还提供了一种海量数据紧缩存储执行装置，其包括：

存储策略选择单元，用于侦测CPU的类型，调用与所述CPU类型相匹配的存储策略进行数据存储；

冗余数据紧缩单元，用于判断一个页面内的重复值出现的频度，在达到预定频度后选取一条记录，完整记录其值，并使其它记录均参照该记录；

历史数据紧缩单元，用于将历史数据中由多版本并发控制协议(MVCC)附加的头部控制数据去除，并实现历史数据和活动数据的动态转换；

重新编码单元，用于在数据库内根据数据值的频度不同，对数据值进行重新编码，并且在不解码的情况下进行运算。

组合索引紧缩单元，采用增量的方式记录各个索引记录之间的差别。

本发明的有益效果在于：提高了I/O效率：由于数据存储规模大大减小，所以访问同样的数据量需要访问的页面也少；比普通压缩方式不耗费CPU：本发明重复利用数据的冗余度采用重编码和参照相邻元组值的方式，不需要进行常规的压缩算法就能达到数据量减少的好处，而且大部分计算都不必解开数据；节省了存储空间；因为冗余的减少而节省存储空间。

附图说明

图1为侦测Kingbase6执行引擎结构图；

图2为侦测CPU选择存储策略的流程图；

图3为页面内紧缩冗余数据的流程图；

图4为重新编码的流程图；

图5为区分历史数据和活动数据的流程图；

图6为本发明装置的结构框图；

图7为页面的存储格式图；

图8为每个元组的控制格式图。

具体实施方式

下面结合附图说明本发明的具体实施方式。针对上述现有存储方法所存在的问题和不足之处，本发明基于使用MVCC并发协议的数据库***提出了一种可提高查询效率、减小存储空间的数据紧缩存储方法。该数据紧缩存储方法包括：

如图1所示，为KingbaseES6数据库执行引擎101，执行数据库清理命令，采用数据语义分析模块进行分析，其中包括：选择存储策略的步骤，通过侦测CPU的类型，选择与所述CPU类型相匹配的存储策略进行数据存储；当确定了存储策略后进行一下步骤：

页面内紧缩冗余数据的步骤，在页面内保存一条记录具有完整信息，其它记录均参照该记录；

区分历史数据和活动数据的步骤，将历史数据中由多版本并发控制协议附加的头部控制数据去除，并实现历史数据和活动数据的动态转换；

重新编码的步骤，在数据库内根据数据值的频度不同，对数据值进行重新编码，并且在不解码的情况下进行运算。

紧缩组合索引的步骤，采用增量的方式记录各个索引记录之间的差别。

本发明方法包括以下两个方面的内容：

堆数据(heap)的紧缩存储；索引数据(index)的紧缩存储。

其中，堆是指普通的关系数据，索引是指B+tree或者其它索引数据。数据中的每个有格式数据称为一个元组(或记录)。所有的元组都存储在页面中，一个页面是文件中固定大小的块。

由于这个方法要比普通的使用压缩算法的方法在CPU上要节省的多，并且具有保持记录结构，不必解紧缩就可以进行数据运算等特点，所以我们称之为数据紧缩方法，以进行区别。

首先我们说明堆数据的紧缩存储方法。

针对平台。针对不同的平台，包括IA32，SPARC等，我们采用了保守的数据存储策略和紧凑策略相结合的办法。这个选择过程可以由用户指定，例如对于CPU瓶颈的应用，用户可以指定采取保守策略，否则可以采取紧凑策略。

页内紧缩。在页面内，有大量的元组具有重复值，那么对于这部分值我们也可以考虑通过减少冗余来达到减小存储容量和I/O的目的。根据在非覆盖存储方式上MVCC协议不删除历史数据的特点，我们首先评价一个页面内的重复值出现频度，在达到一定频度后，选取一条记录完整记录其值，然后其它记录均参照它。既然记录不被删除，所以这样就完全没有维护代价。

区分历史和活动数据。在堆数据中为了标注记录的不同版本，MVCC需要在记录的头部附加一个大小不等的记录头。在比较大型的数据库中，这会带来不小的存储开销，导致IO效率降低。实际上，观察到一个数据库中的绝大部分数据是历史数据，也就是说它们是有已经提交的事务产生的，而活动数据是处于活动中的事务产生的。历史数据的控制信息可以非常简短的表示。这样就会减小数据库的规模。考虑到历史数据和活动数据都是相对的，它们需要相互地转换，我们在实现回滚段技术的同时实现了这个自动的转化过程。

重新编码整体紧缩。由于数据库中数据值(数值、字符或者字符串)出现的频度不同，我们可以给数据值在数据库内部进行重新编码，频度高的数据值采用短编码，而频度低的采用长编码，这样对于许多重复模式的记录我们大大减少它的长度。这种方式比直接对整个元组使用普通的压缩算法具有三个优点(i)保持元组结构；(ii)编码过程是个线性转换；(iii)少耗费CPU的特点；但是相对前面的其它方法还是要多用CPU。我们采用三个措施改进：(i)选择性的进行处理。当预测的重编码的好处达到一定程度后，我们才进行这个处理；(ii)推迟解紧缩时机。由于我们的编码是个线性变换，数据通常不需要解紧缩就可以进行运算。只有到了非紧缩不可的时候，我们才做。(iii)客户端分担解紧缩。用户可以选择解紧缩的位置是在客户端还是服务器端。

然后我们说明索引数据的紧缩存储方法：

优化组合索引。除了对于堆数据的选择存储策略的步骤和页面内紧缩冗余数据的步骤外。我们特别为组合索引进行存储优化。因为观察到在组合索引中除了最后一列外，前面几列(称为前缀)的数据几乎都是一样的，而且保持有序。那么我们可以考虑类似前面处理堆的压缩记录的方式来减小数据冗余。同时，由于索引数据的有序性，我们采用增量的方式来记录各个索引记录之间的差别，这是堆数据所没有采用的(因为紧缩程度不够高)。索引没有采用堆数据的重新编码的步骤，这是因为在索引中应用此类方法的情况很少。

在KingbaseES6***中实现了本发明装置。即：一种海量数据紧缩存储执行装置(如图6所示)，其包括：

存储策略选择单元，用于侦测CPU的类型，调用与所述CPU类型相匹配的存储策略进行数据存储；

冗余数据紧缩单元，用于判断一个页面内的重复值出现的频度，在达到预定频度后选取一条记录，完整记录其值，并使其它记录均参照该记录；

历史数据紧缩单元，用于将历史数据中由多版本并发控制协议附加的头部控制数据去除，并实现历史数据和活动数据的动态转换；

重新编码单元，用于在数据库内根据数据值的频度不同，对数据值进行重新编码，并且大多数运算可以在不解码的情况下进行。

组合索引紧缩单元，采用增量的方式记录各个索引记录之间的差别。

如图2所示，准备初始化数据库，执行所述的存储策略选择单元，用于通过安装脚本判定CPU的类型，并考虑用户要求；判断CPU是否可以处理非对齐数据，如果是则选择非对齐方式存储数据，如果否，则选择对齐方式存储数据。然后进入初始化数据库。

如图3所示，当准备***数据时，执行所述的冗余数据紧缩单元，对于***的新记录判断页面是否为满；如果满则进一步分析页面内数据冗余度，选择本次最佳参照记录并重新组织页面，如果空间有节余，则继续在该页面上进行***操作，如果空间没有节余则转入下一个页面。如图4所示，准备重新编码时，执行所述的重新编码单元，根据关系大小抽样若干页面并计算值域分布图，根据分布图选择若干编码方式并在样本页面上尝试，根据用户查询运行时记录的SQL日志，判定是否对用户查询有利，如果有利则进行重新编码，否则结束。之所以进行是否对用户查询有利的判断，是因为该方法可能导致用户查询使用更多的CPU，而如果从SQL日志判断为CPU瓶颈，则不必采用该紧缩方法。

如图5所示，在准备区分历史数据时，执行所述的历史数据紧缩单元，对于目标关系A，建立一个同结构的新的关系B，从A中读取一个元组，然后判断是否为确定已经提交或确定已经回滚，如果是：则去除头部信息，并设置标志位，拷贝至关系B；如果否：则直接拷贝至关系B。然后再判断关系A中是否还有元组，如果是：则继续上述的步骤，如果否：则将关系A替换为关系B，结束。

通过上述各单元处理后的数据存入数据字典和/或业务数据库，已被数据的使用。

其中，在数据库的具体存储上，页面的格式如图7所示。它实现了页面内紧缩冗余数据的步骤和紧缩组合索引的步骤：

其中，具体每个元组的控制格式如图8所示。它实现了选择存储策略的步骤，区分历史数据和活动数据的步骤和重新编码的步骤。

其中，使用“行信息位”这个单元来说明该行数据是否为历史数据，数据采取的紧缩方式(和字典信息配合使用)。

在采用该方法后，针对典型的OLTP应用(如TPCC测试)，测试的平均数据空间使用率减小30～40％。在I/O瓶颈的应用中数据库性能提升20％～30％。图1是该方法在KingbaseES 6***的核心执行引擎中的示意图。

具体而言，本发明具有以下优点：

1、提高了I/O效率：由于数据存储规模大大减小，所以访问同样的数据量需要访问的页面也少；

2、比普通压缩方式不耗费CPU：我们的方法重复利用数据的冗余度采用重编码和参照相邻元组值的方式，不需要进行常规的压缩算法就能达到数据量减少的好处，而且大部分计算都不必解开数据；

3、节省了存储空间；因为冗余的减少而节省存储空间。

以上具体实施方式仅用于说明本发明，而非用于限定本发明。

说明：

[1]见Database System Implementation，H.Garcia-Molina，J.D.Ullman，J.Widom著，Prentice Hall出版

[2]如SQL Server 2000，见Microsoft的SQL Server 2000Book Online

[3]如PostgreSQL，见Postgresql数据库的ALTER TABLE...SET STORAGE子句

Claims (7)

1.一种海量数据紧缩存储方法，其特征在于包括以下步骤：

选择存储策略的步骤，通过侦测CPU的类型，选择与所述CPU类型相匹配的存储策略进行数据存储；

页面内紧缩冗余数据的步骤，在页面内保存一条记录具有完整信息，其它记录均参照该记录；

紧缩组合索引的步骤，采用增量的方式记录各个索引记录之间的差别；

区分历史数据和活动数据的步骤，将历史数据中由多版本并发控制协议附加的头部控制数据去除，并实现历史数据和活动数据的动态转换；

重新编码的步骤，在数据库内根据数据值的频度不同，对数据值进行重新编码，并且在不解码的情况下进行运算。

2.根据权利要求1所述的方法，其特征在于还包括：将上述步骤处理的数据存入数据库和/或数据字典。

3.根据权利要求1所述的方法，其特征在于，通过侦测CPU的类型，选择紧凑存储的策略对数据进行存储。

4.根据权利要求1所述的方法，其特征在于，在所述的页面内紧缩冗余数据的步骤中，首先评价一个页面内的重复值出现的频度，在达到预定频度后，选取一条记录完整记录其值，然后其它记录均参照该记录。

5.根据权利要求1所述的方法，其特征在于，在所述的重新编码的步骤中，根据数据库中数据值出现的频度，给数据值在数据库内部进行重新编码，频度高的数据值采用短编码，而频度低的数据值采用长编码。

6.一种海量数据紧缩存储执行装置，其特征在于包括：

存储策略选择单元，用于侦测CPU的类型，调用与所述CPU类型相匹配的存储策略进行数据存储；

冗余数据紧缩单元，用于判断一个页面内的重复值出现的频度，在达到预定频度后选取一条记录，完整记录其值，并使其它记录均参照该记录；

组合索引紧缩单元，采用增量的方式记录各个索引记录之间的差别；

历史数据紧缩单元，用于将历史数据中由多版本并发控制协议附加的头部控制数据去除，并实现历史数据和活动数据的动态转换；

重新编码单元，用于在数据库内根据数据值的频度不同，对数据值进行重新编码，并且在不解码的情况下进行运算。

7.根据权利要求6所述的装置，其特征在于还包括：将上述装置处理的数据存入数据库和/或数据字典。

Images