CN105306063B - 一种记录型数据存储空间的优化与恢复方法 - Google Patents

Abstract

本发明涉及一种记录型数据存储空间的优化与恢复方法，所述记录型数据存储空间的优化方法通过归并与哈希的方法，实现记录数据的去重与字典压缩，通过优化的无符号整数编码方法来提高了无符号整数序列的存储效率，从而优化了记录型数据存储空间；通过与优化的无符号整数编码方法相对应的优化的无符号整数解码方法来恢复记录型数据。

Description

一种记录型数据存储空间的优化与恢复方法

技术领域

本发明涉及一种记录型数据存储空间的优化与恢复方法。

背景技术

随着大数据时代的来临，数据以***式的方式急速增长，这给数据存储体系带来了极大的挑战。在数据格式上，传统的记录型数据仍然是主要的信息数据组织格式，典型代表有严格数据模式的关系型数据库数据，还有半结构化的JSON数据格式和XML格式。他们的特点如下：

1)对于经典的关系型数据库数据，其数据模式规范在海量数据存储时，其严格的数据存储要求会严重降低数据库性能，造成非常大的数据响应延时。

2)对于JSON以及XML时现在流行的数据格式，以其半结构化的存储格式，可以灵活表示数据。但一条这类数据只记录一条信息，当有多条信息是相似的时候，也需要多条数据来存储，浪费了存储空间。

数据编码也是压缩数据存储空间的重要方法，传统的数值数据编码方法有游程编码和变成无符号整数编码varint编码。

1)游程编码主要用于有序数据集合中，数据重复出现的压缩存储优化。传统游程码的原理为将连续重复出现的数据只存储一个，紧跟其后的是该数据的重复次数。如有以下一维数据集合：

[A,A,A,B,B,B,B,C,D,D,E,E,E,F,F,G,G,G,H,H,H]

采用传统游程编码后为：

[A,3,B,4,C,1,D,2,E,3,F,2,G,3,H,3]

可以看到数据存储总量确实有所减少，这在集合中数据大量连续重复时是有空间节约的。但当集合中数据重复并不大量时，可能会增加存储空间，如以下一维集合：

[A,B,B,C,D,E,E,E,E,E,E,E,F,F,F,G,H]

编码后为：

[A,1,B,2,C,1,D,1,E,7,F,3,G,1,H,1]

存储空间并未节约，为了解决这种情况，就提出了优化的游程编码，其并不是对每个数据做游程编码，而是在重复次数大于1的数据前加一个标志数据，在读一个数据时，如果遇到了标志数据，表明其后的数据进行了游程编码，否则就是没进行编码的数据，其只出现一次。设标志为S，则上面的一维集合编码后为：

[A,S,B,2,C,D,S,E,7,S,F,3,G,H]

可以看到，数据被节约存储，但标志的引入也是带来了额外的存储开销。

2)varint编码是将一个字节分成两个部分，高位的1个bit为标志位，表示下一个字节是否属于当前数值，后7个bit为数值内容，如前文中无符号int值300，其编码如下：

300→00101100 10000010

这里高位的1个bit标志位，为0时表示后面一个字节属于当前数值；为1时表示，本字节就是当前数值的最后一个字节。而每个属于该数字的字节的后7个bit为数值，通过位操作可以轻松得与对应数值相互转换。varint是针对单个数值编码的，其空间利用率高。但当出现整数数组且数值中有连续重复出现的数值时，这种方法就不能用有像游程编码一样的压缩效果了。

这里采用内存的小端表示法，即数值的低位放在内存的低地址处，数值的高位放在内存的高地址处；从左到右，内存地址从小到大；一个字节内部为位7～位0。

发明内容

针对传统的记录型数据存储方式以及传统数值编码方式的不足，本发明提供一种记录型数据存储空间的优化与恢复方法。

为此，本发明采用如下技术方案：

一种记录型数据存储空间的优化方法，通过对记录型数据的去重和编码来实现存储空间的优化，所述优化方法包括如下步骤：

(1)数据预处理

所述数据预处理包括字段分组和格式转换，所述字段分组为将记录型数据的字段进行分组，所述格式转换为将字段组转化为***所需的预处理格式；

(2)数据去重与字典压缩

将预处理后的数据再次分组，每一个组为一个处理组，每个处理组内使用归并与哈希的方法，在每个处理组中将产生多棵记录树，记录树的节点为字段组，记录树的节点为字符表示的无符号整数，使用字典编码将每个字段转化成一个字典；

(3)记录树编码

在记录树中，对每个记录树集合中的记录树的节点使用优化的变长无符号整数编码方法进行编码；

(4)记录树集合与字典集合的保存

将每个字段组处理后产生的字典集合以及编码后的记录树集合写入数据块中，将数据块写入文件流中，同时在每个块后写入同步标记。

优选地，步骤(1)中的格式转换包括字段组内和字段组间使用预定义分隔符分隔，经过格式转换后的数据成为预处理记录，类型为字符串。

优选地，字段组内使用的预定义分隔符为“,”；字段组间使用的预定义分隔符为“#”。

优选地，步骤(2)中归并与哈希后的记录树以深度优先顺序存放各个节点。

优选地，步骤(3)中优化的无符号整数编码方法包括如下步骤：

(301)获取一个字段组；

(302)将字段组转换为一个整数数组；

(303)存储整数数组中元素个数；

(304)保存当前位置为待编码值，从整数数组当前位置遍历数组，统计当前数值的连续重复次数；

(305)将当前数值的二进制后6位存入编码第一个字节的后六位，当前数值右移6位，如果移位后结果为0，则修改编码第一字节的位7为1；如果移位后结果大于0，则修改第一字节的位7为0，移位结果进行varint编码，编码结果紧跟在第一字节后面；

(306)对重复次数值进行游程码编码，如果该数值连续出现次数小于2，则修改第一字节的位6为1；否则，则修改第一字节的位6为0，用varint编码重复次数值，紧跟在当前数值编码结果后面；

(307)如果数组中还有元素，则设置下一个值的位置为当前位置，回到(304)；否则，数组编码结束，返回结果。

优化的无符号整数编码方式，其第一个编码字节有两个标志位，位7为是否下一字节为当前数值标记，位6为当前数值是否采用游程编码标志。而数值编码的第二字节起(如果数值超过2的6次方)，则数值右移6为后的部分使用varint编码。如果使用游程编码，则重复次数数值使用varint编码，并紧跟在当前数值编码的后面。第一个编码字节的标志位规则如下：

如对于无符号整数序列[300,300,300,50,5000,5000,60,60,130]，

使用传统的varint编码需要15字节，而使用本编码方法仅需要11字节，其结果为：

一种用于记录型存储空间优化后的数据恢复方法，所述恢复方法包括如下步骤：

(1’)数据块的获取

在文件流中定位数据块同步标记，取出数据块；

(2’)记录树的解码

将编码后的记录树恢复为无符号整数数组，再转换为字典码字段组；

(3’)记录树的恢复

采用深度优先遍历记录树的方法来恢复数据。

优选地，步骤(2’)中记录树的解码包括如下步骤：

(201’)读入数据块中整数数组中元素个数；

(202’)生成一个整数集合，用于存放解码数值；

(203’)保存当前字节为编码首字节；

(204’)将首字节的后6位保存在当前数值解码结果中；

(205’)判断首字节的位7，如果位7为“0”，则下一个字节属于当前数值，从下一个字节起使用varint解码，其中首字节中的后6位为当前数值解码结果的低6位，解码结束后，并将扫描位置移到下一个字节；如果位7为“1”，则首字节的后6位即为当前数值解码结果；

(206’)判断首字节的位6，如果位6为“0”，则数值编码的后面紧跟着的是当前数值的重复次数的编码，使用varint解码，即得重复次数值；如果位6为“1”，则当前数值的重复次数为0，即重复次数值为1；

(207’)将数值按照重复出现的次数填充入整数集合中，并将重复次数累加到已解码数组元素的计数器中；

(208’)如果已解码数组元素的计数器小于数值元素个数，则处理字节移动到下一个字节，跳到(203’)；否则数组解码结束，得到整数解码集合；

(209’)将整数解码集合中的数值依次转换为字符数字形式，在字符数字形式数值的两边添加分割符，并写入记录树中，添加字段组开始与结束标志。

优选地，步骤(209’)中的分隔符为“(”或“)”。

优选地，步骤(3’)中记录树的恢复包括如下步骤：

(301’)生成一个栈，用于存放记录树的节点；

(302’)识别记录树的节点，并放入栈中；

(303’)如果下一个字符为为字段组分隔符，则栈中的节点已经构成一条记录，依次取出节点组成一条记录，然后将栈的节点弹出；

(304’)如果该字符为子树开始标记，则移动到下一个字符；

(305’)如果该字符为子树结束标记，则栈中的节点已经构成一条记录，依次取出节点组成一条记录，继续移动到下一个，直到下一个字符不为子树结束标记，其中，每移动一次，栈就弹出一个节点，如果扫描到记录树结尾，则恢复结束。

本发明提供一种记录型数据存储空间的优化方法和与其相对应的恢复方法，所述记录型数据存储空间的优化方法通过归并与哈希的方法，实现记录数据的去重与字典压缩，通过优化的无符号整数编码方法来提高了无符号整数序列的存储效率，从而优化了记录型数据存储空间；通过与优化的无符号整数编码方法相对应的优化的无符号整数解码方法来恢复记录型数据。

附图说明

图1为本发明所提供的数据去重、压缩与恢复的过程图；

图2为本发明所提供的无符号整数数组编码的流程图；

图3为本发明所提供的无符号整数数组解码的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细地描述。

图1为本发明所提供的数据去重、压缩与恢复的过程图，包括5个部分：数据预处理、数据去重与字典压缩、记录树编码、数据保存和数据恢复，具体包括如下步骤：

1)对原数据进行预处理，将字段进行分组，处理后的数据就由字段组组成；

2)对预处理数据进行分组，每一个组为一个处理组，对处理组进行去重与字典编码。每个处理组将产生字典集合和记录树集合；

3)对每个记录树集合中的记录树进行编码，其中每个字段组使用优化的变长无符号整数编码方法。而原记录树中的子树标记保留；

4)将每个字段组处理后产生的字典集合以及编码后的记录树集合写入数据块中。并将数据块逐个写入文件中；

5)数据恢复时，先从文件中识别出数据块，然后将数据块中的编码记录树集合解码，再与字典集合一起，将数据恢复为CSV格式的记录。

图2为本发明所提供的优化的变长无符号整数数组编码的流程图，具体包括如下步骤：

1)得到一个整数数组；

2)存储整数数组中元素个数；

3)保存当前位置值为待编码值num，从数组当前位置遍历数组，统计num的连续重复次数count；

4)生成一个字节数组tmpArr，tmpArr[0]＝num&0x3f；

5)num>>＝6，如果num为0则tmpArr[0]|＝0x80；否则，使用varint编码方法编码num，将编码所得字节放在tmpArr[0]后面；

6)对重复次数值进行游程码编码，如果count小于2，则tmpArr[0]|＝0x40；否则，用varint编码方法编码count，将编码所得字节放在num在tmpArr编码结果的后面；

7)将tmpArr字节数组写入数据缓存；

8)如果数组中还有元素，则取后续第一个与当前编码值不相同的数值的位置为当前位置，回到3)；否则，数组编码结束，返回数据缓存。

图3为本发明所提供的优化的变长无符号整数数组解码的流程图，具体包括如下步骤：

1)读入数组元素个数numCount；

2)生成一个整数集合result，作为解码；

3)取到需解码无符号整数数组的编码字节序列；

4)保存当前解码的第一个字节为head；

5)当前解码数值num＝head&0x3f；

6)如果head&0x80为0，则使用varint解码后续字节，解码结果左移6位，num|＝解码结果，并将扫描位置移到下一个字节；否则，对num不做处理，保留5)所得的值；

7)如果head&0x40为0，则使用varint解码后续字节，解码数值存入cnt；否则，cnt＝1；

8)将num顺序添加到整数集合result中，添加cnt次；

9)累加每次解码的cnt值，如果累加结果小于numCount，则取解码字节的后续第一个字节为head，回到5)；否则解码结束，result集合为解码结果。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (9)

1.一种记录型数据存储空间的优化方法，其特征在于，通过对记录型数据的去重和编码来实现存储空间的优化，所述优化方法包括如下步骤：

(1)数据预处理

所述数据预处理包括字段分组和格式转换，所述字段分组为将记录型数据的字段进行分组，所述格式转换为将字段组转化为***所需的预处理格式；

(2)数据去重与字典压缩

将预处理后的数据再次分组，每一个组为一个处理组，每个处理组内使用归并与哈希的方法，在每个处理组中将产生多棵记录树，记录树的节点为字段组，记录树的节点为字符表示的无符号整数，使用字典编码将每个字段转化成一个字典；

(3)记录树编码

在记录树中，对每个记录树集合中的记录树的节点使用优化的变长无符号整数编码方法进行编码；

(4)记录树集合与字典集合的保存

将每个字段组处理后产生的字典集合以及编码后的记录树集合写入数据块中，将数据块写入文件流中，同时在每个块后写入同步标记，同步标记用于定位数据块，为一组字节序列。

2.根据权利要求1所述的一种记录型数据存储空间的优化方法，其特征在于，步骤(1)中的格式转换包括字段组内和字段组间使用预定义分隔符分隔，经过格式转换后的数据成为预处理记录，类型为字符串。

3.根据权利要求2所述的一种记录型数据存储空间的优化方法，其特征在于，字段组内使用的预定义分隔符为“,”；字段组间使用的预定义分隔符为“#”。

4.根据权利要求1所述的一种记录型数据存储空间的优化方法，其特征在于，步骤(2)中归并与哈希后的记录树以深度优先顺序存放各个节点。

5.根据权利要求1所述的一种记录型数据存储空间的优化方法，其特征在于，步骤(3)中优化的无符号整数编码方法包括如下步骤：

(301)获取一个字段组；

(302)将字段组转换为一个整数数组；

(303)存储整数数组中元素个数；

(304)保存当前位置为待编码值，从整数数组当前位置遍历数组，统计当前数值的连续重复次数；

(305)将当前数值的二进制后6位存入编码第一个字节的后六位，当前数值右移6位，如果移位后结果为0，则修改编码第一字节的位7为1；如果移位后结果大于0，则修改第一字节的位7为0，移位结果进行varint编码，编码结果紧跟在第一字节后面；

(306)对重复次数值进行游程码编码，如果该数值连续出现次数小于2，则修改第一字节的位6为1；否则，则修改第一字节的位6为0，用varint编码重复次数值，紧跟在当前数值编码结果后面；

(307)如果数组中还有元素，则设置下一个值的位置为当前位置，回到(304)；否则，数组编码结束，返回结果。

6.一种用于权利要求1所述的记录型数据存储空间优化后的数据恢复方法，其特征在于，所述恢复方法包括如下步骤：

(1’)数据块的获取

在文件流中定位数据块同步标记，取出数据块；

(2’)记录树的解码

将编码后的记录树恢复为无符号整数数组，再转换为字典码字段组；

(3’)记录树的恢复

采用深度优先遍历记录树的方法来恢复数据。

7.根据权利要求6所述的一种用于记录型数据存储空间优化后的数据恢复方法，其特征在于，步骤(2’)中记录树的解码包括如下步骤：

(201’)读入数据块中整数数组中元素个数；

(202’)生成一个整数集合，用于存放解码数值；

(203’)保存当前字节为编码首字节；

(204’)将首字节的后6位保存在当前数值解码结果中；

(205’)判断首字节的位7，如果位7为“0”，则下一个字节属于当前数值，从下一个字节起使用varint解码，其中首字节中的后6位为当前数值解码结果的低6位，解码结束后，并将扫描位置移到下一个字节；如果位7为“1”，则首字节的后6位即为当前数值解码结果；

(206’)判断首字节的位6，如果位6为“0”，则数值编码的后面紧跟着的是当前数值的重复次数的编码，使用varint解码，即得重复次数值；如果位6为“1”，则当前数值的重复次数为0，即重复次数值为1；

(207’)将数值按照重复出现的次数填充入整数集合中，并将重复次数累加到已解码数组元素的计数器中；

(208’)如果已解码数组元素的计数器小于数值元素个数，则处理字节移动到下一个字节，跳到(203’)；否则数组解码结束，得到整数解码集合；

(209’)将整数解码集合中的数值依次转换为字符数字形式，在字符数字形式数值的两边添加分隔符，并写入记录树中，添加字段组开始与结束标志。

8.根据权利要求7所述的一种用于记录型数据存储空间优化后的数据恢复方法，其特征在于，步骤(209’)中的分隔符为“(”或“)”。

9.根据权利要求6所述的一种用于记录型数据存储空间优化后的数据恢复方法，其特征在于，步骤(3’)中记录树的恢复包括如下步骤：

(301’)生成一个栈，用于存放记录树的节点；

(302’)识别记录树的节点，并放入栈中；

(303’)如果下一个字符为为字段组分隔符，则栈中的节点已经构成一条记录，依次取出节点组成一条记录，然后将栈的节点弹出；

(304’)如果该字符为子树开始标记，则移动到下一个字符；

(305’)如果该字符为子树结束标记，则栈中的节点已经构成一条记录，依次取出节点组成一条记录，继续移动到下一个，直到下一个字符不为子树结束标记，其中，每移动一次，栈就弹出一个节点，如果扫描到记录树结尾，则恢复结束。