CN103177046B

CN103177046B - 一种基于行存储数据库的数据处理方法和设备

Info

Publication number: CN103177046B
Application number: CN201110447629.7A
Authority: CN
Inventors: 隋琪; 袁向阳
Original assignee: China Mobile Communications Group Co Ltd
Current assignee: China Mobile Communications Group Co Ltd
Priority date: 2011-12-26
Filing date: 2011-12-26
Publication date: 2016-06-29
Anticipated expiration: 2031-12-26
Also published as: CN103177046A

Abstract

本发明公开了一种基于行存储数据库的数据处理方法和设备，该方法包括：数据库***接收到用户提交的在行存储数据库中创建目标数据表的建表结构化查询语言SQL语句后，在行存储数据库中创建与所述目标数据表对应的数个列表，并创建对应的统一视图；其中，所述数个列表分别与所述目标数据表的各列一一对应；当所述数据库***接收到用户提交的对所述行存储数据库中的所述目标数据表中的数据进行处理的请求时，所述数据库***根据所请求处理的目标数据表所对应的统一视图，对相应列表中的数据进行相应处理。在本发明中，实现了在现有行存储数据库产品的基础上模拟列存储数据库产品，使用户在不需要更换数据库产品的前提下获得列存储技术的优点。

Description

一种基于行存储数据库的数据处理方法和设备

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于行存储数据库的数据处理方法和设备。

背景技术

行存储方式是目前主流的关系数据库存储技术实现方式，其基本思路是：将数据按照行为单位进行存储，并通过索引技术提高查询的效率。该方式很适合OLTP(On-LineTransactionProcessing，联机事务处理)的场景，在频繁的***、删除、更新操作，以及小数据量(若干行)的查询方面优势较为突出。但是，随着PB(PetaByte，千万亿字节)级别的超大型数据仓库的出现，行存储方式的不足逐渐显现。

由于传统的数据仓库产品是以行为单位进行存储的，且数据仓库查询操作多而更新和***操作较少，而多数查询分析都是基于某些特定列进行操作。因此，通过行存储方式实现的数据仓库不可避免的会带来非必要的IO(Input/Output，输出/输入)操作。同时，行存储方式实现的数据仓库存储单元中的数据的共性较少，不利于数据压缩。

正是针对上述行存储数据仓库的不足，列存储数据仓库应运而生。其基本实现思路是将数据按照列为单位进行存储，并通过链接表示不同的列值之间的关系。因为它是基于列进行存储的，可以很好的克服上述行存储数据仓库的缺陷。但是，列存储数据仓库同样也有不足：首先，虽然数据仓库的多数操作是针对某些特定的列而非全部列，但是多数的操作是针对某几列而非某一列，这些操作在以单个列为单位进行存储的列存储数据仓库产品中，必然会增加更多的查询开销。其次，由于列存储数据仓库出现的时间较短，虽然基本的数据仓库功能已经很好的满足，但是很多传统的行存储数据仓库功能比如存储过程等，还无法兼容，这增加了用户迁移数据仓库***的难度。另外，让用户放弃多年的数据仓库产品投资，而转向全新的列存储数据仓库产品，本身也是一个艰难的抉择。

发明内容

本发明实施例提供一种基于行存储数据库的数据处理方法和设备，以实现基于行存储数据库的列存储技术。

为了达到上述目的，本发明实施例提供一种行存储数据库的数据处理方法，包括：

数据库***接收到用户提交的在行存储数据库中创建目标数据表的建表结构化查询语言SQL语句后，在行存储数据库中创建与所述目标数据表对应的数个列表，并创建对应的统一视图；其中，所述数个列表分别与所述目标数据表的各列一一对应；

当所述数据库***接收到用户提交的对所述行存储数据库中的所述目标数据表中的数据进行处理的请求时，所述数据库***根据所请求处理的目标数据表所对应的统一视图，对相应列表中的数据进行相应处理。

本发明实施例还提供一种数据库***，包括：

接收模块，用于接收用户提交的在行存储数据库中创建目标数据表的建表结构化查询语言SQL语句以及对所述行存储数据库中的所述目标数据表中的数据进行处理的请求；

模拟器模块，用于当所述接收模块接收到用户提交的在行存储数据库中创建目标数据表的建表结构化查询语言SQL语句后，在行存储数据库中创建与所述目标数据表对应的数个列表，并创建对应的统一视图；其中，所述数个列表分别与所述目标数据表的各列一一对应；

处理模块，用于当所述接收模块接收到用户提交的对所述行存储数据库中的所述目标数据表中的数据进行处理的请求时，所述数据库***根据所请求处理的目标数据表所对应的统一视图，对相应列表中的数据进行相应处理。

与现有技术相比，本发明实施例提供的技术方案中，数据库***根据接收到在行存储数据库中创建目标数据表的SQL语句后，在行存储数据库中创建与目标数据表对应的数个列表；当接收到对行存储数据库中的目标数据表中的数据的处理请求时，对相应列表中的数据进行相应处理，实现了在现有行存储数据库产品的基础上模拟列存储数据库产品，使用户在不需要更换数据库产品的前提下获得列存储技术的优点。

附图说明

图1为本发明实施例中提供的数据库***的工作原理示意图；

图2～3为本发明实施例提供的一种基于行存储数据库的数据处理方法的流程示意图；

图4为本发明实施例提供的一种数据库***的结构示意图。

具体实施方式

针对现有技术中行存储技术和列存储技术各自的缺陷，本发明实施例提供了一种数据处理的技术方案，在现有行存储数据库的基础上，模拟列存储数据库，以使行存储数据库产品用户无需进行存储数据库产品更换即可获得列存储技术的优点。

为了实现基于行存储数据库的列存储技术，本发明实施例提供的技术方案通过在现有的行存储数据库***(以下简称“数据库***”)中设置列存储模拟器(以下简称“模拟器”)，并通过该模拟器对数据库***接收到的建表/删表SQL语句进行相应的处理，实现行存储数据库中的列表创建和删除。

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，为本发明实施例中提供的数据库***的工作原理示意图，其中：

通过利用本发明实施例提供的数据库***中设置的模拟器，DBA(DatabaseAdministrator，数据库管理员)只需要直接输入标准的建表/删表SQL(StructuredQueryLanguage，结构化查询语言)语句即可实现列表的创建和删除。

其中，当数据库***接收到建表SQL语句时，通过模拟器将其分解为相应的列表创建SQL语句，并根据该列表创建SQL语句创建相应的列表；同时，模拟器根据接收到的建表SQL创建对应的统一视图。其中，统一视图即为对应所述建表SQL语句的数据表的虚拟映射表，该统一视图与现有行存储数据库中的数据表的形式一样。通过统一视图，用户可以使用现有行存储数据库的数据操作和访问方式实现对上述列表的操作和访问。

相应地，当数据库***接收到删表SQL语句时，可以通过模拟器根据该删表SQL语句删除相应的统一视图；同时，模拟器对接收到的删表SQL进行解析，将其分解为相应的列表删除SQL语句，并根据该列表删除SQL语句删除相应的列表。

在本发明实施例中，当接收到建表SQL语句时，模拟器通常先创建列表后建立统一视图；当接收到删表SQL语句时，模拟器通常先删除统一视图后删除列表。

当列表创建后，用户可以直接根据统一视图对相应的列表进行操作(包括***数据、删除数据和更新数据)和访问(包括查询数据)。由于模拟器对用户输入的标准SQL语句的转换对用户来说是完全透明的，用户对表的操作和访问与传统对行存储数据库产品的访问一样，对访问相应的表的应用所造成的影响较低。

基于上述数据库***的工作原理，本发明实施例提供了一种基于行存储数据库的数据处理方法，如图2所示，可以包括以下步骤：

步骤201、数据库***接收用户提交的在行存储数据库中创建目标数据表的建表SQL语句。

具体的，用户可以在模拟器的输入界面上输入建表SQL语句，并根据实际情况选择目标行存储数据库的类型。其中，目标行存储数据库类型可以包括目标行存储数据库产品的型号和版本。

步骤202、数据库***在行存储数据库中创建与所述目标数据表对应的数个列表，并创建统一视图。

具体的，数据库***接收到用户提交的在行存储数据库中创建目标数据表的建表结构化查询语言SQL语句后，可以通过模拟器对该建表SQL语句进行解析，得到所建表的表名和该表中各列的列名。对于每一个列名，模拟器可以创建一个对应的列表。其中，列表的表名与所建表的表名以及相应列的列名相对应。例如，列表的表名可以为“表名列名”。每个列表至少可以包括两列，其中一列用于存储行标识(RowID)，另一列用于存储数据表中相应列的数据。对应于同一个数据表的不同列表(由同一个建表SQL语句分解成的列表创建SQL语句对应的列表)之间通过RowID相互关联。

例如，数据库***接收到建立一个20行*4列(分别为id、name、age以及salary)的员工基本信息表(表名为t)的建表SQL语句，数据库***通过模拟器对该SQL语句进行解析，获取相应的表名(t)和列名(id、name、age以及salary)，并对应每一个列名，分别创建一个列表，即共建立4个列表，分别记载相应20个员工的id、name、age以及salary(表名可以分别为id_t、name_t、age_t以及salary_t)。其中，每一个列表可以包含2列，其中一列用于存储行标识(row_id1～20)，另一列用于存储相应的数据，对应数据表t的4个列表之间通过RowID相互关联。

同时，数据库***还可以通过模拟器对建表SQL语句进行解析，生成创建统一视图SQL语句，并根据该创建统一视图SQL语句创建相应的统一视图。例如，模拟器可以以RowID为连接标识将同一数据表的列表进行关联，并创建对应于该数据表的统一视图。其中，在本发明实施例中，统一视图即为对应同一数据表的不同列表联合映射成的一张虚拟的表，统一视图的名字可以为表名。

步骤203、当所述数据库***接收到用户提交的对所述行存储数据库中的所述目标数据表中的数据进行处理的请求时，所述数据库***根据所请求处理的目标数据表所对应的统一视图，对相应列表中的数据进行相应处理。

具体的，生成统一视图后，用户可以根据该统一视图对相应数据表中的数据发起处理请求，该数据处理请求包括数据查询、数据***、数据删除或数据更新。当数据库***接收到用户提交的对所述行存储数据库中的所述目标数据表中的数据进行处理的请求时，根据所请求处理的目标数据表所对应的统一视图，对相应列表中的数据进行相应处理。

以数据查询为例，假设一个表有50列，一个汇总查询的结果集有5万行，且该数据表一行需要3个数据块存储。如果是传统的行存储，那么需要加载50000*3＝150000个数据块才能得到汇总结果，而通过使用本发明实施例提供的技术方案，只需要加载50000个数据块即可，提高了数据查询的效率。

由于创建了与数据表对应的统一视图，用户对数据表中数据的处理请求都是基于统一视图上进行，整个列存储的转换和访问对用户完全透明，对访问相应数据表的应用所造成的影响较低。用户仅需要使用现有行存储数据库的相应操作和访问指令对相应的目标行存储数据库中的数据进行操作和访问，即可获得列存储的技术的优点。

在本发明实施例提供的技术方案中，删除表的过程与创建表的流程相类似，如图3所示，本发明实施例提供的数据处理方法还可以包括以下步骤：

步骤204、数据库***接收用户提交的删除行存储数据库中目标数据表的删表SQL语句。

具体的，用户可以在模拟器的输入界面上输入删表SQL语句，并选择目标行存储数据库的类型。其中，目标行存储数据库类型可以包括目标行存储数据库产品的型号和版本。

步骤205、数据库***删除对应的统一视图，并删除行存储数据库中与所述目标数据表对应的列表。

具体的数据库***接收到用户提交的删除行存储数据库中目标数据表的删表SQL语句后，可以通过模拟器解析接收到的删表请求，生成删除统一视图的SQL语句，以删除相应的统一视图。

同时，数据库***可以通过模拟器解析删表SQL语句，得到所删表的表名，并根据该表名获取对应的列名(如根据表名在数据库的数据字典中获取所有对应的列名)，并根据该表名和列名将删表SQL语句分解为相应的删除列表SQL语句，以删除相应的列表。

通过以上描述可以得知，在本发明实施例提供的技术方案中，通过模拟器对接收到的建表SQL语句进行处理，实现了在现有行存储数据库产品的基础上模拟列存储数据库产品，使用户在不需要更换数据库产品的前提下获得列存储技术的优点。同时，由于模拟器对用户输入的标准SQL语句的转换对用户来说是完全透明的，用户对数据表中相应数据的操作和访问与传统对行存储数据库产品的访问一样，对访问相应的表的应用所造成的影响较低。

下面以将一个简单的建表SQL语句分解成若干列表的建表SQL语句和统一视图创建SQL语句为例对本发明实施例提供的技术方案进行更加清楚的描述。

创建过程：

DBA只需输入如下建表SQL语句：

createtablet(idvarchar(10)，

namevarchar(20)，

rankvarchar(2)，

salarydouble(2))；

模拟器接收到上述建表SQL语句后，将其分解为如下创建列表的SQL语句和统一视图创建SQL语句：

模拟器根据上述列表创建SQL语句在目标行存储数据库中创建相应列表，并根据上述统一视图创建SQL语句创建相应的统一视图。

删除过程：

当需要删除上一步创建的表时，DBA只需输入以下删表SQL语句：

deletetablet；

模拟器接收到该删表SQL语句后，将其分解为：

deleteviewt；

deletetableid_t；

deletetablename_t；

deletetablerank_t；

deletetablesalary_t；

模拟器根据上述删除统一视图SQL语句以及删除列表SQL语句删除相应的统一视图，以及目标行存储数据库中的相应列表。

通过以上描述可以看出，通过本发明实施例提供的模拟器，数据库管理人员只需要使用标准的建表/删表SQL语句即可实现在行存储数据库产品上的列存储。

基于上述方法实施例相同的技术构思，本发明实施例提供了一种数据库***，可以应用于上述方法流程。

如图4所示，为本发明实施例提供的一种数据库***的结构示意图，可以包括：

接收模块41，用于接收用户提交的在行存储数据库中创建目标数据表的建表结构化查询语言SQL语句以及对所述行存储数据库中的所述目标数据表中的数据进行处理的请求；

模拟器模块42，用于当所述接收模块41接收到用户提交的在行存储数据库中创建目标数据表的建表结构化查询语言SQL语句后，在行存储数据库中创建与所述目标数据表对应的数个列表，并创建对应的统一视图；其中，所述数个列表分别与所述目标数据表的各列一一对应；

处理模块43，用于当所述接收模块41接收到用户提交的对所述行存储数据库中的所述目标数据表中的数据进行处理的请求时，所述数据库***根据所请求处理的目标数据表所对应的统一视图，对相应列表中的数据进行相应处理。

其中，所述模拟器模块42可以具体用于，通过解析所述建表SQL语句，得到目标数据表的表名和该表中各列的列名；在所述行存储数据库中创建与所述目标数据表的列数量相同数量的列表；其中，所述列表至少包括两列，其中一列用于存储行标识，另一列用于存储目标数据表的相应列中的数据；所述列表的表名与所述目标数据表的表名以及相应列的列名相对应。

其中，所述模拟器模块42还可以用于，当所述接收模块41接收到用户提交的删除行存储数据库中目标数据表的删表SQL语句后，删除对应的统一视图，并删除行存储数据库中与所述目标数据表对应的列表。

其中，所述模拟器模块42还可以具体用于，通过解析所述删表SQL语句，得到目标数据表的表名，并根据所述目标数据表的表名获取对应的列名；删除所述行存储数据库中所述列名对应的列表。

其中，所述接收模块41接收到的对所述行存储数据库中的所述目标数据表中的数据进行处理的请求包括：数据查询请求、数据***请求、数据删除请求或数据更新请求。

通过以上实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims

1.一种基于行存储数据库的数据处理方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述数据库***在行存储数据库中创建与所述目标数据表对应的数个列表，具体为：

所述数据库***通过解析所述建表SQL语句，得到目标数据表的表名和该表中各列的列名；

所述数据库***在所述行存储数据库中创建与所述目标数据表的列数量相同数量的列表；其中，所述列表至少包括两列，其中一列用于存储行标识，另一列用于存储目标数据表的相应列中的数据；所述列表的表名与所述目标数据表的表名以及相应列的列名相对应。

3.如权利要求1所述的方法，其特征在于，还包括：

所述数据库***接收到用户提交的删除行存储数据库中目标数据表的删表SQL语句后，删除对应的统一视图，并删除行存储数据库中与所述目标数据表对应的列表。

4.如权利要求3所述的方法，其特征在于，所述数据库***删除行存储数据库中与所述目标数据表对应的列表，具体为：

所述数据库***通过解析所述删表SQL语句，得到目标数据表的表名，并根据所述目标数据表的表名获取对应的列名；

所述数据库***删除所述行存储数据库中所述列名对应的列表。

5.如权利要求1-4之一所述的方法，其特征在于，所述对所述行存储数据库中的所述目标数据表中的数据进行处理的请求包括：

数据查询请求、数据***请求、数据删除请求或数据更新请求。

6.一种数据库***，其特征在于，包括：

7.如权利要求6所述的数据库***，其特征在于，所述模拟器模块具体用于，通过解析所述建表SQL语句，得到目标数据表的表名和该表中各列的列名；在所述行存储数据库中创建与所述目标数据表的列数量相同数量的列表；其中，所述列表至少包括两列，其中一列用于存储行标识，另一列用于存储目标数据表的相应列中的数据；所述列表的表名与所述目标数据表的表名以及相应列的列名相对应。

8.如权利要求6所述的数据库***，其特征在于，所述模拟器模块还用于，当所述接收模块接收到用户提交的删除行存储数据库中目标数据表的删表SQL语句后，删除对应的统一视图，并删除行存储数据库中与所述目标数据表对应的列表。

9.如权利要求8所述的数据库***，其特征在于，所述模拟器模块具体用于，通过解析所述删表SQL语句，得到目标数据表的表名，并根据所述目标数据表的表名获取对应的列名；删除所述行存储数据库中所述列名对应的列表。

10.如权利要求6-9任一项所述的数据库***，其特征在于，所述接收模块接收到的对所述行存储数据库中的所述目标数据表中的数据进行处理的请求包括：数据查询请求、数据***请求、数据删除请求或数据更新请求。