CN103365883A

CN103365883A - 数据的索引查询方法、装置及***

Info

Publication number: CN103365883A
Application number: CN2012100904257A
Authority: CN
Inventors: 周敏奇; 程实
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2012-03-30
Filing date: 2012-03-30
Publication date: 2013-10-23
Also published as: EP2821924A4; WO2013143278A1; EP2821924A1

Abstract

本发明实施例公开了一种数据的索引查询方法、装置及***，所述方法包括：首先服务端将所有索引属性进行格雷编码后，将所述所有索引属性对应的格雷编码进行混洗编码后生成至少一个索引键值并存储，然后所述服务端根据查询请求中携带的查询条件信息生成与所述查询条件信息对应的索引键值集合或区间，再根据所述索引键值集合或区间，获取与所述索引键值集合或区间对应的指示数据的指针集合或区间后，生成与所述指针集合或区间对应的中间数据集合，最后根据所述查询请求中携带的查询条件信息，从所述中间数据集合中获取与所述查询条件信息对应的目标数据集合。

Description

数据的索引查询方法、装置及***

技术领域

本发明涉及信息管理***领域，特别涉及一种数据的索引查询方法、装置及***。

背景技术

索引是数据库技术的重要部分，用于加速访问大容量存储***中满足特定条件的数据。特别是对于面向海量数据的事务型数据库服务，必须借助索引技术降低数据检索的延时和硬件开销。

索引的本质也是一个存储***，包括键值，以及指向原存储***的定位信息(指针)。一方面索引的键值是通过排序或者哈希链表的形式组织的，保证了一个索引查询其键值的速度很快。另一方面索引的指针具有信息量小的特点，使得索引的数据量远小于原存储***的数据量，从而遍历索引的开销也相对减小。

多属性查询是指包含多个属性过滤条件的查询操作，对于数据量较大并且需要多属性查询的数据库，提高性能就必须创建对多个属性创建索引。目前在进行多属性索引查询时，通常通过每一维度单独索引、或者R树或者SS树数据空间索引来实现多属性数据索引查询。然而通过这两种方式来实现多属性数据索引查询会造成提供索引服务的服务器的存储开销很大。

发明内容

本发明实施例提供一种数据的索引查询方法、装置及***，降低了提供索引查询服务的设备的存储开销。本发明实施例采用的技术方案为：

一种数据索引的建立方法，包括：

对索引属性进行格雷编码后，将所述索引属性对应的格雷编码按照预设规则进行混洗编码；

将进行所述混洗编码后的格雷编码生成至少一个索引键值并存储到存储器中。

一种数据索引的建立装置，包括：

处理单元，用于对索引属性进行格雷编码后，将所述索引属性对应的格雷编码按照预设规则进行混洗编码；

索引键值生成单元，用于将通过所述处理单元进行所述混洗编码后的格雷编码生成至少一个索引键值并存储到存储器中。

本发明实施例提供的数据索引的建立方法及装置，通过对于索引属性对应的格雷码进行混洗编码生成索引键值，降低了提供索引服务的设备的存储开销。

一种数据查询方法，包括：

接收来自用户端的查询请求，根据所述查询请求中携带的查询条件信息生成与所述查询条件信息对应的索引键值集合，其中，所述索引键值集合中的索引键值是通过将索引属性对应的格雷编码按预设规则进行混洗编码后生成的；

根据所述索引键值集合，获取与所述索引键值集合对应的用于指示数据的指针集合；

生成与所述指针集合对应的中间数据集合；

根据所述用户端查询请求中携带的查询条件信息，从所述中间数据集合中获取与所述查询条件信息对应的目标数据集合；

将所述目标数据集合发送给所述用户端。

一种数据查询装置，包括：

查询请求接收单元，用于接收来自用户端的查询请求，根据所述查询请求中携带的查询条件信息生成与所述查询条件信息对应的索引键值集合，其中，所述索引键值集合中的索引键值是通过将索引属性对应的格雷编码按预设规则进行混洗编码后生成的；

第一获取单元，用于根据所述索引键值集合，获取与所述索引键值集合对应的用于指示数据的指针集合；

生成单元，用于生成与所述第一获取单元获取的所述指针集合对应的中间数据集合；

第二获取单元，用于根据所述用户端查询请求中携带的查询条件信息，从所述生成单元生成的中间数据集合中获取与所述查询条件信息对应的目标数据集合；

发送单元，用于将所述第二获取单元获取的所述目标数据集合发送给所述用户端。

本发明实施例提供的数据查询方法及装置，通过根据用户端的查询请求，采用格雷码进行混洗编码后生成的索引键值查询满足所述查询请求的数据，从而降低了提供索引服务的设备的存储开销。

一种存储***，其特征在于，包括：数据索引的建立装置和数据的查询装置；其中：

所述数据索引的建立装置用于对索引属性进行格雷编码后，将所述索引属性对应的格雷编码按照预设规则进行混洗编码；将进行所述混洗编码后的格雷编码生成至少一个索引键值并存储；

所述数据查询装置，用于接收来自用户端的查询请求，根据所述查询请求中携带的查询条件信息生成与所述查询条件信息对应的索引键值集合，其中，所述索引键值来自所述数据索引的建立装置；根据所述索引键值集合，获取与所述索引键值集合对应的用于指示数据的指针集合；生成与所述指针集合对应的中间数据集合；根据所述用户端查询请求中携带的查询条件信息，从所述中间数据集合中获取与所述查询条件信息对应的目标数据集合；将所述目标数据集合发送给所述用户端。

本发明实施例提供的数据的索引查询方法、装置及***，首先将索引属性对应的格雷码进行混洗编码生成索引键值，然后根据生成的索引键值查询满足用户端查询请求的数据，从而降低了提供索引服务的设备的存储开销。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的数据索引的建立方法流程图；

图2为本发明实施例提供的数据索引的建立装置结构示意图；

图3为本发明实施例提供的数据查询方法流程图；

图4为本发明实施例提供的数据查询装置结构示意图；

图5为本发明实施例提供的存储***的结构示意图；

图6为本发明实施例提供的员工信息查询分布图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。

本发明实施例提供一种数据索引的建立方法，如图1所示，所述方法包括：

101、对索引属性进行格雷编码后，将所述索引属性对应的格雷编码按照预设规则进行混洗编码。

其中，格雷编码为一种编码算法，它可以将任意数据映射为有限长度数据，同时保证原数据的排序性。

具体地，例如，一种可行的格雷编码步骤包括：首先构造整数域映射f1，将非数值任意类型数据映射为实数，例如，可以将字符串类型读取为二进制整数或将浮点型数进行取整运算等，然后构造有限整数域映射f2，将整数域映射为有限整数域，例如：采用公式f2(x)＝[Narctan(Mx)]，其中，arctan函数是余切函数，M是原记录的放大参数，N是希望构造有限值域的最大值参数，而f2函数的值域就是[0，N]。通常N会选择一个相当大的数，例如2³²-1，在构造将有限整数域映射到有限长度二进制编码的映射f3，例如当上一步骤中N的值为2³²-1，而映射的二进制数据的长度设定为10，则将[0，2³²-1]区间划分2¹⁰＝1024个区间，其中有限整数域第i个区间为[i*2²²，(i+1)*2²²-1]，i的取值范围为大于等于零并且小于等于1023，映射函数为：

f3(x)＝binary(i)，其中，x为有限整数域的第i个区间。最后，本例中构造的格雷编码函数为：grayEncode(x)＝f3(f2(f1(x)))由于该例子中每个步骤的映射函数都保持了原数据的排序性，因此最后生成的格雷编码函数也保持了原数据的排序性。另外，格雷编码不是可逆的，这是为了保证编码长度的有限性，从而控制设备的维护和存储开销。

进一步地，混洗编码是对多个有限长度的二进制数据按每个二进制位进行混编的一种编码方式，可以采用如下预设规则对格雷编码进行混洗编码，例如，已有4个索引属性值的格雷码分别为1100，0101，0010，1110。那么根据可以预设一种混洗规则，即取出每个格雷码的第一位(分别是1、0、0、1)组成混洗码的前四位(即1001)，然后再取后续的位数，以此类推。这样该例子生成的混洗码为1001110100110100，将该混洗码存储到索引存储单元中作为索引键值。

102、将进行所述混洗编码后的格雷编码生成至少一个索引键值并存储到存储器中。

其中，每一个索引键值对应至少一个数据，所述数据存储在所述存储器中。通常，在对索引属性进行编码前，先选择作为查询条件概率较大的索引属性作为服务端进行编码的索引属性，例如如图6所示，包含姓名、部门名称、年龄、工号其中之一作为查询条件的查询请求，占所有查询请求的95％以上。所以可将这四个字段作为索引属性，从而可以达到索引维护开销和查询效率的最佳均衡效果。

本发明实施例的方法可以由通用集成电路或专用集成电路等执行。本发明实施例的方法可以应用在服务器、个人计算机等设备上。本发明实施例提供的数据索引的建立方法，可以降低存储设备的存储开销。

本实施例提供一种数据索引的建立装置，如图2所示，所述装置的实体可以为服务器、个人计算机等设备，所述装置包括：处理单元21、索引键值生成单元22。

处理单元21，用于对索引属性进行格雷编码后，将所述索引属性对应的格雷编码按照预设规则进行混洗编码。

索引键值生成单元22，用于将通过所述处理单元21进行所述混洗编码后的格雷编码生成至少一个索引键值并存储。

其中，每一个索引键值对应至少一个数据，所述数据存储在存储器中。

本发明实施例的装置可以是通用集成电路或专用集成电路等。本发明实施例提供的数据索引的建立装置，可以有效的降低存储设备的存储开销。

本发明实施例提供一种数据查询方法，如图3所示，所述方法包括：

301、接收来自用户端的查询请求，根据所述查询请求中携带的查询条件信息生成与所述查询条件信息对应的索引键值集合。

其中，所述索引键值集合中的索引键值是通过图1所示的数据索引的建立方法，将索引属性对应的格雷编码按预设规则进行混洗编码后生成的。

可替换地，当所述服务器判断出所述查询条件信息携带的索引属性与存储的索引属性的重复范围小于预设重复范围时，根据所述查询条件信息获取目标数据集合。

其中，所述预设重复范围根据实际需求确定，通常当查询条件信息完全或大部分由非索引属性组成时，服务端则不通过索引查询，而是直接查询。

302、根据所述索引键值集合，获取与所述索引键值集合对应的用于指示数据的指针集合。

303、生成与所述指针集合对应的中间数据集合。

304、根据所述用户端查询请求中携带的查询条件信息，从所述中间数据集合中获取与所述查询条件信息对应的目标数据集合。

具体地，由于步骤301中生成的索引键值可能对应一个或者多个数据，所以在根据索引键值获取到的中间数据集合中可能存在与查询条件信息不符的数据，通过在中间数据集合中再次进行数据筛选，从而将不符合查询条件信息要求的数据删除，获取到目标数据集合。

305、将所述目标数据集合发送给所述用户端。

进一步地，当所述用户端需要写入数据时，将与所述需要写入的数据对应的索引键值和指针存储。

本发明实施例的方法可以由通用集成电路或专用集成电路等执行。本发明实施例的方法可以应用在服务器、个人计算机等设备上。本发明实施例提供的数据的查询方法，在保证了数据的查询效率的同时，有效地降低了设备的存储开销。

本发明实施例提供一种数据查询装置，如图4所示，所述装置的实体可以为服务器、个人计算机等设备，所述装置包括：查询请求接收单元41、第一获取单元42、生成单元43、第二获取单元44、发送单元45、第三获取单元46、存储单元47。

查询请求接收单元41，用于接收来自用户端的查询请求，根据所述查询请求中携带的查询条件信息生成与所述查询条件信息对应的索引键值集合。

第一获取单元42，用于根据所述查询请求接收单元41生成的所述索引键值集合，获取与所述索引键值集合对应的用于指示数据的指针集合。

生成单元43，用于生成与所述第一获取单元42获取的所述指针集合对应的中间数据集合。

第二获取单元44，用于根据所述用户端查询请求中携带的查询条件信息，从所述生成单元43生成的中间数据集合中获取与所述查询条件信息对应的目标数据集合。

第三获取单元45，用于当所述查询条件信息携带的索引属性与存储的索引属性的重复范围小于预设重复范围时，根据所述查询条件信息获取目标数据集合。

发送单元46，用于将所述第二获取单元44获取的所述目标数据集合发送给所述用户端。

存储单元47，用于当所述用户端需要向所述存储单元47写入数据时，将所述需要写入的数据存储。

所述存储单元47，还可以用于将与所述需要写入的数据对应的索引键值和指针存储。

本发明实施例的装置可以是通用集成电路或专用集成电路等。

本发明实施例提供一种存储***，如图5所示，所述存储***包括：数据索引的建立装置51和数据查询装置52。

具体地，所述数据索引的建立装置51用于对索引属性进行格雷编码后，将所述索引属性对应的格雷编码按照预设规则进行混洗编码；将进行所述混洗编码后的格雷编码生成至少一个索引键值并存储。

所述数据查询装置52用于接收来自用户端的查询请求，根据所述查询请求中携带的查询条件信息生成与所述查询条件信息对应的索引键值集合，其中，所述索引键值来自所述数据索引的建立装置51；根据所述索引键值集合，获取与所述索引键值集合对应的用于指示数据的指针集合；生成与所述指针集合对应的中间数据集合；根据所述用户端查询请求中携带的查询条件信息，从所述中间数据集合中获取与所述查询条件信息对应的目标数据集合；将所述目标数据集合发送给所述用户端。

本发明实施例提供的数据的索引查询方法、装置及***，首先将索引属性进行格雷编码后，将所述所有索引属性对应的格雷编码按照预设规则进行混洗编码生成至少一个索引键值并存储到服务器中，然后接收来自用户端的查询请求，根据所述查询请求中携带的查询条件信息生成与所述查询条件信息对应的索引键值集合，再根据所述索引键值集合，获取与所述索引键值集合对应的用于指示数据的指针集合，生成与所述指针集合对应的中间数据集合，最后根据所述用户端查询请求中携带的查询条件信息，从所述中间数据集合中获取与所述查询条件信息对应的目标数据集合，并将所述目标数据集合发送给所述用户端。本发明实施例通过采用对于索引属性对应的格雷码进行混洗编码生成索引键值进行数据的查询，降低了提供索引服务的设备的存储开销。

本发明实施例提供的数据的索引查询装置可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。本发明实施例提供的数据的索引查询方法、装置及***可以适用于信息管理***领域，但不仅限于此。

本发明实施例的方法、装置及***可以应用在数据库***中，比如Oracle、DB2、MSSQL、mySQL等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种数据查询方法，其特征在于，包括：

生成与所述指针集合对应的中间数据集合；

将所述目标数据集合发送给所述用户端。

2.根据权利要求1所述的数据查询方法，其特征在于，所述根据所述用户端查询请求中携带的查询条件信息生成与所述查询条件信息对应的索引键值集合之前，还包括：

当所述查询条件信息携带的索引属性与存储的索引属性的重复范围小于预设重复范围时，根据所述查询条件信息获取目标数据集合。

3.根据权利要求1所述的数据查询方法，其特征在于，还包括：

当所述用户端需要写入数据时，将所述需要写入的数据存储；

将与所述需要写入的数据对应的索引键值和指针存储。

4.一种数据索引的建立方法，其特征在于，包括：

5.根据权利要求4所述的数据索引的建立方法，其特征在于，所述至少一个索引键值中的每一个索引键值分别对应至少一个数据，所述数据存储在所述存储器中。

6.一种数据查询装置，其特征在于，包括：

第一获取单元，用于根据所述接收生成单元生成的所述索引键值集合，获取与所述索引键值集合对应的用于指示数据的指针集合；

7.根据权利要求6所述的数据查询装置，其特征在于，还包括：

第三获取单元，用于当所述查询条件信息携带的索引属性与存储的索引属性的重复范围小于预设重复范围时，根据所述查询条件信息获取目标数据集合。

8.根据权利要求6所述的数据查询装置，其特征在于，还包括：

存储单元，用于接收所述用户端需要向所述存储单元写入的数据，并将所述需要写入的数据存储；将与所述需要写入的数据对应的索引键值和指针存储。

9.一种数据索引的建立装置，其特征在于，包括：

索引键值生成单元，用于将通过所述处理单元进行所述混洗编码后的格雷编码生成至少一个索引键值并存储。

10.根据权利要求9所述的数据索引的建立装置，其特征在于，所述至少一个索引键值中的每一个索引键值分别对应至少一个数据，所述数据存储在所述存储器中。

11.一种存储***，其特征在于，包括：数据索引的建立装置和数据查询装置；其中：

所述数据索引的建立装置，用于对索引属性进行格雷编码后，将所述索引属性对应的格雷编码按照预设规则进行混洗编码；将进行所述混洗编码后的格雷编码生成至少一个索引键值并存储；