CN103853772A

CN103853772A - 一种高效的倒排索引结构及组织方法

Info

Publication number: CN103853772A
Application number: CN201210511478.1A
Authority: CN
Inventors: 王弘蔚
Original assignee: BEIJING TRS INFORMATION TECHNOLOGY Co Ltd
Current assignee: TOLS INFORMATION TECHNOLOGY Co.,Ltd.
Priority date: 2012-12-04
Filing date: 2012-12-04
Publication date: 2014-06-11
Anticipated expiration: 2032-12-04
Also published as: CN103853772B

Abstract

本发明公开了一种高效的倒排索引结构及组织方法。将记录倒排项和属性倒排项分开存储，减少信息冗余；采用分块方式对倒排索引进行存储，以数据库索引优化为切入点，综合利用链表和集中定位表的优势对倒排块进行管理，既有利于索引动态维护又便于SKIP技术下的随即访问；同时根据域间关联关系，采用了压缩技术，以达到尽量少的空间存储尽量多的信息量。所提供的倒排索引结构及组织方法，减少了存储空间、优化了访问时间，在一定程度解决了倒排索引优化问题，能够实现海量数据的有效管理。

Description

一种高效的倒排索引结构及组织方法

技术领域

本发明涉及信息检索技术，具体地说，涉及全文检索***中使用的高效倒排索引结构及组织方法。

背景技术

大数据时代的网络环境中，信息量和用户量呈***式增长，给大规模信息检索***准确高效的服务带来了压力和挑战。倒排索引是信息检索的核心，其存储结构及组织方式对信息检索性能的提升有很大影响。在改进检索算法的同时，人们也在努力优化倒排索引结构及其组织方式。

目前国内外针对倒排索引优化的研究，主要从以下三方面展开：（1）通过压缩技术减少索引在外存上的体积；（2）对倒排表内容的组织方式进行优化，减少需要访问的倒排表内容；（3）对倒排表的磁盘存储结构进行管理，尽量减少磁盘的IO次数。但现有的成果包括压缩技术、倒排索引组织方式及存储结构还不成熟，很难适应大数据时代信息检索***信息量大、快速响应精而准的需求，因此本发明提出了一种融合压缩技术的高效的倒排索引结构及组织方法，以解决当前倒排索引优化问题，实现海量数据的有效管理。

发明内容

本发明要解决的技术问题是提供一种优化存储空间、精简读取时间的倒排索引结构及组织方法。

为解决目前信息检索***信息量大、快速响应精而准需求方面的技术问题，本发明提供了一种高效的倒排索引结构，该结构包括：

S101倒排索引由倒排项组成，倒排项包括记录倒排项和属性倒排项两种类型，它们分开存储以减少信息冗余，同时在逻辑上倒排索引也就被分为记录倒排索引和属性倒排索引；

S102记录倒排索引由记录倒排项组成，“记录倒排项”是由“记录号”独立形成的，包括“记录号”和“链接器”；

S103“记录号”是一个字段值或全文数据中的词在数据库中出现时所在的记录；

S104“链接器”的具体内容取决于不同的组织方式，可以是地址指针、偏移量、或者属性倒排项的个数等，其功能是能快速定位和读取一个词在该记录中的所有属性项；

S105属性倒排索引由属性倒排项构成，“属性倒排项”是由“位置属性”和“格式属性”组成；

S106“位置属性”是全文数据中的词在当前记录中出现的位置之一，位置属性分三个层次“段落、句子、位置”；

S107“格式属性”是全文数据中的词在出现位置所具有的其它格式信息（如Native XML索引）；

本发明还提供一种高效的倒排索引组织方法，该方法包括：

S201倒排索引在文件中采用分块的方式进行组织存储，倒排块综合采用链表和集中定位表两种方式进行管理，使得倒排索引既便于动态维护又有利于SKIP技术下的随机访问；为提高数据加载效率，同时有利于数据随机访问，以数据库索引的优化作为临界点来选择倒排块的管理方式：优化后的倒排索引采用集中定位表进行管理，而优化后新加载的数据所对应的倒排索引仍然用链表管理，直到下一次数据库索引的优化；

S202在整个倒排索引中，将集中定位表看成是一个特殊的链表节点，采用标志位机制来区分是常规的链表节点，还是集中定位表；属性倒排项数据块放在记录倒排项数据块的后面，组合存储在同一文件的同一倒排项数据块中；

S203倒排链表块由“链接器”和“倒排项数据块”组成，“链接器”的基本作用是指示下一倒排链表块或集中定位表的首地址，其中含1个标志位指明下一地址指向的是倒排链表块还是集中定位表；

S204集中定位表由“表头”和“表项”组成，由于倒排段是分块存储的，“表头”的主要功能是给出下一倒排段的集中定位表的地址；最后一个倒排段公用，用于存放精确结果集与非精确结果集的检索算法，因此，每个倒排段的表头均需存放最后一个倒排段的集中定位表的地址，以便精确结果集的检索算法能够快速地定位到这个段；

S205集中定位表管理的倒排块都是经过优化的，一个表项相对于一个倒排块，所占空间很小，直接使用自然的数据类型表示表项各个域；与倒排链表块“链接器”一样，“地址”对于每个表项是不可少的域，同时“最大记录号”和“最小记录号”域不能省略，这样可以避免从倒排项数据块中获取“最大记录号”和“最小记录号”，以减少不必要的操作；此外，集中定位表中的记录倒排项按记录号进行分页存储，因此，每个“表项”还需要一个记录号页码表的长度，便于快速定位、查找记录号，页码表之后是记录号偏移表的起始地址，“页码表长度”域中1位标志位，区分倒排块是否分页，不分页时，低位用于表示属性偏移量，反之则表示记录号偏移量；

S206倒排链表块中倒排块与集中定位表所管理的倒排块在存储方式上有所不同，后者采用经过了优化的分页存储方式，前者依然采用最简单的存储方式，因而二者对应的记录倒排项的逻辑结构也不相同；

S207倒排链表块中，记录倒排项由“记录号”和“链接器”组成。一个记录的所有属性倒排项以及记录之间的属性倒排项在属性倒排项数据块中都是连续存放的，“链接器”的作用是指示该记录的所有属性倒排项在属性倒排项数据块中的起始位置；

S208集中定位表中，记录倒排项在存储上分为“记录号页码表”表项和“记录号偏移表”表项。每个“记录号页码表”存储一个页的记录号页码以及所对应的记录号偏移表的定位信息。“记录号偏移表”由“记录号偏移”和“属性偏移量”两个域组成，在集中定位表“表项”的“页码表长度”域中进行标记组织；

S209属性倒排项所含子项多、一些子项可选、子项个数不固定，共有8种具体的形式，分别为：<位置>、<句子，位置>、<段落，位置>、<段落，句子，位置>、<位置，格式>、<句子，位置，格式>、<段落，位置，格式>、<段落，句子，位置，格式>；“位置属性”域采用2个字节表示；属性倒排项可以包含格式属性，格式属性对用着NariveXML索引，是一个XML数据的结点号，用四个字节表示，为了支持检索加权，将其中一个字节存储权重（最多支持256种权重），剩下的三个字节用来存储原来的结点号。

本发明技术方案提供的高效倒排索引结构及组织方法，将倒排索引中倒排项分为记录倒排项和属性倒排项进行存储，以减少信息冗余；倒排索引以分块的方式组织存储，综合链表和集中定位表的优势，对倒排块进行管理，使得倒排索引既便于动态维护又有利于SKIP技术下的随机访问，同时在数据存储时采用了一定的压缩技术，以实现在尽量少的空间存储尽量多的信息；减少了数据存储空间，提高了数据索引效率。

附图说明

图1为本发明实施例提供的一种高效的倒排索引结构示意图。

图2为本发明实施例提供的一种高效倒排索引组织框架图。

图3为本发明实施例提供的集中定位表中倒排块的组织架构图。

附图说明

为解决海量信息时代数据索引、优化问题，本发明实施例提供的高效倒排索引结构及组织方法，从存储空间和读取时间两方面对倒排索引进行优化，将倒排项分为记录倒排项和属性倒排项，减少信息冗余，倒排索引以分块方式进行组织存储，综合采用链表和集中定位表的优势进行管理，既便于动态维护又有利于随机访问，可解决倒排索引优化问题。

为使本发明实施例的目的、技术方法、及优点更加清楚明白，以下结合附图对本发明实施例提供的技术方案进行详细说明。

如图1所示为本发明实施例中的高效倒排索引结构示意图，检索***由词表定位记录倒排项，“记录倒排项”中包含“记录号”和“链接器”，通过“链接器”定位属性倒排项，给出该词在记录中所有属性信息，同时属性倒排项还记录了记录之间的所有属性信息，“属性倒排项”包含“位置属性”和“格式属性”，其中“格式属性”是可选内容，“位置属性”又包含“段落”、“句子”、“位置”，其中“段落”、“句子”是可选内容，由此实现了记录与属性之间的分离，使得每一个记录只需一个记录倒排项即可完成对其的索引，减少了信息冗余、降低了数据存储空间的同时，提高了数据索引效率。

倒排索引在文件中的组织需要考虑两方面的因素：动态维护和SKIP技术下的随机访问。需要将倒排索引进行分块存储，如图2所示为本发明实施例中提供的一种高效倒排索引组织框架图。将属性倒排项数据块放在记录倒排项数据块的后面，组合存储在同一文件的同一倒排项数据块中，构成倒排块。

对倒排块的管理分为链表和集中定位表两种方式。根据对两种方式的优缺点分析，以数据库索引优化为切入点，优化后的倒排索引采用集中定位表管理，优化后新加载的数据仍采用链表管理。同时考虑倒排块大小对IO性能影响问题，将优化后的倒排块按记录号进行分页，如图3所示为本发明实施例中提供的集中定位表中倒排块的组织架构图。设定一页的最大容量为256，如果记录号是32位，则低8位是记录号偏移，而高24位则是记录号页码。

根据词表定位记录倒排项，锁定倒排项数据块，根据倒排项数据块中“链接器”信息以及记录号降序排列的组织方式，查找相应属性信息和下一记录信息，因此链表“链接器”和优化前的记录倒排项的逻辑结构可设计为：

倒排链表块“链接器”的逻辑结构：

优化前的记录倒排项的逻辑结构：

域名	字节数
		记录号	4个字节。
属性空间大小	2个字节。

由于集中定位表采用分页的方式存储，如果下一记录信息以“集中定位表”方式管理，则需要获取当前页的最大和最小记录号以及页码表长度，因此集中定位表的表项和表头的逻辑结构可以设计为：

集中定位表“表项”的逻辑结构：

集中定位表“表头”的逻辑结构：

优化后的记录倒排项的逻辑结构可以设计为：

域名	字节数
		记录号偏移	1个字节。
属性偏移量	3个字节。

记录号页码表表项的逻辑结构：

域名	字节数
		记录号页码	3个字节。
页内记录数	1个字节。

属性倒排项分为8种具体组合形式，每一组合形式的逻辑结构可具体设计为：

属性倒排项的“位置”逻辑结构：

域名	字节数
		位置	2个字节。

属性倒排项的“句子-位置”逻辑结构：

域名	字节数
		句子	2个字节。
位置	2个字节。

属性倒排项的“段落-位置”逻辑结构：

域名	字节数
		段落	2个字节。
位置	2个字节。

属性倒排项的“段落-句子-位置”逻辑结构：

域名	字节数
		段落	2个字节。
句子	2个字节。
		位置	2个字节。

属性倒排项的“位置-格式”逻辑结构：

域名	字节数
		位置	2个字节。
格式	4个字节。

属性倒排项的“句子-位置-格式”逻辑结构：

域名	字节数
		句子	2个字节。
位置	2个字节。
		格式	4个字节。

属性倒排项的“段落-位置-格式”逻辑结构：

域名	字节数
		段落	2个字节。
位置	2个字节。
		格式	4个字节。

属性倒排项的“段落-句子-位置-格式”逻辑结构：

域名	字节数
		段落	2个字节。
句子	2个字节。
		位置	2个字节。
格式	4个字节。

Claims

1.一种高效倒排索引结构，其特征在于，该倒排索引由倒排项组成，倒排项被拆分成记录倒排项和属性倒排项，由此倒排索引被分为记录倒排索引和属性倒排索引。

2.根据权利要求1所述的高效倒排索引结构，其特征在于，记录倒排索引由记录倒排项组成，“记录倒排项”由“记录号”独立形成，包括“记录号”和“链接器”；“记录号”是一个字段值或全文数据库中的词在数据库中出现时所在的记录；“链接器”的具体内容取决于不同的组织方式，其功能是能快速定位和读取一个词在该记录中的所有属性项。

3.根据权利要求1所述的高效倒排索引结构，其特征在于，属性倒排索引由属性倒排项构成，“属性倒排项”由“位置属性”和“格式属性”组成；“位置属性”是全文数据中的词在当前记录中出现的位置之一，位置属性分为三个层次“段落、句子、位置”；“格式属性”是全文数据中的词在出现位置所具有的其它格式信息。

4.一种高效倒排索引组织方法，其特征在于，倒排索引采用分块方式进行组织存储，倒排块综合采用链表和集中定位表进行管理。

5.根据权利要求4所述的高效倒排索引组织方法，其特征在于，以数据库索引的优化为临界点选择倒排块的管理方式，集中定位表被看成是一个特殊的链表节点，采用标志位机制来区分。

6.根据权利要求4所述的高效倒排索引组织方法，其特征在于，属性倒排项数据块放在记录倒排项数据块的后面，组合存储在同一文件的同一倒排项数据块中，简称倒排块。

7.根据权利要求4和权利要求5所述的高效倒排索引组织方法，其特征在于，倒排链表块由“链接器”和“倒排项数据块”组成，“链接器”的基本作用是指示下一倒排块或集中定位表的首地址，其中含1个标志位指明下一地址指向的是倒排链表还是集中定位表。

8.根据权利要求4和权利要求5所述的高效倒排索引组织方法，其特征在于，集中定位表由“表头”和“表项”组成，倒排段分块存储，表项按记录号进行分页。

9.根据权利要求4和权利要求8所述的高效倒排索引组织方法，其特征在于，集中定位表中一个表项相对于一个倒排块，每个倒排块需含“倒排块地址”、“最大记录号”、“最小记录号”和“页码表长度”。

10.根据权利要求9所述的高效倒排索引组织方法，其特征在于，页码表长度用于存储一个记录号的页码表的长度，页码表之后是记录号偏移表的起始地址，“页码表长度”域中1位标志位，区分倒排块是否分页，不分页时，低位用于表示属性偏移量，反之则表示记录号偏移量。

11.根据权利要求4、权利要求6和权利要求7所述的高效倒排索引组织方法，其特征在于，倒排项数据块分为记录倒排项数据库和属性倒排项数据库块，属性倒排项所含子项包括：段落、句子、位置、格式，不同的组合方式可形成8中具体的形式，依次为：<位置>、<句子，位置>、<段落，位置>、<段落，句子，位置>、<位置，格式>、<句子，位置，格式>、<段落，位置，格式>、<段落，句子，位置，格式>。

12.根据权利要求11所述的高效倒排索引组织方法，其特征在于，在倒排链表中，记录倒排项由“记录号”和“链接器”组成，一个记录的所有属性倒排项以及记录之间的属性倒排项在属性倒排项数据块中都是连续存放的，“链接器”的作用是指示该记录的所有属性倒排项在属性倒排项数据块中的起始位置。

13.根据权利要求11所述的高效倒排索引组织方法，其特征在于，在集中定位表中，记录倒排项在存储上分为“记录号页码表”表项和“记录号偏移表”表项，每个“记录号页码表”存储一个页的记录号页码以及所对应的记录号偏移表的定位信息，“记录号偏移表”由“记录号偏移”和“属性偏移量”两个域组成，在集中定位表“表项”的“页码表长度”域中进行标记组织。