CN107273467A - 一种支持可搜索加密的安全索引结构及其构造方法 - Google Patents

Abstract

本发明公开了一种支持可搜索加密的安全索引结构及其构造方法，该安全索引结构包括四个文件结构，分别为sys文件、bf文件、doc文件和seg文件，四个文件包含了所有的索引信息及文档信息。本发明基于陷门单项函数并与伪随机函数相结合构造了一个具有高安全性的密文索引结构，基于该安全索引结构可搜索加密的文档，本发明同时满足安全性与搜索效率的需求，适合云计算背景下的基于关键词的可搜索加密和密文检索。

Description

一种支持可搜索加密的安全索引结构及其构造方法

技术领域

本发明涉及计算机信息安全领域，具体涉及一种支持可搜索加密的安全索引结构及其构造方法。

背景技术

信息检索技术至今日已经有五十年左右的发展历史，信息检索的方法也从最初简单的布尔查询，发展到了现在的采用了向量空间、概率方法等数学模型，并且还引入了加权和相关性排序等概念，这些新技术的出现，非常大地提高了信息检索的质量。信息检索技术在互联网中应用得最为广泛的无疑是搜索引擎，国内外已经产生了很多优秀的搜索引擎公司，如Google、百度、雅虎等，他们为人们在信息检索方面提供了很大的便利。搜索引擎主要由五个部分组成，分别是搜索器、分析器、索引器、检索器和用户接口。索引器中会包含一张索引表用于文档检索，目前主流搜索引擎的索引表所采用的形式一般为倒排文档，倒排文档的索引结构具有效率高、准确率高、占用空间小等优点，因此这也是目前信息检索中最为常用的一种索引结构，并在互联网技术中得到了广泛的应用。

信息检索技术的发展为人们提供了极大的便利，但是随着互联网技术的蓬勃发展，信息在网络上受到的安全威胁也在增加，网络安全问题日益突出。在某些场景中，我们出于安全性的考虑，可能需要对信息先进行安全处理再进行检索或者在网络上传输，以防止信息的泄露。但是普通的明文检索的索引文件并没有进行任何加密处理，并且所有信息都是以明文形式处理并在网络上传输的，攻击者在获取索引文件或截取查询信息后可以很容易地进行攻击，显然这样的索引方式在有安全需求的场景下是无法满足其安全性需求的。因此，在这样的场景中我们需要对索引文件及索引方式进行一系列的安全性处理，如对索引信息加密或改变索引结构等方式，以使得其具有一定程度的安全性，达到保护信息安全的目的。

国内外已经有许多学者提出了许多种加密索引的方案以及较为安全的索引结构，以解决安全索引的问题，Eu-Jin Goh在2004年提出了一种采用了陷门单向函数的安全索引机制，该机制是对适应性选择关键字攻击安全的（IND-CKA），他据此构建出了一种称为Z-IDX的安全索引。Dan Boneh 等提出了一种支持关键字查询的公钥加密模式，并且包含了基于身份加密（IBE）的算法。但上述基于陷门单向函数的安全索引的时空开销很大，无法适用。

在中国发明专利说明书CN 200910063738.1中公开了一种基于分块组织的密文索引结构及其管理方法以及在中国发明专利说明书200910061325.X中公开了一种基于密文的安全全文索引和检索***。上面两个专利提到了建立密文索引结构，其索引结构基于倒排文档方式，无法抵抗统计分析，缺乏安全性。

发明内容

本发明的目的是针对现有技术存在的不足，提供一种适合可搜索加密的安全索引结构及其构造方法。

本发明解决上述问题所采用的技术方案为：

一种支持可搜索加密的密文索引结构，包括sys文件、bf文件、doc文件和seg文件，所述sys文件、bf文件、doc文件和seg文件包含所有索引信息及文档信息；其中：

sys文件包括生成索引时伪随机函数要用到的大素数，索引中的文档数目，bf文件的字节长度，doc文件的字节长度等，sys文件中还包含了一个文档信息列表，其中的每一条文档信息包括了该文档ID、seg文件编号、对应的BloomFilter串在bf文件中的偏移值、文档在doc文件中的偏移值、以及该文档的字节长度，所述BloomFilter串在bf文件中的偏移值与文档在doc文件中的偏移值在查询的时候起到了指针的作用，可以帮助快速的定位到对应的索引信息位置；

doc文件保存文档信息，每一条文档信息包括文档ID、文档名称、文档所包含的域数目、文档的字节长度以及文档包含的域信息列表，所述域信息列表中的每一条域信息包括该域的名称以及在seg文件中的偏移值，所述域在seg文件中的偏移值用来快速查找域内容；

seg文件是存放被索引内容的文件，包括了所有文档的域的内容，seg文件分成多个限定长度的文件分开存储，每个文件以“seg_x”的方式命名，x为分片文件编号，seg文件中的域信息包括域的名称，权值，是否进行索引，是否进行存储，是否进行token化，以及域的文本内容，域被标记为不存储时，则该域内容为空；

bf文件保存了各个文档所对应的Bloom Filter串，单个Bloom Filter串是一系列的01组合，在进行查询的时候，索引通过sys文件找到文档对应的Bloom Filter串在bf文件中所处的位置，将其提取出来以01检验的方式完成校验和查询。

一种支持可搜索加密的密文索引结构的构造方法，包括以下步骤：

1.对每一个文档建立一个Bloom Filter结构，将文档中的每一个关键字w的N个哈希值作为陷门，分别映射到m长度的点阵的N个点上，并将N个点的值全部置为1；将一篇文档中的关键词全部处理完毕之后，将Bloom Filter存储起来作为索引文件；

2.在一个文档对象中保存一个包含所有域的列表，然后遍历列表中的每一个域，为需要建立索引的域建立索引，具体包含如下步骤：

2.1) 首先对域值进行分析处理，得到它的token流，对于token流中的每一个token，通过一个伪随机函数f(token)计算其函数值S；

2.2) 通过一组哈希函数h1，h2，h3，… hn分别计算S的哈希值，得到n个哈希值h1(S),h2(S), h3(S), … hn(S)；

2.3) 通过一组哈希函数h1，h2，h3，… hn分别计算S的哈希值，得到n个哈希值h1(S),h2(S), h3(S), … hn(S)；

2.4) 把2.2）中的n个哈希值映射到[0, M]中的n个值，其中M是该文档的BloomFilter串的长度，这n个值就是该token所对应的陷门；

2.5）将2.3）中的n个[0, M]范围内的值对应的BloomFilter串位置置为1，若已经为1的位则不做处理；

3.所有域都按照上述步骤索引完毕后，将文档对应的BloomFilter串作为索引文件保存在磁盘中，并将文档信息及需要保存的域的内容写入索引文件。

有益效果：本发明基于陷门单项函数并与伪随机函数相结合构造了一个具有高安全性的密文索引结构，基于该安全索引结构可搜索加密的文档，本发明同时满足安全性与搜索效率的需求，适合云计算背景下的基于关键词的可搜索加密和密文检索。

附图说明

图1是本发明实施例提供的支持可搜索加密的密文索引结构的结构示意图；

图2是本发明实施例提供的支持可搜索加密的密文索引结构的构造方法；

图3是本发明实施例提供的支持可搜索加密的密文索引结构的查询方法。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，本实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。

如图1所示，本发明实施例公开了一种支持可搜索加密的密文索引结构及其构造方法，该密文索引结构包括四个文件结构，分别为：sys文件、bf文件、doc文件以及seg文件，这4个文件包含了所有的索引信息及文档信息。这四个文件的具体信息如下：

sys文件包括生成索引时伪随机函数要用到的大素数，索引中的文档数目，bf文件的字节长度，doc文件的字节长度等。sys文件中还包含了一个文档信息列表，其中的每一条文档信息包括了该文档ID、seg文件编号、对应的BloomFilter串在bf文件中的偏移值、文档在doc文件中的偏移值、以及该文档的字节长度。两个偏移值在查询的时候起到了指针的作用，可以帮助快速的定位到对应的索引信息位置。

doc文件保存文档信息，每一条文档信息包括文档ID、文档名称、文档所包含的域数目、文档的字节长度以及文档包含的域信息列表，域信息列表中的每一条域信息包括该域的名称以及在seg文件中的偏移值，其中，域在seg文件中的偏移值用来快速查找域内容；

seg文件是存放被索引内容的文件，包括了所有文档的域的内容。seg文件分成多个限定长度的文件分开存储，每个文件以“seg_x”的方式命名，x为分片文件编号。seg文件中的域信息包括域的名称，权值，是否进行索引，是否进行存储，是否进行token化，以及域的文本内容，若某域被标记为不存储则该域内容为空。

bf文件保存了各个文档所对应的Bloom Filter串。单个Bloom Filter串是一系列的01组合，在进行查询的时候，索引通过sys文件找到文档对应的Bloom Filter串在bf文件中所处的位置，将其提取出来以01检验的方式完成校验和查询。

上述支持可搜索加密的密文索引结构的构造方法具体包含如下步骤：

步骤1，对每一个文档建立一个Bloom Filter结构，将文档中的每一个关键字w的N个哈希值作为陷门，分别映射到m长度的点阵的N个点上，并将N个点的值全部置为1。将一篇文档中的关键词全部处理完毕之后，将Bloom Filter存储起来作为索引文件。

步骤2，在一个文档对象中保存一个包含所有域的列表，然后遍历列表中的每一个域，为需要建立索引的域建立索引。所说的步骤2，具体包含如下步骤：

步骤2.1，首先对域值进行分析处理，得到它的token流，对于token流中的每一个token，通过一个伪随机函数f(token)计算其函数值S。

步骤2.2，通过一组哈希函数h1，h2，h3，… hn分别计算S的哈希值，得到n个哈希值h1(S), h2(S), h3(S), … hn(S)。

步骤2.3，通过一组哈希函数h1，h2，h3，… hn分别计算S的哈希值，得到n个哈希值h1(S), h2(S), h3(S), … hn(S)。

步骤2.4，对于步骤2.2中计算出的n个哈希值进行处理，使之分别能映射到[0, M]中的n个值，其中M是该文档的BloomFilter串的长度，这n个值实际上就是该token所对应的陷门。

步骤2.5，将步骤2.3中计算出的n个[0, M]范围内的值对应的BloomFilter串位置置为1，若已经为1的位则不做处理。

步骤3，所有域都按照上述步骤索引完毕后，我们将此文档对应的Bloom Filter串作为索引文件保存在磁盘中，并将文档信息及需要保存的域的内容写入索引文件。

本发明中的伪随机函数采用FIPS 186生成器，函数中用到的单向函数采用了基于DES的FIPS 186单向函数。***中的哈希函数采用BKDRHash，APHash，DJBHash，JSHash，RSHash等5个函数，分别用来产生一组不同的哈希值。

具体的说，本发明首先构造空的索引结构，该结构包括4部分，分别为sys文件、bf文件、doc文件以及seg文件。

然后开始初始化sys文件，生成最大索引素数，初始化文档数量为0，bf字节数，具体如图1所示，对于新加入索引***的文档，生成文档ID，把文档ID、文档名称、把这些信息***到Doc文件中，同时把文档信息***的sys文件，并把sys文件中的文档与doc文件中的文档关联起来；随后分析文档的关键词列表，即域信息，对每一个域建立信息***到seg文件中；然后把doc文档中域信息与seg文件关联起来；最后生成BloomFilter信息***到bf文件中，并把bf文件与doc文件进行关联。

上述关联是依靠图1中的那些偏移地址来完成的。此外在建立索引结构的过程中，每增加一个文件都要把相应的文档数目、文档字节长度、doc文件字节长度，bf文件字节长度信息进行更新。其中文档的域信息建立是关键，其基本方法如图2所示：

对每一个文档获取其关键词域数量和信息，针对每一个关键词域，得到其索引和得到它的token流，对于token流中的每一个token，通过一个伪随机函数f(token)计算其函数值S。通过一组哈希函数h1，h2，h3，… hn分别计算S的哈希值，得到n个哈希值h1(S), h2(S),h3(S), … hn(S)。把这n个哈希值映射到[0, M]中的n个值，其中M是该文档的BloomFilter串的长度，这n个值实际上就是该token所对应的陷门。然后将上述的n个[0, M]范围内的值对应的Bloom Filter串位置置为1，若已经为1的位则不做处理。处理完毕后生成Bloom Filter索引存入bf文件。

当用户发起密文搜索请求后，其搜索流程如图3所示，具体描述如下：

在密文索引构造的时候，为了使得相同关键词的陷门能够根据文档的不同而有所区别，***将关键词与其所在的文档ID号进行处理后作为新的关键词再生成陷门，因此在进行查询时，我们也需要根据每个索引中文档ID的不同来分别计算查询关键词的陷门。整个查询流程大致上可以分为两个阶段：对查询语句的处理阶段以及陷门匹配阶段。

查询语句的处理过程与建立索引类似，首先是对查询语句的预处理，主要是分词、去重、过滤等，最终形成一个token化的流，并按照查询语法生成一颗查询树。Token化后对于token流中token的处理与建立索引时一致，首先是通过一个伪随机函数f得到token的函数值w=f(token)，然后将w用N个哈希函数{h1, h2, ……, hN}进行哈希变换得到包含N个哈希值的集合H={h1(w), h2(w), ……, hN(w)}，H通过一个变换函数T将其中的元素映射到区间[0, M]，得到一个在此区间内的位置值集合P=T(H)={p1, p2, ……, pN | 对于任意0≤i≤N ，有0≤pi≤M}，其中M是该文档所对应的BloomFilter串长度，然后将P按照查询树规则与结果位置值集合S进行合并，得到一个新的位置值集合。把所有的Token都处理完毕后即可得到进行查询的最终的位置值集合S。

得到位置值集合S后就进入陷门匹配阶段。此阶段实际上是一个顺序匹配的过程，首先从索引文件中读出一个Bloom Filter串的列表L，逐次对列表L中的每一个BloomFilter串B进行比较，若对于任意p∈S，都有Bit(B, p)=1，其中Bit(B, p)表示01串B的第p个bit位的值，则B满足查询条件。将B所对应的文档作为结果文档加入结果集合R中；反之，只要有一个p∈S，使得Bit(B, p)≠1，则B所对应的文档就不满足查询条件。将所有的BloomFilter都检查完毕之后，可以得到最终的结果集合R，并返回给查询用户。

本发明基于陷门单项函数并与伪随机函数相结合构造了一个具有高安全性的密文索引结构，基于该安全索引结构可搜索加密的文档，本发明同时满足安全性与搜索效率的需求，适合云计算背景下的基于关键词的可搜索加密和密文检索。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种支持可搜索加密的密文索引结构，其特征在于，包括sys文件、bf文件、doc文件和seg文件，所述sys文件、bf文件、doc文件和seg文件包含所有索引信息及文档信息；其中：

sys文件包括生成索引时伪随机函数要用到的大素数，索引中的文档数目，bf文件的字节长度，doc文件的字节长度等，sys文件中还包含了一个文档信息列表，其中的每一条文档信息包括了该文档ID、seg文件编号、对应的BloomFilter串在bf文件中的偏移值、文档在doc文件中的偏移值、以及该文档的字节长度，所述BloomFilter串在bf文件中的偏移值与文档在doc文件中的偏移值在查询的时候起到了指针的作用，可以帮助快速的定位到对应的索引信息位置；

doc文件保存文档信息，每一条文档信息包括文档ID、文档名称、文档所包含的域数目、文档的字节长度以及文档包含的域信息列表，所述域信息列表中的每一条域信息包括该域的名称以及在seg文件中的偏移值，所述域在seg文件中的偏移值用来快速查找域内容；

seg文件是存放被索引内容的文件，包括了所有文档的域的内容，seg文件分成多个限定长度的文件分开存储，每个文件以“seg_x”的方式命名，x为分片文件编号，seg文件中的域信息包括域的名称，权值，是否进行索引，是否进行存储，是否进行token化，以及域的文本内容，域被标记为不存储时，则该域内容为空；

bf文件保存了各个文档所对应的Bloom Filter串，单个Bloom Filter串是一系列的01组合，在进行查询的时候，索引通过sys文件找到文档对应的Bloom Filter串在bf文件中所处的位置，将其提取出来以01检验的方式完成校验和查询。

2.根据权利要求1所述的一种支持可搜索加密的密文索引结构的构造方法，其特征在于，包括以下步骤：

1.对每一个文档建立一个Bloom Filter结构，将文档中的每一个关键字w的N个哈希值作为陷门，分别映射到m长度的点阵的N个点上，并将N个点的值全部置为1，将一篇文档中的关键词全部处理完毕之后，将Bloom Filter存储起来作为索引文件；

2.在一个文档对象中保存一个包含所有域的列表，然后遍历列表中的每一个域，为需要建立索引的域建立索引，具体包含如下步骤：

2.1) 首先对域值进行分析处理，得到它的token流，对于token流中的每一个token，通过一个伪随机函数f(token)计算其函数值S；

2.2) 通过一组哈希函数h1，h2，h3，… hn分别计算S的哈希值，得到n个哈希值h1(S),h2(S), h3(S), … hn(S)；

2.3) 通过一组哈希函数h1，h2，h3，… hn分别计算S的哈希值，得到n个哈希值h1(S),h2(S), h3(S), … hn(S)；

2.4) 把2.2）中的n个哈希值映射到[0, M]中的n个值，其中M是该文档的BloomFilter串的长度，这n个值就是该token所对应的陷门；

2.5）将2.3）中的n个[0, M]范围内的值对应的BloomFilter串位置置为1，若已经为1的位则不做处理；

3.所有域都按照上述步骤索引完毕后，将文档对应的BloomFilter串作为索引文件保存在磁盘中，并将文档信息及需要保存的域的内容写入索引文件。