CN112966086A

CN112966086A - 一种基于位置敏感哈希函数的可验证模糊搜索方法

Info

Publication number: CN112966086A
Application number: CN202110270472.9A
Authority: CN
Inventors: 林亚平; 崔富超
Original assignee: Hunan University
Current assignee: Hunan University
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2021-06-15

Abstract

本发明涉及一种基于位置敏感哈希函数的可验证模糊搜索方法。其发明内容主要包括：提出一种基于位置敏感哈希函数的模糊查询搜索框架，在此基础上，通过结合默克尔树模型构建可验证的模糊查询索引结构，并使用HMAC函数生成节点指纹和其验证对象，以实现针对于英文文档的可验证多关键字模糊查询。本发明为加密外包数据的多关键词模糊搜索提供了解决方案，利用位置敏感哈希函数容忍可能的关键词拼写错误，提升模糊查询匹配的准确率，同时该方法还支持对返回的文件集合进行正确性和完整性的校验，实现对恶意云服务器欺诈行为的捕获与防范，在云计算领域常见的查询关键词拼写错误和云服务器欺诈场景下具有实际应用价值。

Description

一种基于位置敏感哈希函数的可验证模糊搜索方法

技术领域

本发明涉及云计算和可搜索加密领域，具体涉及一种基于位置敏感哈希函数的可验证模糊搜索方法。

背景技术

云服务器提供的的可定制化存储服务极大地节省了企业和用户的存储成本。随时随地的网络访问和高质量存储管理使得越来越多的企业和个人选择将数据上传到云端。然而，云服务器并不是完全可信的，将敏感信息(例如电子邮件、***账单、健康体检记录、商业保密数据等)外包到远程服务器会带来隐私问题。为了保护敏感数据的隐私，数据的所有者往往会在本地将数据加密后再上传到云端，因此可搜索加密技术得到了广泛的研究。但是传统的可搜索加密技术并不能够满足现实搜索场景的需求，因为当输入的关键字拼写错误或时态不一致时，云服务器无法准确返回满足用户查询的文件。支持模糊搜索的一种有效方法是通过扩展索引来覆盖所有可能的关键字拼写错误。如文献“Fuzzykeywordsearch over encrypted datain cloudcomputing.INFOCOM,2010.”提出了一种基于编辑距离的模糊查询方法，利用通配符构造加密数据的扩展关键字集。虽然通配符的引入减小了预定义关键字集的大小，但是扩展后的索引仍然导致了较低的检索效率和额外的索引空间开销，这对于按需付费的云存储服务来说，该方法是不具有优势的。

位置敏感哈希(Locality Sensitivity Hashing)最早应用于高维海量数据的快速近似查找，通过哈希碰撞将两个相似度较高的输入项以很高的概率映射成同一个hash值来实现近似检索，文献“Privacy-preserving multikeyword fuzzy search overencrypted data in the cloud.INFOCOM,2014.”利用P稳定位置敏感哈希构建文件索引向量，并通过矩阵计算得到文件与查询的相关性得分。该方案不需要预先定义的模糊关键词集合，而是通过算法设计解决了多关键词模糊查询问题，为解决模糊搜索问题提供了新的思路。

默尔克树(Merkle hash tree)是一种特殊的树结构，能够以较低的计算开销对一组消息进行身份验证。其树节点中存储有唯一标识该节点的指纹，HMAC函数的单向性和低碰撞性确保了任何恶意的云服务器都不能够通过生成一个相同的根摘要来伪造任何结果。

近年来针对模糊查询的效率问题也有一定的研究，出现了基于平衡二叉树结构的模糊查询方案，文献“Efficient dynamic multikeyword fuzzy search over encryptedcloud data,”Journal of Network and ComputerApplications,2020.”利用了平衡二叉树和剪枝算法提高了检索效率，能够在亚线性时间完成多关键词模糊查询。

鉴于云服务提供商可能会出于节省计算和存储成本的目的删除不常用的外包数据或者伪造搜索结果欺骗用户，即使是云服务提供商是诚实的，当云服务器遭到病毒或蠕虫攻击时也可能导致外包的数据文件被恶意篡改和删除。因此，要求多关键词模糊查询的搜索方案应该能够赋予用户对返回的搜索结果进行正确性和完整性验证的能力。

基于上述，本专利旨在提出一种高效可验证的多关键词模糊查询方法，且该方法即使在关键词发生时态或拼写错误的情况下，仍能准确的返回用户感兴趣的文件集合。

发明内容

本发明提出了一种基于位置敏感哈希函数的可验证模糊搜索方法，即使用户查询请求中的关键词发生时态或者拼写错误时，仍能够高效且准确的返回用户感兴趣的搜索结果，同时能够对返回的搜索结果进行正确性和完整性校验来防止恶意的云服务器欺诈行为。主要包括：

(1)提出一种基于位置敏感哈希函数的模糊查询搜索框架；

(2)提出一种基于默克尔树的可验证模糊查询索引结构。

具体内容如下：

(1)提出一种基于位置敏感哈希函数的模糊查询搜索框架，该模型结构如图1所示。模型由数据拥有者，数据用户和云服务器三个实体组成。数据拥有者首先从数据集合F中提取关键词集合W，并依据关键词集合建立加密的索引树I，最后将加密的数据集合C以及加密索引树I上传到云端，并通过安全的信道向授权的数据用户分发解密秘钥和陷门TD生成的关键信息；被授权的数据用户生成包含t个查询关键词的陷门TD发送至云服务器进行查询操作；在接收到来自数据用户的查询请求后，云服务器执行预定义的检索算法，返回相关性最高的k个文档和验证对象集合VO作为搜索的结果。

在关键词处理阶段，首先从文件集合F中提取关键词集合W＝{w₁，w₂，...，w_k}，并且根据TF-IDF(词频-逆文本频率)规则计算每个关键词在各个文件中的TF-IDF值作为权重，TF-IDF值计算规则如下：

其中

是关键词w_i在文件f中的词频，N是文件集合的数量，而

是包含关键词w_i的文件的数量。然后通过POS算法(Parts ofspeech，词性标注)分析关键词的上下文获取关键词词性，再通过词形还原算法(Lemmatization)对不同词性的单词进行还原，确保还原后的单词是准确，唯一且语义完整的。

在关键词向量构造阶段中，首先将英文关键词转换为一个单字符集合，例如关键词“represent”对应的单字符集合为{r₁，e₁，p₁，r₂，e₂，s₁，e₃，n₁，t₁}，其中r₁和r₂分别代表字符r在关键词中第1次和第2次出现；然后通过预定义的转换字典将单字符集合转换为大小为160位的关键词向量，其中26*5位表示字母，10*3位表示数字和常用符号；如果关键词向量的某一位为1，则代表该关键词包含相对应的字符，例如“r₁”对应第17位，“r₂”对应于第43位。特别的，由于关键词“representative”与其拼写错误的形式“r1present”在关键词向量中仅有一位元素不同，这是我们后续使用位置敏感哈希函数实现模糊查询的关键。

在明文索引树的构建过程中，首先为每一个文件f生成一个文件向量D，对于文件f中包含的每个关键词，使用l个独立的P-stable LSH函树将关键词向量映射得到l个哈希值，每个哈希值对应文件向量D中的一个位置，该位被设置为该关键词在文件f中的TF-IDF值；然后把上述文件向量存储在叶子节点中，并自下而上构建关键词平衡二叉树结构，每一个中间节点所含的文件向量不再对应某个文件，而是遵从如下规则：

D[i]＝max{u.P_l→D[i],u.P_r→D[i]},i＝1,...,m

P-stable LSH(p稳定的位置敏感哈希)函数族使用关键词向量作为输入，对于任意的两个点p和q，该函数族均满足如下性质：

if d(p,q)≤R:Pr[h(p)＝h(q)]≥P₁

if d(p,q)≥cR:Pr[h(p)＝h(q)]≤P₂

其中h是LSH函数族中的一个独立的函数，d(p,q)表示点p和点q之间的距离。这一性质确保了欧氏距离相近的关键词向量能够以高概率散列到文件向量D中的同一位置，而不相近的关键词向量被映射到同一位置的概率非常小。由于查询向量的生成过程和索引树生成中关键词向量的生成过程是相似的，只是对应位被设置为1(因为数据用户无从知晓查询关键词的具体TF-IDF值)，因此云服务器可以通过向量的内积运算得到查询请求和文件f的相关性得分从而实现模糊排名查询。

(2)提出一种基于默克尔树的可验证模糊查询索引结构：在对明文索引树进行加密阶段，首先对于每一个叶子节点，使用单向低碰撞的HMAC函数对文件摘要进行散列得到叶子节点的指纹fp；然后依据KNN加密算法使用可逆矩阵M₁和M₂对明文索引树中每个节点所包含的文件向量D进行加密得到Enc_SK(D)＝{M₁ ^T·D′,M₂ ^T·D″}，值得说明的是，数据用户也同样使用该方式加密查询向量得到Enc_SK(Q)＝{M₁ ^-1Q′,M₂ ^-1Q″}，根据矩阵乘法规则有：

M₁ ^TD′·M₁ ^-1Q′+M₂ ^TD″·M₂ ^-1Q″＝D′^T·Q′+D″^T·Q″＝D^T·Q

因此，方法对文件向量D和查询向量Q的矩阵加密操作不会影响相关性评分的计算结果，并且恶意的攻击者在不知道具体加密矩阵M₁和M₂的情况下无法通过计算破解其中所包含的隐私信息。

对于索引树中的每一个中间节点，使用同一HMAC函数对其左右孩子节点指纹的字符连接进行散列得到该中间节点的指纹fp；同时为了弥补默克尔树在完整性校验方面的缺陷，加密后的索引树I中的每个节点还包含了验证对象VO，其是通过使用上述HMAC函数对节点的指纹fp和加密矩阵Enc_SK(D)的字符串连接进行再哈希得到的。

在该索引树的检索阶段，使用基于深度优先算法的搜索策略，对于树中的每个节点，其与查询请求计算得到的相关性得分均大于该节点左右孩子节点的相关性得分，因此，搜索算法不需要遍历完整的索引树，而是通过维护一个返回结果列表，假设数据用户请求返回相关性最高的k个文件，则当结果列表中满足条件的文件少于k个时，不进行剪枝操作，将深度优先算法遍历的代表具体文件的叶子节点都存入结果列表中且按照相关性得分按降序排列；当结果列表中文件数量达到k个时，如果当前节点的相关性得分小于结果列表中的最低值，则代表该节点的子树中不会再有更加符合查询的文件，搜索算法则跳过该子树以提高检索效率，这意味着此后遍历到的叶子节点均比结果列表中的第k个文件更加符合用户的查询要求，搜索算法将进行替换操作，并且依然维持降序排列。

与现有技术相比，上述技术方案至少具有以下显著效果：

1.本发明提供基于位置敏感哈希函数的模糊查询搜索方法，基于词形还原算法进行关键词预处理，提高了模糊搜索算法对时态错误和拼写错误的容忍度，与现有的传统英文模糊查询方案相比，能够支持更多形式的拼写错误，即使数据用户将查询关键词拼写错误或者出现时态不一致，依然能够得到正确的搜索结果。

2.提出一种基于默克尔树的可验证模糊查询索引结构，通过构建平衡二叉树的索引结构，并且引入默克尔树模型来实现对返回结果进行正确性验证，同时使用HMAC函数对树节点存储的加密矩阵及节点指纹进行再哈希生成验证对象，弥补了默克尔树模型不能实现完整性验证的缺陷，与传统的方案相比，本发明不仅实现了更加高效的多关键词模糊查询，而且支持对返回结果进行正确性和完整性校验。

附图说明

图1为本发明“一种基于位置敏感哈希函数的可验证模糊搜索方法”的模型图；

图2为本发明“一种基于位置敏感哈希函数的可验证模糊搜索方法”的实施方式图；

具体实施方式

本发明是基于位置敏感哈希函数的可验证模糊搜索方法。为了便于说明，本实施以Request for Comments(RFC)数据集为例描述本发明的具体实施，但是本领域技术人员应当知晓人员应当知晓，本申请的技术方案不对模糊搜索的数据种类进行限制。这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的范围。

本实施例中可以按照下述步骤进行实施，不局限于任一编程语言和操作***，在本实例中以python编程语言为例，在Centos 7操作***上进行模型的搭建，具体步骤如下：

步骤一：实现基于外包加密数据的模糊搜索模型。

参见图1为本发明一种基于位置敏感哈希函数的可验证模糊搜索方法的模型图，即数据拥有者，云服务器，数据用户。参见图2为本发明一种基于位置敏感哈希函数的可验证模糊搜索方法的实施方式图。其中，数据拥有者将加密数据外包给云服务器进行存储，被授权的数据用户通过将加密的查询发送给云服务器来获取感兴趣的文件集合，而云服务器可以在不知晓具体文件内容的前提下根据数据用户的查询请求实现可验证的多关键字模糊查询。

步骤二：数据集准备。

从RFC数据集中任意挑选3200个文件作为样本数据，并从中提取出3400个关键词，为了更好验证实验的可用性，应当确保每个文件所包含的关键词数量在90到180之间来模拟比实际搜索环境更加复杂的实验场景。

步骤三：构建加密索引树。

首先需要对提取到的关键词集合进行预处理，并计算得到相应的TF-IDF值作为关键词在不同文件中的搜索权重；然后将关键词按照预设的字典转换为长度为160位的关键词向量；接下来为数据集中的每一个文件构建一个长度为8000位的空白向量作为文件索引，对于每一个文件，使用p-stable lsh函数族中的8个独立哈希函数将该文件所包含的关键词向量散列得到8个位置，并将这些位置设置为该关键词对应于该文件的搜索权重；构建3200个叶子节点存储全部文件的索引向量，然后由从底至上的顺序生成未加密索引树的其余节点；然后使用KNN加密算法对树节点中存储的向量进行加密得到矩阵形式；最后使用HMAC函数生成每个数节点的指纹和验证对象。

步骤四：构建加密查询请求。

随机挑选10个关键词作为查询关键词，并将其中2个关键词中的任意一个字母替换为其他字符来模拟拼写错误；加密查询请求的构建与文件索引向量的生成过程类似，只是在映射阶段得到的8个位置被设置为1而不再是关键词的权重，同样的也使用KNN加密算法将查询向量加密得到矩阵形式。

步骤五：测试过程。

在步骤三构建好的加密的索引树结构上，进行测试。测试过程具体为，通过采用矩阵运算计算查询请求和节点加密矩阵来获得相关性评分，然后按照降序排列将其中得分最高的5个文件作为搜索结果，同时返回搜索路径上途径节点内存储的加密矩阵，指纹和其验证对象作为正确性和完整性的校验信息来判断云服务器是否存在欺诈行为。

综上所述，针对英文文档的多关键词模糊查询问题，本发明提出一种基于位置敏感哈希函数的可验证模糊搜索方法，通过将文件和查询请求映射为矩阵形式，并通过矩阵运算得到查询的相关性评分，来实现返回给用户其最感兴趣的文件集合，在云计算领域常见的查询关键词拼写错误和云服务器欺诈场景下具有实际应用价值。

本领域技术人员可以理解，本发明的保护范围不局限于所述的具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征进行等同的更改或替换，需要注意的是，更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims

1.一种基于位置敏感哈希函数的模糊查询搜索框架，其特征在于，所述方法包括：

使用词形还原算法根据关键词词性对关键词的时态进行还原，以实现在查询关键词发生拼写错误或时态不一致时，仍能准确地返回用户满意的搜索结果；

根据权利要求1所述的基于位置敏感哈希函数的可验证模糊搜索方法，其特征在于，所述基于位置敏感哈希函数的模糊查询搜索框架，具体包括：

通过数据预处理，关键词向量生成，位置敏感哈希映射完成对索引树的构建。其中数据预处理阶段提取数据文件中的关键字集合，计算关键词的词频-逆文本频率，通过词形还原算法根据上下文分析关键词的词性，实现关键词的简化；关键词向量生成阶段依据空间向量模型，使用向量作为文件索引，同时使用位置敏感哈希函数对输入的关键词向量进行映射完成明文索引树的构建。

2.一种基于默克尔树的可验证模糊查询索引结构，其特征在于，所述方法包括：

结合默克尔树模型构建索引树结构，在此基础上，通过使用单向抗碰撞的HMAC函数对树节点签名进行再哈希生成验证对象，以实现在云服务提供商存在欺诈行为时，对返回结果进行正确性和完整性的校验；

根据权利要求2所述的基于位置敏感哈希函数的可验证模糊搜索方法，其特征在于，所述基于默克尔树的可验证模糊查询索引结构，具体包括：

在索引树构建阶段，使用向量***和矩阵加密方式对文件索引向量进行加密，使用单向抗碰撞的HMAC函数对叶子节点对应的文件摘要进行散列得到节点指纹，并使用同一个HMAC函数对树节点的左右孩子指纹和其对应加密矩阵的连接进行再哈希生成验证对象；对于每一次查询，基于贪婪深度优先的搜索算法返回一个验证对象集合，数据用户通过分析该集合可以验证返回搜索结果的正确性和完整性。