CN108182220A - 云服务器中基于用户隐私保护的图像检索方法 - Google Patents

Abstract

本发明涉及图像检索技术领域，特别涉及一种云服务器中基于用户隐私保护的图像检索方法，包括：第一用户创建存储库，并得到储存库密钥；对即将储存在存储库的图像进行加密，得到加密图像和图像密钥；利用加密图像的色彩特征值生成查询图像、视觉词袋，并根据加密图像的色彩特征值和视觉词袋构建索引；根据加密图像和储存库密钥生成搜索陷门；对加密图像进行搜索；本发明一方面减少客户端的开销，另一方面，颜色信息可以与纹理信息分离，使得能够使用具有不同属性的不同加密技术，并允许隐私保护基于内容的图像检索由不受信任的云服务器执行。

Description

云服务器中基于用户隐私保护的图像检索方法

技术领域

本发明涉及图像检索技术领域，特别涉及云服务器中云服务器中基于用户隐私保护的图像检索方法。

背景技术

视觉数据是企业和个人使用场景中全球互联网流量最大的一个部分。日常生成和共享的图像的数量正在不断增长。存储如此大量的数据一直是利用云存储和云计算作为解决方案，所以处理如此巨大的数据成为了数据外包服务的驱动因素。据报，这些服务，例如Instagram和Flickr，已成为增长最大的互联网服务之一。此外，在公共和私人存储库中大量图像的可用性自然导致需要基于内容的搜索和检索解决方案。

尽管数据外包，即上述云计算基础设施，似乎是支持大规模图像存储和检索***的普遍解决方案，但它实际上在数据控制和隐私方面有了新的挑战。这是外包数据所导致的必然结果，这通常意味着释放控制，有时甚至是完全拥有。最近的新闻也已经提供了明确的证据，所以不应该期望云提供商会保护隐私。此外，为云提供商工作的恶意***管理员是可以完全访问托管云机器上的数据。最后，外部黑客可以利用软件漏洞获取未经授权的访问服务器的权力。iCloud图像存储服务和名人照片漏洞最近的事件在某种程度上说明了这些威胁对基于云的视觉数据存储的重要性。

在这种情况下解决隐私的常规方法是在外包之前对敏感数据进行加密，并在客户端运行所有计算。但是，由于数据必须不断下载，解密，处理和安全重新上载，所以这引起了太多的客户端开销。许多应用程序，特别是在非常大的数据集，如具有基于内容的图像检索(Content-based image retrieval，CBIR)服务的图像存储库，上运行的在线和移动应用程序无法应对这种开销。更可行的方法是外包计算并对服务器端的加密数据执行操作。在这一领域的现有建议仍然在理论阶段，即需要完全同态加密的技术，这仍然是计算上太过于耗时了。然而，部分同态加密方案和设计用于解决特定搜索问题的对称密钥解决方案是一个很好的替代方案，会产生更实际的结果，同时提供安全(隐私)和可用性。不幸的是，即使这些解决方案对于广泛的应用来说计算太复杂，特别是关于在大规模，动态更新的图像存储库中对私有存储CBIR的支持甚至更多。

发明内容

针对以上问题，本发明提供一种云服务器中基于用户隐私保护的图像检索方法，包括：

S1：第一用户创建存储库，并得到储存库密钥；

S2：对即将储存在存储库的图像进行加密，得到加密图像和图像密钥；

S3：利用加密图像的色彩特征值生成查询图像、视觉词袋，并根据加密图像的色彩特征值和视觉词袋(bag of visual words，BOVW)构建索引；

S4：根据加密图像和储存库密钥生成搜索陷门；

S5：对加密图像进行搜索。

优选地，生成存储库包括：

S11：生成存储库，存储库由单个用户创建，创建存储库后，该存储库将生成新的存储库密钥；

S12：生成存储库密钥，对随机种子[0,...,100]范围内的整数通过伪随机生成器g进行三次独立随机排列来生成存储库密钥；

S13：共享存储库密钥，用户生成存储库密钥后将密钥共享给其他授权的用户，其他授权用户可以在该储存库储存图片或者搜索图片。

优选地，第一用户创建存储库，并得到储存库密钥包括：

生成存储库密钥的随机排列由伪随机生成器g对随机种子[0,...,100]范围内的整数进行三次随机排列来生成变量，表示为：

rk_H，rk_S，rk_V←RandPerm(g,[0,...,100])，rk＝{rk_H，rk_S，rk_V}；

其中，rk＝{rk_H，rk_S，rk_V}表示存储库密钥，rk_H为色调H的子密钥，rk_S为饱和度S的子密钥，rk_V为亮度V的子密钥，←表示赋值。

优选地，对存储库中的图像进行加密，得到加密图像和图像密钥包括：

S21：生成图像密钥；

S22：对图像像素颜色值加密；

S23：对图像内容加密。

本发明用于隐私保护外包存储检索大型动态更新的映像存储库，一方面减少客户端的开销；另一方面，颜色信息可以与纹理信息分离，使得能够使用具有不同属性的不同加密技术，并允许隐私保护基于内容的图像检索由不受信任的云服务器执行。

附图说明

图1是本发明云服务器中云服务器中基于用户隐私保护的图像检索方法的流程图；

图2是本发明云服务器中云服务器中基于用户隐私保护的图像检索方法的模型图；

图3是本发明构建索引的流程图；

图4是本发明色调的颜色特征值的前10个特征值实例图；

图5是本发明用户在储存库中搜索加密图片的实例流程图。

具体实施方式

为了更好的说明本发明的内容，以下参考说明书附图并举实施例的，对本发明的具体实施例作进一步的阐述。

本发明的模型图，如图2，包括存储库的建立、图像加密和图像检索三个总体过程。

本发明一种云服务器中基于用户隐私保护的图像检索方法，如图1，包括：

S1：生成存储库，首先每个用户都可以生成一个图像存储库，同时生成一个存储库密钥，并将存储库传入云端，具体包括：

S11：用户创建存储库，存储库由单个用户创建，创建存储库后，该存储库将生成存储库密钥；

S12：生成存储库密钥，可以通过对随机种子[0,...,100]范围内的值进行三次独立随机排列来生成存储库密钥，这些排列可以由伪随机生成器g来生成变量：

rk_H，rk_S，rk_V←RandPerm(g,[0,...,100])，rk＝{rk_H，rk_S，rk_V}；

上式生成存储库密钥rk＝{rk_H，rk_S，rk_V}，存储库密钥rk包括三个子密钥：rk_H为色调H的子密钥，rk_S为饱和度S的子密钥，rk_V为亮度V的子密钥；其中随机种子[0,...,100]内的值可以表示为色彩空间的色调(Hue，H)，饱和度(Saturation，S)和亮度(Value，V)中所有可能的颜色值，并且每个不同的子密钥由颜色通道生成；

这样加密能让可能相同的值保持在相同域中，可以减少密文扩展，并且允许“按原样”完成诸如CBIR和索引等操作。

S13：共享存储库密钥，用户生成存储库密钥后将密钥共享给其他授权的用户，其他授权用户可以在该储存库储存图片或者搜索图片。

S2若储存库的授权用户要将图片储存在存储库中，储存之前需要对图像进行加密，得到加密图像和图像密钥，其中加密过程分为两步：第一步是对图像的像素颜色值加密，第二步是将图像的像素位置置换；将图像的像素位置置换可以很安全地隐藏加密像素的颜色值，同时可以保护图像的内容，包括：

S21：生成图像密钥，通过向伪随机生成器g请求128个伪随机比特生成安全的参数sp_ik，令sp_ik通过概率加密算法生成图像密钥ik。

S22：对图像像素颜色值加密，即通过在所有像素颜色值上使用标准的伪随机排列P保护图像颜色特征，具体包括：

对于图像的像素颜色值可以通过使用S12步骤中产生的存储库密钥rk＝{rk_H，rk_S，rk_V}，在颜色通道中确定性地替换像素颜色值来加密，图像像素颜色值加密过程具体为：

其中，是通过颜色分量z的密钥rk_z对p_z进行加密，H表示色调，S表示饱和度，V表示亮度，I表示原始图像，p_z表示像素p中的颜色分量z，C_I表示加密图像。

S23：对图像内容加密，在步骤S22中是可以比较安全地隐藏加密像素的颜色值，但是由于颜色的确定性属性，原始图像中的存在的纹理特征将保持可见；本发明为了完全保护图像内容，采用了随机像素位置置换的方法，通过将像素的行和列移位，具体包括：

用步骤S21生成的ik作为加密种子来实例化；

对于每个像素的列，用伪随机生成器g随机生成一个介于1和图像高度之间的一个伪随机值r₁，并在该位置的列由上向下移动，直到溢出到其开始位置；

在所有列都被随机移位之后，对于每个像素的行，用伪随机生成器g随机生成一个介于1和图像宽度之间的一个伪随机值r₂，并在该位置的行由左向右移动，直到溢出到其开始位置；

在这个加密算法过程中没有密文扩展，加密过程表示为：

每个图像都会有一个唯一的图像密钥ik，当相同图案的图像被不同的名称多次存储，也会拥有不用的图像密钥ik；此外，这个步骤有效的隐藏了图像中现有的纹理图案，使计算上不可能推断明文和密文之间的相关性，加密过程中选择移动行和列，而不是伪随机置换所有单个像素位置，是因为它更有效性能更好；若储存库的其他授权用户需要搜索加密图片，必须向储存此图片的用户申请查询图像和图像密钥。

S3：为了方便对加密图像的搜索，利用图像的色彩特征值生成视觉词袋并构建索引，在云服务器中，接受的加密图像在被存储之前被处理并索引然后执行基于内容的图像检索；加密图像处理的两个主要的步骤是特征提取和特征索引；特征提取是提取图像的颜色特征，在提取特征之后要建立特征索引，本发明使用的是视觉词袋表示法为每个仓库建立一个词汇表和一个反向列表索引；最后用户根据搜索陷门检索图像，如图2，具体展示了如何在给图像构建一个安全的索引，保证图像的安全性，具体包括：

S31：首先要实现特征提取，在本发明中提取的特征是颜色模型HSV中的颜色特征以及它们的颜色直方图，对于每个加密图像和每个颜色通道，云服务器通过对图像的色调H，饱和度S和亮度V在色彩空间中取不同的值时图中的像素数进行计数来构建颜色直方图，例如在128维的色彩空间中HSV的取值可以为H＝16、S＝4、V＝2，也可以为H＝8、S＝4、V＝4；颜色直方图上的波峰就得以被分了开来，而这一分开的依据就是颜色的空间信息；将直方图分成零星的几个柱之后，可以将每个柱群看作是一个颜色特征，它具体的值由最高峰来决定；最后从色调(H)，饱和度(S)和亮度(V)的柱群中各挑选数值最大n个作为查询图像Q的颜色特征值，其中n≤10；以色调H的颜色特征值为例，如图4，选取某一幅图片的色调H的前10个颜色特征值，其中横坐标表示颜色值，纵坐标表示颜色值的个数，图中的每一个柱群表示一个特征，即一个词汇，柱群中的最高峰表示颜色特征值，具体的数值由最高峰决定。

S32：通过使用BOVW表示法为一个仓库构建一个词汇书和一个反向列表索引，构建索引的流程如图3，首先根据原始图像生成加密图像，再根据提取的加密图像颜色特征值构建索引，这种根据颜色特征值构建的索引方法具有良好的搜索性能和扩展性，在BOVW模型中，特征向量被分层聚类到词汇树(也称为码本)中，其中每个节点表示收集和叶中的代表性特征向量选择节点作为最具代表性的节点(称为视觉词)；在创建码本之后，可以通过分层次地阻止附加图像来动态地存储附加图像；根据一些距离函数中，这个词根返回最接近的视觉词；最后，云服务器构建一个反向列表索引，最靠近它们的图像列表以及图像中的视觉词的频率分数，优选的，本专利选择的距离函数是汉明距离：

d(a,b)＝∑a⊕b；

其中，d(a,b)表示词根与视觉词之间的距离，a表示词根，b表示视觉词，⊕表示异或运算。

S4：生成搜索陷门，首先搜索陷门需要查询图像和存储库密钥，然后要获得图像的图像密钥，最后通过加密算法生成搜索陷门，具体包括：

搜索陷门的作用是搜索与查询图像相似的加密图像，加密图像的加密因子包括存储库密钥、图像密钥和查询图像，为了使搜索陷门不完全泄露加密图像信息，选择储存库密钥和查询图像作为搜索陷门的因子，即将查询图像Q和存储库密钥rk作为搜索陷门的输入；

使用与图像加密相同的算法来生成搜索陷门，用户可以利用它来搜索图像存储库，拥有存储库密钥rk的用户能够访问存储在存储库中的所有的图像的颜色值，但是用户无法获得相应图像的纹理信息，并且也无法使用储存库密钥rk搜索其他存储库，即一个储存库密钥唯一对应一个储存库；因为在生成搜索陷门的时候，使用的是与加密图像相同的算法，这就说明搜索陷门也是可以解密的，只需要用户拥有加密图像的密钥，就将它们存储在存储库中进而与存储库中的图像进行比较，生成陷门的过程可以表示为：

使用与图像加密过程相同的算法生成搜索陷门，搜索陷门的生成表示为：

其中，表示在原始图像中通过颜色分量z的密钥rk_z对p_z进行加密，p_z表示原始图像的像素p中的颜色分量z，p_z表示原始图像的像素p中的颜色分量z。

S5：对加密图像进行搜索，如图5，包括：

第三授权用户使用查询图像通过搜索陷门在储存库中搜索图像，搜索完成后，储存库反馈检索分数最高的前N个加密图像给第三授权用户，因为图像密钥与加密图像为一一对应关系，对这些图像使用图像密钥，就可以解开图像密钥对应的加密图像，从而得到原始图像，具体包括：

云服务器可以通过为搜索的查询图像提供搜索陷门来接收用户的搜索请求，当接收到新的搜索陷门时，云服务器提取其颜色特征向量，并通过将其发送到码本来找到最接近的视觉词；查询图像的视觉词可以用于访问存储库的索引，获取过程中相应的发布列表；对于至少一个发布列表中引用的图像，为该图像计算检索分数；查询图像的视觉词可以由{ε(Q₁)，ε(Q₂)，...，ε(Q_N)}表示，加密图像的视觉词可以由{ε(D₁)，ε(D₂)，...，ε(D_N)}表示，M表示存储库中的加密图像的总数，N_i表示包含视觉词i的图像数；不同的视觉词携带的信息量不同，这里可以给视觉词加一个权重，其中权重表示为所以加权后的查询图像和加密图像可以表示为：

其中，Q_OPE表示加权后的查询图像，D_OPE表示加权后的加密图像，Q_i表示查询图像的第i个特征，Q_i'表示加权后查询图像的第i个特征，D_i表示加密图像第i个特征，D_i'表示加权后加密图像的第i个特征，ε(D_i)表示加密图像的第i个特征的视觉词，ε(Q_i)表示查询图像的第i个特征的视觉词，M表示存储库中加密图像的总数，N_i表示包含视觉词i的图像数；

在图像检索的过程中，服务器会对比查询图像和储存库中加密图形的颜色特征值，查询图像和存储库图像的相似度即检索分数可以由下公式得出：

最后，云将检索分数最高的前N个图像返回给用户，其中N为用户设置的参数，BOVW表示法保证只有最相关的图像必须在得分步骤中进行比较，在收到这些排名结果后，用户可以通过从其所有者请求相应的图像密钥来显式请求对图像的完全访问。

用户可以通过搜索陷门来检索所需的图像，但是搜索的图像和查询图像都要经过解密，解密过程是与加密过程相反的过程，所以随机生成的伪随机值必须以与加密相同，所以解密的具体步骤包括：

其中，表示与的加密过程对应的解密过程，表示加密图像的像素c_p中的颜色分量z。

本发明从在云服务器中如何进行安全的图像检索，提出了一种用于隐私保护外包存储和检索大型动态更新的图像存储库的方法，本专利从图像的加密，存储库索引的构建和加密域图像的检索三个方面考虑，利用图像属性的可分离性，构建了一种新的加密方案，使其能够较为有效的保护图像的隐私，并且在检索性能上也有很大的提高。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.云服务器中基于用户隐私保护的图像检索方法，其特征在于，包括：

S1：第一用户创建存储库，并得到储存库密钥；

S2：对即将储存在存储库的图像进行加密，得到加密图像和图像密钥；

S3：利用加密图像的色彩特征值生成查询图像、视觉词袋，并根据加密图像的色彩特征值和视觉词袋构建索引；

S4：根据加密图像和储存库密钥生成搜索陷门；

S5：对加密图像进行搜索。

2.根据权利要求1所述的云服务器中基于用户隐私保护的图像检索方法，其特征在于，所述第一用户创建存储库，并得到储存库密钥包括：

S11：生成存储库，存储库由单个用户创建，创建存储库后，该存储库将生成存储库密钥；

S12：生成存储库密钥，对随机种子[0,...,100]范围内的整数通过伪随机生成器g进行三次独立随机排列来生成存储库密钥；

S13：共享存储库密钥，用户生成存储库密钥后将密钥共享给其他授权的用户，其他授权用户可以在该储存库储存图片或者搜索图片。

3.根据权利要求2所述的云服务器中基于用户隐私保护的图像检索方法，其特征在于，生成存储库密钥包括：

生成存储库密钥的随机排列由伪随机生成器g来生成变量，表示为：

rk_H，rk_S，rk_V←RandPerm(g,[0,...,100])，rk＝{rk_H，rk_S，rk_V}；

其中，rk＝{rk_H，rk_S，rk_V}表示存储库密钥，存储库密钥包括色调H的子密钥rk_H，饱和度S的子密钥rk_S，亮度V的子密钥rk_V，←表示赋值。

4.根据权利要求1所述的云服务器中基于用户隐私保护的图像检索方法，其特征在于，所述对存储库中的图像进行加密，得到加密图像和图像密钥包括：

S21：生成图像密钥；

S22：对图像像素颜色值加密；

S23：对图像内容加密。

5.根据权利要求4所述的云服务器中基于用户隐私保护的图像检索方法，其特征在于，对图像像素颜色值加密包括：

对所有像素颜色值使用标准的伪随机排列来保护图像颜色特征，采用一个特定颜色域的伪随机排列，对于图像的像素颜色值通过存储库密钥rk在颜色通道中确定性地替换像素颜色值来加密，图像像素颜色值加密过程表示为：

其中，表示在原始图像中通过颜色分量z的密钥rk_z对p_z进行加密，H表示色调，S表示饱和度，V表示亮度，I表示原始图像，p_z表示原始图像的像素p中的颜色分量z，C_I表示加密图像。

6.根据权利要求4所述的云服务器中基于用户隐私保护的图像检索方法，其特征在于，对图像内容加密包括：

对于每个像素的列，用伪随机生成器g随机生成一个介于1和图像高度之间的一个伪随机值r₁，并在该位置的列由上向下移动，直到溢出到其开始位置；

在所有列都被随机移位之后，对于每个像素的行，用伪随机生成器g随机生成一个介于1和图像宽度之间的一个伪随机值r₂，并在该位置的行由左向右移动，直到溢出到其开始位置，加密过程表示为：

其中，C_I表示加密图像，h表示图像的高度，w表示图像的宽度，x表示图像的行，y表示图像的列。

7.根据权利要求1所述的云服务器中基于用户隐私保护的图像检索方法，其特征在于，所述利用加密图像的色彩特征值生成查询图像、视觉词袋，并根据加密图像的色彩特征值和视觉词袋构建索引包括：

S31、首先统计加密图像的色调、饱和度和亮度在颜色模型中的颜色特征值，得到颜色特征直方图，并根据加密图像的部分颜色特征值生成查询图像；

S32、根据颜色特征值直方图使用视觉词袋表示法为一个图像存储库构建一个词汇书和一个反向列表索引。

8.根据权利要求1所述的云服务器中基于用户隐私保护的图像检索方法，其特征在于，所述根据加密图像和储存库密钥生成搜索陷门包括：

利用原始图像图像的颜色特征生成搜索陷门，搜索陷门的生成表示为：

其中，Q表示查询图像，表示在原始图像中通过颜色分量z的密钥rk_z对p_z进行加密，p_z表示原始图像的像素p中的颜色分量z，H表示色调，S表示饱和度，V表示亮度，h表示图像的高度，w表示图像的宽度，x表示图像的行，y表示图像的列，I表示原始图像，r₁、r₂为伪随机值，←表示赋值。

9.根据权利要求1所述的云服务器中基于用户隐私保护的图像检索方法，其特征在于，所述对加密图像进行搜索包括：第三授权用户使用查询图像通过搜索陷门在储存库中搜索图像，搜索完成后，储存库反馈检索分数最高的前N个加密图像给第三授权用户，对N个加密图像逐一使用图像密钥进行解密，能够成功解密的加密图像就是第三授权用户查找的图像。

10.根据权利要求9所述的云服务器中基于用户隐私保护的图像检索方法，其特征在于，所述检索分数包括：

定义查询图像和存储库中的加密图像的相似度为检索分数，表示为：

其中，Q_i'表示加权后查询图像的第i个特征，D_i'表示加权后加密图像的第i个特征，Q_OPE表示加权后的查询图像，D_OPE表示加权后的加密图像。