CN107315812B - 一种云环境下基于词袋模型的图像安全检索方法 - Google Patents

Abstract

本发明属于多媒体信息安全保护领域，具体涉及到一种云环境下基于词袋模型的图像安全检索方法，可用于密文图像的安全检索。内容所有者基于词袋模型对图像提取特征操作数据后进行正交分解，将之划分为密码操作域和特征提取操作域，分别进行加密操作和特征提取操作，并通过正交逆变换，将操作结果叠加至同一数据域，形成加密特征并上传到云服务器；当用户需要检索图像时，云服务器无须解密，直接对密文特征进行正交分解，即可从特征提取数据域中计算出密文图像的特征，与请求检索图像的特征进行相似性度量，最为接近的即为要检索的图像。这种检索方法不依赖于特定加密方法，安全性好，更具有通用性；基于袋模型的检索方法也具有很高的检索精度。

Description

一种云环境下基于词袋模型的图像安全检索方法

技术领域

本发明属于多媒体信息安全保护领域，具体涉及到一种基于词袋模型与正交分解模型相结合的图像安全检索方法，可用于密文图像的安全检索。

背景技术

随着数码相机、智能手机的广泛应用及云计算的兴起，图像等多媒体数据呈现出***性增长的趋势，图像数据的云存储已成为一种趋势。但云计算平台也面临着严峻的安全问题，主要表现在数据的所有者与数据分离，外包于云端的数据完全脱离其拥有者的直接物理控制，将面临外部网络攻击者和不可信的云服务提供商CSP(Cloud ServiceProvider)的双重威胁。这样的服务性质可能会导致数据的泄露和滥用，从而造成在云计算环境下特有的安全隐患。

图像数据往往包含大量个人隐私信息，一旦泄露，将造成严重的后果。对图像数据采用前端加密是解决上述安全问题的一种有效方法，即数据拥有者在本地对数据加密后再外包给CSP，这样即使攻击者在云端非法窃取了用户数据，也无法进行解密以获取明文信息。但加密也给图像检索带来了困难。基于内容的图像检索从图像中自动提取相关特征，并通过比较图像特征的距离来决定图像之间的相似度，代表图像检索未来的发展趋势。图像加密后，由于加密带来的随机性，图像特征之间的距离难以保持，难以进行检索。云计算环境下加密图像的安全检索需要在保证图像数据机密性的前提下实施高效的检索，在保证检索性能的情况下，保护图像信息的安全。目前大多数加密方案都不支持对密文图像的检索运算，需要先对数据进行解密将其恢复成明文后才能进行检索，但这样明文则会被完全暴露给不被信任的CSP，有可能造成用户隐私信息的泄露，图像数据的机密性和安全性不能得到保护。近年来也逐渐出现了一些依赖于置乱、同态等特定加密方法，安全性和通用性不足。如何解决加密图像的安全高效检索是当前的研究热点。

发明内容

本发明旨在提出一种云环境下基于词袋模型的密文域检索方案，无须对密文图像及密文特征解密，即能直接对加密后的特征进行检索，且与具体加密方法无关，能有效解决现有方案安全性，通用性以及精确性不能兼顾的问题。

本方案的解决方案为：通过词袋模型提取特征，并对其进行正交分解，将图像特征数据划分为两个数据域，利用正交分解系数之间相互正交的特性，分别对两个数据域进行加密操作和特征提取操作；运用正交分解系数最终融合于正交合成向量的特性，实现操作结果的融合，使两种操作结果在最终用户载体中不可区分，形成加密后的特征并上传至CSP，保证数据的安全性。当有用户请求检索时，CSP无须解密，直接对密文特征进行正交分解，即可从特征提取域中直接计算出密文图像的特征，与检索图像的特征最为接近的即为要检索的图像。这种检索方法对具体的加密算法没有特殊要求，不依赖于特定加密方法，安全性更高，且更具有普适性；并且词袋模型特征具有鲁棒性，对于不同角度、光照的图像基本都能在图像库中正确检索，具有较高的检索效率。

本发明提供的一种云环境下基于词袋模型的图像安全检索方法，具体实现步骤为：

步骤1，可信第三方通过训练图像库建立词袋模型，生成视觉词典及中值矩阵；

步骤2，内容所有者基于步骤1构建的词袋模型对测试图像库中的每幅图像进行特征提取，并生成差值特征数据；

步骤3，内容所有者对测试图像及其差值特征数据进行加密保护，具体包括以下子步骤，

步骤3.1，将差值特征数据进行分组排列，获得相应的n×n维原始操作矩阵X；

步骤3.2，对原始操作矩阵X选取不同正交变换基R和S进行正交变换，分别获得密码操作数据域Y₁和特征提取数据域Y₂，设B为n×n维正交变换矩阵B＝(b₁，b₂，...，b_n)^T，将B划分为两个不同正交变换基R、S，即B＝(R，S)，其中R＝(b₁，...，b_m)，S＝(b_m+1，...，b_n)，则有，

Y＝B^T·X

Y₁＝R^T·X

Y₂＝S^T·X

其中，Y₁为加密操作数据域，Y₂为特征提取数据域，Y＝(Y₁，Y₂)^T；

步骤3.3，使用AES加密算法及密钥K_1e对密码操作数据域Y₁进行加密，获得密文特征数据Y_1e；使用AES加密算法及密钥K_2e对原始图像I加密获得密文图像I_e；

步骤3.4，将密文数据Y_1e、Y₂进行合成得到变换域密文矩阵Y_ef，即Y_ef＝(Y_1e，Y₂)^T，并经正交逆变换映射至多媒体数据原始空间，获得特征密文矩阵X_ef，其中X_ef＝B·Y_ef，通过与步骤3.1中分组排列相对应的逆分组排列，从特征密文矩阵X_ef中获取密文特征x_ef；

步骤3.5，对视觉词典中视觉单词ω数据补零成n×1维向量ω₀，使用正交变换矩阵B进行正交变换得到向量W＝(w₁，w₂，...，w_n)^T，即W＝B^T·ω₀，并计算该向量的1-范数作为视觉单词的密文特征ω_e，然后将ω_e与x_ef组合形成加密后的BOF特征；

步骤4，内容所有者将加密后的图像I_e以及BOF特征上传至云服务器，云服务器构建密文图像特征数据库；

步骤5，用户需查询图像时，向内容所有者发起查询请求，内容所有者返回查询图像密文特征x_ef及秘钥K_2e；用户将查询图像密文特征x_ef发送给云服务器进行查询；

步骤6，云服务器通过密文特征x_ef获得特征提取数据域Y₂，并对查询图像的特征点与密文图像特征数据库中特征点进行相似性度量，计算查询图像与图像库中所有图像的匹配分数，将密文图像按匹配分数由高到低的顺序发送给用户；

步骤7，用户利用密钥K_2e对密文图像I_e进行解密，获得原始图像I。

而且，所述步骤1的实现方式如下，

步骤1.1，局部特征提取，用sift算法生成训练图像库中每幅图的特征点及描述符；

步骤1.2，构建视觉词典，用k-means算法对训练图像库中的特征点进行训练，生成k个类心，即视觉单词，构成k维视觉词典ω_k；

步骤1.3，计算中值矩阵，随机构造一个正交投影矩阵Q并对sift特征投影，对于属于同一个聚类中心的投影数据计算其每一个维度数据的中值，即中值矩阵T。

而且，步骤2.1，提取测试图像库中每幅图的sift特征，并基于步骤1中的词袋模型将每个特征向量映射到视觉词典上生成码本；

步骤2.2，判断测试图像的每个特征点与视觉词典ω_k中的哪个视觉单词ω最近，距离最近的视觉单词即为该特征点对应类心；

步骤2.3，生成差值特征数据，利用正交投影矩阵Q对所有sift向量进行投影，比较投影后的每个sift特征与中值矩阵中其对应类心的中值向量在各维度上的大小，生成长度为l的差值序列b_l，即差值特征数据，其中l为sift特征维度。

而且，所述步骤4中云服务器构建密文图像特征数据库的实现方式如下，

对密文特征x_ef进行分组排列后，获取相应密文特征矩阵X_ef，分组排列方式与步骤3.1相同，由于正交变换矩阵B中向量满足b_i ^T×b_i＝l_i，且λ_i≠0，i∈[1，n]，并设，

若加密域为R_P，特征提取域为S_P，且满足(R_P，S_p)^T＝P·B^T，则有，

相应地，则有户·(R，S)^T＝(R_p，S_p)^T，及则可得出下式，

其中，X为原始操作矩阵，R、S为矩阵B的正交变换基，X_ef为密文特征矩阵。

而且，所述步骤6的实现方式如下，

步骤6.1，对密文特征数据x_ef进行分组排列，分组排列方式与步骤3.1相同，获取密文数据矩阵X_ef；

步骤6.2，使用正交变换基S对X_ef进行正交分解，提取出特征提取数据域Y₂，并进行与步骤6.1中分组排列相对应的逆分组排列，得到b_ls向量；

步骤6.3，对查询图像的特征点与密文图像特征数据库中特征点进行相似性匹配，首先比较二者的ω_e是否相同，若相同则计算二者对应的b_ls之间的曼哈顿距离h，若该距离大于某一阈值h_d，则认为这两个特征点不属于同一类，由此过滤掉不匹配的特征点；然后计算查询图像与图像库中所有图像的匹配分数，计算方式如下，

假设x，y分别是A，B两幅图像的特征，其中x包含q个sift描述符x＝(x₁，...，x_q)，y包含p个sift描述符y＝(y₁，...，y_p)，且每个描述符对应一个码字w，那么特征y的第j个描述符对特征x的第i个描述符的匹配函数f，其中i∈[1，q]，j∈[1，p]，以及特征y对特征x的每个描述符的匹配值m(i)定义如下：

其中，tf指的是一个给定的码字在该图像中出现的次数，idf是指的是一个给定的码字在所有图像中出现的次数，σ是权值参数，由此可知特征y对特征x的每个描述符的匹配特征为m＝[m(1)，m(2)，...，m(q)]，则图像B对图像A的匹配分数s为：

最后，将密文图像按匹配分数由高到低的顺序发送给用户。

本发明与其他方法相比，优点在于：本发明提出了一种云环境下基于词袋模型的图像安全检索方法，该方法将BOW模型引入云安全检索***中，将高维局部特征映射到视觉词典中生成码本以描述图像，并结合差值特征过滤掉误匹配的特征点，大大提高了表征能力，使得检索具有很高的计算效率和检索精度，更加适用于云环境下海量图像的高效检索。同时通过正交变换，将图像数据划分为加密域和特征提取域，使加密操作和特征提取操作分别在一组正交基的控制下能独立地操作而不互相影响，这样云服务器进行检索时就能无须解密直接对密文数据提取特征，并与查询图像进行相似性度量；两种操作结果能通过正交码的控制叠加在同一数据域中，实现二者融合，既保证了数据的安全性又不需要依赖于特定的加密方法来保持密文图像特征的距离，具有良好的适用性。

附图说明

图1是本发明实施例的安全检索方法的总体示意图；

图2是本发明实施例的可信第三方的具体处理流程图；

图3是本发明实施例的数据拥有者的具体处理流程图；

图4是本发明实施例的云服务器端的具体处理流程图；

图5是本发明实施例的数据使用者的具体处理流程图。

具体实施方式

以holiday数据库为例，结合附图1，2，3，4，5，详细说明本发明的实施步骤：

一、可信第三方的处理(离线操作)，如图2所示；

步骤1a：首先构建词袋模型，提取训练图像库中每幅图像的sift特征N，并用k-means算法对所有特征点进行聚类，生成k维视觉词典；

步骤1b：随机构造一个正交投影矩阵Q并对所有sift特征进行投影(Q*N)，选出属于同一个聚类中心的投影数据计算其每一个维度数据的中值，即可得到中值矩阵T。

二、内容所有者端的处理

步骤2a：从可信第三方以安全方式获取视觉词典、正交投影矩阵Q及中值矩阵T等必要信息，然后提取测试图像库的sift特征并基于BOW模型将每个特征向量映射到视觉词典上生成码本；同时使用正交投影矩阵Q对sift特征进行投影，然后通过判断每个投影后的特征向量与中值矩阵中其对应类心ω的中值向量在各维度上的大小，生成差值特征b_l。

步骤2b：将提取的差值特征b_l重排成n×n维原始操作矩阵X，并进行正交变换操作，获取密码操作数据域Y₁和特征提取数据域Y₂，设B为n×n维正交变换矩阵，B＝(b₁，b₂，...，b_n)^T，将B划分为两个子矩阵R、S，即B＝(R，S)，其中R＝(b₁，...，b_m)，S＝(b_m+1，...，b_n)，则有：

Y＝B^T·X

Y_l＝R^T·X

Y₂＝S^T·X

则Y₁为加密操作数据域，Y₂为特征提取数据域，Y＝(Y₁，Y₂)^T。

步骤2c：使用加密算法AES及密钥K_1e、K_2e分别对密码操作数据域Y₁以及原始图像I进行加密，获得密文特征Y_1e＝E(Y₁，K_1e)和密文图像I_e＝E(I，K_2e)；

步骤2d：将ω数据补零成n×1维向量ω₀，使用正交变换矩阵B进行正交变换得到向量W＝(w₁，w₂，...，w_n)^T，即W＝B^T·ω₀，并计算该向量的1-范数作为视觉单词的密文特征ω_e，ω_e＝|w₁|+|w₂|+...+|w_n|；

步骤2e：将密码操作数据域密文将密文数据Y_1e与Y₂进行合成，得到向量Y_ef＝(Y_1e，Y₂)^T，经正交逆变换映射至多媒体数据原始空间，获得特征密文矩阵X_ef：

X_ef＝B·Y_ef

将特征密文矩阵X_ef经逆分组排列归置入原位置获得x_ef向量。

步骤2f：将ω_e与x_ef组合形成BOF密文特征并与密文图像一同上载到云服务器端；

三、用户端查询处理：

步骤3a：用户向内容所有者发送查询请求，所有者将查询图像密文特征和密钥K_2e发送给用户；

步骤3b：用户将查询图像密文特征发送给云服务器，请求查询图像；

四、云服务器端的处理：

步骤4a：对密文图像特征数据库中x_ef向量进行排列后获取相应密文特征矩阵X_ef，并由此构造特征数据库：正交变换矩阵B中向量满足b_i ^T×b_i＝l_i，且λ_i≠0，i∈[1，n]，并设：

若加密域为R_p，特征提取域为S_p，且满足(R_p，S_p)^T＝P·B^T则有：

相应地，则有P·(R，S)^T＝(R_p，S_p)^T，及则可得出下式：

由上式，云服务器端由正交子矩阵S对密文特征矩阵X_ef进行正交分解，可提取特征数据域Y₂，经逆分组排列得到b_ls，b_ls表示b_l正交分解之后对应特征提取的那一部分差值特征。

步骤4b：云服务器收到用户查询请求后，同步骤4a对查询图像提取特征数据b_ls，并与特征数据库中图像执行相似性度量。在匹配过程中首先比较查询图像特征点与特征数据库中特征点的ω_e是否相同，若相同则计算二者对应的差值特征b_ls之间的曼哈顿距离h，若该距离大于某一阈值h_d，则认为这两个特征点不属于同一类，由此过滤掉不匹配的特征点。根据上述过程，可以求出图像库中每幅图像与查询图像的匹配特征，并通过TF-IDF(termfrequency-inverse document frequency)对匹配特征加上权重后对其求和作为匹配分数。具体步骤如下：

假设x，y分别是A，B两幅图像的特征，其中x包含q个sift描述符x＝(x₁，...，x_q)，y包含p个sift描述符y＝(y₁，...，y_p)，且每个描述符对应一个码字w。那么特征y的第j(j∈[1，p])个描述符对特征x的第i(i∈[1，q])个描述符的匹配函数f，以及特征y对特征x的每个描述符的匹配值m(i)定义如下：

其中，tf指的是一个给定的码字在该图像中出现的次数，idf是指的是一个给定的码字在所有图像中出现的次数，σ是权值参数，在本实例中h_d＝4.8，σ＝6；由此可知特征y对特征x的每个描述符的匹配特征为m＝[m(1)，m(2)，...，m(q)]，则图像B对图像A的匹配分数s为：

同理，计算查询图像与图像库中所有图像的匹配分数，分数越高表明其所对应的图像与查询图像越相似，并将密文图像按分数由高到低的顺序发送给用户；

五、用户端的处理：用户收到加密图像后，使用AES算法及密钥K_2e对密文图像I_e进行解密，获得明文I＝D(I_e，K_2e)。

以上内容是结合最佳实施方案对本发明所做的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为属于本发明的保护范围。

Claims (5)

1.一种云环境下基于词袋模型的图像安全检索方法，其特征在于，包含以下步骤：

步骤1，可信第三方通过训练图像库建立词袋模型，生成视觉词典及中值矩阵；

步骤2，内容所有者基于步骤1构建的词袋模型对测试图像库中的每幅图像进行特征提取，并生成差值特征数据；

步骤3，内容所有者对测试图像及其差值特征数据进行加密保护，具体包括以下子步骤，

步骤3.1，将差值特征数据进行分组排列，获得相应的n×n维原始操作矩阵X；

步骤3.2，对原始操作矩阵X选取不同正交变换基R和S进行正交变换，分别获得密码操作数据域Y₁和特征提取数据域Y₂，设B为n×n维正交变换矩阵B＝(b₁，b₂，...，b_n)^T，将B划分为两个不同正交变换基R、S，即B＝(R,S)，其中R＝(b₁，...，b_m)，S＝(b_m+1，...，b_n)，则有，

Y＝B^T·X

Y₁＝R^T·X

Y₂＝S^T·X

其中，Y₁为加密操作数据域，Y₂为特征提取数据域，Y＝(Y₁,Y₂)^T；

步骤3.3，使用AES加密算法及密钥K_1e对密码操作数据域Y₁进行加密，获得密文特征数据Y_1e；使用AES加密算法及密钥K_2e对原始图像I加密获得密文图像I_e；

步骤3.4，将密文数据Y_1e、Y₂进行合成得到变换域密文矩阵Y_ef，即Y_ef＝(Y_1e,Y₂)^T，并经正交逆变换映射至多媒体数据原始空间，获得特征密文矩阵X_ef，其中X_ef＝B·Y_ef，通过与步骤3.1中分组排列相对应的逆分组排列，从特征密文矩阵X_ef中获取密文特征x_ef；

步骤3.5，对视觉词典中视觉单词ω数据补零成n×1维向量ω₀，使用正交变换矩阵B进行正交变换得到向量W＝(w₁,w₂,...,w_n)^T，即W＝B^T·ω₀，并计算该向量的1-范数作为视觉单词的密文特征ω_e，然后将ω_e与x_ef组合形成加密后的BOF特征；

步骤4，内容所有者将加密后的图像I_e以及BOF特征上传至云服务器，云服务器构建密文图像特征数据库；

步骤5，用户需查询图像时，向内容所有者发起查询请求，内容所有者返回查询图像密文特征x_ef及秘钥K_2e；用户将查询图像密文特征x_ef发送给云服务器进行查询；

步骤6，云服务器通过密文特征x_ef获得特征提取数据域Y₂，并对查询图像的特征点与密文图像特征数据库中特征点进行相似性度量，计算查询图像与图像库中所有图像的匹配分数，将密文图像按匹配分数由高到低的顺序发送给用户；

步骤7，用户利用密钥K_2e对密文图像I_e进行解密，获得原始图像I。

2.如权利要求1所述的一种云环境下基于词袋模型的图像安全检索方法，其特征在于：所述步骤1的实现方式如下，

步骤1.1，局部特征提取，用sift算法生成训练图像库中每幅图的特征点及描述符；

步骤1.2，构建视觉词典，用k-means算法对训练图像库中的特征点进行训练，生成k个类心，即视觉单词，构成k维视觉词典ω_k；

步骤1.3，计算中值矩阵，随机构造一个正交投影矩阵Q并对sift特征投影，对于属于同一个聚类中心的投影数据计算其每一个维度数据的中值，即中值矩阵T。

3.如权利要求2所述的一种云环境下基于词袋模型的图像安全检索方法，其特征在于：所述步骤2的实现方式如下，

步骤2.1，提取测试图像库中每幅图的sift特征，并基于步骤1中的词袋模型将每个特征向量映射到视觉词典上生成码本；

步骤2.2，判断测试图像的每个特征点与视觉词典ω_k中的哪个视觉单词ω最近，距离最近的视觉单词即为该特征点对应类心；

步骤2.3，生成差值特征数据，利用正交投影矩阵Q对所有sift向量进行投影，比较投影后的每个sift特征与中值矩阵中其对应类心的中值向量在各维度上的大小，生成长度为l的差值序列b_l，即差值特征数据，其中l为sift特征维度。

4.如权利要求3所述的一种云环境下基于词袋模型的图像安全检索方法，其特征在于：所述步骤4中云服务器构建密文图像特征数据库的实现方式如下，

对密文特征x_ef进行分组排列后，获取相应密文特征矩阵X_ef，分组排列方式与步骤3.1相同，由于正交变换矩阵B中向量满足b_i ^T×b_i＝l_i，且λ_i≠0，i∈[1,n]，并设，

若加密域为R_P，特征提取域为S_P，且满足(R_p，S_p)^T＝P·B^T，则有，

相应地，则有P·(R，S)^T＝(R_p，S_p)^T，及则可得出下式，

其中，X为原始操作矩阵，R、S为矩阵B的正交变换基，X_ef为密文特征矩阵。

5.如权利要求4所述的一种云环境下基于词袋模型的图像安全检索方法，其特征在于：所述步骤6的实现方式如下，

步骤6.1，对密文特征数据x_ef进行分组排列，分组排列方式与步骤3.1相同，获取密文数据矩阵X_ef；

步骤6.2，使用正交变换基S对X_ef进行正交分解，提取出特征提取数据域Y₂，并进行与步骤6.1中分组排列相对应的逆分组排列，得到b_ls向量；

步骤6.3，对查询图像的特征点与密文图像特征数据库中特征点进行相似性匹配，首先比较二者的ω_e是否相同，若相同则计算二者对应的b_ls之间的曼哈顿距离h，若该距离大于某一阈值h_d，则认为这两个特征点不属于同一类，由此过滤掉不匹配的特征点；然后计算查询图像与图像库中所有图像的匹配分数，计算方式如下，

假设x，y分别是A，B两幅图像的特征，其中x包含q个sift描述符x＝(x₁，...，x_q)，y包含p个sift描述符y＝(y₁，...，y_p)，且每个描述符对应一个码字w，那么特征y的第j个描述符对特征x的第i个描述符的匹配函数f，其中i∈[1，q]，j∈[1，p]，以及特征y对特征x的每个描述符的匹配值m(i)定义如下：

其中，tf指的是一个给定的码字在该图像中出现的次数，idf是指的是一个给定的码字在所有图像中出现的次数，σ是权值参数，由此可知特征y对特征x的每个描述符的匹配特征为m＝[m(1),m(2),...,m(q)]，则图像B对图像A的匹配分数s为：

最后，将密文图像按匹配分数由高到低的顺序发送给用户。