CN114638002B - 支持相似性检索的压缩图像加密方法 - Google Patents

支持相似性检索的压缩图像加密方法 Download PDF

Info

Publication number
CN114638002B
CN114638002B CN202210276534.1A CN202210276534A CN114638002B CN 114638002 B CN114638002 B CN 114638002B CN 202210276534 A CN202210276534 A CN 202210276534A CN 114638002 B CN114638002 B CN 114638002B
Authority
CN
China
Prior art keywords
feature
network
image
channel
encryption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210276534.1A
Other languages
English (en)
Other versions
CN114638002A (zh
Inventor
沃焱
孟珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210276534.1A priority Critical patent/CN114638002B/zh
Publication of CN114638002A publication Critical patent/CN114638002A/zh
Application granted granted Critical
Publication of CN114638002B publication Critical patent/CN114638002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种支持相似性检索的压缩图像加密方法，包括：1)构建并训练融合了通道空间注意力模块和DWT模块的图像压缩网络；2)采用基于方差的前项选择方法将量化特征划分为检索子集和剩余子集；3)利用基于DNA的确定性加密方法对检索子集加密，利用基于混沌与DNA的非确定性加密方法对剩余子集加密；4)训练构建相似性检索全连接网络，相似性检索全连接网络由特征提取网络和全连接网络组成。本发明的隐私保护的图像相似性检索计算直接在压缩域的密文上进行，彻底消除解压缩和解密所带来的计算和存储开销，对图像压缩、图像加密和相似性检索三者间的关系进行权衡，能同时保证图像特征较强的压缩性能、较好的安全性和较高的相似性检索精度。

Description

支持相似性检索的压缩图像加密方法
技术领域
本发明涉及多媒体处理的技术领域，尤其是指一种支持相似性检索的压缩图像加密方法。
背景技术
随着云计算的发展，将压缩后的图像外包给云服务器以解决图像容量***的问题已成为一种趋势。但图像中包含了用户的隐私信息，直接将图像上传到云端服务器会增加隐私泄露的风险。为了保护隐私，通常的方法是在上传前对图像进行加密。图像加密就是通过置乱、混淆等操作对图像像素进行干扰，从而隐藏图像的内容。但这些操作阻碍了图像的可用性(例如相似性检索)。此外，加密操作破坏了图像像素之间的相关性，增加了图像熵，从而降低了图像压缩性能。因此，迫切需要研究一种支持相似性检索的压缩图像加密方案，可有效提高图像数据的存储效率，又能保护图像的隐私信息和可用性。
支持相似性检索的图像加密算法能较好的解决图像加密与图像相似性检索之间的冲突。这些方法部分保留了图像加密前的直方图等统计信息，保证了算法的检索精度，但是并未考虑图像的压缩性能。级联压缩加密方法可解决图像压缩和加密之间的矛盾。这些方法将加密操作嵌入到图像压缩的流程中，例如量化、熵编码等，但这些方法不支持加密图像的相似性检索操作。图像压缩域检索方法可使图像检索在设计上更加灵活，计算上更加简单。这些方法将图像从空间域变换到频域，如离散余弦变换、离散小波变换等，并直接在频域上进行相似性检索操作，节省了一些计算时间和存储空间。由于这些方法不考虑图像的安全性，可能会导致图像中的隐私信息被泄露。现有方法只考虑图像压缩、加密和相似检索中的一个或两个方面，不能对三者进行权衡。但在实际应用中，我们既要满足图像压缩性能的，又要确保图像的安全性以及压缩域密文上的相似性检索精度。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种支持相似性检索的压缩图像加密方法，该方法对压缩域上的压缩特征进行分集，对不同集的压缩特征执行不同的加密策略，隐私保护的图像相似性检索计算直接在压缩域的密文上进行，彻底消除解压缩和解密所带来的计算和存储开销，以及其过程中产生的隐私泄露问题，对图像压缩、图像加密和相似性检索三者间的关系进行权衡，能同时保证图像特征较强的压缩性能、较好的安全性和较高的相似性检索精度。
为实现上述目的，本发明所提供的技术方案为：支持相似性检索的压缩图像加密方法，包括以下步骤：
1)构建并训练改进的图像压缩网络，其中在经典图像压缩网络的编码网络后端增加通道空间注意力模块和离散小波变换模块即DWT模块，在经典图像压缩网络的解码网络前端增加逆离散小波变换模块即IDWT模块，确保图像压缩后的压缩特征具有相似性检索的能力；
2)基于训练好的图像压缩模型，得到图像x的量化特征
Figure BDA0003556218950000021
采用基于方差的前项选择方法将图像x的量化特征
Figure BDA0003556218950000022
划分为两个特征集合，分别为检索子集
Figure BDA0003556218950000023
和剩余子集
Figure BDA0003556218950000024
3)利用基于DNA的确定性加密方法对
Figure BDA0003556218950000025
加密，加密后得到加密特征e1保证相似性检索精度，利用基于混沌与DNA的非确定性加密方法对
Figure BDA0003556218950000026
加密，加密后得到加密特征e2保证图像安全性；
4)为进一步提高加密特征e1的相似性检索精度，训练构建相似性检索全连接网络，其中所述相似性检索全连接网络由特征提取网络和全连接网络组成，训练时使用构建的加密特征三元组训练相似性检索全连接网络，网络输出的特征f(e1)作为相似性检索特征；对查询图像xq的相似性检索特征
Figure BDA0003556218950000031
和图像数据库中所有图像的相似性检索特征的欧式距进行排序，得到最终的压缩域密文检索结果。
进一步，在步骤1)中，经典的图像压缩网络包括编码网络ge、超先验编码网络he、解码网络gs和超先验解码网络hs；ge由多个卷积层和多个广义分歧归一化层组成，gs由多个卷积层和多个逆广义分歧归一化层组成，he与hs均由多个卷积层和多个激活层组成；为压缩后的图像特征具有相似性检索的能力且不降低压缩性能，构建改进的图像压缩网络，具体改进是在编码网络ge后端添加通道空间注意力模块和离散小波变换模块，在解码网络gs之前添加逆离散小波变换模块；
初始化压缩网络参数，将Flick.com上20745张高质量图像随机裁剪为256*256可重叠的图像块，这些图像块被用于对改进的图像压缩网络进行训练；
图像x输入编码网络后得到中间特征y'，首先对中间特征y'执行通道注意力：中间特征对y'分别执行全局平均池化GAP和全局最大值池化GMP，然后分别经过共享多层感知机SMLP，将SMLP输出的特征进行元素级相加，通过Sigmoid激活得到最终的通道注意力特征Vc：
Vc＝δ(SMLP(GAP(y'))+SMLP(GMP(y')))
式中，δ为Sigmoid激活函数；将得到的通道注意力特征Vc与中间特征y'相乘，得到通道加权的特征y'c；然后对通道加权的特征y'c执行空间注意力：首先对通道加权的特征y'c做基于通道的全局平均池化和全局最大值池化，将得到的结果在通道上做连结操作，连结的特征通过卷积操作被降维为1个通道，再经过Sigmoid激活得到空间注意力特征Vs：
Vs＝δ(conv(GAP(y'c),GMP(y'c)))
式中，conv为卷积操作；将得到空间注意力特征Vs与通道加权的特征y'c相乘得到最终的加权后的特征y'wt；
加权后的特征y'wt输入DWT模块得到y，对y量化后得到量化特征
Figure BDA0003556218950000041
其中
Figure BDA0003556218950000042
其中
Figure BDA0003556218950000043
表示实数集，
Figure BDA0003556218950000044
代表低频分量，
Figure BDA0003556218950000045
代表高频分量，a代表低频系数，h代表水平方向的高频系数，v代表垂直方向的高频系数，d代表对角线方向的高频系数，M为
Figure BDA0003556218950000046
中通道个数，l和w分别为通道的长和宽；
将通过DWT模块得到的y送入he，得到超先验特征z，量化后得到超先验量化特征
Figure BDA0003556218950000047
对量化特征
Figure BDA0003556218950000048
和超先验量化特征
Figure BDA0003556218950000049
进行熵编码得到压缩码流，将超先验量化特征
Figure BDA00035562189500000410
输入超先验解码网络hs，得到的熵模型参数从而能更精确地对量化特征
Figure BDA00035562189500000411
编码；
将量化特征
Figure BDA00035562189500000412
送入IDWT模块，而后将得到的特征送入解码网络gs，从而得到重建的图像
Figure BDA00035562189500000413
使用率失真损失作为训练优化改进的图像压缩网络，率失真损失Lc表示为：
Figure BDA00035562189500000414
式中，λ为权衡参数用于控制改进的图像压缩网络的压缩比，d为欧氏距离，H表示对量化特征
Figure BDA00035562189500000415
和超先验量化特征
Figure BDA00035562189500000416
编码所需的码长，该码长是通过对二者的熵近似得到的：
Figure BDA00035562189500000417
Figure BDA00035562189500000418
式中，E表示期望，
Figure BDA0003556218950000051
和
Figure BDA0003556218950000052
分别为量化特征
Figure BDA0003556218950000053
和超先验量化特征
Figure BDA0003556218950000054
的分布；训练时学习率设置为10-5，一个训练批次的大小为4，整个改进的图像压缩网络使用ADAM优化器优化。
进一步，所述步骤2)包括以下步骤：
2.1)量化特征
Figure BDA0003556218950000055
其中
Figure BDA0003556218950000056
表示实数集，
Figure BDA0003556218950000057
代表低频分量，
Figure BDA0003556218950000058
代表高频分量，a代表低频系数，h代表水平方向的高频系数，v代表垂直方向的高频系数，d代表对角线方向的高频系数，M为
Figure BDA0003556218950000059
中通道个数，l和w分别为通道的长和宽，
Figure BDA00035562189500000510
包含图像多的内容信息，能保证相似性检索精度；为确保图像内容信息不被泄露，选择对
Figure BDA00035562189500000511
分解得到检索子集
Figure BDA00035562189500000512
即从
Figure BDA00035562189500000513
中选出部分特征用于相似性检索操作；
Figure BDA00035562189500000514
中没有被选择的部分与
Figure BDA00035562189500000515
一起被记为剩余子集
Figure BDA00035562189500000516
即被选进
Figure BDA00035562189500000517
的部分填0，用于保证图像的安全性；分解过程表示为：
Figure BDA00035562189500000518
式中，m为选择向量，对
Figure BDA00035562189500000519
中的通道进行选择；因
Figure BDA00035562189500000520
中各个通道
Figure BDA00035562189500000521
的系数值服从高斯分布，且高斯分布的微分熵只与方差有关，则有
Figure BDA00035562189500000522
Figure BDA00035562189500000523
M为
Figure BDA00035562189500000533
中通道的个数，故根据
Figure BDA00035562189500000524
各个通道的方差抽取通道，构成
Figure BDA00035562189500000525
Figure BDA00035562189500000526
式中，
Figure BDA00035562189500000527
为
Figure BDA00035562189500000528
在第j个通道的熵，σj为
Figure BDA00035562189500000529
在第j个通道的方差，mj为选择向量中的第j个值；σj越大，则该通道包含的信息量就越多，该通道对检索精度的贡献度越大，但同时泄露的内容多，想要高的检索精度，但同时要保证
Figure BDA00035562189500000530
小；
2.2)采用基于方差的前向通道选择方法，从
Figure BDA00035562189500000531
中选出检索子集
Figure BDA00035562189500000532
首先计算压缩特征集中所有特征通道的方差值，将所有方差值按从大到小排序，然后每次增量地按从大到小的顺序从剩余未选中的特征通道集中选出一个通道加入特征集，测试选出特征集的检索性能，反复迭代此过程；待达到最高检索性能时，完成特征通道选择，从而确定选出通道的个数k，则有k＝|m|，
Figure BDA0003556218950000061
Figure BDA0003556218950000062
进一步，在步骤3)中，利用基于DNA的确定性加密方法对检索子集
Figure BDA0003556218950000063
加密得到特征e'1，对其进行平移置乱得到
Figure BDA0003556218950000064
最终的加密特征e1；利用基于混沌与DNA的非确定性加密方法对剩余子集
Figure BDA0003556218950000065
加密得到特征e'2，对执行位置置乱后得到最终的加密特征e2，其中基于混沌与DNA的非确定性加密方法包括以下步骤：
3.1)首先生成4个混沌序列R1,R2,R3,R4，然后将R1,R2的值映射到0-7的范围内得到R'1,R'2，R'1和R'2为两个值在0-7范围内的混沌序列，将R3的值映射到0-255的范围内得到R'3，R'3为值在0-255范围内的混沌序列；
3.2)根据R'1,R'2选择DNA编码规则和解码规则，后对剩余子集
Figure BDA0003556218950000066
执行DNA编解码，得到DNA加密后的特征ed；
3.3)将DNA加密后的特征ed与R'3做异或操作，得到e'2；
3.4)对混沌序列R4进行排序得到索引序列idx，然后根据索引序列idx对e'2中的每个值进行位置置乱，置乱过程为：
e'2(b):＝e'2(idx(b))
式中，b∈[1,M×l×w]，M为
Figure BDA0003556218950000067
的特征通道数，l和w分别为通道的长和宽，置乱后得到最终的加密特征e2。
进一步，所述步骤4)包括以下步骤：
4.1)构建相似性检索全连接网络，其中所述相似性检索全连接网络由Resnet和多层全连接层组成；
4.2)初始化相似性检索全连接网络参数，将Corel-1000数据集划分为训练集和测试集，并将训练集和测试集按照步骤1)、2)、3)进行压缩、分集和加密，得到用于对相似性检索全连接网络训练的加密数据集；为拉近同类样本间距离，随机从训练集中选择加密特征
Figure BDA0003556218950000071
然后随机选择一个与其同类的加密特征
Figure BDA0003556218950000072
和一个与其不同类的加密特征
Figure BDA0003556218950000073
三者构成一个三元组，一共构建np组三元组用于训练相似性检索全连接网络，采用三元组损失对相似性检索全连接网络进行优化，三元组损失Lr表示为：
Figure BDA0003556218950000074
其中式中，np为构建的三元组的组数，
Figure BDA0003556218950000075
和
Figure BDA0003556218950000076
为构造的第c组加密的三元组特征，
Figure BDA0003556218950000077
和
Figure BDA0003556218950000078
为相似性检索全连接网络输出的相似性检索特征，T为常数，d为欧式距度量；训练时采用Adam优化器进行优化保证训练的稳定性，将学习率设置为0.001，迭代次数设置为300个epoch，一个训练批次的大小为16；
4.3)计算测试集中的每一个查询项的相似性检索特征
Figure BDA0003556218950000079
和图像数据库中所有图像的相似性检索特征的汉明距离，根据汉明距离对图像数据库中所有加密图像进行排序，返回压缩域密文检索结果。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明提出了一种支持相似性检索的压缩图像加密方法，既能保证良好压缩及安全性，又能保证图像数据的可用性，降低图像压缩、图像加密、图像检索间的矛盾到最低限度。
2、本发明在图像压缩网络中添加通道空间注意力模块和DWT模块，利用通道空间注意力模块，充分利用了潜在表征之间的信道和空间关系，提高了编码效率；DWT模块将压缩特征中的内容信息分离，以保证图像的压缩域检索精度。
3、本发明采用基于方差的前项选择方法将量化特征分成检索子集和剩余子集，用确定性加密方法对检索子集加密保留了原始图像的部分信息，保证了在压缩域密文上相似性检索的准确性，用非确定性方法对剩余子集加密充分隐藏原始图像的信息，保证图像的安全性。
4、本发明构建相似性检索全连接网络，采用加密特征构造三元组训练相似性检索全连接网络，进一步提升压缩域密文上的相似性检索精度。
5、隐私保护的图像相似性检索计算直接在压缩域密文上进行，彻底消除解压缩和解密所带来的计算和存储开销，以及其过程中产生的隐私泄露问题，对图像压缩、图像加密和相似性检索三者间的关系进行了权衡。
附图说明
图1为本发明方法的架构图。
图2为本发明所提出的图像加密的流程示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本实施例公开了一种支持相似性检索的压缩图像加密方法，具体包括以下主要技术步骤：
1)训练已构建的图像压缩网络，使用率失真损失更新图像压缩网络的参数，具体如下：
经典的图像压缩网络包括编码网络ge、超先验编码网络he、解码网络gs和超先验解码网络hs。ge由多个卷积层和多个广义分歧归一化层组成，gs由多个卷积层和多个逆广义分歧归一化层组成，he与hs均由多个卷积层和多个激活层组成；为压缩后的图像特征具有相似性检索的能力且不降低压缩性能，构建改进的图像压缩网络，在编码网络ge后端添加通道空间注意力模块和离散小波变换模块，在解码网络gs之前添加逆离散小波变换模块；
初始化压缩网络参数，将Flick.com上20745张高质量图像随机裁剪为256*256可重叠的图像块，这些图像块被用于对压缩网络进行训练；
图像x输入编码网络后得到中间特征y'，首先对中间特征y'执行通道注意力：中间特征对y'分别执行全局平均池化(GAP)和全局最大值池化(GMP)，然后分别经过共享多层感知机(SMLP)，将SMLP输出的特征进行元素级相加，通过Sigmoid激活得到最终的通道注意力特征Vc：
Vc＝δ(SMLP(GAP(y'))+SMLP(GMP(y')))
其中δ为Sigmoid激活函数。将得到的通道注意力特征Vc与中间特征y'相乘，得到通道加权的特征y'c。然后对通道加权的特征y'c执行空间注意力：首先对通道加权的特征y'c做基于通道的全局平均池化和全局最大值池化，将得到的结果在通道上做连结操作，连结的特征通过卷积操作被降维为1个通道，再经过Sigmoid激活得到空间注意力特征Vs：
Vs＝δ(conv(GAP(y'c),GMP(y'c)))
其中conv为卷积操作。将得到空间注意力特征Vs的与通道加权的特征y'c相乘得到最终的加权后的特征y'wt；
加权后的特征y'wt输入DWT模块得到y，对y量化后得到量化特征
Figure BDA0003556218950000091
其中
Figure BDA0003556218950000092
其中
Figure BDA0003556218950000093
表示实数集，
Figure BDA0003556218950000094
代表低频分量，
Figure BDA0003556218950000101
代表高频分量，a代表低频系数，h代表水平方向的高频系数，v代表垂直方向的高频系数，d代表对角线方向的高频系数，M为
Figure BDA0003556218950000102
中通道个数为320，l和w分别为通道的长和宽，分别为24和16；
将通过DWT模块得到的y送入he，得到超先验特征z，量化后得到超先验量化特征
Figure BDA0003556218950000103
对量化特征
Figure BDA0003556218950000104
和超先验量化特征
Figure BDA0003556218950000105
进行熵编码得到压缩码流。将超先验量化特征
Figure BDA0003556218950000106
输入超先验解码网络hs，得到的熵模型参数从而能更精确地对量化特征
Figure BDA0003556218950000107
编码；
将量化特征
Figure BDA0003556218950000108
送入IDWT模块，而后将得到的特征送入解码网络gs，从而得到重建的图像
Figure BDA0003556218950000109
使用率失真损失作为训练优化改进的图像压缩网络，率失真损失表示为：
Figure BDA00035562189500001010
其中λ为权衡参数用于控制图像压缩网络的压缩比，d为欧氏距离，H表示对量化特征
Figure BDA00035562189500001011
和超先验量化特征
Figure BDA00035562189500001012
编码所需的码长，该码长是通过对二者的熵近似得到的：
Figure BDA00035562189500001013
Figure BDA00035562189500001014
其中E表示期望，
Figure BDA00035562189500001015
和
Figure BDA00035562189500001016
分别为量化特征
Figure BDA00035562189500001017
和超先验量化特征
Figure BDA00035562189500001018
的分布。训练时学习率设置为10-5，一个训练批次的大小为4，整个图像压缩网络使用ADAM优化器优化。
2)基于训练好的图像压缩模型，得到图像x的量化特征
Figure BDA00035562189500001019
采用基于方差的前项选择方法对量化特征
Figure BDA00035562189500001020
进行分集，包括以下步骤：
2.1)量化特征
Figure BDA00035562189500001021
其中
Figure BDA00035562189500001022
代表低频分量，
Figure BDA0003556218950000111
包含图像较多的内容信息，能保证相似性检索精度；为确保图像内容信息不被泄露，选择对
Figure BDA0003556218950000112
分解得到检索子集
Figure BDA0003556218950000113
即从
Figure BDA0003556218950000114
中选出部分特征用于相似性检索操作；
Figure BDA0003556218950000115
中没有被选择的部分与
Figure BDA0003556218950000116
一起被记为剩余子集
Figure BDA0003556218950000117
(被选进
Figure BDA0003556218950000118
的部分填0)，用于保证图像的安全性。分解过程表示为：
Figure BDA0003556218950000119
其中m为选择向量，对
Figure BDA00035562189500001110
中的通道进行选择。因
Figure BDA00035562189500001111
中各个通道
Figure BDA00035562189500001112
(j∈[0,M]，M为
Figure BDA00035562189500001113
中通道的个数)的系数值服从高斯分布，且高斯分布的微分熵只与方差有关，则有
Figure BDA00035562189500001114
故根据
Figure BDA00035562189500001115
各个通道的方差抽取通道，构成
Figure BDA00035562189500001116
Figure BDA00035562189500001117
其中
Figure BDA00035562189500001118
为
Figure BDA00035562189500001119
在第j个通道的熵，σj为
Figure BDA00035562189500001120
在第j个通道的方差，mj为选择向量中的第j个值；σj越大，则该通道包含的信息量就越多，该通道对检索精度的贡献度越大，但同时泄露的内容较多，我们想要较高的检索精度，但同时要保证
Figure BDA00035562189500001121
较小；
2.2)采用基于方差的前向通道选择方法，从
Figure BDA00035562189500001122
中选出检索子集
Figure BDA00035562189500001123
首先计算压缩特征集中所有特征通道的方差值，将所有方差值按从大到小排序，然后每次增量地按从大到小的顺序从剩余未选中的特征通道集中选出一个通道加入特征集，测试选出特征集的检索性能，反复迭代此过程。待达到最高检索性能时，完成特征通道选择，从而确定选出通道的个数k，则有k＝|m|，
Figure BDA00035562189500001124
Figure BDA00035562189500001125
设置选出通道的个数k为96。
3)如图2所示，利用基于DNA的确定性加密方法对检索子集
Figure BDA00035562189500001126
加密得到特征e1'，对其进行平移置乱得到
Figure BDA00035562189500001127
最终的加密特征e1；利用基于混沌与DNA的非确定性加密方法对剩余子集
Figure BDA00035562189500001128
加密得到特征e'2，对执行位置置乱后得到最终的加密特征e2，其中基于混沌与DNA的非确定性加密方法包括以下步骤：
3.1)迭代超混沌Lorenz***(1000+M×l×w)次，舍弃钱1000个数值生成4个混沌序列R1,R2,R3,R4，然后将R1,R2的值映射到0-7的范围内得到R'1,R'2，R'1和R'2为两个值在0-7范围内的混沌序列，将R3的值映射到0-255的范围内得到R'3，R'3为值在0-255范围内的混沌序列；超混沌Lorenz***为：
Figure BDA0003556218950000121
其中，
Figure BDA0003556218950000122
为超混沌Lorenz***的状态变量，ε1,ε2,ε3,ε4为***参数，当时ε1＝10,
Figure BDA0003556218950000123
ε3＝28,-1.52＜ε4≤-0.06，***处于超混沌状态，此处ε4＝-1；状态变量初始值的取值范围依次为
Figure BDA0003556218950000124
3.2)根据R'1,R'2选择DNA编码规则和解码规则，后对剩余子集
Figure BDA0003556218950000125
执行DNA编解码，得到DNA加密后的特征ed；
3.3)将DNA加密后的特征ed与R'3做异或操作，得到e'2；
3.4)对混沌序列R4进行排序得到索引序列idx，然后根据索引序列idx对e'2中的每个值进行位置置乱，置乱过程为：
e'2(b):＝e'2(idx(b))
其中b∈[1,M×l×w]，M为
Figure BDA0003556218950000126
的特征通道数，l和w分别为通道的长和宽，置乱后得到最终的加密特征e2。
4)为进一步提高加密特征e1的相似性检索精度，训练构建相似性检索全连接网络，其中所述相似性检索全连接网络由特征提取网络和全连接网络组成，训练时使用构建的加密特征三元组训练相似性检索全连接网络，网络输出的特征f(e1)作为相似性检索特征；对查询图像xq的相似性检索特征
Figure BDA0003556218950000131
和图像数据库中所有图像的相似性检索特征的欧式距进行排序，得到最终的压缩域密文检索结果。训练构建相似性检索全连接网络以及得到最终的压缩域密文检索结果包括以下步骤：
4.1)构建相似性检索全连接网络，其中所述相似性检索全连接网络由Resnet和5层全连接层组成；
4.2)初始化相似性检索全连接网络参数，将Corel-1000数据集划分为训练集和测试集，并将训练集和测试集按照前述步骤压缩、分集和加密，得到用于对相似性检索全连接网络训练的加密数据集；为拉近同类样本间距离，随机从训练集中选择加密特征
Figure BDA0003556218950000132
然后随机选择一个与其同类的加密特征
Figure BDA0003556218950000133
和一个与其不同类的加密特征
Figure BDA0003556218950000134
三者构成一个三元组。一共构建np组三元组用于训练相似性检索全连接网络，采用三元组损失对相似性检索全连接网络进行优化，三元组损失表示为：
Figure BDA0003556218950000135
其中，np＝1000，
Figure BDA0003556218950000136
和
Figure BDA0003556218950000137
为构造的第c组加密的三元组特征，
Figure BDA0003556218950000138
和
Figure BDA0003556218950000139
为相似性检索全连接网络输出的相似性检索特征，T为常数，d为欧式距度量；训练时采用Adam优化器进行优化保证训练的稳定性，将学习率设置为0.001，迭代次数设置为300个epoch，一个训练批次的大小为16；
4.3)计算测试集中的每一个查询项的相似性检索特征
Figure BDA00035562189500001310
和图像数据库中所有图像的相似性检索特征的汉明距离，根据汉明距离对图像数据库中所有加密图像进行排序，返回压缩域密文检索结果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.支持相似性检索的压缩图像加密方法，其特征在于，包括以下步骤：
1)构建并训练改进的图像压缩网络，其中在经典图像压缩网络的编码网络后端增加通道空间注意力模块和离散小波变换模块即DWT模块，在经典图像压缩网络的解码网络前端增加逆离散小波变换模块即IDWT模块，确保图像压缩后的压缩特征具有相似性检索的能力；
经典的图像压缩网络包括编码网络ge、超先验编码网络he、解码网络gs和超先验解码网络hs；ge由多个卷积层和多个广义分歧归一化层组成，gs由多个卷积层和多个逆广义分歧归一化层组成，he与hs均由多个卷积层和多个激活层组成；为压缩后的图像特征具有相似性检索的能力且不降低压缩性能，构建改进的图像压缩网络，具体改进是在编码网络ge后端添加通道空间注意力模块和离散小波变换模块，在解码网络gs之前添加逆离散小波变换模块；
初始化压缩网络参数，将Flick.com上20745张高质量图像随机裁剪为256*256可重叠的图像块，这些图像块被用于对改进的图像压缩网络进行训练；
图像x输入编码网络后得到中间特征y′，首先对中间特征y′执行通道注意力：中间特征对y′分别执行全局平均池化GAP和全局最大值池化GMP，然后分别经过共享多层感知机SMLP，将SMLP输出的特征进行元素级相加，通过Sigmoid激活得到最终的通道注意力特征Vc：
Vc＝δ(SMLP(GAP(y′))+SMLP(GMP(y′)))
式中，δ为Sigmoid激活函数；将得到的通道注意力特征Vc与中间特征y′相乘，得到通道加权的特征y′c；然后对通道加权的特征y′c执行空间注意力：首先对通道加权的特征y′c做基于通道的全局平均池化和全局最大值池化，将得到的结果在通道上做连结操作，连结的特征通过卷积操作被降维为1个通道，再经过Sigmoid激活得到空间注意力特征Vs：
Vs＝δ(conv(GAP(y′c),GMP(y′c)))
式中，conv为卷积操作；将得到空间注意力特征Vs与通道加权的特征y′c相乘得到最终的加权后的特征y′wt；
加权后的特征y′wt输入DWT模块得到y，对y量化后得到量化特征
Figure FDA0004069060970000021
其中
Figure FDA0004069060970000022
i∈{a,h,v,d}，其中
Figure FDA0004069060970000023
表示实数集，
Figure FDA0004069060970000024
代表低频分量，
Figure FDA0004069060970000025
代表高频分量，a代表低频系数，h代表水平方向的高频系数，v代表垂直方向的高频系数，d代表对角线方向的高频系数，M为
Figure FDA0004069060970000026
中通道个数，l和w分别为通道的长和宽；
将通过DWT模块得到的y送入he，得到超先验特征z，量化后得到超先验量化特征
Figure FDA0004069060970000027
对量化特征
Figure FDA0004069060970000028
和超先验量化特征
Figure FDA0004069060970000029
进行熵编码得到压缩码流，将超先验量化特征
Figure FDA00040690609700000210
输入超先验解码网络hs，得到的熵模型参数从而能更精确地对量化特征
Figure FDA00040690609700000211
编码；
将量化特征
Figure FDA00040690609700000212
送入IDWT模块，而后将得到的特征送入解码网络gs，从而得到重建的图像
Figure FDA00040690609700000213
使用率失真损失作为训练优化改进的图像压缩网络，率失真损失Lc表示为：
Figure FDA00040690609700000214
式中，λ为权衡参数用于控制改进的图像压缩网络的压缩比，d为欧氏距离，H表示对量化特征
Figure FDA00040690609700000215
和超先验量化特征
Figure FDA00040690609700000216
编码所需的码长，该码长是通过对二者的熵近似得到的：
Figure FDA00040690609700000217
Figure FDA00040690609700000218
式中，E表示期望，
Figure FDA0004069060970000031
和
Figure FDA0004069060970000032
分别为量化特征
Figure FDA0004069060970000033
和超先验量化特征
Figure FDA0004069060970000034
的分布；训练时学习率设置为10-5，一个训练批次的大小为4，整个改进的图像压缩网络使用ADAM优化器优化；
2)基于训练好的图像压缩模型，得到图像x的量化特征
Figure FDA0004069060970000035
采用基于方差的前项选择方法将图像x的量化特征
Figure FDA0004069060970000036
划分为两个特征集合，分别为检索子集
Figure FDA0004069060970000037
和剩余子集
Figure FDA0004069060970000038
包括以下步骤：
2.1)量化特征
Figure FDA0004069060970000039
i∈{a,h,v,d}，其中
Figure FDA00040690609700000310
表示实数集，
Figure FDA00040690609700000311
代表低频分量，
Figure FDA00040690609700000312
代表高频分量，a代表低频系数，h代表水平方向的高频系数，v代表垂直方向的高频系数，d代表对角线方向的高频系数，M为
Figure FDA00040690609700000313
中通道个数，l和w分别为通道的长和宽，
Figure FDA00040690609700000314
包含图像多的内容信息，能保证相似性检索精度；为确保图像内容信息不被泄露，选择对
Figure FDA00040690609700000315
分解得到检索子集
Figure FDA00040690609700000316
即从
Figure FDA00040690609700000317
中选出部分特征用于相似性检索操作；
Figure FDA00040690609700000318
中没有被选择的部分与
Figure FDA00040690609700000319
一起被记为剩余子集
Figure FDA00040690609700000320
即被选进
Figure FDA00040690609700000321
的部分填0，用于保证图像的安全性；分解过程表示为：
Figure FDA00040690609700000322
式中，m为选择向量，对
Figure FDA00040690609700000323
中的通道进行选择；因
Figure FDA00040690609700000324
中各个通道
Figure FDA00040690609700000325
的系数值服从高斯分布，且高斯分布的微分熵只与方差有关，则有
Figure FDA00040690609700000326
j∈[0,M]，M为
Figure FDA00040690609700000327
中通道的个数，故根据
Figure FDA00040690609700000328
各个通道的方差抽取通道，构成
Figure FDA00040690609700000329
Figure FDA00040690609700000330
式中，
Figure FDA00040690609700000331
为
Figure FDA00040690609700000332
在第j个通道的熵，σj为
Figure FDA00040690609700000333
在第j个通道的方差，mj为选择向量中的第j个值；σj越大，则该通道包含的信息量就越多，该通道对检索精度的贡献度越大，但同时泄露的内容多，想要高的检索精度，但同时要保证
Figure FDA00040690609700000334
小；
2.2)采用基于方差的前向通道选择方法，从
Figure FDA0004069060970000041
中选出检索子集
Figure FDA0004069060970000042
首先计算压缩特征集中所有特征通道的方差值，将所有方差值按从大到小排序，然后每次增量地按从大到小的顺序从剩余未选中的特征通道集中选出一个通道加入特征集，测试选出特征集的检索性能，反复迭代此过程；待达到最高检索性能时，完成特征通道选择，从而确定选出通道的个数k，则有k＝|m|，
Figure FDA0004069060970000043
Figure FDA0004069060970000044
3)利用基于DNA的确定性加密方法对检索子集
Figure FDA0004069060970000045
加密得到特征e′1，对其进行平移置乱得到
Figure FDA0004069060970000046
最终的加密特征e1；利用基于混沌与DNA的非确定性加密方法对剩余子集
Figure FDA0004069060970000047
加密得到特征e′2，对执行位置置乱后得到最终的加密特征e2，其中基于混沌与DNA的非确定性加密方法包括以下步骤：
3.1)首先生成4个混沌序列R1,R2,R3,R4，然后将R1,R2的值映射到0-7的范围内得到R′1,R′2，R′1和R′2为两个值在0-7范围内的混沌序列，将R3的值映射到0-255的范围内得到R′3，R′3为值在0-255范围内的混沌序列；
3.2)根据R′1,R′2选择DNA编码规则和解码规则，后对剩余子集
Figure FDA0004069060970000049
执行DNA编解码，得到DNA加密后的特征ed；
3.3)将DNA加密后的特征ed与R′3做异或操作，得到e′2；
3.4)对混沌序列R4进行排序得到索引序列idx，然后根据索引序列idx对e′2中的每个值进行位置置乱，置乱过程为：
e′2(b):＝e′2(idx(b))
式中，b∈[1,M×l×w]，M为
Figure FDA0004069060970000048
的特征通道数，l和w分别为通道的长和宽，置乱后得到最终的加密特征e2；
4)为进一步提高加密特征e1的相似性检索精度，训练构建相似性检索全连接网络，其中所述相似性检索全连接网络由特征提取网络和全连接网络组成，训练时使用构建的加密特征三元组训练相似性检索全连接网络，网络输出的特征f(e1)作为相似性检索特征；对查询图像xq的相似性检索特征
Figure FDA0004069060970000051
和图像数据库中所有图像的相似性检索特征的欧式距进行排序，得到最终的压缩域密文检索结果。
2.根据权利要求1所述的支持相似性检索的压缩图像加密方法，其特征在于，所述步骤4)包括以下步骤：
4.1)构建相似性检索全连接网络，其中所述相似性检索全连接网络由Resnet和多层全连接层组成；
4.2)初始化相似性检索全连接网络参数，将Corel-1000数据集划分为训练集和测试集，并将训练集和测试集按照步骤1)、2)、3)进行压缩、分集和加密，得到用于对相似性检索全连接网络训练的加密数据集；为拉近同类样本间距离，随机从训练集中选择加密特征
Figure FDA0004069060970000052
然后随机选择一个与其同类的加密特征
Figure FDA0004069060970000053
和一个与其不同类的加密特征
Figure FDA0004069060970000054
三者构成一个三元组，一共构建np组三元组用于训练相似性检索全连接网络，采用三元组损失对相似性检索全连接网络进行优化，三元组损失Lr表示为：
Figure FDA0004069060970000055
其中式中，np为构建的三元组的组数，
Figure FDA0004069060970000056
和
Figure FDA0004069060970000057
为构造的第c组加密的三元组特征，
Figure FDA0004069060970000058
和
Figure FDA0004069060970000059
为相似性检索全连接网络输出的相似性检索特征，T为常数，d为欧式距度量；训练时采用Adam优化器进行优化保证训练的稳定性，将学习率设置为0.001，迭代次数设置为300个epoch，一个训练批次的大小为16；
4.3)计算测试集中的每一个查询项的相似性检索特征f(e1 q)和图像数据库中所有图像的相似性检索特征的汉明距离，根据汉明距离对图像数据库中所有加密图像进行排序，返回压缩域密文检索结果。
CN202210276534.1A 2022-03-21 2022-03-21 支持相似性检索的压缩图像加密方法 Active CN114638002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210276534.1A CN114638002B (zh) 2022-03-21 2022-03-21 支持相似性检索的压缩图像加密方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210276534.1A CN114638002B (zh) 2022-03-21 2022-03-21 支持相似性检索的压缩图像加密方法

Publications (2)

Publication Number Publication Date
CN114638002A CN114638002A (zh) 2022-06-17
CN114638002B true CN114638002B (zh) 2023-04-28

Family

ID=81950340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210276534.1A Active CN114638002B (zh) 2022-03-21 2022-03-21 支持相似性检索的压缩图像加密方法

Country Status (1)

Country Link
CN (1) CN114638002B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115936067A (zh) * 2022-12-01 2023-04-07 北京航天自动控制研究所 一种具有eca通道注意力机制的神经网络

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203555A1 (ja) * 2015-06-16 2016-12-22 株式会社日立製作所 類似性秘匿検索システム、類似性秘匿検索方法
CN107480163A (zh) * 2017-06-19 2017-12-15 西安电子科技大学 一种云环境下支持隐私保护的高效密文图像检索方法
CN109922227A (zh) * 2019-01-22 2019-06-21 华南理工大学 一种可逆元胞自动机图像加密的相似性度量方法
CN110148189A (zh) * 2019-05-23 2019-08-20 江西财经大学 一种基于dna序列和混沌***的光场图像加密方法
CN111522973A (zh) * 2020-04-16 2020-08-11 重庆邮电大学 一种融合压缩感知的隐私保护图像检索方法
CN114067385A (zh) * 2021-10-09 2022-02-18 华南理工大学 基于度量学习的跨模态人脸检索哈希方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203555A1 (ja) * 2015-06-16 2016-12-22 株式会社日立製作所 類似性秘匿検索システム、類似性秘匿検索方法
CN107480163A (zh) * 2017-06-19 2017-12-15 西安电子科技大学 一种云环境下支持隐私保护的高效密文图像检索方法
CN109922227A (zh) * 2019-01-22 2019-06-21 华南理工大学 一种可逆元胞自动机图像加密的相似性度量方法
CN110148189A (zh) * 2019-05-23 2019-08-20 江西财经大学 一种基于dna序列和混沌***的光场图像加密方法
CN111522973A (zh) * 2020-04-16 2020-08-11 重庆邮电大学 一种融合压缩感知的隐私保护图像检索方法
CN114067385A (zh) * 2021-10-09 2022-02-18 华南理工大学 基于度量学习的跨模态人脸检索哈希方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yingri Su等.Reversible cellular automata image encryption for similarity search.《Sinaal Processing:image Communication》.2019,134-147. *
张春艳 ; 李京兵 ; 王双双 ; .基于离散小波变换和感知哈希的加密医学图像检索算法.计算机应用.2018,(第02期),241-246+274. *

Also Published As

Publication number Publication date
CN114638002A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
Man et al. Double image encryption algorithm based on neural network and chaos
CN111247537B (zh) 有效存储稀疏神经网络和稀疏卷积神经网络的方法及***
Wang et al. Packing convolutional neural networks in the frequency domain
EP3958158B1 (en) Privacy-preserving machine learning
Wang et al. Towards evolutionary compression
CN110659379B (zh) 一种基于深度卷积网络特征的可搜索加密图像检索方法
Razeghi et al. Privacy-preserving outsourced media search using secure sparse ternary codes
Zhong et al. Channel-level variable quantization network for deep image compression
CN114638002B (zh) 支持相似性检索的压缩图像加密方法
KR20220058628A (ko) 신경망 모델 압축
Wang et al. A color image encryption and hiding algorithm based on hyperchaotic system and discrete cosine transform
Lee et al. Flexor: Trainable fractional quantization
Dou et al. Towards privacy-preserving person re-identification via person identify shift
Singh Fastmie: Faster medical image encryption without compromising security
Liu et al. Computation-performance optimization of convolutional neural networks with redundant filter removal
Saha et al. Matrix compression via randomized low rank and low precision factorization
CN108804933B (zh) 一种用于信息隐藏技术中的大数据的进制转换方法
Menassel Optimization of fractal image compression
Kamma et al. Pruning ratio optimization with layer-wise pruning method for accelerating convolutional neural networks
Km et al. Secure image transformation using remote sensing encryption algorithm
Chen et al. Explore the potential of deep learning and hyperchaotic map in the meaningful visual image encryption scheme
Li et al. Adderic: towards low computation cost image compression
CN112184841A (zh) 块替换生成式信息隐藏及恢复方法、设备及介质
Zhu et al. Towards accurate quantization and pruning via data-free knowledge transfer
CN111428250B (zh) 采用基于pca的低维混沌序列改进算法的图像加密方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant