CN114979407A - 基于码分多址和深度学习鬼成像的多图加密和解密方法 - Google Patents

Abstract

本发明公开了一种基于码分多址和深度学习鬼成像的多图加密和解密方法，包括加密步骤：S1、对多个明文图片做单像素成像，得到一维桶探测信号；S2、对所有的一维桶探测信号做二值化处理得到二值化单像素探测值；S3、采用码分多址的方式对得到的二值化单像素探测值进行编码，编码得到的信息进行叠加，形成密文；解密步骤：通过码分多址为每个用户分配的唯一的码片作为密钥，每位信息接收者利用密钥解出密文中对应的二值化单像素探测值，再将二值化单像素探测值喂入已训练好的密集型神经网络中，进而恢复出明文图片。本发明能够有效进行多图像加密，具有加密运算简单、解密效率高和图像重构效果好的优点。

Description

基于码分多址和深度学习鬼成像的多图加密和解密方法

技术领域

本发明涉及信息安全技术领域，具体涉及一种基于码分多址和深度学习鬼成像的多图加密和解密方法。

背景技术

在信息大***的时代，信息安全关乎到日常生活的方方面面，其中值得一提的是光学图像加密技术因其高速并行处理的能力，多维空间的自由度而受到了广泛关注。早在1995年，由Javidi和Réfrégier等人提出的双随机相位编码技术开启了光学图像加密的大门，受此启发，越来越多的研究者将目光聚焦在了这一领域，提出了诸如基于相移，偏振，相位截断等光学手段的加密方法。除了以上提出的方法，高速发展的信息传输技术和日益增长的数据需求量都为图像加密提出了新的要求，因而对多图加密***的研究逐渐成为了光信息技术发展的必然趋势。不可忽视的是伴随着多图加密不断拓展的信息容量，数据传输中的带宽也需要随之不断延展。为此，如何在多图加密过程中对数据量进行压缩也是一直来的研究重点。

单像素成像(single-pixel imaging，SPI)，利用单像素探测器代替了传统成像的多阵列传感器，可以用一维的数值信号表示从物体中提取的二维信息。单像素成像良好的抗干扰能力和宽波段成像的内在属性，为光学图像加密提出了新思路。不同于传统的实时成像，单像素成像需要大量的时间来捕获用于图像恢复的桶探测信号。因此，如何缩短信号获取的时间，提高图像重构的质量成为了单像素成像研究的重要课题之一。

发明内容

本发明的目的在于，提供一种基于码分多址和深度学习鬼成像的多图加密和解密方法。本发明能够有效进行多图像加密，具有加密运算简单、解密效率高和图像重构效果好的优点。

为解决上述技术问题，本发明提供的技术方案如下：基于码分多址和深度学习鬼成像的多图加密和解密方法，包括加密步骤：

S1、对多个明文图片做单像素成像，用投影仪投射照明矩阵到明文图片上，利用单像素探测器来接收从明文图片反射回来的一维桶探测信号；

S2、对所有的一维桶探测信号做二值化处理得到对应的二值化单像素探测值；

S3、采用码分多址的方式对得到的二值化单像素探测值进行编码，编码得到的信息进行叠加，形成密文；

解密步骤：

通过码分多址为每个用户分配的唯一的码片作为密钥，每位信息接收者利用密钥解出密文中对应的二值化单像素探测值，再将二值化单像素探测值喂入已训练好的密集型神经网络中，进而恢复出明文图片。

上述的基于码分多址和深度学习鬼成像的多图加密和解密方法，将明文图片O重构成N×1，其中N＝a×a；投影仪投射的M个照明矩阵用[H₁ H₂…H_M]^T表示,将M个照明矩阵投射到明文图片O上得到的一维桶探测信号D表示为：

式中：T表示转置。

前述的基于码分多址和深度学习鬼成像的多图加密和解密方法，所述的二值化处理是用统一的阈值来划分一维桶探测信号，用于得到二值化单像素探测值B_i：

式中：D_i表示第i个明文图片对于的一维桶探测信号D。

前述的基于码分多址和深度学习鬼成像的多图加密和解密方法，所述码分多址为每个明文图片分配唯一的码片，对于任意一个明文图片的n bit码片

满足以下条件：

且任意一个A明文图片的码片

和B明文图片的码片

满足：

根据得到的二值化单像素探测值和码片进行编码，获得m个信息L₁,L₂,…,L_m

将这m个信息叠加在一起，得到密文：

前述的基于码分多址和深度学习鬼成像的多图加密和解密方法，所述利用密钥解出密文中对应的二值化单像素探测值的公式如下：

式中：B_i为二值化单像素探测值，L为密文；

为第i明文图片的码片。

前述的基于码分多址和深度学习鬼成像的多图加密和解密方法，所述密集型神经网络以Unet作为基础架构，网络的输入层是1×N的二值化桶探测值x_i(i＝1,2,…,J)，第二层为全连接层；由dense_block和transition_block作为降采样模块，经过六层降采样后，通过一层dense_block和0.2的dropout连接到升采样，升采样部分由一层convolutionlayer和dense_block组成；降采样和升采样之间通过跳连层和concatenation连接，用于丢弃部分高频信息；最后的输出层由convolution layer和激活函数sigmoid组成；所述输出层是a×a的重构图像R_θ(x_i)，在训练过程中，重构图像R_θ(x_i)和对应的原图y_i(i＝1,2,…,J)通过不断缩小loss函数来优化网络参数θ；所述loss函数采用均方误差表示：

其中，R表示网络的映射函数。

前述的基于码分多址和深度学习鬼成像的多图加密和解密方法，用dense_block和transition_block表示网络层之间的连接，其中，dense_block用于定义输入输出之间的连接关系，每一层的输入都与输出相连接，第ι层的网络会接收到之前所有层的参数，用公式表述为：

x_l＝H_l[x₀,x₁,…,x_l-1]；

其中，dense_block是将三层convolution layer的输入和输出相连接；transition_block用来控制通道数；transition_block由BatchNomalization，激活函数relu，3×3的卷积层以及平均池化构成。

与现有技术相比，本发明将单像素成像看作是图像压缩的一种模式，通过单像素探测器将二维的明文图片高度压缩成一维的桶探测信息。本发明采用的码分多址是一种可以在同一信号频段同步传输多组信息的编码方式，利用码分多址将多组一维桶探测信号编码合成一组信息，从而获传输给接收者的密文。本发明的解密作为加密步骤的逆过程，通过码分多址为每个用户分配的唯一的码片作为密钥，每位信息接收者都可以利用密钥解出自己对应的桶探测信号，再将这个桶探测信号喂入到已经训练好的密集型神经网络(DenseNet)中，就可以直接恢复出高质量的明文信息。本发明具有良好的数据存储能力和较高的安全性能，通过数值仿真和光学实验可以验证。本发明能够有效进行多图像加密，具有加密运算简单、解密效率高和图像重构效果好的优点。

附图说明

图1为单像素成像原理图。

图2为本发明的加密原理图。

图3为本发明的解密原理图。

图4为DenseNet网络示意图。

图5为仿真结果，(a)明文；(b)二值桶探测值；(c)码片序列；(d)密文；(e)恢复的二值桶探测值；(f)重构的明文。

图6为TSPI重构图与SPIDN重构图的CC值。

图7为错误密钥重构图。

图8为明文与密文损失后重构图的CC值。

图9为不同数量的明文和重构图的CC。

图10为光学实验示意图。

图11为光学实验验证结果，(a)明文；(b)二值桶探测值；(c)码片序列；(d)密文；(e)恢复的二值桶探测值；(f)重构的明文。

图12为不同采样率下明文重构图。

图13为光学验证的明文与密文损失后重构图的CC值。

具体实施方式

下面结合实施例和附图对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例：基于码分多址和深度学习鬼成像的多图加密和解密方法，包括如图1所示的加密步骤：用数字投影设备(digital light projector，DLP)连接计算机(computer)投射一系列没有空间分辨率的照明矩阵到明文图片上，利用单像素探测器(single-pixel)接收从物体上反射回来的一维桶探测信号，最后利用数据采集卡将模拟信号转化成数字信号传递到电脑上进行数据处理。

如图2所示，本实施例中需要加密m个大小均为a×a的明文图片O₁,O₂,…,O_m(图2中的object)，需要用相同的照明矩阵投射到不同的明文图片上，采集m个一维桶探测信号。

为了方便后续加密做数值处理，同时减少数据采集过程中信息的冗余，采用乱序的Hadamard矩阵作为照明矩阵，Hadamard矩阵H可以用公式表示为

其中，H₁＝[1]，

表示内积。

由于DLP无法投影数值为-1的图像，因此将差分的，互补的Hadamard作为照明矩阵，具体可以表示为H＝H₊-H_-。

其中，H₊＝(H+1)/2表示正模式，H_-＝1-H₊表示负模式。

从Hadamard矩阵中随机挑选M个作为照明矩阵。为了方便计算，将明文图片O重构成N×1，其中N＝a×a。对应的，M个照明模式用[H₁ H₂ … H_M]^T(T表示转置)表示，将这一系列照明模式投射到物体上得到的单像素探测值D可以表示为：

M/N表示采样率(Sampling ratio，SR)，利用传统的相关恢复算法(Traditionalsingle-pixel imaging，TSPI)可以恢复出明文图像，具体过程如下

其中，＜·＞表示M次测量的平均值。

本实施例中，通过对m个物体O₁,O₂,…,O_m分别做单像素成像，这时二维的图像信息被高度压缩成一维桶探测信号D₁,D₂,…,D_m。

考虑到后续需要采用码分多址的方式对桶探测值进行编码，而码分多址编码的对象通常只包含+1和-1。因此，在编码之前需要对所有的桶探测值做二值化(binarization)处理，该方法是用统一阈值来划分所有得到的单像素值。这里只采用0和1两个量化梯度。由于采用Hadamard作为测量矩阵，得到的值在归一化后，基本在[-1,1]的区间内波动。因此，设置0为阈值，具体可以描述为

这样就可以由一维桶探测值得到对应的二值化单像素探测值B₁,B₂,…,B_m。

在加密过程中，采用码分多址的方式对得到的数据进行编码，以压缩多图传输过程的带宽，实现多组信息的高效传递。码分多址为每个用户发送一个唯一的码片。例如，需要发送1时，可以发送2bit序列[1,-1]，相反地，发送0时，就发送序列[-1,1]。对于任意一个明文图片的n bit码片

满足以下条件

为了保证不同用户之间的信息互不干扰，每个用户分配到的码片不仅不同，还需要满足正交性。具体来说，任意一个A用户的码片

和B用户的码片

需要满足以下式子：

这里将每一个明文图像分配一个码片(key)，根据得到的二值化单像素探测值和码片进行编码，可以获得m个信息L₁,L₂,…,L_m。

最后，将这m组信息叠加在一起，可以得到密文：

(2)解密步骤：

将密文传送给信息接收者。如图3所示，接收者基于CDMA的原理，通过对应的码片

和密文L，可以从中恢复出加密信息：

有关于得到的二值化桶探测值的解密。如果利用TSPI，我们可以直接利用量化后的值和照明矩阵之间的二阶关联性恢复出物体：

受二值化的影响，成像的质量会明显下降，为了提高在欠采样条件下物体重构质量和加密***的安全性，这里采用基于DenseNet的单像素成像(Singe-pixel imagingusing DenseNet，SPIDN)方法对物体进行恢复。对于这里将二值化的桶探测值和对应的原图输入到网络中进行训练。

本实施例的密集型神经网络，如图4所示，整体的网络以Unet作为基础架构。网络的输入层是1×N的二值化桶探测值x_i(i＝1,2,…,J)，第二层为全连接层。由dense_block和transition_block作为降采样模块，经过六层降采样后，通过一层dense_block和0.2的dropout连接到升采样，升采样部分由一层convolution layer和dense_block组成；降采样和升采样之间通过跳连层和concatenation连接，可以丢弃部分高频信息；最后的输出层由convolution layer和激活函数sigmoid组成。网络的输出层是a×a的重构图像R_θ(x_i)，在训练过程中，重构图像R_θ(x_i)和对应的原图y_i(i＝1,2,…,J)(groundtruth，GT)通过不断缩小loss函数来优化网络参数θ。这里的loss函数采用均方误差(mean square error，MSE)表示：

其中，R表示网络的映射函数。通过网络训练后，就可以直接由二值的桶探测值B_i直接预测出明文图片O_i':

O_i'＝R_θ(B_i)；

本实施例的密集型神经网络结合了DenseNet和Unet的特性。DenseNet的特点是每一层网络都与前面的层相连接，实现特征的重复利用。本发明用dense_block和transition_block表示网络层之间的连接，其中，dense_block用于定义输入输出之间的连接关系，每一层的输入都与输出相连接，第ι层的网络会接收到之前所有层的参数，可以用公式具体表述为：

x_l＝H_l[x₀,x₁,…,x_l-1]；

这里dense_block是将三层convolution layer的输入和输出相连接。transition_block用来控制通道数。transition_block由BatchNomalization，激活函数relu，一个3*3的卷积层以及平均池化构成。DenseNet具有良好的抗过拟合性，相对于其他网络，采用较少的数据量就可以达到很好的训练效果。

下面结合实际试验对本发明的内容进行进一步的解释。

(1)数值仿真：

为了验证本发明加密的可行性，申请人进行了数值仿真验证。从mnist测试集中选取了4张数字图片作为明文，为了保证图像重构的质量同时尽可能减少传输的数据量，这里把采样率设置为10％。如图5(a)，采用乱序的Hadamard矩阵将明文信息压缩成二值的一维桶探测信号，如图5(b)，利用如图5(c)的8bit的4段正交码片[1,-1,1,-1,-1,1,-1,1]，[1,1,1,1,-1,-1,-1,-1]，[1,-1,-1,1,1,-1,-1,1]，[1,1,-1,-1,1,1,-1,-1]，按照码分多址的编码方式，可得到加密后的密文如图5(d)所示，将密文传递给信息接收者，四位接收者通过正确的码片序列可以恢复出4段一维二值信息，如图5(e)，将这些信息输入到已经训练好的密集型神经网络(DenseNet)中就可以得到重构的明文如图5(f)。从结果可以看出，不同明文之间的信息相互之间不受干扰，可以恢复出清晰的明文信息。

这里重构明文图像时采用的SPIDN，从mnist训练集中选取10000张用于SPIDN网络的训练，从测试集中选取1000张用于测试。训练周期设置为50，采用adam优化器，学习率设置为0.02。为了进一步说明采用SPIDN重构方法的优势，申请人对比了SPIDN和TSPI在不同采样率下图像的恢复效果。SR设置为1％，5％，10％，20％，图片大小均为64×64。申请人采用CC值和衡量重构图像和原图之间的相关性。原图O(x,y)和重构图O'(x,y)的CC值可以通过以下公式进行计算：

其中，Cov表示图像O(x,y)和O'(x,y)的均方差，σ表示图像O(x,y)和O'(x,y)的标准偏方差。CC值范围在0和1之间，CC值越大，表明O(x,y)和O'(x,y)的相似度越高，重构的效果越好。

图6为TSPI重构图与SPIDN重构图的CC值曲线图，从图中可以看出总体上CC值会随着采样率的增加而增大，但SPIDN的重构效果始终优于TSPI。特别当采样率大于5％时，SPIDN的重构图CC值可以达到0.9以上，这意味着SPIDN可以恢复出图像的绝大部分信息，而对比TSPI的重构图CC值只有0.7左右。采用SPIDN作为本发明的恢复方法，在压缩数据量的情况下也能够保证图片的重构效果。在加密过程中，为了保证重构的效果，申请人对图像做单像素成像时，采样率均设置为10％。

在信息传输过程中，可能会存在错误密钥或者密钥泄露的情况。这里为了分析***密钥安全性，从四组8bit的码片中随机选取了8个码位作为错误密钥。如图7，第1列为用于加密的四个明文，后面的8列为解密后重构的明文，其中wrong key1，wrong key2，…，wrong key8为1位，2位，…，8位随机挑选的错误密钥。可以看出在发生密钥错误时，除了wrong key2，其余每列的四幅明文图像至少有一副图，最多时有三幅图，受到错误密钥的影响完全无法重构出明文信息。说明重构的明文信息会一定程度上受到错误密钥的干扰，部分信息可能会存在完全丢失，无法重建的情况。由此可以看出本发明具有较好的防窃取性能。

进一步地，申请人验证了在部分信息丢失的情况下，明文信息恢复的情况。通过明文与密文损失重构图的CC值来评估***的抗闭塞攻击的能力，申请人设置信息损失的比例从0到80％，每次增加10％的损失率，在这种情况下重构图的CC值如图8所示，可以看出随着损失信息的比例的增长，重构明文的CC值在不断下降。当损失信息率低于30％时，重构图与明文的CC值仍然可以保持在0.9以上。说明丢失小部分密文，不会对图像的重构造成很大的影响，该加密方案具有良好的抗闭塞攻击能力。

作为一个多图加密***，显然待加密明文数量是衡量加密***的一个重要指标。通常随着接收者的增多，图像信息之间的相互干扰，重构的图像的质量会逐步降低。为了分析***的信息容量，申请人以10个明文图像为一个梯度，测试了100以内随着的数据量增加，明文与重构图之间CC的平均值。如图9所示，从图中可以看出，随着数据量的增加，CC值的变化曲线十分平缓。即使数据量从10增加到100，重构图的CC值始终保持在0.94以上，受到数据量增加发生的波动十分有限。由此可以得出，多图加密过程中数据量的增加，不会对明文的重构质量造成很大影响，该加密***具有良好的数据容量。

(2)光学验证：

除了数值仿真，申请人还设计了对应的光学实验用来验证该加密***的可行性。申请人搭建的光学实验平台如图10所示，用投影仪(EPSON CB-2055)作为光源，投射一系列乱序的Hadamard散斑到物体上，通过单像素探测器(Thorlabs PDA100A2)接收反射后的光强值，由数据采集卡(National Instruments USB-6341)将采集到的模拟电压转化成数字数据传输到电脑上。接收到的桶探测通过电脑进行数据处理。

如图11所示，与数据仿真相同，光学验证我们同样采用了四个mnist测试集中图片作为明文如图11(a)，对采集到的光强值差分后做二值化处理，如图11(b)，采用如图11(c)的码片进行CDMA编码，得到密文如图11(d)。将码片通过秘密通道传输给对应的接收者，将密文通过公共通道传输给接收者。4位接收者通过四组码片解出相应的二值单像素探测值，如图11(e)，最后只要将二值单像素探测值输入到数值仿真训练过的DenseNet中，就可以恢复出明文，如图11(f)所示。可以看出，同样设置采样率为10％，与数值仿真结果相似，依旧可以恢复出高质量的重构效果。

为了用光学实验验证SPIDN在恢复明文方面的优势，申请人对比了在不同采样率下，SPIDN明文重构图像。如图12所示，第1行为随机从测试集中挑选的原图(GT)，第2，3，4行分别为采样率1％，5％，10％时重构的效果图。可以看出即使在采样率仅为1％时，也可以恢复出图像的基本轮廓，而采样率为10％恢复出的明文基本上和原图一致。再次证明了采用SPIDN恢复图像的高效性。在加密***中，保证了在低采样率的条件下，可以近乎完美地恢复出明文图像，有效地解决了加密过程中信息冗余的问题。

最后，申请人希望用光学实验验证密文在不同的损失率下恢复出的图像与原图之间的相关性。同样设置损失率0到80％，每次增加10％，得到的重构图CC值曲线如图13所示，同样可以看出重构图的CC会随着损失率的上升而下降。密文损失率在小于20％时，CC值高于0.9，损失率下降到40％，CC值可以保持在0.8左右。由此可以看到在损失率较小时，重构的质量受到的影响也会比较小。和数值仿真分析的数据对比可以发现光学实验恢复的CC值受实验环境噪声干扰会略低。

综上所述，本发明具有良好的数据存储能力和较高的安全性能，通过数值仿真和光学实验可以验证。本发明能够有效进行多图像加密，具有加密运算简单、解密效率高和图像重构效果好的优点。

Claims (7)

1.基于码分多址和深度学习鬼成像的多图加密和解密方法，其特征在于：包括加密步骤：

S1、对多个明文图片做单像素成像，用投影仪投射照明矩阵到明文图片上，利用单像素探测器来接收从明文图片反射回来的一维桶探测信号；

S2、对所有的一维桶探测信号做二值化处理得到对应的二值化单像素探测值；

S3、采用码分多址的方式对得到的二值化单像素探测值进行编码，编码得到的信息进行叠加，形成密文；

解密步骤：

通过码分多址为每个用户分配的唯一的码片作为密钥，每位信息接收者利用密钥解出密文中对应的二值化单像素探测值，再将二值化单像素探测值喂入已训练好的密集型神经网络中，进而恢复出明文图片。

2.根据权利要求1所述的基于码分多址和深度学习鬼成像的多图加密和解密方法，其特征在于：将明文图片O重构成N×1，其中N＝a×a；投影仪投射的M个照明矩阵用[H₁ H₂…H_M]^T表示,将M个照明矩阵投射到明文图片O上得到的一维桶探测信号D表示为：

式中：T表示转置。

3.根据权利要求1所述的基于码分多址和深度学习鬼成像的多图加密和解密方法，其特征在于：所述的二值化处理是用统一的阈值来划分一维桶探测信号，用于得到二值化单像素探测值B_i：

式中：D_i表示第i个明文图片对于的一维桶探测信号D。

4.根据权利要求3所述的基于码分多址和深度学习鬼成像的多图加密和解密方法，其特征在于：所述码分多址为每个明文图片分配唯一的码片，对于任意一个明文图片的n bit码片l_i满足以下条件：

且任意一个A明文图片的码片l_A和B明文图片的码片l_B满足：

根据得到的二值化单像素探测值和码片进行编码，获得m个信息L₁,L₂,…,L_m

将这m个信息叠加在一起，得到密文：

5.根据权利要求4所述的基于码分多址和深度学习鬼成像的多图加密和解密方法，其特征在于：所述利用密钥解出密文中对应的二值化单像素探测值的公式如下：

式中：B_i为二值化单像素探测值，L为密文；l_i为第i明文图片的码片。

6.根据权利要求4所述的基于码分多址和深度学习鬼成像的多图加密和解密方法，其特征在于：所述密集型神经网络以Unet作为基础架构，网络的输入层是1×N的二值化桶探测值x_i(i＝1,2,…,J)，第二层为全连接层；由dense_block和transition_block作为降采样模块，经过六层降采样后，通过一层dense_block和0.2的dropout连接到升采样，升采样部分由一层convolution layer和dense_block组成；降采样和升采样之间通过跳连层和concatenation连接，用于丢弃部分高频信息；最后的输出层由convolution layer和激活函数sigmoid组成；所述输出层是a×a的重构图像R_θ(x_i)，在训练过程中，重构图像R_θ(x_i)和对应的原图y_i(i＝1,2,…,J)通过不断缩小loss函数来优化网络参数θ；所述loss函数采用均方误差表示：

其中，R表示网络的映射函数。

7.根据权利要求6所述的基于码分多址和深度学习鬼成像的多图加密和解密方法，其特征在于：用dense_block和transition_block表示网络层之间的连接，其中，dense_block用于定义输入输出之间的连接关系，每一层的输入都与输出相连接，第ι层的网络会接收到之前所有层的参数，用公式表述为：

x_l＝H_l[x₀,x₁,…,x_l-1]；

其中，dense_block是将三层convolution layer的输入和输出相连接；transition_block用来控制通道数；transition_block由BatchNomalization，激活函数relu，3×3的卷积层以及平均池化构成。

Images