CN111242290B - 一种轻量级隐私保护生成对抗网络*** - Google Patents

Abstract

本发明涉及一种轻量级隐私保护生成对抗网络***，实体包括数据提供者DS、服务提供者SP、第一边缘服务器S ₁以及第二边缘服务器S ₂，软件包括LP‑GAN安全计算框架；所述LP‑GAN安全计算框架包括安全生成模型SG以及安全判别模型SD。本发明能够保证用户的数据和模型的双重隐私。

Description

一种轻量级隐私保护生成对抗网络***

技术领域

本发明涉及机器学习领域，特别是一种轻量级隐私保护生成对抗网络***。

背景技术

深度学习在多种计算机视觉任务上实现了重要的突破，例如图像识别，图像翻译和医学图像诊断等。为了模型的提高准确性，深度学习算法通常需要大量的训练样本。但是，由于隐私和法律的限制，在许多数据敏感领域(例如医疗、军事领域)并没有足够的训练数据，数据缺失使得构建模型更为困难。

生成对抗网络(GAN)具有学习真实数据(例如图像，文本，视频)分布的能力，并可以生成难以与真实样本区分的生成样本，特别是在生成合成图像方面优于许多传统框架，因此，GAN在计算机视觉领域得到了广泛的应用，同时提供了一种缓解训练数据稀缺问题的方法。2014年，Goodfellow等人提出了GAN的概念，通过对抗性过程来训练生成模型。随后，Radford等人结合卷积神经网络提出了深度卷积GAN(DCGAN)，该网络能够产生高质量的假图像样本，其统计特性与真实图像相似。等人提出分层递归GAN(LR-GAN)，该模型利用不同的生成器来生成前景和背景，从而获得更清晰的图像。Denton等人提出了LaplacianpyramidGAN(LAPGAN)，该方法利用迭代从粗到细生成图像，进一步提高了GAN合成图像的质量。

尽管在GAN在生成合成图像任务上有着显著优势，但是在模型训练阶段仍然需要消耗大量的计算和存储资源，为了解决该问题，许多的用户选择将其数据和密集计算外包给云平台。但是，传统的集中式云架构可能会导致处理和传输海量数据时出现不可预料的延迟，这使得该方案不适用于时间敏感型的应用程序。因此，采用边缘计算来优化云计算的性能。边缘计算在靠近用户数据源的网络边缘处理计算，减少了用户与数据中心之间的等待时间和带宽消耗。安全和隐私仍然是边缘计算处理GAN任务时的主要问题，用于外包计算的数据通常是未加密的，并且第三方边缘计算服务器并不是完全可信的，因此很多敏感图像数据(例如人脸图像，医学图像)面临着被窃听和滥用的风险。此外，从GAN生成的数据样本的分布和训练样本相似，这可能导致隐式的隐私泄露。Arjovsky等人通过从模型中反复采样，能够恢复训练样本。因此，GAN中训练数据和模型的隐私都需要被保护。

同态加密(HE)是一种隐私保护计算方案，支持对加密数据进行灵活的计算。Xie等人提出CryptoNets实现了基于同态加密的神经网络预测。Zhang等人提出了一种基于同态加密的隐私保护深度计算模型，该模型将复杂的计算任务分配到云平台执行。Hesamifard等人提出CryptoDL，使用多层同态加密执行卷积神经网络中的训练和预测计算。但是，现有的基于同态加密的框架时间复杂度高，并且存储消耗大，不适合用于实际应用中。

另一种高效的隐私保护方案是差分隐私(DP)，它通过增加随机噪声来保护数据。2017年，Abadi等人提出了一种基于差分隐私的梯度剪枝方案，在机器学习训练过程中保护了数据隐私。Shokri等人提出了一种基于差分隐私技术的深度神经网络分布式训练方案。Xie等人提出了一种差分隐私WGAN模型(DPGAN)，该模型通过在训练过程中给梯度添加噪声来实现差分隐私。尽管差分隐私技术的性能优于同态加密技术，由于算法需要加入基于拉普拉斯分布或高斯分布的随机噪声，在隐私要求较高时，基于差分隐私的方案会产生更多的误差，基于差分隐私的方法必须在精确性和隐私性之间进行权衡。

发明内容

有鉴于此，本发明的目的是提出一种轻量级隐私保护生成对抗网络***，能够保证用户的数据和模型的双重隐私。

本发明采用以下方案实现：一种轻量级隐私保护生成对抗网络***，实体包括数据提供者DS、服务提供者SP、第一边缘服务器S₁以及第二边缘服务器S₂，软件包括LP-GAN安全计算框架；所述LP-GAN安全计算框架包括安全生成模型SG以及安全判别模型SD；

所述数据提供者DS拥有训练图像数据，并为DCGAN神经网络的训练提供初始参数；为了保护图像数据I和模型参数P的隐私，DS在本地将其随机拆分为两组秘密共享数据I′，I″和P′，P″，然后，DS将其分别发送给第一边缘服务器S₁和第二边缘服务器S₂；同时，DS负责生成随机值以满***互式安全协议的需求；

所述第一边缘服务器S₁与第二边缘服务器S₂负责执行交互式的安全计算协议；S₁和S₂分别从数据提供者处获得秘密共享I′，P′和I″，P″作为输入，并运行具有隐私保护的训练、生成过程，之后S₁和S₂分别返回训练后的隐私保护参数P′，P″和生成的图像O′，O″，并发送给服务提供者SP；

服务提供者SP接收S₁和S₂产生的秘密共享，并恢复DCGAN的明文训练参数P和明文的生成图像O。

进一步地，所述生成模型SG包括反卷积层、批处理归一化层、ReLU层和全连接层；所述判别模型SD包括卷积层，批处理归一化层，LeakyReLU层和全连接层；每个层中均包括安全计算协议，具体如下：

其中，在卷积层中，假设x_ij是卷积计算输入矩阵X第i行、第j列的元素；ω和b分别是n×n大小的卷积核的权重和偏移量；为了保护训练数据的隐私，首先将X随机分为两个随机秘密分享X′和X″，X＝X′+X″，其中x_ij被分为两个随机值x′_ij和x″_ij，同时，将权重和偏移量分为两组随机秘密分享(ω′_lm,ω″_lm)和(b′,b″)，其中ω_lm＝ω′_lm+ω″_lm，b＝b′+b″；安全卷积协议SecConv计算如下：S₁和S₂共同计算：(a′_lm,a″_lm)←SecMul(ω_lm,x_i+l,j+m)；S₁计算c′_ij，S₂计算c″_ij：

其中，在反卷积层中，安全反卷积协议SecDeConv的计算和SecConv相同，不同点在于反卷积计算的输入图像中需要填充多个0以满足输出矩阵大小；

其中，在批处理归一化层中采用安全批量规范化协议SecBN，设输入为x_i，x_i＝x′_i+x″_i，批量大小为m，协议流程如下：S₁和S₂分别计算批量均值：

S₁和S₂共同计算批量方差：(a′_i,a″_i)←SSq(x_i-μ_B)，

S₁和S₂共同计算规范化值

首先调用SISqrt协议计算

其中，ε是常数，用于确保数值稳定性，用t_i＝x_i-μ_B表示标准差，调用安全乘法协议SecMul计算出

假设缩放、偏移参数γ，β为全局参数公开可知，前向传播时为定值，反向传播时更新，S₁和S₂分别计算规范化输出

为：

其中，在ReLU层中，采用SR协议，其流程如下：S₁和S₂分别计算SR(xi′_j)和SR(x″_ij)：

其中，在LeakyReLU层中，采用SLR协议，其流程如下：S₁和S₂分别计算SLR(x′_ij)和SLR(x″_ij)：

其中α∈(0,1)为非零常量；

其中，在全连接层中，采用安全全连接协议SecFC，设全连接层的输入为第k层的输出x_k，ω_ik表示当前层第i个神经元和前一层第k个神经元的连接权重，b_i表示当前层第i个神经元的偏移量，SecFC协议流程如下：S₁和S₂共同计算：(a′_ik,a″_ik)←SecMul(ω_ik,x_k)，f′_i＝∑_ka′_ik+b_i′，f_i″＝∑_k a″_ik+b_i″。

上述上标’与”分别表示由无上标的数据拆分得到的两个数据。

进一步地，所述运行具有隐私保护的训练、生成过程具体包括以下步骤：

步骤S1：数据提供者DS生成SD和SG的模型参数θ_d和θ_g，并分别将其预处理拆分成两组秘密分享数据，分别发送给第一边缘服务器S₁和第二边缘服务器S₂；

步骤S2：训练判别模型SD：DS分别取m个随机噪声样本z和真实图像样本x，分别预处理拆分成两组数据秘密分享发送给S₁和S₂；对于输入的噪声样本，S₁和S₂执行安全生成模型前向传播协议SG-FP生成图像

对于每个输入数据，S₁和S₂执行安全前向传播协议SD-FP和SG-FP，计算SD的损失函数

S₁和S₂执行安全反向传播协议SD-BP更新SD的参数；

步骤S3：训练生成模型SG：DS取m个随机噪声样本z做预处理拆分成两组数据并分别秘密分享发送给S₁和S₂；对于输入的噪声样本，S₁和S₂执行生成模型前向传播协议SG-FP生成图像

对于每张生成图像，S₁和S₂执行安全前向传播协议SG-FP，用于计算SG的损失函数

S₁和S₂执行安全反向传播协议SG-BP更新SG的参数；

步骤S4：第一边缘服务器S₁和第二边缘服务器S₂分别返回训练后的模型参数的秘密共享给服务提供者SP。

进一步地，所述SD-FP为判别模型的前向传播协议，具体为：设判别模型的输入为图像的秘密分享I′,I″，其中，第一边缘服务器S₁输入I′，第二边缘服务器S₂输入I″，模型的第i层中，安全卷积计算协议SecConv的结果为c^′(i),c^″(i)，安全批量规范化协议SecBN的计算结果为y^′(i),y^″(i)，安全LeakyReLU函数计算结果为slr^′(i),slr^″(i)，最后，协议调用安全全连接协议SecFC输出对图像的判别结果f′,f″。

进一步地，所述SG-FP为生成模型的前向传播协议，具体为：设生成模型的输入为噪声图像的秘密分享Z′,Z″，第一边缘服务器S₁输入Z′，第二边缘服务器S₂输入Z″，模型的第i层中，安全反卷积协议SecDeConv计算结果为c^′(i),c^″(i)，安全批量规范化协议SecBN计算结果为y^′(i),y^″(i)，安全ReLU协议SR计算结果为sr^′(i),sr^″(i)，协议迭代计算输出生成图像f′,f″。

进一步地，所述SD-BP为判别模型反向传播协议，具体为：

步骤S11：安全损失函数反向传播：假设生成模型SG的参数固定，使用随机梯度下降算法SGD计算判别模型SD损失函数的梯度；分别从真实数据和随机噪声数据中取m个样本，其中，样本的秘密分享x^′(i),z^′(i)和x^″(i),z^″(i)，分别发送给第一边缘服务器S₁和第二边缘服务器S₂，i＝1,...,m；损失函数的偏导数由

表示，则SD通过使用安全倒数协议SecInv安全地计算损失函数的偏导数，公式如下：

步骤S12：安全激活层反向传播：判别模型SD中，设安全激活函数SLR的偏导数由δ_SLR表示，则SLR的偏导数使用安全比较协议SecCmp计算，α为非零参数，如下：

步骤S13：安全批量规范化层反向传播：设

分别为

的偏导数，

分别为安全批量规范化协议SecBN计算的中间结果，设梯度的符号为

则参数γ和β的安全梯度计算如下：

其中，

由于参数γ和β为公开参数，计算梯度之后，S₁将

发送给S₂，同时，S₂将

发送给S₁，用于恢复公开参数；假设学习率为η_B，γ和β使用如下算法更新：

协议主要计算规范化中输入参数x_i的偏导数

设

t_i＝x-μ_B是安全前向计算的中间结果，安全反向传播协议利用中间变量I_i＝I′_i+I_i″，i＝1,...,m简化反向计算过程，计算过程如下：

(b′_i,b″_i)←SSq(φ′_i,φ″_i)；(c′_i,c″_i)←SecMul(b_i,φ_i)；

之后，输入x_i的偏导数

由以下算法计算：

步骤S14：安全卷积层反向传播：假设卷积层的学习率为η_C，

表示网络模型中第(i,j)个神经元的偏导数，S₁和S₂协同执行以下协议计算权重ω和偏置值b的梯度

并且更新原始参数：

进一步地，所述SG-BP为生成模型反向传播协议，因部分协议和SD-BP基本相同，故此处只给出生成模型中不同的两种安全反向传播计算，具体为：

步骤S21：安全损失函数反向传播：SG-BP中，安全损失函数的反向传播协议如下：

步骤S22：安全激活层反向传播：设δ_SR表示安全ReLU算法SR的偏导数，SR的安全偏导数计算算法如下：

与现有技术相比，本发明有以下有益效果：

1、本发明采用边缘计算，设计了一系列基于秘密共享的协议，用于保护DCGAN模型训练和图像生成过程中数据和关键模型参数的隐私，该安全计算由两个边缘服务器交互执行，***无需第三方完全可信的实体，并且协议执行期间，用户不需要与服务器交互。

2、针对隐私保护机器学习计算效率低和通信开销大的问题，本发明提供了更高效，通信开销更低的隐私保护基础计算协议。同时，基于秘密分享设计，完全避免了差分隐私方案引起的误差问题，提供了高精度的计算，缓解了深度网络模型中的误差传递问题。

3、本发明针对复杂的DCGAN结构，提出了安全生成模型(SG)和安全鉴别模型(SD)，并构建了安全前向传播协议，用于安全地判断图像的真假和生成图像；设计了安全反向传播协议，用于安全地训练、更新模型参数，整个过程中能够保证用户的数据和模型的双重隐私。

附图说明

图1为本发明实施例的***架构示意图。

图2为本发明实施例的DCGAN结构。

图3为本发明实施例的软件框架示意图

图4为本发明实施例的安全判别模型、安全生成模型架构。

图5为本发明实施例的安全比较协议计算逻辑示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1以及图3所示，本实施例提供了一种轻量级隐私保护生成对抗网络***，实体包括数据提供者DS、服务提供者SP、第一边缘服务器S₁以及第二边缘服务器S₂，软件包括DCGAN神经网络；所述DCGAN神经网络包括生成模型SG以及判别模型SD；

所述数据提供者DS拥有训练图像数据(可能包含敏感信息)，并为DCGAN神经网络的训练提供初始参数；为了保护图像数据I和模型参数P的隐私，DS在本地将其随机拆分为两组秘密共享数据I′，I″和P′，P″，然后，DS将其分别发送给第一边缘服务器S₁和第二边缘服务器S₂；同时，DS负责生成随机值以满***互式安全协议的需求，这些随机值可以离线生成，之后在在线计算阶段使用；

所述第一边缘服务器S₁与第二边缘服务器S₂负责执行交互式的安全计算协议；S₁和S₂分别从数据提供者处获得秘密共享I′，P′和I″，P″作为输入，并运行具有隐私保护的训练、生成过程，之后S₁和S₂分别返回训练后的隐私保护参数P′，P″和生成的图像O′，O″，并发送给服务提供者SP；

服务提供者SP接收S₁和S₂产生的秘密共享，并恢复DCGAN的明文训练参数P和明文的生成图像O。

本发明提出的方法，即使恶意敌手

能够攻击一台服务器S₁(无法同时成功攻击两台服务器)，

依旧不能恢复原始明文数据，因为S₁持有的数据均为无意义的随机秘密分享。训练过程完成后，服务提供者(SP)可以从S₁和S₂获得训练后的模型参数和合成图像的秘密分享，并使用加法恢复出原始数据。如图3所示，本发明的软件***由两个模型组成：安全判别模型(Secure Discriminator，SD)和安全生成模型(Secure Generator，SG)。通过提供真实图像或生成图像，SD用于预测输入数据是真实的还是生成的。输入随机噪声，SG能够生成图像。为了生成接近真实的图像，LP-GAN采用DCGAN的结构来构建SD和SG。如图4所示：为了训练SD和SG，本实施例提出了安全前向传播算法(SD-FP协议8，SG-FP协议9)和安全反向传播算法(SD-BP、SG-BP)用于保护前向、反向传播计算中的数据和模型隐私。

在本实施例中，如图2以及图4所示，所述生成模型SG包括反卷积层、批处理归一化层、ReLU层和全连接层；所述判别模型SD包括卷积层，批处理归一化层，LeakyReLU层和全连接层；

其中，卷积层、反卷积层：卷积神经网络中，卷积运算通常用于从输入数据中提取特征。假设输入数据(矩阵)为

卷积核的大小为n×n。神经元具有相同的权重w_lm(l,m＝0,1,...,n-1)和偏置值b，模型中第(i,j)个神经元的卷积输出为

反卷积的计算类似于卷积，不同之处在于，输入矩阵X的大小需要通过填充多个0值来满足输出矩阵的需求。批处理归一化层：批量归一化操作通过调整和缩放对输入数据进行归一化处理，将神经元的激活值分布稳定为正态分布。假设输入数据为{x_i}_i∈[1,m]，批量大小为m，可以通过以下几个步骤计算批量归一化。首先，计算输入的平均值

和方差

然后，将输入数据归一化为

其中ε是极小量用于防止分母为0。最后，计算

其中γ和β是缩放和移位参数。激活层：激活函数将非线性单元引入神经网络。在生成模型G中，神经元利用ReLU函数(f(x)＝max(0,x))作为激活函数。在判别模型D中，使用LeakyReLU(f(x)＝max(x,αx),α∈(0,1))作为激活函数。全连接层：全连接的层中的神经元将前一层中的所有神经元连接起来，用于合并上层神经元中提取的特征。假设x_k为上一层中第k个神经元的输入数据，ω_ik表示连接上一层第k个神经元和当前层第i个神经元的权重，b_i表示当前层中第i个神经元的偏置值。全连接层中第i个神经元的输出为

较佳的，本实施例还提供了基于秘密分享的协议以及安全基础计算协议。具体如下：

基于秘密分享的协议采用秘密分享方案执行安全基础计算，本实施例的***模型基于两方计算(2PC)，协议由两台服务器S₁和S₂共同运行，同时需要预先生成多组随机数用于协议计算。符号A′和A″表示分配给两台服务器S₁和S₂的秘密分享(其中，A＝A′+A″)。

安全加法协议：给定输入

安全加法协议SecAdd在S₁输出f₁，在S₂输出f₂，其中f₁+f₂＝u+v。在此过程中，两台服务器仅在本地执行计算，无需交互。

安全乘法协议：安全乘法协议SecMul基于Beaver’s triplet方案。给定输入

SecMul在S₁输出f₁，在S₂输出f₂，并且f₁+f₂＝u·v。在此过程中，将生成三个随机数(a,b,c)用于保证在计算过程中没有信息泄漏。

安全自然对数协议：安全自然对数协议SecLog基于麦克劳林公式，迭代地自然对数f(u)＝ln(u)的近似结果。给定输入

SecLog在S₁输出f₁，在S₂输出f₂，当迭代达到预定义精度时，计算结果满足f₁+f₂≈ln(u)。

安全倒数协议：安全倒数协议SecInv基于牛顿-拉普拉斯计算方案。给定输入

中SecInv输出f(u)＝1/u的近似结果。当达到预定义的精度时，SecInv终止迭代过程并在S₁输出f₁，在S₂输出f₂，其中f₁+f₂≈1/u。

基于秘密分享的协议仅适用于整数范围，但是机器学习过程中涉及的实数计算不能直接采用秘密共享的协议进行处理，因此，本发明的计算中首先将实数转换为整数形式，再执行安全协议。实数

可以用定点数形式表示为

其中

是整数部分，

是小数部分。本发明中，仅整数部分x参与协议计算，同时将ε固定为一个合适的值，以满足精度要求，通过选择较大ε的可以实现更高的精度管理。

安全异或协议(Secure XOR,SecXor)，用于计算比特数据的异或运算结果。输入

(u＝u₁+u₂，v＝v₁+v₂)，其中S₁输入u₁,v₁，S₂输入u₂,v₂。执行SecXor协议后，S₁输出

S₂输出

并保证

协议中，S_i(i∈(1,2))分别计算f_i＝(u_i+v_i)mod2，经推导可得：

安全或协议(SecureOR,SecOr)，用于计算比特的或运算结果。输入

(u＝u₁+u₂，v＝v₁+v₂)，执行SecOr协议(如协议1)后，S₁输出

S₂输出

并且

其中S₁和S₂使用安全乘法协议SecMul联合计算-u·v。

安全最重要比特协议(Secure Most Significant Bit，SecMSB)是安全比较协议的子协议。输入二进制比特序列[u_l-1,...,u₀]的秘密分享，SecMSB协议(如协议2)输出一个序列[f_l-1,...,f₀]，用于定位输入序列中最高的比特数字“1”的位置。假设j表示最高位的u_j＝1的索引，则输出中f_j＝1，其余位的值都为0。此外，SecMSB额外输出一个比特位ζ，若输入[u_l-1,...,u₀]中所有的比特均为0，则ζ＝0，否则ζ＝1。

SecMSB的算法流程如下：首先数据提供者DS生成两个随机数t′_l和t″_l(满足t′_l+t″_l＝1)，并将随机数发送给边缘服务器S₁和S₂；然后，S₁和S₂执行安全乘法协议SecMul计算一个序列[t′_l,...,t′₀]，[t″_l,...,t″₀](t_i＝t′_i+t″_i)，此序列定位了输入[u_l-1,...,u₀]的最高比特位为1的比特位置j，其中[t_l,...,t_j+1]＝[1,....,1]，且[t_j,...,t₀]＝[0,....,0]；然后S₁和S₂分别计算f_i′＝t′_i+1-t′_i，f_i″＝t″_i+1-t″_i，序列[f_l-1,...,f₀]中，除了最高位j位置为1的f_j＝1，其余所有比特位均为0。为了确定输入的序列是否全为0，S₁和S₂额外计算一个标志位ζ，

并且

当输入全为0时，ζ＝0，否则，ζ＝1。

例如，若输入[u_l-1,...,u₀]＝[00011010]，SecMSB计算得j＝4，[t_l,...,t₀]＝[11100000]，并输出[f_l-1,...,f₀]＝[00000000]和ζ＝1。若输入[u_l-1,...,u₀]＝[00000000]，SecMSB计算得[t_l,...,t₀]＝[11111111]，并输出[f_l-1,...,f₀]＝[00000000]和ζ＝0。

安全比较协议(Secure Comparison，SecCmp)比较两个输入

的大小，若u＞v，SecCmp协议(如协议3)输出1，若u≤v，协议输出0。由于S₁和S₂分别输入u₁,v₁和u₂,v₂，为了方便比较，此处将问题转换为比较a＝u₁-v₁和b＝u₂-v₂，可以推得，若a＞b，则u＞v，否则u≤v。

由于SecCmp协议采用基于比特位的比较方法，协议首先使用一种比特分解方法DFC(data format conversion)，该方法将整数

分解为l位长度的二进制比特序列格式[u_l-1,...,u₀]。将|u|＝[0,2^l-1-1]分解为比特序列[u_l-2,...,u₀]，最高比特位u_l-1表示符号位，若u＜0，u_l-1＝1，否则，u_l-1＝0。定义

是u的无符号整数值。

SecCmp协议流程如下：

(1)协议首先计算a＝u₁-v₁和b＝u₂-v₂的二进制比特序列表示。然后协议比较两个无符号整数

和

(2)为了实现比较计算，S₁和S₂首先调用SecXor协议计算[a_l-1,...,a₀]和[b_l-1,...,b₀]中不同的比特位，输出

(3)为了定位[c_l-1,...,c₀]中最高位为1的比特的位置，S₁和S₂交互运行SecMSB协议计算序列[d′_l-1,...,d′₀]和序列[d″_l-1,...,d″₀](d_i＝d′_i+d′_i)。若a^*≠b^*，[d_l-1,...,d₀]中只有一个比特d_j＝1，j表示两个数从高位到低位第一个不同比特的标识；若a^*＝b^*，[d_l-1,...,d₀]中所有比特均为0。

(4)S₁和S₂执行安全乘法协议SecMul计算e_i＝a_i·d_i，并分别计算

用于比较a^*和b^*的大小，若a^*＞b^*，则ξ＝1，否则ξ＝0。SecMSB额外计算标识符ζ，用于确定a^*是否等于b^*，若a^*＝b^*，则ζ＝0，否则ζ＝1。

(5)然后，S₁和S₂执行SecOr协议计算ι＝a_l-1∨b_l-1，用于判断a,b的正负，若a≥0，b≥0，则ι＝0，否则ι＝1。

(6)当a≠b时，S₁和S₂计算

的结果可以比较a,b的大小。

(7)当a＝b＜0时，ν的结果不符合预期，边缘服务器需要进一步计算f＝ν·ζ以获取正确的比较结果。

SecCmp协议的计算逻辑如图5所示。假设SecCmp的输入为u₁＝-1030，u₂＝583，v₁＝-929，v₂＝551(其中，u＝u₁+u₂＝-447，v＝v₁+v₂＝-378)，可得a＝u₁-v₁＝-101，b＝v₂-u₂＝-32；根据DFC协议，a,b的有符号数二进制表示分别为[a_l-1,...,a₀]＝[11100101]，[b_l-1,...,b₀]＝[10100000]；由于a＜0，b＜0，且a^*＞b^*，可以推导出ι＝1，ξ＝1，

算法引入变量ζ片段a＝b的情况，由上可得a≠b，因此ζ＝1。最终结果计算为f＝ν·ζ＝0·1＝0，结果表示a≤b，即u≤v，这和明文数据比较结果相同。

安全平方根协议(Secure Square Root Protocol，SSqrt)，用于计算

协议基于一种快速平方根计算方法——Goldschmidt算法，和牛顿-辛普森算法相比，该方案收敛更快并且可以在相同时间内达到更高的精度。Goldschmidt算法流程如下：

(1)初始化阶段：算法初始化g和h两个迭代参数，g表示

的近似迭代值，h表示

的近似迭代值，其中g₀＝uy₀，h₀＝1/2y₀，y₀是

的初始近似值，y₀可以使用线性公式y₀＝αu+β计算近似值，其中α＝-0.8099868542和β＝1.787727479是常数。

(2)迭代计算阶段：算法根据以下迭代公式计算平方根：

安全范围转换协议(Secure Range Conversion，SRC)是安全平方根协议的子协议，用于将整数转换成底数和指数的形式，并将底数转换到特定的范围中。为了快速计算平方根，输入数据需要被转换到区间[1/2,1)当中。假设2^p-1≤u＜2^p，SRC协议(协议4)将u转换到区间1/2≤u·2^-p＜1；输入

S₁和S₂协同计算将其转换为u₁＝m₁·2^p，u₂＝m₂·2^p。SRC协议流程入下：

(1)S₁和S₂分别在本地计算

并将a_i随机分成两个随机秘密分享a_i′和a″_i，并且保证a_i∈[1/4,1/2)(i∈{1,2})。

(2)S₁和将a″₁和p₁发送给S₂，S₂将a′₂和p₂发送给S₁。

(3)S₁和S₂分别取p₁,p₂中大的值，并分别计算

和

可以推导出，u＝m₁·2^p+m₂·2^p＝m·2^p。

安全平方根协议(Improved Secure Square Root，SSqrt)，对比现有方案，该协议在相同安全性的前提下，提高了收敛速度，在相同时间消耗条件下，可以得到更高的计算精度。协议分为三个阶段，初始化阶段，迭代阶段，结果转换阶段。SSqrt协议(协议5)流程如下：

(1)初始化阶段：S₁和S₂交互生成初始参数g₀和h₀。首先S₁和S₂执行SRC协议计算m₁,m₂,p，保证u₁＝m₁·2^p，u₂＝m₂·2^p；然后，S₁和S₂分别计算y′₀ ′←αm₁+β，h′₀←1/2(αm₁+β)，y″₀←αm₂，h″₀←1/2(αm₂)初始化参数y₀和g₀；最后，S₁和S₂调用SecMul协议计算g₀←my₀。

(2)迭代阶段：给定u＝m·2_p，此阶段中，S₁和S₂交互地迭代计算

和

当迭代参数i＜τ时，S₁和S₂共同计算3/2-g_ih_i；第10行中，边缘服务器执行SecMul协议计算迭代结果g_i+1＝g_i(3/2-g_ih_i)和h_i+1＝h_i(3/2-g_ih_i)，其中，g_i+1和h_i+1的计算可以并行执行；迭代结束后，输出值g_i为

的近似值，h_i为

的近似值。

(3)结果转换阶段：协议的目标是计算

和

的计算关系如下：

若p为偶数，设置a＝1；若p为奇数，设置

并计算

最终可以计算出

安全平方根倒数协议：由于GAN框架中批量规范化操作需要计算

本发明设计一种安全平方根倒数协议(Secure Inverse Square Root Computation，SISqrt)。在SSqrt协议(协议5)中，h_i迭代计算

的值，SISqrt协议基于SSqrt构造，只需要将协议5中的第14-15行替换为

和

通过推导可得：

安全平方协议(Secure Square Protocol,SSq)：输入

SSq(协议6)计算f(u)＝u²。SSq计算流程如下：

(1)输入

S₁和S₂调用SecMul协议计算2u₁v₁。

(2)S_i计算

每个层中均包括安全计算协议，具体如下：

其中，在卷积层中，假设x_ij是卷积计算输入矩阵X第i行、第j列的元素；ω和b分别是n×n大小的卷积核的权重和偏移量；为了保护训练数据的隐私，首先将X随机分为两个随机秘密分享X′和X″，X＝X′+X″，其中x_ij被分为两个随机值x′_ij和x″_ij，同时，将权重和偏移量分为两组随机秘密分享(ω′_lm,ω″_lm)和(b′,b″)，其中ω_lm＝ω′_lm+ω″_lm，b＝b′+b″；安全卷积协议SecConv计算如下：S₁和S₂共同计算：(a′_lm,a″_lm)←SecMul(ω_lm,x_i+l,j+m)；S₁计算c′_ij，S₂计算c″_ij：

其中，在反卷积层中，安全反卷积协议SecDeConv的计算和SecConv相同，不同点在于反卷积计算的输入图像中需要填充多个0以满足输出矩阵大小；

其中，在批处理归一化层中采用安全批量规范化协议SecBN，设输入为x_i，x_i＝x′_i+x″_i，批量大小为m，协议流程如下：S₁和S₂分别计算批量均值：

S₁和S₂共同计算批量方差：(a′_i,a″_i)←SSq(x_i-μ_B)，

S₁和S₂共同计算规范化值

首先调用SISqrt协议计算

其中，ε是常数，用于确保数值稳定性，用t_i＝x_i-μ_B表示标准差，调用安全乘法协议SecMul计算出

假设缩放、偏移参数γ，β为全局参数公开可知，前向传播时为定值，反向传播时更新，S₁和S₂分别计算规范化输出

为：

其中，在ReLU层中，采用SR协议，激活层为神经网络提供非线性计算，本发明设计两种安全激活协议，分别为安全ReLU协议(SecureReLU，SR)和安全LeakyReLU协议(SecureLeakyReLU，SLR)。设输入为x，S₁和S₂共同执行安全比较协议SecCmp判断x是否大于0，若SecCmp(x,0)＝1，即x＞0，则SR(x)＝x，否则SR(x)＝0。对于第(i,j)个神经元，SR流程如下：S₁和S₂分别计算SR(x′_ij)和SR(x″_ij)：

ReLU函数的缺点是函数只能在x＞0时学习到梯度，为解决这个问题，LeakyReLU在计算x≤0的情况时引入非零常量α∈(0,1)，对于第(i,j)个神经元，采用SLR协议，其流程如下：S₁和S₂分别计算SLR(x′_ij)和SLR(x″_ij)：

其中α∈(0,1)为非零常量；

其中，在全连接层中，全连接层中的神经元和上一层的所有神经元相连，采用安全全连接协议SecFC，设全连接层的输入为第k层的输出x_k，ω_ik表示当前层第i个神经元和前一层第k个神经元的连接权重，b_i表示当前层第i个神经元的偏移量，SecFC协议流程如下：S₁和S₂共同计算：(a′_ik,a″_ik)←SecMul(ω_ik,x_k)，f′_i＝∑_k a′_ik+b_i′，f_i″＝∑_k a″_ik+b_i″。

上述上标’与”分别表示由无上标的数据拆分得到的两个数据。

在本实施例中，所述运行具有隐私保护的训练、生成过程具体包括以下步骤：

步骤S1：数据提供者DS生成SD和SG的模型参数θ_d和θ_g，并分别将其预处理拆分成两组秘密分享数据，分别发送给第一边缘服务器S₁和第二边缘服务器S₂；

步骤S2：训练判别模型SD：DS分别取m个随机噪声样本z和真实图像样本x，分别预处理拆分成两组数据秘密分享发送给S₁和S₂；对于输入的噪声样本，S₁和S₂执行安全生成模型前向传播协议SG-FP生成图像

对于每个输入数据，S₁和S₂执行安全前向传播协议SD-FP和SG-FP，计算SD的损失函数

S₁和S₂执行安全反向传播协议SD-BP更新SD的参数；

步骤S3：训练生成模型SG：DS取m个随机噪声样本z做预处理拆分成两组数据并分别秘密分享发送给S₁和S₂；对于输入的噪声样本，S₁和S₂执行生成模型前向传播协议SG-FP生成图像

对于每张生成图像，S₁和S₂执行安全前向传播协议SG-FP，用于计算SG的损失函数

S₁和S₂执行安全反向传播协议SG-BP更新SG的参数；

步骤S4：第一边缘服务器S₁和第二边缘服务器S₂分别返回训练后的模型参数的秘密共享给服务提供者SP。

其中，上述训练步骤的具体算法如协议7，设判别模型的参数为θ_d，生成模型的参数为θ_g；随机噪声样本为z，真实图像样本为x，生成图像为

安全判别模型SD的学习率为η_d，安全生成模型SG的学习率为η_g，批量大小为m，训练样本总量为M，模型训练轮数分别为N_d和N_g，安全判别模型SD的前向传播和反向传播协议分别为SD-FP，SD-BP，安全生成模型SG前向传播和反向传播协议分别为SG-FP，SG-BP。

本实施例提出两种安全前向传播协议：安全判别模型前向传播协议(Secure SDForward Propagation，SD-FP)，安全生成模型前向传播协议(Secure SG ForwardPropagation，SG-FP)，用于完成模型前向传播的安全计算。同时，本发明为模型中不同层分别设计了安全计算协议，包括卷积层，激活层，批量规范化层，全连接层等(如上文中描述)。协议中，超参数和常数是明文形式，其他数据均为随机秘密共享，用于保护训练图像和模型的隐私。

在本实施例中，所述SD-FP为判别模型的前向传播协议，具体为：设判别模型的输入为图像的秘密分享I′,I″，其中，第一边缘服务器S₁输入I′，第二边缘服务器S₂输入I″，模型的第i层中，安全卷积计算协议SecConv的结果为c^′(i),c^″(i)，安全批量规范化协议SecBN的计算结果为y^′(i),y^″(i)，安全LeakyReLU函数计算结果为slr^′(i),slr^″(i)，最后，协议调用安全全连接协议SecFC输出对图像的判别结果f′,f″。如协议8所示。

在本实施例中，所述SG-FP为生成模型的前向传播协议，具体为：设生成模型的输入为噪声图像的秘密分享Z′,Z″，第一边缘服务器S₁输入Z′，第二边缘服务器S₂输入Z″，模型的第i层中，安全反卷积协议SecDeConv计算结果为c^′(i),c^″(i)，安全批量规范化协议SecBN计算结果为y^′(i),y^″(i)，安全ReLU协议SR计算结果为sr^′(i),sr^″(i)，协议迭代计算输出生成图像f′,f″。如协议9所示。

在本实施例中，所述SD-BP为判别模型反向传播协议，具体为：

步骤S11：安全损失函数反向传播：假设生成模型SG的参数固定，使用随机梯度下降算法SGD计算判别模型SD损失函数的梯度；分别从真实数据和随机噪声数据中取m个样本，其中，样本的秘密分享x^′(i),z^′(i)和x^″(i),z^″(i)，分别发送给第一边缘服务器S₁和第二边缘服务器S₂，i＝1,...,m；损失函数的偏导数由

表示，则SD通过使用安全倒数协议SecInv安全地计算损失函数的偏导数，公式如下：

步骤S12：安全激活层反向传播：判别模型SD中，设安全激活函数SLR的偏导数由δ_SLR表示，则SLR的偏导数使用安全比较协议SecCmp计算，α为非零参数，如下：

步骤S13：安全批量规范化层反向传播：设

分别为

的偏导数，

分别为安全批量规范化协议SecBN计算的中间结果，设梯度的符号为

则参数γ和β的安全梯度计算如下：

其中，

由于参数γ和β为公开参数，计算梯度之后，S₁将

发送给S₂，同时，S₂将

发送给S₁，用于恢复公开参数；假设学习率为η_B，γ和β使用如下算法更新：

协议主要计算规范化中输入参数x_i的偏导数

设

t_i＝x-μ_B是安全前向计算的中间结果，安全反向传播协议利用中间变量I_i＝I′_i+I″_i，i＝1,...,m简化反向计算过程，计算过程如下：

(b′_i,b″_i)←SSq(φ′_i,φ″_i)；(c′_i,c″_i)←SecMul(b_i,φ_i)；

之后，输入x_i的偏导数

由以下算法计算：

步骤S14：安全卷积层反向传播：假设卷积层的学习率为η_C，

表示网络模型中第(i,j)个神经元的偏导数，S₁和S₂协同执行以下协议计算权重ω和偏置值b的梯度

并且更新原始参数：

在本实施例中，所述SG-BP为生成模型反向传播协议，因部分协议和SD-BP基本相同，故此处只给出生成模型中不同的两种安全反向传播计算，具体为：

步骤S21：安全损失函数反向传播：SG-BP中，安全损失函数的反向传播协议如下：

步骤S22：安全激活层反向传播：设δ_SR表示安全ReLU算法SR的偏导数，SR的安全偏导数计算算法如下：

综上，本实施例支持采用边缘服务器交互执行安全计算协议，并且无需完全可信的第三方实体，***保证用于在***露训练数据、模型参数的条件下安全地完成机器学习计算，并且协议执行期间，用户不需要与服务器交互。其次，本框架提供高效、低通信消耗、高精度的基础计算协议，降低了复杂GAN模型训练、预测计算的执行时间和数据传输量，并缓解了误差传递问题，在保护数据隐私同时提高了***的实用性。第三，本框架支持GAN网络的安全图像生成，安全图像真伪预测等功能。第四，本框架提供GAN模型的安全训练方案，能够在边缘服务器完成隐私保护下的模型参数更新。最后，用于机器学习的训练数据集和模型参数均对边缘服务器保密，实现了更好的隐私保护。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.一种轻量级隐私保护生成对抗网络***，其特征在于，实体包括数据提供者DS、服务提供者SP、第一边缘服务器S₁以及第二边缘服务器S₂，软件包括LP-GAN安全计算框架；所述LP-GAN安全计算框架包括安全生成模型SG以及安全判别模型SD；

所述数据提供者DS拥有训练图像数据，并为DCGAN神经网络的训练提供初始参数；为了保护图像数据I和模型参数P的隐私，DS在本地将其随机拆分为两组秘密共享数据I′，I″和P′，P″，然后，DS将其分别发送给第一边缘服务器S₁和第二边缘服务器S₂；同时，DS负责生成随机值以满***互式安全协议的需求；

所述第一边缘服务器S₁与第二边缘服务器S₂负责执行交互式的安全计算协议；S₁和S₂分别从数据提供者处获得秘密共享数据I′，P′和I″，P″作为输入，并运行具有隐私保护的训练、生成协议，之后S₁和S₂分别返回训练后的隐私保护参数P′，P″和生成的图像O′，O″，并发送给服务提供者SP；

服务提供者SP接收S₁和S₂产生的秘密共享，并恢复DCGAN的明文训练参数P和明文的生成图像O。

2.根据权利要求1所述的一种轻量级隐私保护生成对抗网络***，其特征在于，所述安全生成模型SG包括反卷积层、批处理归一化层、ReLU层和全连接层；所述安全判别模型SD包括卷积层，批处理归一化层，LeakyReLU层和全连接层；每个层中均包括安全计算协议，具体如下：

其中，在卷积层中，假设x_ij是卷积计算输入矩阵X第i行、第j列的元素；ω和b分别是n×n大小的卷积核的权重和偏移量；为了保护训练数据的隐私，首先将X随机分为两个随机秘密分享X′和X″，X＝X′+X″，其中x_ij被分为两个随机值x′_ij和x″_ij，同时，将权重和偏移量分为两组随机秘密分享(ω′_lm,ω″_lm)和(b′,b″)，其中ω_lm＝ω′_lm+ω″_lm，b＝b′+b″；安全卷积协议SecConv计算如下：S₁和S₂共同计算：(a′_lm,a″_lm)←SecMul(ω_lm,x_i+l,j+m)；S₁计算c′_ij，S₂计算c″_ij：

其中，在反卷积层中，安全反卷积协议SecDeConv的计算和SecConv相同，不同点在于反卷积计算的输入图像中需要填充多个0以满足输出矩阵大小；

其中，在批处理归一化层中采用安全批量规范化协议SecBN，设输入为x_i，x_i＝x′_i+x″_i，批量大小为m，协议流程如下：S₁和S₂分别计算批量均值：

S₁和S₂共同计算批量方差：(a′_i,a″_i)←SSq(x_i-μ_B)，

S₁和S₂共同计算规范化值

首先调用SISqrt协议计算

其中，ε是常数，用于确保数值稳定性，用t_i＝x_i-μ_B表示标准差，调用安全乘法协议SecMul计算出

假设缩放、偏移参数γ，β为全局参数公开可知，前向传播时为定值，反向传播时更新，S₁和S₂分别计算规范化输出

为：

其中，在ReLU层中，采用SR协议，其流程如下：S₁和S₂分别计算SR(x′_ij)和SR(x″_ij)：

其中，在LeakyReLU层中，采用SLR协议，其流程如下：S₁和S₂分别计算SLR(x′_ij)和SLR(x″_ij)：

其中α∈(0,1)为非零常量；

其中，在全连接层中，采用安全全连接协议SecFC，设全连接层的输入为第k层的输出x_k，ω_ik表示当前层第i个神经元和前一层第k个神经元的连接权重，b_i表示当前层第i个神经元的偏移量，SecFC协议流程如下：S₁和S₂共同计算：(a′_ik,a″_ik)←SecMul(ω_ik,x_k)，f_i′＝∑_ka′_ik+b_i′，f_i″＝∑_ka″_ik+b_i″。

上述上标’与”分别表示由无上标的数据拆分得到的两个数据。

3.根据权利要求2所述的一种轻量级隐私保护生成对抗网络***，其特征在于，所述运行具有隐私保护的训练、生成过程具体包括以下步骤：

步骤S1：数据提供者DS生成SD和SG的模型参数θ_d和θ_g，并分别将其预处理拆分成两组秘密分享数据，分别发送给第一边缘服务器S₁和第二边缘服务器S₂；

步骤S2：训练判别模型SD：DS分别取m个随机噪声样本z和真实图像样本x，分别预处理拆分成两组数据秘密分享发送给S₁和S₂；对于输入的噪声样本，S₁和S₂执行安全生成模型前向传播协议SG-FP生成图像

对于每个输入数据，S₁和S₂执行安全前向传播协议SD-FP和SG-FP，计算SD的损失函数

S₁和S₂执行安全反向传播协议SD-BP更新SD的参数；

步骤S3：训练生成模型SG：DS取m个随机噪声样本z做预处理拆分成两组数据并分别秘密分享发送给S₁和S₂；对于输入的噪声样本，S₁和S₂执行生成模型前向传播协议SG-FP生成图像

对于每张生成图像，S₁和S₂执行安全前向传播协议SG-FP，用于计算SG的损失函数

S₁和S₂执行安全反向传播协议SG-BP更新SG的参数；

步骤S4：第一边缘服务器S₁和第二边缘服务器S₂分别返回训练后的模型参数的秘密共享给服务提供者SP。

4.根据权利要求3所述的一种轻量级隐私保护生成对抗网络***，其特征在于，所述SD-FP为判别模型的前向传播协议，具体为：设判别模型的输入为图像的秘密分享I′,I″，其中，第一边缘服务器S₁输入I′，第二边缘服务器S₂输入I″，模型的第i层中，安全卷积计算协议SecConv的结果为c^′(i),c″⁽ⁱ⁾，安全批量规范化协议SecBN的计算结果为y′⁽ⁱ⁾,y″⁽ⁱ⁾，安全LeakyReLU函数计算结果为slr′⁽ⁱ⁾,slr″⁽ⁱ⁾，最后，协议调用安全全连接协议SecFC输出对图像的判别结果f′,f″。

5.根据权利要求3所述的一种轻量级隐私保护生成对抗网络***，其特征在于，所述SG-FP为生成模型的前向传播协议，具体为：设生成模型的输入为噪声图像的秘密分享Z′,Z″，第一边缘服务器S₁输入Z′，第二边缘服务器S₂输入Z″，模型的第i层中，安全反卷积协议SecDeConv计算结果为c′⁽ⁱ⁾,c″⁽ⁱ⁾，安全批量规范化协议SecBN计算结果为y′⁽ⁱ⁾,y″⁽ⁱ⁾，安全ReLU协议SR计算结果为sr′⁽ⁱ⁾,sr″⁽ⁱ⁾，协议迭代计算输出生成图像f′,f″。

6.根据权利要求3所述的一种轻量级隐私保护生成对抗网络***，其特征在于，所述SD-BP为判别模型反向传播协议，具体为：

步骤S11：安全损失函数反向传播：假设生成模型SG的参数固定，使用随机梯度下降算法SGD计算判别模型SD损失函数的梯度；分别从真实数据和随机噪声数据中取m个样本，其中，样本的秘密分享x′⁽ⁱ⁾,z′⁽ⁱ⁾和x″⁽ⁱ⁾,z″⁽ⁱ⁾，分别发送给第一边缘服务器S₁和第二边缘服务器S₂，i＝1,...,m；损失函数的偏导数由

表示，则SD通过使用安全倒数协议SecInv安全地计算损失函数的偏导数，公式如下：

步骤S12：安全激活层反向传播：判别模型SD中，设安全激活函数SLR的偏导数由δ_SLR表示，则SLR的偏导数使用安全比较协议SecCmp计算，α为非零参数，如下：

步骤S13：安全批量规范化层反向传播：设

分别为x_i,y_i,

的偏导数，x_i,y_i,

分别为安全批量规范化协议SecBN计算的中间结果，设梯度的符号为▽，则参数γ和β的安全梯度计算如下：

其中，

由于参数γ和β为公开参数，计算梯度之后，S₁将▽γ′，▽β′发送给S₂，同时，S₂将▽γ″，▽β″发送给S₁，用于恢复公开参数；假设学习率为η_B，γ和β使用如下算法更新：γ_new＝γ-η_B·▽γ，β_new＝β-η_B·▽β；协议主要计算规范化中输入参数x_i的偏导数

设

t_i＝x-μ_B是安全前向计算的中间结果，安全反向传播协议利用中间变量I_i＝I_i′+I_i″，i＝1,...,m简化反向计算过程，计算过程如下：

(b_i′,b″_i)←SSq(φ′_i,φ″_i)；(c′_i,c″_i)←SecMul(b_i,φ_i)；

之后，输入x_i的偏导数

由以下算法计算：

步骤S14：安全卷积层反向传播：假设卷积层的学习率为η_C，

表示网络模型中第(i,j)个神经元的偏导数，S₁和S₂协同执行以下协议计算权重ω和偏置值b的梯度▽ω＝▽ω′+▽ω″，▽b＝▽b′+▽b″，并且更新原始参数：

ω′_lm(new)＝ω′_lm-η_C·▽ω′_lm；ω″_lm(new)＝ω″_lm-η_C·▽ω″_lm；b′_(new)＝b′-η_C·▽b′；b″_(new)＝b″-η_C·▽b″。

7.根据权利要求3所述的一种轻量级隐私保护生成对抗网络***，其特征在于，所述SG-BP为生成模型反向传播协议，因部分协议和SD-BP基本相同，故此处只给出生成模型中不同的两种安全反向传播计算，具体为：

步骤S21：安全损失函数反向传播：SG-BP中，安全损失函数的反向传播协议如下：

步骤S22：安全激活层反向传播：设δ_SR表示安全ReLU算法SR的偏导数，SR的安全偏导数计算算法如下：

Images