CN111859267B - 基于bgw协议的隐私保护机器学习激活函数的运算方法 - Google Patents

基于bgw协议的隐私保护机器学习激活函数的运算方法 Download PDF

Info

Publication number
CN111859267B
CN111859267B CN202010571112.8A CN202010571112A CN111859267B CN 111859267 B CN111859267 B CN 111859267B CN 202010571112 A CN202010571112 A CN 202010571112A CN 111859267 B CN111859267 B CN 111859267B
Authority
CN
China
Prior art keywords
function
machine learning
sigmoid
value
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010571112.8A
Other languages
English (en)
Other versions
CN111859267A (zh
Inventor
韩伟力
汤定一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202010571112.8A priority Critical patent/CN111859267B/zh
Publication of CN111859267A publication Critical patent/CN111859267A/zh
Application granted granted Critical
Publication of CN111859267B publication Critical patent/CN111859267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于网络空间安全领域，具体为一种基于BGW协议的隐私保护机器学习激活函数的运算方法。本发明将安全多方计算协议与机器学习激活函数结合，以提供安全高效的机器学习激活函数为目标，实现了基于BGW协议的机器学习激活函数。安全多方计算友好的机器学习激活函数可以是安全ReLU函数或安全Sigmoid函数。本发明可用于基于安全多方计算协议的机器学习模型或框架实现相关激活函数，而不会泄露中间过程信息。

Description

基于BGW协议的隐私保护机器学习激活函数的运算方法
技术领域
本发明属于网络空间安全技术领域，具体为一种基于BGW协议的隐私保护机器学习激活函数的运算方法。
背景技术
机器学习已广泛应用于各自实际场景。比如，互联网公司收集海量用户行为数据训练更精确的推荐模型。医院收集健康数据生成诊断模型。金融企业使用历史交易记录训练更准确的欺诈模型。
在机器学习中，数据规模对于模型准确率起着重要作用。然而，分布在多个数据源或个人中的数据不能简单合并。如GDPR之类与隐私问题相关的法规，企业保持竞争优势方面的考虑和数据主权相关的问题使得数据无法被公开共享。基于安全多方计算的隐私保护机器学习，允许不同主体在其联合数据上训练各自模型，而不会泄露除最终模型之外的任何信息。
所有机器学习算法都可以表示为数据流图。数据流图由节点和边组成。数据流图中的每个节点代表一个运算符或矩阵形式的输入输出数据。节点通过有向边相连，这表示训练过程的数据流。运算符定义了在前向传播和反向传播中需要执行的操作，并被抽象为可在需要时使用的基础计算组件。当且仅当已经计算了指向该节点的所有节点时，才会执行该节点上定义的操作。在这种构造中，在同一数据流图上定义了正向传播和反向传播，这确保了正向传播和反向传播的一致性。
节点分为三类：输入节点，权重节点和算子节点。
输入节点代表输入矩阵，即用于训练模型的训练数据。
权重节点是模型中的权重矩阵。它是模型训练的参数，需要在训练之前进行初始化，并在每轮训练之后进行更新。
算子节点负责包括矩阵加法和矩阵乘法在内的运算。每个运算符节点需要定义Forward方法和Grad方法，分别表示运算符在正向传播和反向传播期间需要执行的操作。
每个节点都维护两个矩阵：forward,grad。forward矩阵维护正向传播的结果，正向传播按拓扑序依次计算每个算子。而grad矩阵维护反向传播的结果，反向传播按逆拓扑序依次计算每个算子。
有限域中带符号整数表示
带符号整数通过函数fld:/>被编码在整数域/>其中q>2k，通过类似于二进制补码的形式将带符号整数编码在整数域。
函数LTZ
Octavian Catrina等人于2010年提出了秘密共享整数比较操作的优化算法。
[s]←LTZ([a],k)
LTZ协议用于比较秘密共享的带符号整数[a]与0的大小，其中k表示带符号整数的有效位数。如果[a]<0，则[s]值为1，否则值为0。在本文中使用中括号括起来的数表示秘密共享数。
发明内容
本发明的目的在于提出一种基于BGW协议的隐私保护机器学***。
本发明的技术方案具体如下介绍。
本发明提供一种基于BGW协议的隐私保护机器学习激活函数的运算方法，激活函数为安全ReLU函数，安全ReLU函数中的ReLU算子定义了前向传播阶段和反向传播阶段需要执行的操作；
ReLU算子的前向传播计算y＝x*(x>0)，x表示输入矩阵，y表示输出矩阵，通过下面两个步骤进行计算：
第一步，通过LTZ函数判断秘密共享矩阵[a.forward]是否大于0，
[u]＝1-LTZ([a.forward],k)，[u]是一个秘密共享数，若[a.forward]大于等于0，则[u]为1，否则[u]为0，k表示带符号整数有效位数，a表示输入节点，forward代表节点在正向传播中的结果；
第二步，计算[a.forward]*[u]得到ReLU(a):a>0？a:0函数的值；
在前向传播中ReLU算子需要4回合交互，其中第一步中LTZ函数需要3回合交互，第二步中乘法需要1回合交互；
ReLU算子的反向传播计算x′＝y′*(x>0)，转化为计算[a.grad]＝[c.grad]*([a.forward]>0)，c表示输出节点，grad代表节点在反向传播中的结果，由于判断[a.forward]的正负的工作在前向传播中已经完成，通过缓存判断结果，因此只需要1回合交互。
本发明还提供一种基于BGW协议的隐私保护机器学习激活函数的运算方法，激活函数为安全Sigmoid函数，安全Sigmoid函数中的Sigmoid算子定义了前向传播阶段和反向传播阶段需要执行的操作；其中：
Sigmoid算子的前向传播计算y＝1/((1+e^(-x)))，使用分段函数模拟，将函数分为三部分：
①如果输入值[a.forward]在和/>之间，则输出值为/>
②如果[a.forward]大于则输出值为1；
③如果输入值[a.forward]小于则输出值为0；
通过下述两个步骤进行计算：
第一步，通过LTZ函数判断秘密共享矩阵[a.forward]与和/>的大小关系，并行地计算/>其中[u1]表示[a.forward]是否大于/>k表示带符号整数有效位数，a表示输入节点；若则[u1]值为1，否则[u1]值为0；同理[u2]表示[a.forward]是否大于/>若则[u2]值为1，否则[u2]值为0；
第二步，通过得到模拟Sigmoid函数的值，整个Sigmoid操作需要4回合交互，其中第一步并行的LTZ函数需要3回合交互，第二步中并行的乘法需要1回合交互；
Sigmoid算子的反向传播计算[x']＝[y']*[x]*(1-[x])，转化为计算[a.grad]＝[c.grad]*[a.forward]*(1-[a.forward])，c表示输出节点，由于需要将3个秘密共享的数相乘，将[a.forward]*(1-[a.forward])预先在前向传播中并行计算，在不增加前向传播交互回合数的情况下，使得反向传播阶段只需要1回合交互。
和现有技术相比，本发明的有益效果在于:
本发明提出首个用于训练基于BGW协议的机器学习模型的激活函数的运算方法，本发明使得基于BGW协议的安全多方计算支持包括ReLU和Sigmoid的激活函数，满足基于安全多方计算的隐私保护机器学习运行所需，允许不同主体在其联合数据上训练各自模型，不会泄露除最终模型之外的任何信息。
根据我们的实验结果，在基于BGW协议的机器学***。
此外，实施例结果表明基于本发明设计的Sigmoid运算符的逻辑回归交互复杂度低，在广域网设置中优于现有工作。
附图说明
图1为基于BGW协议的隐私保护机器学习模型中激活函数的总体设计图。
图2为ReLU算子的正向传播阶段协议。
图3为Sigmoid算子的正向传播阶段协议。
图4为逻辑回归运行速度比较，单位为每秒迭代次数。其中*代表预估迭代次数。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
在本发明实施例中，基于BGW协议的隐私保护机器学习模型中安全激活函数的总体设计图如图1所示。由图1可见，安全的激活函数设计包含两个部分：基于BGW协议的机器学习框架中运算符ReLU设计和运算符Sigmoid设计。
一、基于BGW协议的机器学习框架中运算符ReLU设计说明
ReLU算子定义了前向传播阶段和反向传播阶段需要执行的操作。机器学习框架中ReLU算子的前向传播计算y＝x*(x>0)，在基于BGW协议的机器学习框架中改为如图2所示。需要两步计算：
首先通过LTZ函数判断秘密共享矩阵[a.forward]是否大于0。[u]是一个秘密共享数，若[a.forward]大于等于0，则[u]为1，否则[u]为0。k表示带符号整数有效位数。
其次计算[a.forward]*[u]得到ReLU(a):a>0？a:0函数的值。
在前向传播中ReLU算子需要4回合交互，其中第一步中LTZ函数需要3回合交互，第二步中乘法需要1回合交互。
机器学习框架中ReLU算子的反向传播计算x′＝y′*(x>0)，在基于BGW的机器学习框架中改为计算[a.grad]＝[c.grad]*([a.forward]>0)，由于判断[a.forward]的正负的工作在前向传播中已经完成，通过缓存判断结果，因此只需要1回合交互。
二、基于BGW协议的机器学习框架中运算符Sigmoid设计说明
Sigmoid算子定义了前向传播阶段和反向传播阶段需要执行的操作。
机器学习框架中Sigmoid算子的前向传播计算y＝1/((1+e^(-x)))。在安全多方计算中，实现连续函数的开销很大，于是我们通过分段函数模拟，将函数分为3段，设计协议如图3所示。需要两步计算：首先通过LTZ函数判断秘密共享矩阵[a.forward]与-1/2和1/2的大小关系，并行地计算第1，2行的两个表达式，其中[u1]表示[a.forward]是否大于-1/2，若[a.forward]>-1/2，则[u1]值为1，否则[u1]值为0。同理[u2]表示[a.forward]是否大于1/2，若[a.forward]>1/2，则[u2]值为1，否则[u2]值为0。其次通过得到模拟Sigmoid函数的值。整个Sigmoid操作需要4回合交互，其中第一步并行的LTZ函数需要3回合交互，第二步中并行的乘法需要1回合交互。
机器学习框架中Sigmoid算子的反向传播计算[x']＝[y']*[x]*(1-[x])，在基于BGW协议的机器学习框架中改为计算[a.grad]＝[c.grad]*[a.forward]*(1-[a.forward])。由于需要将3个秘密共享的数相乘，将[a.forward]*(1-[a.forward])预先在前向传播中并行计算，在不增加前向传播交互回合数的情况下，使得反向传播阶段只需要1回合交互。
三、实验对比本专利设计的Sigmoid运算符与现有工作在逻辑回归方面的速度
本实施例通过实验说明，使用本专利设计的Sigmoid运算符比现有工作(SecureML和ABY3)在逻辑回归的速度快。其中SecureML由Mohassel和Zhang在2017年提出，该工作基于加性秘密共享。ABY3由Mohassel等人在2018年提出，该工作结合了算术共享，布尔共享和姚氏混淆电路。
所有实验均在一台运行Linux的Intel i7计算机上执行，计算机具有32GB的RAM。我们通过Linuxtc工具配置了广域网(WAN)环境，具有40ms RTT延迟。
实验使用MNIST手写数据集。其中训练集包括60000张已标注为0-9的图片，测试集包括10000张已标注图片。每张图片大小28*28，包含784个由0-255的灰度表示的特征。
使用逻辑回归模型，衡量指标为每秒迭代次数。使用随机梯度下降训练逻辑回归参数w＝w-α×x^T(f(x×w)-y)。其中w是需要训练的参数矩阵，大小784*1，α是学习率，采用0.001。x是小批量训练数据，大小128*784，每次迭代训练1个小批量，每个小批量包含128个训练样本。y是小批量样本对应的标签，大小128*1。
在广域网设置与SecureML和ABY3进行对比。结果如图4。使用完全相同的训练过程。换句话说，它们使用相同的训练数据，并且训练数据以相同的顺序输入到模型。比较它们的每秒迭代次数。图4中的This代表基于本专利设计的Sigmoid运算符的逻辑回归，SecureML和ABY3分别代表它们实现的逻辑回归。当特征维数为10，批量大小为128时，本专利方案每秒迭代次数4.56，高于SecureML的1.4和ABY3的3.91。当特征维数为10，批量大小为256时，本专利方案每秒迭代次数4.08，高于SecureML的0.94和ABY3的3.9。实现高效的原因是本专利设计的Sigmoid运算符只需交互4次，少于ABY3的7次。并且计算复杂度更少。实验结果表明，本专利设计的Sigmoid在广域网设置中优于现有工作。

Claims (1)

1.一种基于BGW协议的隐私保护机器学习激活函数的运算方法，其特征在于，激活函数为安全Sigmoid函数，安全Sigmoid函数中的Sigmoid算子定义了前向传播阶段和反向传播阶段需要执行的操作；安全Sigmoid函数在逻辑回归模型中使用，训练集包括60000张已标注为0-9的图片，测试集包括10000张已标注图片，每张图片大小28*28，包含784个由0-255的灰度表示的特征；使用随机梯度下降训练逻辑回归参数w＝w-α×x^T(f(x×w)-y)，式中，w是需要训练的参数矩阵，大小784*1；α是学习率，采用0.001；x是小批量训练数据，大小128*784，每次迭代训练1个小批量，每个小批量包含128个训练样本；其中：
Sigmoid算子的前向传播计算y＝1/((1+e^(-x)))，使用分段函数模拟，将函数分为三部分：
①如果输入值[a.forward]在和/>之间，则输出值为/>
②如果[a.forward]大于则输出值为1；
③如果输入值[a.forward]小于则输出值为0；
通过下述两个步骤进行计算：
第一步，通过LTZ函数判断秘密共享矩阵[a.forward]与和/>的大小关系，并行地计算其中[u1]表示[a.forward]是否大于/>k表示带符号整数有效位数，a表示输入节点；若/>则[u1]值为1，否则[u1]值为0；同理[u2]表示[a.forward]是否大于/>若/>则[u2]值为1，否则[u2]值为0；
第二步，通过得到模拟Sigmoid函数的值，即[c.forward]；
整个Sigmoid操作需要4回合交互，其中第一步并行的LTZ函数需要3回合交互，第二步中并行的乘法需要1回合交互；
Sigmoid算子的反向传播计算[x']＝[y']*[x]*(1-[x])，转化为计算[a.grad]＝[c.grad]*[a.forward]*(1-[a.forward])，c表示输出节点，由于需要将3个秘密共享的数相乘，将[a.forward]*(1-[a.forward])预先在前向传播中并行计算，在不增加前向传播交互回合数的情况下，使得反向传播阶段只需要1回合交互。
CN202010571112.8A 2020-06-22 2020-06-22 基于bgw协议的隐私保护机器学习激活函数的运算方法 Active CN111859267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010571112.8A CN111859267B (zh) 2020-06-22 2020-06-22 基于bgw协议的隐私保护机器学习激活函数的运算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010571112.8A CN111859267B (zh) 2020-06-22 2020-06-22 基于bgw协议的隐私保护机器学习激活函数的运算方法

Publications (2)

Publication Number Publication Date
CN111859267A CN111859267A (zh) 2020-10-30
CN111859267B true CN111859267B (zh) 2024-04-26

Family

ID=72987459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010571112.8A Active CN111859267B (zh) 2020-06-22 2020-06-22 基于bgw协议的隐私保护机器学习激活函数的运算方法

Country Status (1)

Country Link
CN (1) CN111859267B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672985B (zh) * 2021-08-25 2023-11-14 支付宝(杭州)信息技术有限公司 用于隐私保护的机器学习算法脚本编译方法和编译器
CN117114059A (zh) * 2023-05-16 2023-11-24 华为云计算技术有限公司 神经网络中激活函数的计算方法、装置以及计算设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804715A (zh) * 2018-07-09 2018-11-13 北京邮电大学 融合视听感知的多任务协同识别方法及***
CN109508784A (zh) * 2018-12-28 2019-03-22 四川那智科技有限公司 一种神经网络激活函数的设计方法
CN110537191A (zh) * 2017-03-22 2019-12-03 维萨国际服务协会 隐私保护机器学习
US10600006B1 (en) * 2019-01-11 2020-03-24 Alibaba Group Holding Limited Logistic regression modeling scheme using secrete sharing
CN111242290A (zh) * 2020-01-20 2020-06-05 福州大学 一种轻量级隐私保护生成对抗网络***
CN111260081A (zh) * 2020-02-14 2020-06-09 广州大学 一种非交互式隐私保护多方机器学习方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110537191A (zh) * 2017-03-22 2019-12-03 维萨国际服务协会 隐私保护机器学习
CN108804715A (zh) * 2018-07-09 2018-11-13 北京邮电大学 融合视听感知的多任务协同识别方法及***
CN109508784A (zh) * 2018-12-28 2019-03-22 四川那智科技有限公司 一种神经网络激活函数的设计方法
US10600006B1 (en) * 2019-01-11 2020-03-24 Alibaba Group Holding Limited Logistic regression modeling scheme using secrete sharing
CN111242290A (zh) * 2020-01-20 2020-06-05 福州大学 一种轻量级隐私保护生成对抗网络***
CN111260081A (zh) * 2020-02-14 2020-06-09 广州大学 一种非交互式隐私保护多方机器学习方法

Also Published As

Publication number Publication date
CN111859267A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
Liu et al. Hybrid privacy-preserving clinical decision support system in fog–cloud computing
Gao et al. A recalling-enhanced recurrent neural network: Conjugate gradient learning algorithm and its convergence analysis
CN106850183B (zh) 一种全同态加密密文除法实现方法
CN111859267B (zh) 基于bgw协议的隐私保护机器学习激活函数的运算方法
Prasse et al. Network reconstruction and prediction of epidemic outbreaks for general group-based compartmental epidemic models
Gobet et al. Approximation of backward stochastic differential equations using Malliavin weights and least-squares regression
Pulch et al. Sensitivity analysis and model order reduction for random linear dynamical systems
Guo et al. Identification of Wiener systems with quantized inputs and binary-valued output observations
Kerik et al. Optimizing MPC for robust and scalable integer and floating-point arithmetic
CN114021734B (zh) 用于联邦学习和隐私计算的参数计算装置、***及方法
Zhang et al. Distributed subdata selection for big data via sampling-based approach
Tsmots et al. Neural-like methods and hardware structures for real-time data encryption and decryption
Hu et al. Securing fast learning! ridge regression over encrypted big data
Nepomuceno et al. On the use of interval extensions to estimate the largest Lyapunov exponent from chaotic data
EP4016506B1 (en) Softmax function secret calculation system, softmax function secret calculation device, softmax function secret calculation method, neural network secret calculation system, neural network secret learning system, and program
Sau et al. Delay-dependent and order-dependent H∞ control for fractional-order neural networks with time-varying delay
Huang et al. latentcor: An R Package for estimating latent correlations from mixed data types
Calatayud et al. On the convergence of adaptive gPC for non-linear random difference equations: Theoretical analysis and some practical recommendations.
CN113935050A (zh) 基于联邦学习的特征提取方法和装置、电子设备、介质
Kahalé Randomized dimension reduction for Monte Carlo simulations
CN114358323A (zh) 联邦学习环境中基于第三方高效皮尔森系数计算方法
Peng et al. Variance reduction for generalized likelihood ratio method in quantile sensitivity estimation
Zhao et al. PPCNN: An efficient privacy‐preserving CNN training and inference framework
CN114154415A (zh) 设备寿命的预测方法及装置
Clark et al. Partial evaluation of PEPA models for fluid-flow analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant