CN113553610A - 基于同态加密和可信硬件的多方隐私保护机器学习方法 - Google Patents
基于同态加密和可信硬件的多方隐私保护机器学习方法 Download PDFInfo
- Publication number
- CN113553610A CN113553610A CN202111103182.1A CN202111103182A CN113553610A CN 113553610 A CN113553610 A CN 113553610A CN 202111103182 A CN202111103182 A CN 202111103182A CN 113553610 A CN113553610 A CN 113553610A
- Authority
- CN
- China
- Prior art keywords
- ciphertext
- data
- machine learning
- trusted hardware
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 123
- 230000006870 function Effects 0.000 claims abstract description 61
- 230000004913 activation Effects 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 30
- 230000009467 reduction Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012417 linear regression Methods 0.000 claims description 2
- 238000007477 logistic regression Methods 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 12
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
- H04L2209/12—Details relating to cryptographic hardware or logic circuitry
- H04L2209/127—Trusted platform modules [TPM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
- H04L2209/46—Secure multiparty computation, e.g. millionaire problem
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0464—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload using hop-by-hop encryption, i.e. wherein an intermediate entity decrypts the information and re-encrypts it before forwarding it
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
技术领域
本发明属于机器学习的技术领域,具体涉及一种基于同态加密和可信硬件的多方隐私保护机器学习方法。
背景技术
近些年来,随着各行各业用户数据量的激增,越来越多的企业倾向于使用机器学习算法构建模型来获得更多的收益以及为用户提供更好地服务。然而,使用用户数据进行机器学习建模面临着两个重要的问题:1.因为数据量庞大,需要使用算力强大的云服务进行机器学习建模,而直接将本地的用户数据上传至服务器必定会导致用户数据隐私的泄露;2.随着行业、企业、部门分工的不断深入,完整的用户数据往往分散在同一行业不同企业、同一企业不同部门之中,产生严重的数据壁垒,引发数据孤岛问题,本地较小的数据样本数量是的机器学习建模的泛化能力较差。这两个限制使得机器学习技术在企业的应用受到很大的限制。隐私保护机器学习应运而生,这是一种能够保证数据安全的机器学习建模方法,在极高的安全性下对数据进行整合,各方通过多方协议,实现多方合作,在遵守隐私保护相关法律法规的前提下解决数据的孤岛问题,构建更为泛化的机器学习模型。
隐私保护机器学习方案的实现是将隐私保护技术应用到机器学习技术中去,因此隐私保护机器学习方案的效率、效果、安全性等与所采用的隐私保护工具密切相关。与安全多方计算、差分隐私等常见的隐私保护工具相比,同态加密技术能够在极高的安全性下对密文进行特定的算术运算,非常适合用于多方隐私保护机器学习场景。但是同态加密依然具有运算效率低、只能进行乘法和加法运算等缺点,造成机器学习建模的效率低下、准确率损失。
为了实现隐私保护下的机器学习建模,很多隐私保护工具被广泛地应用到多方机器学习建模中去,其中最有代表性的是近些年来兴起的联邦学习技术,联邦学习常见的隐私保护工具有以下几种:
基于安全多方计算的联邦学习方案,主要有以下两点缺点:1.算法设计难度大。安全多方计算涉及到的技术和算法非常多,包括秘密共享、混淆电路、不经意传输等,每种性能优缺点等都不一样,在具体的联邦学习应用中,需要配合其他技术对这些算法进行灵活组合运用,以满足业务要求,实际难度很高;2. 计算量大、网络通信量大,效率低。计算方之间对可用网络带宽和网络延迟的高度依赖会严重影响安全多方计算的运行时间、内存分配以及传输的数据量。
基于同态加密的联邦学习方案,主要有以下两点缺点:1.模型聚合算法聚合各个数据方上传的梯度值,得到的模型的准确率相比直接对数据进行聚合然后进行训练相比有较大的损失,即联邦学习共同训练的效果不是很显著,与只利用本地数据进行机器学习建模相比并没有很大的提升;2.从上述基于同态加密的联邦学习流程可以看到,各个数据方在本地需要进行包含数据训练、加密解密等大量的计算,对于本地的计算能力有较高的要求,而云服务器仅仅进行模型的聚合操作,无法充分发挥出云服务器计算能力强大的特性。
基于差分隐私的联邦学习方案,主要有以下缺点:差分隐私通过向原始数据中添加噪声的方式来掩盖数据中的隐私信息,必然会导致数据的可用性下降,在机器学习这种对于数据较为敏感的应用场景下会对机器学习模型的准确率造成很大的影响;除此之外,差分隐私技术的安全性不高,会造成一定程度上的隐私数据泄露。
因此,本发明提出了一种基于同态加密和可信硬件的多方隐私保护机器学习方案,通过引入可信硬件来解决使用同态加密技术带来的。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于同态加密和可信硬件的多方隐私保护机器学习方法,通过引入可信硬件来解决使用同态加密技术带来的机器学习建模的效率低下、准确率损失的问题。
为了达到上述目的,本发明采用以下技术方案:
本发明一方面提供了一种基于同态加密和可信硬件的多方隐私保护机器学习方法,包括下述步骤:
服务器S在密文数据集的基础上,将普通机器学习算法中的线性运算替换为同态加法和同态乘法,对密文数据集进行机器学习建模训练;所述机器学习建模训练过程中需要对密文数据进行噪声消减和机器学习激活函数计算;所述噪声消减是利用可信硬件对密文解密后重新加密;所述激活函数计算是利用可信硬件对密文进行解密后在明文状态下执行非线性激活函数并将结果加密;
第i个数据方上传的密文数据是一个的密文矩阵,即上传的数据共有条,每条数据包含标签值在内共有个值,服务器S将所有数据方上传的密文矩阵直接聚合,得到的密文数据集是一个的矩阵,其中,,即服务器将所有数据方上传的数据拼在一起得到共条数据,每条数据包含标签值在内共有个值,共个密文。
优选的,所述将普通机器学习算法中的线性运算替换为同态加法和同态乘法,具体为:
为了在密文状态下进行机器学习训练,将机器学习算法中常用的内积运算、多项式运算等全部拆分为基本的加法和乘法运算,然后将其替换为同态加密所支持的密文下的同态加法和同态乘法操作。
优选的,所述噪声消减具体为:
优选的,所述激活函数计算具体为:
优选的,所述机器学习建模支持各种类型的机器学习建模算法,包括线性回归、逻辑回归或支持向量机等算法。
本发明又一方面提供了一种基于同态加密和可信硬件的多方隐私保护机器学习***,应用于所述的基于同态加密和可信硬件的多方隐私保护机器学习方法,包括预处理模块、公钥加密模块、机器学习模块、模型密文发送模块以及私钥解密模块;
所述预处理模块,用于由密钥生成中心进行同态加密方案的初始化、生成公钥、私钥和评估密钥,然后将初始化参数、公钥和评估密钥发送给各个数据方、服务器S和可信硬件三者进行初始化,将私钥发送给各个数据方和可信硬件;
所述机器学习模块,用于服务器S在密文数据集的基础上,将普通机器学习算法中的线性运算替换为同态加法和同态乘法,在密文状态下进行机器学习建模;所述机器学习建模包括对密文数据进行噪声消减和激活函数计算;所述噪声消减是利用可信硬件对密文解密后重新加密;所述激活函数计算是利用可信硬件对密文进行解密后在明文状态下执行非线性激活函数再将所得结果加密;
本发明又一方面提供了一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令,所述计算机程序指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行所述的基于同态加密和可信硬件的多方隐私保护机器学习方法。
本发明再一方面提供了一种计算机可读存储介质,存储有程序,所述程序被处理器执行时,实现所述的基于同态加密和可信硬件的多方隐私保护机器学习方法。
本发明与现有技术相比,具有如下优点和有益效果:
1.本发明利用全同态加密方案支持密文加法和密文乘法的特性,数据方将本地的数据加密后上传至服务器,服务器整合所有的密文数据后,在密文形式下完成机器学习的建模,其准确率与直接整合明文数据进行机器学习建模的准确率一致;
2.借助于可信硬件,实现可信环境下的对密文先解密、再加密的操作来“模拟自举”,以一种低运算成本的方式来消减密文中的噪声,以便继续后续计算。密钥生成中心将公钥、私钥等密钥发送至可信硬件,服务器开始训练后,利用与可信硬件的交互,完成解密、再加密操作来模拟自举消减噪声,因此服务器可以完成任意的机器学习建模计算;
3.由于全同态加密的特性,密文计算只能进行密文加法和密文乘法运算,即只能进行密文的线性运算,因此机器学习建模的过程中非线性的激活函数如Sigmoid无法直接进行密文下的运算,常见的解决方法是利用泰勒展开来近似激活函数。而低阶的泰勒展开会使得准确率降低,高阶的泰勒展开会严重降低运算效率。本发明利用可信硬件来完成激活函数的运算,服务器在机器学习建模的过程中,将需要进行激活函数运算的密文发送给可信硬件,可信硬件解密后明文状态下进行非线性的激活函数运算,然后加密发给至服务器,完成激活函数的运算。上述过程跟明文训练相比、准确率不会因为非线性激活函数而下降,能取得与明文训练一样的效果,并且运算效率也较高。与完全在密文状态下进行训练相比,由可信硬件完成模拟自举和激活函数运算的操作能够可以避免大量效率极低的同态运算从而大幅提高效率以及避免了激活函数线性化所带来的准确率损失;
4.本发明所使用的全同态加密方案基于格上RLWE困难问题,具有抗量子攻击的安全性,因此数据方与服务器之间、服务器与可信硬件之间的密文传输有极高的安全性保证;
5.本发明所提出的隐私保护机器学习方案中,数据方仅仅需要将自己本地数据加密、上传至服务器,待服务器上的机器学习建模结束后,数据方解密梯度值即可得到整合所有数据训练得到的模型,数据方本地无需进行其他操作,因此对于数据方的算力要求较低,具有更高的可行性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例基于同态加密和可信硬件的多方隐私保护机器学习方法的流程图。
图2为本发明实施例基于同态加密和可信硬件的多方隐私保护机器学习***的方框图。
图3为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
机器学习:机器学习是人工智能的一个分支,对能通过经验自动改进的计算机算法的研究;机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。
同态加密:同态加密是一种加密算法,允许对密文进行特定形式的代数运算后,对结果密文进行解密,可以得到对明文进行相同运算的结果,借助同态加密,能够在保护隐私***露的同时实现对数据的运算。
可信硬件:通过硬件隔离手段对涉及隐私数据的运算和操作进行保护。在不破解硬件的前提下,攻击者无法直接读取其中的隐私数据和***密钥,由此保障了数据的机密性。同时,攻击者无法通过固化的硬件逻辑和硬件层面篡改检测,以此确保相关***运行过程不被恶意篡改。
本发明所使用的全同态加密方案为CKKS方案,CKKS方案是由Cheon等人于2017年提出,支持对浮点数和复数的加密,非常适合用于隐私保护机器学习场景;CKKS同态加密方案包含8个主要的函数,以下是其详细的定义:
1.:输入安全参数,生成密文模数,然后由和生成整数h、P和实数。然后以h为汉明重量,从选取一个向量作为s,从中选取,从中选取,以为高斯分布的方差生成两个随机数和。根据上述参数,生成私钥、公钥和评估密钥:
本申请借助于全同态加密技术支持密文加法和密文乘法的特性,实现了对数据方的加密数据整合后进行密文训练。负责的机器学习建模任务由算力强大的云服务器完成,数据方仅仅需要将本地的数据加密上传,待服务器完成机器学习建模后解密服务器下发的模型梯度值即可获得整合所有数据训练得到的模型。另外,得益于本申请所采用的全同态加密方案基于的格上RLWE困难问题,本申请的安全性有足够的保障。而现有方案多使用联邦学习的模型聚合技术,即数据方需要在本地进行机器学习建模然后进行梯度聚合操作,对本地的计算能力有较高的要求的同时,通过模型聚合得到的最终模型的准确率与直接聚合全部数据进行训练相比也会有所损失。
请参阅图1,在本申请的一个实施例中提供了一种基于同态加密和可信硬件的多方隐私保护机器学习方法,包括下述步骤:
本申请采用可信硬件技术实现模拟自举和执行激活函数,为了加速密文训练过程、提高密文训练效率,本发明所采用的全同态加密方案摒弃了原有的效率极低的自举操作,而是通过可信硬件对密文的解密、再加密的方法来消减密文中的噪声。另外,为了降低采用线性化激活函数对于模型准确率的影响,本发明采用可信硬件解密密文、然后执行非线性激活函数、然后再加密并将密文传输给服务器的做法,使得密文训练的准确率与明文训练的准确率完全一致。已有的一些基于全同态加密的密文训练往往采用自举操作和线性化激活函数,不仅严重影响了整体的效率,而且一定程度上造成了模型准确率的损失。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的基于同态加密和可信硬件的多方隐私保护机器学习方法相同的思想,本发明还提供了基于同态加密和可信硬件的多方隐私保护机器学习***,该***可用于执行上述基于同态加密和可信硬件的多方隐私保护机器学习方法。为了便于说明,基于同态加密和可信硬件的多方隐私保护机器学习***实施例的结构示意图中,仅仅示出了与本发明实施例相关的部分,本领域技术人员可以理解,图示结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
请参阅图2,在本申请的另一个实施例中,提供了一种基于同态加密和可信硬件的多方隐私保护机器学习***100,该***包括预处理模块101、公钥加密模块102、机器学习模块103、模型密文发送模块104以及私钥解密模块105;
所述预处理模块101,用于由密钥生成中心进行同态加密方案的初始化、生成公钥、私钥和评估密钥,然后将初始化参数、公钥和评估密钥发送给各个数据方、服务器S和可信硬件三者进行初始化,将私钥发送给各个数据方和可信硬件;
所述机器学习模块103,用于服务器S在密文数据集的基础上,将普通机器学习算法中的线性运算替换为同态加法和同态乘法,在密文状态下进行机器学习建模;所述机器学习建模包括对密文数据进行噪声消减和激活函数计算;所述噪声消减是利用可信硬件对密文解密后重新加密;所述激活函数计算是利用可信硬件对密文进行解密后在明文状态下执行非线性激活函数;
更进一步的,所述机器学习模块包括噪声消减模块和激活函数计算;
所述噪声消减模块的实现过程如下:
所述激活函数计算模块的实现过程如下:
需要说明的是,本发明的基于同态加密和可信硬件的多方隐私保护机器学习***与本发明的基于同态加密和可信硬件的多方隐私保护机器学习方法一一对应,在上述基于同态加密和可信硬件的多方隐私保护机器学习方法的实施例阐述的技术特征及其有益效果均适用于基于同态加密和可信硬件的多方隐私保护机器学习的实施例中,具体内容可参见本发明方法实施例中的叙述,此处不再赘述,特此声明。
此外,上述实施例的基于同态加密和可信硬件的多方隐私保护机器学习***的实施方式中,各程序模块的逻辑划分仅是举例说明,实际应用中可以根据需要,例如出于相应硬件的配置要求或者软件的实现的便利考虑,将上述功能分配由不同的程序模块完成,即将所述基于同态加密和可信硬件的多方隐私保护机器学习***的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。
请参阅图3,在一个实施例中,提供了一种实现基于同态加密和可信硬件的多方隐私保护机器学习方法的电子设备,所述电子设备200可以包括第一处理器201、第一存储器202和总线,还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序,如多方隐私保护机器学习程序203。
其中,所述第一存储器202至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元,例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备,例如电子设备200上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据,例如多方隐私保护机器学习程序203的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器201在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述第一存储器202内的程序或者模块(例如联邦学习防御程序等),以及调用存储在所述第一存储器202内的数据,以执行电子设备200的各种功能和处理数据。
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备200的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
所述电子设备200中的所述第一存储器202存储的多方隐私保护机器学习程序203是多个指令的组合,在所述第一处理器201中运行时,可以实现:
服务器S在密文数据集的基础上,将普通机器学习算法中的线性运算替换为同态加法和同态乘法,在密文状态下进行机器学习建模;所述机器学习建模包括对密文数据进行噪声消减和激活函数计算;所述噪声消减是利用可信硬件对密文解密后重新加密;所述激活函数计算是利用可信硬件对密文进行解密后在明文状态下执行非线性激活函数;
进一步地,所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM (DRAM)、同步DRAM (SDRAM)、双数据率SDRAM (DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.基于同态加密和可信硬件的多方隐私保护机器学习方法,其特征在于,包括下述步骤:
服务器S在密文数据集的基础上,将普通机器学习算法中的线性运算替换为同态加法和同态乘法,对密文数据集进行机器学习建模训练;所述机器学习建模训练过程中需要对密文数据进行噪声消减和机器学习激活函数计算;所述噪声消减是利用可信硬件对密文解密后重新加密;所述激活函数计算是利用可信硬件对密文进行解密后在明文状态下执行非线性激活函数并将结果加密;
4.根据权利要求1所述基于同态加密和可信硬件的多方隐私保护机器学习方法,其特征在于,所述将普通机器学习算法中的线性运算替换为同态加法和同态乘法,具体为:
为了在密文状态下进行机器学习训练,将机器学习算法中常用的内积运算、多项式运算全部拆分为基本的加法和乘法运算,然后将其替换为同态加密所支持的密文下的同态加法和同态乘法操作。
7.根据权利要求1所述基于同态加密和可信硬件的多方隐私保护机器学习方法,其特征在于,所述机器学习建模支持各种类型的机器学习建模算法,包括线性回归、逻辑回归或支持向量机算法。
8.基于同态加密和可信硬件的多方隐私保护机器学习***,其特征在于,应用于权利要求1-7中任一项所述的基于同态加密和可信硬件的多方隐私保护机器学习方法,包括预处理模块、公钥加密模块、机器学习模块、模型密文发送模块以及私钥解密模块;
所述预处理模块,用于由密钥生成中心进行同态加密方案的初始化、生成公钥、私钥和评估密钥,然后将初始化参数、公钥和评估密钥发送给各个数据方、服务器S和可信硬件三者进行初始化,将私钥发送给各个数据方和可信硬件;
所述机器学习模块,用于服务器S在密文数据集的基础上,将普通机器学习算法中的线性运算替换为同态加法和同态乘法,在密文状态下进行机器学习建模;所述机器学习建模包括对密文数据进行噪声消减和激活函数计算;所述噪声消减是利用可信硬件对密文解密后重新加密;所述激活函数计算是利用可信硬件对密文进行解密后在明文状态下执行非线性激活函数再将所得结果加密;
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令,所述计算机程序指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的基于同态加密和可信硬件的多方隐私保护机器学习方法。
10.一种计算机可读存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1-7任一项所述的基于同态加密和可信硬件的多方隐私保护机器学习方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111103182.1A CN113553610B (zh) | 2021-09-22 | 2021-09-22 | 基于同态加密和可信硬件的多方隐私保护机器学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111103182.1A CN113553610B (zh) | 2021-09-22 | 2021-09-22 | 基于同态加密和可信硬件的多方隐私保护机器学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113553610A true CN113553610A (zh) | 2021-10-26 |
CN113553610B CN113553610B (zh) | 2021-12-31 |
Family
ID=78106385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111103182.1A Active CN113553610B (zh) | 2021-09-22 | 2021-09-22 | 基于同态加密和可信硬件的多方隐私保护机器学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113553610B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113965313A (zh) * | 2021-12-15 | 2022-01-21 | 北京百度网讯科技有限公司 | 基于同态加密的模型训练方法、装置、设备以及存储介质 |
CN114547643A (zh) * | 2022-01-20 | 2022-05-27 | 华东师范大学 | 一种基于同态加密的线性回归纵向联邦学习方法 |
CN114844621A (zh) * | 2022-04-08 | 2022-08-02 | 哈尔滨工业大学(深圳) | 基于多密钥全同态加密的多用户隐私保护机器学习方法及装置 |
CN114915455A (zh) * | 2022-04-24 | 2022-08-16 | 华控清交信息科技(北京)有限公司 | 一种密文数据传输方法、装置和用于密文数据传输的装置 |
CN115050079A (zh) * | 2022-06-30 | 2022-09-13 | 北京瑞莱智慧科技有限公司 | 人脸识别方法、装置及存储介质 |
CN115118448A (zh) * | 2022-04-21 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备及存储介质 |
CN115242369A (zh) * | 2022-05-11 | 2022-10-25 | 西安电子科技大学 | 基于多密钥同态加密的联邦学习隐私保护方法及其装置 |
CN115510466A (zh) * | 2022-09-28 | 2022-12-23 | 北京瑞莱智慧科技有限公司 | 密文预测方法、相关装置及存储介质 |
CN115801224A (zh) * | 2023-01-16 | 2023-03-14 | 北京隐算科技有限公司 | 一种云计算环境中支持浮点数运算的全同态加密方法 |
CN115801449A (zh) * | 2023-01-09 | 2023-03-14 | 深圳市迪博企业风险管理技术有限公司 | 风险评估数据的隐私保护方法、***和可读存储介质 |
CN115996151A (zh) * | 2023-03-22 | 2023-04-21 | 中南大学 | 一种电子医疗数据共享方法、***、设备及介质 |
CN117688595A (zh) * | 2024-02-04 | 2024-03-12 | 南湖实验室 | 一种基于可信执行环境的同态加密性能提升方法及其*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110264920A1 (en) * | 2010-04-27 | 2011-10-27 | Fuji Xerox Co., Ltd. | Systems and methods for communication, storage, retrieval, and computation of simple statistics and logical operations on encrypted data |
CN107147484A (zh) * | 2017-05-12 | 2017-09-08 | 南京邮电大学 | 一种面向隐私保护的浮点数全同态加密方法 |
US20180349740A1 (en) * | 2016-02-04 | 2018-12-06 | Abb Schweiz Ag | Machine learning based on homomorphic encryption |
CN110059501A (zh) * | 2019-04-16 | 2019-07-26 | 广州大学 | 一种基于差分隐私的安全外包机器学习方法 |
US20200036512A1 (en) * | 2018-07-24 | 2020-01-30 | Duality Technologies, Inc. | Hybrid system and method for secure collaboration using homomorphic encryption and trusted hardware |
EP3751468A1 (fr) * | 2019-06-12 | 2020-12-16 | Commissariat à l'énergie atomique et aux énergies alternatives | Méthode d'apprentissage collaboratif d'un réseau de neurones artificiels sans divulgation des données d'apprentissage |
CN112118099A (zh) * | 2020-09-16 | 2020-12-22 | 西安电子科技大学 | 抗推理攻击的分布式多任务学习隐私保护方法及*** |
CN112183767A (zh) * | 2020-09-30 | 2021-01-05 | 哈尔滨工业大学(深圳) | 一种多密钥下模型聚合的联邦学习方法及相关设备 |
CN113221153A (zh) * | 2021-05-31 | 2021-08-06 | 平安科技(深圳)有限公司 | 图神经网络训练方法、装置、计算设备及存储介质 |
-
2021
- 2021-09-22 CN CN202111103182.1A patent/CN113553610B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110264920A1 (en) * | 2010-04-27 | 2011-10-27 | Fuji Xerox Co., Ltd. | Systems and methods for communication, storage, retrieval, and computation of simple statistics and logical operations on encrypted data |
US20180349740A1 (en) * | 2016-02-04 | 2018-12-06 | Abb Schweiz Ag | Machine learning based on homomorphic encryption |
CN107147484A (zh) * | 2017-05-12 | 2017-09-08 | 南京邮电大学 | 一种面向隐私保护的浮点数全同态加密方法 |
US20200036512A1 (en) * | 2018-07-24 | 2020-01-30 | Duality Technologies, Inc. | Hybrid system and method for secure collaboration using homomorphic encryption and trusted hardware |
CN110059501A (zh) * | 2019-04-16 | 2019-07-26 | 广州大学 | 一种基于差分隐私的安全外包机器学习方法 |
EP3751468A1 (fr) * | 2019-06-12 | 2020-12-16 | Commissariat à l'énergie atomique et aux énergies alternatives | Méthode d'apprentissage collaboratif d'un réseau de neurones artificiels sans divulgation des données d'apprentissage |
CN112118099A (zh) * | 2020-09-16 | 2020-12-22 | 西安电子科技大学 | 抗推理攻击的分布式多任务学习隐私保护方法及*** |
CN112183767A (zh) * | 2020-09-30 | 2021-01-05 | 哈尔滨工业大学(深圳) | 一种多密钥下模型聚合的联邦学习方法及相关设备 |
CN113221153A (zh) * | 2021-05-31 | 2021-08-06 | 平安科技(深圳)有限公司 | 图神经网络训练方法、装置、计算设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
耿姝 等: "基于全同态加密的云计算安全方案的研究", 《中国新通信》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113965313A (zh) * | 2021-12-15 | 2022-01-21 | 北京百度网讯科技有限公司 | 基于同态加密的模型训练方法、装置、设备以及存储介质 |
CN114547643A (zh) * | 2022-01-20 | 2022-05-27 | 华东师范大学 | 一种基于同态加密的线性回归纵向联邦学习方法 |
CN114547643B (zh) * | 2022-01-20 | 2024-04-19 | 华东师范大学 | 一种基于同态加密的线性回归纵向联邦学习方法 |
CN114844621A (zh) * | 2022-04-08 | 2022-08-02 | 哈尔滨工业大学(深圳) | 基于多密钥全同态加密的多用户隐私保护机器学习方法及装置 |
CN115118448B (zh) * | 2022-04-21 | 2023-09-01 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备及存储介质 |
CN115118448A (zh) * | 2022-04-21 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备及存储介质 |
CN114915455A (zh) * | 2022-04-24 | 2022-08-16 | 华控清交信息科技(北京)有限公司 | 一种密文数据传输方法、装置和用于密文数据传输的装置 |
CN115242369A (zh) * | 2022-05-11 | 2022-10-25 | 西安电子科技大学 | 基于多密钥同态加密的联邦学习隐私保护方法及其装置 |
CN115242369B (zh) * | 2022-05-11 | 2024-06-25 | 西安电子科技大学 | 基于多密钥同态加密的联邦学习隐私保护方法及其装置 |
CN115050079A (zh) * | 2022-06-30 | 2022-09-13 | 北京瑞莱智慧科技有限公司 | 人脸识别方法、装置及存储介质 |
CN115510466A (zh) * | 2022-09-28 | 2022-12-23 | 北京瑞莱智慧科技有限公司 | 密文预测方法、相关装置及存储介质 |
CN115510466B (zh) * | 2022-09-28 | 2024-03-05 | 北京瑞莱智慧科技有限公司 | 密文预测方法、相关装置及存储介质 |
CN115801449A (zh) * | 2023-01-09 | 2023-03-14 | 深圳市迪博企业风险管理技术有限公司 | 风险评估数据的隐私保护方法、***和可读存储介质 |
CN115801449B (zh) * | 2023-01-09 | 2023-05-26 | 深圳市迪博企业风险管理技术有限公司 | 风险评估数据的隐私保护方法、***和可读存储介质 |
CN115801224A (zh) * | 2023-01-16 | 2023-03-14 | 北京隐算科技有限公司 | 一种云计算环境中支持浮点数运算的全同态加密方法 |
CN115996151B (zh) * | 2023-03-22 | 2023-06-16 | 中南大学 | 一种电子医疗数据共享方法、***、设备及介质 |
CN115996151A (zh) * | 2023-03-22 | 2023-04-21 | 中南大学 | 一种电子医疗数据共享方法、***、设备及介质 |
CN117688595A (zh) * | 2024-02-04 | 2024-03-12 | 南湖实验室 | 一种基于可信执行环境的同态加密性能提升方法及其*** |
CN117688595B (zh) * | 2024-02-04 | 2024-05-31 | 南湖实验室 | 一种基于可信执行环境的同态加密性能提升方法及其*** |
Also Published As
Publication number | Publication date |
---|---|
CN113553610B (zh) | 2021-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113553610B (zh) | 基于同态加密和可信硬件的多方隐私保护机器学习方法 | |
US11095428B2 (en) | Hybrid system and method for secure collaboration using homomorphic encryption and trusted hardware | |
Wu et al. | Secure and efficient outsourced k-means clustering using fully homomorphic encryption with ciphertext packing technique | |
Abid et al. | RETRACTED ARTICLE: An optimised homomorphic CRT-RSA algorithm for secure and efficient communication | |
CN114844621B (zh) | 基于多密钥全同态加密的多用户隐私保护机器学习方法及装置 | |
CN105306194B (zh) | 供加密档案和/或通讯协定的多重加密方法与*** | |
CN113761563B (zh) | 数据交集计算方法、装置及电子设备 | |
WO2022035909A1 (en) | Methods for somewhat homomorphic encryption and key updates based on geometric algebra for distributed ledger technology | |
CN114175569A (zh) | 用于在aes计数器模式加密中对用拟群运算加密的整数进行相加和比较的***和方法 | |
Zhang et al. | Secure dot product of outsourced encrypted vectors and its application to SVM | |
Ibarrondo et al. | Banners: Binarized neural networks with replicated secret sharing | |
CN113055153B (zh) | 一种基于全同态加密算法的数据加密方法、***和介质 | |
Hao et al. | Fastsecnet: An efficient cryptographic framework for private neural network inference | |
CN115865531B (zh) | 一种代理重加密数字资产授权方法 | |
Joseph et al. | A Novel Algorithm for secured data sharing in cloud using GWOA-DNA cryptography | |
Hu | Study of file encryption and decryption system using security key | |
Ortakci et al. | Performance analyses of aes and 3des algorithms for encryption of satellite images | |
Liu et al. | Efficient and Privacy-Preserving Logistic Regression Scheme based on Leveled Fully Homomorphic Encryption | |
CN114430321A (zh) | 基于dfa自适应安全的黑盒可追踪密钥属性加密方法及装置 | |
Devaki | Re-encryption model for multi-block data updates in network security | |
Huang et al. | Secure word-level sorting based on fully homomorphic encryption | |
Xie et al. | Assured Deletion: A Scheme Based on Strong Nonseparability | |
CN116841750B (zh) | 集成加密算法的边缘计算设备 | |
US11811920B1 (en) | Secure computation and communication | |
CN114006689B (zh) | 基于联邦学习的数据处理方法、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |