CN113516253B - 一种联邦学习中数据加密优化方法及装置 - Google Patents
一种联邦学习中数据加密优化方法及装置 Download PDFInfo
- Publication number
- CN113516253B CN113516253B CN202110753509.3A CN202110753509A CN113516253B CN 113516253 B CN113516253 B CN 113516253B CN 202110753509 A CN202110753509 A CN 202110753509A CN 113516253 B CN113516253 B CN 113516253B
- Authority
- CN
- China
- Prior art keywords
- data
- vector
- encryption
- encrypted
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Complex Calculations (AREA)
Abstract
本发明实施例提供了一种联邦学习中数据加密优化方法及装置,涉及到数据处理技术领域,上述方法包括:获取联邦学习过程中本地样本数据的明文数据矩阵及非本地数据的同态加密数据;对所述明文数据矩阵进行非零元素的提取得到稀疏数据;基于所述稀疏数据与所述同态加密数据计算得到加密结果数据。应用本发明实施例提供的方案对数据进行加密,能够大幅度提高联邦学习的效率。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种联邦学习中数据加密优化方法及装置。
背景技术
随着人工智能的发展,人们对数据的需求日益增长。由于不同领域的数据往往具有互补性,所以不同的互联网组织之间通常存在极大的数据融合需求。但出于隐私保护等考虑,不同领域的数据很难直接被聚合,因此容易形成数据孤岛,使得各互联网组织难以利用多领域的现有数据来完成进一步的研究与开发。因此,提出联邦学习的方法来解决上述问题。
现有技术中,常用数据样本一致、特征维度互补的纵向联邦学习方法来解决上述问题。为了保护各互联网组织的隐私等,这种方法需要事先利用密码学对大量数据进行加密,这个过程需要大量计算,十分耗时。因此,联邦学习方法的效率问题一直是业界难题。
发明内容
本发明实施例的目的在于提供一种联邦学习中数据加密优化方法及装置,以实现提高联邦学习的效率。具体技术方案如下:
第一方面,本发明实施例提供了一种联邦学习中数据加密优化方法,所述方法包括:
获取联邦学习过程中本地样本数据的明文数据矩阵及非本地数据的同态加密数据;
对所述明文数据矩阵进行非零元素的提取得到稀疏数据;
基于所述稀疏数据与所述同态加密数据计算得到加密结果数据。
本发明的一个实施例中,所述对所述明文数据矩阵进行非零元素的提取得到稀疏数据,包括:
针对所述明文数据矩阵中的每一非零元素,提取该非零元素的位置信息和元素值,得到该非零元素的向量;
按照预设保存规则,将各非零元素的向量保存为列表,得到所述明文数据的稀疏数据。
本发明的一个实施例中,所述基于所述稀疏数据与所述同态加密数据计算得到加密结果数据,包括:
针对所述稀疏数据中的每一向量,根据该向量的位置信息,确定所述同态加密数据中与该向量的位置信息相同的元素,得到该向量对应的加密元素;
将所述稀疏数据中各向量的元素值与各向量各自对应的加密元素相乘,得到相乘结果,并对相乘结果求和,得到加密结果数据。
本发明的一个实施例中,所述方法还包括:
对所述加密结果数据进行加噪处理,得到加噪后的加密结果数据;
将所述加噪后的加密结果数据发送给协调方,以使所述协调方解密所述加噪后的加密结果数据,得到解密结果数据;
利用所述解密结果数据对预设联邦学习模型进行参数更新。
第二方面,本发明实施例还提供了一种联邦学习中数据加密优化装置,所述装置包括:
数据获取模块,用于获取联邦学习过程中本地样本数据的明文数据矩阵及非本地数据的同态加密数据;
数据提取模块,用于对所述明文数据矩阵进行非零元素的提取得到稀疏数据;
数据计算模块,用于基于所述稀疏数据与所述同态加密数据计算得到加密结果数据。
本发明的一个实施例中,所述数据提取模块,具体用于:
针对所述明文数据矩阵中的每一非零元素,提取该非零元素的位置信息和元素值,得到该非零元素的向量;
按照预设保存规则,将各非零元素的向量保存为列表,得到所述明文数据的稀疏数据。
本发明的一个实施例中,所述数据计算模块,具体用于:
针对所述稀疏数据中的每一向量,根据该向量的位置信息,确定所述同态加密数据中与该向量的位置信息相同的元素,得到该向量对应的加密元素;
将所述稀疏数据中各向量的元素值与各向量各自对应的加密元素相乘,得到相乘结果,并对相乘结果求和,得到加密结果数据。
本发明的一个实施例中,所述装置还包括:
数据加噪模块,用于对所述加密结果数据进行加噪处理,得到加噪后的加密结果数据;
加噪数据获得模块,用于将所述加噪后的加密结果数据发送给协调方,以使所述协调方解密所述加噪后的加密结果数据,得到加噪后的解密结果数据;
模型训练模块,用于利用所述解密结果数据对预设联邦学习模型进行训练。
第三方面,本发明实施例还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一方法实施例所述的方法步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方法实施例所述的方法步骤。
本发明实施例有益效果:
本发明实施例提供的联邦学习中数据加密优化方法,在获取联邦学习过程中本地样本数据的明文数据矩阵及非本地数据的同态加密数据之后,首先对明文数据矩阵进行非零元素的提取得到稀疏数据,然后基于稀疏数据与同态加密数据计算得到加密结果数据。
本发明实施例通过获取联邦学习过程中本地样本数据的明文数据矩阵及非本地数据的同态加密数据,从明文数据矩阵中提取非零元素,去掉不必要的零元素,基于经过这样的元素提取之后所得到的稀疏数据与同态加密数据进行计算,来得到加密结果数据。这样的计算过程由于剔除了非必要的零元素,仅保留了必要的非零元素,所以极大地降低了加密过程中待计算的数据量,提高了数据加密过程的效率,进而提高了联邦学习的效率。同时,由于实际应用中常使用零值对数据中的缺失值进行填充,所以应用本发明实施例剔除非必要的零元素后,能够使得待处理的数据量急剧降低,极大地提高了联邦学习中数据处理的速度。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的第一种联邦学习中数据加密优化方法的流程示意图;
图2为本发明实施例中步骤S102的一种可能的实现方式的示意图;
图3为本发明实施例中步骤S103的一种可能的实现方式的示意图;
图4为本发明实施例提供的第二种联邦学习中数据加密优化方法的流程示意图;
图5为本发明实施例提供的一种联邦学习中数据加密优化装置的结构示意图;
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中的联邦学习通常用于互联网组织之间联合训练机器学习模型,由于不同的互联网组织拥有各自的用户群体以及用户不同方面的数据,为了保护用户的隐私和数据的安全,这些互联网组织不能直接进行数据交换,而是采取同态加密的方式,先对各自的本地样本数据或基于本地样本数据进行模型训练所得到的中间结果数据进行同态加密后再来作为交换。互联网组织收到其他组织发送的同态加密数据后,会将本地样本数据的明文数据与其直接相乘,来得到加密的结果数据。最终由作为第三方机构的协调方来将加密的结果数据解密,将解密后的结果发送给各互联网组织来完成模型训练中的参数更新,以此保证各互联网组织的数据隐私安全。但是,这样的数据处理过程计算量太大,联邦学习效率较低,为解决这一技术问题,本发明实施例提供了一种联邦学习中数据加密优化方法及装置。
下面通过具体实施例对本发明实施例提供的联邦学习中数据加密优化方法进行详细说明。
本发明的一个实施例中,如图1所示,提供了一种联邦学习中数据加密优化方法的流程示意图,上述方法包括以下步骤S101-S103。
步骤S101:获取联邦学习过程中本地样本数据的明文数据矩阵及非本地数据的同态加密数据。
上述本地样本数据可以是联邦学习过程中,在本地对机器学习模型进行训练之前,所获得的基础样本数据,模型的训练需要由基础样本数据与非本地的其他组织数据经过计算处理共同构成的解密结果数据。例如,银行A和电商B需要针对用户的***习惯进行学习,但是二者各自的用户资料不能向对方公开,那么即可以通过联邦学习来实现。此时对于银行A而言,本地样本数据可以是银行A的用户数据,而非本地的其他组织数据则是电商B的用户数据,而银行A所获得的非本地数据的同态加密数据,则是电商B对上述非本地的其他组织数据进行同态加密后的数据。
一个例子中,非本地数据可以是其他组织的样本数据,也可以是对其他组织的样本数据进行处理后所得到的中间结果数据,可以用于联邦学习后续的计算。
一个例子中,上述本地样本数据中,样本可以同时具有数值类型的连续特征和非数值类型的类别特征。连续特征可以直接以数值的形式,作为各样本的数据保存在本地样本数据中,例如,每个作为样本的志愿者的身高数值。而非数值类型的类别特征则需要事先将各样本的特征值转化为数值,然后再作为各样本的数据保存在本地样本数据中,例如,每个作为样本的志愿者的性别特征。
一个例子中,上述将各样本的非数值类型的类别特征的特征值转化为数值,可以通过one-hot编码(一位有效编码)实现,上述one-hot编码可以对各样本的各非数值类别特征的不同特征值进行编码,将特征值转化为二进制向量,将所得到的二进制向量作为各样本的数据保存在本地样本数据中。
例如,作为样本的a、b、c三位志愿者的性别特征分别为男、女、男,那么经过one-hot编码实现后,这三位志愿者的性别特征可以表示为如下表格:
表1样本中志愿者的性别特征编码表
男 | 女 | |
a | 1 | 0 |
b | 0 | 1 |
c | 1 | 0 |
那么,a、b、c三位志愿者的性别特征可以分别表示为(1,0)、(0,1)、(1,0)。
上述本地样本数据中的明文数据矩阵可以是未经过加密处理的本地样本数据中的矩阵,上述非本地数据的同态加密数据可以是上述模型训练过程中所需的其他组织数据经过同态加密处理后所得到的数据,也可以是对其他组织数据进行处理后所得到的中间结果数据经过同态加密处理后所得到的数据。对经过同态加密处理后的其他组织数据进行计算处理,所得到的结果与对未加密的原始其他组织数据进行计算处理的结果一致。因此,上述联邦学习可以通过对本地样本数据的明文数据矩阵和非本地数据的同态加密数据进行计算处理,得到模型训练所需要的解密结果数据。
步骤S102:对明文数据矩阵进行非零元素的提取得到稀疏数据。
由上文举例中的非数值类别特征的特征值转化为数值后的结果可知,上述明文数据矩阵中可以存在大量无意义的零元素。对明文数据矩阵进行非零元素的提取,可以是将明文数据矩阵中的零元素去掉,仅保存非零元素,将处理后的明文数据矩阵作为稀疏数据;也可以是将非零元素提取出来,组成仅包含非零元素的新数据,作为稀疏数据。
步骤S103:基于稀疏数据与同态加密数据计算得到加密结果数据。
将上述所得的仅包含非零元素的稀疏数据与上述同态加密数据进行后续的计算处理,可以得到加密结果数据。加密结果数据可以用于联邦学习过程中后续的进一步计算,例如,计算梯度、损失等。上述计算处理可以基于纵向逻辑回归算法,也可以基于其他联邦学习过程中所需的算法。
由以上可知,应用本发明实施例提供的联邦学习中数据加密优化方法,通过获取联邦学习过程中本地样本数据的明文数据矩阵及非本地数据的同态加密数据,从明文数据矩阵中提取非零元素,去掉不必要的零元素,基于经过这样的元素提取之后所得到的稀疏数据与同态加密数据进行计算,来得到加密结果数据。这样的计算过程由于剔除了非必要的零元素,仅保留了必要的非零元素,所以极大地降低了加密过程中待计算的数据量,提高了数据加密过程的效率,进而提高了联邦学习的效率。同时,由于实际应用中常使用零值对数据中的缺失值进行填充,所以应用本发明实施例剔除非必要的零元素后,能够使得待处理的数据量急剧降低,极大地提高了联邦学习中数据处理的速度。
在一种可能的实施方式中,参见图2,上述步骤S102对明文数据矩阵进行非零元素的提取得到稀疏数据,包括:
S102A:针对明文数据矩阵中的每一非零元素,提取该非零元素的位置信息和元素值,得到该非零元素的向量。
上述提取明文数据矩阵中的非零元素,可以是针对每一非零元素,提取该非零元素的位置信息和元素值,根据位置信息和元素值,得到该非零元素的向量。
一个例子中,非零元素的向量值可以由位置信息和元素值直接拼接得到,例如,矩阵中有两个非零元素,可以分别保存为(0,0,2)和(2,1,1),意为第一个非零元素的位置信息为(0,0),元素值为2,第二个非零元素的位置信息为(2,1),元素值为1。也可以将这两个非零元素分别保存为(2,0,0)和(1,2,1),即元素值在前与位置信息拼接。
S102B:按照预设保存规则,将各非零元素的向量保存为列表,得到明文数据的稀疏数据。
上述预设保存规则可以是预先设定的对各非零元素的向量保存的规则。一个例子中,预设保存规则可以是按照各非零元素位置信息的先后顺序,将各非零元素的向量保存为列表,例如,矩阵的两个非零元素(0,0,2)和(2,1,1),可以按照位置信息的先后保存为列表[(0,0,2),(2,1,1)]。
由以上可知,应用本发明实施例提供的联邦学习中数据加密优化方法,能够通过提取非零元素的位置信息和元素值来组成各非零元素的向量值,将各非零元素的向量值保存为列表来组成稀疏数据,来进行后续的计算处理,能够保证计算过程中对数据的精度要求,同时,由于实际应用中常使用零值对数据中的缺失值进行填充,所以应用本发明实施例剔除非必要的零元素后,能够使得待处理的数据量急剧降低,极大地提高了联邦学习中数据处理的速度。
在一种可能的实施方式中,参见图3,上述步骤S103基于稀疏数据与同态加密数据计算得到加密结果数据,包括:
S103A:针对稀疏数据中的每一向量,根据该向量的位置信息,确定同态加密数据中与该向量的位置信息相同的元素,得到该向量对应的加密元素。
上述得到稀疏数据中向量所对应的加密元素,可以是根据稀疏数据中的每一向量的位置信息,确定上述同态加密数据中与该向量的位置信息相同的元素。例如,针对稀疏数据中的两个向量(0,0,2)和(2,1,1),可以根据两个非零元素的位置信息(0,0)和(2,1),来确定同态加密数据中位于矩阵的(0,0)和(2,1)这两个位置的两个加密元素,分别作为这两个非零元素对应的加密元素。
S103B:将稀疏数据中各向量的元素值与各向量各自对应的加密元素相乘,得到相乘结果,并对相乘结果求和,得到加密结果数据。
上述将稀疏数据中各向量的元素值与各向量各自对应的加密元素相乘,可以是将元素值与各向量对应的加密元素进行数值相乘,得到相乘结果,并对相乘结果进行行或列的求和,将求和所得到的数值作为加密结果数据矩阵中,该位置信息对应的数值信息,保存为加密结果数据中。
例如,稀疏数据中的两个向量(0,0,2)和(2,1,1),对应的同态加密数据可以为一个列向量,该列向量中位于(0,0)和(1,0)这两个位置的两个加密元素分别为3和4,那么将这两个向量与对应的加密元素相乘后所得到的数值为加密后的6和4,可以将这两个数值分别作为相乘结果的矩阵中位于(0,0)和(2,1)这两个位置的数值信息,随后对该相乘结果矩阵的每一行进行求和,得到的结果可以为一个列向量,并且实质上可以与将原明文数据矩阵中的每一行与该列向量对应相乘所得到的结果相同,这个结果可以保存为加密结果数据。
一个例子中,上述将稀疏数据中各向量的元素值与各向量各自对应的加密元素相乘,可以是按照稀疏数据中由各向量组成的列表中各向量的先后顺序,对各向量进行计算处理。
由以上可见,应用本发明实施例提供的联邦学习中数据加密优化方法,由于零元素与同态加密数据中对应位置信息的加密元素相乘结果为无意义的0,所以仅将作为稀疏数据的非零元素与同态加密数据中对应位置信息的加密元素进行相乘,所得到的加密结果数据在保证数据精度的同时,降低了计算的复杂度和待处理的数据量,提高了计算的效率,同时,由于实际应用中常使用零值对数据中的缺失值进行填充,所以应用本发明实施例仅对非零元素进行处理,能够使得待处理的数据量急剧降低,极大地提高了联邦学习中数据处理的速度。
本发明的一个实施例中,参见图4,上述联邦学习中数据加密优化方法还包括以下步骤S401-S403:
S401:对加密结果数据进行加噪处理,得到加噪后的加密结果数据。
S402:将加噪后的加密结果数据发送给协调方,以使协调方解密加噪后的加密结果数据,得到解密结果数据。
S403:利用解密结果数据对预设联邦学习模型进行参数更新。
上述预设联邦学习模型可以是预先设定的本地待训练模型,例如,逻辑回归、泊松回归,深度学习等。
上述协调方可以是联邦学习过程中与本地及其他领域均不相干的第三方机构。上述对加密结果数据进行加噪处理,可以是在加密结果数据中添加高斯噪声,增加干扰数据,将加噪后的加密结果数据发送给联邦学习过程中的协调方。
协调方可以对加密结果数据进行解密,得到解密结果数据,并将解密结果数据返回。上述解密结果数据可以是对本地样本的明文数据处理后的中间计算结果,例如,梯度值等。
本地在接收到解密结果数据后,可以利用解密结果数据可以对预设联邦学习模型进行参数更新。
由以上可知,应用本发明实施例提供的联邦学习中数据加密优化方法,可以通过对加密结果数据加噪,在本地将数据发往协调方以及协调方返回数据的过程中,保证数据的安全性。同时,由作为第三方的协调方对本地样本数据和其他组织数据的同态加密数据经过计算处理后的加密结果数据进行解密,可以在保证本地样本数据和其他组织数据的安全性和隐私性的同时,得到本地模型训练所需的解密结果数据。
参见图5,本发明实施例还提供了一种联邦学习中数据加密优化装置的结构示意图,上述装置包括:
数据获取模块501,用于获取联邦学习过程中本地样本数据的明文数据矩阵及非本地数据的同态加密数据;
数据提取模块502,用于对所述明文数据矩阵进行非零元素的提取得到稀疏数据;
数据计算模块503,用于基于所述稀疏数据与所述同态加密数据计算得到加密结果数据。
由以上可知,应用本发明实施例提供的联邦学习中数据加密优化装置,通过获取联邦学习过程中本地样本数据的明文数据矩阵及非本地数据的同态加密数据,从明文数据矩阵中提取非零元素,去掉不必要的零元素,基于经过这样的元素提取之后所得到的稀疏数据与同态加密数据进行计算,来得到加密结果数据。这样的计算过程由于剔除了非必要的零元素,仅保留了必要的非零元素,所以极大地降低了加密过程中待计算的数据量,提高了数据加密过程的效率,进而提高了联邦学习的效率。由于实际应用中常使用零值对数据中的缺失值进行填充,所以应用本发明实施例剔除非必要的零元素后,能够使得待处理的数据量急剧降低,极大地提高了联邦学习中数据处理的速度。
本发明的一个实施例中,所述数据提取模块502,具体用于:
针对所述明文数据矩阵中的每一非零元素,提取该非零元素的位置信息和元素值,得到该非零元素的向量;
按照预设保存规则,将各非零元素的向量保存为列表,得到所述明文数据的稀疏数据。
由以上可知,应用本发明实施例提供的联邦学习中数据加密优化装置,能够通过提取非零元素的位置信息和元素值来组成各非零元素的向量值,将各非零元素的向量值保存为列表来组成稀疏数据,来进行后续的计算处理,能够保证计算过程中对数据的精度要求,同时,由于实际应用中常使用零值对数据中的缺失值进行填充,所以应用本发明实施例剔除非必要的零元素后,能够使得待处理的数据量急剧降低,极大地提高了联邦学习中数据处理的速度。
本发明的一个实施例中,所述数据计算模块503,具体用于:
针对所述稀疏数据中的每一向量,根据该向量的位置信息,确定所述同态加密数据中与该向量的位置信息相同的元素,得到该向量对应的加密元素;
将所述稀疏数据中各向量的元素值与各向量各自对应的加密元素相乘,得到相乘结果,并对相乘结果求和,得到加密结果数据。
由以上可见,应用本发明实施例提供的联邦学习中数据加密优化装置,由于零元素与同态加密数据中对应位置信息的加密元素相乘结果为无意义的0,所以仅将作为稀疏数据的非零元素与同态加密数据中对应位置信息的加密元素进行相乘,所得到的加密结果数据在保证数据精度的同时,降低了计算的复杂度和待处理的数据量,提高了计算的效率,同时,由于实际应用中常使用零值对数据中的缺失值进行填充,所以应用本发明实施例仅对非零元素进行处理,能够使得待处理的数据量急剧降低,极大地提高了联邦学习中数据处理的速度。
本发明的一个实施例中,所述装置还包括:
数据加噪模块,用于对所述加密结果数据进行加噪处理,得到加噪后的加密结果数据;
加噪数据获得模块,用于将所述加噪后的加密结果数据发送给协调方,以使所述协调方解密所述加噪后的加密结果数据,得到解密结果数据;
模型训练模块,用于利用所述解密结果数据对预设联邦学习模型进行参数更新。
由以上可知,应用本发明实施例提供的联邦学习中数据加密优化装置,可以通过对加密结果数据加噪,在本地将数据发往协调方以及协调方返回数据的过程中,保证数据的安全性。同时,由作为第三方的协调方对本地样本数据和其他组织数据的同态加密数据经过计算处理后的加密结果数据进行解密,可以在保证本地样本数据和其他组织数据的安全性和隐私性的同时,得到本地模型训练所需的解密结果数据。
参见图6,本发明实施例还提供了一种电子设备的结构示意图,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信;
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实现上述任一方法实施例所述的方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一联邦学习中数据加密优化方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一联邦学习中数据加密优化方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、存储介质和程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (8)
1.一种联邦学习中数据加密优化方法,其特征在于,所述方法包括:
获取联邦学习过程中本地样本数据的明文数据矩阵及非本地数据的同态加密数据;
对所述明文数据矩阵进行非零元素的提取得到稀疏数据;
针对所述稀疏数据中的每一向量,根据该向量的位置信息,确定所述同态加密数据中与该向量的位置信息相同的元素,得到该向量对应的加密元素;
将所述稀疏数据中各向量的元素值与各向量各自对应的加密元素相乘,得到相乘结果,并对相乘结果求和,得到加密结果数据。
2.根据权利要求1所述的方法,其特征在于,所述对所述明文数据矩阵进行非零元素的提取得到稀疏数据,包括:
针对所述明文数据矩阵中的每一非零元素,提取该非零元素的位置信息和元素值,得到该非零元素的向量;
按照预设保存规则,将各非零元素的向量保存为列表,得到所述明文数据的稀疏数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述加密结果数据进行加噪处理,得到加噪后的加密结果数据;
将所述加噪后的加密结果数据发送给协调方,以使所述协调方解密所述加噪后的加密结果数据,得到解密结果数据;
利用所述解密结果数据对预设联邦学习模型进行参数更新。
4.一种联邦学习中数据加密优化装置,其特征在于,所述装置包括:
数据获取模块,用于获取联邦学习过程中本地样本数据的明文数据矩阵及非本地数据的同态加密数据;
数据提取模块,用于对所述明文数据矩阵进行非零元素的提取得到稀疏数据;
数据计算模块,用于针对所述稀疏数据中的每一向量,根据该向量的位置信息,确定所述同态加密数据中与该向量的位置信息相同的元素,得到该向量对应的加密元素;将所述稀疏数据中各向量的元素值与各向量各自对应的加密元素相乘,得到相乘结果,并对相乘结果求和,得到加密结果数据。
5.根据权利要求4所述的装置,其特征在于,所述数据提取模块,具体用于:
针对所述明文数据矩阵中的每一非零元素,提取该非零元素的位置信息和元素值,得到该非零元素的向量;
按照预设保存规则,将各非零元素的向量保存为列表,得到所述明文数据的稀疏数据。
6.根据权利要求4所述的装置,其特征在于,所述装置还包括:
数据加噪模块,用于对所述加密结果数据进行加噪处理,得到加噪后的加密结果数据;
加噪数据获得模块,用于将所述加噪后的加密结果数据发送给协调方,以使所述协调方解密所述加噪后的加密结果数据,得到解密结果数据;
模型训练模块,用于利用所述解密结果数据对预设联邦学习模型进行参数更新。
7.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-3任一所述的方法步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110753509.3A CN113516253B (zh) | 2021-07-02 | 2021-07-02 | 一种联邦学习中数据加密优化方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110753509.3A CN113516253B (zh) | 2021-07-02 | 2021-07-02 | 一种联邦学习中数据加密优化方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113516253A CN113516253A (zh) | 2021-10-19 |
CN113516253B true CN113516253B (zh) | 2022-04-05 |
Family
ID=78066279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110753509.3A Active CN113516253B (zh) | 2021-07-02 | 2021-07-02 | 一种联邦学习中数据加密优化方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113516253B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113965314B (zh) * | 2021-12-22 | 2022-03-11 | 深圳市洞见智慧科技有限公司 | 同态加密处理方法及相关设备 |
CN115865307B (zh) * | 2023-02-27 | 2023-05-09 | 蓝象智联(杭州)科技有限公司 | 一种用于联邦学习的数据点乘运算方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931950A (zh) * | 2020-09-28 | 2020-11-13 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习进行模型参数更新的方法及*** |
CN112001502A (zh) * | 2020-08-24 | 2020-11-27 | 平安科技(深圳)有限公司 | 高延时网络环境鲁棒的联邦学习训练方法及装置 |
CN112016698A (zh) * | 2020-08-28 | 2020-12-01 | 深圳前海微众银行股份有限公司 | 因子分解机模型构建方法、设备及可读存储介质 |
CN112288101A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技(深圳)有限公司 | 基于联邦学习的gbdt与lr融合方法、装置、设备和存储介质 |
CN112396191A (zh) * | 2020-12-29 | 2021-02-23 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习进行模型参数更新的方法、***及装置 |
US20210065002A1 (en) * | 2018-05-17 | 2021-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concepts for distributed learning of neural networks and/or transmission of parameterization updates therefor |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109460536B (zh) * | 2018-11-16 | 2023-06-02 | 青岛大学 | 一种矩阵运算的安全外包方法 |
CN109597647B (zh) * | 2018-11-29 | 2020-11-10 | 龙芯中科技术有限公司 | 数据处理方法及设备 |
CN112765623B (zh) * | 2021-01-15 | 2022-08-02 | 浙江科技学院 | 基于相位恢复算法的光学多图像认证和加密方法 |
-
2021
- 2021-07-02 CN CN202110753509.3A patent/CN113516253B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210065002A1 (en) * | 2018-05-17 | 2021-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concepts for distributed learning of neural networks and/or transmission of parameterization updates therefor |
CN112001502A (zh) * | 2020-08-24 | 2020-11-27 | 平安科技(深圳)有限公司 | 高延时网络环境鲁棒的联邦学习训练方法及装置 |
CN112016698A (zh) * | 2020-08-28 | 2020-12-01 | 深圳前海微众银行股份有限公司 | 因子分解机模型构建方法、设备及可读存储介质 |
CN111931950A (zh) * | 2020-09-28 | 2020-11-13 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习进行模型参数更新的方法及*** |
CN112288101A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技(深圳)有限公司 | 基于联邦学习的gbdt与lr融合方法、装置、设备和存储介质 |
CN112396191A (zh) * | 2020-12-29 | 2021-02-23 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习进行模型参数更新的方法、***及装置 |
Non-Patent Citations (3)
Title |
---|
SAFER: Sparse Secure Aggregation for Federated Learning;Constance Beguier,等;《arXiv:2007.14861v2 [stat.ML]》;20200907;全文 * |
基于并行同态加密和STC的高效安全联邦学习;肖林声,钱慎一;《通信技术》;20210430;全文 * |
如何破解AI困境?京东智联云联邦平台有良方;京东科技开发者;《https://developer.jdcloud.com/article/1377》;20201224;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113516253A (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI689841B (zh) | 資料加密、機器學習模型訓練方法、裝置及電子設備 | |
WO2021120888A1 (zh) | 一种基于隐私数据进行模型训练的方法及*** | |
CN111931950B (zh) | 一种基于联邦学习进行模型参数更新的方法及*** | |
CN113516253B (zh) | 一种联邦学习中数据加密优化方法及装置 | |
WO2021204268A1 (zh) | 基于隐私数据进行模型训练 | |
US11500992B2 (en) | Trusted execution environment-based model training methods and apparatuses | |
CN114696990B (zh) | 基于全同态加密的多方计算方法、***及相关设备 | |
Ding et al. | Knowledge gradient for selection with covariates: Consistency and computation | |
Callegaro et al. | Pricing via recursive quantization in stochastic volatility models | |
Park et al. | Testing for a unit root against transitional autoregressive models | |
WO2022237175A1 (zh) | 图数据的处理方法、装置、设备、存储介质及程序产品 | |
Brahmi et al. | Dual support method for solving convex quadratic programs | |
CN115510502B (zh) | 一种隐私保护的pca方法及*** | |
Bouzebda et al. | General Bootstrap for Dual ϕ‐Divergence Estimates | |
TW202409870A (zh) | 資料處理方法、裝置、電子設備及存儲介質 | |
CN112101609B (zh) | 关于用户还款及时性的预测***、方法、装置及电子设备 | |
CN112785095A (zh) | 贷款预测方法、装置、电子设备和计算机可读存储介质 | |
CN116432040A (zh) | 基于联邦学习的模型训练方法、装置、介质以及电子设备 | |
CN116383502A (zh) | 基于电子商务的信息推送方法及*** | |
Li et al. | Sandor Type Inequalities for Sugeno Integral with respect to General (α, m, r)‐Convex Functions | |
Loots et al. | On the real representation of quaternion random variables | |
CN114330758B (zh) | 基于联邦学习的数据处理方法、装置及存储介质 | |
CN117709444B (zh) | 基于去中心化联邦学习的差分隐私模型更新方法以及*** | |
CN117811851B (zh) | 一种4g通信模块数据传输方法 | |
Fang et al. | The Block Principal Pivoting Algorithm for the Linear Complementarity Problem with an M‐Matrix |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |