CN117973488B - 具有隐私保护的大语言模型训练、推理方法及*** - Google Patents
具有隐私保护的大语言模型训练、推理方法及*** Download PDFInfo
- Publication number
- CN117973488B CN117973488B CN202410370325.2A CN202410370325A CN117973488B CN 117973488 B CN117973488 B CN 117973488B CN 202410370325 A CN202410370325 A CN 202410370325A CN 117973488 B CN117973488 B CN 117973488B
- Authority
- CN
- China
- Prior art keywords
- data
- matrix
- model
- holder
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims abstract description 216
- 238000010606 normalization Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000004321 preservation Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000000586 desensitisation Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Storage Device Security (AREA)
Abstract
本发明公开了一种具有隐私保护的大语言模型训练、推理方法及***,涉及大语言模型训练技术领域,该方法包括:接收模型持有方发送的公钥,公钥与模型持有方的私钥相对应;对原始字符进行转化,得到第一矩阵和第二矩阵,并基于第一矩阵和第二矩阵得到第一数据;接收多头注意力层中的参数矩阵加密形成的密文矩阵;利用第一数据和密文矩阵计算得到第二数据;构建一个随机矩阵,并基于第一数据、第二数据和随机矩阵得到第三数据;将第三数据发送给模型持有方,以使模型持有方通过私钥对第三数据进行解密后,对模型进行训练,得到训练后的目标大语言模型。本发明兼顾数据隐私保护和模型隐私保护的同时,还可以保证模型训练的准确性。
Description
技术领域
本发明实施例涉及大语言模型训练技术领域,具体涉及一种具有隐私保护的大语言模型训练、推理方法及***。
背景技术
对通用大语言模型进行有针对性调参,以适用于特定场景是大语言模型常见使用方式。在有针对性的调参时,会面临一些安全性问题。例如,通用大语言模型作为人工智能金融客服,为客户提供金融咨询,为使通用大语言模型适用于金融场景,需要在一些以金融为背景的文本数据上进行训练,而这些信息具有高度隐私性,是不能直接公开给模型训练方的,否则会违反法律法规。
针对上述技术问题,现有技术对其解决的方式大概有两种方式,其中一种方式是采用对数据脱敏技术来保护数据的隐私。训练方在脱敏后的文本数据上训练模型。这种技术虽然保护了文本信息,但是使得文本失去了关键信息以及文本中文字的统计关系,在脱敏后的文本数据上训练得到的模型准确率低,效果差,缺乏实用性。
还有一种方式是选择将通用模型直接给数据方,让数据方在自己的文本数据上进行训练,以达到对通用模型进行针对性调参的目的。这一技术虽然保护了数据方的数据不被泄露,但模型方的通用模型直接泄露给了数据方。而通用模型是由模型方花费大量财力训练出来的,属于模型方的商业机密,在现实中模型方不可能将通用模型直接给数据方。因此,该方案缺乏实际可行性。
发明内容
为了克服现有技术的不足,本发明实施例的目的在于提供一种具有隐私保护的大语言模型训练、推理方法及***,其兼顾数据隐私保护和模型隐私保护的同时,还可以保证模型训练的准确性。
为解决上述问题,本发明实施例第一方面公开一种具有隐私保护的大语言模型训练方法,包括:
接收模型持有方发送的公钥,公钥与模型持有方的私钥相对应;
利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化,得到n×d维的第一矩阵X和n×d维的第二矩阵Y,并基于第一矩阵X和第二矩阵Y得到第一数据Z1:Z1=X+Y;其中,模型持有方持有的模型为tansformer模型,n为原始字符的总数,d为tansformer模型的维度参数;
接收模型持有方发送的密文矩阵,密文矩阵/>为模型持有方利用公钥对参数矩阵/>加密形成,参数矩阵/>为编码模块的多头注意力层中的参数矩阵;其中,Wi,1为多头注意力层中的第1个参数的第i个参数矩阵,Wi,2为多头注意力层中的第2个参数的第i个参数矩阵,Wi,3为多头注意力层中的第3个参数的第i个参数矩阵,W4为多头注意力层中的第4个参数的参数矩阵,/>分别为Wi,1、Wi,2、Wi,3、W4的密文参数矩阵,其中,1≤i≤h,h为第1-3个参数的参数矩阵数;
利用第一数据Z1和密文矩阵计算得到n×d维的第二数据Z2;
构建一个n×d维的随机矩阵G,随机矩阵中的元素符合高斯分布,并基于第一数据Z1、第二数据Z2和随机矩阵G得到第三数据Z3:Z3= Z2+ Z1+G;
将第三数据Z3发送给模型持有方,以使所述模型持有方通过私钥对第三数据Z3进行解密后,作为模型持有方持的编码模块的归一化层的输入数据,对tansformer模型进行训练,得到训练后的目标大语言模型。
作为较佳的实施例,在本发明实施例的第一方面中,利用第一数据Z1和密文矩阵计算得到n×d维的第二数据Z2,包括:
基于第一数据Z1和密文矩阵,使用公钥同态计算得到中间结果R:
;
其中,R i 为第i个中间结果;
计算中间结果R的近似值S:
假设R i =(r i1,r i2,…,r im),则:
;
其中,S i 为R i 的近似值,r ij为R i 中的第j个元素,1≤j≤m,m为R i 的元素总数;f(r ij )为函数e x 在x=r ij 处泰勒展开式的前五项,将f(r ij )作为e rij 的近似值,即:
;
使用公钥同态计算,并将/>依次拼接形成拼接矩阵H;
使用公钥同态计算Z2:
。
作为较佳的实施例,在本发明实施例的第一方面中,所述tansformer模型包括编码模块、解码模块、线性层以及softmax层;
模型持有方通过私钥对第三数据Z3进行解密后,作为模型持有方持有的编码模块的归一化层的输入数据,对tansformer模型进行训练,得到训练后的目标大语言模型,包括:
模型持有方通过私钥对第三数据Z3进行解密后,得到第四数据Z4;
模型持有方将第四数据Z4输入tansformer模型的编码模块的第一归一化层,再依次经过编码模块的前馈层、恒等映射层以及第二归一化层后,再依次通过解码模块、线性层以及softmax层输出结果,使用反向传播算法完成模型的参数的更新,直至tansformer模型满足需求,得到目标大语言模型。
本发明实施例第二方面公开一种具有隐私保护的大语言模型训练方法,其包括以下步骤:
向数据持有方发送的公钥,公钥与私钥相对应;
向数据持有方发送tansformer模型中编码模块提供的词嵌入层和位置编码层,以使数据持有方基于词嵌入层和位置编码层分别对原始字符进行转化,得到n×d维的第一矩阵X和n×d维的第二矩阵Y,数据持有方还基于第一矩阵X和第二矩阵Y得到第一数据Z1:Z1=X+Y;其中,模型持有方持有的模型为tansformer模型,n为原始字符的总数,d为tansformer模型的维度参数;
利用公钥对参数矩阵加密形成密文矩阵/>,参数矩阵为编码模块的多头注意力层中的参数矩阵;并将密文矩阵/>发送给数据持有方,以使数据持有方利用第一数据Z1和密文矩阵/>计算得到n×d维的第二数据Z2;其中,Wi,1为多头注意力层中的第1个参数的第i个参数矩阵,Wi,2为多头注意力层中的第2个参数的第i个参数矩阵,Wi,3为多头注意力层中的第3个参数的第i个参数矩阵,W4为多头注意力层中的第4个参数的参数矩阵,/>分别为Wi,1、Wi,2、Wi,3、W4的密文参数矩阵,其中,1≤i≤h,h为第1-3个参数的参数矩阵数;
接收数据持有方发送的第三数据Z3:Z3= Z2+ Z1+G,其中,G为数据持有方构建的一个n×d维的随机矩阵G,随机矩阵中的元素符合高斯分布;
通过私钥对第三数据Z3进行解密后,作为编码模块的归一化层的输入数据,对tansformer模型进行训练,得到训练后的目标大语言模型。
作为较佳的实施例,在本发明实施例的第二方面中,所述数据持有方利用第一数据Z1和密文矩阵计算得到n×d维的第二数据Z2,包括:
数据持有方基于第一数据Z1和密文矩阵,使用公钥同态计算得到中间结果R:
;
其中,R i 为第i个中间结果;
数据持有方计算中间结果R的近似值S:
假设R i =(r i1,r i2,…,r im),则:
;
其中,S i 为R i 的近似值,r ij为R i 中的第j个元素,1≤j≤m,m为R i 的元素总数;f(r ij )为函数e x 在x=r ij 处泰勒展开式的前五项,将f(r ij )作为e rij 的近似值,即:
;
数据持有方使用公钥同态计算,并将依次拼接形成拼接矩阵H;
数据持有方使用公钥同态计算Z2:
。
作为较佳的实施例,在本发明实施例的第二方面中,所述tansformer模型包括编码模块、解码模块、线性层以及softmax层;
通过私钥对第三数据Z3进行解密后,作为编码模块的归一化层的输入数据,对tansformer模型进行训练,得到训练后的目标大语言模型,包括:
通过私钥对第三数据Z3进行解密后,得到第四数据Z4;
将第四数据Z4输入tansformer模型的编码模块的第一归一化层,再依次经过编码模块的前馈层、恒等映射层以及第二归一化层后,再依次通过解码模块、线性层以及softmax层输出结果,使用反向传播算法完成模型的参数的更新,直至tansformer模型满足需求,得到目标大语言模型。
本发明实施例第三方面公开了一种具有隐私保护的大语言模型推理方法,包括本发明实施例第二方面的一种具有隐私保护的大语言模型训练方法,还包括以下步骤:
接收目标数据,并将目标数据输入目标大语言模型,得到推理结果。
本发明实施例第四方面公开了一种具有隐私保护的大语言模型训练***,其包括:
第一接收单元,用于接收模型持有方发送的公钥,公钥与模型持有方的私钥相对应;
转化单元,用于利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化,得到n×d维的第一矩阵X和n×d维的第二矩阵Y,并基于第一矩阵X和第二矩阵Y得到第一数据Z1:Z1=X+Y;其中,模型持有方持有的模型为tansformer模型,n为原始字符的总数,d为tansformer模型的维度参数;
第二接收单元,用于接收模型持有方发送的密文矩阵,密文矩阵为模型持有方利用公钥对参数矩阵/>加密形成,参数矩阵为编码模块的多头注意力层中的参数矩阵;其中,Wi,1为多头注意力层中的第1个参数的第i个参数矩阵,Wi,2为多头注意力层中的第2个参数的第i个参数矩阵,Wi,3为多头注意力层中的第3个参数的第i个参数矩阵,W4为多头注意力层中的第4个参数的参数矩阵,/>分别为Wi,1、Wi,2、Wi,3、W4的密文参数矩阵,其中,1≤i≤h,h为第1-3个参数的参数矩阵数;
第一计算单元,用于利用第一数据Z1和密文矩阵计算得到n×d维的第二数据Z2;
第二计算单元,用于构建一个n×d维的随机矩阵G,随机矩阵中的元素符合高斯分布,并基于第一数据Z1、第二数据Z2和随机矩阵G得到第三数据Z3:Z3= Z2+ Z1+G;
训练单元,用于将第三数据Z3发送给模型持有方,以使模型持有方通过私钥对第三数据Z3进行解密后,作为模型持有方持有的编码模块的归一化层的输入数据,对tansformer模型进行训练,得到训练后的目标大语言模型。
本发明实施例第五方面公开一种电子设备,包括存储器、处理器以及存储在存储器中并能在处理器上运行的计算机程序,处理器执行计算机程序时实现上述本发明实施例第一方面公开的一种具有隐私保护的大语言模型训练方法的步骤。
本发明实施例第六方面公开一种计算机可读存储介质,其存储有计算机程序,其中,计算机程序使得计算机执行上述本发明实施例第一方面公开的一种具有隐私保护的大语言模型训练方法的步骤。
本发明实施例第七方面公开一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述本发明实施例第一方面公开的具有隐私保护的大语言模型训练方法的步骤。
本发明实施例第八方面公开一种应用发布平台,应用发布平台用于发布计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行上述本发明实施例第一方面公开的具有隐私保护的大语言模型训练方法的步骤。
与现有技术相比,本发明实施例的有益效果在于:
本发明实施例将在模型持有方的一些步骤转移到数据持有方进行操作,具体是将tansformer模型中编码模块的词嵌入层、位置编码层、多头注意力层以及第一恒等映射层转移到数据持有方进行操作,而且对多头注意力层的参数矩阵进行加密操作,保证模型持有方的模型参数的隐私保护,而且在返回模型持有方的第三数据Z3中增加随机矩阵,也保证了数据持有方数据的隐私保护,由于未进行脱敏操作,可以保证tansformer模型的准确性,具有较高的实用价值。
附图说明
图1是本发明实施例一提供的一种具有隐私保护的大语言模型训练方法的流程示意图;
图2是本发明实施例一提供的tansformer模型的原理框图;
图3是本发明实施例二提供的一种具有隐私保护的大语言模型训练方法的流程示意图;
图4是本发明实施例四公开的一种具有隐私保护的大语言模型训练***的结构示意图;
图5是本发明实施例五公开的一种具有隐私保护的大语言模型训练***的结构示意图;
图6是本发明实施例六公开的一种电子设备的结构示意图。
具体实施方式
本具体实施方式仅仅是对本发明实施例的解释,其并不是对本发明实施例的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明实施例的权利要求范围内都受到专利法的保护。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明实施例一部分实施例,而不是全部的实施例。基于本发明实施例中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明实施例保护的范围。
本申请的说明书和权利要求书中的术语“包括”以及它的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明实施例将在模型持有方的一些步骤转移到数据持有方进行操作,具体是将tansformer模型中编码模块的词嵌入层、位置编码层、多头注意力层以及第一恒等映射层转移到数据持有方进行操作,而且对多头注意力层的参数矩阵进行加密操作,保证模型持有方的模型参数的隐私保护,而且在返回模型持有方的第三数据Z3中增加随机矩阵,也保证了数据持有方数据的隐私保护,由于未进行脱敏操作,可以保证tansformer模型的准确性,具有较高的实用价值,以下结合附图进行详细描述。
实施例一
请参阅图1,图1是本发明一个实施例公开的一种具有隐私保护的大语言模型训练方法的流程示意图。本发明实施例一的执行主体为数据持有方的相关电子设备。
如图1所示,该具有隐私保护的大语言模型训练方法包括:
S110、接收模型持有方发送的公钥,公钥与模型持有方的私钥相对应;
这里的模型持有方持有通用模型,例如tansformer模型。请参照图2所示,tansformer模型主要包括编码模块、解码模块、线性层以及softmax层,这里的数据处理过程主要在编码模块中进行,即本发明的改进点主要是将编码模块的前4层(词嵌入层E1、位置编码层E2、多头注意力层E3以及第一恒等映射层E4)放到数据持有方进行,其他部分(解码模块、线性层以及softmax层)采用现有技术的架构以及处理方式。需要说明的是,如果编码模块具有多个时,则上述的编码模块的前4层是指第一个编码模块的前4层。
私钥和公钥由模型持有方基于一定的加密算法形成,例如可以通过CKKS全同态加密算法的密钥生成算法,生成私钥sk,公钥pk,并将公钥pk发送给数据持有方,后续数据持有方在进行相关运算时(主要是得到第二数据Z2的过程),如果涉及带有密文矩阵时,则需要使用公钥进行同态计算。
S120、利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化,得到n×d维的第一矩阵X和n×d维的第二矩阵Y,并基于第一矩阵X和第二矩阵Y得到第一数据Z1:Z1=X+Y;其中,n为原始字符的总数,d为tansformer模型的维度参数。
事实上,该步骤与在模型持有方的计算过程类似,仅是将第一编码模块提供的词嵌入层和位置编码层转移到数据持有方进行,这样保证了模型持有方不能直接接触到数据持有方的原始数据,从而无需对原始数据进行脱敏操作,保证了后续训练结果的准确性。
S130、接收模型持有方发送的密文矩阵,密文矩阵/>为模型持有方利用公钥对参数矩阵/>加密形成,参数矩阵/>为编码模块的多头注意力层中的参数矩阵。
多头注意力层中的参数矩阵Wi,1、Wi,2、Wi,3、W4属于模型持有方的商业机密,不能直接展示给数据持有方,因此,需要对多头注意力层中的参数矩阵进行加密。
其中,Wi,1为多头注意力层中的第1个参数的第i个参数矩阵,Wi,2为多头注意力层中的第2个参数的第i个参数矩阵,Wi,3为多头注意力层中的第3个参数的第i个参数矩阵,W4为多头注意力层中的第4个参数的参数矩阵,分别为Wi,1、Wi,2、Wi,3、W4的密文参数矩阵,其中,1≤i≤h,h为第1-3个参数的参数矩阵数;因此,密文矩阵/>共包括3h+1个密文矩阵。
S140、利用第一数据Z1和密文矩阵计算得到n×d维的第二数据Z2。
其具体可以包括以下步骤:
首先,基于第一数据Z1和密文矩阵,使用公钥同态计算得到中间结果R:
其中,R i 为第i个中间结果。按照上述公式计算所有的中间结果,得到中间结果集合。
然后,计算中间结果R的近似值S:
假设R i =(r i1,r i2,…,r im),则:
其中,S i 为R i 的近似值,r ij为R i 中的第j个元素,1≤j≤m,m为R i 的元素总数;f(r ij )为函数e x 在x=r ij 处泰勒展开式的前五项,将f(r ij )作为e rij 的近似值,即:
按照上述过程计算所有的中间结果的近似值。
再后,使用公钥同态计算,并将依次拼接形成拼接矩阵H;
最后,使用公钥同态计算Z2:
。
S150、构建一个n×d维的随机矩阵G,随机矩阵中的元素符合高斯分布,并基于第一数据Z1、第二数据Z2和随机矩阵G得到第三数据Z3:Z3= Z2+ Z1+G。
示例性地,这个的随机矩阵的各个元素均取自一个均值为0,方差为0.1 的高斯分布。之所以将Z1也加进去,是因为第一恒等映射层输出为Z1,将Z2+G为多头注意力层的输出数据,因此,将二者相加后可以直接输入到下一层(即第一归一化层E5)。
S160、将第三数据Z3发送给模型持有方,以使模型持有方通过私钥对第三数据Z3进行解密后,作为模型持有方持有的编码模块的归一化层的输入数据,对tansformer模型进行训练,得到训练后的目标大语言模型。
基于上述的表述,将数据持有方得到的第三数据Z3发送给模型持有方后,模型持有方对该第三数据Z3进行解密后,变成明文,记为第四数据Z4,解密得到的第四数据Z4,由于添加了随机矩阵,且随机矩阵各个元素均取自一个均值为0,方差为0.1 的高斯分布,因此,其对训练结果无影响,而且又对第二数据Z2进行了加密,因此,在数据隐私保护的基础上,还可以保证训练的准确性。
假设编程模块和解码模块均为6个,则先将第四数据Z4输入至第一编程模块的第一归一化层E5,然后再依次经过第一编程模块的前馈层E6、第二恒等映射层E7、第二归一化层E8进入第二编程模块,然后再依次经过第三编程模块、第四编程模块、第五编程模块以及第六编程模块后进入第一解码模块的多头注意力层D6,直到完成第六解码模块后进入线性层L1和softmax层L2,基于softmax层输出结果,使用反向传播算法完成模型的参数的第一次更新。
循环上述过程,采用多组原始字符对该tansformer模型的参数进行多次更新,直至满足需求,满足需求的判断方式可以基于决定系数(R2)、平均绝对误差(MAE)、均方根误差(RMSE)和方差占比(VAF)等中的任一种与预设阈值进行比对确定。当满足R2 = 1,VAF =100%,RMSE = 0, MAE = 0中的任一种时,可以认为模型的满意度最高。
实施例二
请参阅图3,图3是本发明一个实施例公开的一种具有隐私保护的大语言模型训练方法的流程示意图。本发明实施例二的执行主体为模型持有方的相关电子设备。
如图3所示,该具有隐私保护的大语言模型训练方法包括:
S210、向数据持有方发送的公钥,公钥与私钥相对应。
S220、向数据持有方发送tansformer模型中编码模块提供的词嵌入层和位置编码层,以使数据持有方基于词嵌入层和位置编码层分别对原始字符进行转化,得到n×d维的第一矩阵X和n×d维的第二矩阵Y,数据持有方还基于第一矩阵X和第二矩阵Y得到第一数据Z1:Z1=X+Y;其中,模型持有方持有的模型为tansformer模型,n为原始字符的总数,d为tansformer模型的维度参数。
S230、利用公钥对参数矩阵加密形成密文矩阵/>,参数矩阵/>为编码模块的多头注意力层中的参数矩阵,并将密文矩阵发送给数据持有方,以使数据持有方利用第一数据Z1和密文矩阵计算得到n×d维的第二数据Z2;其中,Wi,1为多头注意力层中的第1个参数的第i个参数矩阵,Wi,2为多头注意力层中的第2个参数的第i个参数矩阵,Wi,3为多头注意力层中的第3个参数的第i个参数矩阵,W4为多头注意力层中的第4个参数的参数矩阵,分别为Wi,1、Wi,2、Wi,3、W4的密文参数矩阵,其中,1≤i≤h,h为第1-3个参数的参数矩阵数。
获取第二数据Z2的过程可以包括以下步骤:
数据持有方基于第一数据Z1和密文矩阵,使用公钥同态计算得到中间结果R:
其中,R i 为第i个中间结果;
数据持有方计算中间结果R的近似值S:
假设R i =(r i1,r i2,…,r im),则:
其中,softmax函数代表近似值,即S i 为R i 的近似值,r ij为R i 中的第j个元素,1≤j≤m,m为R i 的元素总数;f(r ij )为函数e x 在x=r ij 处泰勒展开式的前五项,将f(r ij )作为e rij 的近似值,即:
数据持有方使用公钥同态计算,并将依次拼接形成拼接矩阵H;
数据持有方使用公钥同态计算Z2:
。
S240、接收数据持有方发送的第三数据Z3:Z3= Z2+ Z1+G,其中,G为数据持有方构建的一个n×d维的随机矩阵G,随机矩阵中的元素符合高斯分布。
S250、通过私钥对第三数据Z3进行解密后,作为编码模块的归一化层的输入数据,对tansformer模型进行训练,得到训练后的目标大语言模型。
tansformer模型包括编码模块、解码模块、线性层以及softmax层;
模型持有方通过私钥对第三数据Z3进行解密后,得到第四数据Z4;
模型持有方将第四数据Z4输入tansformer模型的编码模块的第一归一化层,再依次经过编码模块的前馈层、恒等映射层以及第二归一化层后,再依次通过解码模块、线性层以及softmax层输出结果,使用反向传播算法完成模型的参数的更新,直至tansformer模型满足需求,得到目标大语言模型。
实施例三
实施例三示出了一种具有隐私保护的大语言模型推理方法,为获取到的目标大语言模型的具体应用,当目标大语言模型采用上述实施例一或实施例二进行训练完成后,即可进行实际应用,例如在AI中的应用(例如智能应答***),则可以在模型持有方接收目标数据后,将目标数据输入目标大语言模型,得到推理结果,然后将推理结果发送给目标数据的发送方。
实施例四
请参阅图4,图4是本发明实施例公开的一种具有隐私保护的大语言模型训练***的结构示意图。如图4所示,该具有隐私保护的大语言模型训练***可以包括:
第一接收单元310,用于接收模型持有方发送的公钥,公钥与模型持有方的私钥相对应;
转化单元320,用于利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化,得到n×d维的第一矩阵X和n×d维的第二矩阵Y,并基于第一矩阵X和第二矩阵Y得到第一数据Z1:Z1=X+Y;其中,模型持有方持有的模型为tansformer模型,n为原始字符的总数,d为tansformer模型的维度参数;
第二接收单元330,用于接收模型持有方发送的密文矩阵,密文矩阵为模型持有方利用公钥对参数矩阵/>加密形成,参数矩阵为编码模块的多头注意力层中的参数矩阵;其中,Wi,1为多头注意力层中的第1个参数的第i个参数矩阵,Wi,2为多头注意力层中的第2个参数的第i个参数矩阵,Wi,3为多头注意力层中的第3个参数的第i个参数矩阵,W4为多头注意力层中的第4个参数的参数矩阵,/>分别为Wi,1、Wi,2、Wi,3、W4的密文参数矩阵,其中,1≤i≤h,h为第1-3个参数的参数矩阵数;
第一计算单元340,用于利用第一数据Z1和密文矩阵计算得到n×d维的第二数据Z2;
第二计算单元350,用于构建一个n×d维的随机矩阵G,随机矩阵中的元素符合高斯分布,并基于第一数据Z1、第二数据Z2和随机矩阵G得到第三数据Z3:Z3= Z2+ Z1+G;
训练单元360,用于将第三数据Z3发送给模型持有方,以使模型持有方通过私钥对第三数据Z3进行解密后,作为模型持有方持有的编码模块的归一化层的输入数据,对tansformer模型进行训练,得到训练后的目标大语言模型。
实施例五
请参阅图5,图5是本发明实施例公开的一种具有隐私保护的大语言模型训练***的结构示意图。如图5所示,该具有隐私保护的大语言模型训练***可以包括:
第一发送单元410,用于向数据持有方发送的公钥,公钥与私钥相对应;
第二发送单元420,用于向数据持有方发送tansformer模型中编码模块提供的词嵌入层和位置编码层,以使数据持有方基于词嵌入层和位置编码层分别对原始字符进行转化,得到n×d维的第一矩阵X和n×d维的第二矩阵Y,数据持有方还基于第一矩阵X和第二矩阵Y得到第一数据Z1:Z1=X+Y;其中,模型持有方持有的模型为tansformer模型,n为原始字符的总数,d为tansformer模型的维度参数;
计算单元430,用于利用公钥对参数矩阵加密形成密文矩阵,参数矩阵/>为编码模块的多头注意力层中的参数矩阵,并将密文矩阵/>发送给数据持有方,以使数据持有方利用第一数据Z1和密文矩阵计算得到n×d维的第二数据Z2;其中,Wi,1为多头注意力层中的第1个参数的第i个参数矩阵,Wi,2为多头注意力层中的第2个参数的第i个参数矩阵,Wi,3为多头注意力层中的第3个参数的第i个参数矩阵,W4为多头注意力层中的第4个参数的参数矩阵,分别为Wi,1、Wi,2、Wi,3、W4的密文参数矩阵,其中,1≤i≤h,h为第1-3个参数的参数矩阵数;
第三发送单元440,用于接收数据持有方发送的第三数据Z3:Z3= Z2+ Z1+G,其中,G为数据持有方构建的一个n×d维的随机矩阵G,随机矩阵中的元素符合高斯分布;
训练单元450,用于通过私钥对第三数据Z3进行解密后,作为编码模块的归一化层的输入数据,对tansformer模型进行训练,得到训练后的目标大语言模型。
实施例六
请参阅图6,图6示出了可以用来实施本发明实施例的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的或/和者要求的本发明实施例的实现。
如图6所示,电子设备包括至少一个处理器510,以及与至少一个处理器510通信连接的存储器,如ROM(只读存储器)520、RAM(随机访问存储器)530等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器510可以根据存储在ROM 520中的计算机程序或者从存储单元580加载到随机访问存储器RAM 530中的计算机程序,来执行各种适当的动作和处理。在RAM 530中,还可存储电子设备操作所需的各种程序和数据。处理器510、ROM520以及RAM 530通过总线540彼此相连。I/O(输入/输出)接口550也连接至总线540。
电子设备中的多个部件连接至I/O接口550,包括:输入单元560,例如键盘、鼠标等;输出单元570,例如各种类型的显示器、扬声器等;存储单元580,例如磁盘、光盘等;以及通信单元590,例如网卡、调制解调器、无线通信收发机等。通信单元590允许电子设备通过诸如因特网的计算机网络或/和各种电信网络与其他设备交换信息/数据。
处理器510可以是各种具有处理和计算能力的通用或/和专用处理组件。处理器510的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器510执行上文实施例一或实施例二描述的一种具有隐私保护的大语言模型训练方法的一个或多个步骤,或者实施例三描述的一种具有隐私保护的大语言模型推理方法的一个或多个步骤。
在一些实施例中,一种具有隐私保护的大语言模型训练方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元580。在一些实施例中,计算机程序的部分或者全部可以经由ROM 520或/和通信单元590而被载入或/和安装到电子设备上。当计算机程序加载到RAM 530并由处理器510执行时,可以执行上文实施例一或实施例二描述的一种具有隐私保护的大语言模型训练方法的一个或多个步骤,或者实施例三描述的一种具有隐私保护的大语言模型推理方法的一个或多个步骤。备选地,在其他实施例中,处理器510可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行一种具有隐私保护的大语言模型训练方法。
以上对本发明公开的一种具有隐私保护的大语言模型训练方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种具有隐私保护的大语言模型训练方法,其特征在于,其包括:
接收模型持有方发送的公钥,所述公钥与所述模型持有方的私钥相对应;
利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化,得到n×d维的第一矩阵X和n×d维的第二矩阵Y,并基于所述第一矩阵X和第二矩阵Y得到第一数据Z1:Z1=X+Y;其中,所述模型持有方持有的模型为tansformer模型,n为所述原始字符的总数,d为tansformer模型的维度参数;
接收模型持有方发送的密文矩阵所述密文矩阵/>为模型持有方利用公钥对参数矩阵{Wi,1,Wi,2,Wi,3},W4加密形成,所述参数矩阵{Wi,1,Wi,2,Wi,3},W4为所述编码模块的多头注意力层中的参数矩阵;其中,Wi,1为多头注意力层中的第1个参数的第i个参数矩阵,Wi,2为多头注意力层中的第2个参数的第i个参数矩阵,Wi,3为多头注意力层中的第3个参数的第i个参数矩阵,W4为多头注意力层中的第4个参数的参数矩阵,分别为Wi,1、Wi,2、Wi,3、W4的密文参数矩阵,其中,1≤i≤h,h为第1-3个参数的参数矩阵数;
利用所述第一数据Z1和所述密文矩阵计算得到n×d维的第二数据Z2;
构建一个n×d维的随机矩阵G,所述随机矩阵中的元素符合高斯分布,并基于第一数据Z1、第二数据Z2和随机矩阵G得到第三数据Z3:Z3=Z2+Z1+G;
将所述第三数据Z3发送给所述模型持有方,以使所述模型持有方通过私钥对所述第三数据Z3进行解密后,作为所述模型持有方持有的编码模块的归一化层的输入数据,对所述tansformer模型进行训练,得到训练后的目标大语言模型;
利用所述第一数据Z1和所述密文矩阵计算得到n×d维的第二数据Z2,包括:
基于所述第一数据Z1和所述密文矩阵使用所述公钥同态计算得到中间结果R:
其中,Ri为第i个中间结果;
计算中间结果R的近似值S:
假设Ri=(ri1,ri2,…,rim),则:
其中,Si为Ri的近似值,rij为Ri中的第j个元素,1≤j≤m,m为Ri的元素总数;f(rij)为函数ex在x=rij处泰勒展开式的前五项,将f(rij)作为erij的近似值,即:
使用所述公钥同态计算并将所述/> 依次拼接形成拼接矩阵H;
使用所述公钥同态计算Z2:
2.根据权利要求1所述的具有隐私保护的大语言模型训练方法,其特征在于,所述tansformer模型包括编码模块、解码模块、线性层以及softmax层;
所述模型持有方通过私钥对所述第三数据Z3进行解密后,作为所述模型持有方持有的编码模块的归一化层的输入数据,对所述tansformer模型进行训练,得到训练后的目标大语言模型,包括:
所述模型持有方通过私钥对所述第三数据Z3进行解密后,得到第四数据Z4;
模型持有方将所述第四数据Z4输入所述tansformer模型的编码模块的第一归一化层,再依次经过编码模块的前馈层、恒等映射层以及第二归一化层后,再依次通过解码模块、线性层以及softmax层输出结果,使用反向传播算法完成模型的参数的更新,直至tansformer模型满足需求,得到目标大语言模型。
3.一种具有隐私保护的大语言模型训练方法,其特征在于,其包括以下步骤:
向数据持有方发送的公钥,所述公钥与私钥相对应;
向所述数据持有方发送tansformer模型中编码模块提供的词嵌入层和位置编码层,以使所述数据持有方基于所述词嵌入层和位置编码层分别对原始字符进行转化,得到n×d维的第一矩阵X和n×d维的第二矩阵Y,所述数据持有方还基于所述第一矩阵X和第二矩阵Y得到第一数据Z1:Z1=X+Y;其中,所述模型持有方持有的模型为tansformer模型,n为所述原始字符的总数,d为tansformer模型的维度参数;
利用公钥对参数矩阵{Wi,1,Wi,2,Wi,3},W4加密形成密文矩阵所述参数矩阵{Wi,1,Wi,2,Wi,3},W4为所述编码模块的多头注意力层中的参数矩阵;并将所述密文矩阵发送给所述数据持有方,以使所述数据持有方利用所述第一数据Z1和所述密文矩阵/>计算得到n×d维的第二数据Z2;其中,Wi,1为多头注意力层中的第1个参数的第i个参数矩阵,Wi,2为多头注意力层中的第2个参数的第i个参数矩阵,Wi,3为多头注意力层中的第3个参数的第i个参数矩阵,W4为多头注意力层中的第4个参数的参数矩阵, 分别为Wi,1、Wi,2、Wi,3、W4的密文参数矩阵,其中,1≤i≤h,h为第1-3个参数的参数矩阵数;
接收所述数据持有方发送的第三数据Z3:Z3=Z2+Z1+G,其中,G为数据持有方构建的一个n×d维的随机矩阵G,所述随机矩阵中的元素符合高斯分布;
通过私钥对所述第三数据Z3进行解密后,作为编码模块的归一化层的输入数据,对所述tansformer模型进行训练,得到训练后的目标大语言模型;
所述数据持有方利用所述第一数据Z1和所述密文矩阵计算得到n×d维的第二数据Z2,包括:
数据持有方基于所述第一数据Z1和所述密文矩阵使用所述公钥同态计算得到中间结果R:
其中,Ri为第i个中间结果;
数据持有方计算中间结果R的近似值S:
假设Ri=(ri1,ri2,…,rim),则:
其中,Si为Ri的近似值,rij为Ri中的第j个元素,1≤j≤m,m为Ri的元素总数;f(rij)为函数ex在x=rij处泰勒展开式的前五项,将f(rij)作为erij的近似值,即:
数据持有方使用所述公钥同态计算并将所述依次拼接形成拼接矩阵H;
数据持有方使用所述公钥同态计算Z2:
4.根据权利要求3所述的具有隐私保护的大语言模型训练方法,其特征在于,所述tansformer模型包括编码模块、解码模块、线性层以及softmax层;
通过私钥对所述第三数据Z3进行解密后,作为编码模块的归一化层的输入数据,对所述tansformer模型进行训练,得到训练后的目标大语言模型,包括:
通过私钥对所述第三数据Z3进行解密后,得到第四数据Z4;
将所述第四数据Z4输入所述tansformer模型的编码模块的第一归一化层,再依次经过编码模块的前馈层、恒等映射层以及第二归一化层后,再依次通过解码模块、线性层以及softmax层输出结果,使用反向传播算法完成模型的参数的更新,直至tansformer模型满足需求,得到目标大语言模型。
5.一种具有隐私保护的大语言模型推理方法,其特征在于,其包括权利要求3-4任一项所述的具有隐私保护的大语言模型训练方法,其还包括以下步骤:
接收目标数据,并将所述目标数据输入所述目标大语言模型,得到推理结果。
6.一种具有隐私保护的大语言模型训练***,其特征在于,其包括:
第一接收单元,用于接收模型持有方发送的公钥,所述公钥与所述模型持有方的私钥相对应;
转化单元,用于利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化,得到n×d维的第一矩阵X和n×d维的第二矩阵Y,并基于所述第一矩阵X和第二矩阵Y得到第一数据Z1:Z1=X+Y;其中,所述模型持有方持有的模型为tansformer模型,n为所述原始字符的总数,d为tansformer模型的维度参数;
第二接收单元,用于接收模型持有方发送的密文矩阵所述密文矩阵为模型持有方利用公钥对参数矩阵{Wi,1,Wi,2,Wi,3},W4加密形成,所述参数矩阵{Wi,1,Wi,2,Wi,3},W4为所述编码模块的多头注意力层中的参数矩阵;其中,Wi,1为多头注意力层中的第1个参数的第i个参数矩阵,Wi,2为多头注意力层中的第2个参数的第i个参数矩阵,Wi,3为多头注意力层中的第3个参数的第i个参数矩阵,W4为多头注意力层中的第4个参数的参数矩阵,/> 分别为Wi,1、Wi,2、Wi,3、W4的密文参数矩阵,其中,1≤i≤h,h为第1-3个参数的参数矩阵数;
第一计算单元,用于利用所述第一数据Z1和所述密文矩阵计算得到n×d维的第二数据Z2;
第二计算单元,用于构建一个n×d维的随机矩阵G,所述随机矩阵中的元素符合高斯分布,并基于第一数据Z1、第二数据Z2和随机矩阵G得到第三数据Z3:Z3=Z2+Z1+G;
训练单元,用于将所述第三数据Z3发送给所述模型持有方,以使所述模型持有方通过私钥对所述第三数据Z3进行解密后,作为所述模型持有方持有的编码模块的归一化层的输入数据,对所述tansformer模型进行训练,得到训练后的目标大语言模型;
所述数据持有方利用所述第一数据Z1和所述密文矩阵计算得到n×d维的第二数据Z2,包括:
数据持有方基于所述第一数据Z1和所述密文矩阵使用所述公钥同态计算得到中间结果R:
其中,Ri为第i个中间结果;
数据持有方计算中间结果R的近似值S:
假设Ri=(ri1,ri2,…,rim),则:
其中,Si为Ri的近似值,rij为Ri中的第j个元素,1≤j≤m,m为Ri的元素总数;f(rij)为函数ex在x=rij处泰勒展开式的前五项,将f(rij)作为erij的近似值,即:
数据持有方使用所述公钥同态计算并将所述依次拼接形成拼接矩阵H;
数据持有方使用所述公钥同态计算Z2:
7.一种电子设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并能在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-2任意一项所述的具有隐私保护的大语言模型训练方法的步骤。
8.一种计算机可读存储介质,其特征在于,其存储有计算机程序,其中,所述计算机程序使得计算机执行权利要求1-2任意一项所述的具有隐私保护的大语言模型训练方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410370325.2A CN117973488B (zh) | 2024-03-29 | 2024-03-29 | 具有隐私保护的大语言模型训练、推理方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410370325.2A CN117973488B (zh) | 2024-03-29 | 2024-03-29 | 具有隐私保护的大语言模型训练、推理方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117973488A CN117973488A (zh) | 2024-05-03 |
CN117973488B true CN117973488B (zh) | 2024-06-07 |
Family
ID=90862970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410370325.2A Active CN117973488B (zh) | 2024-03-29 | 2024-03-29 | 具有隐私保护的大语言模型训练、推理方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117973488B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111723404A (zh) * | 2020-08-21 | 2020-09-29 | 支付宝(杭州)信息技术有限公司 | 联合训练业务模型的方法及装置 |
CN112016698A (zh) * | 2020-08-28 | 2020-12-01 | 深圳前海微众银行股份有限公司 | 因子分解机模型构建方法、设备及可读存储介质 |
WO2021197037A1 (zh) * | 2020-04-01 | 2021-10-07 | 支付宝(杭州)信息技术有限公司 | 双方联合进行数据处理的方法及装置 |
WO2021197035A1 (zh) * | 2020-04-01 | 2021-10-07 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的双方联合训练业务预测模型的方法和装置 |
CN115392487A (zh) * | 2022-06-30 | 2022-11-25 | 中国人民解放军战略支援部队信息工程大学 | 基于同态加密的隐私保护非线性联邦支持向量机训练方法及*** |
CN116663527A (zh) * | 2023-04-21 | 2023-08-29 | 海能达通信股份有限公司 | 语言算法模型的训练方法、存储介质及电子设备 |
CN117150145A (zh) * | 2023-10-31 | 2023-12-01 | 成都企软数字科技有限公司 | 一种基于大语言模型的个性化新闻推荐方法及*** |
CN117200972A (zh) * | 2023-09-08 | 2023-12-08 | 重庆交通大学 | 基于同态加密的明文与密文的矩阵乘法计算方法 |
CN117456989A (zh) * | 2023-10-10 | 2024-01-26 | 福建师范大学 | 基于全同态加密的隐私保护语音分类方法及*** |
CN117527271A (zh) * | 2022-07-27 | 2024-02-06 | 杭州海康威视数字技术股份有限公司 | 图像隐私保护方法、***、装置及存储介质 |
CN117675270A (zh) * | 2023-10-19 | 2024-03-08 | 西安电子科技大学 | 面向纵向联邦学习的多模态数据加密传输方法及*** |
CN117725620A (zh) * | 2024-02-07 | 2024-03-19 | 蓝象智联(杭州)科技有限公司 | 一种基于决策树的分类结果公开验证隐私保护方法及*** |
WO2024059334A1 (en) * | 2022-09-16 | 2024-03-21 | University Of South Florida | System and method of fine-tuning large language models using differential privacy |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9846785B2 (en) * | 2015-11-25 | 2017-12-19 | International Business Machines Corporation | Efficient two party oblivious transfer using a leveled fully homomorphic encryption |
EP3959839A1 (en) * | 2019-04-23 | 2022-03-02 | OneSpan NV | Methods and systems for privacy preserving evaluation of machine learning models |
US11468239B2 (en) * | 2020-05-22 | 2022-10-11 | Capital One Services, Llc | Joint intent and entity recognition using transformer models |
-
2024
- 2024-03-29 CN CN202410370325.2A patent/CN117973488B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021197037A1 (zh) * | 2020-04-01 | 2021-10-07 | 支付宝(杭州)信息技术有限公司 | 双方联合进行数据处理的方法及装置 |
WO2021197035A1 (zh) * | 2020-04-01 | 2021-10-07 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的双方联合训练业务预测模型的方法和装置 |
CN111723404A (zh) * | 2020-08-21 | 2020-09-29 | 支付宝(杭州)信息技术有限公司 | 联合训练业务模型的方法及装置 |
CN112016698A (zh) * | 2020-08-28 | 2020-12-01 | 深圳前海微众银行股份有限公司 | 因子分解机模型构建方法、设备及可读存储介质 |
CN115392487A (zh) * | 2022-06-30 | 2022-11-25 | 中国人民解放军战略支援部队信息工程大学 | 基于同态加密的隐私保护非线性联邦支持向量机训练方法及*** |
CN117527271A (zh) * | 2022-07-27 | 2024-02-06 | 杭州海康威视数字技术股份有限公司 | 图像隐私保护方法、***、装置及存储介质 |
WO2024059334A1 (en) * | 2022-09-16 | 2024-03-21 | University Of South Florida | System and method of fine-tuning large language models using differential privacy |
CN116663527A (zh) * | 2023-04-21 | 2023-08-29 | 海能达通信股份有限公司 | 语言算法模型的训练方法、存储介质及电子设备 |
CN117200972A (zh) * | 2023-09-08 | 2023-12-08 | 重庆交通大学 | 基于同态加密的明文与密文的矩阵乘法计算方法 |
CN117456989A (zh) * | 2023-10-10 | 2024-01-26 | 福建师范大学 | 基于全同态加密的隐私保护语音分类方法及*** |
CN117675270A (zh) * | 2023-10-19 | 2024-03-08 | 西安电子科技大学 | 面向纵向联邦学习的多模态数据加密传输方法及*** |
CN117150145A (zh) * | 2023-10-31 | 2023-12-01 | 成都企软数字科技有限公司 | 一种基于大语言模型的个性化新闻推荐方法及*** |
CN117725620A (zh) * | 2024-02-07 | 2024-03-19 | 蓝象智联(杭州)科技有限公司 | 一种基于决策树的分类结果公开验证隐私保护方法及*** |
Non-Patent Citations (1)
Title |
---|
基于同态加密的卷积神经网络前向传播方法;谢四江;许世聪;章乐;;计算机应用与软件;20200212(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117973488A (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110399742B (zh) | 一种联邦迁移学习模型的训练、预测方法及装置 | |
CN108521326B (zh) | 一种基于向量同态加密的隐私保护的线性svm模型训练方法 | |
CN114696990B (zh) | 基于全同态加密的多方计算方法、***及相关设备 | |
CN112347500B (zh) | 分布式***的机器学习方法、装置、***、设备及存储介质 | |
CN110210233B (zh) | 预测模型的联合构建方法、装置、存储介质及计算机设备 | |
CN113221105B (zh) | 一种基于部分参数聚合的鲁棒性联邦学习算法 | |
US20220374544A1 (en) | Secure aggregation of information using federated learning | |
CN111612167A (zh) | 机器学习模型的联合训练方法、装置、设备及存储介质 | |
CN110969243B (zh) | 防止隐私泄漏的对抗生成网络的训练方法及装置 | |
CN113239391B (zh) | 一种无第三方的逻辑回归联邦学习模型训练***及方法 | |
CN113434898B (zh) | 一种非交互式的隐私保护逻辑回归联邦训练方法及*** | |
CN114930357A (zh) | 经由梯度提升的隐私保护机器学习 | |
CN114186256A (zh) | 神经网络模型的训练方法、装置、设备和存储介质 | |
CN113221153A (zh) | 图神经网络训练方法、装置、计算设备及存储介质 | |
CN113792890A (zh) | 一种基于联邦学习的模型训练方法及相关设备 | |
CN117973488B (zh) | 具有隐私保护的大语言模型训练、推理方法及*** | |
Wang et al. | Reliable and privacy-preserving task matching in blockchain-based crowdsourcing | |
CN111859440B (zh) | 基于混合协议的分布式隐私保护逻辑回归模型的样本分类方法 | |
CN116684062B (zh) | 基于代理重加密的云计算外包和数据动态分享方法及*** | |
CN111737756B (zh) | 经由两个数据拥有方进行的xgb模型预测方法、装置及*** | |
CN117540426A (zh) | 基于同态加密和联邦学习的能源电力数据共享方法及装置 | |
CN115714646A (zh) | 一种基于区块链的隐私保护用户激励方法 | |
CN115130568A (zh) | 支持多参与方的纵向联邦Softmax回归方法及*** | |
CN113989036A (zh) | 一种不暴露入模变量的联邦学习预测方法及*** | |
CN114117487A (zh) | 加密字符串的明文相似性预估方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |