CN117436078B - 联邦学习中双向模型投毒检测方法与*** - Google Patents

Abstract

本发明涉及联邦学习技术领域，特别是涉及联邦学习中双向模型投毒检测方法与***，方法包括：收集数据并构建数据集；客户端基于所述数据集训练本地模型，获取客户端本地梯度并上传至中央服务器；所述中央服务器基于所述客户端本地梯度执行聚合，获取全局梯度，并发送给验证器；所述验证器基于预设的双向投毒防御模型，对所述全局梯度进行验证，并将验证通过的全局梯度发送至所述中央服务器；所述中央服务器基于所述验证通过的全局梯度更新全局模型，完成所述客户端和中央服务器的投毒检测。本发明能够在联邦学习的过程中同时兼顾服务器端与客户端的安全性，提高联邦学习在各领域的广泛应用。

Description

联邦学习中双向模型投毒检测方法与***

技术领域

本发明涉及联邦学习技术领域，特别是涉及联邦学习中双向模型投毒检测方法与***。

背景技术

双向投毒攻击(BPA)同时发生在客户端和中心服务器上，严重影响全局模型的性能，危及用户的安全和隐私，传统的投毒定义为受损的客户端在联邦训练过程中企图破环全局模型，而忽略了服务器端投毒所带来的巨大危害，而医疗数据又具有较高的隐私性，这阻碍了联邦学习的应用。

在所有安全威胁中，投毒攻击对联邦学习的应用构成最大风险。近年来，人们做出了相当大的努力来探索有效的解决办法来应对这些风险：（1）Fan等人提出的联邦迁移学习中的入侵检测框架(Fan et al., 2020)。（2）基于客户端的防御框架，名为白细胞联邦学习(Sun et al., 2021b)，这个框架的独特之处在于它不仅能够检测投毒攻击，而且能够消除对全球模型的负面影响，类似于白细胞杀死细菌。此框架需要客户端的高性能。（3）Zhang等人提出了一种FL-Detector方案。通过比较预测的局部模型和实际的局部模型来识别恶意客户端，以防止模型投毒攻击(Zhang et al., 2022)。但仅对单模型投毒攻击有效。

其次是防御全局模型修改的技术：（1）可验证联邦学习，它属于隐私保护联邦学习领域。可验证联邦学习致力于在参与者之间建立信任(Zhang&Yu, 2022)。为了证明聚合结果不被伪造或修改，服务器需要生成证明、签名或密文(Mou et al., 2021; Hahn et al.,2021; Jiang et al., 2021)。（2）Xu等人首次提出了一种双屏蔽协议来构建可验证的联邦学习框架(Xu et al., 2019)。在该方案中，中心服务器使用同态哈希函数和伪随机函数提供证明来证明全局模型的正确性。然而，这种方案需要很高的通信开销。（3）Guo等人提出了一种维度无关的通信开销可验证聚合方案，该方案要求每个客户端只提交其梯度向量的哈希值，而不提交向量本身(Guo et al., 2020)。但该方案也是基于密码学的，并且涉及为所有客户端生成公钥/私钥，这有一定的安全风险。（4）Mou等人提出了一种基于安全多方计算的可验证联邦学习方案(Mou et al., 2021; Gao&Yu, 2023; Su et al., 2023)。但是，加密协议也会导致大量的计算开销和时间延迟。

现有的研究仅仅解决了某一方面的具体问题，但并没有有效解决双向投毒攻击所面临的现实挑战。此外，这些基于密码学的检测服务器投毒攻击的方法在计算、通信和存储方面具有巨大的成本。因此，亟需联邦学习中双向模型投毒检测方法与***。

发明内容

本发明的目的是提供联邦学习中双向模型投毒检测方法与***，加强对服务器端投毒的防御，能够在联邦学习的过程中同时兼顾服务器端与客户端的安全性，提高联邦学习在各领域的广泛应用。

为实现上述目的，本发明提供了如下方案：

联邦学习中双向模型投毒检测方法，包括：

收集数据并构建数据集；

客户端基于所述数据集训练本地模型，获取客户端本地梯度并上传至中央服务器；

所述中央服务器基于所述客户端本地梯度执行聚合，获取全局梯度，并发送给验证器；

所述验证器基于预设的双向投毒防御模型，对所述全局梯度进行验证，并将验证通过的全局梯度发送至所述中央服务器；

所述中央服务器基于所述验证通过的全局梯度更新全局模型，完成所述客户端和中央服务器的投毒检测。

优选地，所述验证器基于预设的双向投毒防御模型，对所述全局梯度进行验证包括：

所述验证器基于所述全局梯度生成验证向量，将所述验证向量发送至所述客户端和中央服务器；

所述客户端和中央服务器基于所述验证向量获取验证信息，并将所述验证信息发送回所述验证器；

所述验证器将所述验证信息和全局梯度输入所述双向投毒防御模型中，验证所述客户端和中央服务器是否投毒。

优选地，所述验证器基于所述全局梯度生成验证向量包括：

基于所述全局梯度随机生成一个满足的单位向量，/>为第(t-1)轮的全局梯度，/>为随机生成的向量，/>为余弦相似度阈值，当/>小于0时，令单位向量/>=-/>，确保/>始终大于0；

基于计算/>，其中，/>始终大于0；

基于生成所述验证向量，其中，/>为验证向量。

优选地，所述验证信息包括客户端验证信息集和服务器验证信息集，所述客户端验证信息集为CV=，其中，/>为客户端编号，/>为客户端本地梯度与验证向量点积值，/>为客户端本地梯度，/>为客户端集合；

所述服务器验证信息集为SV=，其中，/>为全局梯度与验证向量点积值，/>为向中央服务器发送本地梯度的客户端集合。

优选地，验证器将所述验证信息和全局梯度输入所述双向投毒防御模型中，验证所述客户端和中央服务器是否投毒包括：

所述验证器基于所述客户端验证信息集过滤恶意客户端，并在剩余客户端中识别出投毒客户端；

获取所述恶意客户端和投毒客户端的本地梯度，对所述恶意客户端和投毒客户端的本地梯度进行验证，获取有害梯度；

对所述有害梯度进行清除处理，获取验证通过的全局梯度；

基于所述验证通过的全局梯度和验证向量验证所述中央服务器是否投毒。

优选地，对所述有害梯度进行清除处理，获取验证通过的全局梯度的方法为：

其中，/>为验证通过的全局梯度，/>为未经验证的全局梯度，/>为参与聚合的梯度个数，/>为恶意客户端和投毒客户端总集合，/>为恶意客户端和投毒客户端总数量。

优选地，基于所述验证通过的全局梯度和验证向量验证所述中央服务器是否投毒包括：

通过所述验证通过的全局梯度和验证向量之间的点积验证所述中央服务器是否投毒，验证方法为：

若等式成立，则所述中央服务器验证通过，否则，所述中央服务器投毒；

其中，为验证向量，/>为验证通过的全局梯度，/>为良性客户端数量，/>为良性客户端集合。

为进一步实现上述目的，本发明还提供了联邦学习中双向模型投毒检测***，包括：数据采集模块、检测信息获取模块、投毒检测模块；

所述数据采集模块，用于通过物联网设备收集数据并构建数据集；

所述检测信息获取模块，用于客户端基于所述数据集训练本地模型，获取客户端本地梯度，中央服务器基于所述客户端本地梯度执行聚合，获取全局梯度；

所述投毒检测模块，用于验证器基于预设的双向投毒防御模型，对所述全局梯度进行验证，并将验证通过的全局梯度发送至所述中央服务器，所述中央服务器基于所述验证通过的全局梯度更新全局模型，完成所述客户端和中央服务器的投毒检测。

本发明的有益效果为：

本发明基于矢量点积运算的非加密双向防御来检测双向投毒攻击，非加密设计确保了更低的开销；使用余弦相似度来量化连续的全局梯度之间的角度发生平缓的变化，而余弦相似度又包括点积，因此，利用点积实现了客户端投毒和服务器投毒的双向防御，能够在联邦学习的过程中同时兼顾服务器端与客户端的安全性，提高联邦学习在各领域的广泛应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的联邦学习中双向模型投毒检测方法流程图；

图2为本发明实施例的双向投毒防御算法流程图；

图3为本发明实施例的在MNIST数据集上的防御效果图，其中，（a）为在MNIST数据集上对DBA的防御，（b）为在MNIST数据集上对UMP的防御；

图4为本发明实施例的在ORGANCNIST数据集上的防御效果图，其中，（a）为在ORGANCNIST数据集上对DBA的防御，（b）为在ORGANCNIST数据集上对UMP的防御；

图5为本发明实施例的在CIFAR10数据集上的防御效果图，其中，（a）为在CIFAR10数据集上对DBA的防御，（b）为在CIFAR10数据集上对UMP的防御。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本实施例提供了联邦学习中双向模型投毒检测方法，基于物联网设备收集数据来训练局部模型更新，然后将其上传到中央服务器进行安全数据融合，从而产生用于预测的全局模型。如图1所示，具体包括：

步骤1、通过物联网设备收集数据并构建数据集，发送给客户端；

步骤2、客户端基于数据集训练局部模型，并将局部模型更新上传到中央服务器；

步骤3、中央服务器执行聚合以获得一个未经验证的全局梯度，并将/>发送给验证器；

步骤4、验证器接收并存储，然后根据第(t-1)轮的全局梯度/>生成验证向量/>，并将/>发送到客户端和中央服务器；

验证向量有两个用途：首先，通过计算验证向量与局部梯度之间的余弦相似度作为过滤工具来揭示投毒用户的梯度；其次，根据验证向量来验证服务器是否从事投毒。

生成验证向量的步骤包括：

（1）随机生成一个满足公式的单位向量𝒖；

（2）当小于0时，令/>，确保/>始终大于0；

（3）利用公式计算/>，其中/>总是大于0；

（4）最后根据公式生成验证向量；

步骤5、客户端和中央服务器通过计算验证向量生成验证信息，然后将验证信息发送回验证器，验证信息包括客户端验证信息集{/>}和服务器验证信息集SV；

客户端生成验证信息集CV的过程为：

（1）计算本地梯度：

（2）生成验证信息集：

中央服务器生成验证信息集SV的过程如下：

其中，是那些上传本地更新的客户端集合。

步骤6、验证器将客户端验证信息集CV，服务器验证信息集SV与未经验证的全局梯度传递到预设的双向投毒防御模型中，过滤客户端投毒，检查服务器投毒，如果验证过程成功，则将验证过的全局梯度/>发送到中央服务器；

验证器的作用是在不影响最终模型精度的情况下，彻底消除投毒客户端和恶意客户端对全局模型造成的负面影响，最终验证中心服务器聚合结果的正确性。

双向投毒防御模型基于双向投毒防御算法构建，包括客户端投毒检测算法和服务器投毒检测算法。

在本实施例中，步骤6的具体过程如图2所示，包括：

（1）验证器过滤掉恶意客户端；

收集客户端验证信息集中的详细描述，设相应本地更新的客户端集合为，此时对应的验证信息为CV=/>；

过滤恶意客户端，方法为：

其中，是排除恶意客户端的验证信息集，/>是恶意客户端的验证信息集，是恶意客户端组成的集合，而/>是排除恶意客户端的用户集合。

恶意客户端有意不响应或提供错误的验证信息，这会干扰正常验证的顺利进行并阻碍验证过程。

（2）执行客户端投毒检测算法，在剩余客户端中识别出投毒客户端；

首先，利用计算非恶意本地梯度与验证向量之间的余弦相似度，表示为/>。

然后，使用Gap统计量来确定聚类数目。如果结果超过1个聚类，则会使用k-means将余弦相似度集合分成2个聚类。属于较小聚类的用户形成投毒客户端集合。最后，验证器计算恶意用户集合/>和良性用户集合/>。然后将发送至服务器。

（3）验证器从中央服务器请求恶意客户端和投毒客户端的本地梯度，并使用哈希值进行验证，获取有害梯度；

（4）消除有害梯度带来的负面影响，即将已经聚合到全局梯度中的有害梯度给删除，得到，方法为：

（5）验证器基于与验证向量之间的点积结果，使用过滤投毒客户端的结果和验证信息来检查服务器是否投毒，方法如下；

如果等式成立，验证通过，否则，服务端投毒。

步骤7、中央服务器使用更新全局模型，获得新的全局梯度/>，并将其传播给各方。

为进一步优化技术方案，本实施例还提供了联邦学习中双向模型投毒检测***，包括：数据采集模块、检测信息获取模块、投毒检测模块；

数据采集模块，用于通过物联网设备收集数据并构建数据集；

检测信息获取模块，用于通过客户端基于数据集训练局部模型，获取局部模型更新参数并上传至中央服务器，中央服务器基于局部模型更新参数执行聚合，获取全局梯度；

投毒检测模块，用于通过验证器基于预设的双向投毒防御模型对全局梯度进行验证，若验证成功，则将全局梯度发送至中央服务器更新全局模型，完成客户端和中央服务器的投毒检测。

对本实施例所提出的方法进行验证：

（一）从过滤恶意客户端的安全性、验证向量的正确性和检测服务器投毒的安全性这三个方面进行评估，结果表明本实施例分别对恶意客户端和投毒客户端的过滤，以及对服务器投毒的检测都起到了较大的作用。

（1）过滤恶意客户端的安全性方面：

根据公式，可以有效的过滤出恶意用户。恶意客户端过滤的核心思想是由中央服务器与客户端分别生成验证信息。只有当双方的验证信息匹配时，才认为客户端已被验证。分别从良***器与恶性客户端，恶***器与恶性客户端的不同方面验证了本实施例对恶意客户端的过滤有着十分出色的效果。

（2）检测服务器投毒的安全性方面：

由公式及其拓展从数学上证明了恶意中央服务器成功篡改全局模型而不被检测到的概率为0。

（3）验证向量的正确性方面：

证明了与/>之间的余弦相似度大于等于s，并且证明了验证向量的正确性。

（二）检测服务器投毒的计算开销方面。

由于每个客户端只需要计算自己的验证信息，验证器只需要将验证信息汇总并将其与全局梯度和验证向量的点积进行比较，这与服务器的计算成本相比可忽略不计。

随后研究了服务器计算成本、梯度长度l和客户端数量n之间的关系，结果表明，一旦客户端数量固定，计算时间就不会随着梯度长度的增加而发生显著变化。它表明训练一个更复杂的模型不会显著增加生成验证信息集所需的时间。通过分析，本实施例在考虑计算开销的情况下，完全能够处理深度神经网络巨大的参数复杂度和庞大的客户端。

（三）通信开销的评估方面。

与基于密码的防御方式相比，客户端只需要上传自己的验证信息，能够适应处理大量客户机设备的工作负载。

（四）性能检测。

将本实施例所提出的方法与FLDector方案在检测精度、假阳性率假阴性率的对比，得到检测结果如表1所示，从整体角度来看，在检测准确率，假阳性率和假阴性率方面优于FL-Detector方法或与之相当，并且与其他方法相比在精度上都有一定的提升。

表1

（五）消除恶意客户端不利影响的性能。

通过MNIST数据集、organnist数据集和CIFAR-10数据集分别验证本实施例所提出的方法消除恶意客户端不利影响的性能，得到测试结果如图3、图4、图5所示，其中，图3中（a）为MNIST数据集上对DBA的防御，图3中（b）为MNIST数据集上对UMP的防御，图4中（a）为ORGANCNIST数据集上对DBA的防御，图4中（b）为ORGANCNIST数据集上对UMP的防御，图5中（a）为CIFAR10数据集上对DBA的防御，图5中（b）为CIFAR10数据集上对UMP的防御。

由测试结果表明，本实施例对不同数据集的各种攻击表现出优异的性能，随着迭代次数的增加和模型的收敛，防御效能也保持稳定。面对恶意客户端增量的性能，在MNIST数据集、organnist数据集和CIFAR-10数据集上的防御效果都很好且稳定，不会随着恶意客户端的增加而降低。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (4)

1.联邦学习中双向模型投毒检测方法，其特征在于，包括：

收集数据并构建数据集；

客户端基于所述数据集训练本地模型，获取客户端本地梯度并上传至中央服务器；

所述中央服务器基于所述客户端本地梯度执行聚合，获取全局梯度，并发送给验证器；

所述验证器基于预设的双向投毒防御模型，对所述全局梯度进行验证，并将验证通过的全局梯度发送至所述中央服务器；

所述中央服务器基于所述验证通过的全局梯度更新全局模型，完成所述客户端和中央服务器的投毒检测；

其中，所述验证器基于预设的双向投毒防御模型，对所述全局梯度进行验证包括：

所述验证器基于所述全局梯度生成验证向量，将所述验证向量发送至所述客户端和中央服务器；

所述客户端和中央服务器基于所述验证向量获取验证信息，并将所述验证信息发送回所述验证器；

所述验证器将所述验证信息和全局梯度输入所述双向投毒防御模型中，验证所述客户端和中央服务器是否投毒；

所述验证器基于所述全局梯度生成验证向量包括：

基于所述全局梯度随机生成一个满足的单位向量为第(t-1)轮的全局梯度，/>为随机生成的向量，/>为余弦相似度阈值，当/>小于0时，令单位向量/>，确保/>始终大于0；

基于计算/>，其中，/>始终大于0；

基于生成所述验证向量，其中，/>为验证向量；

所述验证信息包括客户端验证信息集和服务器验证信息集，所述客户端验证信息集为，其中，/>为客户端编号，/>为客户端本地梯度与验证向量点积值，/>为客户端本地梯度，/>为客户端集合；

所述服务器验证信息集为，其中，/>为全局梯度与验证向量点积值，/>为向中央服务器发送本地梯度的客户端集合；

验证器将所述验证信息和全局梯度输入所述双向投毒防御模型中，验证所述客户端和中央服务器是否投毒包括：

所述验证器基于所述客户端验证信息集过滤恶意客户端，并在剩余客户端中识别出投毒客户端；

获取所述恶意客户端和投毒客户端的本地梯度，对所述恶意客户端和投毒客户端的本地梯度进行验证，获取有害梯度；

对所述有害梯度进行清除处理，获取验证通过的全局梯度；

基于所述验证通过的全局梯度和验证向量验证所述中央服务器是否投毒。

2.根据权利要求1所述的联邦学习中双向模型投毒检测方法，其特征在于，对所述有害梯度进行清除处理，获取验证通过的全局梯度的方法为：

其中，/>为验证通过的全局梯度，/>为未经验证的全局梯度，/>为参与聚合的梯度个数，/>为恶意客户端和投毒客户端总集合，/>为恶意客户端和投毒客户端总数量。

3.根据权利要求2所述的联邦学习中双向模型投毒检测方法，其特征在于，基于所述验证通过的全局梯度和验证向量验证所述中央服务器是否投毒包括：

通过所述验证通过的全局梯度和验证向量之间的点积验证所述中央服务器是否投毒，验证方法为：

若等式成立，则所述中央服务器验证通过，否则，所述中央服务器投毒；

其中，为验证向量，/>为验证通过的全局梯度，/>为良性客户端数量，/>为良性客户端集合。

4.一种根据权利要求1-3任一项所述的联邦学习中双向模型投毒检测方法的***，其特征在于，包括：数据采集模块、检测信息获取模块、投毒检测模块；

所述数据采集模块，用于通过物联网设备收集数据并构建数据集；

所述检测信息获取模块，用于客户端基于所述数据集训练本地模型，获取客户端本地梯度，中央服务器基于所述客户端本地梯度执行聚合，获取全局梯度；

所述投毒检测模块，用于验证器基于预设的双向投毒防御模型，对所述全局梯度进行验证，并将验证通过的全局梯度发送至所述中央服务器，所述中央服务器基于所述验证通过的全局梯度更新全局模型，完成所述客户端和中央服务器的投毒检测。