CN110442457A - 基于联邦学习的模型训练方法、装置及服务器 - Google Patents

基于联邦学习的模型训练方法、装置及服务器 Download PDF

Info

Publication number
CN110442457A
CN110442457A CN201910739086.2A CN201910739086A CN110442457A CN 110442457 A CN110442457 A CN 110442457A CN 201910739086 A CN201910739086 A CN 201910739086A CN 110442457 A CN110442457 A CN 110442457A
Authority
CN
China
Prior art keywords
model
training
local model
training pattern
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910739086.2A
Other languages
English (en)
Inventor
雷凯
黄济乐
方俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201910739086.2A priority Critical patent/CN110442457A/zh
Publication of CN110442457A publication Critical patent/CN110442457A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明实施例提供一种基于联邦学习的模型训练方法、装置及服务器。该方法包括：将待训练模型发送至多个工作节点；接收多个工作节点反馈的本地模型，本地模型是各工作节点根据各自所拥有的数据对待训练模型进行训练获得的；根据测试数据集确定各个本地模型的精度；根据各个本地模型的精度确定各个本地模型的权重系数，权重系数与精度正相关；根据多个本地模型以及对应的权重系数，对待训练模型进行更新。本发明实施例的方法，通过增大高精度本地模型的权重系数和减小低精度本地模型的权重系数，加速了待训练模型的收敛速度，提高了待训练模型的精度。

Description

基于联邦学习的模型训练方法、装置及服务器
技术领域
本发明实施例涉及计算机技术领域，具体涉及一种基于联邦学习的模型训练方法、装置及服务器。
背景技术
一方面随着法律法规的不断完善以及监控的不断加强，数据的集中式处理将面临巨大的法律风险；另一方面各个数据拥有方之间出于安全、经济利益等因素不愿意共享原始数据。这些因素都会导致数据以孤岛的形式存在。为了打破数据孤岛，联邦学习应运而生。
联邦学习无须各数据拥有方共享原始数据，可以在保证安全性的条件下，充分地利用各数据拥有方的原始数据进行模型训练，有效解决了人工智能时代的数据孤岛问题。目前基于联邦学习的模型训练过程为：通过服务器节点将待训练模型下发至多个工作节点，各工作节点基于各自所拥有的数据对接收到的待训练模型进行训练，并将训练好的模型参数回传至服务器节点，服务器节点根据接收到的各工作节点的模型参数对待训练模型进行更新，然后重复上述过程直至待训练模型满足预设的性能指标。
在现有基于联邦学习进行模型训练的过程中，服务器节点无法有效识别工作节点中的低质量节点，导致低质量模型参数的引入，从而降低了模型训练的收敛速度以及模型的精度。
发明内容
本发明实施例提供一种基于联邦学习的模型训练方法、装置及服务器，用以解决现有基于联邦学习的模型训练方法中存在的收敛速度慢以及模型精度低的问题。
第一方面，本发明实施例提供一种基于联邦学习的模型训练方法，包括：
将待训练模型发送至多个工作节点；
接收多个工作节点反馈的本地模型，本地模型是各工作节点根据各自所拥有的数据对待训练模型进行训练获得的；
根据测试数据集确定各个本地模型的精度；
根据各个本地模型的精度确定各个本地模型的权重系数，权重系数与精度正相关；
根据多个本地模型以及对应的权重系数，对待训练模型进行更新。
在一种可能的实现方式中，所述方法还包括：
根据各个本地模型的精度确定各个工作节点的奖励，以使各个工作节点根据奖励调整参与度，奖励与精度正相关。
在一种可能的实现方式中，将待训练模型发送至多个工作节点之前，所述方法还包括：
根据训练任务确定待训练模型，并对待训练模型进行初始化；
根据服务器节点与工作节点之间的网络连接状态，以及训练任务，确定多个工作节点。
在一种可能的实现方式中，对待训练模型进行更新之后，所述方法还包括：
判断更新后的待训练模型是否满足预设指标；
若满足，则终止模型训练过程，反之，则继续进行迭代训练。
在一种可能的实现方式中，接收多个工作节点反馈的本地模型包括：
接收多个工作节点在预设时间段内反馈的本地模型。
在一种可能的实现方式中，根据测试数据集确定各个本地模型的精度包括：
根据测试数据集对各个本地模型进行测试验证，确定各个本地模型在测试数据集上的准确率和/或召回率；
根据各个本地模型在测试数据集上的准确率和/或召回率，确定各个本地模型的精度。
在一种可能的实现方式中，根据多个本地模型以及对应的权重系数，对待训练模型进行更新，包括：
根据如下公式对待训练模型进行更新：
其中，M′表示更新后的待训练模型，M表示待训练模型，α为待训练模型的权重系数，Li表示第i个本地模型，αi为第i个本地模型的权重系数，N表示本地模型的数量。
第二方面，本发明实施例提供一种基于联邦学习的模型训练装置，包括：
发送模块，用于将待训练模型发送至多个工作节点；
接收模块，用于接收多个工作节点反馈的本地模型，本地模型是各工作节点根据各自所拥有的数据对待训练模型进行训练获得的；
测试模块，用于根据测试数据集确定各个本地模型的精度；
处理模块，用于根据各个本地模型的精度确定各个本地模型的权重系数，权重系数与精度正相关；
更新模块，用于根据多个本地模型以及对应的权重系数，对待训练模型进行更新。
第三方面，本发明实施例提供一种服务器，包括：
至少一个处理器和存储器；
存储器存储计算机执行指令；
至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面任一项所述的基于联邦学习的模型训练方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项所述的基于联邦学习的模型训练方法。
本发明实施例提供的基于联邦学习的模型训练方法、装置及服务器，通过将待训练模型发送至多个工作节点，并接收多个工作节点反馈的本地模型，然后根据测试数据集确定各个本地模型的精度，为各个本地模型设置与精度正相关的权重系数，最后根据多个本地模型以及对应的权重系数，对待训练模型进行更新，实现了多个工作节点对于待训练模型的协同训练。由于在模型训练过程中，各节点之间无需共享数据，有效保证了数据的安全性和数据隐私；通过增大高质量工作节点的权重系数，降低低质量工作节点的权重系数，不仅加速了待训练模型的收敛，而且能够提高待训练模型的精度；进一步的，模型训练过程的加速，也同步降低了各个工作节点的工作量，减少了节点间的通信开销。
附图说明
图1为本发明的***架构示意图；
图2为本发明提供的基于联邦学习的模型训练方法一实施例的流程图；
图3为本发明提供的基于联邦学习的模型训练方法又一实施例的流程图；
图4为本发明提供的基于联邦学习的模型训练装置一实施例的结构示意图；
图5为本发明提供的服务器一实施例的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
图1为本发明的***架构示意图。如图1所示，服务器节点101与工作节点102可以通过有线和/或无线的方式进行通信连接。其中，服务器节点101包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云；工作节点102包括但不限于计算机、智能手机、平板电脑、个人数字助理消息收发装置等。
图1体现了一种全新的分布式人工智能网络架构体系。服务器节点101与工作节点102之间，以及各工作节点之间无需共享原始数据，保证了数据安全性和数据隐私。服务器节点101向工作节点102下发待训练模型，各个工作节点基于各自所拥有的本地数据进行训练，并回传训练好的本地模型，服务器节点101合并多个工作节点的本地模型并聚合为一个全局模型继续下发，进行迭代训练直到全局模型收敛。
下面将结合图1所示的***架构，对本发明实施例提供的基于联邦学习的模型训练方法的一些可能的应用场景进行说明。举例来说，有甲、乙、丙三家经营视频网站的公司，均想获得高质量的视频推荐模型，用于向用户推荐视频，以提高用户满意度。各公司所拥有的用户数据有限，无法基于各自所拥有的用户数据训练出高质量的视频推荐模型；为了保证用户数据的安全，保护用户隐私，各公司也不能对各自所拥有的用户数据进行共享。此时，各公司便可以通过构建各自的工作节点，并借助于服务器节点协同训练视频推荐模型。再比如说，为了获得高精度的人脸识别模型，可以通过服务器节点发布模型训练任务，拥有人脸图像数据的终端设备可以作为工作节点参与模型训练。服务器节点可以获得高质量的人脸识别模型，而终端设备也可以通过贡献算力和数据获得相应的报酬，实现双赢。
由于服务器节点101与工作节点102之间以及各工作节点之间的数据不共享，信息不对称，且回传的本地模型中的参数也不具有实际物理意义，因此服务器节点101无法保障工作节点102回传的本地模型的质量。难以避免引入低质量的本地模型，低质量本地模型的引入会影响全局模型的收敛速度和精度，同时，收敛速度的降低也会增大通信开销，对于整个***来说会产生很大的负面影响。
下面将通过具体的实施例来详细阐述本发明如何解决上述问题。
图2为本发明提供的基于联邦学习的模型训练方法一实施例的流程图。本实施例提供的基于联邦学习的模型训练方法可以应用于服务器节点。如图2所示，本实施例提供的基于联邦学习的模型训练方法可以包括：
S201、将待训练模型发送至多个工作节点。
本实施例中的待训练模型可以包括但不限于识别模型、分类模型、检测模型、预测模型等，具体实现上例如可以采用人工神经网络模型、支持向量机、卷积神经网络模型等，本实施例对此不作限制。工作节点为拥有训练数据并参与模型协同训练的节点，本实施例中参与模型协同训练的工作节点的数量大于等于两个。
可以理解的是，在将待训练模型发送至多个工作节点之前，服务器节点还可以根据训练任务确定待训练模型。举例来说，若训练任务为进行人脸识别，则可以确定待训练模型为识别模型；若训练任务为进行风险预测，则可以确定待训练模型为预测模型。可以预先建立训练任务与待训练模型之间的映射关系，根据训练任务以及映射关系确定待训练模型。服务器节点在确定待训练模型之后，便可以通过服务器节点与各工作节点之间预先建立的网络连接，将待训练模型发送至各个工作节点。
S202、接收多个工作节点反馈的本地模型，本地模型是各工作节点根据各自所拥有的数据对待训练模型进行训练获得的。
本实施例中当工作节点接收到服务器节点下发的待训练模型之后，便可以采用工作节点中存储的本地数据对接收到的待训练模型进行训练，生成本地模型。在本地模型收敛，或者，训练时间达到预设值时，将带有训练好的参数的本地模型通过预先建立的网络连接回传至服务器节点。本实施例中各工作节点中存储的本地数据无需在节点之间共享，保证了各工作节点中自有数据的安全性和隐私性。
可选的，为了进一步提高模型的训练速度，接收多个工作节点反馈的本地模型的一种可能的实现方式为：接收多个工作节点在预设时间段内反馈的本地模型。
本实施例中为了避免服务器节点长时间的等待工作节点反馈，降低模型的训练速度，服务器节点仅接收在预设时间段内反馈的本地模型。例如服务器节点可以在下发待训练模型之后开启定时器，在预设时间到达之后，可以关闭接收通道拒绝再继续接收本地模型，或者可以直接丢弃在预设时间到达之后接收到的本地模型。举例来说，假设有A、B和C三个本地模型，其中A和B在预设时间段内到达，而C超时到达，则服务器节点在进行待训练模型更新时，仅考虑本地模型A和B。本实施例中的预设时间段例如可以根据待训练模型的复杂度、各工作节点的平均算力、节点之间的通信速率等因素确定。
S203、根据测试数据集确定各个本地模型的精度。
本实施例中当服务器节点接收到工作节点反馈的本地模型之后，便可以根据服务器节点中的测试数据集，对接收到的本地模型进行测试验证，以确定各个本地模型的精度。本地模型的精度可以体现本地模型的质量，可以理解的是，高质量的本地模型对应高精度。本实施例中的测试数据集包括预先标记好的测试数据，各工作节点无法获知测试数据集。由服务器节点进行统一的测试验证，可以有效避免各工作节点弄虚作假，保证测试验证的准确性和公平性。具体来说，例如可以将测试数据集中的数据输入本地模型，确定本地模型的实际输出，将本地模型的实际输出与测试数据集中预先标记的期望输出进行比较，根据比较结果确定本地模型的精度。
可选的，根据测试数据集确定各个本地模型的精度的一种可能的实现方式为：根据测试数据集对各个本地模型进行测试验证，确定各个本地模型在测试数据集上的准确率和/或召回率；根据各个本地模型在测试数据集上的准确率和/或召回率，确定各个本地模型的精度。其中，准确率可以用于度量模型的正确性，准确率＝预测正确的样本数/总样本数；召回率可以用于度量模型的覆盖面，召回率＝将正类预测为正类的数量/总的正类数量。本地模型的精度可以根据准确率，或者召回率，或者准确率和召回率的加权平均值确定。
可选的，本实施例中的测试数据集可以根据待训练模型确定。例如可以预先建立待训练模型与测试数据集之间的映射关系，在确定了待训练模型之后，便可以根据该映射关系确定与之对应的测试数据集了。
S204、根据各个本地模型的精度确定各个本地模型的权重系数，权重系数与精度正相关。
本实施例中在确定各个本地模型的精度之后，便可以根据该精度确定各个本地模型的权重系数。其中，权重系数的大小体现了本地模型对于整个模型训练过程贡献的大小。可以理解的是，引入高质量的本地模型，能够加速待训练模型的收敛，提高待训练模型的精度，有益于整个模型训练过程；而引入低质量的本地模型，不仅对于整个模型训练过程毫无帮助，反而会增加其他工作节点的工作量，增大整个***的通信开销。因此，本实施例中各本地模型的权重系数与其精度正相关，即精度越高的本地模型获得的权重系数越大。可选的，对于精度低于预设精度阈值的本地模型，可以将其权重系数设为0，以避免其可能带来的不利影响。
本实施例中通过引入注意力机制，增大高质量工作节点的权重系数，降低低质量工作节点的权重系数，有利于加速模型收敛，提高训练速度。
S205、根据多个本地模型以及对应的权重系数，对待训练模型进行更新。
本实施例中服务器节点在确定各本地模型的权重系数之后，便可以据此对待训练模型进行更新。例如，可以采用多个本地模型的加权平均，对待训练模型进行更新。
本实施例提供的基于联邦学习的模型训练方法，通过将待训练模型发送至多个工作节点，并接收多个工作节点反馈的本地模型，然后根据测试数据集确定各个本地模型的精度，为各个本地模型设置与精度正相关的权重系数，最后根据多个本地模型以及对应的权重系数，对待训练模型进行更新，实现了多个工作节点对于待训练模型的协同训练。由于在模型训练过程中，各节点之间无需共享数据，有效保证了数据的安全性和数据隐私；通过增大高质量工作节点的权重系数，降低低质量工作节点的权重系数，不仅加速了待训练模型的收敛，而且能够提高待训练模型的精度；进一步的，模型训练过程的加速，也同步降低了各个工作节点的工作量，减少了节点间的通信开销。
为了调动各工作节点的积极性，以便其能够积极参与模型训练，通常会向各工作节点给予适当的激励。目前，对工作节点的激励机制主要分为两类：基于博弈论的激励机制和基于契约理论的激励机制。基于博弈论的激励机制均衡博弈工作节点的贡献来分配奖励，以刺激工作节点多为整体***做贡献。在该机制中，评估工作节点的工作质量或者工作节点为***所做的贡献有以下两种方式：根据一个工作节点参与模型训练后为整体模型所带来的收益提升，或者一个工作节点退出模型训练而导致的整体模型收益的下降，进行评估。具体来说，可以根据运算时间、通信开销和模型精度等指标来综合判断，进而确定工作节点的工作质量。基于契约理论的激励机制实质上是基于博弈论的激励机制的一种衍生和变化，会预先设定多种类型的契约签订奖励的规格，更加适应于信息不对称的分布式激励情况。服务器节点会设立一个收益函数，以在契约限定的付出下尽可能提升模型精度和收敛速度以减少开销，争取自己的最大收益；工作节点会设立效用函数，以在自身数据质量和计算能力的条件下尽可能争取高等级的契约以提高自己的收益。双方处于一个博弈的状态下，相互博弈以达到平衡。
上述激励机制难以避免恶意节点骗取奖励，无法有效防止作恶节点对模型训练过程的影响。以基于契约理论的激励机制为例，假设服务器节点与工作节点签订了高等级的契约，服务器节点无法保证工作节点的数据和算力均没有作假。作为工作节点来说，若有心作恶或者为了骗取激励，完全可以不进行模型训练而直接回传模型，或者在本地模型没有收敛的状态下回传模型，或者直接编造参数回传模型。这样的回传模型是低质量的模型，对模型收敛不仅没有什么帮助，反而会增加其他工作节点的工作量。
为了避免出现节点骗取奖励的现象，同时为了调动各节点的积极性，在上述实施例的基础上，本实施例提供的方法还可以包括：根据各个本地模型的精度确定各个工作节点的奖励，以使各个工作节点根据奖励调整参与度，奖励与精度正相关。
本实施例中的奖励例如可以是各工作节点使用训练好的模型的权限等级、计算资源、存储资源等。可以根据具体的应用场景确定，本实施例对于奖励的具体形式不作限制。
本实施例中服务器节点在确定各个本地模型的精度之后，可以根据该精度采用服务器节点的效用函数评估服务器节点的收益，根据服务器节点的收益向各个工作节点分配奖励。各工作节点在获得奖励之后，根据各自的效用函数评估各工作节点的收益，据此调整参与度，具体来说，可以调整参与模型训练过程所使用的数据量、计算资源、存储资源、通信资源等。
可以理解的是，高精度的本地模型能够使服务器节点获得更高的收益，因此为了吸引高质量的工作节点参与模型训练过程，本实施例中可以向提供高精度本地模型的工作节点分配更多的奖励，即精度越高，能够获得的奖励也越多。高额的奖励会促进工作节点积极的参与模型的训练，贡献更高的算力和更多的数据，提供高精度的本地。可选的，对于精度低于预设精度阈值的本地模型，服务器节点可以拒绝向提供该本地模型的工作节点分配奖励。因此，对于编造参数回传模型的工作节点来说，可能无法获得奖励，或者仅能获得很小的奖励，能够有效的降低工作节点骗取奖励的现象。
本实施例提供的基于联邦学习的模型训练方法，在上述实施例的基础上，通过向各工作节点分配与其提供的本地模型的精度正相关的奖励，促进了高质量的工作节点积极参与模型的训练过程，缓解了恶意节点骗取奖励的现象，进一步加速了待训练模型的收敛及提高了待训练模型的精度。
图3为本发明提供的基于联邦学习的模型训练方法又一实施例的流程图。如图3所示，本实施例提供的方法可以包括：
S301、根据训练任务确定待训练模型，并对待训练模型进行初始化。
根据训练任务确定待训练模型的具体实现过程可以参考上述实施例，此处不再赘述。在确定待训练模型之后，服务器节点可以对待训练模型进行初始化。例如可以对待训练模型进行随机初始化，将待训练模型的参数初始化为随机值；或者，可以将待训练模型初始化为服务器节点中预先存储的模型。
需要说明的是，在进行迭代训练的过程中，服务器节点仅对待训练模型进行一次初始化。
S302、根据服务器节点与工作节点之间的网络连接状态，以及训练任务，确定多个工作节点。
为了提高参与模型训练过程的工作节点的质量，可以根据服务器节点与工作节点之间的网络连接状态、训练任务、历史迭代过程中提供的本地模型的精度等对工作节点进行筛选。举例来说，若根据训练任务确定需要3个工作节点参与模型训练过程中，则可以从网络连接状态良好的4个工作节点中随机选取3个工作节点参与模型训练，或者可以根据各工作节点的历史表现，从网络连接状态良好的4个工作节点中选取质量较高的3个工作节点参与模型训练。
需要说明的是，在每轮迭代训练的过程中，均可以对工作节点进行选取。也就是说，迭代训练过程中参与模型训练的节点可以不相同。举例来说，在第一轮训练过程中，工作节点W与服务器节点之间的网络连接状态良好，工作节点W被选中参与模型训练，然而在第二轮训练过程中，工作节点W与服务器节点之间的网络连接状态恶化，无法进行高效通信，工作节点W将会被剔除。可以有效避免低质量工作节点的引入。
S303、将待训练模型发送至多个工作节点。
具体实现过程可以参考上述实施例中的步骤S201，此处不再赘述。
S304、接收多个工作节点在预设时间段内反馈的本地模型。
具体实现过程可以参考上述实施例，此处不再赘述。
S305、根据测试数据集确定各个本地模型的精度。
具体实现过程可以参考上述实施例中的步骤S203，此处不再赘述。
需要说明的是，为了避免出现过拟合现象，提高待训练模型的泛化能力，在进行迭代训练的过程中，测试数据集可以部分或者全部不相同。举例来说，若服务器节点中存储有10000个预先标记的测试数据，在每轮迭代训练过程中，可以从10000个测试数据中随机选取，或者根据预设规则选取100个形成测试数据集，用于对本地模型进行验证。
S306、根据各个本地模型的精度确定各个本地模型的权重系数，权重系数与精度正相关。
具体实现过程可以参考上述实施例中的步骤S204，此处不再赘述。
S307、根据多个本地模型以及对应的权重系数，对待训练模型进行更新。
可选的，根据多个本地模型以及对应的权重系数，对待训练模型进行更新的一种可能的实现方式为：
根据如下公式对待训练模型进行更新：
其中，M′表示更新后的待训练模型，M表示待训练模型，α为待训练模型的权重系数，α∈[0,1]，Li表示第i个本地模型，αi为第i个本地模型的权重系数，αi∈[0,1]，N表示本地模型的数量，
需要说明的是，在迭代训练初期，由于待训练模型M不稳定，为了加速模型的训练过程，可以减小α，增大αi，例如对于采用随机方式进行初始化的待训练模型，可以将α设为0；而在迭代训练后期，由于M已经趋于收敛状态，为了提高训练过程的稳定性，可以增大α，减小αi。
S308、判断更新后的待训练模型是否满足预设指标，若满足，则终止模型训练过程，若不满足，则执行步骤S302，继续进行迭代训练。
本实施例中的预设指标可以为以下指标中的一种或者多种：是否收敛、是否达到最大迭代次数、是否达到最大训练时间等。可以将各种指标结合进行判断，例如可以首先判断更新后的待训练模型是否收敛，若收敛则终止模型训练过程，否则继续判断是否已经达到最大迭代次数，若达到则终止模型训练过程，否则继续判断是否已经达到最大训练时间，若达到则终止模型训练过程，否者执行步骤S302，继续进行迭代训练。
本实施例提供的基于联邦学习的模型训练方法，在上述实施例的基础上，进一步提高了训练速度和模型精度。
本发明实施例还提供一种基于联邦学习的模型训练装置，请参见图4所示，本发明实施例仅以图4为例进行说明，并不表示本发明仅限于此。图4为本发明提供的基于联邦学习的模型训练装置一实施例的结构示意图。如图4所示，本实施例提供的基于联邦学习的模型训练装置40可以包括：发送模块401、接收模块402、测试模块403、处理模块404和更新模块405。
发送模块401，用于将待训练模型发送至多个工作节点；
接收模块402，用于接收多个工作节点反馈的本地模型，本地模型是各工作节点根据各自所拥有的数据对待训练模型进行训练获得的；
测试模块403，用于根据测试数据集确定各个本地模型的精度；
处理模块404，用于根据各个本地模型的精度确定各个本地模型的权重系数，权重系数与精度正相关；
更新模块405，用于根据多个本地模型以及对应的权重系数，对待训练模型进行更新。
本实施例的装置，可以用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，基于联邦学习的模型训练装置40还可以包括分配模块(图中未示出)，具体用于根据各个本地模型的精度确定各个工作节点的奖励，以使各个工作节点根据奖励调整参与度，奖励与精度正相关。
可选的，基于联邦学习的模型训练装置40还可以包括初始化模块(图中未示出)，具体用于在将待训练模型发送至多个工作节点之前，根据训练任务确定待训练模型，并对待训练模型进行初始化；根据服务器节点与工作节点之间的网络连接状态，以及训练任务，确定多个工作节点。
可选的，基于联邦学习的模型训练装置40还可以包括判断模块(图中未示出)，具体用于在对待训练模型进行更新之后，判断更新后的待训练模型是否满足预设指标；若满足，则终止模型训练过程，反之，则继续进行迭代训练。
可选的，接收模块402具体可以用于，接收多个工作节点在预设时间段内反馈的本地模型。
可选的，测试模块403具体可以用于，根据测试数据集对各个本地模型进行测试验证，确定各个本地模型在测试数据集上的准确率和/或召回率；根据各个本地模型在测试数据集上的准确率和/或召回率，确定各个本地模型的精度。
可选的，更新模块405具体可以用于，根据如下公式对待训练模型进行更新：
其中，M′表示更新后的待训练模型，M表示待训练模型，α为待训练模型的权重系数，Li表示第i个本地模型，αi为第i个本地模型的权重系数，N表示本地模型的数量。
本发明实施例还提供一种服务器，请参见图5所示，本发明实施例仅以图5为例进行说明，并不表示本发明仅限于此。图5为本发明提供的服务器一实施例的结构示意图。如图5所示，本实施例提供的服务器50可以包括：存储器501、处理器502和总线503。其中，总线503用于实现各元件之间的连接。
存储器501中存储有计算机程序，计算机程序被处理器502执行时可以实现上述任一方法实施例提供的技术方案。
其中，存储器501和处理器502之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线503连接。存储器501中存储有实现基于联邦学习的模型训练方法的计算机程序，包括至少一个可以软件或固件的形式存储于存储器501中的软件功能模块，处理器502通过运行存储在存储器501内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器501可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器501用于存储程序，处理器502在接收到执行指令后，执行程序。进一步地，上述存储器501内的软件程序以及模块还可包括操作***，其可包括各种用于管理***任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器502可以是一种集成电路芯片，具有信号的处理能力。上述的处理器502可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图5的结构仅为示意，还可以包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件和/或软件实现。
需要说明的是，本实施例提供的服务器包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一方法实施例提供的基于联邦学习的模型训练方法。本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的***进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于联邦学习的模型训练方法，应用于服务器节点，其特征在于，包括：
将待训练模型发送至多个工作节点；
接收多个所述工作节点反馈的本地模型，所述本地模型是各工作节点根据各自所拥有的数据对所述待训练模型进行训练获得的；
根据测试数据集确定各个所述本地模型的精度；
根据各个所述本地模型的精度确定各个所述本地模型的权重系数，所述权重系数与所述精度正相关；
根据多个所述本地模型以及对应的权重系数，对所述待训练模型进行更新。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据各个所述本地模型的精度确定各个所述工作节点的奖励，以使各个所述工作节点根据所述奖励调整参与度，所述奖励与所述精度正相关。
3.如权利要求1所述的方法，其特征在于，所述将待训练模型发送至多个工作节点之前，所述方法还包括：
根据训练任务确定所述待训练模型，并对所述待训练模型进行初始化；
根据所述服务器节点与工作节点之间的网络连接状态，以及所述训练任务，确定所述多个工作节点。
4.如权利要求1所述的方法，其特征在于，所述对所述待训练模型进行更新之后，所述方法还包括：
判断更新后的待训练模型是否满足预设指标；
若满足，则终止模型训练过程，反之，则继续进行迭代训练。
5.如权利要求1所述的方法，其特征在于，所述接收多个所述工作节点反馈的本地模型包括：
接收多个所述工作节点在预设时间段内反馈的本地模型。
6.如权利要求1-5任一项所述的方法，其特征在于，所述根据测试数据集确定各个所述本地模型的精度包括：
根据测试数据集对各个所述本地模型进行测试验证，确定各个所述本地模型在所述测试数据集上的准确率和/或召回率；
根据各个所述本地模型在所述测试数据集上的准确率和/或召回率，确定各个所述本地模型的精度。
7.如权利要求1-5任一项所述的方法，其特征在于，所述根据多个所述本地模型以及对应的权重系数，对所述待训练模型进行更新，包括：
根据如下公式对所述待训练模型进行更新：
其中，M′表示更新后的待训练模型，M表示所述待训练模型，α为所述待训练模型的权重系数，Li表示第i个本地模型，αi为第i个本地模型的权重系数，N表示本地模型的数量。
8.一种基于联邦学习的模型训练装置，其特征在于，包括：
发送模块，用于将待训练模型发送至多个工作节点；
接收模块，用于接收多个所述工作节点反馈的本地模型，所述本地模型是各工作节点根据各自所拥有的数据对所述待训练模型进行训练获得的；
测试模块，用于根据测试数据集确定各个所述本地模型的精度；
处理模块，用于根据各个所述本地模型的精度确定各个所述本地模型的权重系数，所述权重系数与所述精度正相关；
更新模块，用于根据多个所述本地模型以及对应的权重系数，对所述待训练模型进行更新。
9.一种服务器，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的基于联邦学习的模型训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的基于联邦学习的模型训练方法。
CN201910739086.2A 2019-08-12 2019-08-12 基于联邦学习的模型训练方法、装置及服务器 Pending CN110442457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910739086.2A CN110442457A (zh) 2019-08-12 2019-08-12 基于联邦学习的模型训练方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910739086.2A CN110442457A (zh) 2019-08-12 2019-08-12 基于联邦学习的模型训练方法、装置及服务器

Publications (1)

Publication Number Publication Date
CN110442457A true CN110442457A (zh) 2019-11-12

Family

ID=68434570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910739086.2A Pending CN110442457A (zh) 2019-08-12 2019-08-12 基于联邦学习的模型训练方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN110442457A (zh)

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956275A (zh) * 2019-11-27 2020-04-03 支付宝(杭州)信息技术有限公司 风险预测和风险预测模型的训练方法、装置及电子设备
CN110990870A (zh) * 2019-11-29 2020-04-10 上海能塔智能科技有限公司 运维、使用模型库的处理方法、装置、设备与介质
CN111027715A (zh) * 2019-12-11 2020-04-17 支付宝(杭州)信息技术有限公司 基于蒙特卡洛的联邦学习模型训练方法及装置
CN111046433A (zh) * 2019-12-13 2020-04-21 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111091200A (zh) * 2019-12-20 2020-05-01 深圳前海微众银行股份有限公司 训练模型的更新方法、***、智能体、服务器及存储介质
CN111260061A (zh) * 2020-03-09 2020-06-09 厦门大学 联邦学习梯度交换中的差异化加噪方法及***
CN111369042A (zh) * 2020-02-27 2020-07-03 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN111383096A (zh) * 2020-03-23 2020-07-07 中国建设银行股份有限公司 欺诈检测及其模型训练方法、装置、电子设备及存储介质
CN111460528A (zh) * 2020-04-01 2020-07-28 支付宝(杭州)信息技术有限公司 一种基于Adam优化算法的多方联合训练方法及***
CN111488995A (zh) * 2020-04-08 2020-08-04 北京字节跳动网络技术有限公司 用于评估联合训练模型的方法和装置
CN111538598A (zh) * 2020-04-29 2020-08-14 深圳前海微众银行股份有限公司 联邦学习建模方法、装置、设备及可读存储介质
CN111678696A (zh) * 2020-06-17 2020-09-18 南昌航空大学 基于联邦学习的机械智能故障诊断方法
CN111695701A (zh) * 2020-06-12 2020-09-22 上海富数科技有限公司 基于联邦学习实现数据集构建处理的***及其构建生成方法
CN111814985A (zh) * 2020-06-30 2020-10-23 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
CN111881966A (zh) * 2020-07-20 2020-11-03 北京市商汤科技开发有限公司 神经网络训练方法、装置、设备和存储介质
CN111882133A (zh) * 2020-08-03 2020-11-03 重庆大学 一种基于预测的联邦学习通信优化方法及***
CN111898764A (zh) * 2020-06-23 2020-11-06 华为技术有限公司 联邦学习的方法、装置和芯片
CN111931876A (zh) * 2020-10-12 2020-11-13 支付宝(杭州)信息技术有限公司 一种用于分布式模型训练的目标数据方筛选方法及***
CN111931242A (zh) * 2020-09-30 2020-11-13 国网浙江省电力有限公司电力科学研究院 一种数据共享方法以及应用其的计算机设备及可读存储介质
CN112001500A (zh) * 2020-08-13 2020-11-27 星环信息科技（上海）有限公司 基于纵向联邦学习***的模型训练方法、设备及存储介质
CN112101528A (zh) * 2020-09-17 2020-12-18 上海交通大学 基于反向传播的终端贡献度量方法
CN112232519A (zh) * 2020-10-15 2021-01-15 成都数融科技有限公司 一种基于联邦学习的联合建模方法
CN112365007A (zh) * 2020-11-11 2021-02-12 深圳前海微众银行股份有限公司 模型参数确定方法、装置、设备及存储介质
KR20210065069A (ko) * 2019-11-22 2021-06-03 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 공유 엔코더 생성 방법, 장치 및 전자 기기
CN112949837A (zh) * 2021-04-13 2021-06-11 中国人民武装警察部队警官学院 一种基于可信网络的目标识别联邦深度学习方法
WO2021120677A1 (zh) * 2020-07-07 2021-06-24 平安科技（深圳）有限公司 一种仓储模型训练方法、装置、计算机设备及存储介质
WO2021138877A1 (zh) * 2020-01-09 2021-07-15 深圳前海微众银行股份有限公司 纵向联邦学习模型训练优化方法、装置、设备及介质
CN113128528A (zh) * 2019-12-27 2021-07-16 无锡祥生医疗科技股份有限公司 超声影像深度学习分布式训练***和训练方法
CN113158550A (zh) * 2021-03-24 2021-07-23 北京邮电大学 一种联邦学习方法、装置、电子设备及存储介质
CN113191479A (zh) * 2020-01-14 2021-07-30 华为技术有限公司 联合学习的方法、***、节点及存储介质
CN113222211A (zh) * 2021-03-31 2021-08-06 中国科学技术大学先进技术研究院 一种多区域柴油车污染物排放因子预测方法及***
CN113239351A (zh) * 2020-12-08 2021-08-10 武汉大学 一种面向物联网***的新型数据污染攻击防御方法
WO2021164404A1 (zh) * 2020-02-20 2021-08-26 ***股份有限公司 一种巡检方法及装置
CN113312169A (zh) * 2020-02-27 2021-08-27 香港理工大学深圳研究院 一种计算资源的分配方法及装置
CN113377797A (zh) * 2021-07-02 2021-09-10 支付宝(杭州)信息技术有限公司 联合更新模型的方法、装置及***
WO2021179196A1 (zh) * 2020-03-11 2021-09-16 Oppo广东移动通信有限公司 一种基于联邦学习的模型训练方法、电子设备及存储介质
CN113516250A (zh) * 2021-07-13 2021-10-19 北京百度网讯科技有限公司 一种联邦学习方法、装置、设备以及存储介质
CN113537633A (zh) * 2021-08-09 2021-10-22 中国电信股份有限公司 基于纵向联邦学习的预测方法、装置、设备、介质和***
CN113688855A (zh) * 2020-05-19 2021-11-23 华为技术有限公司 数据处理方法、联邦学习的训练方法及相关装置、设备
CN113705823A (zh) * 2020-05-22 2021-11-26 华为技术有限公司 基于联邦学习的模型训练方法和电子设备
CN113726890A (zh) * 2021-08-31 2021-11-30 百保(上海)科技有限公司 面向区块链数据服务的联邦预言方法及***
CN113792632A (zh) * 2021-09-02 2021-12-14 广州广电运通金融电子股份有限公司 基于多方合作的指静脉识别方法、***和存储介质
CN113807157A (zh) * 2020-11-27 2021-12-17 京东科技控股股份有限公司 基于联邦学习训练神经网络模型的方法、装置和***
CN113837766A (zh) * 2021-10-08 2021-12-24 支付宝(杭州)信息技术有限公司 风险识别方法、装置和电子设备
CN113935409A (zh) * 2021-09-30 2022-01-14 光大科技有限公司 一种联邦学习处理方法及装置
WO2022057433A1 (zh) * 2020-09-18 2022-03-24 华为技术有限公司 一种机器学习模型的训练的方法以及相关设备
WO2022096919A1 (en) * 2020-11-05 2022-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Managing training of a machine learning model
CN114548426A (zh) * 2022-02-17 2022-05-27 北京百度网讯科技有限公司 异步联邦学习的方法、业务服务的预测方法、装置及***
WO2022110248A1 (zh) * 2020-11-30 2022-06-02 华为技术有限公司 一种联邦学习方法、装置及***
WO2022121032A1 (zh) * 2020-12-10 2022-06-16 广州广电运通金融电子股份有限公司 一种在联邦学习场景下的数据集划分方法及***
CN114662340A (zh) * 2022-04-29 2022-06-24 烟台创迹软件有限公司 称重模型方案的确定方法、装置、计算机设备及存储介质
CN114679332A (zh) * 2022-04-14 2022-06-28 浙江工业大学 一种分布式***的apt检测方法
CN114741611A (zh) * 2022-06-08 2022-07-12 杭州金智塔科技有限公司 联邦推荐模型训练方法以及***
CN114844653A (zh) * 2022-07-04 2022-08-02 湖南密码工程研究中心有限公司 基于联盟链的可信联邦学习方法
CN115196730A (zh) * 2022-07-19 2022-10-18 南通派菲克水务技术有限公司 一种水厂次氯酸钠智能投加***
WO2023030221A1 (zh) * 2021-08-30 2023-03-09 华为技术有限公司 一种通信方法及装置
CN116127417A (zh) * 2023-04-04 2023-05-16 山东浪潮科学研究院有限公司 一种代码缺陷检测模型构建方法、装置、设备及存储介质
CN116245172A (zh) * 2023-03-14 2023-06-09 南京航空航天大学 跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法
CN113807157B (zh) * 2020-11-27 2024-07-19 京东科技控股股份有限公司 基于联邦学习训练神经网络模型的方法、装置和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898219A (zh) * 2018-06-07 2018-11-27 广东工业大学 一种基于区块链的神经网络训练方法、装置及介质
CN109189825A (zh) * 2018-08-10 2019-01-11 深圳前海微众银行股份有限公司 横向数据切分联邦学习建模方法、服务器及介质
CN109635462A (zh) * 2018-12-17 2019-04-16 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN109871702A (zh) * 2019-02-18 2019-06-11 深圳前海微众银行股份有限公司 联邦模型训练方法、***、设备及计算机可读存储介质
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
CN108898219A (zh) * 2018-06-07 2018-11-27 广东工业大学 一种基于区块链的神经网络训练方法、装置及介质
CN109189825A (zh) * 2018-08-10 2019-01-11 深圳前海微众银行股份有限公司 横向数据切分联邦学习建模方法、服务器及介质
CN109635462A (zh) * 2018-12-17 2019-04-16 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN109871702A (zh) * 2019-02-18 2019-06-11 深圳前海微众银行股份有限公司 联邦模型训练方法、***、设备及计算机可读存储介质

Cited By (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102532368B1 (ko) * 2019-11-22 2023-05-15 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 공유 엔코더 생성 방법, 장치 및 전자 기기
JP7159460B2 (ja) 2019-11-22 2022-10-24 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 共有エンコーダ生成方法、装置及び電子機器
JP2022512053A (ja) * 2019-11-22 2022-02-02 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 共有エンコーダ生成方法、装置及び電子機器
KR20210065069A (ko) * 2019-11-22 2021-06-03 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 공유 엔코더 생성 방법, 장치 및 전자 기기
CN110956275B (zh) * 2019-11-27 2021-04-02 支付宝(杭州)信息技术有限公司 风险预测和风险预测模型的训练方法、装置及电子设备
CN110956275A (zh) * 2019-11-27 2020-04-03 支付宝(杭州)信息技术有限公司 风险预测和风险预测模型的训练方法、装置及电子设备
CN110990870A (zh) * 2019-11-29 2020-04-10 上海能塔智能科技有限公司 运维、使用模型库的处理方法、装置、设备与介质
CN111027715A (zh) * 2019-12-11 2020-04-17 支付宝(杭州)信息技术有限公司 基于蒙特卡洛的联邦学习模型训练方法及装置
CN111027715B (zh) * 2019-12-11 2021-04-02 支付宝(杭州)信息技术有限公司 基于蒙特卡洛的联邦学习模型训练方法及装置
CN111046433A (zh) * 2019-12-13 2020-04-21 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111091200A (zh) * 2019-12-20 2020-05-01 深圳前海微众银行股份有限公司 训练模型的更新方法、***、智能体、服务器及存储介质
WO2021121029A1 (zh) * 2019-12-20 2021-06-24 深圳前海微众银行股份有限公司 训练模型的更新方法、***、智能体、服务器及计算机可读存储介质
CN113128528A (zh) * 2019-12-27 2021-07-16 无锡祥生医疗科技股份有限公司 超声影像深度学习分布式训练***和训练方法
WO2021138877A1 (zh) * 2020-01-09 2021-07-15 深圳前海微众银行股份有限公司 纵向联邦学习模型训练优化方法、装置、设备及介质
CN113191479A (zh) * 2020-01-14 2021-07-30 华为技术有限公司 联合学习的方法、***、节点及存储介质
WO2021164404A1 (zh) * 2020-02-20 2021-08-26 ***股份有限公司 一种巡检方法及装置
TWI770749B (zh) * 2020-02-20 2022-07-11 大陸商中國銀聯股份有限公司 一種巡檢方法及裝置
CN113312169A (zh) * 2020-02-27 2021-08-27 香港理工大学深圳研究院 一种计算资源的分配方法及装置
CN113312169B (zh) * 2020-02-27 2023-12-19 香港理工大学深圳研究院 一种计算资源的分配方法及装置
CN111369042B (zh) * 2020-02-27 2021-09-24 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN111369042A (zh) * 2020-02-27 2020-07-03 山东大学 一种基于加权联邦学习的无线业务流量预测方法
WO2021169577A1 (zh) * 2020-02-27 2021-09-02 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN111260061A (zh) * 2020-03-09 2020-06-09 厦门大学 联邦学习梯度交换中的差异化加噪方法及***
CN111260061B (zh) * 2020-03-09 2022-07-19 厦门大学 联邦学习梯度交换中的差异化加噪方法及***
WO2021179196A1 (zh) * 2020-03-11 2021-09-16 Oppo广东移动通信有限公司 一种基于联邦学习的模型训练方法、电子设备及存储介质
CN111383096A (zh) * 2020-03-23 2020-07-07 中国建设银行股份有限公司 欺诈检测及其模型训练方法、装置、电子设备及存储介质
CN111460528B (zh) * 2020-04-01 2022-06-14 支付宝(杭州)信息技术有限公司 一种基于Adam优化算法的多方联合训练方法及***
CN111460528A (zh) * 2020-04-01 2020-07-28 支付宝(杭州)信息技术有限公司 一种基于Adam优化算法的多方联合训练方法及***
CN111488995A (zh) * 2020-04-08 2020-08-04 北京字节跳动网络技术有限公司 用于评估联合训练模型的方法和装置
WO2021203919A1 (zh) * 2020-04-08 2021-10-14 北京字节跳动网络技术有限公司 用于评估联合训练模型的方法和装置
CN111538598A (zh) * 2020-04-29 2020-08-14 深圳前海微众银行股份有限公司 联邦学习建模方法、装置、设备及可读存储介质
CN113688855B (zh) * 2020-05-19 2023-07-28 华为技术有限公司 数据处理方法、联邦学习的训练方法及相关装置、设备
CN113688855A (zh) * 2020-05-19 2021-11-23 华为技术有限公司 数据处理方法、联邦学习的训练方法及相关装置、设备
CN113705823A (zh) * 2020-05-22 2021-11-26 华为技术有限公司 基于联邦学习的模型训练方法和电子设备
CN111695701B (zh) * 2020-06-12 2021-08-13 上海富数科技有限公司 基于联邦学习实现数据集构建处理的***及其构建生成方法
CN111695701A (zh) * 2020-06-12 2020-09-22 上海富数科技有限公司 基于联邦学习实现数据集构建处理的***及其构建生成方法
CN111678696A (zh) * 2020-06-17 2020-09-18 南昌航空大学 基于联邦学习的机械智能故障诊断方法
CN111898764A (zh) * 2020-06-23 2020-11-06 华为技术有限公司 联邦学习的方法、装置和芯片
CN111814985B (zh) * 2020-06-30 2023-08-29 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
WO2021120676A1 (zh) * 2020-06-30 2021-06-24 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
CN111814985A (zh) * 2020-06-30 2020-10-23 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
WO2021120677A1 (zh) * 2020-07-07 2021-06-24 平安科技（深圳）有限公司 一种仓储模型训练方法、装置、计算机设备及存储介质
CN111881966A (zh) * 2020-07-20 2020-11-03 北京市商汤科技开发有限公司 神经网络训练方法、装置、设备和存储介质
CN111882133A (zh) * 2020-08-03 2020-11-03 重庆大学 一种基于预测的联邦学习通信优化方法及***
CN112001500A (zh) * 2020-08-13 2020-11-27 星环信息科技（上海）有限公司 基于纵向联邦学习***的模型训练方法、设备及存储介质
CN112101528B (zh) * 2020-09-17 2023-10-24 上海交通大学 基于反向传播的终端贡献度量方法
CN112101528A (zh) * 2020-09-17 2020-12-18 上海交通大学 基于反向传播的终端贡献度量方法
WO2022057433A1 (zh) * 2020-09-18 2022-03-24 华为技术有限公司 一种机器学习模型的训练的方法以及相关设备
CN111931242B (zh) * 2020-09-30 2021-02-19 国网浙江省电力有限公司电力科学研究院 一种数据共享方法以及应用其的计算机设备及可读存储介质
CN111931242A (zh) * 2020-09-30 2020-11-13 国网浙江省电力有限公司电力科学研究院 一种数据共享方法以及应用其的计算机设备及可读存储介质
US11449805B2 (en) 2020-10-12 2022-09-20 Alipay (Hangzhou) Information Technology Co., Ltd. Target data party selection methods and systems for distributed model training
CN111931876A (zh) * 2020-10-12 2020-11-13 支付宝(杭州)信息技术有限公司 一种用于分布式模型训练的目标数据方筛选方法及***
CN112232519A (zh) * 2020-10-15 2021-01-15 成都数融科技有限公司 一种基于联邦学习的联合建模方法
CN112232519B (zh) * 2020-10-15 2024-01-09 成都数融科技有限公司 一种基于联邦学习的联合建模方法
WO2022096919A1 (en) * 2020-11-05 2022-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Managing training of a machine learning model
CN112365007A (zh) * 2020-11-11 2021-02-12 深圳前海微众银行股份有限公司 模型参数确定方法、装置、设备及存储介质
CN113807157B (zh) * 2020-11-27 2024-07-19 京东科技控股股份有限公司 基于联邦学习训练神经网络模型的方法、装置和***
CN113807157A (zh) * 2020-11-27 2021-12-17 京东科技控股股份有限公司 基于联邦学习训练神经网络模型的方法、装置和***
WO2022110248A1 (zh) * 2020-11-30 2022-06-02 华为技术有限公司 一种联邦学习方法、装置及***
CN113239351B (zh) * 2020-12-08 2022-05-13 武汉大学 一种面向物联网***的新型数据污染攻击防御方法
CN113239351A (zh) * 2020-12-08 2021-08-10 武汉大学 一种面向物联网***的新型数据污染攻击防御方法
WO2022121032A1 (zh) * 2020-12-10 2022-06-16 广州广电运通金融电子股份有限公司 一种在联邦学习场景下的数据集划分方法及***
CN113158550A (zh) * 2021-03-24 2021-07-23 北京邮电大学 一种联邦学习方法、装置、电子设备及存储介质
CN113222211B (zh) * 2021-03-31 2023-12-12 中国科学技术大学先进技术研究院 一种多区域柴油车污染物排放因子预测方法及***
CN113222211A (zh) * 2021-03-31 2021-08-06 中国科学技术大学先进技术研究院 一种多区域柴油车污染物排放因子预测方法及***
CN112949837B (zh) * 2021-04-13 2022-11-11 中国人民武装警察部队警官学院 一种基于可信网络的目标识别联邦深度学习方法
CN112949837A (zh) * 2021-04-13 2021-06-11 中国人民武装警察部队警官学院 一种基于可信网络的目标识别联邦深度学习方法
CN113377797A (zh) * 2021-07-02 2021-09-10 支付宝(杭州)信息技术有限公司 联合更新模型的方法、装置及***
CN113516250A (zh) * 2021-07-13 2021-10-19 北京百度网讯科技有限公司 一种联邦学习方法、装置、设备以及存储介质
CN113516250B (zh) * 2021-07-13 2023-11-03 北京百度网讯科技有限公司 一种联邦学习方法、装置、设备以及存储介质
CN113537633B (zh) * 2021-08-09 2023-04-18 中国电信股份有限公司 基于纵向联邦学习的预测方法、装置、设备、介质和***
CN113537633A (zh) * 2021-08-09 2021-10-22 中国电信股份有限公司 基于纵向联邦学习的预测方法、装置、设备、介质和***
WO2023030221A1 (zh) * 2021-08-30 2023-03-09 华为技术有限公司 一种通信方法及装置
CN113726890A (zh) * 2021-08-31 2021-11-30 百保(上海)科技有限公司 面向区块链数据服务的联邦预言方法及***
CN113792632A (zh) * 2021-09-02 2021-12-14 广州广电运通金融电子股份有限公司 基于多方合作的指静脉识别方法、***和存储介质
CN113935409A (zh) * 2021-09-30 2022-01-14 光大科技有限公司 一种联邦学习处理方法及装置
CN113837766A (zh) * 2021-10-08 2021-12-24 支付宝(杭州)信息技术有限公司 风险识别方法、装置和电子设备
CN114548426A (zh) * 2022-02-17 2022-05-27 北京百度网讯科技有限公司 异步联邦学习的方法、业务服务的预测方法、装置及***
CN114548426B (zh) * 2022-02-17 2023-11-24 北京百度网讯科技有限公司 异步联邦学习的方法、业务服务的预测方法、装置及***
CN114679332A (zh) * 2022-04-14 2022-06-28 浙江工业大学 一种分布式***的apt检测方法
CN114662340B (zh) * 2022-04-29 2023-02-28 烟台创迹软件有限公司 称重模型方案的确定方法、装置、计算机设备及存储介质
CN114662340A (zh) * 2022-04-29 2022-06-24 烟台创迹软件有限公司 称重模型方案的确定方法、装置、计算机设备及存储介质
CN114741611A (zh) * 2022-06-08 2022-07-12 杭州金智塔科技有限公司 联邦推荐模型训练方法以及***
CN114741611B (zh) * 2022-06-08 2022-10-14 杭州金智塔科技有限公司 联邦推荐模型训练方法以及***
CN114844653A (zh) * 2022-07-04 2022-08-02 湖南密码工程研究中心有限公司 基于联盟链的可信联邦学习方法
CN115196730A (zh) * 2022-07-19 2022-10-18 南通派菲克水务技术有限公司 一种水厂次氯酸钠智能投加***
CN115196730B (zh) * 2022-07-19 2024-06-14 南通派菲克水务技术有限公司 一种水厂次氯酸钠智能投加***
CN116245172B (zh) * 2023-03-14 2023-10-17 南京航空航天大学 跨孤岛联邦学习中优化个体模型性能的联盟组建方法
CN116245172A (zh) * 2023-03-14 2023-06-09 南京航空航天大学 跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法
CN116127417A (zh) * 2023-04-04 2023-05-16 山东浪潮科学研究院有限公司 一种代码缺陷检测模型构建方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110442457A (zh) 基于联邦学习的模型训练方法、装置及服务器
JP7296978B2 (ja) 対戦ゲームプレイに参加させるためのプレーヤへのインセンティブ授与
CN110610242A (zh) 一种联邦学习中参与者权重的设置方法及装置
Barto et al. Some recent applications of reinforcement learning
CN107483986A (zh) 一种赠送礼物的方法及***
US20060003823A1 (en) Dynamic player groups for interest management in multi-character virtual environments
EP3852014A1 (en) Method and apparatus for training learning model, and computing device
CN111282267A (zh) 信息处理方法、装置、介质及电子设备
CN106529189A (zh) 一种用户分类方法、应用服务器及应用客户端
CN112990987B (zh) 信息推广方法、装置、电子设备及存储介质
CN109543726A (zh) 一种训练模型的方法及装置
CN109993004A (zh) 基于信用机制的区块链自治方法及***
Xiao et al. Incentive mechanism design for federated learning: A two-stage stackelberg game approach
CN111957047A (zh) 关卡配置数据调整方法、计算机设备及存储介质
CN114372589A (zh) 一种联邦学习方法及相关装置
CN114021735A (zh) 一种联邦学习中数据处理的方法及装置
CN109039797A (zh) 基于强化学习的大流检测方法
CN104079472A (zh) 一种移动游戏产品实现实时社交功能的方法
CN109558909B (zh) 基于数据分布的机器深度学习方法
CN109543725A (zh) 一种获取模型参数的方法及装置
CN110321511B (zh) 知识分享激励方法、装置、设备及存储介质
CN110135626A (zh) 信贷管理方法及装置、电子设备、存储介质
CN115865642B (zh) 一种招募可信节点完成计算任务的方法和装置
US11712631B2 (en) System and method for matching users of client applications
CN109377160A (zh) 一种信息处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191112