CN117251805A - 基于广度优先算法的联邦梯度提升决策树模型更新*** - Google Patents
基于广度优先算法的联邦梯度提升决策树模型更新*** Download PDFInfo
- Publication number
- CN117251805A CN117251805A CN202311543444.5A CN202311543444A CN117251805A CN 117251805 A CN117251805 A CN 117251805A CN 202311543444 A CN202311543444 A CN 202311543444A CN 117251805 A CN117251805 A CN 117251805A
- Authority
- CN
- China
- Prior art keywords
- decision tree
- tree
- service provider
- target
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003066 decision tree Methods 0.000 title claims abstract description 460
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 118
- 230000011218 segmentation Effects 0.000 claims description 97
- 230000006399 behavior Effects 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 30
- 238000005192 partition Methods 0.000 claims description 23
- 230000003542 behavioural effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 17
- 238000012549 training Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书提供基于广度优先算法的联邦梯度提升决策树模型更新***,包括第一参与方、第二参与方和服务提供方:第一参与方基于行为数据集的数据分布计算目标梯度值发送至第二参与方;基于行为数据集的行为特征对服务提供方下发的对应树模型更新任务的第一决策树进行更新,基于目标梯度值按照广度优先算法遍历更新后的第一决策树,获得第一遍历信息发送至服务提供方;第二参与方基于信用数据集的信用特征对第一决策树进行更新,基于目标梯度值按照广度优先算法遍历更新后的第一决策树,获得第二遍历信息发送至服务提供方;服务提供方基于第一遍历信息和第二遍历信息计算更新后的第一决策树中树节点的节点权重,获得至少一个目标梯度提升决策树模型。
Description
技术领域
本说明书涉及计算机技术领域,特别涉及一种基于广度优先算法的联邦梯度提升决策树模型更新***。
背景技术
隐私计算是在保护数据隐私的前提下进行数据分析和模型训练的一种技术。其中梯度提升决策树是目前应用最广泛的机器学习模型之一,在金融风控、反欺诈等领域有着广泛的应用。用户可以使用梯度提升决策树算法来建立预测模型。
现有技术中,在模型训练过程中,通常需要训练发起方搜索最优***点,将结果同步至训练参与方,并不断重复这些步骤。但这种方式存在迭代次数多影响训练时间的问题,模型训练效率较低,速度较慢。因此,亟需一种更为有效的方法以解决上述问题。
发明内容
有鉴于此,本说明书实施例提供了基于广度优先算法的联邦梯度提升决策树模型更新***。本说明书同时涉及基于广度优先算法的联邦梯度提升决策树模型更新方法,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种基于广度优先算法的联邦梯度提升决策树模型更新***,包括第一参与方、第二参与方和服务提供方:
所述第一参与方,用于基于行为数据集的数据分布计算目标梯度值,并将所述目标梯度值发送至所述第二参与方;基于所述行为数据集的行为特征对所述服务提供方下发的对应树模型更新任务的第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至所述服务提供方;
所述第二参与方,用于基于信用数据集的信用特征对所述服务提供方下发的所述第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至所述服务提供方,其中,所述行为数据集和所述信用数据集具有数据对齐关系;
所述服务提供方,用于基于所述第一遍历信息和所述第二遍历信息计算所述第一决策树中树节点的节点权重,并基于所述节点权重对所述第一决策树进行更新,根据更新结果获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系。
根据本说明书实施例的第二方面,提供了另一种基于广度优先算法的联邦梯度提升决策树模型更新方法,包括:
第一参与方基于行为数据集的数据分布计算目标梯度值,并将所述目标梯度值发送至第二参与方;基于所述行为数据集的行为特征对服务提供方下发的对应树模型更新任务的第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至所述服务提供方;
第二参与方基于信用数据集的信用特征对所述服务提供方下发的所述第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至所述服务提供方,其中,所述行为数据集和所述信用数据集具有数据对齐关系;
服务提供方基于所述第一遍历信息和所述第二遍历信息计算所述第一决策树中树节点的节点权重,并基于所述节点权重对所述第一决策树进行更新,根据更新结果获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系。
根据本说明书实施例的第三方面,提供了一种基于广度优先算法的联邦梯度提升决策树模型更新***,所述***包括第一参与方、第二参与方和服务提供方:
所述第一参与方,用于基于第一样本数据集的样本分布计算目标梯度值,并将所述目标梯度值发送至所述第二参与方;基于所述第一样本数据集的第一样本特征对所述服务提供方下发的对应的树模型更新任务的第一决策树进行更新并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至所述服务提供方;
所述第二参与方,用于基于第二样本数据集的第二样本特征对所述服务提供方下发的所述第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至所述服务提供方,其中,所述第一样本数据集和所述第二样本数据集具有数据对齐关系;
所述服务提供方,用于基于所述第一遍历信息和所述第二遍历信息计算所述第一决策树中树节点的节点权重,并基于所述节点权重对所述第一决策树进行更新,根据更新结果获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系,且用于对用户进行信用预测。
根据本说明书实施例的第四方面,提供了另一种基于广度优先算法的联邦梯度提升决策树模型更新方法,包括:
第一参与方基于第一样本数据集的样本分布计算目标梯度值,并将所述目标梯度值发送至第二参与方;基于所述第一样本数据集的第一样本特征对服务提供方下发的对应的树模型更新任务的第一决策树进行更新并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至所述服务提供方;
第二参与方基于第二样本数据集的第二样本特征对所述服务提供方下发的所述第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至所述服务提供方,其中,所述第一样本数据集和所述第二样本数据集具有数据对齐关系;
服务提供方基于所述第一遍历信息和所述第二遍历信息计算所述第一决策树中树节点的节点权重,并基于所述节点权重对所述第一决策树进行更新,根据更新结果获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系,且用于对用户进行信用预测。
根据本说明书实施例的第五方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该指令被处理器执行时实现所述基于广度优先算法的联邦梯度提升决策树模型更新方法的步骤。
根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述基于广度优先算法的联邦梯度提升决策树模型更新方法的步骤。
本说明书提供的基于广度优先算法的联邦梯度提升决策树模型更新***,包括第一参与方、第二参与方和服务提供方:第一参与方,用于基于行为数据集的数据分布计算目标梯度值,并将目标梯度值发送至第二参与方;基于行为数据集的行为特征对服务提供方下发的对应树模型更新任务的第一决策树进行更新,并基于目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至服务提供方;第二参与方,用于基于信用数据集的信用特征对服务提供方下发的第一决策树进行更新,并基于目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至服务提供方,其中,行为数据集和信用数据集具有数据对齐关系;服务提供方,用于基于第一遍历信息和第二遍历信息计算第一决策树中树节点的节点权重,并基于节点权重对第一决策树进行更新,根据更新结果获得树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系。
本说明书一实施例实现了基于广度优先算法和联邦学习对梯度提升决策树模型进行更新,一方面通过第一参与方、第二参与方和服务提供方的联合,使得梯度提升决策树模型在更新的过程中***露模型梯度;另一方面基于广度优先算法,能够提高模型的更新速度,通过广度优先实现更快的模型更新。
附图说明
图1是本说明书一实施例提供的一种基于广度优先算法的联邦梯度提升决策树模型更新***的示意图;
图2是本说明书一实施例提供的一种基于广度优先算法的联邦梯度提升决策树模型更新***的结构示意图;
图3是本说明书一实施例提供的一种基于广度优先算法的联邦梯度提升决策树模型更新方法的流程图;
图4是本说明书一实施例提供的一种应用于梯度提升决策树模型更新的基于广度优先算法的联邦梯度提升决策树模型更新方法的交互示意图;
图5是本说明书一实施例提供的另一种基于广度优先算法的联邦梯度提升决策树模型更新***的结构示意图;
图6是本说明书一实施例提供的另一种基于广度优先算法的联邦梯度提升决策树模型更新方法的流程图;
图7是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
同态加密:基于数学难题的计算复杂性理论的密码学技术。对经过同态加密的数据进行处理得到一个输出,将这一输出进行解密,其结果与用同一方法处理未加密的原始数据得到的输出结果相同。
梯度提升决策树:GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。
联邦机器学习(Federated machine learning/Federated Learning):又名联邦学习,联合学习,联盟学习。联邦机器学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。
广度优先算法:BFS(Breadth First Search),又称为"宽度优先搜索"或"横向优先搜索"。
在本说明书中,提供了一种基于广度优先算法的联邦梯度提升决策树模型更新***。本说明书同时涉及基于广度优先算法的联邦梯度提升决策树模型更新方法,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1所示的示意图,本说明书提供的基于广度优先算法的联邦梯度提升决策树模型更新系包括第一参与方、第二参与方和服务提供方。第一参与方、第二参与方和服务提供方协同完成树模型更新任务。服务提供方用于提供待训练的梯度提升决策树模型,以及完成模型训练过程中的计算和判别任务。服务提供方基于待训练的梯度提升决策树模型确定第一决策树,并将第一决策树分别下发至第一参与方和第二参与方。
第一参与方基于行为数据集的数据分布计算目标梯度值,并将目标梯度值发送至第二参与方;基于行为数据集的行为特征对服务提供方下发的对应树模型更新任务的第一决策树进行更新,并基于目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至服务提供方;第二参与方基于信用数据集的信用特征对服务提供方下发的第一决策树进行更新,并基于目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至服务提供方,行为数据集和信用数据集具有数据对齐关系;服务提供方基于第一遍历信息和第二遍历信息计算第一决策树中树节点的节点权重,并基于节点权重对第一决策树进行更新,根据更新结果获得树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系。
本说明书一实施例实现了基于广度优先算法和联邦学习对梯度提升决策树模型进行更新,一方面通过第一参与方、第二参与方和服务提供方的联合,使得梯度提升决策树模型在更新的过程中***露模型梯度;另一方面基于广度优先算法,能够提高模型的更新速度,通过广度优先实现更快的模型更新。
图2示出了根据本说明书一实施例提供的一种基于广度优先算法的联邦梯度提升决策树模型更新***的示意图;基于广度优先算法的联邦梯度提升决策树模型更新***200包括第一参与方210、第二参与方220和服务提供方230:
所述第一参与方210,用于基于行为数据集的数据分布计算目标梯度值,并将所述目标梯度值发送至所述第二参与方220;基于所述行为数据集的行为特征对所述服务提供方230下发的对应树模型更新任务的第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至所述服务提供方230;
所述第二参与方220,用于基于信用数据集的信用特征对所述服务提供方230下发的所述第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至所述服务提供方230,其中,所述行为数据集和所述信用数据集具有数据对齐关系;
所述服务提供方230,用于基于所述第一遍历信息和所述第二遍历信息计算所述第一决策树中树节点的节点权重,并基于所述节点权重对所述第一决策树进行更新,根据更新结果获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系。
具体的,树模型更新任务即为对梯度提升决策树模型进行更新的任务;第一参与方210和第二参与方220分别为对梯度提升决策树模型进行训练的参与方;第一参与方210持有行为数据组成的行为数据集,以及建模标签数据;第二参与方220持有信用数据组成的数据集;服务提供方230用于梯度提升决策树模型在训练过程中的计算服务和判别服务,用于实现梯度提升决策树模型训练过程中增益值、函数值、权重的计算,以及对是否结束当前决策树的遍历的判别,对是否结束梯度提升决策树模型训练的判别;目标梯度值是指基于样本分布和建模标签数据计算获得的加密处理后的一阶导数和二阶导数;行为数据集的行为特征即为将行为数据转换为向量表达形式后获得的特征数据;相应的,信用数据集的信用特征即为将信用数据转换为向量表达形式后获得的特征数据;其中,行为数据包括但不限于在商品购买场景下的购买行为以及针对商品的浏览、收藏等行为;信用数据即为用户的借款、还款、针对金融类产品的行为信息。
梯度提升决策树模型对应至少一棵决策树,对梯度提升决策树模型进行更新的过程即为对至少一棵决策树进行遍历的过程;第一决策树即为梯度提升决策树模型对应的第一棵决策树;基于行为数据对第一棵决策树进行更新即为在第一决策树的树结构的基础上,将行为数据融入第一决策树中的节点;相应的,基于信用数据对第一决策树进行更新即为在第一决策树的树结构的基础上,将信用数据融入第一决策树中的树节点;参数关联关系是指梯度提升决策树模型中两个相邻决策树之间的参数传递关系,即,前序决策树遍历完成后获得的预测结果,影响下一决策树的遍历;第一遍历信息包含行为数据在第一决策树中各节点的分布信息,以及各节点的梯度值,梯度值用于后续计算节点权重;第二遍历信息包含信用数据在第一决策树中各节点的分布信息,以及各节点的梯度值,梯度值用于后续计算节点权重;在基于节点权重对第一决策树进行更新时,此时的第一决策树包含信用数据在第一决策树中各节点的分布信息和行为数据在第一决策树中各节点的分布信息。
基于此,在对梯度提升决策树模型进行更新时,第一参与方210基于行为数据集的数据分布以及建模标签数据计算目标梯度值,并将目标梯度值发送至第二参与方220。基于行为数据集的行为特征对服务提供方230下发的对应树模型更新任务的第一决策树进行更新,将行为特征分布至第一决策树中的节点,完成行为特征的划分。基于目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至服务提供方230。
第二参与方220基于信用数据集的信用特征对服务提供方230下发的第一决策树进行更新,将信用特征分布至第一决策树中的节点。基于目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至服务提供方230。行为数据集和信用数据集具有数据对齐关系。服务提供方230基于第一遍历信息和第二遍历信息计算第一决策树中树节点的节点权重,并基于节点权重对汇总第一遍历信息和第二遍历信息的第一决策树进行更新,获得第一决策树针对行为数据和信用数据的预测结果,根据更新结果获得树模型更新任务对应的一个目标梯度提升决策树模型,确定服务提供方230下发的对应树模型更新任务的下一决策树,以此类推,直至梯度提升决策树模型更新完成获得至少两个目标梯度提升决策树模型。
实际应用中,梯度提升决策树模型的模型函数可以是如下述公式(1)所示的函数:
其中,i表示第i个样本分布;表示第i个样本分布的预测结果;/>表示第K决策树的预测结果;K表示梯度提升决策树模型中的第K棵决策树;/>表示第i个样本分布输入数据,即行为数据或信用数据。
举例说明,梯度提升决策树模型的更新过程即为训练过程。参与训练的包括第一参与方、第二参与方以及提供计算和判别等服务的第三方,即,服务提供方。第一参与方持有用户金融领域下的***使用信息、理财产品持有信息等金融维度的信息;第二参与方持有与第一参与方相同用户的电商领域的针对商品的行为信息。服务提供方提供待更新的梯度提升决策树模型,并向第一参与方和第二参与方下发梯度提升决策树模型对应的第一决策树,第一参与方和第二参与方分别基于各自持有的信息遍历第一决策树,分别将遍历信息发送至服务提供方,由服务提供方基于第一参与方和第二参与方分别发送的遍历信息完成对第一决策树的更新,获得目标梯度提升决策树模型,直至梯度提升决策树模型中的全部决策树更新完成,获得更新后的梯度提升决策树模型。
综上所述,本说明书一实施例实现了基于广度优先算法和联邦学习对梯度提升决策树模型进行更新,一方面通过第一参与方、第二参与方和服务提供方的联合,使得梯度提升决策树模型在更新的过程中***露模型梯度;另一方面基于广度优先算法,能够提高模型的更新速度,通过广度优先实现更快的模型更新。
进一步的,考虑到在对梯度提升决策树模型进行更新时,存在用于模型更新的用户隐私数据以及模型梯度被泄露的风险,因此第一参与方210可以在将初始梯度值发送至第二参与方220之前采用同态加密算法进行加密,具体实施时,所述第一参与方210,用于基于行为数据集的数据分布计算初始梯度值;基于所述服务提供方230提供的公钥采用同态加密算法对所述初始梯度值进行加密获得目标梯度值,并发送至所述第二参与方220;所述服务提供方230,用于基于私钥对密文格式的第一遍历信息和密文格式的第二遍历信息进行解密后计算所述第一决策树中树节点的节点权重,其中,所述公钥和所述私钥组成密钥对。
具体的,初始梯度值是指基于样本分布和建模标签数据计算获得的一阶导数和二阶导数;采用同态加密算法对一阶导数和二阶导数进行加密后即可获得目标梯度值;公钥用于对一阶导数和二阶导数进行加密,私钥则用于对密文格式的第一遍历信息和密文格式的第二遍历信息进行解密。
基于此,第一参与方210基于行为数据集的数据分布计算初始梯度值;基于服务提供方230提供的公钥采用同态加密算法对初始梯度值进行加密获得目标梯度值,并发送至第二参与方220。在第一参与方210和第二参与方220分别基于目标梯度值完成对第一决策树的遍历后。服务提供方230在获得第一参与方210发送的密文格式的第一遍历信息,以及第二参与方220发送的密文格式的第二遍历信息后,由于公钥和私钥组成密钥对,因此可以基于私钥对密文格式的第一遍历信息和密文格式的第二遍历信息进行解密后计算第一决策树中树节点的节点权重。
沿用上例,在第二参与方计算获得初始梯度值包含的一阶导数Gi和二阶导数Hi后,采用同态加密算法分别对一阶导数Gi和二阶导数Hi进行加密,获得加密后的一阶导数[Gi],以及加密后的二阶导数[Hi],由加密后的一阶导数[Gi]和加密后的二阶导数[Hi]组成目标梯度值。
综上所述,通过采用同态加密算法对初始梯度值进行加密获得目标梯度值,进而后续基于目标梯度值实现第一决策树的遍历,以及梯度提升决策树模型的更新,从而提高度提升决策树模型更新过程的安全性,进一步也提高了用户隐私数据的安全性。
进一步的,考虑到在第一参与方210和第二参与方220分别对更新后的第一决策树进行遍历时,存在多种节点分割方式,因此需要枚举分割方式,分别进行数据分布信息的记录,以便于确定最佳分割方式,具体实施时,所述第一参与方210,用于根据第一遍历结果确定所述更新后的第一决策树的至少一个第一分割方式;确定每个第一分割方式对应的第一数据分布信息,组成第一遍历信息;相应的,所述第二参与方220,用于根据第二遍历结果确定所述更新后的第一决策树的至少一个第二分割方式;确定每个第二分割方式对应的第二数据分布信息,组成第二遍历信息。
具体的,第一遍历结果即为对更新后的第一决策树进行遍历获得的多种分割方式,以及每种分割方式下的特征分割信息;第一分割方式可以是行为特征的任意一种分割方式;相应的,第一数据分布信息即为采用第一分割方式对行为特征进行分割后,行为特征在分割后获得的节点中的分布信息;第二遍历结果即为对更新后的第一决策树进行遍历获得的多种分割方式,以及每种分割方式下的特征分割信息;第二分割方式可以是信用特征的任意一种分割方式;相应的,第二数据分布信息即为采用第二分割方式对信用特征进行分割后,信用特征在分割后获得的节点中的分布信息。
基于此,第一参与方210根据第一遍历结果确定更新后的第一决策树的至少一个第一分割方式;确定对行为特征进行分割后,每个第一分割方式对应的第一数据分布信息,组成第一遍历信息;相应的,第二参与方220根据第二遍历结果确定更新后的第一决策树的至少一个第二分割方式;确定对信用特征进行分割后,每个第二分割方式对应的第二数据分布信息,组成第二遍历信息。
沿用上例,以年龄为例对第一决策树进行分割,可以以50为划分点,将年龄划分为大于50和小于50两种分布方式;也可以选择其他划分点完成分割。进而确定每种分割方式对应的数据分布信息,组成遍历信息。
综上所述,在遍历第一决策树时,对多种分割方式进行枚举,进而便于生成更加全面的遍历信息。
进一步的,考虑到在对第一决策树进行遍历时,存在多种分割方式,而后续需要在不同的分割方式中确定一种分割方式为最佳分割方式,以便于完成第一决策树中树节点的节点权重的计算,因此需要记录每种分割方式对应的数据分布信息,具体实施时,任意一个第一分割方式对应的第一数据分布信息的确定,包括:所述第一参与方210,用于确定第一分割方式的行为标志和所述第一分割方式对应的第一分割节点的梯度值;基于所述第一分割方式的行为标志和所述第一分割节点的梯度值生成第一数据分布信息;相应的,任意一个第二分割方式对应的第二数据分布信息的确定,包括:所述第二参与方220,用于确定第二分割方式的信用标志和所述第二分割方式对应的第二分割节点的梯度值;基于所述第二分割方式的信用标志和所述第二分割节点的梯度值生成第二数据分布信息。
具体的,行为标志用于标记在第一分割方式下,左节点和右节点的数据分布信息;信用标志用于标记在第二分割方式下,左节点和右节点的数据分布信息;第一分割节点的梯度值即为第一分割节点的一阶导数和二阶导数值;第二分割节点的梯度值即为第二分割节点的一阶导数和二阶导数值。
基于此,在确定每个第一分割方式对应的第一数据分布信息时,第一参与方210确定第一分割方式的行为标志和第一分割方式对应的第一分割节点的梯度值;基于第一分割方式的行为标志和第一分割节点的梯度值生成第一数据分布信息;相应的,在确定每个第二分割方式对应的第二数据分布信息时,第二参与方220确定第二分割方式的信用标志和第二分割方式对应的第二分割节点的梯度值;基于第二分割方式的信用标志和第二分割节点的梯度值生成第二数据分布信息。
实际应用中,在第一参与方基于行为特征遍历第一决策树时,会产生至少一种第一分割方式,多种第一分割方式中各个第一分割方式的数据分布信息组成了第一决策树的第一遍历信息。在第二参与方基于信用特征遍历第一决策树时,会产生至少一种第二分割方式,多种第二分割方式中各个第二分割方式的数据分布信息组成了第一决策树的第一遍历信息。
综上所述,第一参与方和第二参与方分别记录各自分割方式对应的数据分布信息,以便于后续服务提供方对第一决策树进行更新获得目标梯度提升决策树模型。
进一步的,由于服务提供方230获得的是第一参与方210和第二参与方220分别提供的第一遍历信息和第二遍历信息,因此在进行后续计算之前,需要对第一遍历信息和第二遍历信息进行整合,具体实施时,所述服务提供方230,还用于基于所述第一遍历信息和所述第二遍历信息生成目标遍历信息;基于所述目标遍历信息确定至少一种分割方式;基于每种分割方式的增益值在所述至少一种分割方式中确定目标分割方式,并基于所述目标分割方式的目标增益值计算所述树节点的节点权重。
具体的,目标遍历信息是指对第一遍历信息和第二遍历信息按照节点对应关系进行整合后获得的遍历信息;分割方式是指基于目标遍历信息中的特征信息进行分割后获得的至少一种分割方式;目标分割方式是指在至少一种分割方式中通过比较增益值的方式确定的较大的增益值对应的分割方式。
基于此,服务提供方230在获得第一参与方210发送的第一遍历信息,以及第二参与方220发送的第二遍历信息后,对第一遍历信息和第二遍历信息进行整合,基于第一遍历信息和第二遍历信息生成目标遍历信息。基于目标遍历信息针对第一决策树确定至少一种分割方式。基于对每种分割方式的增益值的比较,在至少一种分割方式中确定增益值较大的分割方式为目标分割方式,并基于目标分割方式的目标增益值计算树节点的节点权重。
实际应用中,第一遍历信息中记录了第一参与方遍历第一决策树时,行为特征在第一决策树中节点的分布信息;第二遍历信息中记录了第二参与方遍历第一决策树时,信用特征在第一决策树中节点的分布信息;基于双方对应的更新后的决策树之间节点的对应关系,按照节点顺序对第一遍历信息和第二遍历信息进行整合。也就是在第一参与方遍历第一决策树后,获得行为特征在第一决策树中节点的分布信息,以及第二参与方遍历第一决策树后,获得信用特征在第一决策树中节点的分布信息后,将双方对应的第一决策树中,相同节点位置的节点对应的分布信息进行整合。使得服务提供方持有的第一决策树能够将第一参与方对应的行为特征在第一决策树中节点的分布信息,以及第二参与方对应的信用特征在第一决策树中节点的分布信息进行合并,获得目标遍历信息。进而基于目标遍历信息针对第一决策树进行分割时,能够结合信用特征和行为特征这两个维度的特征。基于目标遍历信息针对第一决策树进行分割后确定至少一种分割方式。在至少一种分割方式中,基于分割方式对应的增益值选择目标分割方式,进而基于目标分割方式的目标增益值计算树节点的节点权重。
综上所述,服务提供方对第一遍历信息和第二遍历信息进行整合生成目标遍历信息,进而基于目标遍历信息计算树节点的节点权重,从而在节点权重计算时融合第一参与方和第二参与方的遍历结果,提高节点权重计算的准确性。
进一步的,考虑到每种分割方式均对应不同的特征分割方式,相应的,不同的特征分割方式对应的增益值也不同,因此需要针对每种分割方式均进行增益值的计算,具体实施时,任意一种分割方式的增益值的确定包括:所述服务提供方230,用于根据节点分割方式中目标分割节点的梯度值和提升树函数计算所述目标分割节点的函数值;基于所述目标分割节点的函数值和所述目标分割节点对应的目标树节点的函数值计算所述节点分割方式的增益值。
具体的,提升树函数即为预设的函数,用于计算节点的函数值,进而结合函数值计算节点的增益值,作为分割方式的增益值;目标树节点即为目标分割节点对应的父节点。
基于此,服务提供方230在计算分割方式的增益值时,根据节点分割方式中目标分割节点的梯度值和提升树函数计算目标分割节点的函数值。确定目标分割节点对应的目标树节点的函数值。再基于目标分割节点的函数值和目标分割节点对应的目标树节点的函数值计算节点分割方式的增益值。
实际应用中,任意节点的函数值的计算均可以通过下述公式(2)实现:
其中,Obj表示;T表示当前这棵树(第一决策树、第二决策树等)的叶子节点的个数;Gi表示初始梯度值包含的一阶导数;Hi表示初始梯度值包含的二阶导数;λ表示控制模型复杂度的权重值的L2正则化参数。
任意一个分割节点的增益值的计算可以通过下述公式(3)确定:
Gain表示增益值;GL表示分割节点的左节点的一阶导数;GR表示分割节点的右节点的一阶导数;HL表示分割节点的左节点的二阶导数;HR表示分割节点的右节点的二阶导数;γ表示控制是否后剪枝的参数。
在确定目标分割方式下节点对应的数据分布信息时,可以基于目标分割方式对应的分割标志(行为标志或信用标志)通过下述公式(4)进行计算:
分割标志用于标记左节点和右节点的特征分布情况;Snew表示分割标志;[Gnew]表示目标分割节点的梯度值中更新后的一阶导数;[Gold]表示目标分割节点的梯度值中更新后的二阶导数;[Hnew]表示目标分割节点的梯度值中更新前的一阶导数;[Hold]表示目标分割节点的梯度值中更新前的二阶导数。
节点权重可以通过下述公式(5)计算:
其中,G表示第二决策树的目标梯度值中的一阶导数;H表示第二决策树的目标梯度值中的二阶导数;ω表示目标分割节点的权重;λ表示控制模型复杂度的权重值的L2正则化参数。
综上所述,根据节点分割方式中目标分割节点的梯度值和提升树函数计算目标分割节点的函数值,进而基于目标分割节点的函数值和目标分割节点对应的目标树节点的函数值计算节点分割方式的增益值,从而提高目标分割节点的增益值的计算准确度,便于后续基于目标分割节点的增益值计算树节点的节点权重。
进一步的,考虑到第一决策树的树深为至少一层,因此在采用广度优先算法遍历第一决策树时,需要逐层遍历,具体实施时,所述第一参与方210,用于确定所述服务提供方230下发的对应树模型更新任务的第一决策树;并在所述第一决策树中确定初始树深对应的初始树节点;基于所述行为数据集的行为特征对所述初始树节点进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的初始树节点,将第一遍历信息发送至所述服务提供方230;
相应的,所述第二参与方220,用于确定所述服务提供方230下发的对应树模型更新任务的第一决策树;并在所述第一决策树中确定初始树深对应的初始树节点;基于所述信用数据集的信用特征对所述初始树节点进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的初始树节点,将第二遍历信息发送至所述服务提供方230。
基于此,第一参与方210确定服务提供方230下发的对应树模型更新任务的第一决策树,并在第一决策树中确定初始树深对应的初始树节点。基于行为数据集的行为特征对初始树节点进行更新,并基于目标梯度值按照广度优先算法,遍历更新后的初始树节点,获得初始树深下初始树节点的第一遍历信息,并将第一遍历信息发送至服务提供方230;相应的,第二参与方220确定服务提供方230下发的对应树模型更新任务的第一决策树,并在第一决策树中确定初始树深对应的初始树节点。基于信用数据集的信用特征对初始树节点进行更新,并基于目标梯度值按照广度优先算法,遍历更新后的初始树节点,获得初始树深下初始树节点的第二遍历信息,并将第二遍历信息发送至服务提供方230。
沿用上例,第一参与方可以基于行为特征(购买商品的时间)对第一决策树的初始树深下的初始树节点进行遍历,将获得的第一遍历信息发送至服务提供方;第二参与方可以基于信用特征(是否如期还款)对第一决策树的初始树深下的初始树节点进行遍历,将获得的第二遍历信息发送至服务提供方。
综上所述,第一参与方和第二参与方均采用广度优先算法遍历第一决策树中确定初始树深对应的初始树节点,实现基于第一决策树的树深进行逐层遍历,提高对第一决策树的遍历效率。
进一步的,在第一决策树的初始树深下的初始树节点遍历完成后,即可通过判断第一决策树的初始树深是否满足树深条件确定第一决策树是否遍历完成,具体实施时,具体的,所述服务提供方230,用于判断所述第一决策树的所述初始树深是否满足树深条件,若否,基于所述初始树深确定所述第一决策树中的目标树深,并作为所述初始树深,执行所述在所述第一决策树中确定初始树深对应的初始树节点的步骤;若是,执行所述基于所述节点权重对所述第一决策树进行更新的步骤。
具体的,树深条件可以是基于第一决策树确定的树深值,当初始树深对应的树深值等于第一决策树的树深值时,表示初始树深为第一决策树的最大树深;当初始树深对应的树深值小于第一决策树的树深值时,表示初始树深不为第一决策树的最大树深,在初始树深之后还存在下一树深,下一树深即待遍历的目标树深。
基于此,服务提供方230在第一决策树的初始树深的初始树节点遍历完成后,判断第一决策树的初始树深是否满足树深条件,在第一决策树的初始树深不满足树深条件的情况下,表示初始树深不为第一决策树的最大树深,在初始树深之后还存在下一树深,基于初始树深确定第一决策树中的目标树深,并作为初始树深,在第一决策树中确定初始树深对应的初始树节点,以及对初始树节点进行遍历;在第一决策树的初始树深满足树深条件的情况下,表示初始树深为第一决策树的最大树深,表示第一决策树遍历完成,即可基于节点权重对第一决策树进行更新。
实际应用中,预测结果可以通过下述公式(6)确定:
其中,Pold表示第一决策树的目标梯度值;Pnew表示第一决策树的预测结果,即更新后的目标梯度值。
综上所述,通过判断第一决策树的初始树深是否满足树深条件确定第一决策树是否遍历完成,从而实现基于广度优先算法对第一决策树进行逐层遍历,提高第一决策树的遍历效率。
进一步的,考虑到梯度提升决策树模型对应的决策树不止一棵,因此在第一决策树遍历完成,获得第一决策树对应的梯度信息后,还需要构建第二决策树,继续进行遍历,具体实施时,具体的,所述服务提供方230,用于根据更新结果获得所述树模型更新任务对应的第一目标梯度提升决策树模型;基于第一目标梯度提升决策树模型构建第二决策树,并将所述第二决策树作为所述第一决策树发送至第一参与方210和第二参与方220,直至获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型。
具体的,第二决策树即为在第一决策树模型之后,梯度提升决策树模型对应的下一决策树。
基于此,服务提供方230根据更新结果获得树模型更新任务对应的第一目标梯度提升决策树模型,在第一目标梯度提升决策树模型的基础上构建第二决策树,基于第一目标梯度提升决策树模型的预测结果计算第二决策树的目标梯度值。将第二决策树作为第一决策树发送至第一参与方210和第二参与方220进行第二决策树的遍历,直至获得树模型更新任务对应的至少一个目标梯度提升决策树模型。
实际应用中,第一决策树和第二决策树之间存在梯度关联关系,第二决策树对应的目标梯度值是基于第一决策树的预测结果计算获得的,第二决策树对应的目标梯度值通过下述公式(7)确定:
其中,G表示第二决策树的目标梯度值中的一阶导数;H表示第二决策树的目标梯度值中的二阶导数;Pnew表示第一决策树的预测结果,即更新后的目标梯度值;Y表示第一参与方持有的建模标签数据。
综上所述,在第一目标梯度提升决策树模型的基础上构建第二决策树,使得第二决策树遍历时,第二决策树的目标梯度值是基于第一决策树对应的预测结果确定的,从而完成梯度提升决策树模型的逐步更新。
进一步的,在树模型更新任务执行完成后,梯度提升决策树模型则训练完成,因此即可基于训练完成的梯度提升决策树模型为用户提供预测服务,具体实施时,具体的,所述第一参与方210,用于接收所述服务提供方230针对各个目标梯度提升决策树模型下发的模型参数,并根据模型参数构建至少一个本地梯度提升决策树模型;在接收到针对用户数据提交的预测任务处理请求,通过至少一个本地梯度提升决策树模型对所述用户数据进行预测,根据预测结果确定用户对应的信用产品信息。
具体的,模型参数即为在梯度提升决策树模型更新完成后,获得的用于对第一决策树等梯度提升决策树模型对应的各决策树进行更新的模型参数;使得第一参与方210和第二参与方220均获得训练完成的梯度提升决策树模型;相应的,本地梯度提升决策树模型即为第一参与方210持有的训练完成的梯度提升决策树模型;用户数据即为使用训练完成的梯度提升决策树模型时,模型的输入数据,即,用户的个人信息,以及信用信息、针对商品的行为信息;信用产品信息即为训练完成的梯度提升决策树模型基于用户数据进行预测获得的与用户匹配的产品信息。
基于此,第一参与方210接收到服务提供方230针对各个目标梯度提升决策树模型下发的模型参数后,即可基于持有的各决策树和对应的模型参数构建至少一个本地梯度提升决策树模型,用于提供预测服务。在接收到针对用户数据提交的预测任务处理请求时,通过至少一个本地梯度提升决策树模型对用户数据进行预测,根据预测结果确定用户对应的信用产品信息。
沿用上例,在用户存在产品推荐需求时,可以提供用户的信用信息、产品历史行为信息等个人信息。第一参与方基于本地梯度提升决策树模型进行预测,进而为用户提供预测后获得的产品类型、编号等信用产品信息。
综上所述,通过至少一个本地梯度提升决策树模型对用户数据进行预测,根据预测结果确定用户对应的信用产品信息,实现为用户提供产品预测服务。
本说明书一实施例实现了基于广度优先算法和联邦学习对梯度提升决策树模型进行更新,一方面通过第一参与方、第二参与方和服务提供方的联合,使得梯度提升决策树模型在更新的过程中***露模型梯度;另一方面基于广度优先算法,能够提高模型的更新速度,通过广度优先实现更快的模型更新。
与上述***实施例相对应,本说明书还提供了一种基于广度优先算法的联邦梯度提升决策树模型更新方法实施例,图3示出了根据本说明书一实施例提供的一种基于广度优先算法的联邦梯度提升决策树模型更新方法的流程图,具体包括以下步骤:
步骤S302,第一参与方基于行为数据集的数据分布计算目标梯度值,并将所述目标梯度值发送至第二参与方;基于所述行为数据集的行为特征对服务提供方下发的对应树模型更新任务的第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至所述服务提供方;
步骤S304,第二参与方基于信用数据集的信用特征对所述服务提供方下发的所述第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至所述服务提供方,其中,所述行为数据集和所述信用数据集具有数据对齐关系;
步骤S306,服务提供方基于所述第一遍历信息和所述第二遍历信息计算所述第一决策树中树节点的节点权重,并基于所述节点权重对所述第一决策树进行更新,根据更新结果获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系。
可选地,第一参与方基于行为数据集的数据分布计算初始梯度值;基于所述服务提供方提供的公钥采用同态加密算法对所述初始梯度值进行加密获得目标梯度值,并发送至所述第二参与方;
服务提供方基于私钥对密文格式的第一遍历信息和密文格式的第二遍历信息进行解密后计算所述第一决策树中树节点的节点权重,其中,所述公钥和所述私钥组成密钥对。
可选地,第一参与方根据第一遍历结果确定所述更新后的第一决策树的至少一个第一分割方式;确定每个第一分割方式对应的第一数据分布信息,组成第一遍历信息;
相应的,第二参与方根据第二遍历结果确定所述更新后的第一决策树的至少一个第二分割方式;确定每个第二分割方式对应的第二数据分布信息,组成第二遍历信息。
可选地,任意一个第一分割方式对应的第一数据分布信息的确定,包括:第一参与方确定第一分割方式的行为标志和所述第一分割方式对应的第一分割节点的梯度值;基于所述第一分割方式的行为标志和所述第一分割节点的梯度值生成第一数据分布信息;
相应的,任意一个第二分割方式对应的第二数据分布信息的确定,包括:第二参与方确定第二分割方式的信用标志和所述第二分割方式对应的第二分割节点的梯度值;基于所述第二分割方式的信用标志和所述第二分割节点的梯度值生成第二数据分布信息。
可选地,服务提供方基于所述第一遍历信息和所述第二遍历信息生成目标遍历信息;基于所述目标遍历信息确定至少一种分割方式;基于每种分割方式的增益值在所述至少一种分割方式中确定目标分割方式,并基于所述目标分割方式的目标增益值计算所述树节点的节点权重。
可选地,任意一种分割方式的增益值的确定包括:服务提供方根据节点分割方式中目标分割节点的梯度值和提升树函数计算所述目标分割节点的函数值;基于所述目标分割节点的函数值和所述目标分割节点对应的目标树节点的函数值计算所述节点分割方式的增益值。
可选地,第一参与方确定所述服务提供方下发的对应树模型更新任务的第一决策树;并在所述第一决策树中确定初始树深对应的初始树节点;基于所述行为数据集的行为特征对所述初始树节点进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的初始树节点,将第一遍历信息发送至所述服务提供方;
相应的,第二参与方确定所述服务提供方下发的对应树模型更新任务的第一决策树;并在所述第一决策树中确定初始树深对应的初始树节点;基于所述信用数据集的信用特征对所述初始树节点进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的初始树节点,将第二遍历信息发送至所述服务提供方。
可选地,服务提供方判断所述第一决策树的所述初始树深是否满足树深条件,若否,基于所述初始树深确定所述第一决策树中的目标树深,并作为所述初始树深,执行所述在所述第一决策树中确定初始树深对应的初始树节点的步骤;若是,执行所述基于所述节点权重对所述第一决策树进行更新的步骤。
可选地,服务提供方根据更新结果获得所述树模型更新任务对应的第一目标梯度提升决策树模型;基于第一目标梯度提升决策树模型构建第二决策树,并将所述第二决策树作为所述第一决策树发送至第一参与方和第二参与方,直至获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型。
可选地,第一参与方接收所述服务提供方针对各个目标梯度提升决策树模型下发的模型参数,并根据模型参数构建至少一个本地梯度提升决策树模型;在接收到针对用户数据提交的预测任务处理请求,通过至少一个本地梯度提升决策树模型对所述用户数据进行预测,根据预测结果确定用户对应的信用产品信息。
本说明书一实施例实现了基于广度优先算法和联邦学习对梯度提升决策树模型进行更新,一方面通过第一参与方、第二参与方和服务提供方的联合,使得梯度提升决策树模型在更新的过程中***露模型梯度;另一方面基于广度优先算法,能够提高模型的更新速度,通过广度优先实现更快的模型更新。
下述结合附图4,以本说明书提供的基于广度优先算法的联邦梯度提升决策树模型更新方法在梯度提升决策树模型更新的应用为例,对所述基于广度优先算法的联邦梯度提升决策树模型更新方法进行进一步说明。其中,图4示出了本说明书一实施例提供的一种应用于梯度提升决策树模型更新的基于广度优先算法的联邦梯度提升决策树模型更新方法的交互示意图,具体包括以下步骤:
步骤S402,服务提供方构建决策树模型,并在决策树模型中确定第一决策树。
服务提供方构建包含至少一棵决策树的决策树模型。将当前树深下所有书节点的样本分布分别发送至第一参与方和第二参与方。
步骤S404,服务提供方将第一决策树和公钥发送至第一参与方。
服务提供方保存公钥和私钥,将公钥发送至第一参与方,同时为第一参与方提供第一棵树模型,即,第一决策树。
步骤S406,服务提供方将第一决策树发送至第二参与方。
步骤S408,第一参与方基于样本分布确定一阶导数和二阶导数并加密。
第一参与方存储有第一特征数据和建模标签数据,
步骤S410,第一参与方向第二参与方发送加密后的一阶导数和二阶导数。
步骤S412,第二参与方遍历第一决策树,并向服务提供方发送第二遍历结果。
第二参与方存储有第二特征数据。基于第二特征数据、加密后的一阶导数和二阶导数遍历第一决策树,完成所有***情况的遍历,并将遍历结果发送至服务提供方。
步骤S414,第一参与方遍历第一决策树,并向服务提供方发送第一遍历结果。
步骤S416,服务提供方对第一遍历结果和第二遍历结果进行组合后解密获得左子节点的一阶导数和二阶导数,以及右子节点的一阶导数和二阶导数。
步骤S418,服务提供方分别计算左子节点和右子节点的目标函数值以及增益值。
步骤S420,服务提供方选取增益值最大的节点作为最佳切分点并计算节点权重。
步骤S422,服务提供方在满足决策树构建条件的情况下,更新预测结果并计算模型梯度。
在遍历到第一决策树的目标树深的情况下,表示满足决策树构建条件。
步骤S424,服务提供方在不满足训练条件的情况下,确定下一决策树并作为第一决策树执行步骤S402。
在决策树模型包含的多棵决策树遍历完成的情况下表示满足训练条件;相反的,在决策树模型中存在未被遍历的决策树的情况下表示不满足训练条件,则确定决策树模型对应的下一决策树并继续遍历,直至决策树模型中的全部决策树均遍历完成。对决策树进行集成,将每棵决策树的预测结果相加作为最终的预测值。
综上所述,本说明书一实施例实现了基于广度优先算法和联邦学习对梯度提升决策树模型进行更新,一方面通过第一参与方、第二参与方和服务提供方的联合,使得梯度提升决策树模型在更新的过程中***露模型梯度;另一方面基于广度优先算法,能够提高模型的更新速度,通过广度优先实现更快的模型更新。
与上述***实施例相对应,本说明书还提供了另一种基于广度优先算法的联邦梯度提升决策树模型更新***实施例,图5示出了根据本说明书一实施例提供的另一种基于广度优先算法的联邦梯度提升决策树模型更新***的结构示意图;基于广度优先算法的联邦梯度提升决策树模型更新***500包括第一参与方510、第二参与方520和服务提供方530:
所述第一参与方510,用于基于第一样本数据集的样本分布计算目标梯度值,并将所述目标梯度值发送至所述第二参与方520;基于所述第一样本数据集的第一样本特征对所述服务提供方530下发的对应的树模型更新任务的第一决策树进行更新并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至所述服务提供方530;
所述第二参与方520,用于基于第二样本数据集的第二样本特征对所述服务提供方下发的所述第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至所述服务提供方530,其中,所述第一样本数据集和所述第二样本数据集具有数据对齐关系;
所述服务提供方530,用于基于所述第一遍历信息和所述第二遍历信息计算所述第一决策树中树节点的节点权重,并基于所述节点权重对所述第一决策树进行更新,根据更新结果获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系,且用于对用户进行信用预测。
实际应用中,目标梯度提升决策树模型具有对用户进行信用预测的能力。将用户的个人信息、历史信用信息、收支信息等作为目标梯度提升决策树模型的输入,目标梯度提升决策树模型能够输出针对用户进行信用预测的信用预测信息,用于表示用户的信用风险等级。
本说明书一实施例实现了基于广度优先算法和联邦学习对梯度提升决策树模型进行更新,一方面通过第一参与方、第二参与方和服务提供方的联合,使得梯度提升决策树模型在更新的过程中***露模型梯度;另一方面基于广度优先算法,能够提高模型的更新速度,通过广度优先实现更快的模型更新。
与上述***实施例相对应,本说明书还提供了另一种基于广度优先算法的联邦梯度提升决策树模型更新方法实施例,图6示出了本说明书一个实施例提供的另一种基于广度优先算法的联邦梯度提升决策树模型更新方法的流程图。如图6所示,该方法包括:
步骤S602,第一参与方基于第一样本数据集的样本分布计算目标梯度值,并将所述目标梯度值发送至第二参与方;基于所述第一样本数据集的第一样本特征对服务提供方下发的对应的树模型更新任务的第一决策树进行更新并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至所述服务提供方;
步骤S604,第二参与方基于第二样本数据集的第二样本特征对所述服务提供方下发的所述第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至所述服务提供方,其中,所述第一样本数据集和所述第二样本数据集具有数据对齐关系;
步骤S606,服务提供方基于所述第一遍历信息和所述第二遍历信息计算所述第一决策树中树节点的节点权重,并基于所述节点权重对所述第一决策树进行更新,根据更新结果获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系,且用于对用户进行信用预测。
本说明书一实施例实现了基于广度优先算法和联邦学习对梯度提升决策树模型进行更新,一方面通过第一参与方、第二参与方和服务提供方的联合,使得梯度提升决策树模型在更新的过程中***露模型梯度;另一方面基于广度优先算法,能够提高模型的更新速度,通过广度优先实现更快的模型更新。
上述为本实施例的另一种基于广度优先算法的联邦梯度提升决策树模型更新***的示意性方案。需要说明的是,该基于广度优先算法的联邦梯度提升决策树模型更新***的技术方案与上述的基于广度优先算法的联邦梯度提升决策树模型更新***的技术方案属于同一构思,另一种基于广度优先算法的联邦梯度提升决策树模型更新***的技术方案未详细描述的细节内容,均可以参见上述基于广度优先算法的联邦梯度提升决策树模型更新***的技术方案的描述。
图7示出了根据本说明书一实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接,数据库750用于保存数据。
计算设备700还包括接入设备740,接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图7所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备700可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
其中,处理器720用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述基于广度优先算法的联邦梯度提升决策树模型更新方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的基于广度优先算法的联邦梯度提升决策树模型更新方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述基于广度优先算法的联邦梯度提升决策树模型更新方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现上述基于广度优先算法的联邦梯度提升决策树模型更新方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的基于广度优先算法的联邦梯度提升决策树模型更新方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述基于广度优先算法的联邦梯度提升决策树模型更新方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减,例如在某些地区,根据专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种基于广度优先算法的联邦梯度提升决策树模型更新***,其特征在于,所述***包括第一参与方、第二参与方和服务提供方:
所述第一参与方,用于基于行为数据集的数据分布计算目标梯度值,并将所述目标梯度值发送至所述第二参与方;基于所述行为数据集的行为特征对所述服务提供方下发的对应树模型更新任务的第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至所述服务提供方;
所述第二参与方,用于基于信用数据集的信用特征对所述服务提供方下发的所述第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至所述服务提供方,其中,所述行为数据集和所述信用数据集具有数据对齐关系;
所述服务提供方,用于基于所述第一遍历信息和所述第二遍历信息计算所述第一决策树中树节点的节点权重,并基于所述节点权重对所述第一决策树进行更新,根据更新结果获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系。
2.根据权利要求1所述的***,其特征在于,所述第一参与方,用于基于行为数据集的数据分布计算初始梯度值;基于所述服务提供方提供的公钥采用同态加密算法对所述初始梯度值进行加密获得目标梯度值,并发送至所述第二参与方;
所述服务提供方,用于基于私钥对密文格式的第一遍历信息和密文格式的第二遍历信息进行解密后计算所述第一决策树中树节点的节点权重,其中,所述公钥和所述私钥组成密钥对。
3.根据权利要求1所述的***,其特征在于,所述第一参与方,用于根据第一遍历结果确定所述更新后的第一决策树的至少一个第一分割方式;确定每个第一分割方式对应的第一数据分布信息,组成第一遍历信息;
相应的,所述第二参与方,用于根据第二遍历结果确定所述更新后的第一决策树的至少一个第二分割方式;确定每个第二分割方式对应的第二数据分布信息,组成第二遍历信息。
4.根据权利要求3所述的***,其特征在于,任意一个第一分割方式对应的第一数据分布信息的确定,包括:所述第一参与方,用于确定第一分割方式的行为标志和所述第一分割方式对应的第一分割节点的梯度值;基于所述第一分割方式的行为标志和所述第一分割节点的梯度值生成第一数据分布信息;
相应的,任意一个第二分割方式对应的第二数据分布信息的确定,包括:所述第二参与方,用于确定第二分割方式的信用标志和所述第二分割方式对应的第二分割节点的梯度值;基于所述第二分割方式的信用标志和所述第二分割节点的梯度值生成第二数据分布信息。
5.根据权利要求1所述的***,其特征在于,所述服务提供方,还用于基于所述第一遍历信息和所述第二遍历信息生成目标遍历信息;基于所述目标遍历信息确定至少一种分割方式;基于每种分割方式的增益值在所述至少一种分割方式中确定目标分割方式,并基于所述目标分割方式的目标增益值计算所述树节点的节点权重。
6.根据权利要求5所述的***,其特征在于,任意一种分割方式的增益值的确定包括:所述服务提供方,用于根据节点分割方式中目标分割节点的梯度值和提升树函数计算所述目标分割节点的函数值;基于所述目标分割节点的函数值和所述目标分割节点对应的目标树节点的函数值计算所述节点分割方式的增益值。
7.根据权利要求1所述的***,其特征在于,所述第一参与方,用于确定所述服务提供方下发的对应树模型更新任务的第一决策树;并在所述第一决策树中确定初始树深对应的初始树节点;基于所述行为数据集的行为特征对所述初始树节点进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的初始树节点,将第一遍历信息发送至所述服务提供方;
相应的,所述第二参与方,用于确定所述服务提供方下发的对应树模型更新任务的第一决策树;并在所述第一决策树中确定初始树深对应的初始树节点;基于所述信用数据集的信用特征对所述初始树节点进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的初始树节点,将第二遍历信息发送至所述服务提供方。
8.根据权利要求7所述的***,其特征在于,所述服务提供方,用于判断所述第一决策树的所述初始树深是否满足树深条件,若否,基于所述初始树深确定所述第一决策树中的目标树深,并作为所述初始树深,执行所述在所述第一决策树中确定初始树深对应的初始树节点的步骤;若是,执行所述基于所述节点权重对所述第一决策树进行更新的步骤。
9.根据权利要求1所述的***,其特征在于,所述服务提供方,用于根据更新结果获得所述树模型更新任务对应的第一目标梯度提升决策树模型;基于第一目标梯度提升决策树模型构建第二决策树,并将所述第二决策树作为所述第一决策树发送至第一参与方和第二参与方,直至获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型。
10.根据权利要求1所述的***,其特征在于,所述第一参与方,用于接收所述服务提供方针对各个目标梯度提升决策树模型下发的模型参数,并根据模型参数构建至少一个本地梯度提升决策树模型;在接收到针对用户数据提交的预测任务处理请求,通过至少一个本地梯度提升决策树模型对所述用户数据进行预测,根据预测结果确定用户对应的信用产品信息。
11.一种基于广度优先算法的联邦梯度提升决策树模型更新***,其特征在于,所述***包括第一参与方、第二参与方和服务提供方:
所述第一参与方,用于基于第一样本数据集的样本分布计算目标梯度值,并将所述目标梯度值发送至所述第二参与方;基于所述第一样本数据集的第一样本特征对所述服务提供方下发的对应的树模型更新任务的第一决策树进行更新并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至所述服务提供方;
所述第二参与方,用于基于第二样本数据集的第二样本特征对所述服务提供方下发的所述第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至所述服务提供方,其中,所述第一样本数据集和所述第二样本数据集具有数据对齐关系;
所述服务提供方,用于基于所述第一遍历信息和所述第二遍历信息计算所述第一决策树中树节点的节点权重,并基于所述节点权重对所述第一决策树进行更新,根据更新结果获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系,且用于对用户进行信用预测。
12.一种基于广度优先算法的联邦梯度提升决策树模型更新方法,其特征在于,包括:
第一参与方基于行为数据集的数据分布计算目标梯度值,并将所述目标梯度值发送至第二参与方;基于所述行为数据集的行为特征对服务提供方下发的对应树模型更新任务的第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第一遍历信息并发送至所述服务提供方;
第二参与方基于信用数据集的信用特征对所述服务提供方下发的所述第一决策树进行更新,并基于所述目标梯度值按照广度优先算法,遍历更新后的第一决策树,获得第二遍历信息并发送至所述服务提供方,其中,所述行为数据集和所述信用数据集具有数据对齐关系;
服务提供方基于所述第一遍历信息和所述第二遍历信息计算所述第一决策树中树节点的节点权重,并基于所述节点权重对所述第一决策树进行更新,根据更新结果获得所述树模型更新任务对应的至少一个目标梯度提升决策树模型;其中,各个目标梯度提升决策树模型之间具有参数关联关系。
13.一种计算设备,其特征在于,包括存储器和处理器;所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实现权利要求12所述基于广度优先算法的联邦梯度提升决策树模型更新方法的步骤。
14.种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求12所述基于广度优先算法的联邦梯度提升决策树模型更新方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311543444.5A CN117251805B (zh) | 2023-11-20 | 2023-11-20 | 基于广度优先算法的联邦梯度提升决策树模型更新*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311543444.5A CN117251805B (zh) | 2023-11-20 | 2023-11-20 | 基于广度优先算法的联邦梯度提升决策树模型更新*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117251805A true CN117251805A (zh) | 2023-12-19 |
CN117251805B CN117251805B (zh) | 2024-04-16 |
Family
ID=89126855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311543444.5A Active CN117251805B (zh) | 2023-11-20 | 2023-11-20 | 基于广度优先算法的联邦梯度提升决策树模型更新*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117251805B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299728A (zh) * | 2018-08-10 | 2019-02-01 | 深圳前海微众银行股份有限公司 | 联邦学习方法、***及可读存储介质 |
CN113408747A (zh) * | 2021-06-28 | 2021-09-17 | 淮安集略科技有限公司 | 模型参数更新方法、装置、计算机可读介质及电子设备 |
US20210376995A1 (en) * | 2020-05-27 | 2021-12-02 | International Business Machines Corporation | Privacy-enhanced decision tree-based inference on homomorphically-encrypted data |
CN114021734A (zh) * | 2021-10-14 | 2022-02-08 | 深圳致星科技有限公司 | 用于联邦学习和隐私计算的参数计算装置、***及方法 |
CN114841374A (zh) * | 2021-01-14 | 2022-08-02 | 新智数字科技有限公司 | 一种基于随机贪心算法的横向联邦梯度提升树优化方法 |
CN115552429A (zh) * | 2020-06-02 | 2022-12-30 | 华为云计算技术有限公司 | 使用非iid数据的横向联邦学习方法和*** |
CN115796276A (zh) * | 2022-11-30 | 2023-03-14 | 绿盟科技集团股份有限公司 | 一种基于联邦学习的决策树构建方法、装置及存储介质 |
CN115935438A (zh) * | 2023-02-03 | 2023-04-07 | 杭州金智塔科技有限公司 | 数据隐私求交***及方法 |
CN116484415A (zh) * | 2023-02-22 | 2023-07-25 | 北京航空航天大学 | 基于全同态加密的隐私决策树推理方法 |
-
2023
- 2023-11-20 CN CN202311543444.5A patent/CN117251805B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299728A (zh) * | 2018-08-10 | 2019-02-01 | 深圳前海微众银行股份有限公司 | 联邦学习方法、***及可读存储介质 |
US20210376995A1 (en) * | 2020-05-27 | 2021-12-02 | International Business Machines Corporation | Privacy-enhanced decision tree-based inference on homomorphically-encrypted data |
CN115552429A (zh) * | 2020-06-02 | 2022-12-30 | 华为云计算技术有限公司 | 使用非iid数据的横向联邦学习方法和*** |
CN114841374A (zh) * | 2021-01-14 | 2022-08-02 | 新智数字科技有限公司 | 一种基于随机贪心算法的横向联邦梯度提升树优化方法 |
CN113408747A (zh) * | 2021-06-28 | 2021-09-17 | 淮安集略科技有限公司 | 模型参数更新方法、装置、计算机可读介质及电子设备 |
CN114021734A (zh) * | 2021-10-14 | 2022-02-08 | 深圳致星科技有限公司 | 用于联邦学习和隐私计算的参数计算装置、***及方法 |
CN115796276A (zh) * | 2022-11-30 | 2023-03-14 | 绿盟科技集团股份有限公司 | 一种基于联邦学习的决策树构建方法、装置及存储介质 |
CN115935438A (zh) * | 2023-02-03 | 2023-04-07 | 杭州金智塔科技有限公司 | 数据隐私求交***及方法 |
CN116484415A (zh) * | 2023-02-22 | 2023-07-25 | 北京航空航天大学 | 基于全同态加密的隐私决策树推理方法 |
Non-Patent Citations (3)
Title |
---|
HANGYU ZHU,等: "PIVODL: Privacy-Preserving Vertical Federated Learning Over Distributed Labels", 《IEEE TRANSACTIONS ON ARTIFICIAL INTELLIGENCE》, vol. 4, no. 5, pages 988 - 1001, XP011949927, DOI: 10.1109/TAI.2021.3139055 * |
MAGGI BANSAL,等: "UrbanEnQoSPlace: A Deep Reinforcement Learning Model for Service Placement of Real-Time Smart City IoT Applications", 《IEEE TRANSACTIONS ON SERVICES COMPUTING》, vol. 16, no. 4, pages 3043 - 3060, XP011946652, DOI: 10.1109/TSC.2022.3218044 * |
何雯;白翰茹;李超;: "基于联邦学习的企业数据共享探讨", 信息与电脑(理论版), no. 08, pages 177 - 180 * |
Also Published As
Publication number | Publication date |
---|---|
CN117251805B (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109299728B (zh) | 基于构建梯度树模型的样本联合预测方法、***及介质 | |
CN110189192B (zh) | 一种信息推荐模型的生成方法及装置 | |
Liu et al. | Vertical federated learning: Concepts, advances, and challenges | |
US20230078061A1 (en) | Model training method and apparatus for federated learning, device, and storage medium | |
CN112149171B (zh) | 联邦神经网络模型的训练方法、装置、设备及存储介质 | |
WO2021164365A1 (zh) | 图神经网络模型训练方法、装置及*** | |
Wan et al. | Privacy-preservation for gradient descent methods | |
CN113505882B (zh) | 基于联邦神经网络模型的数据处理方法、相关设备及介质 | |
CN113051557A (zh) | 基于纵向联邦学***台恶意用户检测方法 | |
CN112989399B (zh) | 数据处理***及方法 | |
CN112613618A (zh) | 一种安全联邦学习逻辑回归算法 | |
CN111026788A (zh) | 一种混合云中基于同态加密的多关键词密文排序检索方法 | |
CN112116008A (zh) | 基于智能决策的目标检测模型的处理方法、及其相关设备 | |
CN112532630B (zh) | 基于算法、5g和区块链的基因大数据疾病预测*** | |
CN112330048A (zh) | 评分卡模型训练方法、装置、存储介质及电子装置 | |
CN116957112A (zh) | 联合模型的训练方法、装置、设备及存储介质 | |
CN114239863B (zh) | 机器学习模型的训练方法及其预测方法、装置、电子设备 | |
Das et al. | A secure softwarized blockchain-based federated health alliance for next generation IoT networks | |
KR20140133032A (ko) | 유사도 특성을 이용한 메타휴리스틱 알고리즘에 기반한 시스템 및 그 제어방법 | |
CN115965093A (zh) | 模型训练方法、装置、存储介质及电子设备 | |
CN117251805B (zh) | 基于广度优先算法的联邦梯度提升决策树模型更新*** | |
CN117521102A (zh) | 一种基于联邦学习的模型训练方法及装置 | |
Wang et al. | Efficient and secure pedestrian detection in intelligent vehicles based on federated learning | |
CN114936892B (zh) | 基于联邦迁移学习标签传播的线下商品推荐***及方法 | |
CN113537516B (zh) | 分布式机器学习模型的训练方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |