CN111382875A - 联邦模型参数确定方法、装置、设备及存储介质 - Google Patents
联邦模型参数确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111382875A CN111382875A CN202010155526.2A CN202010155526A CN111382875A CN 111382875 A CN111382875 A CN 111382875A CN 202010155526 A CN202010155526 A CN 202010155526A CN 111382875 A CN111382875 A CN 111382875A
- Authority
- CN
- China
- Prior art keywords
- federal
- parameter
- model
- accuracy
- models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000012360 testing method Methods 0.000 claims description 43
- 238000012216 screening Methods 0.000 claims description 17
- 230000035772 mutation Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 8
- 230000002068 genetic effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 210000000349 chromosome Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种联邦模型参数确定方法、装置、设备及存储介质,该方法包括:获取目标模型的多个参数,并对多个参数随机编码组合处理,得到多组第一参数编码分别对目标模型执行联邦学习过程,得到多个联邦模型,确定多个联邦模型的准确率;若多个联邦模型中准确率符合预设条件的联邦模型不收敛,基于多个联邦模型的准确率,从多组第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码再对目标模型执行联邦学习过程;若多个联邦模型中准确率符合预设条件的联邦模型收敛,确定收敛的联邦模型对应的第一目标参数编码组,将第一目标参数编码组对应的第一目标参数确定为联邦模型参数。以提高联邦模型对不同场景预测的准确性。
Description
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及一种联邦模型参数确定方法、装置、设备及存储介质。
背景技术
随着金融科技(Fintech),尤其是互联网科技金融的不断发展,越来越多的技术(如人工智能、大数据分析、云存储等)应用在金融领域,但金融领域也对各类技术提出了更高的要求,如要求更为准确的生成联邦模型的参数,以提高联邦模型预测的准确性。
当前联邦模型的参数通常经各方传感器采集的数据训练得到,但不同传感器的内置参数具有差异性,导致了用于联邦模型训练的不同批次的数据不同;在经训练得到联邦模型的模型参数后,使用经训练的联邦模型进行预测的适配性较差;在一些场景的预测准确率高,而在另一些场景的预测准确率较低,不能达到预期的预测效果。
发明内容
本发明的主要目的在于提供一种联邦模型参数确定方法、装置、设备及存储介质,旨在解决现有技术中因模型参数由每批次具有差异性的训练数据生成,而导致联邦模型适配性差的技术问题。
为实现上述目的,本发明提供一种联邦模型参数确定方法,所述联邦模型参数确定方法包括以下步骤:
获取目标模型的多个参数,并对所述多个参数进行随机编码组合处理,得到多组第一参数编码;
基于多组所述第一参数编码分别对所述目标模型执行联邦学习过程,得到多个联邦模型,并确定多个所述联邦模型的准确率;
若多个所述联邦模型中准确率符合预设条件的联邦模型不收敛,则基于多个所述联邦模型的准确率,从多组所述第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码,并基于多组所述第三参数编码,再对所述目标模型执行联邦学习过程;
若多个所述联邦模型中准确率符合预设条件的联邦模型收敛,则确定收敛的联邦模型对应的第一目标参数编码组,并将所述第一目标参数编码组对应的第一目标参数,确定为联邦模型参数。
可选地,所述基于多个所述联邦模型的准确率,从多组所述第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码的步骤包括:
将多个所述联邦模型的准确率和预设阈值对比,确定多个所述联邦模型的准确率中大于所述预设阈值的目标准确率;
根据各所述目标准确率,对多组所述第一参数编码进行筛选,得到多组第二参数编码;
对多组所述第二参数编码进行交叉变异处理,得到多组第三参数编码。
可选地,所述对多组所述第二参数编码进行交叉变异处理,得到多组第三参数编码的步骤包括:
根据预设交叉项数,将多组所述第二参数编码随机划分为多个数据组类;
根据预设交叉位数,对每一所述数据组类中的各第二参数编码组进行交叉,生成多组待变异第二参数编码;
对多组所述待变异第二参数编码进行变异处理,生成多组第三参数编码。
可选地,所述对多组所述待变异第二参数编码进行变异处理,生成多组第三参数编码的步骤包括:
根据预设变异比例,随机筛选出每一所述待变异第二参数编码组中的待变异参数编码;
对多组所述待变异第二参数编码中的各待变异参数编码分别进行变异,生成多组第三参数编码。
可选地,所述若多个所述联邦模型中准确率符合预设条件的联邦模型不收敛的步骤之前,所述方法还包括:
对比多个所述联邦模型的准确率,确定多个所述联邦模型的准确率中数值最大的目标准确率;
将具有所述目标准确率的联邦模型确定为多个所述联邦模型中准确率符合预设条件的联邦模型。
可选地,所述将具有所述目标准确率的联邦模型确定为多个所述联邦模型中准确率符合预设条件的联邦模型的步骤之后,所述方法还包括:
判断多个所述联邦模型中准确率符合预设条件的联邦模型是否收敛。
可选地,所述确定多个所述联邦模型的准确率的步骤包括:
获取多个所述联邦模型在联邦学习过程中分别对预设测试数据处理所生成的测试结果;
将与预设测试数据对应的参考结果分别与各所述测试结果对比,生成多个所述联邦模型的准确率。
进一步地,为实现上述目的,本发明还提供一种联邦模型参数确定装置,所述联邦模型参数确定装置包括:
获取模块,用于获取目标模型的多个参数,并对所述多个参数进行随机编码组合处理,得到多组第一参数编码;
执行模块,用于基于多组所述第一参数编码分别对所述目标模型执行联邦学习过程,得到多个联邦模型,并确定多个所述联邦模型的准确率;
选取模块,用于若多个所述联邦模型中准确率符合预设条件的联邦模型不收敛,则基于多个所述联邦模型的准确率,从多组所述第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码,并基于多组所述第三参数编码,再对所述目标模型执行联邦学习过程;
确定模块,用于若多个所述联邦模型中准确率符合预设条件的联邦模型收敛,则确定收敛的联邦模型对应的第一目标参数编码组,并将所述第一目标参数编码组对应的第一目标参数,确定为联邦模型参数。
进一步地,为实现上述目的,本发明还提供一种联邦模型参数确定设备,所述联邦模型参数确定设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的联邦模型参数确定程序,所述联邦模型参数确定程序被所述处理器执行时实现如上述所述的联邦模型参数确定方法的步骤。
进一步地,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有联邦模型参数确定程序,所述联邦模型参数确定程序被处理器执行时实现如上所述的联邦模型参数确定方法的步骤。
本发明的联邦模型参数确定方法,先对获取的目标模型的多个参数进行随便编码组合,生成多组第一参数编码,并基于该多组第一参数编码分别对目标模型执行联邦学习过程,得到多个联邦模型,确定多个联邦模型的准确率;此后,若经判定多个联邦模型中准确率符合预设条件的联邦模型不收敛,则基于多个联邦模型的准确率,从多组第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码,并基于多组第三参数编码,对目标模型继续执行联邦学习过程;若经判定多个联邦模型中准确率符合预设条件的联邦模型收敛,则确定与该收敛的联邦模型对应的第一目标参数编码组,并将该第一目标参数编码组对应的第一目标参数确定为联邦模型参数。多个联邦模型的准确率表征了联邦模型分别以各组第一参数编码对应参数进行数据处理,所生成处理结果的准确程度;准确率越高,参数的适用程度越高;从而可依据各准确率结合收敛的联邦模型,来确定联邦模型参数。在确定联邦模型参数的过程中,通过从多组第一参数编码中选取出多组第二参数编码进行交叉变异处理,得到用于继续训练的第三参数编码,避免了由每批次具有差异性的训练数据来训练得到模型参数,而导致联邦模型适配性差的问题,提高了联邦模型针对不同场景预测的准确性。
附图说明
图1为本发明联邦模型参数确定设备实施例方案涉及的设备硬件运行环境的结构示意图;
图2为本发明联邦模型参数确定方法第一实施例的流程示意图;
图3为本发明联邦模型参数确定装置较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明提供一种联邦模型参数确定设备,参照图1,图1为本发明联邦模型参数确定设备实施例方案涉及的设备硬件运行环境的结构示意图。
如图1所示,该联邦模型参数确定设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解,图1中示出的联邦模型参数确定设备的硬件结构并不构成对联邦模型参数确定设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及联邦模型参数确定程序。其中,操作***是管理和控制联邦模型参数确定设备与软件资源的程序,支持网络通信模块、用户接口模块、联邦模型参数确定程序以及其他程序或软件的运行;网络通信模块用于管理和控制网络接口1004;用户接口模块用于管理和控制用户接口1003。
在图1所示的联邦模型参数确定设备硬件结构中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;处理器1001可以调用存储器1005中存储的联邦模型参数确定程序,并执行以下操作:
获取目标模型的多个参数,并对所述多个参数进行随机编码组合处理,得到多组第一参数编码;
基于多组所述第一参数编码分别对所述目标模型执行联邦学习过程,得到多个联邦模型,并确定多个所述联邦模型的准确率;
若多个所述联邦模型中准确率符合预设条件的联邦模型不收敛,则基于多个所述联邦模型的准确率,从多组所述第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码,并基于多组所述第三参数编码,再对所述目标模型执行联邦学习过程;
若多个所述联邦模型中准确率符合预设条件的联邦模型收敛,则确定收敛的联邦模型对应的第一目标参数编码组,并将所述第一目标参数编码组对应的第一目标参数,确定为联邦模型参数。
进一步地,所述基于多个所述联邦模型的准确率,从多组所述第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码的步骤包括:
将多个所述联邦模型的准确率和预设阈值对比,确定多个所述联邦模型的准确率中大于所述预设阈值的目标准确率;
根据各所述目标准确率,对多组所述第一参数编码进行筛选,得到多组第二参数编码;
对多组所述第二参数编码进行交叉变异处理,得到多组第三参数编码。
进一步地,所述对多组所述第二参数编码进行交叉变异处理,得到多组第三参数编码的步骤包括:
根据预设交叉项数,将多组所述第二参数编码随机划分为多个数据组类;
根据预设交叉位数,对每一所述数据组类中的各第二参数编码组进行交叉,生成多组待变异第二参数编码;
对多组所述待变异第二参数编码进行变异处理,生成多组第三参数编码。
进一步地,所述对多组所述待变异第二参数编码进行变异处理,生成多组第三参数编码的步骤包括:
根据预设变异比例,随机筛选出每一所述待变异第二参数编码组中的待变异参数编码;
对多组所述待变异第二参数编码中的各待变异参数编码分别进行变异,生成多组第三参数编码。
进一步地,所述若多个所述联邦模型中准确率符合预设条件的联邦模型不收敛的步骤之前,处理器1001可以调用存储器1005中存储的联邦模型参数确定程序,并执行以下操作:
对比多个所述联邦模型的准确率,确定多个所述联邦模型的准确率中数值最大的目标准确率;
将具有所述目标准确率的联邦模型确定为多个所述联邦模型中准确率符合预设条件的联邦模型。
进一步地,所述将具有所述目标准确率的联邦模型确定为多个所述联邦模型中准确率符合预设条件的联邦模型的步骤之后,处理器1001可以调用存储器1005中存储的联邦模型参数确定程序,并执行以下操作:
判断多个所述联邦模型中准确率符合预设条件的联邦模型是否收敛。
进一步地,所述确定多个所述联邦模型的准确率的步骤包括:
获取多个所述联邦模型在联邦学习过程中分别对预设测试数据处理所生成的测试结果;
将与预设测试数据对应的参考结果分别与各所述测试结果对比,生成多个所述联邦模型的准确率。
本发明联邦模型参数确定设备的具体实施方式与下述联邦模型参数确定方法各实施例基本相同,在此不再赘述。
本发明还提供一种联邦模型参数确定方法。
参照图2,图2为本发明联邦模型参数确定方法第一实施例的流程示意图。
本发明实施例提供了联邦模型参数确定方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。具体地,本实施例中的联邦模型参数确定方法包括:
步骤S10,获取目标模型的多个参数,并对所述多个参数进行随机编码组合处理,得到多组第一参数编码。
本实施例中的联邦模型参数确定方法应用于服务器,适用于通过服务器来确定联邦模型的最优模型参数。其中联邦模型可以是横向联邦模型,也可以是纵向联邦模型,本实施例优选以横向联邦模型加以说明,横向联邦模型是基于横向联邦学习构建的联合模型,横向联邦学习是在两个数据集的用户特征重叠较多,而用户重叠较少的情况下,把数据集按照横向(即用户维度)切分,并取出双方用户特征相同而用户不完全相同的部分数据进行训练的方法。服务器生成多组参数作为横向联邦模型的模型参数,横向联邦模型则分别在多组模型参数的基础上,以横向联邦学习的方式进行训练,得到多个训练结果。从多个训练结果中查找收敛特性最好的目标训练结果,生成该目标训练结果的模型参数即为适用于横向联邦模型的最优模型参数。
进一步地,将未经训练处理的联邦模型作为目标模型,服务器在生成多组模型参数供目标模型训练之前,先为目标模型设定多个可调的参数,该多个可调的参数包括但不限于神经网络算法中的神经元个数、神经网络的层数、窗口大小以及特征个数。此后,给定每个参数的长度l,使得每个参数的可调范围在[0,2l]内,对各个参数获取并进行编码,生成为各参数的二进制编码。进而依据各参数,将各参数的二进制编码随机组合成多组长度相当、含义相同的第一参数编码,以供目标模型执行联邦学习过程。需要说明的是,每组第一参数编码中均包含有各个参数的编码,只是各个参数的编码取可调范围内的不同值,使得多组第一参数编码之间的取值不同;即多组长度相同、含义相同、数值不同的第一参数编码。
步骤S20,基于多组所述第一参数编码分别对所述目标模型执行联邦学习过程,得到多个联邦模型,并确定多个所述联邦模型的准确率;
更进一步地,目标模型分别基于各组第一参数编码执行联邦学习过程,对用于训练的训练样本进行处理,得到多个联邦模型,联邦模型的数量与第一参数编码的组数一致。此外,预先设置有用于测试的预设测试数据,将预设测试数据分别传输到多个联邦模型中,由多个联邦模型处理,并确定多个联邦模型的准确率,通过准确率来表征多个联邦模型对预设测试数据处理的准确程度。具体地,确定多个所述联邦模型的准确率的步骤包括:
步骤S21,获取多个所述联邦模型在联邦学习过程中分别对预设测试数据处理所生成的测试结果;
步骤S22,将与预设测试数据对应的参考结果分别与各所述测试结果对比,生成多个所述联邦模型的准确率。
进一步地,每个联邦模型在联邦学习过程中将第一参数编码所对应的参数作为其自身的网络参数,分别以各自的网络参数运行,对预设测试数据进行测试处理,生成测试结果。服务器对该每个联邦模型的测试结果进行获取,并调取与预设测试数据对应的参考结果,将测试结果分别和各项测试结果对比,生成表征各项测试结果分别与参考结果之间一致性程度高低的数值。该各项数值为每个联邦模型分别以与各第一参数编码对应的网络参数运行,对预设测试数据处理所生成处理结果的准确程度,即多个联邦模型的准确率。其中准确率越高,表征联邦模型对预设测试数据处理的准确程度越高,反之则说明联邦模型对预设测试数据处理的准确程度越低。
步骤S30,若多个所述联邦模型中准确率符合预设条件的联邦模型不收敛,则基于多个所述联邦模型的准确率,从多组所述第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码,并基于多组所述第三参数编码,再对所述目标模型执行联邦学习过程;
更进一步地,准确率是确定联邦模型的最优联邦模型参数的依据之一,而不同准确率表征的联邦模型的处理准确程度不同,为了确定最优联邦模型参数,可对于其中准确程度低的联邦模型进行剔除。具体地,若多个联邦模型中准确率符合预设条件的联邦模型不收敛的步骤之前,还包括:
步骤a,对比多个所述联邦模型的准确率,确定多个所述联邦模型的准确率中数值最大的目标准确率;
步骤b,将具有所述目标准确率的联邦模型确定为多个所述联邦模型中准确率符合预设条件的联邦模型。
步骤c,判断多个所述联邦模型中准确率符合预设条件的联邦模型是否收敛。
进一步地,设定用于剔除的预设条件,如数值大小条件或者最大值条件;当联邦模型的准确率大小满足该数值大小条件或者最大值条件,则将该联邦模型用于确定联邦模型参数,否则将联邦模型剔除不用于确定联邦模型参数。本实施例将用于剔除准确程度低的联邦模型的预设条件设定为最大值条件。在目标模型执行联邦学习过程得到多个联邦模型,并确定多个联邦模型的准确率之后,将每个联邦模型的准确率进行对比,确定多个联邦模型的准确率中数值最大的目标准确率。进而查找具有该目标准确率的联邦模型,并将其确定为多个联邦模型中准确率符合预设条件的联邦模型,以此实现其他联邦模型的剔除。
进一步地,判断经剔除操作剩余的联邦模型,即多个联邦模型中准确率符合预设条件的联邦模型是否收敛。其中收敛表征联邦模型以第一参数编码对应的参数对预设测试数据进行处理,所得到的测试结果均具有最高的准确率;或者即便不是每次都具有最高的准确率,但大部分次数都是最高准确率,且其他次的准确率与最高准确率之间的数值差别不大。从而通过此前联邦模型处理预设测试数据的测试结果准确率,可判定联邦模型是否收敛。
更进一步地,若经判定多个联邦模型中准确率符合预设条件的联邦模型不收敛,则重新对目标模型执行联邦学习,生成新的准确率满足预设条件的多个联邦模型判定是否收敛。具体地,因进行收敛判断的联邦模型以准确率符合预设条件为前提,为了确保各联邦模型的准确率符合预设条件,设置有依据各联邦模型的准确率,对多组第一参数编码筛选的机制,从其中筛选出表征准确率相对较高的第二参数编码。
进一步地,服务器对第二参数编码进行交叉变异处理,且本实施例中的交叉变异处理优选以遗传算法为基础实现。遗传算法(Genetic Algorithm)是通过搜索解决优化问题的方法,其先随机生成一定量的种群,然后算法包括:选择(Selection)、交叉(Crossover)和变异(Mutation)。其中选择为定义个体适应度,评价每个个体的适应度并选择适应度较高的作为下一轮种群成员的过程;交叉为将种群成员的染色体进行编码,将两两种群成员的染色体编码交叉的过程;突变为将交叉后的染色体编码以一定概率变异的过程。本实施例中上述随机生成多组第一参数编码的过程即为遗传算法中随机生成一定量种群并对种群成员的染色体编码的过程。将联邦模型对预设测试数据进行处理,所生成处理结果的准确率作为遗传算法中的适应度,根据准确率对多组第一参数编码进行筛选的过程即为遗传算法的选择过程。此后,通过遗传算法中的交叉和变异对经选择的多组第二参数编码进行处理,得到多组第三参数编码,并依据多组第三参诉编码,对目标模型再次执行联邦学习过程,直到多个联邦模型中准确率符合预设条件的联邦模型收敛,确定出联邦模型最优的联邦模型参数。
步骤S40,若多个所述联邦模型中准确率符合预设条件的联邦模型收敛,则确定收敛的联邦模型对应的第一目标参数编码组,并将所述第一目标参数编码组对应的第一目标参数,确定为联邦模型参数。
进一步地,若经判定多个联邦模型中准确率符合预设条件的联邦模型收敛,则说明该联邦模型以第一参数编码对应的参数对预设测试数据进行处理,所得到的测试结果具有较高准确率。从而获取该收敛的联邦模型中的第一参数编码组作为第一目标参数编码组,并依据编码与参数之间的转换关系,查找与第一目标参数编码对应的第一目标参数;或者直接对第一目标参数编码进行逆编码,生成与第一目标参数编码对应的第一目标参数。将该第一目标参数确定为联邦模型的联邦模型参数,联邦模型以该第一目标参数运行,对数据进行处理所得到的处理结果具有较高的准确性。
本发明的联邦模型参数确定方法,先对获取的目标模型的多个参数进行随便编码组合,生成多组第一参数编码,并基于该多组第一参数编码分别对目标模型执行联邦学习过程,得到多个联邦模型,确定多个联邦模型的准确率;此后,若经判定多个联邦模型中准确率符合预设条件的联邦模型不收敛,则基于多个联邦模型的准确率,从多组第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码,并基于多组第三参数编码,对目标模型继续执行联邦学习过程;若经判定多个联邦模型中准确率符合预设条件的联邦模型收敛,则确定与该收敛的联邦模型对应的第一目标参数编码组,并将该第一目标参数编码组对应的第一目标参数确定为联邦模型参数。多个联邦模型的准确率表征了联邦模型分别以各组第一参数编码对应参数进行数据处理,所生成处理结果的准确程度;准确率越高,参数的适用程度越高;从而可依据各准确率结合收敛的联邦模型,来确定联邦模型参数。在确定联邦模型参数的过程中,通过从多组第一参数编码中选取出多组第二参数编码进行交叉变异处理,得到用于继续训练的第三参数编码,避免了由每批次具有差异性的训练数据来训练得到模型参数,而导致联邦模型适配性差的问题,提高了联邦模型针对不同场景预测的准确性。
进一步地,基于本发明联邦模型参数确定方法的第一实施例,提出本发明联邦模型参数确定方法第二实施例。
所述联邦模型参数确定方法第二实施例与所述联邦模型参数确定方法第一实施例的区别在于,所述基于多个所述联邦模型的准确率,从多组所述第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码的步骤包括:
步骤S31,将多个所述联邦模型的准确率和预设阈值对比,确定多个所述联邦模型的准确率中大于所述预设阈值的目标准确率;
步骤S31,根据各所述目标准确率,对多组所述第一参数编码进行筛选,得到多组第二参数编码;
步骤S31,对多组所述第二参数编码进行交叉变异处理,得到多组第三参数编码。
在本实施例中,为了依据各联邦模型的准确率,对多组第一参数编码筛选,预先设置有表征准确率高低的预设阈值,将各项准确率分别和该预设阈值对比,查找其中大于预设阈值的目标准确率。各项准确率由联邦模型依据各第一参数编码生成,在确定各项目标准确率后,对多组第一参数编码中进行筛选查找操作,查找出其中生成各目标准确率的第一参数编码作为第二参数编码。此后,对多组第二参数编码进行交叉变异处理,得到用于对目标模型重新执行联邦学习过程的多组第三参数编码。具体地,对多组第二参数编码进行交叉变异处理,得到多组第三参数编码的步骤包括:
步骤S311,根据预设交叉项数,将多组所述第二参数编码随机划分为多个数据组类;
步骤S312,根据预设交叉位数,对每一所述数据组类中的各第二参数编码组进行交叉,生成多组待变异第二参数编码;
步骤S313,对多组所述待变异第二参数编码进行变异处理,生成多组第三参数编码。
进一步的地,预先依据需求设置有预设交叉项数,以表征了对第二参数编码进行交叉的组数,如将两组第二参数编码进行交叉,或者将三组第三参数编码进行交叉等。本实施例优选以两组第二参数编码进行交叉,即两两交叉。交叉过程中,将多组第二参数编码按照预设交叉组数进行随机划分,每两组第二参数编码经划分形成为一个数据组类,针对每个数据组类中的第二参数编码单独进行交叉。
更进一步地,预先依据需求设定有预设交叉位数,以表征每组第二参数编码中用于交叉的数据位数,如设定交叉位数为五五交叉,即从数据组类的各组第二参数编码中均抽取二分之一的编码进行交叉,形成新的参数编码;或者设定交叉位数为四六交叉,即从数据组类中的一组第二参数编码中抽取五分之二的编码,并从另一组第二参数编码中抽取五分之三的编码,将两者进行交叉,形成新的参数编码。本实施例优选以五五交叉的预设交叉位数进行交叉,依据该预设交叉位数,对每一数据组类中的各组第二参数编码进行读取操作;读取其中与预设交叉位数所体现编码数量一致的部分参数编码,且所读取的部分参数编码在第二参数编码中的位置不限,即对第二参数编码进行随机读取。此后对读取的各部分参数编码进行组合,组合的位置也不限;即对读取的各部分参数编码进行随机组合,生成为数据组类的待变异第二参数编码。在每一数据组类中的第二参数编码均进行交叉,得到与各数据组类对应的多组待变异第二参数编码后,则对多组待变异第二参数编码进行变异处理,通过变异处理生成多组第三参数编码。具体地,对多组待变异第二参数编码进行变异处理,生成多组第三参数编码的步骤包括:
步骤S3131,根据预设变异比例,随机筛选出每一所述待变异第二参数编码组中的待变异参数编码;
步骤S3132,对多组所述待变异第二参数编码中的各待变异参数编码分别进行变异,生成多组第三参数编码。
进一步地,为了使得用于联邦模型训练的样本数据更为丰富准确,本实施例基于遗传算法中的变异过程对待变异第二参数编码进行变异处理,以通过变异来生成其他不具有规律性的参数编码进行联邦训练。具体地,预先依据需求设置有预设变异比例,如变异20%、30%等,以表征对待变异第二参数编码变异数量的需求。依据该预设变异比例,对各组待编码第二参数编码分别进行随机筛选,得到每一待变异第二参数编码组中和变异比例所表征数量一致的待变异参数编码。
更进一步地,对每组待变异第二参数编码中的待变异参数编码进行变异,和每一待变异第二参数编组中各自未经变异的编码一并生成为第三参数编码。以供目标模型基于多组第三参数编码执行联邦学习过程,确定联邦模型参数。需要说明的是,本实施例也可以通过预先设定变异位置进行变异,该变异位置表征变异编码所在的位置,以实现针对固定位置的编码进行变异。可以是多处位置也可以是单出位置,如编码的第3位、第5位,或者第2位和第3位等。根据预设变异位置筛选出各待变异第二参数编码组中的待变异参数编码进行变异,得到多组第三参数样本。
本实施例在从多组第一参数编码筛选出多组第二参数编码后,通过对多组第二参数编码进行交叉变异处理,来生成用于联邦学习过程的多组第三参数编码,避免了联邦学习依据各传感器采集的训练数据进行训练,所导致的适配性差的问题,确保了联邦模型针对不同场景预测的准确性。
本发明还提供一种联邦模型参数确定装置。
参照图3,图3为本发明联邦模型参数确定装置第一实施例的功能模块示意图。所述联邦模型参数确定装置包括:
生成模块10,用于获取模块,用于获取目标模型的多个参数,并对所述多个参数进行随机编码组合处理,得到多组第一参数编码;
执行模块20,用于基于多组所述第一参数编码分别对所述目标模型执行联邦学习过程,得到多个联邦模型,并确定多个所述联邦模型的准确率;
选取模块30,用于若多个所述联邦模型中准确率符合预设条件的联邦模型不收敛,则基于多个所述联邦模型的准确率,从多组所述第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码,并基于多组所述第三参数编码,再对所述目标模型执行联邦学习过程;
确定模块40,用于若多个所述联邦模型中准确率符合预设条件的联邦模型收敛,则确定收敛的联邦模型对应的第一目标参数编码组,并将所述第一目标参数编码组对应的第一目标参数,确定为联邦模型参数。
进一步地,所述选取模块30还包括:
对比单元,用于将多个所述联邦模型的准确率和预设阈值对比,确定多个所述联邦模型的准确率中大于所述预设阈值的目标准确率;
筛选单元,用于根据各所述目标准确率,对多组所述第一参数编码进行筛选,得到多组第二参数编码;
处理单元,用于对多组所述第二参数编码进行交叉变异处理,得到多组第三参数编码。
进一步地,所述处理单元还用于:
根据预设交叉项数,将多组所述第二参数编码随机划分为多个数据组类;
根据预设交叉位数,对每一所述数据组类中的各第二参数编码组进行交叉,生成多组待变异第二参数编码;
对多组所述待变异第二参数编码进行变异处理,生成多组第三参数编码。
进一步地,所述处理单元还用于:
根据预设变异比例,随机筛选出每一所述待变异第二参数编码组中的待变异参数编码;
对多组所述待变异第二参数编码中的各待变异参数编码分别进行变异,生成多组第三参数编码。
进一步地,所述联邦模型参数确定装置还包括:
对比模块,用于对比多个所述联邦模型的准确率,确定多个所述联邦模型的准确率中数值最大的目标准确率;
所述确定模块还用于将具有所述目标准确率的联邦模型确定为多个所述联邦模型中准确率符合预设条件的联邦模型。
进一步地,所述联邦模型参数确定装置还包括:
判断模块,用于判断多个所述联邦模型中准确率符合预设条件的联邦模型是否收敛。
进一步地,所述执行模块20还包括:
获取单元,用于获取多个所述联邦模型在联邦学习过程中分别对预设测试数据处理所生成的测试结果;
生成单元,用于将与预设测试数据对应的参考结果分别与各所述测试结果对比,生成多个所述联邦模型的准确率。
本发明联邦模型参数确定装置具体实施方式与上述联邦模型参数确定方法各实施例基本相同,在此不再赘述。
此外,本发明实施例还提出一种存储介质。
存储介质上存储有联邦模型参数确定程序,联邦模型参数确定程序被处理器执行时实现如上所述的联邦模型参数确定方法的步骤。
本发明存储介质可以是计算机可读存储存储介质,其具体实施方式与上述联邦模型参数确定方法各实施例基本相同,在此不再赘述。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,这些均属于本发明的保护之内。
Claims (10)
1.一种联邦模型参数确定方法,其特征在于,所述联邦模型参数确定包括以下步骤:
获取目标模型的多个参数,并对所述多个参数进行随机编码组合处理,得到多组第一参数编码;
基于多组所述第一参数编码分别对所述目标模型执行联邦学习过程,得到多个联邦模型,并确定多个所述联邦模型的准确率;
若多个所述联邦模型中准确率符合预设条件的联邦模型不收敛,则基于多个所述联邦模型的准确率,从多组所述第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码,并基于多组所述第三参数编码,再对所述目标模型执行联邦学习过程;
若多个所述联邦模型中准确率符合预设条件的联邦模型收敛,则确定收敛的联邦模型对应的第一目标参数编码组,并将所述第一目标参数编码组对应的第一目标参数,确定为联邦模型参数。
2.如权利要求1所述的联邦模型参数确定方法,其特征在于,所述基于多个所述联邦模型的准确率,从多组所述第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码的步骤包括:
将多个所述联邦模型的准确率和预设阈值对比,确定多个所述联邦模型的准确率中大于所述预设阈值的目标准确率;
根据各所述目标准确率,对多组所述第一参数编码进行筛选,得到多组第二参数编码;
对多组所述第二参数编码进行交叉变异处理,得到多组第三参数编码。
3.如权利要求2所述的联邦模型参数确定方法,其特征在于,所述对多组所述第二参数编码进行交叉变异处理,得到多组第三参数编码的步骤包括:
根据预设交叉项数,将多组所述第二参数编码随机划分为多个数据组类;
根据预设交叉位数,对每一所述数据组类中的各第二参数编码组进行交叉,生成多组待变异第二参数编码;
对多组所述待变异第二参数编码进行变异处理,生成多组第三参数编码。
4.如权利要求3所述的联邦模型参数确定方法,其特征在于,所述对多组所述待变异第二参数编码进行变异处理,生成多组第三参数编码的步骤包括:
根据预设变异比例,随机筛选出每一所述待变异第二参数编码组中的待变异参数编码;
对多组所述待变异第二参数编码中的各待变异参数编码分别进行变异,生成多组第三参数编码。
5.如权利要求1所述的联邦模型参数确定方法,其特征在于,所述若多个所述联邦模型中准确率符合预设条件的联邦模型不收敛的步骤之前,所述方法还包括:
对比多个所述联邦模型的准确率,确定多个所述联邦模型的准确率中数值最大的目标准确率;
将具有所述目标准确率的联邦模型确定为多个所述联邦模型中准确率符合预设条件的联邦模型。
6.如权利要求5所述的联邦模型参数确定方法,其特征在于,所述将具有所述目标准确率的联邦模型确定为多个所述联邦模型中准确率符合预设条件的联邦模型的步骤之后,所述方法还包括:
判断多个所述联邦模型中准确率符合预设条件的联邦模型是否收敛。
7.如权利要求1-6任一项所述的联邦模型参数确定方法,其特征在于,所述确定多个所述联邦模型的准确率的步骤包括:
获取多个所述联邦模型在联邦学习过程中分别对预设测试数据处理所生成的测试结果;
将与预设测试数据对应的参考结果分别与各所述测试结果对比,生成多个所述联邦模型的准确率。
8.一种联邦模型参数确定装置,其特征在于,所述联邦模型参数确定装置包括:
获取模块,用于获取目标模型的多个参数,并对所述多个参数进行随机编码组合处理,得到多组第一参数编码;
执行模块,用于基于多组所述第一参数编码分别对所述目标模型执行联邦学习过程,得到多个联邦模型,并确定多个所述联邦模型的准确率;
选取模块,用于若多个所述联邦模型中准确率符合预设条件的联邦模型不收敛,则基于多个所述联邦模型的准确率,从多组所述第一参数编码中选取多组第二参数编码进行交叉变异处理,得到多组第三参数编码,并基于多组所述第三参数编码,再对所述目标模型执行联邦学习过程;
确定模块,用于若多个所述联邦模型中准确率符合预设条件的联邦模型收敛,则确定收敛的联邦模型对应的第一目标参数编码组,并将所述第一目标参数编码组对应的第一目标参数,确定为联邦模型参数。
9.一种联邦模型参数确定设备,其特征在于,所述联邦模型参数确定设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的联邦模型参数确定程序,所述联邦模型参数确定程序被所述处理器执行时实现如权利要求1-7中任一项所述的联邦模型参数确定方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有联邦模型参数确定程序,所述联邦模型参数确定程序被处理器执行时实现如权利要求1-7中任一项所述的联邦模型参数确定方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010155526.2A CN111382875A (zh) | 2020-03-06 | 2020-03-06 | 联邦模型参数确定方法、装置、设备及存储介质 |
PCT/CN2020/134668 WO2021174934A1 (zh) | 2020-03-06 | 2020-12-08 | 联邦模型参数确定方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010155526.2A CN111382875A (zh) | 2020-03-06 | 2020-03-06 | 联邦模型参数确定方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111382875A true CN111382875A (zh) | 2020-07-07 |
Family
ID=71218670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010155526.2A Pending CN111382875A (zh) | 2020-03-06 | 2020-03-06 | 联邦模型参数确定方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111382875A (zh) |
WO (1) | WO2021174934A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112862057A (zh) * | 2021-04-07 | 2021-05-28 | 京东数字科技控股股份有限公司 | 一种建模方法、装置、电子设备和可读介质 |
CN112990476A (zh) * | 2021-02-08 | 2021-06-18 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习进行模型参数更新的方法、***及装置 |
CN113052323A (zh) * | 2021-03-23 | 2021-06-29 | 支付宝(杭州)信息技术有限公司 | 基于联邦学习的模型训练方法、装置和电子设备 |
WO2021174934A1 (zh) * | 2020-03-06 | 2021-09-10 | 深圳前海微众银行股份有限公司 | 联邦模型参数确定方法、装置、设备及计算机存储介质 |
CN113762328A (zh) * | 2021-06-16 | 2021-12-07 | 京东科技控股股份有限公司 | 基于联邦学习的模型训练方法、装置、设备以及存储介质 |
US20220060235A1 (en) * | 2020-08-18 | 2022-02-24 | Qualcomm Incorporated | Federated learning for client-specific neural network parameter generation for wireless communication |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017133188A1 (zh) * | 2016-02-05 | 2017-08-10 | 华为技术有限公司 | 一种特征集确定的方法及装置 |
CN109189825A (zh) * | 2018-08-10 | 2019-01-11 | 深圳前海微众银行股份有限公司 | 横向数据切分联邦学习建模方法、服务器及介质 |
CN109871702A (zh) * | 2019-02-18 | 2019-06-11 | 深圳前海微众银行股份有限公司 | 联邦模型训练方法、***、设备及计算机可读存储介质 |
CN110580528A (zh) * | 2019-08-29 | 2019-12-17 | 广东浪潮大数据研究有限公司 | 网络模型生成方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI651664B (zh) * | 2017-11-15 | 2019-02-21 | 財團法人資訊工業策進會 | 模型生成伺服器及其模型生成方法 |
CN110286587B (zh) * | 2019-05-21 | 2022-02-22 | 平安银行股份有限公司 | 实现模型迭代控制的方法、服务器及计算机可读存储介质 |
CN111382875A (zh) * | 2020-03-06 | 2020-07-07 | 深圳前海微众银行股份有限公司 | 联邦模型参数确定方法、装置、设备及存储介质 |
-
2020
- 2020-03-06 CN CN202010155526.2A patent/CN111382875A/zh active Pending
- 2020-12-08 WO PCT/CN2020/134668 patent/WO2021174934A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017133188A1 (zh) * | 2016-02-05 | 2017-08-10 | 华为技术有限公司 | 一种特征集确定的方法及装置 |
CN109189825A (zh) * | 2018-08-10 | 2019-01-11 | 深圳前海微众银行股份有限公司 | 横向数据切分联邦学习建模方法、服务器及介质 |
CN109871702A (zh) * | 2019-02-18 | 2019-06-11 | 深圳前海微众银行股份有限公司 | 联邦模型训练方法、***、设备及计算机可读存储介质 |
CN110580528A (zh) * | 2019-08-29 | 2019-12-17 | 广东浪潮大数据研究有限公司 | 网络模型生成方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021174934A1 (zh) * | 2020-03-06 | 2021-09-10 | 深圳前海微众银行股份有限公司 | 联邦模型参数确定方法、装置、设备及计算机存储介质 |
US20220060235A1 (en) * | 2020-08-18 | 2022-02-24 | Qualcomm Incorporated | Federated learning for client-specific neural network parameter generation for wireless communication |
US11909482B2 (en) * | 2020-08-18 | 2024-02-20 | Qualcomm Incorporated | Federated learning for client-specific neural network parameter generation for wireless communication |
CN112990476A (zh) * | 2021-02-08 | 2021-06-18 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习进行模型参数更新的方法、***及装置 |
CN113052323A (zh) * | 2021-03-23 | 2021-06-29 | 支付宝(杭州)信息技术有限公司 | 基于联邦学习的模型训练方法、装置和电子设备 |
CN113052323B (zh) * | 2021-03-23 | 2023-05-23 | 支付宝(杭州)信息技术有限公司 | 基于联邦学习的模型训练方法、装置和电子设备 |
CN112862057A (zh) * | 2021-04-07 | 2021-05-28 | 京东数字科技控股股份有限公司 | 一种建模方法、装置、电子设备和可读介质 |
CN112862057B (zh) * | 2021-04-07 | 2023-11-03 | 京东科技控股股份有限公司 | 一种建模方法、装置、电子设备和可读介质 |
CN113762328A (zh) * | 2021-06-16 | 2021-12-07 | 京东科技控股股份有限公司 | 基于联邦学习的模型训练方法、装置、设备以及存储介质 |
CN113762328B (zh) * | 2021-06-16 | 2023-09-26 | 京东科技控股股份有限公司 | 基于联邦学习的模型训练方法、装置、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021174934A1 (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111382875A (zh) | 联邦模型参数确定方法、装置、设备及存储介质 | |
US10606862B2 (en) | Method and apparatus for data processing in data modeling | |
CN108364106A (zh) | 一种报销单风险预测方法、装置、终端设备及存储介质 | |
CN106599230A (zh) | 一种分布式数据挖掘模型评估的方法与*** | |
CN111292020B (zh) | 一种基于随机森林的电网实时运行风险评估方法及*** | |
CN107908536B (zh) | Cpu-gpu异构环境中对gpu应用的性能评估方法及*** | |
CN111294819B (zh) | 一种网络优化方法及装置 | |
CN112001329B (zh) | 蛋白表达量的预测方法、装置、计算机设备和存储介质 | |
CN111950622A (zh) | 基于人工智能的行为预测方法、装置、终端及存储介质 | |
CN109711707B (zh) | 一种船舶动力装置综合状态评估方法 | |
CN109470954B (zh) | 一种基于大数据的电网运行状态监测***及其监测方法 | |
CN112988606B (zh) | 测试用例生成方法、装置、设备及存储介质 | |
CN111949530B (zh) | 测试结果的预测方法、装置、计算机设备及存储介质 | |
CN113191824A (zh) | 数据处理方法、装置、电子设备和可读存储介质 | |
CN107957944B (zh) | 面向用户数据覆盖率的测试用例自动生成方法 | |
CN109977030A (zh) | 一种深度随机森林程序的测试方法及设备 | |
CN111680572B (zh) | 一种电网运行场景动态判定方法及*** | |
CN114692888A (zh) | ***参数处理方法、装置、设备及存储介质 | |
CN112819527A (zh) | 一种用户分群处理方法及装置 | |
Chen | The Application of tree-based ML algorithm in steel plates faults identification | |
CN111382191A (zh) | 一种基于深度学习的机器学习识别方法 | |
CN117785332B (zh) | 一种虚拟三维空间动态资源加载释放方法 | |
CN104572854A (zh) | 一种基于决策树的译员分类方法 | |
CN114003474B (zh) | 一种基于手机日志的用户行为分析方法 | |
CN111368010A (zh) | 特征重要性参数确定方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |