CN109543725A - 一种获取模型参数的方法及装置 - Google Patents

一种获取模型参数的方法及装置 Download PDF

Info

Publication number
CN109543725A
CN109543725A CN201811313450.0A CN201811313450A CN109543725A CN 109543725 A CN109543725 A CN 109543725A CN 201811313450 A CN201811313450 A CN 201811313450A CN 109543725 A CN109543725 A CN 109543725A
Authority
CN
China
Prior art keywords
calculate node
data acquisition
acquisition system
client device
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811313450.0A
Other languages
English (en)
Inventor
张惠亮
刘胜
吴锋海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Union Mobile Pay Co Ltd
Original Assignee
Union Mobile Pay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Union Mobile Pay Co Ltd filed Critical Union Mobile Pay Co Ltd
Priority to CN201811313450.0A priority Critical patent/CN109543725A/zh
Publication of CN109543725A publication Critical patent/CN109543725A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种获取模型参数的方法及装置,其中方法包括:通过从区块链***中选择存储有数据集合的M个计算节点,客户端设备可以从M个计算节点中选择K个计算节点进行模型训练,并获取K个计算节点中的P个计算节点的训练结果;进一步地,客户端设备可以根据数据集合的训练结果,得到模型参数。本申请实施例中,通过采用区块链***中的计算节点训练模型,可以无需构建专属的机器学习算法群,从而可以节省成本,减少社会资源的浪费;且,通过选择区块链***中具有较强存储和处理能力的计算节点运行算法,可以提高模型的训练效率,进而得到较好的模型训练效果。

Description

一种获取模型参数的方法及装置
技术领域
本申请涉及数据处理技术领域,尤其涉及一种获取模型参数的方法及装置。
背景技术
现阶段,随着人工智能技术的深入发展,采用机器学习方法对模型进行训练逐渐成为算法开发领域的热门研究方向。具体地说,开发人员通常可以在客户端设备上开发可以用于训练模型的算法,并使用客户端设备获取的用于训练模型的数据集合和用于训练模型的算法进行模型训练,得到模型参数。然而,该种方法依赖于客户端设备的处理性能,对于比较复杂的算法或者处理量比较大的数据,若客户端设备的处理性能不够,可能会使得算法的运行时间较长,从而导致算法的运行效率较低,模型训练效果较差。
为了提高算法的运行效率,得到比较好的模型训练效果,很多科研机构通常会构建专属的机器学习算法集群,并采用专属的机器学习算法集群中的多个客户端设备对私有数据进行训练。采用该种方法,虽然能够保证客户端设备的处理性能满足要求,但是构建专属的机器学习算法集群需要耗费大量的人力和物力,使得开发的成本较高;且,由于专属的机器学习算法集群可能并不能够被其他的科研机构所使用,因此可能会使得不同的科研机构构建不同的机器学习算法集群,从而造成资源的浪费。
综上,目前亟需一种获取模型参数的方法,用于解决采用现有技术构建专属的机器学习算法集群获取模型参数所导致的成本较高、资源浪费的技术问题。
发明内容
本申请实施例提供一种获取模型参数的方法,用于解决采用现有技术构建专属的机器学习算法集群获取模型参数所导致的成本较高、资源浪费的技术问题。
本申请实施例提供的一种获取模型参数的方法,包括:
客户端设备获取用于训练模型的数据集合的标识和用于训练模型的算法;
所述客户端设备根据所述数据集合的标识,从区块链***中选择存储有所述数据集合的M个计算节点;
所述客户端设备根据所述M个计算节点的第一属性信息,从所述M个计算节点中选择K个计算节点;所述M个计算节点中每个计算节点的第一属性信息包括所述计算节点的在线稳定性、计算性能、计算成本、所述计算节点的计算结果可信度中的一项或多项;
所述客户端设备将所述算法和所述数据集合的标识发送给所述K个计算节点,以使所述K个计算节点分别使用所述数据集合中的数据和所述算法对模型进行训练;
所述客户端设备获取所述K个计算节点中的P个计算节点对应的所述数据集合的训练结果,并根据所述数据集合的训练结果,得到模型参数;
其中,M≥K≥P,P≥2,M、K和P均为整数。
可选地,所述客户端设备从区块链***中选择存储有所述数据集合的M个计算节点,包括:
所述客户端设备根据所述数据集合的标识,从所述区块链***中获取与所述数据集合的标识对应的存储关系表,所述存储关系表包括所述数据集合所在的多个计算节点的标识;
所述客户端设备根据所述存储关系表,从区块链***中选择存储有所述数据集合的M个计算节点。
可选地,所述客户端设备获取到所述K个计算节点中的P个计算节点对应的所述数据集合的训练结果之后,还包括:
所述客户端设备对所述P个计算节点对应的所述数据集合的训练结果进行分析,若确定所述P个计算节点存在训练结果不可信的第一计算节点,则向区块链***发送第一信息,所述第一信息用于指示所述区块链***对所述第一计算节点的计算结果可信度进行更新。
可选地,所述方法还包括:
所述客户端设备将第一收入分配策略分别发送给所述K个计算节点,所述第一收入分配策略包括训练模型所需时长最短的P个计算节点所能得到的收入。
本申请实施例提供的一种获取模型参数的方法,包括:
区块链***中的计算节点接收客户端设备发送的用于训练模型的算法和用于训练模型的数据集合的标识;
所述计算节点根据所述数据集合的标识,获取存储的所述数据集合,使用所述数据集合中的数据和所述算法对所述模型进行训练,并将得到训练结果的指示信息发送给所述客户端设备;所述数据集合中的数据为通过下载网络上的公开数据得到的。
本申请实施例提供一种客户端设备,该客户端设备包括:
获取模块,用于获取用于训练模型的数据集合的标识和用于训练模型的算法;
处理模块,用于根据所述数据集合的标识,从区块链***中选择存储有所述数据集合的M个计算节点;
根据所述M个计算节点的第一属性信息,从所述M个计算节点中选择K个计算节点;所述M个计算节点中每个计算节点的第一属性信息包括所述计算节点的在线稳定性、计算性能、计算成本、所述计算节点的计算结果可信度中的一项或多项;
将所述算法和所述数据集合的标识发送给所述K个计算节点,以使所述K个计算节点分别使用所述数据集合中的数据和所述算法对模型进行训练;
所述获取模块,还用于获取所述K个计算节点中的P个计算节点对应的所述数据集合的训练结果,并根据所述数据集合的训练结果,得到模型参数;
其中,M≥K≥P,P≥2,M、K和P均为整数。
可选地,所述处理模块,具体用于:
根据所述数据集合的标识,从所述区块链***中获取与所述数据集合的标识对应的存储关系表,所述存储关系表包括所述数据集合所在的多个计算节点的标识;
根据所述存储关系表,从区块链***中选择存储有所述数据集合的M个计算节点。
可选地,所述处理模块,还用于对所述P个计算节点对应的所述数据集合的训练结果进行分析,若确定所述P个计算节点存在训练结果不可信的第一计算节点,则向区块链***发送第一信息,所述第一信息用于指示所述区块链***对所述第一计算节点的计算结果可信度进行更新。
可选地,所述处理模块还用于将第一收入分配策略分别发送给所述K个计算节点,所述第一收入分配策略包括训练模型所需时长最短的P个计算节点所能得到的收入。
本申请实施例提供一种计算节点,该计算节点包括:
收发模块,用于接收客户端设备发送的用于训练模型的算法和用于训练模型的数据集合的标识;
获取模块,用于根据所述数据集合的标识,获取存储的所述数据集合;
处理模块,用于使用所述数据集合中的数据和所述算法对所述模型进行训练,并将得到训练结果的指示信息发送给所述客户端设备;所述数据集合中的数据为通过下载网络上的公开数据得到的。
本申请的上述实施例中,通过获取用于训练模型的数据集合的标识,客户端设备可以从区块链***中选择存储有数据集合的M个计算节点,并根据M个计算节点的第一属性信息,从M个计算节点中选择K个计算节点,进而将算法和数据集合的标识发送给K个计算节点;相应地,K个计算节点中的每一个计算节点可以使用数据集合中的数据和算法对模型进行训练,并将成功得到训练结果的指示信息发送给客户端设备,使得客户端设备可以获取K个计算节点中的P个计算节点对应的数据集合的训练结果;进一步地,客户端设备可以根据数据集合的训练结果,得到模型参数。本申请实施例中,通过采用区块链***中的计算节点训练模型,可以无需构建专属的机器学***均历史处理时间和节点的计算结果可信度等信息,从而可以避免客户端设备和/或计算节点在模型训练的过程中进行造假,使得模型训练的过程变得公开、透明,进而能够有效地保证用户的权利。此外,用于训练模型的数据集合可以为公开数据,通过采用区块链***中的计算节点进行模型训练,可以无需客户端设备下载数据集合,极大地节省了模型训练的成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例适用的一种***架构示意图;
图2为本申请实施例中一种获取模型参数的方法对应的流程示意图;
图3为本申请实施例提供的一种客户端设备的结构示意图;
图4为本申请实施例提供的一种计算节点的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
图1为本申请实施例适用的一种***架构示意图,如图1所示,该***架构中可以包括区块链网络中的一个或多个计算节点(比如图1所示意出的计算节点101、计算节点102、计算节点103和计算节点104)和客户端设备200。其中,区块链网络中的一个或多个计算节点可以共同维护区块链网络。客户端设备200可以通过接入网络而与区块链网络中的一个或多个计算节点进行通信。
本申请实施例中,区块链网络可以是由多个计算节点组成的点对点(Peer ToPeer,P2P)网络。P2P是一种运行在传输控制协议(Transmission Control Protocol,TCP)协议之上的应用层协议,在区块链网络中的计算节点可以彼此对等,网络中不存在中心计算节点,因此每个计算节点都可以随机地连接其它计算节点。
具体实施中,区块链网络中的计算节点可以具有多种功能,比如,路由功能、交易功能、区块链功能和共识功能等。具体地说,区块链网络中的计算节点可以把其他计算节点传送过来的交易数据等信息传送给更多的计算节点以实现计算节点之间的通信;或者,区块链网络中的计算节点可以用于支持用户进行交易;或者,区块链网络中的计算节点可以用于记录历史上的所有交易;或者,区块链网络中的计算节点可以通过验证和记录交易生成区块链中的新区块。实际应用中,路由功能是区块链网络中的每个计算节点必须具有的功能,而其它功能可由本领域技术人员根据实际需要进行设置。
本申请实施例中,区块链网络中的一个计算节点可以在一台物理机(服务器)上,且一个计算节点具体可以是指服务器中运行的一个进程或者一系列进程。比如,区块链1网络中的计算节点101可以为一个服务器上运行的一个进程。
需要说明的是,本申请中所描述的计算节点可以是指计算节点所在的服务器。
基于图1所示意的***架构,图2为本申请实施例提供的一种获取模型参数的方法对应的流程示意图,该方法包括:
步骤201,客户端设备获取用于训练模型的算法和用于训练模型的数据集合的标识。
此处,用于训练模型的数据集合中可以包括公开数据,公开数据是指在网络上公开的数据(比如,可以为视频数据、图像数据或者语音数据等),即可以通过搜索网络的方式来获取。本申请实施例中,用于训练模型的算法可以包括用户编写的代码程序,或者也可以为用户通过其他方式获取到的算法(比如用户通过网络下载),本申请实施例对此不做限定。
具体实施中,客户端设备获取用于训练模型的算法的方式可以有多种。在一个示例中,算法可以预先存储在客户端设备的硬盘中(或者也可以存储于内部存储器中),如此,客户端设备可以从硬盘直接获取到算法;在又一个示例中,客户端设备可以向设备a发送用于请求算法的请求消息,并接收设备a返回的响应消息,该响应消息中包括算法,如此,客户端设备可根据响应消息获取到算法。本申请实施例对此不做限定。
步骤202,所述客户端设备根据所述数据集合的标识,从区块链***中选择存储有所述数据集合的M个计算节点。
本申请实施例中,区块链***的多个计算节点中均可以存储有数据集合,客户端设备从区块链***中选择存储有数据集合的M个计算节点的方式可以有多种,在一种可能的实现方式中,区块链***中可以设置有存储关系表,该存储关系表可以用于指示存储有数据集合的多个计算节点。在一个示例中,如表1所示,存储关系表中可以包括数据集合的标识、数据集合的类型和数据集合所在的多个计算节点的标识。
表1:一种区块链***的存储关系表示意
根据表1所示意出的存储关系表,数据集合的类型可以为Image,数据集合的标识可以为Test,且区块链***中存储有数据集合Test的计算节点有20个,分别为计算节点J1、计算节点J2、……,计算节点J20。
本申请实施例中,客户端设备可以在获取到用于训练模型的数据集合的标识后,根据数据集合的标识,从区块链***中获取与数据集合的标识对应的存储关系表,进而根据存储关系表,选择存储有数据集合的M个计算节点组成第一备选计算节点集合。比如,基于表1所示意的存储关系表,数据集合Test的第一备选计算节点集合可以为{计算节点J1,计算节点J2,……,计算节点J20}。
本申请实施例中,区块链***中还可以存储有每个计算节点的信息,比如计算节点的在线稳定性、计算性能、处理吞吐量、数据的历史平均处理时间、计算节点的计算结果可信度、计算成本等信息。且,区块链***还可以根据计算节点的业务繁忙程度和资源紧张程度等,对计算节点多个信息进行更新。进一步地,客户端设备可以通过与区块链***交互,获取区块链***中存储的每个计算节点的信息。
步骤203,所述客户端设备根据所述M个计算节点的第一属性信息,从所述M个计算节点中选择K个计算节点。
此处,客户端设备可以根据M个计算节点中每个计算节点的第一属性信息,从M个计算节点中选择K个计算节点,作为第一数据子集的待训练计算节点。其中,M个计算节点中每个计算节点的第一属性信息可以包括计算节点的在线稳定性、计算性能、计算成本、计算节点的计算结果可信度中的一项或多项。可选地,每个计算节点的第一属性信息还可以包括处理吞吐量和数据的历史平均计算处理时间。
本申请实施例中,客户端设备从M个计算节点中选择K个计算节点的方式可能有多种,比如,在示例1中,每个计算节点的第一属性信息可以包括计算节点的计算成本,如此,客户端设备可以根据M个计算节点中每个计算节点的计算成本,从M个计算节点中选择K个计算节点。在示例2中,每个计算节点的第一属性信息可以包括计算节点的在线稳定性、计算性能、计算成本、处理吞吐量、数据的历史平均计算处理时间和计算节点的计算结果可信度,如此,客户端设备可以根据M个计算节点中每个计算节点的在线稳定性、计算性能、计算成本、处理吞吐量、数据的历史平均计算处理时间和计算节点的计算结果可信度,从M个计算节点中选择K个计算节点。需要说明的是,本申请实施例中,每个计算节点的第一属性信息可以包括计算节点的在线稳定性、计算性能、计算成本、处理吞吐量、数据的历史平均计算处理时间和计算节点的计算结果可信度中的一项或多项,本申请实施例对此不做限定。
以上述示例2为例,在一种可能的实现方式中,客户端设备可以预先设置一个最高的计算成本(比如最高计算激励值为100),该计算成本可以用于指示客户端设备能够分发给使用数据集合训练模型的计算节点的最高激励值。具体地,客户端设备可以获取M个计算节点中每个计算节点的计算成本,并将每个计算节点的计算成本与100进行对比,选择M个计算节点中存储成本不大于100的计算节点组成第二备选计算节点集合。举个例子,基于表1所示意的存储关系表,假设数据集合Test的第一备选计算节点集合的20个计算节点中存在4个计算节点(比如,计算节点J4,计算节点J9,计算节点J14,计算节点J19)的计算成本不大于100,则第二备选计算节点集合中可以有计算节点J4,计算节点J9,计算节点J14,计算节点J19这4个计算节点。需要说明的是,若20个计算节点的计算成本均大于客户端设备设置的最高的计算成本,则客户端设备可以等待某一个计算节点的计算成本下降至客户端设备设置的最高的计算成本,或者客户端设备可以直接反馈给用户模型训练失败的信息。
需要说明的是,激励值可以为集群激励的一种表现形式,具体地说,即可以为客户端设备支出的、并可以用于奖励计算节点在存储客户端设备发送的数据子集(或者也可以为数据集合)和/或采用数据子集进行模型训练时所付出的成本。本申请实施例中,激励值可以为集群所有成员(此处,即区块链***中的多个计算节点和一个或多个客户端设备)所公认的互联网或现实生活中的有价值的物体,或者也可以为集群所有成员所公认的互联网或现实生活中的一般等价物,本申请实施例对此不作具体限定。
进一步地,客户端设备还可以通过与区块链***进行交互,获取第二备选计算节点集合中每个计算节点的在线稳定性、计算性能、计算成本、处理吞吐量、数据的历史平均计算处理时间和算法的计算结果可信度等信息,并通过预设算法和预设指标为数据集合选择K个计算节点进行模型训练,其中,K大于等于2。
步骤204,所述客户端设备将所述算法和所述数据集合的标识发送给所述K个计算节点,以使所述K个计算节点分别使用所述数据集合中的数据和所述算法对模型进行训练。
本申请实施例中,在为数据集合选择K个计算节点后,客户端设备可以将用于训练模型的算法和数据集合的标识分别发送给K个计算节点。针对于K个计算节点中的任一个计算节点(比如,计算节点J14),在接收到客户端设备发送的算法和数据集合的标识后,计算节点J14可以获取计算节点J14中保存的与数据集合Test的标识对应的数据集合。
需要说明的是,本申请实施例中,算法和数据集合的标识可以并行发送给不同的计算节点,也就是说,用于训练模型的算法和数据集合的标识可以同时发送给K个计算节点,如此,可以提升数据发送的效率、节省时间。
本申请实施例中,客户端设备在向K个计算节点发送算法和数据集合的标识的同时,还可以发送K个计算节点中P个计算节点的第一收入分配策略,其中,第一收入分配策略可以包括训练模型所需时长最短的P个计算节点所能得到的奖励。在一个示例中,客户端设备预先设置的第一收入分配策略对应的总激励值为500,且确定使用数据集合进行模型训练的3个计算节点(计算节点J4,计算节点J14,计算节点J19)中前2个得到训练结果的计算节点能够得到的激励值分别为300、200,则客户端设备可以将用于训练模型的算法、数据集合的标识和第一收入分配策略共同发送给这3个计算节点。相应地,针对于3个计算节点中的任一个计算节点(比如,计算节点J14),在得到计算节点J14中保存的数据集合后,计算节点J14可以使用数据集合中的数据和算法对模型进行训练,得到训练结果,进而将训练结果记录在区块链***中;同时,计算节点J14可以将得到训练结果的指示信息发送给客户端设备。进一步地,客户端设备可以在接收到3个计算节点中前2个计算节点(比如,接收到指示信息的顺序依次为:计算节点J14、计算节点J4)分别发送的指示信息,并且在区块链***网络上获取到计算节点写入的训练结果后,可以为计算节点J14奖励的激励值为300、为计算节点J4奖励的激励值为200。
需要说明的是,在P个计算节点使用数据集合中的数据和算法对模型进行训练的过程中,区块链***可以记录P个计算节点中每个计算节点进行训练得到训练结果的时间,并更新每个计算节点的计算性能、处理吞吐量和数据的历史平均计算处理时间等指标。
步骤205,所述客户端设备获取所述K个计算节点中的P个计算节点对应的所述数据集合的训练结果,并根据所述数据集合的训练结果,得到模型参数。
本申请实施例中,客户端设备可以对P个计算节点的训练结果进行分析,若确定P个计算节点存在训练结果不可信的第一计算节点,则可以向区块链***发送第一信息。其中,第一信息可以用于指示区块链***对第一计算节点的计算结果可信度进行更新。在一个示例中,若确定P个计算节点对应的P个训练结果的误差范围在预设范围内,则客户端设备可以确定P个训练结果均是可信的;若确定P个训练结果中存在一个或多个计算节点的训练结果与其他训练结果的误差较大,则客户端设备可以将包括一个或多个计算节点的训练结果有误的第一信息发送给区块链***。相应地,区块链***在接收到客户端发送的第一信息后,可以查询一个或多个计算节点的历史训练结果,若存在多次历史训练结果有误,即认为一个或多个计算节点在训练的过程中存在造假行为,则客户端设备可以降低一个或多个计算节点的计算结果可信度。若某一个计算节点的计算结果可信度降低到预设阈值,则该计算节点将不会再被主动提供给客户端设备进行计算或存储等服务。
进一步地,获取模型参数的方式可以有多种,在一种可能的实现方式中,客户端设备可以从数据集合的P个训练结果中选取一个最合适的训练结果,得到模型的参数。在另一种可能的实现方式中,客户端设备也可以对数据集合的P个训练结果进行整合处理,得到模型的参数。在其他可能的实施例中,模型的参数也可以是对0~P个训练结果中任意多个训练结果进行整合处理得到的,本申请实施例对此不作具体限定。
本申请的上述实施例中,通过获取用于训练模型的数据集合的标识,客户端设备可以从区块链***中选择存储有数据集合的M个计算节点,并根据M个计算节点的第一属性信息,从M个计算节点中选择K个计算节点,进而将算法和数据集合的标识发送给K个计算节点;相应地,K个计算节点中的每一个计算节点可以使用数据集合中的数据和算法对模型进行训练,并将成功得到训练结果的指示信息发送给客户端设备,使得客户端设备可以获取K个计算节点中的P个计算节点对应的数据集合的训练结果;进一步地,客户端设备可以根据数据集合的训练结果,得到模型参数。本申请实施例中,通过采用区块链***中的计算节点训练模型,可以无需构建专属的机器学***均历史处理时间和节点的计算结果可信度等信息,从而可以避免客户端设备和/或计算节点在模型训练的过程中进行造假,使得模型训练的过程变得公开、透明,进而能够有效地保证用户的权利。此外,用于训练模型的数据集合可以为公开数据,通过采用区块链***中的计算节点进行模型训练,可以无需客户端设备下载数据集合,极大地节省了模型训练的成本。
针对上述方法流程,本申请实施例还提供一种客户端设备,该客户端设备的具体内容可以参照上述方法实施。
图3为本申请实施例提供的一种客户端设备的结构示意图,包括:
获取模块301,用于获取用于训练模型的数据集合的标识和用于训练模型的算法;
处理模块302,用于根据所述数据集合的标识,从区块链***中选择存储有所述数据集合的M个计算节点;
根据所述M个计算节点的第一属性信息,从所述M个计算节点中选择K个计算节点;所述M个计算节点中每个计算节点的第一属性信息包括所述计算节点的在线稳定性、计算性能、计算成本、所述计算节点的计算结果可信度中的一项或多项;
将所述算法和所述数据集合的标识发送给所述K个计算节点,以使所述K个计算节点分别使用所述数据集合中的数据和所述算法对模型进行训练;
所述获取模块301,还用于获取所述K个计算节点中的P个计算节点对应的所述数据集合的训练结果,并根据所述数据集合的训练结果,得到模型参数;
其中,M≥K≥P,P≥2,M、K和P均为整数。
可选地,所述处理模块302,具体用于:
根据所述数据集合的标识,从所述区块链***中获取与所述数据集合的标识对应的存储关系表,所述存储关系表包括所述数据集合所在的多个计算节点的标识;
根据所述存储关系表,从区块链***中选择存储有所述数据集合的M个计算节点。
可选地,所述处理模块302,还用于对所述P个计算节点对应的所述数据集合的训练结果进行分析,若确定所述P个计算节点存在训练结果不可信的第一计算节点,则向区块链***发送第一信息,所述第一信息用于指示所述区块链***对所述第一计算节点的计算结果可信度进行更新。
可选地,所述处理模块302还用于将第一收入分配策略分别发送给所述K个计算节点,所述第一收入分配策略包括训练模型所需时长最短的P个计算节点所能得到的收入。
图4为本申请实施例提供的一种计算节点的结构示意图,包括:
收发模块401,用于接收客户端设备发送的用于训练模型的算法和用于训练模型的数据集合的标识;
获取模块402,用于根据所述数据集合的标识,获取存储的所述数据集合;
处理模块403,用于使用所述数据集合中的数据和所述算法对所述模型进行训练,并将得到训练结果的指示信息发送给所述客户端设备;所述数据集合中的数据为通过下载网络上的公开数据得到的。
从上述内容可以看出:本申请的上述实施例中,通过获取用于训练模型的数据集合的标识,客户端设备可以从区块链***中选择存储有数据集合的M个计算节点,并根据M个计算节点的第一属性信息,从M个计算节点中选择K个计算节点,进而将算法和数据集合的标识发送给K个计算节点;相应地,K个计算节点中的每一个计算节点可以使用数据集合中的数据和算法对模型进行训练,并将成功得到训练结果的指示信息发送给客户端设备,使得客户端设备可以获取K个计算节点中的P个计算节点对应的数据集合的训练结果;进一步地,客户端设备可以根据数据集合的训练结果,得到模型参数。本申请实施例中,通过采用区块链***中的计算节点训练模型,可以无需构建专属的机器学***均历史处理时间和节点的计算结果可信度等信息,从而可以避免客户端设备和/或计算节点在模型训练的过程中进行造假,使得模型训练的过程变得公开、透明,进而能够有效地保证用户的权利。此外,用于训练模型的数据集合可以为公开数据,通过采用区块链***中的计算节点进行模型训练,可以无需客户端设备下载数据集合,极大地节省了模型训练的成本。
本领域内的技术人员应明白,本申请的实施例可提供为方法、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种获取模型参数的方法,其特征在于,该方法包括:
客户端设备获取用于训练模型的数据集合的标识和用于训练模型的算法;
所述客户端设备根据所述数据集合的标识,从区块链***中选择存储有所述数据集合的M个计算节点;
所述客户端设备根据所述M个计算节点的第一属性信息,从所述M个计算节点中选择K个计算节点;所述M个计算节点中每个计算节点的第一属性信息包括所述计算节点的在线稳定性、计算性能、计算成本、所述计算节点的计算结果可信度中的一项或多项;
所述客户端设备将所述算法和所述数据集合的标识发送给所述K个计算节点,以使所述K个计算节点分别使用所述数据集合中的数据和所述算法对模型进行训练;
所述客户端设备获取所述K个计算节点中的P个计算节点对应的所述数据集合的训练结果,并根据所述数据集合的训练结果,得到模型参数;
其中,M≥K≥P,P≥2,M、K和P均为整数。
2.根据权利要求1所述的方法,其特征在于,所述客户端设备从区块链***中选择存储有所述数据集合的M个计算节点,包括:
所述客户端设备根据所述数据集合的标识,从所述区块链***中获取与所述数据集合的标识对应的存储关系表,所述存储关系表包括所述数据集合所在的多个计算节点的标识;
所述客户端设备根据所述存储关系表,从区块链***中选择存储有所述数据集合的M个计算节点。
3.根据权利要求1所述的方法,其特征在于,所述客户端设备获取到所述K个计算节点中的P个计算节点对应的所述数据集合的训练结果之后,还包括:
所述客户端设备对所述P个计算节点对应的所述数据集合的训练结果进行分析,若确定所述P个计算节点存在训练结果不可信的第一计算节点,则向区块链***发送第一信息,所述第一信息用于指示所述区块链***对所述第一计算节点的计算结果可信度进行更新。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:
所述客户端设备将第一收入分配策略分别发送给所述K个计算节点,所述第一收入分配策略包括训练模型所需时长最短的P个计算节点所能得到的收入。
5.一种获取模型参数的方法,其特征在于,所述方法包括:
区块链***中的计算节点接收客户端设备发送的用于训练模型的算法和用于训练模型的数据集合的标识;
所述计算节点根据所述数据集合的标识,获取存储的所述数据集合,使用所述数据集合中的数据和所述算法对所述模型进行训练,并将得到训练结果的指示信息发送给所述客户端设备;所述数据集合中的数据为通过下载网络上的公开数据得到的。
6.一种客户端设备,其特征在于,所述客户端设备包括:
获取模块,用于获取用于训练模型的数据集合的标识和用于训练模型的算法;
处理模块,用于根据所述数据集合的标识,从区块链***中选择存储有所述数据集合的M个计算节点;
根据所述M个计算节点的第一属性信息,从所述M个计算节点中选择K个计算节点;所述M个计算节点中每个计算节点的第一属性信息包括所述计算节点的在线稳定性、计算性能、计算成本、所述计算节点的计算结果可信度中的一项或多项;
将所述算法和所述数据集合的标识发送给所述K个计算节点,以使所述K个计算节点分别使用所述数据集合中的数据和所述算法对模型进行训练;
所述获取模块,还用于获取所述K个计算节点中的P个计算节点对应的所述数据集合的训练结果,并根据所述数据集合的训练结果,得到模型参数;
其中,M≥K≥P,P≥2,M、K和P均为整数。
7.根据权利要求6所述的客户端设备,其特征在于,所述处理模块,具体用于:
根据所述数据集合的标识,从所述区块链***中获取与所述数据集合的标识对应的存储关系表,所述存储关系表包括所述数据集合所在的多个计算节点的标识;
根据所述存储关系表,从区块链***中选择存储有所述数据集合的M个计算节点。
8.根据权利要求6所述的客户端设备,其特征在于,所述处理模块,还用于:
对所述P个计算节点对应的所述数据集合的训练结果进行分析,若确定所述P个计算节点存在训练结果不可信的第一计算节点,则向区块链***发送第一信息,所述第一信息用于指示所述区块链***对所述第一计算节点的计算结果可信度进行更新。
9.根据权利要求6至8中任一项所述的客户端设备,其特征在于,所述处理模块还用于:
将第一收入分配策略分别发送给所述K个计算节点,所述第一收入分配策略包括训练模型所需时长最短的P个计算节点所能得到的收入。
10.一种计算节点,其特征在于,所述计算节点包括:
收发模块,用于接收客户端设备发送的用于训练模型的算法和用于训练模型的数据集合的标识;
获取模块,用于根据所述数据集合的标识,获取存储的所述数据集合;
处理模块,用于使用所述数据集合中的数据和所述算法对所述模型进行训练,并将得到训练结果的指示信息发送给所述客户端设备;所述数据集合中的数据为通过下载网络上的公开数据得到的。
CN201811313450.0A 2018-11-06 2018-11-06 一种获取模型参数的方法及装置 Pending CN109543725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811313450.0A CN109543725A (zh) 2018-11-06 2018-11-06 一种获取模型参数的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811313450.0A CN109543725A (zh) 2018-11-06 2018-11-06 一种获取模型参数的方法及装置

Publications (1)

Publication Number Publication Date
CN109543725A true CN109543725A (zh) 2019-03-29

Family

ID=65844426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811313450.0A Pending CN109543725A (zh) 2018-11-06 2018-11-06 一种获取模型参数的方法及装置

Country Status (1)

Country Link
CN (1) CN109543725A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619317A (zh) * 2019-09-26 2019-12-27 联想(北京)有限公司 模型训练方法、模型训练装置和电子设备
CN116402275A (zh) * 2023-03-03 2023-07-07 河海大学 面向大坝智能协同巡检的无人载具动态选择方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719930A (zh) * 2009-11-27 2010-06-02 南京邮电大学 一种基于云币的层次式云端计算***激励方法
CN103345572A (zh) * 2013-06-13 2013-10-09 东北大学 面向志愿计算环境的节点信任值评估方法
CN103746957A (zh) * 2013-10-10 2014-04-23 安徽师范大学 一种基于隐私保护的信任评估***及其构建方法
CN106815644A (zh) * 2017-01-26 2017-06-09 北京航空航天大学 机器学习方法和从节点
CN107864198A (zh) * 2017-11-07 2018-03-30 济南浪潮高新科技投资发展有限公司 一种基于深度学习训练任务的区块链共识方法
CN108123936A (zh) * 2017-12-13 2018-06-05 北京科技大学 一种基于区块链技术的访问控制方法及***
CN108323200A (zh) * 2018-01-25 2018-07-24 深圳前海达闼云端智能科技有限公司 基于区块链的数据训练方法、装置、存储介质及区块链节点
US20180253539A1 (en) * 2017-03-05 2018-09-06 Ronald H. Minter Robust system and method of authenticating a client in non-face-to-face online interactions based on a combination of live biometrics, biographical data, blockchain transactions and signed digital certificates.
CN108664222A (zh) * 2018-05-11 2018-10-16 北京奇虎科技有限公司 一种区块链***及其应用方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719930A (zh) * 2009-11-27 2010-06-02 南京邮电大学 一种基于云币的层次式云端计算***激励方法
CN103345572A (zh) * 2013-06-13 2013-10-09 东北大学 面向志愿计算环境的节点信任值评估方法
CN103746957A (zh) * 2013-10-10 2014-04-23 安徽师范大学 一种基于隐私保护的信任评估***及其构建方法
CN106815644A (zh) * 2017-01-26 2017-06-09 北京航空航天大学 机器学习方法和从节点
US20180253539A1 (en) * 2017-03-05 2018-09-06 Ronald H. Minter Robust system and method of authenticating a client in non-face-to-face online interactions based on a combination of live biometrics, biographical data, blockchain transactions and signed digital certificates.
CN107864198A (zh) * 2017-11-07 2018-03-30 济南浪潮高新科技投资发展有限公司 一种基于深度学习训练任务的区块链共识方法
CN108123936A (zh) * 2017-12-13 2018-06-05 北京科技大学 一种基于区块链技术的访问控制方法及***
CN108323200A (zh) * 2018-01-25 2018-07-24 深圳前海达闼云端智能科技有限公司 基于区块链的数据训练方法、装置、存储介质及区块链节点
CN108664222A (zh) * 2018-05-11 2018-10-16 北京奇虎科技有限公司 一种区块链***及其应用方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619317A (zh) * 2019-09-26 2019-12-27 联想(北京)有限公司 模型训练方法、模型训练装置和电子设备
CN116402275A (zh) * 2023-03-03 2023-07-07 河海大学 面向大坝智能协同巡检的无人载具动态选择方法
CN116402275B (zh) * 2023-03-03 2023-12-15 河海大学 面向大坝智能协同巡检的无人载具动态选择方法

Similar Documents

Publication Publication Date Title
CN109543726A (zh) 一种训练模型的方法及装置
US11291917B2 (en) Artificial intelligence (AI) model training using cloud gaming network
US9787745B1 (en) Content delivery
US20180240062A1 (en) Collaborative algorithm development, deployment, and tuning platform
CN110352584A (zh) 跨越本地网络的设备流量的自动优先级排序
US20190099676A1 (en) Predictive recommendations for skills development
US20070094325A1 (en) Hybrid peer-to-peer data communication and management
CN107209872A (zh) 强化学习***的分布式训练
CN102075352A (zh) 一种网络用户行为预测的方法和装置
CN108920948A (zh) 一种反欺诈流式计算装置及方法
Vuculescu et al. How to solve problems with crowds: A computer‐based simulation model
US20210012236A1 (en) Dual machine learning pipelines for transforming data and optimizing data transformation
US11551119B2 (en) Machine learning based ranking of private distributed data, models and compute resources
CN109543725A (zh) 一种获取模型参数的方法及装置
Kinneer et al. Information reuse and stochastic search: Managing uncertainty in self-* systems
Mazur et al. Machine Learning Prediction of Gamer’s Private Networks (GPN® S)
CN114745392A (zh) 流量调度方法
Nguyen et al. An improved sea lion optimization for workload elasticity prediction with neural networks
Gilbert Artificial intelligence for autonomous networks
Nguyen et al. A novel nature-inspired algorithm for optimal task scheduling in fog-cloud blockchain system
CN109558950A (zh) 一种确定模型参数的方法及装置
Dubey et al. Bayesian network based trust model with time window for pure P2P computing systems
Zeng et al. Approximating behavioral equivalence of models using top-k policy paths.
Hegedus et al. Gossip-based learning under drifting concepts in fully distributed networks
CN109558894A (zh) 一种确定模型参数的方法及客户端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190329