CN111832591A - 机器学习模型训练方法及装置 - Google Patents

Abstract

本公开提供一种用于模型训练的方法和装置。在全局模型装置处，将训练样本数据集分为多个独立的训练样本数据子集，利用各个训练样本数据子集来分别单独训练出多个全局子模型，该多个全局子模型进行模型融合后得到全局模型。在进行本地模型训练时，本地模型训练装置将无标记样本数据发送到全局模型侧，利用全局模型来得到该样本数据的标记值，然后，在本地利用该样本数据以及对应的标记值来训练出用户本地模型，并将所训练出的本地模型部署在用户本地进行模型预测服务。利用该模型训练方法及装置，能够保护训练数据的数据泄露。

Description

机器学习模型训练方法及装置

技术领域

本公开通常涉及计算机技术领域，更具体地，涉及机器学习模型训练方法及装置。

背景技术

在一些机器学习应用中，机器学习模型的训练会涉及到敏感数据，比如，在训练用于检测图片是否为人脸的模型时，需要使用大量的人脸数据，在训练用于医疗诊断的模型时，需要使用大量的个人隐私数据。

经过研究发现，利用反向工程技术，可以基于机器学习模型的预测结果来重建模型训练时所使用的训练数据。由此可见，传统的模型训练方式会有较大可能性导致个人隐私数据的泄露，比如，通过大量的查询得到大量模型预测结果，然后基于所得到的模型预测结果来重建训练数据，从而获取用于模型训练数据的个人隐私数据。

发明内容

鉴于上述，本公开提供了一种模型训练方法及装置。利用该模型训练方法及装置，能够保护训练数据的数据泄露。

根据本公开的一个方面，提供了一种用于模型训练的方法，包括：向全局模型装置发送至少一个第一样本数据，以在所述全局模型装置处基于全局模型得到所述至少一个第一样本数据的标记值，所述第一样本数据是无标记样本数据；以及在用户本地处使用所述至少一个第一样本数据以及对应的标记值来训练本地模型，其中，所述全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。

可选地，在上述方面的一个示例中，所述第二样本数据集是通过对样本数据集进行划分后得到的或者是通过不同数据采集设备采集的。

可选地，在上述方面的一个示例中，所述方法还可以包括：在用户本地处采集所述至少一个第一样本数据。

可选地，在上述方面的一个示例中，所述至少一个第一样本数据是公开的样本数据。

可选地，在上述方面的一个示例中，所述至一个第一样本数据中的各个第一样本数据的标记值是通过将该第一样本数据输入到所述至少一个全局子模型中的各个全局子模型进行预测并对所得到的各个全局子模型的预测值进行融合后得到的。

可选地，在上述方面的一个示例中，所述各个全局子模型的预测值是经过噪声添加处理后的预测值。

根据本公开的另一方面，提供一种用于模型训练的方法，包括：从用户本地接收至少一个第一样本数据，所述第一样本数据是无标记样本数据；将所述至少一个第一样本数据提供给全局模型，以得到所述至一个第一样本数据的标记值；以及将所得到的所述至一个第一样本数据的标记值发送给所述用户本地，以在所述用户本地处使用所述至少一个第一样本数据以及对应的标记值来训练本地模型，其中，所述全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。

可选地，在上述方面的一个示例中，所述第二样本数据集是通过对样本数据集进行划分后得到的或者是通过不同数据采集设备采集的。

可选地，在上述方面的一个示例中，将所述至少一个第一样本数据提供给全局模型，以得到所述至一个第一样本数据的标记值包括：将所述至少一个第一样本数据中的每个第一样本数据分别输入到所述至少一个全局子模型中的各个全局子模型进行预测；以及对所得到的每个第一样本数据的各个全局子模型的预测值进行融合以得到该样本数据的标记值。

可选地，在上述方面的一个示例中，将所述至少一个第一样本数据提供给全局模型，以得到所述至一个第一样本数据的标记值还包括：对所得到的各个全局子模型的预测值进行噪声添加处理，其中，对所得到的每个第一样本数据的各个全局子模型的预测值进行融合以得到该样本数据的标记值包括：对所得到的每个第一样本数据的各个经过噪声添加处理后的预测值进行融合以得到该样本数据的标记值。

根据本公开的另一方面，提供一种用于模型训练的装置，包括：样本数据发送单元，被配置为向全局模型装置发送至少一个第一样本数据，以在所述全局模型装置处基于全局模型得到所述至少一个第一样本数据的标记值，所述第一样本数据是无标记样本数据；标记值接收单元，被配置为接收所述至少一个第一样本数据的标记值；以及本地模型训练单元，被配置为在用户本地处使用所述至少一个第一样本数据以及对应的标记值来训练本地模型，其中，所述全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。

可选地，在上述方面的一个示例中，所述装置还可以包括：样本数据采集单元，被配置为在用户本地处采集所述至少一个第一样本数据。

可选地，在上述方面的一个示例中，所述至少一个第一样本数据是公开的样本数据。

根据本公开的另一方面，提供一种用于模型训练的装置，包括：样本数据接收单元，被配置为从用户本地接收至少一个第一样本数据，所述第一样本数据是无标记样本数据；标记值获取单元，被配置为将所述至少一个第一样本数据提供给全局模型，以得到所述至一个第一样本数据的标记值；以及标记值发送单元，被配置为将所得到的所述至一个第一样本数据的标记值发送给所述用户本地，以在所述用户本地处使用所述至少一个第一样本数据以及对应的标记值来训练本地模型，其中，所述全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。

可选地，在上述方面的一个示例中，所述装置还可以包括：至少一个全局子模型训练单元，被配置为利用独立的第二样本数据集训练出所述至少一个全局子模型中的各个全局子模型。

可选地，在上述方面的一个示例中，所述标记值获取单元包括：预测模块，被配置为将所述至少一个第一样本数据中的每个第一样本数据分别输入到所述至少一个全局子模型中的各个全局子模型进行预测；以及数据融合模块，被配置为对所得到的每个第一样本数据的各个全局子模型的预测值进行融合以得到该样本数据的标记值。

可选地，在上述方面的一个示例中，所述装置还可以包括：噪声添加模块，被配置为对所得到的各个全局子模型的预测值进行噪声添加处理，其中，所述数据融合模块被配置为：对所得到的每个第一样本数据的各个经过噪声添加处理后的预测值进行融合以得到该样本数据的标记值。

根据本公开的另一方面，提供一种用于模型训练的***，包括：如上所述的用户本地侧的用于模型训练的装置；以及如上所述的处于远端的用于模型训练的装置。

根据本公开的另一方面，提供一种计算设备，包括：至少一个处理器，以及与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于用户本地模型训练的方法。

根据本公开的另一方面，提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的用于用户本地模型训练的方法。

根据本公开的另一方面，提供一种计算设备，包括：至少一个处理器，以及与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于全局模型训练的方法。

根据本公开的另一方面，提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的用于全局模型训练的方法。

附图说明

通过参照下面的附图，可以实现对于本公开内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。

图1示出了根据本公开的实施例的用于模型训练的***的方框图；

图2示出了根据本公开的实施例的用于模型训练的方法的流程图；

图3示出了根据本公开的实施例的用于获取第一样本数据的标记值的过程的流程图；

图4示出了根据本公开的实施例的本地模型训练装置的一个示例的方框图；

图5示出了根据本公开的实施例的全局模型装置的一个示例的方框图；

图6示出了根据本公开的实施例的标记值获取单元的一个实现示例的方框图；

图7示出了根据本公开的实施例的用于本地模型训练的计算设备的方框图；

图8示出了根据本公开的实施例的处于远端侧的用于模型训练的计算设备的方框图。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

本公开的实施例提出一种新的模型训练方案。在该模型训练方案中，将用于模型训练的样本数据集分为多个独立的样本数据子集，然后利用该多个独立的样本数据子集来分别单独训练出多个全局子模型，或者利用分别具有样本数据子集的训练方联合来训练出全局模型中的各个全局子模型，然后对所得到的全局子模型进行融合处理后得到全局模型。这里，“对全局子模型进行融合处理来得到全局模型”是指该全局模型由多个全局子模型构成，并且在使用全局模型进行预测时，全局模型的预测结果是通过某种机制来对各个全局子模型的预测结果进行融合处理后得到的。此外，在用户本地处收集公开样本数据，该公开样本数据是无标记样本数据。将所收集的公开样本数据发送到全局模型侧，利用全局模型来得到该公开样本数据的标记值(即，全局模型的预测值)，并且利用该公开样本数据以及对应的标记值来在用户本地处训练出用户本地模型，并将所训练出的本地模型部署在用户本地，比如手机上，以进行模型预测服务。通过这种全局模型跟本地模型结合的方式，一方面全局模型训练时，数据分布在多端，避免了全部数据泄露的可能性，同时通过训练本地模型，可以加速模型预测速度，同时因为本地模型只使用公开数据，从而避免了数据隐私的泄露。

下面将结合附图来详细描述根据本公开的实施例的用于模型训练的方法及装置。

图1示出了根据本公开的实施例的用于模型训练的***(下文中称为模型训练***10)的方框图。如图1所示，模型训练***10包括本地模型训练装置110和全局模型装置120。

在进行模型训练时，本地模型训练装置110将至少一个第一样本数据发送到全局模型装置120，该至少一个第一样本数据是无标记样本数据，即，不具有标记值。在本公开的一个示例中，该至少一个第一样本数据可以是在用户本地处收集的公开数据，即，用于本地模型训练的第一样本数据不是用户本地处的样本数据。

全局模型装置120具有全局模型。该全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。在本公开中，所述第二样本数据集可以是通过对用于全局模型训练的样本数据集进行划分后得到的样本数据子集，或者是通过不同数据采集设备采集的。第二样本数据子集是独立的样本数据集，并且在独立的训练环境中训练出各自对应的全局子模型，比如在独立的训练设备上进行训练等。在使用全局模型进行预测时，全局模型的预测结果是通过某种机制来对各个全局子模型的预测结果进行融合处理后得到的。

在接收到本地模型训练装置110所发送的至少一个第一样本数据后，针对每个第一样本数据，基于全局模型来得到对应的标记值。关于如何基于全局模型得到标记值，将在后面参照附图详细描述。

然后，全局模型装置120将所得到的各个第一样本数据的标记值发送给本地模型训练装置110。本地模型训练装置110使用至少一个第一样本数据以及对应的标记值来在用户本地处训练本地模型。然后，将所训练出的本地模型部署在本地，以用于后续模型预测。

图2示出了根据本公开的实施例的用于模型训练的方法的流程图。

如图2所示，在块210，本地模型训练装置110收集至少一个第一样本数据。然后，在块220，将所收集的至少一个第一样本数据发送到全局模型装置120。

在全局模型装置120处，在块230，基于全局模型装置120中的全局模型来预测出各个第一样本数据的标记值。

图3示出了根据本公开的实施例的用于获取第一样本数据的标记值的过程的流程图。

如图3所示，在块310，将至少一个第一样本数据中的每个第一样本数据分别输入到全局模型中的各个全局子模型进行预测，以得到对应的预测值。

接着，在块320，针对各个第一样本数据，对所得到的各个全局子模型的预测值进行噪声添加处理。这里，噪声例如可以是高斯噪声或者拉普拉斯噪声。例如，针对至少一个第一样本数据的数据分布，可以使用比如样本数据均值或方差来产生对应的噪声。

然后，在块330，对所得到的每个第一样本数据的各个全局子模型的预测值进行融合以得到该样本数据的标记值。

这里，要说明的是，在本公开的其它示例中，针对图3中示出的第一样本数据的标记值的获取过程，也可以不包括块320的操作。

在如上获得各个第一样本数据的标记值后，在块240，全局模型装置120将所得到的各个第一样本数据的标记值发送给本地模型训练装置110。

在接收到各个第一样本数据的标记值后，在块250，在用户本地，本地模型训练装置110使用各个第一样本数据以及对应的标记值来训练出本地模型。

利用根据本公开的实施例的用于模型训练的方法及装置，通过全局模型跟本地模型结合的方式来进行模型，一方面在全局模型训练时，将训练数据划分为多个部分并且将每个部分分布在独立的环境(比如，独立的训练方)中，从而避免全部训练数据泄露的可能性，另一方面，通过在用户本地处使用不具有标记值的样本数据以及基于全局模型得到的对应的标记值来训练出本地模型来进行模型预测，可以加速模型预测速度。

利用根据公开的实施例的用于模型训练的方法及装置，通过向各个全局子模型的预测值添加噪声，可以防止全局子模型被反向破解。比如，一个恶意用户通过输入大量的样本来进行模型预测，从而得到一堆预测结果，在输入样本量比较大时，恶意用户可以使用预测结果来恢复出全局子模型以及全局子模型所使用的训练样本数据，从而导致全局子模型以及训练样本数据泄露。在添加噪声后，恶意用户就无法恢复出全局子模型，从而保证了全局子模型以及训练样本数据的安全。

此外，利用根据本公开的实施例的用于模型训练的方法及装置，由于在本地模型训练时所使用的第一样本数据是在用户本地处收集的公开数据，从而避免了用户本地处的私有数据隐私泄露。

如上参照图1到图3描述了根据本公开的实施例的用于模型训练的方法，下面将参照图4到图6描述根据本公开的实施例的用于模型训练的装置。

图4示出了根据本公开的实施例的本地模型训练装置110的方框图。如图4所示，本地模型训练装置110包括样本数据发送单元111、标记值接收单元113和本地模型训练单元115。

样本数据发送单元111被配置为向全局模型装置120发送至少一个第一样本数据，以在全局模型装置120处基于全局模型得到至少一个第一样本数据的标记值，所述第一样本数据是无标记样本数据。所述全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。样本数据发送单元111的操作可以参考上面参照图2描述的块220的操作。

标记值接收单元113被配置为接收所述至少一个第一样本数据的标记值。标记值接收单元113的操作可以参考上面参照图2描述的块240的操作。

本地模型训练单元115被配置为在用户本地处使用至少一个第一样本数据以及对应的标记值来训练本地模型。本地模型训练单元115的操作可以参考上面参照图2描述的块250的操作。

此外，在本公开的另一示例中，本地模型训练装置110还可以包括样本数据采集单元(未示出)。所述样本数据采集单元被配置为在用户本地处采集至少一个第一样本数据。

图5示出了根据本公开的实施例的全局模型装置120的方框图。如图5所示，全局模型装置120包括样本数据接收单元121、标记值获取单元123、和标记值发送单元125。

样本数据接收单元121被配置为从用户本地接收至少一个第一样本数据，所述第一样本数据是无标记样本数据。样本数据接收单元121的操作可以参考上面参照图2描述的块220的操作。

标记值获取单元123被配置为将所述至少一个第一样本数据提供给全局模型，以得到所述至一个第一样本数据的标记值。标记值获取单元123的操作可以参考上面参照图2描述的块230的操作以及参照图3描述的操作。

标记值发送单元125被配置为将所得到的至少一个第一样本数据的标记值发送给用户本地，以在用户本地处使用至少一个第一样本数据以及对应的标记值来训练本地模型。标记值发送单元125的操作可以参考上面参照图2描述的块240的操作。

图6示出了根据本公开的实施例的标记值获取单元123的一个实现示例的方框图。如图6所示，标记值获取单元123包括预测模块124和数据融合模块126。

预测模块124被配置为将至少一个第一样本数据中的每个第一样本数据分别输入到至少一个全局子模型中的各个全局子模型进行预测。

数据融合模块126被配置为对所得到的每个第一样本数据的各个预测值进行融合以得到该样本数据的标记值。

在本公开的另一示例中，标记值获取单元125还可以包括噪声添加模块(未示出)。所述噪声添加模块被配置为对所得到的各个全局子模型的预测值进行噪声添加处理。然后，数据融合模块对所得到的每个第一样本数据的各个经过噪声添加处理后的预测值进行融合以得到该样本数据的标记值。

如上参照图1到图6，对根据本公开的用于模型训练的方法及用于模型训练的装置的实施例进行了描述。上面的用于模型训练的装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。

图7示出了根据本公开的实施例的用于本地模型训练的计算设备700的硬件结构图。如图7所示，计算设备700可以包括至少一个处理器710、存储器720、内存730和通信接口740，并且至少一个处理器710、存储器720、内存730和通信接口740经由总线760连接在一起。至少一个处理器710执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器710：向全局模型装置发送至少一个第一样本数据，以在所述全局模型装置处基于全局模型得到所述至少一个第一样本数据的标记值，所述第一样本数据是无标记样本数据；以及在用户本地处使用所述至少一个第一样本数据以及对应的标记值来训练本地模型，其中，所述全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器710进行本公开的各个实施例中以上结合图1-6描述的各种操作和功能。

图8示出了根据本公开的实施例的处于远端侧的用于模型训练的计算设备800(即，上文中的全局模型装置)的硬件结构图。如图8所示，计算设备800可以包括至少一个处理器810、存储器820、内存830和通信接口840，并且至少一个处理器810、存储器820、内存830和通信接口840经由总线860连接在一起。至少一个处理器810执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器810：从用户本地接收至少一个第一样本数据，所述第一样本数据是无标记样本数据；将所述至少一个第一样本数据提供给全局模型，以得到所述至一个第一样本数据的标记值；以及将所得到的所述至一个第一样本数据的标记值发送给所述用户本地，以在所述用户本地处使用所述至少一个第一样本数据以及对应的标记值来训练本地模型，其中，所述全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器810进行本公开的各个实施例中以上结合图1-6描述的各种操作和功能。

在本公开中，计算设备700/800可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。

根据一个实施例，提供了一种比如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-5描述的各种操作和功能。具体地，可以提供配有可读存储介质的***或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

本领域技术人员应当理解，上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此，本发明的保护范围应当由所附的权利要求书来限定。

需要说明的是，上述各流程和各***结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上各实施例中，硬件单元或模块可以通过机械方式或电气方式实现。例如，一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (22)

1.一种用于模型训练的方法，包括：

向全局模型装置发送至少一个第一样本数据，以在所述全局模型装置处基于全局模型得到所述至少一个第一样本数据的标记值，所述第一样本数据是无标记样本数据；以及

在用户本地处使用所述至少一个第一样本数据以及对应的标记值来训练本地模型，

其中，所述全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。

2.如权利要求1所述的方法，其中，所述第二样本数据集是通过对样本数据集进行划分后得到的或者是通过不同数据采集设备采集的。

3.如权利要求1所述的方法，还包括：

在用户本地处采集所述至少一个第一样本数据。

4.如权利要求3所述的方法，其中，所述至少一个第一样本数据是公开的样本数据。

5.如权利要求1所述的方法，其中，所述至一个第一样本数据中的各个第一样本数据的标记值是通过将该第一样本数据输入到所述至少一个全局子模型中的各个全局子模型进行预测并对所得到的各个全局子模型的预测值进行融合后得到的。

6.如权利要求5所述的方法，其中，所述各个全局子模型的预测值是经过噪声添加处理后的预测值。

7.一种用于模型训练的方法，包括：

从用户本地接收至少一个第一样本数据，所述第一样本数据是无标记样本数据；

将所述至少一个第一样本数据提供给全局模型，以得到所述至一个第一样本数据的标记值；以及

将所得到的所述至一个第一样本数据的标记值发送给所述用户本地，以在所述用户本地处使用所述至少一个第一样本数据以及对应的标记值来训练本地模型，

其中，所述全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。

8.如权利要求7所述的方法，其中，所述第二样本数据集是通过对样本数据集进行划分后得到的或者是通过不同数据采集设备采集的。

9.如权利要求7所述的方法，其中，将所述至少一个第一样本数据提供给全局模型，以得到所述至一个第一样本数据的标记值包括：

将所述至少一个第一样本数据中的每个第一样本数据分别输入到所述至少一个全局子模型中的各个全局子模型进行预测；以及

对所得到的每个第一样本数据的各个全局子模型的预测值进行融合以得到该样本数据的标记值。

10.如权利要求9所述的方法，将所述至少一个第一样本数据提供给全局模型，以得到所述至一个第一样本数据的标记值还包括：

对所得到的各个全局子模型的预测值进行噪声添加处理，

其中，对所得到的每个第一样本数据的各个全局子模型的预测值进行融合以得到该样本数据的标记值包括：

对所得到的每个第一样本数据的各个经过噪声添加处理后的预测值进行融合以得到该样本数据的标记值。

11.一种用于模型训练的装置，包括：

样本数据发送单元，被配置为向全局模型装置发送至少一个第一样本数据，以在所述全局模型装置处基于全局模型得到所述至少一个第一样本数据的标记值，所述第一样本数据是无标记样本数据；

标记值接收单元，被配置为接收所述至少一个第一样本数据的标记值；以及

本地模型训练单元，被配置为在用户本地处使用所述至少一个第一样本数据以及对应的标记值来训练本地模型，

其中，所述全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。

12.如权利要求11所述的装置，还包括：

样本数据采集单元，被配置为在用户本地处采集所述至少一个第一样本数据。

13.如权利要求12所述的装置，其中，所述至少一个第一样本数据是公开的样本数据。

14.一种用于模型训练的装置，包括：

样本数据接收单元，被配置为从用户本地接收至少一个第一样本数据，所述第一样本数据是无标记样本数据；

标记值获取单元，被配置为将所述至少一个第一样本数据提供给全局模型，以得到所述至一个第一样本数据的标记值；以及

标记值发送单元，被配置为将所得到的所述至一个第一样本数据的标记值发送给所述用户本地，以在所述用户本地处使用所述至少一个第一样本数据以及对应的标记值来训练本地模型，

其中，所述全局模型包括至少一个全局子模型，每个全局子模型是利用独立的第二样本数据集训练出的。

15.如权利要求14所述的装置，还包括：

至少一个全局子模型训练单元，被配置为利用独立的第二样本数据集训练出所述至少一个全局子模型中的各个全局子模型。

16.如权利要求14所述的装置，其中，所述标记值获取单元包括：

预测模块，被配置为将所述至少一个第一样本数据中的每个第一样本数据分别输入到所述至少一个全局子模型中的各个全局子模型进行预测；以及

数据融合模块，被配置为对所得到的每个第一样本数据的各个全局子模型的预测值进行融合以得到该样本数据的标记值。

17.如权利要求16所述的装置，其中，所述标记值获取单元还包括：

噪声添加模块，被配置为对所得到的各个全局子模型的预测值进行噪声添加处理，

其中，所述数据融合模块被配置为：对所得到的每个第一样本数据的各个经过噪声添加处理后的预测值进行融合以得到该样本数据的标记值。

18.一种用于模型训练的***，包括：

如权利要求11到13中任一所述的用于模型训练的装置；以及

如权利要求14到17中任一所述的用于模型训练的装置。

19.一种计算设备，包括：

至少一个处理器，以及

与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1到6中任一所述的方法。

20.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1到6中任一所述的方法。

21.一种计算设备，包括：

至少一个处理器，以及

与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求7到10中任一所述的方法。

22.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求7到10中任一所述的方法。

Images