CN117203646A - 用于属性预测的迁移机器学习 - Google Patents

Abstract

描述了用于使用迁移机器学习来预测属性的方法、***和装置，包括在计算机存储介质上编码的计算机程序。在一个方面中，一种方法包括从用户的客户端设备接收数字组件请求，该数字组件请求至少包括将在其中显示所选择的数字组件的显示环境的输入场境信息。场境信息被转换为对迁移机器学习模型的包括输入特征值的输入数据，该迁移机器学习模型被训练以基于表示显示环境的特征的特征值来输出用户的用户属性的预测。迁移机器学习模型是使用针对订户用户从与订户用户订用的电子资源相关联的数据管线所获得的训练数据来训练的并且被适配来预测查看非订用用户未订用的电子资源的非订用用户的用户属性。

Description

用于属性预测的迁移机器学习

技术领域

本说明书涉及数据处理和迁移机器学习。

背景技术

机器学习模型接收输入并且基于接收到的输入生成输出，例如预测输出。一些机器学习模型是参数模型并且基于接收到的输入和该模型的参数的值来生成输出。

一些机器学习模型是深度学习模型，其采用模型的多个层来针对接收到的输入生成输出。例如，深度神经网络是深度学习模型，其包括输出层和一个或多个隐藏层，每个隐藏层将非线性变换应用于接收到的输入以生成输出。

发明内容

本说明书描述了一种***，其被实现为在一个或多个位置的一个或多个计算机上的计算机程序，其使用迁移机器学习技术来预测属性。

总体上，本说明书中描述的主题的一个创新方面可以体现在包括以下的方法中：从用户的客户端设备接收数字组件请求，数字组件请求至少包括在其中将显示所选择的数字组件的显示环境的输入场境信息(contextual information)；将场境信息转换为对迁移机器学习模型的包括输入特征值的输入数据，迁移机器学习模型被训练以基于表示显示环境的特征的特征值来输出用户的用户属性的预测，其中迁移机器学习模型(i)是使用针对订户用户从与订户用户订用(subscribe)的电子资源相关联的数据管线所获得的训练数据来训练的，以及(ii)被适配来预测查看非订用用户未订用的电子资源的该非订用用户的用户属性，其中，训练数据包括表示在其中向订户用户显示数字组件的显示环境的训练场境信息的特征的第一特征值、订户用户的在线活动的第二特征值、以及表示订户用户中的每一个的用户属性简档的标签；提供输入数据作为对迁移机器学习模型的输入；接收指示用户的预测用户属性的集合的数据作为迁移机器学习模型的输出；至少部分地基于该预测用户属性的集合来从多个数字组件中选择给定数字组件以供在客户端设备处显示；以及向用户的客户端设备发送给定数字组件。该方面的其他实施方式包括对应的装置、***和编码在计算机存储设备上的计算机程序，其被配置为执行方法的方面。

这些和其他实施方式可以每个可选地包括以下特征中的一个或多个。在一些方面，订户用户订用的电子资源包括向订用用户显示内容的内容平台。在一些方面，在其中向订户用户显示数字组件的显示环境的训练场境信息包括订用用户的客户端设备属性。每个个体客户端设备的客户端设备属性包括以下中的至少一个：指示该个体客户端设备的操作***中的一个或多个的信息，或该个体客户端设备的浏览器的类型。

在一些方面，针对到订户用户订用的电子资源的每个用户访问，在其中向订户用户显示数字组件的显示环境的训练场境信息包括以下各项中的至少一项：指示电子资源的电子资源地址的信息，电子资源的类别，(iii)用户访问发生的时间，用于访问电子资源的客户端设备的地理位置，或用户访问的数据业务的类型。

在一些方面，订户用户的在线活动的第二特征值包括指示订户用户在用户访问期间与其交互的数字组件的特征的特征值，包括指示每个数字组件的类别的特征值。在一些方面，订户用户的在线活动的第二特征值包括指示以下各项中的一项或多项的特征的特征值：选择用户可选元素，提供搜索查询，或查看特定页面。

一些方面包括基于第一特征值和第二特征值来生成迁移机器学习模型。生成迁移机器学习模型可以包括利用目标函数来训练神经网络。

一些方面包括提供用户的预测用户属性的集合作为对第二机器学习模型的输入，第二机器学习模型被训练为基于用户属性来预测与数字组件的用户接涉(engagement)，并且针对多个数字组件中的每个数字组件接收指示用户将与该数字组件交互的预测可能性的输出数据作为第二机器学习模型的输出。选择给定数字组件可以包括至少基于多个数字组件中的每一个的预测可能性来选择给定数字组件。

本说明书中描述的主题可以在特定实施例中实现，以便实现以下优点中的一个或多个。用于跨互联网从客户端设备收集数据的第三方缓存文件(cookie)越来越多地被停止使用以防止敏感用户数据的收集和泄漏。本文描述的方法可以在不使用第三方缓存文件的情况下通过训练迁移机器学***台的第一数据管线收集的数据来训练机器学习模型，并且适配该机器学习模型以在其中更有限类型的数据可用的第二数据管线中使用。以这种方式，迁移机器学习模型使用更鲁棒的数据集合来训练，以便在有限数据可用的情况下进行准确预测。使用迁移机器学习所预测的用户属性用于有效率地将内容分发给用户，从而改善用户访问期望的电子资源的体验。因此，在本文档中描述的技术能够在无须这样的敏感数据的情况下实现属性的准确预测。

使用迁移机器学习代替使用第三方缓存文件所收集的数据来预测属性可以减少计算资源(例如，处理器周期)和网络资源(例如，消耗的带宽)。跨数千或数百万个客户端设备聚合，计算和带宽节省是相当大的。

在附图和以下描述中阐述本说明书的主题的一个或多个实施例的细节。主题的其它特征、方面和优点从说明书、附图和权利要求书中将变得显而易见。

附图说明

图1示出其中数字组件分发***使用迁移学习来分发数字组件的示例性计算环境。

图2示出使用迁移学习来预测用户的用户属性并且基于预测的用户属性提供数字组件的示例***。

图3A-3B示出了用于训练迁移机器学习模型的示例机器学习架构。

图4是用于使用迁移学习模型预测属性并且基于预测属性将数字组件发送到客户端设备的示例过程的流程图。

图5是示例计算机***的框图。

在各个附图中相同的附图标记和名称指示相同的元件。

具体实施方式

本说明书描述了用于在不使用来自第三方缓存文件的信息的情况下使用迁移机器学习来预测用户的属性的技术和***。历史上，第三方缓存文件已经被用于收集关于用户跨不同域的在线活动的信息。所收集的关于用户的信息通常用于定制用户的浏览体验，例如通过显示个性化内容。在不使用由第三方缓存文件所收集的信息的情况下，本文描述的***通过将迁移机器学习应用到显示环境的场境信息来预测用户的属性，在该显示环境中用户查看电子资源并且与之交互。

电子资源包括一些用户订用以查看电子资源的内容的资源(例如，特定网站、移动应用、或诸如视频共享平台或电子邮件服务的内容平台)。针对订用电子资源的订用用户，该资源的发布者可以在用户简档中获得并且存储表示至少用户子集的自声明用户属性(例如，电子邮件用户的自声明地理位置)的数据。

***训练机器学习模型以基于与订用用户相关的特征来预测用户的用户属性，该订用用户的用户属性信息和附加信息是可用的。然后，***可以使用迁移学习技术来对经训练的机器学习模型进行适配，以生成迁移机器学习模型，当更有限信息可用时，例如，当用户的身份未知和/或当更少或不同的场境信息可用时，该迁移机器学习模型可以预测用户的用户属性。例如，***可以使用利用与这样的电子资源相关联的数据管线所获得的数据来训练机器学习模型：该电子资源被用户订用并且用户属性信息和/或用户在线活动对于该电子资源是可用的。然后，迁移机器学习模型可以被部署在不同的数字组件分发管线中，其中有限信息可用于选择数字组件。

使用所描述的迁移学习技术，***可以预测用户的用户属性，并且基于所预测的用户属性响应于接收到数字组件请求而快速地—例如实时地(例如，在数毫秒内)—选择要提供给用户的数字组件。这也可以减少由于数字组件被发送到不期望的用户所浪费的网络带宽。在一些实施方式中，***基于用户的活动和来自一个或多个电子资源的具有已知用户属性简档的其他用户的活动之间的相似性来预测该用户的用户属性。

如本说明书通篇所使用的，短语“数字组件”是指数字内容或数字信息的离散单元(例如，视频剪辑、音频剪辑、多媒体剪辑、图像、文本或其他内容单元)。数字组件可以作为单个文件或文件集合以电子方式存储在物理存储器设备中，并且数字组件可以采用视频文件、音频文件、多媒体文件、图像文件或文本文件的形式，并包括广告信息，因此广告是一种类型的数字组件。例如，数字组件可以是旨在补充由应用所呈现的网页或其他资源的内容的内容。更具体地，数字组件可以包括与资源内容相关的数字内容(例如，数字组件可以和与网页内容相同的主题相关，或与相关主题相关)。因此，数字组件的提供可以补充并通常增强网页或应用内容。

除了贯穿本文档的描述之外，可以向用户提供控件(例如，用户可以与之交互的用户界面元素)，从而允许用户关于本文描述的***、程序或特征是否以及何时能够收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前位置的信息)以及是否从服务器向用户发送内容或通信进行选择。此外，在存储或使用某些数据之前可以以一种或多种方式对其进行处理，从而去除个人可识别信息。例如，可以处理用户的身份，使得无法确定用户的个人可识别信息，或者可以在获得位置信息的情况下对用户的地理位置进行泛化(例如泛化到城市、邮政编码或州级)，从而无法确定用户的特定位置。因此，用户可以控制收集关于用户的哪些信息、如何使用该信息以及向用户提供哪些信息。

图1图示其中数字组件分发***使用迁移学习来分发数字组件的示例计算环境100。环境100包括经由网络106与数字组件分发***104通信的多个客户端设备102a到102n，该网络106可以是有线或无线网络或其任何组合。在一些实施方式中，数字组件分发***104使用一个或多个计算机来实现。网络106可以是局域网(LAN)、广域网(WAN)、互联网、移动网络或其任何组合。每个客户端设备102a到102n(统称为客户端设备102)包括经由总线114与输入/输出设备112通信的处理器(例如，中央处理单元)110。输入/输出设备112可以包括触摸显示器、键盘、鼠标等。

网络接口电路116也连接到总线114以提供到网络106的有线和/或无线连接。存储器或其它存储介质120也连接到总线114。存储器120存储由处理器110执行的指令。特别地，存储器120存储用于应用122的指令。应用122可以被配置为与数字组件分发***104通信。

在一些实施方式中，每个客户端设备102是移动设备(例如，智能电话、膝上型计算机、平板计算机、可佩戴设备、数字助理设备等)。在一些实施方式中，每个客户端设备102是流传输设备或游戏设备或控制台。应用122可以包括一个或多个电子资源，包括本原(native)应用(例如，电子邮件应用)和应用122所显示的web浏览器(例如，社交媒体平台)。环境100能够访问来自应用122的信息例如用户使用应用122的活动。

客户端设备102执行一个或多个应用122，例如web浏览器和/或本原应用，以促进通过网络106发送和接收数据。本原应用是针对特定平台或特定设备(例如，具有特定操作***的移动设备)开发的应用。发布者可以开发本原应用并且向客户端设备102提供该本原应用，例如使该本原应用可用于下载。web浏览器可以例如响应于客户端设备102的用户在web浏览器的地址栏中录入电子资源(也称为资源)的资源地址或选择引用该资源地址的链接而从托管发布者的网站的web服务器请求资源。类似地，本原应用可以从发布者的远程服务器请求应用内容。

数字组件分发***104包括处理器130、总线132、输入/输出设备134、和网络接口电路136，以提供到网络106的连接。存储器140连接到总线132。存储器140存储属性预测引擎142和数字组件选择引擎144，该数字组件选择引擎144具有由处理器130执行的指令以实现本文档中所描述的操作。在一些实施方式中，环境100包括与数字组件分发***104通信的数据库146，其存储由属性预测引擎142和/或数字组件选择引擎144使用的信息。

属性预测引擎142实现机器学习技术，例如，训练和/或适配迁移机器学习模型，应用该模型来预测用户的用户属性，以及根据需要重新训练该模型(下面将更详细地描述)。

为了训练迁移机器学习模型，属性预测引擎142获得和/或生成用于用户集合的训练数据。训练数据可以包括在其中向用户显示数字组件和/或内容的显示环境的场境信息、用户的用户活动—例如在线活动、和/或用户的用户属性信息。在没有使用第三方缓存文件的情况下，这种场境信息和用户活动信息可能不可用于训练机器学习模型。

为了获得这样的信息，属性预测引擎142可以与电子资源的数据管线接口连接，用户订用该电子资源以查看内容并且通常登录以查看内容。以这种方式，属性预测引擎142可以访问关于登录到电子资源的订户用户的信息、在其中向订用用户显示数字组件的显示环境的场境信息，以及订用用户的用户属性信息。例如，电子资源的发布者可以从登录到该电子资源的订用用户接收对内容的请求，并且连同与该数字组件一起显示的数字组件一起提供该内容。这种请求可以包括场境信息。发布者可以存储该信息连同指示被提供用于与内容一起显示的数字组件的信息和指示关于电子资源发生的用户活动(例如用户是否与所显示的数字组件交互例如选择所显示的数字组件)的数据。

每个用户的用户属性信息可以包括自声明和/或推断的用户属性。例如，用户可以在订用内容平台时使用应用122向内容平台(或其他电子资源)提供用户属性信息，或者提供用户属性信息来更新先前提供的用户属性信息。在另一示例中，内容平台可以基于群体调查结果、在线活动等来推断用户的用户属性。用户的用户属性信息可以包括群体特征信息。

在其中显示数字组件的显示环境的场境信息可以包括订用用户的客户端设备属性，例如，指示以下的信息：由用户使用来查看电子资源的内容的客户端设备102的操作***、用于在客户端设备102处查看内容的浏览器或本原应用的类型、客户端设备102的显示器大小或类型、和/或关于客户端设备102的其它适当信息。

针对到电子资源的每个用户访问，在其中显示数字组件的显示环境的场境信息可以包括资源的资源地址(例如，统一资源标识符(URI)或统一资源定位符(URL))、电子资源的类别(例如，指派给电子资源的基于主题的类别)、用户访问发生的时间(例如，一天中的时间、一周中的天、一年中的月等)、用户访问发生时的客户端设备的地理位置、用户访问的数据业务的类型、和/或其它适当场境信息。数据业务的类型的示例包括：数据是否包括图像或视频，用户观看的视频的类型或类别，用户观看的视频频道的类型或类别，传输数据的设备的操作***，以及用于发送数据的设备的类型。

订户用户的用户活动信息可以包括用户例如在一段时间内已经订用的电子资源、用户与和电子资源一起显示的内容(例如，电子资源的内容和/或与该内容一起显示的数字组件)的交互。例如，到电子资源的用户访问的用户活动信息可以包括用户访问的场境信息以及指示用户是否与任何内容交互的用户交互数据并且在是的情况下还包括关于交互的信息，例如交互的类型和/或指示与之交互的内容的数据。内容(例如数字组件)的信息可以包括标识该内容的数据、指派给该内容的一个或多个类别(例如，一个或多个垂直类别)、对应于每个类别的权重、和/或关于内容的其它适当信息。

属性预测引擎142使用训练数据来训练迁移机器学习模型。属性预测引擎142可以使用训练数据来训练机器学习模型，以基于其中用户正在查看内容或将要查看内容的显示环境的场境信息来输出用户的预测用户属性。由于场境信息的类型可以基于由用户所访问的电子资源的类型和/或与其相关联的数据管线而变化，因此属性预测引擎142可以对机器学习模型进行适配以供在不同管线中使用，例如，基于在不同管线中可用的场境信息的类型。这种适配的输出是迁移机器学习模型。

例如，属性预测引擎142可以基于使用视频共享平台的数据管线所获得的训练数据来训练机器学习模型。属性预测引擎142可以使用迁移学习技术来对这种机器学习模型进行适配以用于预测向搜索引擎提交搜索查询的未知用户的用户属性或访问特定网站的未知用户的用户属性。这可以包括，例如，在迁移后的域中应用适配。适配阶段可以类似于另一个机器学习模型训练，除了该模型由(来自源域的)域参数初始化，但是具有迁移后的域数据。在适配阶段，属性预测引擎142可以使用来自源域的数据作为标签数据以用于使用机器学习模型训练技术来训练迁移机器学习模型，如在本文档中所述。当将经训练的机器学习模型适配到被适配到迁移域的迁移机器学习模型时，来自源域的知识可以用作适配阶段的真实值(ground truth)。属性预测引擎142可以训练迁移学习机器学习模型以使用来自源域的知识(例如，机器学习模型、其参数等)来输出在迁移域中可用的输入数据的属性预测。例如，这种适配可以将在迁移域中可用的输入数据的特征映射到来自源域的特征，并且基于在源域中映射的特征的知识来调整模型以针对在迁移域中可用的输入数据的特征执行属性预测。

数字组件选择引擎144使用由迁移机器学习模型所输出的预测用户属性来向用户的客户端设备102提供数字组件或个性化内容。例如，基于特定用户的预测用户属性，数字组件选择引擎144提供可以对用户有益或特别感兴趣的数字组件。

一些资源、应用页面或其它应用内容可以包括用于与资源或应用页面一起呈现数字组件的数字组件槽位。数字组件槽位可以包括使应用122从数字组件分发***104请求数字组件的代码(例如，脚本)。例如，该代码可以使应用122发送数字组件请求，该数字组件请求包括其中用户正在查看内容或将要查看内容的显示环境的场境信息。属性预测引擎142可以使用该场境信息来预测应用122的用户的用户属性，并且将用户属性提供给数字组件选择引擎144。继而，数字组件选择引擎144可以选择数字组件以向应用122提供以供向用户显示，例如，其中电子资源的内容由应用122显示。

数字组件选择引擎144可以至少基于用户的预测用户属性来从数字组件集合中选择数字组件。例如，数字组件可以链接到指示数字组件适格被显示给具有一个或多个用户属性的用户的分发标准。在该示例中，当分发标准的用户属性与用户的预测用户属性匹配时，数字组件选择引擎144可以选择数字组件。这确保了所选择的数字组件适合于用户并且在将其发送给用户时不会浪费带宽。

数字组件选择引擎144可以基于预测用户属性结合其它信息来选择数字组件。例如，数字组件选择引擎144可以基于预测用户属性结合当前时间、发送数字组件请求的客户端设备102的位置、数字组件请求的场境信息、数字组件的分发标准和/或指示数字组件提供者愿意提供给发布者以供显示数字组件的额度的选择值来选择数字组件。

包括在数字组件请求中的场境信息可以包括与如上所述的类似的场境信息作为训练数据的一部分。然而，在数字组件请求的场境信息中可能不能获得一些这样的信息，和/或可以包括不同于训练数据的场境信息的不同场境信息。例如，数字组件请求的场境信息可以包括发送数字组件请求的客户端设备102的客户端设备属性、与由应用122正在显示的电子资源相关的场境信息(例如，URI或URL、类别等)、时间、位置、业务类型等。

在一些实施方式中，数字组件分发***104处理数据库146中的信息(例如，通过生成快速访问标识符或引用)，使得对信息的访问在计算上有效率。例如，数字组件分发***104可以将特定用户的过滤器应用于数据库146以获得与特定用户相关联的记录。在一些实施方式中，数字组件分发***104基于数据处理带宽来优化数据库146的结构，以促进负载均衡和数据的有效处理。

图2示出了使用迁移学习来预测用户的用户属性并且基于预测用户属性提供数字组件的示例***200。***200包括设备特征提取引擎204，其接收关于客户端设备102的信息并且生成指示用户的设备属性的特征的第一集合210a。特征的第一集合包括客户端设备102的操作***、业务类型(例如，来自移动电话的访问)、客户端设备102的浏览器类型、位置和/或与用户与客户端设备102的交互相关联的本地时间。

***200包括资源特征提取引擎206，其从应用122接收数据并且生成指示与一个或多个电子资源交互的用户活动的特征的第二集合210b。针对正在显示或将要显示给用户的电子资源，特征的第二集合可以包括电子资源的资源地址、电子资源的类别、和/或其它适当特征。

如上所述，应用122可以向用户显示一个或多个电子资源，并且从数字组件分发***104请求数字组件以与电子资源一起显示。该数字组件请求可以包括其中将显示所选择的数字组件的显示环境的场境信息。设备特征提取引擎204和资源特征提取引擎206可以从数字组件请求中提取相关信息例如相关场境信息，并且将该信息转换为特征值以用于对迁移机器学习模型的输入。尽管在图1中未示出，但是图1的数字组件分发***104可以包括设备特征提取引擎204和资源特征提取引擎206。

属性预测引擎142被配置为处理特征的第一集合210a或/和特征的第二集合210b(统称为特征210)以生成用户的预测用户属性214。生成预测用户属性214是基于预先训练的迁移机器学习模型的。如上所述，可以使用包括这样的数据的训练数据212来训练迁移机器学习模型：该数据可以包括在其中向用户显示数字组件和/或内容的显示环境的场境信息、用户的用户活动—例如在线活动、和/或用户的用户属性信息。训练数据212包括指示具有已知(自声明或推断)用户属性简档的用户的训练标签。属性预测引擎142可以从数据库146访问训练数据212。

***200包括数字组件选择引擎144，其接收预测用户属性214，基于预测用户属性214来选择数字组件，并且向用户的客户端设备提供数字组件216。数字组件选择引擎144例如经由网络106与应用122通信，以启用这种显示。

在一些实施方式中，数字组件选择引擎144可以使用经训练的机器学习模型基于指示用户与所显示的数字组件的接涉的信息来选择数字组件。指示用户与数字组件的接涉的信息可以包括用户在由特定场境信息表征的特定显示环境中查看数字组件之后选择用户可选项目(例如，数字组件)并且查看特定页面(例如，观看所推荐的视频)的信息指示。机器学习模型可以基于以下来训练：与数字组件相关的信息、与用户与数字组件的接涉相关的信息(例如，用户是否与在显示给用户时的数字组件交互)以及指示向其显示数字组件的用户的用户属性以及它们与数字组件的相应接涉的标签。机器学习模型可以被训练为将用户的预测用户属性214作为输入，并且针对数字组件的集合中的每个数字组件，输出具有预测用户属性214的用户将与该数字组件交互的可能性。

在一些实施方式中，该机器学习模型还考虑将在其中显示所选择的数字组件的显示环境的场境信息。例如，机器学习模型可以将预测用户属性214和特征210的特征值作为输入，并且针对数字组件的集合中的每个数字组件，输出具有预测用户属性214的用户将与在具有将在其中显示所选择的数字组件的显示环境的场境信息的显示环境中显示时的数字组件交互的可能性。

图3A-3B示出用于训练迁移机器学习模型的示例机器学习架构302、304和306。参考图3A，***(例如图1的数字组件分发***104)可以训练一个或多个预测模型，每个预测模型对应于预测用户属性的集合。作为对于用户属性预测的特定示例，***可以使用第一架构302来训练可用于预测基本用户属性(例如，性别和年龄分布)的第一预测模型301a。第二架构304可以用于训练第二预测模型301b以预测扩展的群体特征，例如，职业、鞋子尺寸等。为此，每个架构302和304可以分别使用不同的训练数据来生成它们各自的预测模型301a和301b。

在另一示例中，每个架构302和304可以基于可用的训练数据使用不同的训练数据来训练。例如，架构301a可以用于使用由用户所提供的声明的用户属性连同用户的在线活动的场境信息和特征值来训练预测模型301a。架构301b可以用于使用由另一机器学习模型所推断的推断用户属性连同用户的在线活动的场境信息和特征值来训练预测模型301a。

***可以使用架构302和304以及训练数据212来训练预测模型301a和301b。在一些实施方式中，预测模型301a和301b是经训练的卷积神经网络。卷积神经网络包括多个层，其包括卷积层、池化层和完全连接层。该***可以提供由卷积神经网络在训练期间最小化损失函数中使用的目标函数(也称为损失函数)。该***可以使用除卷积神经网络之外的适当训练方法，包括监督机器学习(例如，随机森林)、回归、朴素贝叶斯分类器、以及神经网络的其它变形。作为训练预测模型的输出，***获得第一预测模型301a和第二预测模型301b。

参考图3B，***可以训练第三(共享)预测模型301c，其用于使用第三架构306来预测用户的用户属性。在该架构306中，两个卷积神经网络307和308被训练并且共享公共的隐藏层305。可以与预测模型301a的卷积神经网络类似地来训练第一卷积神经网络307，例如使用相同类型的训练数据。类似地，可以与预测模型301b的卷积神经网络类似地来训练第二卷积神经网络308，例如使用相同类型的训练数据。第三预测模型301c的一个优点是，***可以重用预测模型301a和301b的一些数据和/或模型。

在一些实施方式中，***可以向特征210添加附加特征。附加特征包括先前预测的用户属性。这些附加特征还可以增强场境预测。

在一些实施方式中，***可以训练元学习器，该元学习器基于多个预训练模型来预测用户属性。例如，元学习器可以是跨不同训练架构(例如，预测模型301a、301b和301c)的集成(ensemble)学习器。元学习器可以通过将训练数据212分割为训练和验证集的交叉验证方法来训练。

图4是用于使用迁移学习模型预测属性并且基于预测属性将数字组件发送到客户端设备的示例过程400的流程图。该过程400将被描述为由根据本说明书适当编程的一个或多个计算机的***执行。例如，数字组件分发***100或***200(例如，属性预测引擎142和数字组件选择引擎144)可以执行示例过程400的至少一部分。在一些实施方式中，过程400的各个步骤可以并行，组合，循环或以任何顺序运行。

该***从用户的客户端设备接收数字组件请求(402)。数字组件请求可以是请求数字组件以在客户端设备处与电子资源一起显示。数字组件请求可以包括例如将在其中显示所选择的数字组件的显示环境的输入场境信息。如上所述，输入的场境信息可以包括订用用户的客户端设备属性，例如，指示用户用于查看电子资源的内容的客户端设备的操作***的信息、用于在客户端设备处查看内容的浏览器或本原应用的类型、客户端设备的显示大小或类型，和/或关于客户端设备的其它适当信息。输入的场境特征还可以包括将与其一起显示所选择的数字组件的电子资源的属性，例如电子资源的资源地址，电子资源的类别(例如，主题)，和/或关于电子资源的其它适当信息。输入的场境特征还可以包括生成数字组件请求时的时间(例如，一天中的时间，一周中的日，一年中的月等)、客户端设备的地理位置、数据业务的类型，和/或其它适当场境信息。

该***将场境信息转换为对迁移机器学习模型的输入数据(404)。例如，***可以针对表示场境信息的特征生成特征值。

如上所述，迁移机器学***台的数据管线获得训练数据，该内容平台向订用了该内容平台的用户显示内容，并且用户已经向该内容平台提供用户属性信息。训练数据可以包括表示数字组件在其中被显示给订户用户的显示环境的训练场境信息的特征的第一特征值、订户用户的在线活动的第二特征值以及表示每个订户用户的用户属性简档的标签。订用用户的标签可以指示订用用户的一个或多个用户属性。

在一些实施方式中，***可以例如通过改变训练架构、训练数据和/或特征来重新训练预测模型。属性预测引擎142可以输出经训练的模型关于属性预测的性能。基于分析该性能是否满足特定阈值，属性预测引擎142可以优化或至少改善训练方案。

如上所述，迁移机器学习模型可以被适配来预测查看非订用用户未订用的电子资源的非订用用户的用户属性。

***提供输入数据作为对迁移机器学习模型的输入(406)。***可以在输入数据上执行机器学习模型，以生成用户的预测用户属性。***接收指示用户的预测属性的数据作为迁移机器学习模型的输出(408)。

***基于预测用户属性来选择数字组件(410)。***可以基于用户的预测用户属性并且可选地基于附加信息从数字组件的集合中选择数字组件。这确保了所选择的数字组件适合于用户并且在将其发送给用户时不会浪费带宽。附加信息可以包括，例如，当前时间、发送数字组件请求的客户端设备102的位置、数字组件请求的场境信息、数字组件的分发标准和/或指示数字组件提供者愿意提供给发布者以用于显示数字组件的额度的选择值。

该***向用户的客户端设备提供所选择的数字组件(412)。然后，客户端设备可以显示数字组件，例如，与在客户端设备处显示电子资源一起。

图5是可用于执行上述操作的示例计算机***500的框图。***500包括处理器510、存储器520、存储设备530和输入/输出设备540。组件510、520、530和540中的每一个可以例如使用***总线550来互连。处理器510能够处理在***500内执行的指令。在一些实施方式中，处理器510是单线程处理器。在另一个实施方式中，处理器510是多线程处理器。处理器510能够处理存储在存储器520中或在存储设备530上的指令。

存储器520在***500内存储信息。在一个实施方式中，存储器520是计算机可读介质。在一些实施方式中，存储器520是易失性存储器单元。在另一实施方式中，存储器520是非易失性存储器单元。

存储设备530能够为***500提供大容量存储。在一些实施方式中，存储设备530是计算机可读介质。在各种不同的实施方式中，存储设备530可以包括例如硬盘设备、光盘设备、由多个计算设备在网络上共享的存储设备(例如，云存储设备)、或者一些其他大容量存储设备。

输入/输出设备540为***400提供输入/输出操作。在一些实施方式中，输入/输出设备540可以包括网络接口设备，例如以太网卡、串行通信设备，例如和RS-232端口，和/或无线接口设备，例如和802.11卡中的一个或多个。在另一实施方式中，输入/输出设备可以包括被配置为接收输入数据并将输出数据发送到外部设备560(例如键盘、打印机和显示设备)的驱动器设备。然而，也可以使用其他实施方式，诸如移动计算设备、移动通信设备、机顶盒电视客户端设备等。

尽管在图5中描述了示例处理***，但是本说明书中描述的主题和功能操作的实施方式可以在其他类型的数字电子电路中实现，或者在计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等效物，或者在它们中的一个或多个的组合中实现。

本说明书结合***和计算机程序组件使用术语“配置”。对于一个或多个要被配置为执行特定操作或动作的计算机的***，意味着该***已在其上安装了软件、固件、硬件或它们的组合，这些软件、固件、硬件或它们的组合在操作中使所述***执行这些操作或动作。对于要被配置为执行特定操作或动作的一个或多个计算机程序，意味着该一个或多个程序包括指令，该指令在由数据处理装置执行时使该装置执行该操作或动作。

本说明书中描述的主题和功能操作的实施例可以在数字电子电路中、在有形体现的计算机软件或固件中、在计算机硬件中(包括在本说明书中公开的结构及其等同结构)、或它们中的一种或多种的组合中实现。本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即，在有形的非暂时性存储介质上编码的计算机程序指令的一个或多个模块，以由数据处理装置执行或控制数据处理装置的操作。计算机存储介质可以是机器可读存储设备、机器可读存储基质、随机或串行访问存储器设备或它们中的一种或多种的组合。可替代地或另外地，所述程序指令可以被编码在人工生成的传播信号(例如，机器生成的电、光或电磁信号)上，该传播信号被生成以对信息进行编码以传输到合适的接收器装置，以由数据处理装置来执行。

术语“数据处理装置”是指数据处理硬件，并且包括用于处理数据的各种装置、设备和机器，例如，包括可编程处理器、计算机或多个处理器或计算机。该装置还可以是或进一步包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除硬件之外，该装置可以可选地包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***或它们中的一种或多种的组合的代码。

可以以任何形式的编程语言(包括编译或解释语言、声明性或过程性语言)来编写计算机程序，所述计算机程序也可以被称为或描述为程序、软件、软件应用、应用程序(app)、模块、软件模块、脚本或代码；该计算机程序能够以任何形式进行部署，包括作为独立程序或作为模块、组件、子例程或作为适用于在计算环境中使用的其它单元进行部署。程序可以但不必对应于文件***中的文件。程序可以存储在用于保存其它程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中或存储在多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。可以部署计算机程序以在一台计算机或在位于一个站点处或分布在多个站点处并通过数据通信网络互连的多台计算机上执行。

在本说明书中，术语“数据库”被广泛地用于指代任何数据合集：该数据不需要以任何特定的方式来构造，或者根本不需要被构造，并且可以被存储在一个或多个位置的存储设备中。因此，例如，索引数据库可以包括多个数据合集，每个数据合集可以被不同地组织和访问。

类似地，在本说明书中，术语“引擎”广泛用于指代被编程以执行一个或多个特定功能的基于软件的***、子***或过程。通常，引擎将被实现为安装在一个或多个位置的一台或多台计算机上的一个或多个软件模块或组件。在某些情况下，一台或多台计算机将专用于特定引擎；在其它情况下，可以在相同的一台或多台计算机上安装并运行多个引擎。

本说明书中描述的过程和逻辑流可以由一个或多个可编程计算机来执行，该一个或多个可编程计算机执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。所述过程和逻辑流还可以由专用逻辑电路(例如，FPGA或ASIC)执行，或者由专用逻辑电路和一个或多个编程计算机的组合来执行。

适用于执行计算机程序的计算机可以基于通用或专用微处理器或两者，或者基于任何其它种类的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于运行或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。所述中央处理单元和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合到一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，以从所述一个或多个大容量存储设备接收数据或将数据传输到上述一个或多个大容量存储设备，或两者。但是，计算机不是必须具有此类设备。此外，计算机可以被嵌入到另一个设备中，例如，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏机、全球定位***(GPS)接收器或便携式存储设备，例如，通用串行总线(USB)闪存驱动器，仅举几例。

适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。

为了提供与用户的交互，本说明书中描述的主题的实施例可以在具有显示设备以及键盘和指点设备的计算机上实现，该显示设备例如是CRT(阴极射线管)或LCD(液晶显示器)监视器，用于向用户显示信息；所述键盘和指点设备例如是鼠标或轨迹球，用户可以通过所述键盘和指点设备向计算机提供输入。其它种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且能够以任何形式接收来自用户的输入，包括声音、语音或触觉输入。另外，计算机可以通过向用户使用的设备发送文档以及从用户使用的设备接收文档来与用户进行交互；例如，通过响应于从web浏览器收到的请求，将网页发送到用户设备上的web浏览器。而且，计算机可以通过将文本消息或其它形式的消息发送到个人设备(例如，运行消息收发应用的智能电话)并且进而从用户接收响应消息来与用户交互。

用于实现机器学习模型的数据处理装置还可以包括例如专用硬件加速器单元，用于处理机器学习训练或生产(即，推断、工作负载)的公共部分和计算密集部分。

可以使用机器学习框架(例如，TensorFlow框架、Microsoft Cognitive Toolkit框架、Apache Singa框架或Apache MXNet框架)来实现和部署机器学习模型。

本说明书中描述的主题的实施例可以在计算***中实现，所述计算***包括后端组件(例如，作为数据服务器)、或者包括中间件组件(例如，应用服务器)、或者包括前端组件(例如，具有图形用户界面、web浏览器或应用程序的客户端计算机，用户可通过所述图形用户界面、web浏览器或应用程序与本说明书中描述的主题的实施方式进行交互)、或者包括一个或多个此类后端、中间件或前端组件的任意组合。所述***的组件可以通过数字数据通信的任何形式或媒介(例如，通信网络)互连。通信网络的示例包括局域网(LAN)和广域网(WAN)，例如，互联网。

计算***可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行并彼此具有客户端-服务器关系的计算机程序而产生的。在一些实施例中，服务器向用户设备发送数据，例如，HTML页面，例如，用于向与充当客户端的设备进行交互的用户显示数据并从该用户接收用户输入。可以在服务器处从设备接收在用户设备处生成的数据，例如，用户交互的结果。

尽管本说明书包含许多特定的实施细节，但是这些细节不应被解释为对任何发明的范围或所要求保护的内容的范围的限制，而应解释为对特定于特定发明的特定实施例的特征的描述。在分开的实施例的上下文中在本说明书中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分别实现，或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初是这样主张的，但是在一些情况下，可以从该组合中删除所要求保护的组合中的一个或多个特征，并且可以将所要求保护的组合指向子组合或子组合的变形。

类似地，尽管以特定次序在附图中描绘了操作并在权利要求书中对其进行了叙述，但这不应理解为要求以所示的特定次序或以顺序次序执行这些操作，或者要求执行所有示出的操作，以获得期望的结果。在某些情况下，多任务和并行处理可能是有利的。而且，上述实施例中的各种***模块和组件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解的是，所描述的程序组件和***通常可以被一起集成在单个软件产品中，或封装成多个软件产品。

已经描述了主题的特定实施例。其它实施例处于所附权利要求书的范围内。例如，权利要求书中叙述的动作可以以不同的次序执行并且仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定次序或顺序次序来实现期望的结果。在一些情况下，多任务和并行处理可能是有利的。

Claims (12)

1.一种计算机实现的方法，包括：

从用户的客户端设备接收数字组件请求，所述数字组件请求至少包括显示环境的输入场境信息，将在所述显示环境中显示所选择的数字组件；

将所述场境信息转换为对迁移机器学习模型的包括输入特征值的输入数据，所述迁移机器学习模型被训练以基于表示显示环境的特征的特征值来输出用户的用户属性的预测，其中所述迁移机器学习模型(i)是使用针对订户用户从与所述订户用户订用的电子资源相关联的数据管线所获得的训练数据来训练的，并且(ii)被适配来预测查看非订用用户未订用的电子资源的所述非订用用户的用户属性，其中，所述训练数据包括表示在其中向所述订户用户显示数字组件的显示环境的训练场境信息的特征的第一特征值、所述订户用户的在线活动的第二特征值以及表示所述订户用户中的每一个的用户属性简档的标签；

提供所述输入数据作为对所述迁移机器学习模型的输入；

接收指示所述用户的预测用户属性的集合的数据作为所述迁移机器学习模型的输出；

至少部分地基于所述预测用户属性的集合来从多个数字组件中选择给定数字组件以供在所述客户端设备处显示；以及

向所述用户的所述客户端设备发送所述给定数字组件。

2.根据权利要求1所述的方法，其中，所述订户用户订用的电子资源包括向所述订用用户显示内容的内容平台。

3.根据权利要求1或2所述的方法，其中，在其中向所述订户用户显示数字组件的显示环境的所述训练场境信息包括订用用户的客户端设备属性，每个个体客户端设备的客户端设备属性包括以下中的至少一个：(i)指示该个体客户端设备的操作***的一个或多个的信息，或(ii)该个体客户端设备的浏览器的类型。

4.根据任一项前述权利要求所述的方法，其中，针对到所述订户用户订用的电子资源的每个用户访问，在其中向所述订户用户显示数字组件的显示环境的训练场境信息包括以下各项中的至少一项：(i)指示所述电子资源的电子资源地址的信息，(ii)所述电子资源的类别，(iii)所述用户访问发生的时间，(iv)用于访问所述电子资源的客户端设备的地理位置或(v)所述用户访问的数据业务的类型。

5.根据任一项前述权利要求所述的方法，其中，所述订户用户的在线活动的所述第二特征值包括：指示所述订户用户在所述用户访问期间与其交互的数字组件的特征的特征值，包括指示每个数字组件的类别的特征值。

6.根据任一项前述权利要求所述的方法，其中，所述订户用户的在线活动的所述第二特征值包括指示以下各项中的一项或多项的特征的特征值：(i)选择用户可选元素，(ii)提供搜索查询或(iii)查看特定页面。

7.根据任一项前述权利要求所述的方法，还包括：基于所述第一特征值和所述第二特征值来生成所述迁移机器学习模型。

8.根据权利要求7所述的方法，其中，生成所述迁移机器学习模型包括利用目标函数来训练神经网络。

9.根据任一项前述权利要求所述的方法，还包括：

提供所述用户的所述预测用户属性的集合作为对第二机器学习模型的输入，所述第二机器学习模型被训练为基于用户属性来预测与数字组件的用户接涉；以及

针对所述多个数字组件中的每个数字组件，接收指示所述用户将与该数字组件交互的预测可能性的输出数据作为所述第二机器学习模型的输出，

其中，选择所述给定数字组件包括：至少基于所述多个数字组件中的每一个的预测可能性来选择所述给定数字组件。

10.一种***，包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时使所述一个或多个计算机执行根据前述权利要求中任一项所述的相应的方法的操作。

11.一个或多个存储指令的计算机存储介质，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行根据权利要求1至9中任一项所述的相应的方法的操作。

12.一种包括指令的计算机程序产品，所述指令在由计算机执行时使所述计算机执行根据权利要求1至9中任一项所述的方法。