CN108734297A - 用于网络传输的电子内容项的性能优化的机器学习推荐*** - Google Patents

用于网络传输的电子内容项的性能优化的机器学习推荐*** Download PDF

Info

Publication number
CN108734297A
CN108734297A CN201710458089.XA CN201710458089A CN108734297A CN 108734297 A CN108734297 A CN 108734297A CN 201710458089 A CN201710458089 A CN 201710458089A CN 108734297 A CN108734297 A CN 108734297A
Authority
CN
China
Prior art keywords
content
node
movable
output
decision tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710458089.XA
Other languages
English (en)
Other versions
CN108734297B (zh
Inventor
高晖吉
高远
刘鹍
许荔秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108734297A publication Critical patent/CN108734297A/zh
Application granted granted Critical
Publication of CN108734297B publication Critical patent/CN108734297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0277Online advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

描述了机器学习技术以用于使用决策树来生成推荐。决策树基于包括多个训练实例的训练数据而生成,其中每个训练实例包括对于多个特征中的每个的特征值和目标变量的标签。该多个特征与多个内容递送活动的属性相对应。随后,接收内容递送活动的特征值。使用该特征值来遍历该决策树以生成输出。基于该输出,识别一个或更多个推荐并且该一个或更多个推荐被呈现在计算设备上。

Description

用于网络传输的电子内容项的性能优化的机器学习推荐***
技术领域
本公开内容涉及机器学习,以及更具体地,涉及对于提供与电子内容项相关的推荐的梯度提升的优化。建议技术单元:2121;建议分类:706/902。
背景技术
许多在线内容提供者的目的在于向许多用户提供高质量及高度相关的内容以引导用户实现一些操作,例如观看在线视频、与社交网络中的联系人分享内容等。
许多内容提供者所经历的问题在于,其相应的在线内容并未被递送至他们所计划的范围。例如,特定内容项经由一个或更多个网络递送至仅一百名用户,而非所期待的两千名用户。对此可能存在许多原因,但是要改变在线内容递送活动的哪些因素仍给内容提供者留下很大的猜测空间。不知道低递送率的实际原因而改变一个或更多个因素会导致该特定内容项的在线观看者数量不改变或改变很少。
在这一部分中描述的方法是可追寻的方法,而不一定是先前已构思或已追寻的方法。因此,除非另外指明,否则不应当假设在这一部分中描述的任意方法仅由于包括在这一部分中而作为背景技术。
附图说明
在附图中:
图1是描绘了在一个实施方式中的用于将内容项分配至一个或更多个计算设备的***的框图;
图2是描绘了在一个实施方式中的用于预测内容项递送活动的性能的方法的流程图;
图3是描绘了在一个实施方式中的机器学习组件的组件的框图;
图4是描绘了在一个实施方式中的示例决策树的图;
图5是描绘了在一个实施方式中的用于基于活动的属性预测内容递送活动的性能的方法的流程图;
图6是描绘了在一个实施方式中的用于使用决策树来生成对于内容递送活动的一个或更多个推荐的方法的流程图;
图7是示出了一种计算机***的框图,本发明的实施方式可以在该计算机***中实现。
具体实施方式
在以下描述中,出于解释的目的,阐释了大量特定细节以便提供对本发明的完整理解。然而,显而易见的是,不具有这些特定细节也可以实现本发明。在其它情况下,公知的结构和设备以框图的形式示出,以避免不必要地使本发明模糊。
综述
提供本技术以用于使用一个或更多个机器学习技术来针对内容提供者关于如何根据一个或更多个性能指标来改进内容递送活动的性能来生成推荐,性能指标例如是递送率、转化率以及受众范围。在一个技术中,生成决策树,其节点与多个内容递送活动的特征或属性相对应。基于特定内容递送活动的属性值来遍历该决策树以确定第一预测,即:如果激活,该特定活动能够被多好地实现。基于该特定活动的不同的(但交叠的)一组属性值来再次遍历该决策树。该第二遍历产生关于该特定活动的性能的第二预测。基于第二遍历和第一遍历之间的差异生成推荐,并且该推荐被提供至特定活动的提供者。这样,针对内容提供者的推荐对于该内容递送活动是个性化的以及唯一的。
***概述
图1是描绘了在一个实施方式中的用于向一个或更多个计算设备分配内容项的***100的框图。***100包括内容提供者112-116,内容递送交换***120,发行方130以及客户端设备142-146。虽然描绘了三个提供者,但是***100可以包括更多或更少的内容提供者。类似地,***100可以包括多于一个发行方或更多或更少的客户端设备。
内容提供者112-116与内容递送交换***120(例如,通过例如LAN、WLAN或因特网的网络)进行交互以使得内容项通过发行方130呈现给操作客户端设备142-146的最终用户。因此,内容提供者112-116向内容递送交换***120提供内容项,内容递送交换***120反过来选择内容项以提供给发行方130以用于呈现给客户端设备142-146的用户。然而,在内容提供者112注册到内容递送交换***120时,没有任何一方能够知道哪个最终用户或客户端设备会从内容提供者112接收到内容项,除非有内容提供者112指定的目标受众足够小。
内容提供者的示例包括广告商。产品或服务的广告商可以与制造或提供该产品或服务的一方是同一方。或者,广告商可以与制造方或服务提供方签订合同以推销或宣传由制造方/服务提供方提供的产品或服务。内容提供者的另一示例是与多个广告商签订合同以或是直接地通过发行方或是间接地通过内容递送交换***120来向最终用户提供内容项(例如,广告)的在线广告网络。
发行方130响应于由客户端设备142-146的用户发起的请求来向客户端设备142-146提供他自己的内容。该内容可以是关于任意话题的,例如新闻、体育、财经和旅游。发行方可以在规模和影响力方面有很大不同,例如财富(Fortune)500强公司、社交网络提供者以及个体博主。来自客户端设备的内容请求可以是包括统一资源定位符(URL)的HTTP请求的形式,并且可以从web浏览器或被配置成仅与发行方130(和/或其附属机构)通信的软件应用发出。内容请求可以是紧接在用户输入(例如,选择网页上的超链接)之后的请求,或者可以作为订阅的一部分、例如通过丰富站点摘要(RSS)馈送发出。响应于来自客户端设备的对于内容的请求,发行方130向客户端设备提供所请求的内容(例如网页)。
在所请求的内容被发送到客户端设备的同时或者紧挨所请求的内容被发送到客户端设备之前或之后,内容请求被发送到内容递送交换***120。该请求由发行方130或由从发行方130请求原始内容的客户端设备(经由网络,例如LAN、WAN或因特网)发送。例如,客户端设备递交的网页包括对内容递送交换***120的针对一个或更多个内容项的一个或更多个调用(或HTTP请求)。作为响应,内容递送交换***120直接或通过发行方130向客户端设备(经由网络,例如LAN、WAN或因特网)提供一个或更多个特定内容项。以这种方式,该一个或更多个特定内容项可以与由客户端设备从发行方130请求的内容同时呈现(例如显示)。
内容递送交换***120和发行方130可以由同一家实体或同一方所有和经营。或者,内容递送交换***120和发行方130可以由不同的实体或不同方所有和经营。
内容项可以包括图片、视频、音频、文本、图像、虚拟现实,或其任意组合。内容项还可以包括链接(或URL)以使得在用户(例如在触屏上用手指或用鼠标设备的光标)选择内容项时,(例如HTTP)请求经由网络(例如因特网)发送到由链接指定的目的地。作为响应,与该链接相对应的网页的内容可以显示在用户的客户端设备上。
客户端设备142-146的示例包括台式计算机、笔记本计算机、平板电脑、可穿戴设备、游戏手柄和智能手机。
竞价方
在相关的实施方式中,***100还包括一个或更多个竞价方(未示出)。竞价方是区别于内容提供者的一方,其与内容递送交换***120交互并对(一个或更多个发行方,例如发行方130上的)空间出价以代表多个内容提供者呈现内容项。因此,竞价方是内容递送交换***120针对经由发行方130的呈现而可以选择的内容项的另一资源。因此,竞价方充当对内容递送交换***120或发行方130的内容提供者。竞价方的示例包括AppNexus、DoubleClick、LinkedIn。由于竞价方代表内容提供者(例如广告商)行动,竞价方创建了内容递送活动,并且因此,指定用户定向准则以及可选地频率限定规则,类似于传统的内容提供者。
在相关的实施方式中,***100包括一个或更多个竞价方,但不包括内容提供者。然而,本文中描述的实施方式可以应用于上述任何***设置。
内容递送活动
每个内容提供者使用内容递送交换***120来建立内容递送活动。内容递送活动包括一个或更多个内容项(或与一个或更多个内容项相关)。因此,相同的内容项可以被呈现至客户端设备142-146的用户。或者,内容递送活动可以被设计成使得来自同一活动的不同内容项呈现给相同的用户(或不同的用户)。例如,内容递送活动的内容项可以具有特定顺序,以使得一个内容项在另一个内容项被呈现给用户之前不呈现给该用户。
内容递送活动具有开始日期/时间以及可选地具有限定的结束日期/时间。例如,内容递送活动可以从2017年6月1日至2017年8月1日呈现一组内容项,不考虑该组内容项被呈现的次数(“印象”)、内容项的用户选择的数目(例如,点进次数)或者由内容递送活动引起的转化的数目。因此,在这一示例中,存在限定的(或“硬性”)结束日期。在另一示例中,内容递送活动可以具有“软性”结束日期,其中,内容递送活动在相应的一组内容项显示一定次数时结束,在一定数目的用户观看、选择或点击该组内容项时结束,或者在一定数目的用户实现与该内容递送活动相关的特定动作时结束,例如购买产品/服务或在网站上填写特定表格。
内容递送活动可以指定一个或更多个定向准则,其用于确定是否将内容递送活动的内容项呈现给一个或更多个用户。示例性因素包括呈现日期、呈现日的时间、将被呈现内容项的用户特征、将要呈现内容项的计算设备的属性、发行方的身份等。用户特征的示例包括人口统计学信息、住宅信息、工作名称、雇佣状态、拥有的学历水平、参加过的教育机构、前任雇主、现任雇主、社交网络中的联系人数量、技能类型和数量、认可(endorsements)数量以及声明的兴趣爱好。计算设备的属性的示例包括设备类型(例如,智能手机、平板电脑、台式机、笔记本计算机)、当前地理位置、操作***类型和版本、屏幕尺寸等。
例如,一个特定内容递送活动的定向准则可以指出内容项要被呈现给这类用户:至少具有一个本科学位、非在职、从南美访问并且内容项请求从用户的智能手机发出。如果内容递送交换***120从计算设备接收到并不满足该定向准则的请求,则内容递送交换***120确保与该特定内容递送活动相关联的任何内容项均不发送给该计算设备。
同一个内容递送活动还可以与多组定向准则相关联,而非一组定向准则。例如,一组定性准则可以被用于内容递送活动的一个时间段之内,而另一组定向准则可以被用于该活动的另一个时间段之内。另一个示例中,内容递送活动可以与多个内容项相关联,其中的一个内容项与一组定向准则相关联以及另一内容项与另一组定向准则相关联。因此,虽然来自发行方130的一个内容请求可能不满足活动的一个内容项的定向准则时,但是同一内容请求可以满足该活动的另一个内容项的定向准则。
内容递送交换***120管理的不同的内容递送活动可以具有不同的补偿方案。例如,一个内容递送活动可以在每次呈现来自内容递送活动的内容项时对内容递送交换***120进行补偿(本文中还称作每个印象的成本或CPM)。另一内容递送活动可以在用户每次与来自内容递送活动的内容项交互时对内容递送交换***120进行补偿,例如选中或点击内容项(本文中称作每次点击的成本或CPC)。另一内容递送活动可以在每次用户执行特定动作,例如购买产品或服务、下载软件应用或者填写表格时对内容递送交换***120进行补偿(本文中称作每次操作的成本或CPA)。内容递送交换***120可以仅管理具有相同的补偿方案类型的活动或是管理具有三种类型的补偿方案的任意组合的活动。
追踪用户交互
内容递送交换***120追踪经过客户端设备142-146的一个或更多个类型的用户交互。例如,内容递送交换***120确定由交换***120递送的内容项是否通过客户端设备显示出来。这样的“用户交互”称作一个“印象”。在另一示例中,内容递送交换***120确定由交换***120递送的内容项是否被客户端设备的用户所选择。这样的“用户交互”被称作“点击”。内容递送交换***120存储这样的数据作为用户交互数据,例如印象数据组和/或点击数据组。
例如,内容递送交换***120接收印象数据项,其中每个印象数据项与印象的不同实例和特定内容递送活动相关联。印象数据项可以指向特定内容递送活动、具体内容项、印象的日期、印象的时间、特定发行方或特定源(例如,站内v.站外),显示具体内容项的特定客户端设备和/或操作该特定客户端设备的用户的用户标识符。因此,如果内容递送交换器120管理多个内容递送活动,则不同的印象数据项可以与不同的内容递送活动相关联。这些独立数据项中的一个或更多个可以被加密以保护最终用户的隐私。
类似地,点击数据项可以指向特定内容递送活动、具体内容项、用户选择的日期、用户选择的时间、特定发行方或特定源(例如,站内v.站外),显示具体内容项的特定客户端设备和/或操作该特定客户端设备的用户的用户标识符。
方法概述
图2是描绘了一个实施方式中的用于预测内容递送活动的性能的方法200的流程图。预测性能可以在内容递送活动激活之前生成,或是在内容递送活动变为激活状态之后生成,例如在内容递送活动的早期阶段,即在活动的内容项被(即通过内容递送交换***120)选择并且通过客户端设备呈现的情况相对少时。方法200可以通过内容递送交换***120的一个或更多个组件来实现。
在框210中,预测模型基于包括多个训练实例的训练数据而生成。每个训练实例包括多个特征值,每个特征值与多个特征中的不同特征以及因变量(目标变量)的标签相对应。每个训练实例与不同的内容递送活动相对应。因此,多个特征相对应于(或映射到)内容递送活动的属性,标签指示该内容递送活动的实际性能,例如该活动的每日预算使用情况、该活动的计算的每次点击成本、该活动的计算的转换率或是该活动的活动范围。
在框220中,特定内容递送活动的特征值被输入到预测模型中以生成输出,其反映了该特定内容递送活动的性能的预测。
在框230中,基于来自预测模型的输出,确定一组推荐。该组推荐被如何确定可以取决于生成的预测模型的类型而变化。
在框240中,该组推荐被呈现在计算设备上,例如提供该特定内容递送活动的内容提供者代表的智能手机。
活动性能指标
各个内容提供者可能会对以不同方式改进他们相应的内容递送活动感兴趣。内容递送活动的示例性性能指标包括活动递送、活动转化率、活动范围以及活动的每次点击成本(CPC)。
活动递送是指内容递送活动对于用户多好地实现,其中递送性能可以通过与内容递送活动相关联的一个或更多个内容项的印象和/或点击的数量来测量。
转化率是指内容递送活动在影响用户实现该内容递送活动所期待的动作上有多好。所期待的动作包括观看视频、投票、购买产品或服务、填写(在线)表格、订阅某些电子内容等。活动转化可以通过相对少量的执行所期待的动作的用户来测量。内容递送活动的转化率可以通过点击内容递送活动的内容项并执行内容递送活动的期待动作的用户百分比来测量。
活动范围是指内容递送活动的内容项能够多好的触及相对广泛的受众。窄的受众范围是活动范围有限的证明。然而,在一些情况下,内容提供者有意地希望活动范围有限,例如仅向在美国的科技公司的CEO呈现内容项。有限的活动范围可以以多种方式进行测量,例如不同的工作名称、工作职能、或是该活动触及到的用户(例如,观看或点击内容递送活动的内容项的人)的行业的数量,该活动触及到的用户的年龄范围,该活动触及到的用户的性别的差异的百分比,该活动触及到的用户所代表的国家的数量以及该活动触及到的用户的语言的数量。或者,活动范围可以是满足内容递送活动的定向准则的已知用户的实际数量,并可以通过将该定向准则与简档数据库中的用户简档进行比较来计算。
每次点击成本(CPC)是指内容提供者对于一个最终用户的每次点击支付多少,无论在每次活动的基础上、每个内容项的基础上,还是跨活动基础上(如果该内容提供者拥有多个当前处于激活状态的活动)。
机器学习
在一个实施方式中,机器学习被用于生成用于预测内容递送活动的性能的预测模型。机器学习是计算机科学的子领域,其从图案识别和人工智能的计算学习理论方面的研究发展而成。机器学习探索了能够从数据中学习并对数据进行预测的算法的研究和构架。这样的算法通过根据示例性的输入观察的训练组构建模型来操作以进行表示为输出的数据驱动的预测或决策,而不是严格遵守静态程序指令。
机器学习被运用在设计及编程显式算法不可行的计算任务的范围内。示例性应用包括垃圾信息过滤、光学字符识别(OCR)、搜索引擎和计算机视觉。
在数据分析的领域内,机器学习是用于设计适合于预测的复杂的模型和算法的方法。这些分析模型允许研究员、数据科学家、工程师和分析师产生可靠的、可重复的决策和结果以及通过对数据的历史关系和趋势的学习来揭示隐藏的见解。
任何机器学习技术都可以用于生成预测模型。机器学习算法的示例包括决策树学习、关联规则学习、人工神经网络、支持向量机和贝叶斯网络(Bayesian networks)。实施方式并不限于任何特定类型的机器学习技术或算法。
机器学习组件
图3是描绘了一个实施方式中的机器学习组件300的组件的框图。机器学习组件300以软件、硬件或是软件和硬件的任意组合来实现。机器学习组件300可以是内容递送交换***120的一部分,或者可以通过独立于内容递送交换***120的一个或更多个计算设备来实现。
机器学习组件300包括训练数据库310、模型生成器320、模型确认器330和性能预测器340。训练数据库310可以在任意存储介质上实现,包括易失性或非易失性存储器介质。训练数据库310包含一个或更多个训练组,其中每个训练组包含来自多个内容递送活动中的每个内容递送活动的数据,包括实际(先前)性能和与实际性能相对应的该内容递送活动的一个或更多个属性或特性。每个训练组与不同的特征组相对应。预测模型的示例性特征类型包括定向特征、活动属性特征、服务特征、文本特征、图像特征和/或元数据特征。
无论受众扩展(audience expansion)是否启用,目标受众的示例性定向特征包括:地理位置(例如,北美、巴西、欧洲)、语言(例如,英语、西班牙语、中文)、行业(例如,软件、金融、市场)、工作名称、学历水平、技能和当前雇主的规模。
启用受众扩展可以是内容提供者特定选项。如果针对一个活动启用受众扩展,则受众扩展允许内容递送交换***120放松对能够看到该活动的内容项的人的限制。例如,如果一个活动的定向准则指定地理位置为美国并启用受众扩展,则地理位置可以包括加拿大和/或一些加勒比岛屿。另一示例中,如果要定向的用户的年龄范围是25-34岁并启用受众扩展,则年龄范围可以扩展至23-37岁。另一示例中,如果在观看内容项的用户的当前工作名称必须包含“软件”或“工程师”并且受众扩展被启用,则也可以分析用户简档中其他部分的这些词语,例如工作描述或者既往职位。
活动属性特征的示例(对于活动属性特征不需要激活中的活动的历史)包括竞价价格、预算和收费模式(例如,CPM、CPC或CPA)。
示例性文本特征(如果该活动中包括文本)包括若干关键词、参考话题、字数、名词/形容词/动词/副词的数量和表情图标。
示例性图像特征(如果该活动中包括图像)包括是否在图像中检测到面部、是否检测到眼球、平均亮度、主要颜色等。在一个实施方式中,卷积神经网络(CNN)被用于生成图像的特征向量。CNN是前馈人工神经网络的一类,其中在网络中的“神经元”之间的连通性图案是受到动物视觉皮层的组织的启发。CNN包括相应领域的多个层,其是处理输入图像的部分的“神经元”的集合。然后,这些集合的输出被平铺,以使得它们的输入区域交叠以获得原始图像的更高分辨率的表示。
示例***特征包括活动被激活的星期的一天、过滤率特征和竞争力特征。过滤率特征和竞争率特征是针对已经激活至少某些时间段的内容递送活动的特征,以便于获得与这些特征相关的统计数据。示例性过滤率特征包括:
-触发或者应用频率限定的频率或比例(频率限定限制在一段时间内该活动的内容项呈现至任意用户的频率,例如,每天每用户2次印象,每周每用户1次点击,每期每用户1次转化)
○因此,触发频率限定的频率是活动由于相对于包含该活动的所有内容请求的频率限定而被过滤掉的次数(例如,其中该活动的定向准则已被满足)。
-触发或应用预算约束的频率或比例(预算约束在该活动被认为达到预算约束(例如,超过预算)时进行限制)
○因此,触发预算约束的频率是活动由于相对于包含该活动的全部内容请求的预算约束而被过滤掉的次数。
-触发节奏制约的频率或比例(节奏制约限制活动的内容项在给定时间段内(例如每天)呈现的比例),
-触发内容提供者去重的频率或比例(其是在识别出来自同一个内容提供者以及响应于同一个内容请求的两个活动的情况下,活动的其中一个被放弃以移除一个内容提供者针对自己竞价的情形)。
示例性竞争力特征包括相对于与所讨论的活动参加同一个拍卖的其他竞争者(活动)的竞价的竞价百分位,pCTR(即预测的点进率,其可以是以基于内容项和/或内容项所属的活动的属性来预测点进率为基础的预测模型),eCPI(或实际的每次印象成本),所讨论的活动的内容项的平均显示位置。
模型生成器320读取来自训练数据库310的训练组并且实现一个或更多个机器学习技术(例如,线性回归)以生成预测模型。模型确认器330确认该预测模型以验证该预测模型产生相对准确的结果或预测。如果模型确认器330确定预测模型不产生相对准确的结果,则模型确认器330确保该预测模型不被最终用户所使用以预测内容递送活动的性能。模型确认器330可以命令模型生成器320实现与被用于生成该预测模型的机器学习技术不同的机器学习技术。
在一个实施方式中,如果基于来自共享一个或更多个属性或特性(例如,活动类型、行业、地理位置等)的公共组的多个内容递送活动的数据生成预测模型,则一个或更多个属性或特性的该组不被用作在训练该预测模型或使用该预测模型来做预测时的特征。
一旦预测模型生成并且(可选地)被确认,性能预测器340就使用该预测模型,对于特定内容递送活动,该预测模型被用于在给定特定内容递送活动的一组特性的情况下生成性能预测,即便该特定内容递送活动的该确切特性并未与该预测模型所基于的任何内容递送活动共享。该性能预测可以是针对该活动的全部持续期间的或是针对该活动的持续期间的一部分的,例如特定日或特定周。
性能预测器340可以被激活以基于用户输入来预测内容递送活动的性能。例如,一个内容提供者的代表提交关于内容递送活动的数据,性能预测器340自动地预测性能,产生输出。该输出可以被自动地提供给该代表(例如,通过用户界面,传输到该代表的设备或账户的电子消息)。或者,该输出可以位于支付墙(pay-wall)后以使得必须先由性能预测器340、内容递送交换***120或其他组件接收到或验证支付,再向该代表提供该输出。类似地,性能预测器340仅能够在对预测的支付被接收或被确认的情况下相对于内容递送活动来操作。
预测性能的单元可以取决于在训练组中的单元以及被预测的性能类型而变化。例如,如果该预测是每日预算使用,则该单元可以是每日预算的百分比的形式(例如,95%)或者美元总量的形式(例如,$786)。如果该性能是每次点击成本(CPC),则该单元是美元的形式。
多个预测模型
在一个实施方式中,生成和使用了多个预测模型。例如,可以针对一个收费模型(例如每次印象成本或CPM)的内容递送活动生成一个预测模型,以及可以针对另一个收费模型(例如每次点击成本或CPC)的内容递送活动生成另一个预测模型。在另一个示例中,针对与一个行业(例如与软件服务相关的行业)相关联的内容递送活动生成一个预测模型,以及针对与另一个行业(例如于金融服务相关的行业)相关联的内容递送活动生成另一个预测模型。在另一个示例中,针对目标受众在一个地理区域(例如美国)内的内容递送活动生成一个预测模型,以及针对目标受众在另一个地理区域(例如印度)内的内容递送活动生成另一个预测模型。在另一个示例中,针对历史数据可用或者存在充足(例如超过30天)的历史数据的内容递送活动生成一个预测模型,以及针对历史数据不可用或者不存在充足(例如实际性能数据少于30天)的历史数据的内容递送活动生成另一个预测模型。
如果基于本文中所公开的特性针对内容递送活动生成预测模型,则该预测模型将不包括对于该特征的变量(或节点,如本文中更加详细描述的那样),因为用于生成该预测模型的全部内容递送活动的统计数据共享同样的特征值。
如果生成多个预测模型,则对于一个特定的内容递送活动,基于该特定的内容递送活动的一个或更多个特性从多个预测模型中选择合适的预测模型。例如,模型M1被用于预测活动C1的性能,模型M2被用于预测活动C2和C3的性能,以及模型M3被用于预测活动C4的性能。
提供内容递送活动数据
在一个实施方式中,用户(例如内容提供者的代表)(例如通过用户界面)提供一个内容递送活动的多组属性。每一组属性相对应于一个内容递送活动的不同实例。例如,内容递送活动的一个实例表明了目标受众被限制为软件工程师,而另一实例表明了目标受众包括具有计算机科学、计算机工程或电子工程技术学位的人士。其中一组属性可以与该内容递送活动的当前属性相对应,其可以通过内容递送交换***120来进行积极服务。
每组属性被输入到预测模型中,其输出对(该预测模型的因变量的)指标的预估。通过(或自动或手动地)比较输出,用户可以看到内容递送活动的哪个实例将更好地实现。
在一个实施方式中,用户在一个文件中提供两组或更多组属性,活动评估者接受该组属性,然后识别每一属性组并输入到预测模型中。
在相关联的实施方式中,允许用户输入内容递送活动的多个属性,然后,在观察该内容递送活动的实际性能或预估性能后,修改该内容递送活动的一个或更多个属性以看出基于更改的属性,性能将如何改变的预估。
在相关联的实施方式中,用户界面允许用户针对内容递送活动的多个属性{a1,a2,a3,…}中的每个属性输入属性值,并且允许用户针对该属性中的一个特定属性(例如a1)选择多个属性值。例如,用户选择美国和欧洲作为目标受众的地理位置的选项。机器学习组件300接收该属性值并将地理位置是美国时的内容递送活动的属性值提供给性能预测器340。性能预测器340生成代表该内容递送活动的性能的第一预测的输出。机器学习组件300还将地理位置是欧洲的内容递送活动的属性值提供给性能预测器340。性能预测器340生成代表该内容递送活动的性能的第二预测的输出。
机器学习组件300经由计算机网络将两个预测传输到用户的计算设备(例如,与显示用户界面的计算设备相同的计算设备,用户经由该用户界面提供活动数据)。
梯度提升决策树
在一个实施方式中,生成决策树或决策树的集合(或组)并将其用于预测内容递送活动的性能,可选地,生成关于如何改进预测出的该内容递送活动的性能的一个或更多个推荐。
决策树集合的一个示例包括梯度提升决策树。梯度提升是一种用于回归和分类问题的机器学习技术。梯度提升产生一组决策树集合形式的预测模型。梯度提升以分阶段方式构建该模型并通过允许任意可导损失函数优化来生成该模型。
决策树基于如前文所述的类似的训练数据来训练。决策树包括一个或更多个有向子树,每个具有单独的根节点和多个叶节点。每个非叶节点相对应于内容递送活动的不同特性或属性。非叶节点具有多个支路,每个支路指向另一节点或者与另一节点相关联。每个支路与具体特征值或是特征值的范围相对应。
图4是描绘了在一个实施方式中的示例性决策树集合400的图。决策树集合400包括两个子树:子树410和子树450。子树410包括节点412-438,子树450包括节点452-478。
根节点412与活动预算相对应并具有从根节点412发出的两条支路。一条支路与小于960的预算值相对应,而另一条支路与大于或等于960的预算值相对应。该阈值通过将数据划分为两组来确定(每一组基于组内数据的平均值来进行预测),这使得与不划分相比预测误差最大地降低。
GBTD的性质在于最有影响性的特征(或是最大地影响预测性能指标的特征)与较低影响性的特征相比GBDT更高。因此,最有影响性的特征可以是GBDT集合的第一子树的根节点。而且,如果GBDT集合包括多个子树,则子树具有重要性或者影响性排名,以使得每个子树相比于另一子树具有更多或更少的影响性。因此,由在更高排名的子树中的节点代表的特征比由在更低排名的子树中的节点代表的特征具有更多的影响性。
决策树生成技术可以将一个或更多个参数作为输入,例如深度值和树数目值。深度值影响子树有多深(即,从根节点至叶节点)。树数目值影响(例如,限制)由决策树集合创建的子树的数目。
在一个实施方式中,在不同的子树中的两个不同的节点代表相同特征,但与该不同节点相关联的阈值或标准是不同的。例如,对于节点424的阈值竞价报价是4.90美元,但在包含竞价报价的节点的不同的子树中,对于该节点的阈值竞价报价是5.75美元。
使用GBDT预测活动性能
为了利用(leverage)决策树(例如GBDT)来确定提出的(或激活的)内容递送活动的预测影响或性能,该活动的属性值被用于遍历该决策树。该属性值可以基于属性来顺序排列,以使得该属性值的顺序与在GBDT中的属性顺序相匹配,即,从根节点到叶节点到下一个根节点(如果GBDT集合包括多个子树)等。在图4的示例中,活动属性的顺序是:预算,竞价,受众扩展和pCTR。(属性“定向美国”和“FCAP率”是内容提供者不提供属性值的属性。)
图5是描绘了在一个实施方式中的用于基于活动的属性预测内容递送活动的性能的方法500。方法500可以被至少部分地通过性能预测器340来实现。
在框510中,决策树被选中。决策树已通过使用梯度提升技术而生成。该决策树可以从多个可能的决策树中被选中。该决策树可以基于一个内容递送活动的一个或更多个属性值而被选中,该活动的性能将作为执行方法500的结果而被预测。
在框520中,决策树中的节点被选中。首先,被选中的该节点是该决策树的根节点。
在框530中,来自该内容递送活动的、与该被选中的节点的特征相对应的属性值被识别。
在框540中,一个支路基于该属性值和与该被选中的节点相关联的一个或更多个标准而被选中。例如,如果该属性值满足与选中的节点的支路中的一条支路相关联的标准(例如,如果标准是一个值则属性值等于标准),则该支路被选中。
在框550中,节点被选中也就是节点被连接到在框540中被选中的支路。
在框560中,判断在框550中选中的节点是否是叶节点。如果不是,则方法500行进至框530。如果是,则方法500行进至框570。
在框570中,与该叶节点相关联的值被识别。该值指示出该内容递送活动的性能的预测。
在框580中,判断决策树集合中是否存在任意更多要遍历的子树。如果不存在,则方法500行进至框590;如果存在,则方法500返回至框520,其中下一个子树的根节点被选中。如果还存在要考虑的多个子树,则排序最高的子树被首先选中。
在框590中,活动性能的预测基于在框570中识别的值来确定。如果框570在遍历决策树的过程中被执行多次(也就说明该决策树包括多个子树),则该值被加入或汇总到一起以生成总值。
给定图4中的决策树集合,根节点412的特征被确定为活动预算(与框520-530相关)。如果活动预算大于或等于960美元,则根节点412的左侧支路被选中以到达节点424(与框540-550相对应)。因为节点424不是叶节点(与框560相对应),则与节点424的特征相对应的属性值被确定(与框530相对应)。如果该活动的竞价小于4.90美元,则节点424的左侧支路被选中以到达节点436(与框540-550相对应)。因此,仅基于子树410,该内容递送活动被预测以产生至少60%的预算使用的结果(在该示例中,每日预算使用是性能指标)。
继续该示例,剩余属性值中的至少一些被用于遍历子树450。如果该活动的频率限定小于0.2(这意味着在已涉及该活动的全部请求之中,由于频率限定限制,该活动20%的次数被过滤掉),则节点452的左侧支路被选中以到达节点462。如果受众扩展在活动中未启用,则节点462的左侧支路被选中以到达叶节点472。因此,基于子树410和450,内容递送活动被预测以产生61%的预算使用的结果。
决策树上的非负限制
在一个实施方式中,对于决策树(例如GBDT)执行非负限制。如果内容递送活动的一个或更多个属性与遍历的从根节点至叶节点的节点的属性相匹配,决策树的每个叶节点代表性能指标的一个预测。如果叶节点指示出负值,则该叶节点以及指向该叶节点的全部支路被移除或废弃。这样的移除是恰当的,因为对于大多数(如果并非全部)性能指标,负数的预测没有意义。例如,对于内容递送活动来讲不可能具有负数的印象数量或点击数量,也不可能具有负数的每次点击成本。
通过以这种方式移除支路和叶节点,决策树能够在尺寸上减小,这能够降低分析该决策树所需要的时间(给定一个活动的一组属性值)以对于该活动产生预测和推荐。例如,在使用一个或更多个不同的特征值预测内容递送活动的性能时,应被遍历的若干节点被从该决策树移除。
在一个实施方式中,非负限制在生成决策树时执行。或者,非负限制在决策树生成之后执行,以使得具有负值的叶节点生成然后在应用该非负限制时被移除。在相关实施方式中,非负限制被应用在决策树的第一子树中,但不被应用在决策树的其他(后续)子树中。
生成推荐
在一个实施方式中,使用预测模型来生成关于如何改进内容递送活动的推荐,例如,回归模型或GBDT。例如,各个输入自动输入到预测模型中。该输入可以由性能预测器340基于内容递送活动的每个特征或属性的已知值范围而被自动选中。例如,性能预测器340可以存储可接受的竞价报价范围并调整(由内容提供者提供的)该竞价报价,以判断哪个竞价报价既产生更好的性能回报又在性能回报相同的情况下提供更低的价格。
图6是描绘了一个实施方式中的用于使用决策树(例如GBDT)来对内容递送活动生成一个或更多个推荐的方法600的流程图。方法600可以至少部分地通过性能预测器340来执行。
在框610中,GBDT集合中的一个非叶节点被选中。该非叶节点可以是该GBDT集合中的根节点或者中间节点。
在框620中,来自该选中节点的支路被识别。与内容递送活动的属性值相对应的该支路被识别。例如,在图4中,内容递送活动的竞价报价是4.80美元,这意味着节点424的左侧支路被识别。
在框630中,来自该选中节点的不同支路被识别。继续该示例,发出自节点424的右侧支路被识别。该右侧支路代表GBDT集合下的不同路径。跟随GBDT集合下的该右侧支路产生不同的预测。框630可以称作“翻转节点”。
然而,框620-630可以替代地涉及判断对于该原始内容递送活动“最高预测性能”支路是否被选中,如果未被选中,则选中该支路。
在框640中,该内容递送活动的一个或更多个剩余属性值被用于遍历GBDT集合的剩余部分。换言之,来自该内容递送活动的仅一个属性值被改变。
在框650中,识别叶节点以确定该内容递送活动应如何执行的预测。该预测基于改变该内容递送活动的至少一个属性值。
在框660中,在框650中确定的该预测与运行或激活该内容递送活动的性能的原始或初始预测相比较,如内容提供者所指出的那样。
在框670中,向用户(例如内容递送活动的内容提供者的代表)呈现推荐。框670可以仅在框650中确定的预测指示与原始预测相比更高或更好的性能或指示相似的性能但具有更低的成本(例如,以美元形式或以难度形式)的情况下执行。该推荐指示了其值的改变会导致预测性能改进的那一(那些)属性、原始值和改变值、和/或预测的改进(例如,低22%的每次点击成本或高52%的预算使用)。
在图4的示例中,给定内容递送活动的原始特征值,其预测性能是0.6+0.01=0.61或61%的每日预算使用。如果该竞价报价增加到4.90美元,然后,余下全部保持相同,该预测性能是0.8+0.01=0.81或81%的每日预算使用。这代表着每日预算使用接近32.8%的增长。全部三个值可以被表示为对提交内容递送活动的属性值的内容提供者的推荐的一部分。
可操作节点和非可操作节点
在一个实施方式中,节点或是可操作节点或是非可操作节点。一个“可操作节点”是与内容提供者能够针对其内容递送活动来改变的特征相对应的节点。可操作节点的示例是与预算、竞价报价、启用受众扩展、行业和目标受众相对应的节点。一个“非可操作节点”是与内容提供者不能够针对其内容递送活动来改变的特征相对应的节点。非可操作节点的示例可以是与活动是否定向美国受众、活动是否定向说英语的人和频率限定(这指示了在一个时间段内特定内容项多频繁地呈现给用户)相对应的节点。内容提供者可能不能够或是不允许在他们相应的内容递送活动中调整这样的特征。在训练预测模型时,用户可能指定一个特征作为可操作的或非可操作的。如果对于一个特征没有进行指定,则默认是可操作的。
对于包括非可操作节点的一个原因在于校正预测模型中的偏差。例如,显示位置可以是非可操作节点(因此,内容提供者不能控制内容项在哪个位置显示)。然而,在预测模型中不包含这一特征可能导致预测模型中的偏差增加,因为该预测模型不知道活动具有高递送率是因为该活动具有高质量的内容项或是高竞价,还是仅仅因为活动的内容项在显示器中显示在“高”/好位置。
排序推荐
在一个实施方式中,对于一个特定内容递送活动的内容提供者生成多个推荐并在将推荐展示给内容提供者之前对多个推荐进行排序。对于内容提供者,一组推荐可以基于一个或更多个标准进行排序。排序标准的一个示例是对性能的预测影响。例如,如果一个推荐将导致提高25%的递送率而另一个推荐将导致提高12%的递送率,则第一个推荐将排序高于第二个推荐。
排序标准的另一个示例是实施推荐最便宜或最容易。在GBDT集合中的各个节点可以与各个成本值相关。例如,如果一个推荐比另一个推荐更便宜(例如,在预算或价格方面),则第一个推荐比第二个推荐排序更高。成本可以反映在GBDT集合本身之中(例如,预算或竞价报价)或者GBDT集合之外。例如,启用受众扩展可以与内容提供者必须支付以使其可用的成本相关(其不直接反映在GBDT集合之中但对于机器学习组件300是已知的)。
类似地,如果一个推荐比另一个推荐更难实施(例如,提高pCTR或是更改图片可能会比选择启用受众扩展更难),则第二个推荐比第一个推荐排序更高。在这,GBDT集合中的节点可以与难度等级相关,这指示了改变与该节点相对应的该属性值的难度的水平。
在一个实施方式中,推荐基于决策树中的哪个节点被“翻转”来排序。例如,第一个推荐基于翻转(决策树集合中的)最高排序节点来确定,对于该节点原始内容递送活动与该节点的性能更低的支路相关。然后第二推荐基于翻转(决策树集合中的)第二最高排序节点来确定,对于该节点原始内容递送活动与该节点的性能更低的支路相关。在图4的示例中,最高排序节点是节点424,因为原始内容递送活动具有少于4.90美元的竞价报价。第二最高排序节点是节点462,因为节点452是非可操作节点并且原始内容递送活动不能使得受众扩展可用。
多个性能指标
如本文所述,可以针对多个性能指标中的每一个生成预测模块。在一个实施方式中,将多个选项(每个选项与不同的性能指标相对应)呈现给用户(例如内容提供者的代表)并且用户选择这些选项中的一个。性能预测器340可以生成包括多个选项的用户界面并将用户界面经由网络提供至用户的计算设备。
所选性能指标可以(a)先于用户提供内容递送活动的属性而被选择(例如,通过用户界面),或者(b)在用户提供内容递送活动的属性之后而被选择。
不同内容提供者的目标可能导致不同的推荐。例如,对于目标是提高印象的内容提供者,推荐可以是提高预算或竞价报价,而对于目标是提高转化率(例如,在线消费或填写表格)的内容提供者,推荐可以是提高内容项中的文本和/或图片质量。
测试图片和文本
在一些情景中,一个内容递送活动的某些特征可以是不容易被最终用户领会、解释或理解的。这样的特征的示例类型是图片特征和文本特征。在不提供完全的新图片(或不同的图片)的情况下很难调整图片的单一属性。
在一个实施方式中,用户能够提供不同图像和/或文本来确定哪个图像和/或文本导致更高的预测性能。例如,用户上传与内容递送活动相关的两个图像并向性能预测器340提供该活动的属性的多个属性值。性能预测器340利用(leverage)预测模型(例如GBDT集合或回归模型)来生成两个预测:对于一个图像的第一预测和对于另一图像的第二预测。用户界面可以指示与每个图像的相邻的分数,以使得哪个图像被预测出比另一图像导致更高的性能是清楚的。
硬件综述
根据一个实施方式,本文中所描述的技术通过一个或更多个专用计算设备来实现。该专用计算设备可以是硬布线的以实现该技术,或者可以包括数字电子设备例如一个或更多个专用集成电路(ASIC)或现场可编程门阵列(FPGA),其不断编程以实现该技术,或者包括一个或更多个通用硬件处理器,其被编程以根据在固件、内存、其他存储器或组合中的程序指令来实现该技术。这样的专用计算设备还可以兼具定制硬布线逻辑、ASIC或FPGA以及定制编程以完成该技术。专用计算设备可以是台式计算机***、笔记本计算机***、手持设备、联网设备或是包含硬布线和/或编程逻辑以实现该技术的其他任何设备。
例如,图7是图示了计算机***700的框图,本发明的实施方式可以在该计算机***700上实现。计算机***700包括总线702或者其他用于交流信息的通信机制,以及耦合到总线702以处理信息的硬件处理器704。硬件处理器704可以例如是通用微处理器。
计算机***700还包括主存储器706,例如随机存取存储器(RAM)或者其他动态存储装置,其耦合到总线702以存储将由处理器704来执行的信息和指令。主存储器706还可以被用于存储指令执行期间的临时变量或其他中间信息,该指令将由处理器704来执行。当被存储在处理器704可访问的非暂时性存储介质中时,这样的指令使计算机***700变成个性化以实现指令中规定的操作的专用机器。
计算机***700还包括耦合到总线702以存储静态信息和用于处理器704的指令的只读存储器(ROM)708或其他静态存储设备。提供了存储设备710,例如磁盘、光盘或固态硬盘,存储设备710耦合到总线702以存储信息和指令。
计算机***700可以经由总线702被耦合到显示器712,例如阴极射线管(CRT),以用于向计算机用户显示信息。输入设备714,包括字母数字和其他键,被耦合到总线702以用于向处理器704就信息和命令选择进行通信。另一类型的用户输入设备是光标控制器716,例如鼠标、跟踪球或光标方向键,其用于向处理器704就方向信息和命令选择进行通信以及用于控制在显示器712上的光标移动。这一输入设备通常具有在两个轴线上的两个自由度,第一轴线(例如x轴)和第二轴线(例如y轴),这使得该设备在平面中指定位置。
计算机***700可以使用个性化的硬布线逻辑、一个或更多个ASIC或FPGA、固件和/或编程逻辑来实现本文中描述的技术,其与计算机***一起导致或将计算机***700编程为专用机器。根据一个实施方式,本文中的技术响应于处理器704执行包含在主存储器706中的一个或更多个指令的一个或更多个序列由计算机***700来实现。这样的指令可以从另一存储介质(例如存储设备710)被读取到主存储器706中。包含在主存储器706中的指令的序列的执行导致处理器704实现本文中所描述的方法步骤。在替选实施方式中,硬布线电路可以被用于替代软件指令或者与软件指令一起使用。
本文中所使用的术语“存储介质”是指存储导致机器以特定方式操作的数据和/或指令的任何非暂时性介质。这样的存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘、磁盘或者固态硬盘,例如存储装置710。易失性介质包括动态内存,例如主存储器706。储存介质的一般形式包括,例如软盘、软磁盘、硬盘、固态硬盘、磁带或任意其他磁性数据存储介质、CD-ROM、任意其他光学数据存储介质、任意具有孔形图案的物理介质、RAM、PROM和EPROM、FLASH-EPROM、NVRAM、任何其他存储芯片或磁带盒。
存储介质与传输介质不同,但可以与传输介质结合使用。传输介质参与存储介质之间的信息传输。例如,传输介质包括同轴电缆、铜线和光纤,包括包含总线702的电线。传输介质还能够采取声波或光波的形式,例如在无线电波和红外数据通信期间生成的声波或光波。
介质的各个形式可以涉及将一个或更多个指令的一个或更多个序列携带至处理器704以便执行。例如最初指令可以被携带至远程计算机的磁盘或固态硬盘上。该远程计算机能够将该指令加载到它的动态存储器中,并能使用调制解调器经由电话线发送该指令。计算机***700本地的调制解调器能够在电话线上接收数据,并使用红外发射器来将该数据转换成红外信号。红外探测器能够接收在红外信号中携带的数据,适当的电路能够将该数据置于总线702上,总线702将该数据携带至主存储器706,处理器704从主存储器706检索并执行该指令,由主存储器706接收到的指令在由处理器704执行之前或之后,可以可选的存储在存储装置710上。
计算机***700还包括耦合到总线702的通信接口718。通信接口718提供耦合到连接到本地网络722的网络链路720的双向数据通信。例如通信接口718可以是综合业务数字网(ISDN)卡、有线调制解调器、卫星调制解调器或是向相应类型的电话线提供数据通信连接的调制解调器。在另一示例中,通信接口718可以是向兼容局域网(LAN)提供数据通信连接的局域网(LAN)。还可以实现无线连接。在任何这样的实现中,通信接口718发送和接收电信号、电磁信号或光学信号,其携带代表各种类型的信息的数字数据流。
网络链路720通常通过一个或更多个网络向其他数据设备提供数据通信。例如,网络链接720可以通过本地网络722向主机724或向由网络服务提供者(ISP)操作的数据装置提供连接。ISP 726转而通过全球分组数据通信网络,也就是现在通常所说的“因特网”728来提供数据通信服务。本地网络722和因特网728均使用携带有数字数据流的电信号、电磁信号或光学信号。经过各种网络的信号以及网络链路720上以及经过通信接口718的信号是传输介质的示例性形式,所述信号携带数字数据至计算机***700或从计算机***700携带数字数据。
计算机***700能够经由网络、网络链路720和通信接口718发送消息和接收数据,包括程序代码。在因特网示例中,服务器730能够经由因特网728、ISP 726、本地网络722和通信接口718来传输对于应用程序所要求的代码。
接收到的代码可以在接收时由处理器704来执行,和/或存储在存储设备710或其他非易失性存储器中以用于随后执行。
在以上说明书中,本发明的实施方式已经通过参照可以从一个实现到另一个实现而变化的大量特定细节进行了描述。因此,说明书和附图可以被看作是说明而非限制的意义。本发明的范围以及申请人意图本发明的范围是什么的唯一且排他的指示是本申请以这样的权利要求发布的特定形式而发布的一组权利要求的字面和等同范围,包括任何后续修改。

Claims (15)

1.一种方法,包括:
基于训练数据生成决策树,所述训练数据包括多个训练实例,其中每个训练实例包括对于多个特征中的每个特征的特征值以及目标变量的标签;
其中所述多个特征与多个内容递送活动的属性相对应;
其中所述决策树包括一个或更多个子树;
接收第一内容递送活动的对于所述多个特征的第一多个特征值;
使用所述第一多个特征值来遍历所述决策树以生成输出;
基于所述输出,识别一个或更多个推荐;
使得所述一个或更多个推荐被呈现在与所述第一内容递送活动相关联的计算设备上。
2.根据权利要求1所述的方法,还包括:
确定所述一个或更多个子树中的子树的叶节点是负数;
响应于确定所述子树的所述叶节点是负数,将所述叶节点从所述子树移除。
3.根据权利要求1所述的方法,其中遍历所述决策树包括:
在所述决策树中识别第一节点,所述第一节点与所述第一多个特征值中的第一特征值相对应;
执行所述第一特征值和与所述第一节点相关联的一个或更多个第一标准之间的第一比较;
基于所述第一比较,识别所述第一节点的多个支路中的第一支路;
基于所述第一支路,在所述决策树中识别第二节点,所述第二节点与所述第一多个特征值中的第二特征值相对应;
执行所述第二特征值和与所述第二节点相关联的一个或更多个第二标准之间的第二比较;
基于所述第二比较,识别指示预测的叶节点;
其中,所述输出是基于所述预测的。
4.根据权利要求3所述的方法,其中:
所述预测是第一预测;
所述一个或更多个子树是包括第一子树和与第一子树不同的第二子树的多个子树;
所述叶节点是所述第一子树的第一叶节点;
所述方法还包括:
在所述第二子树中识别第三节点,所述第三节点与所述第一多个特征值中的第三特征值相对应;
执行所述第三特征值和与所述第三节点相关联的一个或更多个第三标准之间的第三比较;
基于所述第三比较,识别所述第三节点的多个支路中的第三支路;
基于所述第三支路,在所述第二子树中识别第四节点,所述第四节点与所述第一多个特征值中的第四特征值相对应;
执行所述第四特征值和与所述第四节点相关联的一个或更多个第四标准之间的第四比较;
基于所述第四比较,识别指示第二预测的第二叶节点;
所述输出是基于所述第二预测的。
5.根据权利要求1所述的方法,其中识别所述一个或更多个推荐包括:
基于所述第一多个特征值,遍历所述决策树以确定所述第一内容递送活动的性能的第一预测;
基于第二多个特征值,遍历所述决策树以确定所述第一内容递送活动的性能的第二预测;
其中,所述第二多个特征值包括与所述第一多个特征值中的特征值的子集相匹配的特征值的子集;
其中,所述第二多个特征值包括不在所述第一多个特征值中的一个或更多个特征值。
6.根据权利要求1所述的方法,,还包括:
存储数据,所述数据识别内容递送活动的决策树中的与一个或更多个属性相对应的一个或更多个节点,所述节点的值不允许被所述第一内容递送活动的内容提供者所修改。
7.根据权利要求1所述的方法,其中所述一个或更多个推荐识别所述第一多个特征值的具体特征值以进行修改。
8.根据权利要求7所述的方法,其中所述一个或更多个推荐识别所述具体特征值要进行多少修改。
9.根据权利要求1所述的方法,其中所述一个或更多个推荐是多个推荐,所述方法还包括:
识别所述多个推荐的排序;
使得呈现所述一个或更多个推荐包括使得所述多个推荐基于所述排序而被呈现。
10.根据权利要求9所述的方法,其中所述排序是基于实现所述多个推荐中的每个推荐的成本或难度的。
11.根据权利要求1所述的方法,其中:
所述输出是第一输出;
所述多个特征中的一个或更多个与文本相对应;
所述第一多个特征值中的一个或更多个与第一文本相对应;
所述方法还包括:
使用所述第一内容递送活动的对于所述多个特征的第二多个特征值遍历所述决策树,以生成与所述第一输出不同的第二输出;
所述第二多个特征值中的一个或更多个和与所述第一文本不同的第二文本相对应;
所述第一输出和所述第二输出之间的差异指示出所述第一文本或所述第二文本中的哪一个应被用于所述第一内容递送活动。
12.根据权利要求1所述的方法,其中:
所述输出是第一输出;
所述多个特征中的一个或更多个与图像相对应;
所述第一多个特征值中的一个或更多个与第一图像相对应;
所述方法还包括:
使用所述第一内容递送活动的对于所述多个特征的第二多个特征值遍历所述决策树,以生成与所述第一输出不同的第二输出;
所述第二多个特征值中的一个或更多个和与所述第一图像不同的第二图像相对应;
所述第一输出和所述第二输出之间的差异指示出所述第一图像或所述第二图像中的哪一个应被用于所述第一内容递送活动。
13.根据权利要求1所述的方法,其中所述输出指示了预测的预算使用、预测的转换率或是预测的每次点击成本中的一个。
14.一种方法,包括:
基于包括多个训练实例的训练数据生成预测模型,其中每个训练实例包括对于多个特征中的每个的特征值以及目标变量的标签;
其中所述训练数据与多个内容递送活动中的每个活动的多个属性相关联;
接收第一内容递送活动的对于所述多个特征的第一多个特征值;
向所述预测模型中输入所述第一多个特征值以生成输出;
基于来自所述预测模型的所述输出,识别一个或更多个推荐;
使得所述一个或更多个推荐被呈现在与所述第一内容递送活动相关联的计算设备上,
其中所述方法由一个或多个计算设备执行。
15.一种***,包括:
一个或更多个处理器;
一个或更多个存储介质,所述存储介质存储指令,在由所述一个或更多个处理器执行时,所述指令导致实现权利要求1-14中的任何一项所述的方法。
CN201710458089.XA 2017-04-24 2017-06-16 用于电子内容项的性能优化的机器学习推荐***、方法 Active CN108734297B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/495,690 2017-04-24
US15/495,690 US10540683B2 (en) 2017-04-24 2017-04-24 Machine-learned recommender system for performance optimization of network-transferred electronic content items

Publications (2)

Publication Number Publication Date
CN108734297A true CN108734297A (zh) 2018-11-02
CN108734297B CN108734297B (zh) 2023-07-28

Family

ID=63852817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710458089.XA Active CN108734297B (zh) 2017-04-24 2017-06-16 用于电子内容项的性能优化的机器学习推荐***、方法

Country Status (2)

Country Link
US (1) US10540683B2 (zh)
CN (1) CN108734297B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111279370A (zh) * 2017-09-29 2020-06-12 甲骨文国际公司 使用迭代人工智能通过通信决策树的指引轨迹
CN113424207A (zh) * 2020-10-13 2021-09-21 支付宝(杭州)信息技术有限公司 高效地训练可理解模型的***和方法
CN114266601A (zh) * 2021-12-24 2022-04-01 深圳前海微众银行股份有限公司 营销策略确定方法、装置、终端设备及存储介质
US11775843B2 (en) 2017-09-29 2023-10-03 Oracle International Corporation Directed trajectories through communication decision tree using iterative artificial intelligence

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288208B (zh) * 2017-08-11 2020-08-28 腾讯科技(深圳)有限公司 基于图像内容的展示对象确定方法、装置、介质及设备
US11669915B1 (en) * 2017-09-27 2023-06-06 Meta Platforms, Inc. Systems and methods for making high value account recommendations
US11270337B2 (en) * 2017-11-08 2022-03-08 ViralGains Inc. Machine learning-based media content sequencing and placement
US10839083B2 (en) * 2017-12-01 2020-11-17 KnowBe4, Inc. Systems and methods for AIDA campaign controller intelligent records
US20190205901A1 (en) * 2017-12-29 2019-07-04 Facebook, Inc. Dynamic creation of content items for distribution in an online system by combining content components
US11348126B2 (en) * 2018-01-15 2022-05-31 The Nielsen Company (Us), Llc Methods and apparatus for campaign mapping for total audience measurement
US10904298B2 (en) 2018-10-19 2021-01-26 Oracle International Corporation Machine-learning processing at native-location storage system to generate collections action plan
US11604844B2 (en) * 2018-11-05 2023-03-14 Samsung Electronics Co., Ltd. System and method for cross-domain recommendations
US11455790B2 (en) * 2018-11-14 2022-09-27 Nvidia Corporation Style-based architecture for generative neural networks
RU2739873C2 (ru) * 2019-02-07 2020-12-29 Акционерное общество "Лаборатория Касперского" Способ поиска пользователей, соответствующих требованиям
JP7200765B2 (ja) * 2019-03-13 2023-01-10 株式会社リコー 学習装置および学習方法
JP7200766B2 (ja) * 2019-03-13 2023-01-10 株式会社リコー 学習装置および学習方法
US10929110B2 (en) 2019-06-15 2021-02-23 International Business Machines Corporation AI-assisted UX design evaluation
US11551024B1 (en) * 2019-11-22 2023-01-10 Mastercard International Incorporated Hybrid clustered prediction computer modeling
US11228683B2 (en) * 2019-12-06 2022-01-18 At&T Intellectual Property I, L.P. Supporting conversations between customers and customer service agents
US20220092437A1 (en) * 2020-09-21 2022-03-24 International Business Machines Corporation Efficient execution of a decision tree
US11503127B2 (en) * 2020-09-29 2022-11-15 Microsoft Technology Licensing, Llc Entity-sticky-routing ranking feature prefetch in microservice architecture
CN113344615B (zh) * 2021-05-27 2023-12-05 上海数鸣人工智能科技有限公司 一种基于gbdt和dl融合模型的营销活动预测方法
US11887167B2 (en) * 2022-06-14 2024-01-30 Accenture Global Solutions Limited Utilizing machine learning models to generate an optimized digital marketing simulation

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655119A (zh) * 2003-12-11 2005-08-17 微软公司 依用户群优选编码支持应用与服务个性化的统计模型、方法
CN1841380A (zh) * 2005-03-31 2006-10-04 微软公司 用于改进搜索引擎相关性的数据挖掘技术
US20070130626A1 (en) * 2005-09-21 2007-06-07 Saul Kato Device-aware content delivery
CN101216825A (zh) * 2007-12-29 2008-07-09 朱廷劭 标引关键词提取/预测方法、在线广告推荐方法和装置
CN102822882A (zh) * 2010-01-15 2012-12-12 阿波洛集团公司 动态推荐学习内容
CN102880672A (zh) * 2011-09-09 2013-01-16 微软公司 自适应推荐***
US20130282444A1 (en) * 2012-04-23 2013-10-24 Xerox Corporation Method and apparatus for using a customizable game-environment to extract business information to recommend a marketing campaign
US20150100438A1 (en) * 2013-10-04 2015-04-09 Yahoo! Inc. Selecting among advertisements competing for a slot associated with electronic content delivered over a network based upon predicted latency
CN104717124A (zh) * 2013-12-13 2015-06-17 腾讯科技(深圳)有限公司 一种好友推荐方法、装置及服务器
US20150310336A1 (en) * 2014-04-29 2015-10-29 Wise Athena Inc. Predicting customer churn in a telecommunications network environment
US20150379426A1 (en) * 2014-06-30 2015-12-31 Amazon Technologies, Inc. Optimized decision tree based models
CN105389718A (zh) * 2015-12-07 2016-03-09 深圳市天行家科技有限公司 一种汽车后服务推荐方法和***
CN105631707A (zh) * 2015-12-23 2016-06-01 北京奇虎科技有限公司 基于决策树的广告点击率预估方法与应用推荐方法及装置
CN106068520A (zh) * 2013-12-13 2016-11-02 微软技术许可有限责任公司 个性化的机器学习模型
CN106096748A (zh) * 2016-04-28 2016-11-09 武汉宝钢华中贸易有限公司 基于聚类分析和决策树算法的装车工时预测模型
US20170017886A1 (en) * 2015-07-14 2017-01-19 Facebook, Inc. Compatibility prediction based on object attributes

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6460036B1 (en) * 1994-11-29 2002-10-01 Pinpoint Incorporated System and method for providing customized electronic newspapers and target advertisements
KR20050007306A (ko) * 2002-04-19 2005-01-17 컴퓨터 어소시에이츠 싱크, 인코포레이티드 혼합형 수치 및/또는 비수치 데이터의 처리
US11157836B2 (en) * 2017-02-28 2021-10-26 Verizon Media Inc. Changing machine learning classification of digital content

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655119A (zh) * 2003-12-11 2005-08-17 微软公司 依用户群优选编码支持应用与服务个性化的统计模型、方法
CN1841380A (zh) * 2005-03-31 2006-10-04 微软公司 用于改进搜索引擎相关性的数据挖掘技术
US20070130626A1 (en) * 2005-09-21 2007-06-07 Saul Kato Device-aware content delivery
CN101216825A (zh) * 2007-12-29 2008-07-09 朱廷劭 标引关键词提取/预测方法、在线广告推荐方法和装置
CN102822882A (zh) * 2010-01-15 2012-12-12 阿波洛集团公司 动态推荐学习内容
CN102880672A (zh) * 2011-09-09 2013-01-16 微软公司 自适应推荐***
US20130282444A1 (en) * 2012-04-23 2013-10-24 Xerox Corporation Method and apparatus for using a customizable game-environment to extract business information to recommend a marketing campaign
US20150100438A1 (en) * 2013-10-04 2015-04-09 Yahoo! Inc. Selecting among advertisements competing for a slot associated with electronic content delivered over a network based upon predicted latency
CN104717124A (zh) * 2013-12-13 2015-06-17 腾讯科技(深圳)有限公司 一种好友推荐方法、装置及服务器
CN106068520A (zh) * 2013-12-13 2016-11-02 微软技术许可有限责任公司 个性化的机器学习模型
US20150310336A1 (en) * 2014-04-29 2015-10-29 Wise Athena Inc. Predicting customer churn in a telecommunications network environment
US20150379426A1 (en) * 2014-06-30 2015-12-31 Amazon Technologies, Inc. Optimized decision tree based models
US20170017886A1 (en) * 2015-07-14 2017-01-19 Facebook, Inc. Compatibility prediction based on object attributes
CN105389718A (zh) * 2015-12-07 2016-03-09 深圳市天行家科技有限公司 一种汽车后服务推荐方法和***
CN105631707A (zh) * 2015-12-23 2016-06-01 北京奇虎科技有限公司 基于决策树的广告点击率预估方法与应用推荐方法及装置
CN106096748A (zh) * 2016-04-28 2016-11-09 武汉宝钢华中贸易有限公司 基于聚类分析和决策树算法的装车工时预测模型

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111279370A (zh) * 2017-09-29 2020-06-12 甲骨文国际公司 使用迭代人工智能通过通信决策树的指引轨迹
CN111279370B (zh) * 2017-09-29 2023-09-15 甲骨文国际公司 使用迭代人工智能通过通信决策树的指引轨迹
US11775843B2 (en) 2017-09-29 2023-10-03 Oracle International Corporation Directed trajectories through communication decision tree using iterative artificial intelligence
US11900267B2 (en) 2017-09-29 2024-02-13 Oracle International Corporation Methods and systems for configuring communication decision trees based on connected positionable elements on canvas
CN113424207A (zh) * 2020-10-13 2021-09-21 支付宝(杭州)信息技术有限公司 高效地训练可理解模型的***和方法
CN113424207B (zh) * 2020-10-13 2022-05-17 支付宝(杭州)信息技术有限公司 高效地训练可理解模型的***和方法
CN114266601A (zh) * 2021-12-24 2022-04-01 深圳前海微众银行股份有限公司 营销策略确定方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN108734297B (zh) 2023-07-28
US10540683B2 (en) 2020-01-21
US20180308124A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
CN108734297A (zh) 用于网络传输的电子内容项的性能优化的机器学习推荐***
US11544744B2 (en) Systems, devices, and methods for autonomous communication generation, distribution, and management of online communications
JP6310584B2 (ja) 既存の広告クリエーティブから提案されたオンライン広告を生成するためのシステム及び方法
CN104281961B (zh) 用于在线***中的广告和内容的质量评分***
CN104281962B (zh) 用于在线***中的广告和内容的统一市场
US8788390B2 (en) Estimating values of assets
US20160189198A1 (en) Automated media campaign management system
JP6297912B2 (ja) オンライン広告キャンペーンを予約するためのシステム及び方法
US9135561B2 (en) Inferring procedural knowledge from data sources
US20130054349A1 (en) Integrated and comprehensive advertising campaign remap
US20110238670A1 (en) Crowd-sourcing and contextual reclassification of rated content
CN108536721A (zh) 在评估与在线资源的未来用户交互时,利用在线资源的使用数据
US20140058826A1 (en) Composite publisher audience profiles in comprehensive advertising campaign management and optimization
US20120271709A1 (en) Integrated and comprehensive advertising campaign visualization
US8311885B2 (en) System for display advertising optimization using click or conversion performance
US11080746B2 (en) Method for matching influencers to brands and pairing influencer videos to products for intra-video transactions
CA2892169A1 (en) Ad-words optimization based on performance across multiple channels
US20120158486A1 (en) Profiles, templates and matching in integrated and comprehensive advertising campaign management and optimization
US10643276B1 (en) Systems and computer-implemented processes for model-based underwriting
AU2007327569A1 (en) Methods and systems for offering and selling advertising
US20150294337A1 (en) Content creation and distribution system that dynamically prices access based on user behavior
KR20130018981A (ko) 정보 제공 장치, 보수 지불 처리 방법, 및 보수 지불 처리 프로그램이 기록된 기록 매체
KR20220037023A (ko) 플리마켓의 운영 및 관리 자동화를 수행하는 방법 및 이를 수행하는 서버
Tiet The planning and implementation process of programmatic advertising campaigns in emerging markets.
Chappell Jr et al. Confessions of an Internet Monopolist: Demand estimation for a versioned information good

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Washington State

Applicant after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: Washington State

Applicant before: Microsoft Technology Licensing, LLC

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant