CN111340540A - 广告推荐模型的监控方法、推荐方法及装置 - Google Patents

广告推荐模型的监控方法、推荐方法及装置 Download PDF

Info

Publication number
CN111340540A
CN111340540A CN202010111646.2A CN202010111646A CN111340540A CN 111340540 A CN111340540 A CN 111340540A CN 202010111646 A CN202010111646 A CN 202010111646A CN 111340540 A CN111340540 A CN 111340540A
Authority
CN
China
Prior art keywords
user
advertisement
model
recommendation
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010111646.2A
Other languages
English (en)
Other versions
CN111340540B (zh
Inventor
李嘉喆
余传伟
凌国惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010111646.2A priority Critical patent/CN111340540B/zh
Publication of CN111340540A publication Critical patent/CN111340540A/zh
Application granted granted Critical
Publication of CN111340540B publication Critical patent/CN111340540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种广告推荐模型的监控方法、推荐方法、装置、电子设备及计算机可读存储介质；方法包括：针对相邻两个模型更新周期，获取在每个模型更新周期训练广告推荐模型推荐广告时能够使用的用户样本；确定用户样本对应用户特征种类的特征值分位数；根据特征值分位数进行分布估算处理，得到用户特征种类对应每个模型更新周期的特征值概率分布；对相邻两个模型更新周期的特征值概率分布之间的差异进行度量处理，得到用户特征种类对应的信息散度；根据信息散度，从相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本。通过本发明，能够提升对特征值分布波动的敏感程度，更准确地捕捉到异常，提升广告推荐的精度。

Description

广告推荐模型的监控方法、推荐方法及装置
技术领域
本发明涉及人工智能技术，尤其涉及一种广告推荐模型的监控方法、推荐方法、装置、电子设备及计算机可读存储介质。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
广告推荐是人工智能的一个重要应用方向，如何向用户推荐更可能感兴趣的广告是当前的研究目标。广告推荐的推荐效果取决于特征和广告推荐模型的稳定性。出于数据时效性考虑，特征往往要经历周期性更新，而在更新过程中可能出现一些潜在问题，导致特征值分布出现波动，最终影响广告推荐效果，故需要对特征和广告推荐模型进行稳定性监控。在相关技术提供的方案中，通常是通过描述性统计量来进行特征监控，但是描述性统计量对于特征值分布波动的敏感度不高，无法准确地反映特征值分布异常，导致进行广告推荐的准确性差。
发明内容
本发明实施例提供一种广告推荐模型的监控方法、推荐方法、装置、电子设备及计算机可读存储介质，能够提升对特征值分布波动的敏感程度，更准确地捕捉到异常，并提升根据广告推荐模型进行广告推荐的准确性。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种广告推荐模型的监控方法，包括：
针对相邻两个模型更新周期，获取在每个所述模型更新周期训练广告推荐模型推荐广告时能够使用的用户样本；
确定所述用户样本对应用户特征种类的特征值分位数；
根据所述特征值分位数进行分布估算处理，得到所述用户特征种类对应每个所述模型更新周期的特征值概率分布；
对所述相邻两个模型更新周期的特征值概率分布之间的差异进行度量处理，得到所述用户特征种类对应的信息散度；
根据所述信息散度，从所述相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本；
其中，所述训练样本用于对所述广告推荐模型进行训练；训练后的所述广告推荐模型用于预测用户对应不同待推荐广告的偏好信息。
本发明实施例提供一种基于广告推荐模型的推荐方法，包括：
获取与用户特征种类对应的用户特征值，并获取多个待推荐广告的广告特征值；
将所述用户特征值与所述广告特征值进行组合，得到组合特征值；
通过所述广告推荐模型，对所述组合特征值进行预测处理，得到偏好信息；
当所述偏好信息满足推荐条件时，执行推荐所述偏好信息对应的待推荐广告的操作。
本发明实施例提供一种广告推荐模型的监控装置，包括：
样本获取模块，用于针对相邻两个模型更新周期，获取在每个所述模型更新周期训练广告推荐模型推荐广告时能够使用的用户样本；
分位数确定模块，用于确定所述用户样本对应用户特征种类的特征值分位数；
分布估算模块，用于根据所述特征值分位数进行分布估算处理，得到所述用户特征种类对应每个所述模型更新周期的特征值概率分布；
差异度量模块，用于对所述相邻两个模型更新周期的特征值概率分布之间的差异进行度量处理，得到所述用户特征种类对应的信息散度；
样本选取模块，用于根据所述信息散度，从所述相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本；
其中，所述训练样本用于对所述广告推荐模型进行训练；训练后的所述广告推荐模型用于预测用户对应不同待推荐广告的偏好信息。
本发明实施例提供一种基于广告推荐模型的推荐装置，包括：
特征获取模块，用于获取与用户特征种类对应的用户特征值，并获取多个待推荐广告的广告特征值；
组合模块，用于将所述用户特征值与所述广告特征值进行组合，得到组合特征值；
预测模块，用于通过所述广告推荐模型，对所述组合特征值进行预测处理，得到偏好信息；
推荐模块，用于当所述偏好信息满足推荐条件时，执行推荐所述偏好信息对应的待推荐广告的操作。
本发明实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的广告推荐模型的监控方法，或基于广告推荐模型的推荐方法。
本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的广告推荐模型的监控方法，或基于广告推荐模型的推荐方法。
本发明实施例具有以下有益效果：
本发明实施例针对相邻两个模型更新周期，先确定出用户特征种类的特征值分位数，再经分布估算处理得到特征值概率分布，从而得到相邻两个模型更新周期的特征值概率分布之间的信息散度，实现了有效的特征监控，根据信息散度可选取相邻两个模型更新周期中更适于作为训练样本的用户样本，当设备在各种场景中使用根据训练样本训练的广告推荐模型进行广告推荐时，能够实现广告推荐的精度和效率的显著提升。
附图说明
图1是本发明实施例提供的推荐***的一个可选的架构示意图；
图2A是本发明实施例提供的终端设备的一个可选的架构示意图；
图2B是本发明实施例提供的服务器的一个可选的架构示意图；
图3是本发明实施例提供的广告推荐模型的监控装置的一个可选的架构示意图；
图4A是本发明实施例提供的广告推荐模型的监控方法的一个可选的流程示意图；
图4B是本发明实施例提供的广告推荐模型的监控方法的一个可选的流程示意图；
图4C是本发明实施例提供的广告推荐模型的监控方法的一个可选的流程示意图；
图5是本发明实施例提供的基于广告推荐模型的推荐方法的一个可选的流程示意图；
图6是本发明实施例提供的特征值分布的一个可选的示意图；
图7是本发明实施例提供的特征值分布的一个可选的示意图；
图8是本发明实施例提供的特征监控的一个可选的流程示意图；
图9是本发明实施例提供的正常波动的一个可选的百分位数示意图；
图10是本发明实施例提供的异常波动的一个可选的百分位数示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)模型更新周期：出于数据时效性考虑，用于广告推荐的广告推荐模型通常需要进行周期性更新，模型更新周期可人为根据实际的业务场景进行设定，如设定为7天。
2)广告推荐模型：用于预测用户对于某一广告的偏好信息的模型，本发明实施例对广告推荐模型的类型不做限定，例如广告推荐模型可为机器学习模型，也可为深度学习模型。
3)广告：指进行推荐的对象，广告的类型根据实际业务场景而定，例如广告可以是游戏广告，也可以是电影广告等。
4)用户样本：将广告推荐至用户后，根据用户产生的样本偏好信息所形成的样本，用户样本通常包括用户特征值、广告特征值及样本偏好信息。
5)用户特征种类：进行监控的用户特征的类别，可根据实际业务场景进行设定，如用户特征种类可包括用户的广告历史点击率、性别及兴趣爱好等。
6)分位数：将一个随机变量的所有数值按照大小进行排序，并进行等分，位于分割点位置的数值即为分位数。如果等分为四份，则位于分割点位置的数值为四分位数；如果等分为一百份，则位于分割点位置的数值为百分位数，以此类推。
7)特征值概率分布：指作为连续型随机变量的用户特征种类所服从的概率分布，特征值概率分布可通过概率密度函数体现，概率密度函数是描述随机变量的输出值，在某个确定的取值点附近的概率的函数。
8)信息散度：又称相对熵或KL散度(Kullback-Leibler divergence)，是两个概率分布之间差异的非对称性度量。
广告推荐业务效果的稳定性很大程度上取决于背后推荐***的稳定性，而推荐***的稳定性取决于特征和广告推荐模型的稳定性。为了保障线上业务的效果，通常需要对特征进行稳定性监控。在相关技术提供的方案中，主要使用两类指标进行特征和广告推荐模型的监控，一类是特征值的描述性统计量，例如均值、方差及中位数等；另一类是稳定度指标(PSI，Population Stability In dex)，计算公式如下：
Figure BDA0002390220740000061
其中，Actual％是指在数据分组后，各组的实际占比，Expected％是指预期占比。
但是，描述性统计量及PSI等指标对于特征值分布波动的敏感度不高，无法准确地反映特征值概率分布异常。比两者更优的选择是信息散度，但对于监控的特征是数值型特征(连续型随机变量)的情况，根据相关技术提供的方案，在信息散度的计算过程中，无法估算出特征值概率分布，即会导致信息散度计算失败。
此外，在相关技术提供的方案中，通常是对每个用户特征种类进行单独监控，在广告推荐涉及到的用户特征种类较多时，会导致监控误报率高以及指标不可读，监控效果差。
本发明实施例提供一种广告推荐模型的监控方法、推荐方法、装置、电子设备及计算机可读存储介质，能够提升对特征值分布波动的敏感程度，更准确地捕捉到异常，并提升进行广告推荐的准确性。
下面说明本发明实施例提供的电子设备的示例性应用，本发明实施例提供的电子设备可以是服务器，例如部署在云端的服务器，根据获取的与用户特征种类对应的用户特征值，向用户提供远程的广告推荐功能，即是将用户更可能感兴趣的广告推荐给用户；也可以是终端设备，例如商场中的广告推荐设备，通过广告推荐模型预测得到偏好信息，将满足推荐条件的偏好信息对应的待推荐广告呈现于显示屏中，实现广告推荐；甚至可以是手持终端等设备。
电子设备通过运行本发明实施例提供的特征监控和广告推荐的方案，可以提升模型训练效果以及根据训练后的广告推荐模型进行广告推荐的准确性，即提高电子设备自身的广告推荐性能，适用于广告推荐的多个应用场景。例如，在社交平台的广告推荐场景中，通过广告推荐模型提升电子设备进行广告推荐的准确性，使得在社交动态中推荐的广告更容易被用户触发，提升广告转化率，同时也可避免用户对推荐的广告产生反感；又如在游戏广告推荐的场景中，电子设备能够更准确地以广告形式向用户推荐感兴趣的游戏，即提升对用户的吸引度。
参见图1，图1是本发明实施例提供的推荐***100的一个可选的架构示意图，为实现支撑一个基于广告推荐模型的推荐应用，终端设备400(示例性示出了终端设备400-1和终端设备400-2)通过网络300连接服务器200，服务器200连接数据库500，其中，网络300可以是广域网或者局域网，又或者是二者的组合。
在一些实施例中，终端设备400可在本地执行本发明实施例提供的广告推荐模型的监控方法，具体获取相邻两个模型更新周期的用户样本，根据计算出的与用户特征种类对应的信息散度，选取其中一个模型更新周期的用户样本作为训练样本，并根据训练样本对广告推荐模型进行训练。终端设备400可根据训练后的广告推荐模型预测用户对不同待推荐广告的偏好信息，并将满足推荐条件的偏好信息对应的待推荐广告推荐给用户。例如，在社交平台的广告推荐场景中，终端设备400确定出满足推荐条件的偏好信息对应的广告，并在社交平台的社交动态(如朋友圈)中呈现广告；在游戏平台的广告推荐场景中，响应于用户执行的查看推荐游戏的操作，将满足推荐条件的偏好信息对应的游戏广告，呈现于游戏平台的推荐页面。值得说明的是，终端设备400可从本地获取用户样本，也可通过网络300向服务器200发送请求，从而获取数据库500中存储的用户样本。
除此之外，服务器200也可以执行本发明实施例提供的广告推荐模型的监控方法，具体从终端设备400或数据库500中获取相邻两个模型更新周期的用户样本，从而进行对广告推荐模型的训练。然后，服务器200可以接收终端设备400发送的用户特征值，将用户特征值与数据库500中存储的多个待推荐广告的广告特征值进行单独组合，得到多个组合特征值，然后，根据训练后的广告推荐模型，对组合特征值进行预测处理，得到偏好信息，将满足推荐条件的偏好信息对应的待推荐广告发送至终端设备400。
终端设备400可以在图形界面410(示例性示出了图形界面410-1和图形界面410-2)中显示特征监控和广告推荐过程中的各种结果，例如推荐的广告等。在图1中，以社交平台的广告推荐场景为例，在社交动态页面的好友A动态和好友B动态之间，呈现了推荐的广告。
下面继续说明本发明实施例提供的电子设备的示例性应用。电子设备可以实施为广告推荐设备、笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的终端设备，也可以实施为服务器。
下面，以电子设备为终端设备为例进行说明。参见图2A，图2A是本发明实施例提供的终端设备400(例如，可以是图1所示的终端设备400-1或终端设备400-2)的架构示意图，图2A所示的终端设备400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端设备400中的各个组件通过总线***440耦合在一起。可理解，总线***440用于实现这些组件之间的连接通信。总线***440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2A中将各种总线都标为总线***440。
处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作***451，包括用于处理各种基本***服务和执行硬件相关任务的***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作***设备和显示内容和信息的用户接口)；
输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的广告推荐模型的监控装置可以采用软件方式实现，图2A示出了存储在存储器450中的广告推荐模型的监控装置455，其可以是程序和插件等形式的软件，包括以下软件模块：样本获取模块4551、分位数确定模块4552、分布估算模块4553、差异度量模块4554及样本选取模块4555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的广告推荐模型的监控装置可以采用硬件方式实现，作为示例，本发明实施例提供的广告推荐模型的监控装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的广告推荐模型的监控方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
下面，以电子设备为服务器为例进行说明。参见图2B，图2B是本发明实施例提供的服务器200(例如，可以是图1所示的服务器200)的架构示意图，图2B所示的服务器200包括：至少一个处理器210、存储器240和至少一个网络接口220。服务器200中的各个组件通过总线***230耦合在一起。可理解，总线***230用于实现这些组件之间的连接通信。总线***230除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2B中将各种总线都标为总线***230。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器240可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器240可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器240包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器240旨在包括任意适合类型的存储器。
在一些实施例中，存储器240能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作***241，包括用于处理各种基本***服务和执行硬件相关任务的***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块242，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等。
在一些实施例中，本发明实施例提供的基于广告推荐模型的推荐装置可以采用软件方式实现，图2B示出了存储在存储器240中的基于广告推荐模型的推荐装置243，其可以是程序和插件等形式的软件，包括以下软件模块：特征获取模块2431、组合模块2432、预测模块2433及推荐模块2434，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的基于广告推荐模型的推荐装置可以采用硬件方式实现，作为示例，本发明实施例提供的基于广告推荐模型的推荐装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于广告推荐模型的推荐方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
本发明实施例提供的广告推荐模型的监控方法可以由上述的服务器执行，也可以由终端设备(例如，可以是图1所示的终端设备400-1和终端设备400-2)执行，或者由服务器和终端设备共同执行。
下面将结合上文记载的电子设备的示例性应用和结构，说明电子设备中通过嵌入的广告推荐模型的监控装置，而实现广告推荐模型的监控方法的过程。
参见图3和图4A，图3是本发明实施例提供的广告推荐模型的监控装置455的架构示意图，示出了通过一系列模块实现广告推荐模型稳定性监控，并确定训练样本的流程，图4A是本发明实施例提供的广告推荐模型的监控方法的流程示意图，将结合图3对图4A示出的步骤进行说明。
在步骤101中，针对相邻两个模型更新周期，获取在每个模型更新周期训练广告推荐模型推荐广告时能够使用的用户样本。
作为示例，参见图3，在样本获取模块4551中，针对相邻的两个模型更新周期，获取在每个模型更新周期训练广告推荐模型推荐广告时能够使用的用户样本。举例来说，模型更新周期为7天，则获取1号至7号这个周期内因广告推荐而产生的多个用户样本，并获取8号至14号这个周期内因广告推荐而产生的多个用户样本。模型更新周期可根据实际业务场景进行设定，通常来说，对数据的时效性要求越高，模型更新周期设定得越短，特别地，在相邻两个模型更新周期中，后一个模型更新周期可以是当前时间所在的模型更新周期。
用户样本通常包括对应设定的用户特征种类的用户特征值、推荐给用户的广告的广告特征值以及用户对于推荐的广告的样本偏好信息，样本偏好信息表示用户针对推荐的广告的触发结果或触发时长。举例来说，在社交平台的广告推荐场景中，将某个广告推荐给用户后，形成的用户样本中的用户特征值包括用于表示用户的社交平台好友数、各类型广告的历史点击率、性别及所在地的数值，广告特征值用于表示该广告本身的信息，例如可包括用于表示该广告的类型(属于商品广告还是社交平台公众号广告)、广告在社交平台中的总点击率及广告本身是否具有动态效果的数值，样本偏好信息包括用于表示用户是否点击该广告或者用户浏览该广告的时长的数值。又例如，在游戏广告推荐场景中，将某个游戏广告推荐给用户后，形成的用户样本中的用户特征值包括用于表示用户对于各类型游戏的游玩记录、性别及所在地的数值，广告特征值用于表示该游戏广告本身的信息，例如可包括用于表示该游戏广告所代表游戏的类型(例如是动作游戏还是解谜游戏)、游戏最高在线人数及游戏评分的数值，样本偏好信息包括用于表示用户是否点击该游戏广告或者用户浏览该游戏广告的时长的数值。当然，以上仅为用户样本的示例，根据实际应用场景，可调整用户样本对应的特征种类及样本偏好信息所表示的含义。
在步骤102中，确定用户样本对应用户特征种类的特征值分位数。
对于每个模型更新周期，根据步骤101中获取的多个用户样本，确定对应设定的用户特征种类的特征值分位数，本发明实施例对分位数的类型不做限定，例如可以是百分位数。
在步骤103中，根据特征值分位数进行分布估算处理，得到用户特征种类对应每个模型更新周期的特征值概率分布。
作为示例，参见图3，在分布估算模块4553中，针对每个模型更新周期，根据该模型更新周期对应的特征值分位数进行分布估算处理，得到用户特征种类在该模型更新周期的特征值概率分布，分布估算处理的方式在后文进行详细阐述。
在步骤104中，对相邻两个模型更新周期的特征值概率分布之间的差异进行度量处理，得到用户特征种类对应的信息散度。
这里，对相邻两个模型更新周期的特征值概率分布之间的差异进行度量处理，得到用户特征种类对应的信息散度，如此，对于每一个用户特征种类，均可得到对应的信息散度，该信息散度能够较好地体现用户特征种类对应的特征值在相邻两个模型更新周期之间的波动情况。
在一些实施例中，可以通过这样的方式来实现上述的对相邻两个模型更新周期的特征值概率分布之间的差异进行度量处理，得到用户特征种类对应的信息散度：确定前一个模型更新周期的特征值概率分布与后一个模型更新周期的特征值概率分布之间的交叉熵；确定前一个模型更新周期的特征值概率分布的信息熵；将交叉熵减去信息熵，得到用户特征种类对应的信息散度。
作为示例，参见图3，在差异度量4554中，可通过如下公式计算信息散度：
DKL(P|Q)＝HP(Q)－H(P)
其中，P表示用户特征种类在前一个模型更新周期的特征值概率分布，Q表示用户特征种类在后一个模型更新周期的特征值概率分布，HP(Q)为P与Q之间的交叉熵，H(P)为P的信息熵，DKL(P|Q)即为P与Q之间的相对熵，也即信息散度。通过上述方式，实现了信息散度的精确计算。
在步骤105中，根据信息散度，从相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本；其中，训练样本用于对广告推荐模型进行训练；训练后的广告推荐模型用于预测用户对应不同待推荐广告的偏好信息。
根据信息散度的数值，从相邻两个模型更新周期分别对应的用户样本中选取用户样本，以作为广告推荐模型的训练样本。根据训练样本对广告推荐模型训练完成后，便可通过训练后的广告推荐模型预测用户对于不同待推荐广告的偏好信息，根据预测出的偏好信息实现精准的广告推荐，提升广告的转化率。
在一些实施例中，可以通过这样的方式来实现上述的根据信息散度，从相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本：当信息散度未超过波动阈值时，将相邻两个模型更新周期中后一个模型更新周期对应的用户样本，确定为训练样本；当信息散度超过波动阈值时，将相邻两个模型更新周期中前一个模型更新周期对应的用户样本，确定为训练样本。
作为示例，参见图3，在样本选取模块4555中，可将信息散度与波动阈值进行比较，波动阈值可根据实际应用场景进行设定，与可接受的波动程度成正相关。当信息散度未超过波动阈值时，证明相邻两个模型更新周期的特征值分布波动处于可接受范围内，将后一个模型更新周期对应的用户样本，即较新的用户样本，确定为训练样本；当信息散度超过波动阈值时，证明相邻两个模型更新周期的特征值分布波动已经超出了可接受范围，故将前一个模型更新周期对应的用户样本，确定为训练样本。通过上述方式，根据特征值分布的波动情况，挑选对应的用户样本进行模型训练，有效地避免了因波动过大而导致的线上广告推荐效果的下降。
在一些实施例中，可以通过这样的方式来实现上述的根据信息散度，从相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本：对用户特征种类进行归类处理，得到监控类；对监控类内的用户特征种类的信息散度进行平均处理，得到平均信息散度；根据平均信息散度，从相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本。
在实际应用场景中，用户特征种类的数量往往较多，甚至可以达到上万个，由于对于每个用户特征种类都会计算出一个信息散度，如果对每个信息散度都进行监控和呈现，那么会导致监控指标不可读，同时也会增大误判为异常波动的几率。在本发明实施例中，对于该情况，对用户特征种类进行归类处理，将最有可能呈现同样波动水平的特征放在一组进行监控，归类处理后得到监控类。举例来说，将用户在不同类型广告下的历史点击率及转发率归为一类，得到广告点击行为的监控类；将用户性别、年龄及所在地归为一类，得到用户基础属性的监控类；将用户的美食记录、金融记录及护肤记录归为一类，得到用户兴趣爱好的监控类。
完成归类处理后，对监控类内的所有用户特征种类的信息散度进行平均处理，得到平均信息散度，并在后续直接对平均信息散度进行监控。根据得到的平均信息散度，从相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本，例如将平均信息散度与波动阈值进行比对，并根据比对结果确定训练样本。通过上述方式，只需监控平均信息散度，极大地缩减了需要监控的指标数量，提升了监控指标的可读性，同时也减小了对于异常波动的误判率。
通过发明实施例对于图4A的上述示例性实施可知，本发明实施例通过先计算特征值分位数，再计算特征值概率分布的方式，实现了信息散度的有效计算，提升了对于特征值分布波动的敏感程度，能够挑选出更适于进行模型训练的用户样本，提升了基于广告推荐模型进行广告推荐的精度。
在一些实施例中，参见图4B，图4B是本发明实施例提供的广告推荐模型的监控方法的一个可选的流程示意图，图4A示出的步骤102可更新为步骤201，在步骤201中，对用户样本对应用户特征种类的特征值进行分位近似处理，得到N分位数；其中，N为大于1的整数。
作为示例，参见图3，在分位数确定模块4552中，可对用户特征种类在多个用户样本中的特征值进行分位近似处理，得到N分位数，其中，N为大于1的整数，可根据实际应用场景进行设定，N的数值越大，后续进行分布估算的精度越高，同时计算的复杂度也会增大。为了便于理解，以百分位数的情况进行举例说明，本发明实施例对分位近似处理的方式不做限定，例如可通过t-digest算法进行分位近似处理，得到百分位数。
在图4B中，图4A示出的步骤103可通过步骤202至步骤203实现，将结合各步骤进行说明。
在步骤202中，构建与N分位数对应的分段概率函数。
例如，对于百分位数来说，构建与百分位数对应的分段概率函数，该分段概率函数包括100个分段，且用户特征种类对应的特征值落入任一个分段的概率均为1/100。
在步骤203中，将分段概率函数的被积函数，确定为用户特征种类对应模型更新周期的特征值概率分布。
通过构建的分段概率函数，以求被积函数的方式得到用户特征种类在模型更新周期的概率密度函数，该概率密度函数同样也是分段函数，概率密度函数即为特征值概率分布。
在一些实施例中，步骤201之后，还包括：确定相邻的两个N分位数之间的差值；当差值小于差异阈值时，对相邻的两个N分位数进行合并处理。
这里，为了避免后续处理时出现概率密度函数跳跃的情况，可将相邻的两个N分位数中的后一个N分位数的数值减去前一个N分位数的数值，得到差值，并将差值与差异阈值进行比对，差异阈值可根据实际应用场景进行设定。例如，可将第二个百分位数的数值减去第一个百分位数的数值，得到差值。当差值大于或等于差异阈值时，不做处理；当差值小于差异阈值时，对相邻的两个N分位数进行合并处理。合并处理的方式可以是仅保留相邻的两个N分位数中数值更大的N分位数。通过上述方式，有效地避免了概率密度函数跳跃，提升了估算特征值概率分布的准确性。
在一些实施例中，步骤203之后，还包括：确定特征值概率分布中每一个分段的函数值，并去除满足极值条件的函数值。
这里，特征值概率分布以概率密度函数体现，概率密度函数同样是分段函数。为了避免概率密度函数两端分段的面积过大，对实际分布波动的计算产生不利影响，在本发明实施例，可确定概率密度函数中每一个分段的函数值，并去除掉最大的函数值和最小的函数值，以提升后续计算出的信息散度的准确性，实现精准的特征监控。
通过发明实施例对于图4B的上述示例性实施可知，本发明实施例通过先计算出分段概率函数，再通过求被积函数的方式得到同样是分段函数的概率密度函数，提供了求取特征值概率分布的一种有效方式，同时，通过分位近似处理的方式也使得计算出的特征值概率分布的准确性较高，根据实际应用场景中精度要求的不同，可调整分位近似处理中N的数值，提升了特征监控的灵活性。
在一些实施例中，参见图4C，图4C是本发明实施例提供的广告推荐模型的监控方法的一个可选的流程示意图，基于图4A，在步骤105之后，还可以在步骤301中，将训练样本中的用户特征值与广告特征值进行组合，得到组合特征值；其中，广告特征值是推荐至用户的广告的特征值。
在从相邻两个模型更新周期分别对应的用户样本中确定出训练样本后，根据训练样本对广告推荐模型进行训练，这里的训练样本包括样本偏好信息、对应用户特征种类的用户特征值以及推荐至用户的广告的广告特征值。首先，将训练样本的用户特征值与广告特征值进行组合，得到组合特征值。
在步骤302中，通过广告推荐模型，对组合特征值进行预测处理，得到待对比的偏好信息。
通过广告推荐模型，对组合特征值进行前馈的预测处理，得到待对比的偏好信息。例如，在广告推荐模型为神经网络模型的情况下，将组合特征值输入至广告推荐模型的输入层，并依次通过隐藏层和输出层，最终得到待对比的偏好信息。
在步骤303中，根据待对比的偏好信息与训练样本中的样本偏好信息之间的差异，在广告推荐模型中进行反向传播，并在反向传播的过程中，更新广告推荐模型的权重参数。
这里，通过广告推荐模型的损失函数，计算待对比的偏好信息与训练样本中的样本偏好信息之间的差异，本发明实施例对损失函数的类型不做限定，例如损失函数可为交叉熵损失函数。根据得到的差异在广告推荐模型中进行反向传播，以广告推荐模型为神经网络模型的情况举例，根据输出层、隐藏层、输入层的顺序进行传播，并在将差异传播至每个层的过程中，沿梯度下降方向更新该层的权重参数。
通过发明实施例对于图4C的上述示例性实施可知，本发明实施例通过计算差异以及反向传播的机制，对广告推荐模型进行训练，提升了模型训练效果，也提升了根据训练后的广告推荐模型进行广告推荐的精度。
本发明实施例提供的基于广告推荐模型的推荐方法可以由上述的服务器执行，也可以由终端设备(例如，可以是图1所示的终端设备400-1和终端设备400-2)执行，或者由服务器和终端设备共同执行。
下面将结合上文记载的电子设备的示例性应用和结构，说明电子设备中通过嵌入的基于广告推荐模型的推荐装置，而实现基于广告推荐模型的推荐方法的过程。
参见图5，图5是本发明实施例提供的基于广告推荐模型的推荐方法的一个可选的流程示意图，结合图1，以电子设备部署在云端的情况，示出了通过一系列步骤实现广告推荐的过程，将结合图5示出的步骤进行说明。
在步骤401中，终端设备获取与用户特征种类对应的用户特征值，并将用户特征值发送至服务器。
这里，终端设备可获取终端设备用户的、与用户特征种类对应的用户特征值，例如，对于社交平台的广告推荐场景，终端设备从社交平台的注册用户信息中，确定出用于表示用户的社交平台好友数、各类型广告的历史点击率、性别及所在地的数值，即确定出用户特征值；对于游戏广告推荐场景，终端设备从游戏平台的注册用户信息中，确定出用于表示用户对于各类型游戏的游玩记录、性别及所在地的数值，即确定出用户特征值。
在步骤402中，服务器获取多个待推荐广告的广告特征值，并将用户特征值与广告特征值进行组合，得到组合特征值。
例如，在社交平台的广告推荐场景中，服务器从数据库中获取用于表示待推荐广告的类型、待推荐广告在社交平台中的总点击率及待推荐广告本身是否具有动态效果的数值，即获取广告特征值；在游戏广告推荐的场景中，服务器从数据库中获取用于表示游戏广告所代表游戏的类型、游戏最高在线人数及游戏评分的数值，即获取广告特征值。值得说明的是，待推荐广告可通过设定的筛选条件筛选得到，例如将数据库中热度数据排在前K位的广告，作为待推荐广告，其中K为大于0的整数。
在得到多个待推荐广告的广告特征值后，服务器将用户特征值与每个待推荐广告的广告特征值进行单独组合，得到组合特征值。
在步骤403中，服务器通过广告推荐模型，对组合特征值进行预测处理，得到偏好信息。
这里，服务器通过训练后的广告推荐模型，对组合特征值进行前馈的预测处理，得到偏好信息，该偏好信息表示用户对待推荐广告的偏好程度。
在步骤404中，当偏好信息满足推荐条件时，服务器执行推荐偏好信息对应的待推荐广告的操作。
这里，服务器判断偏好信息是否满足设定的推荐条件，当某个偏好信息满足推荐条件时，服务器执行推荐该偏好信息对应的待推荐广告的操作。例如，服务器将待推荐广告发送至终端设备，终端设备以侧边栏或弹窗等形式，在社交平台或游戏平台的客户端页面中呈现该待推荐广告。
在一些实施例中，步骤403之后，还包括：当偏好信息用于表示用户针对待推荐广告的触发结果时，将表示进行触发的偏好信息，确定为满足推荐条件的偏好信息；当偏好信息用于表示用户针对待推荐广告的触发时长时，将表示的触发时长超过时长阈值的偏好信息，确定为满足推荐条件的偏好信息。
当训练的广告推荐模型为分类模型时，其输出的偏好信息用于表示用户针对待推荐广告的触发结果，对于该情况，将表示进行触发的偏好信息，确定为满足推荐条件的偏好信息，例如将表示用户进行点击的偏好信息，确定为满足推荐条件的偏好信息。
当训练的广告推荐模型为回归模型时，其输出的偏好信息用于表示用户针对待推荐广告的触发时长，对于该情况，将表示的触发时长超过时长阈值的偏好信息，确定为满足推荐条件的偏好信息，时长阈值可根据实际应用场景进行设定。例如将表示用户的浏览时长超过10秒的偏好信息，确定为满足推荐条件的偏好信息。通过上述方式，针对偏好信息的不同类型设定推荐条件，提升了广告推荐的灵活性。
在一些实施例中，可以通过这样的方式来实现上述的服务器执行推荐偏好信息对应的待推荐广告的操作：服务器将满足推荐条件的偏好信息对应的待推荐广告，确定为目标广告；获取用户的广告触发记录；根据广告触发记录中的触发时间，对广告触发记录进行区间归类处理，得到用户在多个时间区间的触发广告数量；将触发广告数量满足数量条件的时间区间确定为推荐时间区间，并在当前时间符合推荐时间区间时，执行向用户推荐目标广告的操作。
这里，为了便于区分，将满足推荐条件的偏好信息对应的待推荐广告，确定为目标广告，为了确定推荐目标广告的合适时机，终端设备获取用户的广告触发记录，并将广告触发记录发送至服务器。例如，对于社交平台的广告推荐场景，终端设备从社交平台的本地日志中，获取广告点击记录；对于游戏广告推荐的场景，终端设备从游戏平台的本地日志中，获取游戏广告点击记录。
由于用户可能会具有固定的触发习惯，例如通常在下午下班时触发推荐的广告，故在本发明实施例中，服务器根据广告触发记录中的触发时间，对获取到的广告触发记录进行区间归类处理，得到用户在多个时间区间的触发广告数量。例如，将一天划分为二十四个时间区间，每个时间区间包括一小时，统计触发时间落入某个时间区间的广告触发记录的数量，作为该时间区间的触发广告数量。然后，服务器将触发广告数量满足数量条件的时间区间确定为推荐时间区间，例如将触发广告数量最多的时间区间确定为推荐时间区间，并在当前时间符合推荐时间区间时，执行向用户推荐目标广告的操作。通过上述方式，根据用户历史的广告触发记录确定合适的推荐时间区间，提升了广告推荐的恰当性，也提升了推荐的目标广告被用户触发的概率。
在一些实施例中，可以通过这样的方式来实现上述的执行向用户推荐目标广告的操作，包括：当目标广告的数量超过推荐时间区间的触发广告数量时，获取每个目标广告的热度数据；根据热度数据对目标广告进行排序，并执行向用户推荐排序后的部分目标广告的操作；其中，部分目标广告的数量等于触发广告数量。
在本发明实施例中，服务器确定出的目标广告的数量可能会超过推荐时间区间的触发广告数量，为了避免因过度推荐而引起用户反感，服务器对目标广告进行进一步筛选。具体地，获取每个目标广告的热度数据，这里的热度数据可以是点击率和转发率的加权结果。根据热度数据对目标广告进行排序，并将排序后的部分目标广告推荐至用户，例如，可按照热度数据从大到小的顺序对目标广告进行排序，并将前S个目标广告推荐至用户，其中，S为推荐时间区间的触发广告数量。通过上述方式，使得推荐的目标广告符合用户的广告触发习惯，提升了用户触发目标广告的概率。
通过发明实施例对于图5的上述示例性实施可知，本发明实施例通过广告推荐模型预测用户对于不同待推荐广告的偏好信息，并根据偏好信息进行广告推荐，提升了广告推荐的准确性，增加了用户触发推荐的广告的概率。
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。
本发明实施例的广告推荐模型可部署于电子设备，电子设备可以是终端设备，例如商场中的广告推荐设备，也可以是云端的服务器，向用户提供远程的广告推荐功能。在进行对广告推荐模型的监控时，电子设备通过采集本地或网络的信息构建用户样本，并通过特征监控的结果，将更为稳定的用户样本作为广告推荐模型的训练样本，从而提升广告推荐模型的训练效果，以及基于广告推荐模型的推荐***的推荐精度。
在广告推荐场景中，用户样本将用于广告推荐模型的训练，而用户样本中特征值的分布将会影响模型训练效果及模型上线后进行广告推荐的效果。本发明实施例提供了如图6和图7所示的特征值分布的示意图，图6和图7对应不同的用户特征种类，在图6及图7中，坐标轴的横轴为用户特征种类对应的特征值，纵轴为包括对应区间的特征值的用户样本在所有用户样本中所占的百分比。
在本发明实施例中，针对相邻两个模型更新周期，采用信息散度确定特征值分布在相邻两个模型更新周期的波动情况。本发明实施例提供了如图8所示的特征监控的一个可选的流程示意图，这里以P表示用户特征种类在前一个模型更新周期的特征值概率分布，以Q表示用户特征种类在后一个模型更新周期，即当前模型更新周期的特征值概率分布，则对于用户特征种类为离散型随机变量的情况，信息散度的计算公式为：
Figure BDA0002390220740000221
枚举类特征即为离散型随机变量，其中，i为特征值，P(i)和Q(i)即为各个离散结果的占比值。
对于用户特征种类为连续型随机变量的情况，信息散度的计算公式为：
Figure BDA0002390220740000231
数值型特征即为连续型随机变量，但根据相关技术提供的方案，无法计算出其中的p(x)和q(x)，导致无法确定出信息散度。
针对于此，在本发明实施例中，首先对每个用户特征种类的特征值进行分位近似处理，得到特征值分位数，本发明实施例对分位近似处理的方式不做限定，例如可通过t-digest算法得到用户特征种类对应的特征值分位数，为了便于理解，后文以特征值分位数为百分位数的情况进行说明。
在得到每个用户特征种类对应的百分位数后，进行分布估算处理，得到用户特征种类对应的分段概率函数。具体地，用户特征种类对应的特征值落在任意百分位数区间的概率一致，均为1/100，因此，构建分段概率函数G(x)，其函数表达式如下：
Figure BDA0002390220740000232
其中，x即用户特征种类对应的特征值，t1即用户特征种类的第1个百分位数，t2即用户特征种类的第2个百分位数，以此类推。
以前一个模型更新周期进行举例，则对于百分位数区间内的任意特征值x，有：
Figure BDA0002390220740000233
这里的i用于描述具体的百分位数，i为大于0的整数。故可通过计算分段概率函数G(x)的被积函数的方式，得到概率密度函数p(x)，该概率密度函数p(x)可用于表示用户特征种类在前一个模型更新周期的特征值概率分布。这里，将p(x)同样看作是一个分段函数，其在各个分段的函数值一定，则p(x)的函数表达式为：
Figure BDA0002390220740000241
概率密度函数q(x)的估算过程与p(x)类似，在此不做赘述。随着分段数量的增加，p(x)和q(x)的估算也会更准确，但是分位数计算的复杂度也会增加，可以根据实际应用场景设定具体的分段方式，如使用百分位数进行计算。
除此之外，由于百分位数估算可能会导致概率密度函数跳跃，因此，在得到百分位数后，可以对差值小于差异阈值的相邻两个百分位数进行合并处理，合并处理的方式可以是仅保留相邻两个百分位数中数值较大的百分位数。另外，在得到的概率密度函数中，还删除极大和极小的函数值，避免因两端区间的概率密度函数的面积过大而对实际分布波动的计算产生不利影响。
在得到用户特征种类在相邻两个模型更新周期的概率密度函数后，便可通过信息散度的计算公式，得到信息散度。最后，对各个用户特征种类进行业务特性归类，将最有可能呈现同样波动水平的特征放在一组进行监控，例如广告点击行为类特征包括用户在不同类型广告下的历史点击率及转发率等，用户基础属性包括用户性别、年龄及所在地等，用户兴趣爱好包括用户的美食记录、金融记录及护肤记录等。对于归类处理得到的同类特征，对同类特征内所有用户特征种类的信息散度进行平均处理，得到平均信息散度，并将平均信息散度作为最终的异常检验值，从而避免了因用户特征种类过多而导致的高误判率和不可读的问题，其中，同类特征即对应上文的监控类。
本发明实施例通过计算信息散度，并根据信息散度进行特征稳定性监控，能够提升对特征值分布波动的敏感程度，对此，发明人进行了实验验证。本发明实施例提供了如图9所示的正常波动的百分位数示意图，其中，实线表示用户特征种类在前一个模型更新周期的百分位数，虚线表示用户特征种类在后一个模型更新周期的百分位数，坐标轴的横轴表示第几个百分位数，纵轴表示百分位数的具体数值，在图9中，实线和虚线基本重合，即用户特征种类在相邻两个模型更新周期的特征值分布波动较小。本发明实施例提供了如图10所示的异常波动的百分位数示意图，在图10中，用户特征种类在相邻两个模型更新周期的特征值分布波动较大，即产生了异常波动。
分别计算正常波动(图9)和异常波动(图10)情况下的信息散度和PSI指标，可以得到下表：
指标 正常波动 异常波动 指标差异
信息散度 0.002 0.5 24900.00％
PSI 0.009 0.02 122.22％
根据该表可以确定，信息散度在异常波动情况下的增幅(指标差异)显著大于PSI，因此使用信息散度能够更准确地捕捉到异常，提升异常波动的召回率。可见，通过本发明实施例，能够提升特征监控效果以及模型训练的效果，当电子设备在各种应用场景中通过广告推荐模型进行广告推荐时，能够实现广告推荐的精度和效率的显著提升，提升广告的转化率以及用户体验。
下面继续说明本发明实施例提供的广告推荐模型的监控装置455实施为软件模块的示例性结构，在一些实施例中，如图2A所示，存储在存储器450的广告推荐模型的监控装置455中的软件模块可以包括：样本获取模块4551，用于针对相邻两个模型更新周期，获取在每个模型更新周期训练广告推荐模型推荐广告时能够使用的用户样本；分位数确定模块4552，用于确定用户样本对应用户特征种类的特征值分位数；分布估算模块4553，用于根据特征值分位数进行分布估算处理，得到用户特征种类对应每个模型更新周期的特征值概率分布；差异度量模块4554，用于对相邻两个模型更新周期的特征值概率分布之间的差异进行度量处理，得到用户特征种类对应的信息散度；样本选取模块4555，用于根据信息散度，从相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本；其中，训练样本用于对广告推荐模型进行训练；训练后的广告推荐模型用于预测用户对应不同待推荐广告的偏好信息。
在一些实施例中，分位数确定模块4552，还用于：对用户样本对应用户特征种类的特征值进行分位近似处理，得到N分位数；其中，N为大于1的整数；
分布估算模块4553，还用于：构建与N分位数对应的分段概率函数；将分段概率函数的被积函数，确定为用户特征种类对应模型更新周期的特征值概率分布。
在一些实施例中，分位数确定模块4552，还用于：确定相邻的两个N分位数之间的差值；当差值小于差异阈值时，对相邻的两个N分位数进行合并处理；
分布估算模块4553，还用于：确定特征值概率分布中每一个分段的函数值，并去除满足极值条件的函数值。
在一些实施例中，样本选取模块4555，还用于：当信息散度未超过波动阈值时，将相邻两个模型更新周期中后一个模型更新周期对应的用户样本，确定为训练样本；当信息散度超过波动阈值时，将相邻两个模型更新周期中前一个模型更新周期对应的用户样本，确定为训练样本。
在一些实施例中，样本选取模块4555，还用于：对用户特征种类进行归类处理，得到监控类；对监控类内的用户特征种类的信息散度进行平均处理，得到平均信息散度；根据平均信息散度，从相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本。
在一些实施例中，差异度量模块4554，还用于：确定前一个模型更新周期的特征值概率分布与后一个模型更新周期的特征值概率分布之间的交叉熵；确定前一个模型更新周期的特征值概率分布的信息熵；将交叉熵减去信息熵，得到用户特征种类对应的信息散度。
在一些实施例中，广告推荐模型的监控装置455还包括：样本组合模块，用于将训练样本中的用户特征值与广告特征值进行组合，得到组合特征值；其中，广告特征值是推荐至用户的广告的特征值；样本预测模块，用于通过广告推荐模型，对组合特征值进行预测处理，得到待对比的偏好信息；更新模块，用于根据待对比的偏好信息与训练样本中的样本偏好信息之间的差异，在广告推荐模型中进行反向传播，并在反向传播的过程中，更新广告推荐模型的权重参数。
下面继续说明本发明实施例提供的基于广告推荐模型的推荐装置243实施为软件模块的示例性结构，在一些实施例中，如图2B所示，存储在存储器240的基于广告推荐模型的推荐装置243中的软件模块可以包括：特征获取模块2431，用于获取与用户特征种类对应的用户特征值，并获取多个待推荐广告的广告特征值；组合模块2432，用于将用户特征值与广告特征值进行组合，得到组合特征值；预测模块2433，用于通过广告推荐模型，对组合特征值进行预测处理，得到偏好信息；推荐模块2434，用于当偏好信息满足推荐条件时，执行推荐偏好信息对应的待推荐广告的操作。
在一些实施例中，基于广告推荐模型的推荐装置243还包括：第一条件模块，用于当偏好信息用于表示用户针对待推荐广告的触发结果时，将表示进行触发的偏好信息，确定为满足推荐条件的偏好信息；第二条件模块，用于当偏好信息用于表示用户针对待推荐广告的触发时长时，将表示的触发时长超过时长阈值的偏好信息，确定为满足推荐条件的偏好信息。
在一些实施例中，推荐模块2434，还用于：将满足推荐条件的偏好信息对应的待推荐广告，确定为目标广告；获取用户的广告触发记录；根据广告触发记录中的触发时间，对广告触发记录进行区间归类处理，得到用户在多个时间区间的触发广告数量；将触发广告数量满足数量条件的时间区间确定为推荐时间区间，并在当前时间符合推荐时间区间时，执行向用户推荐目标广告的操作。
在一些实施例中，推荐模块2434，还用于：当目标广告的数量超过推荐时间区间的触发广告数量时，获取每个目标广告的热度数据；根据热度数据对目标广告进行排序，并执行向用户推荐排序后的部分目标广告的操作；其中，部分目标广告的数量等于触发广告数量。
本发明实施例提供一种计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的方法，例如，如图4A、图4B或图4C示出的广告推荐模型的监控方法，或如图5示出的基于广告推荐模型的推荐方法。值得说明的是，计算机包括终端设备和服务器在内的各种计算设备。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件***中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上，通过本发明实施例能够实现以下技术效果：
1)在用户特征种类为连续型随机变量时，通过先求取特征值分位数，再构建分段函数及求被积函数，得到概率密度函数，实现了信息散度的有效估算，克服了信息散度无法计算的困难。
2)信息散度对于用户特征种类的特征值分布波动更加敏感，根据信息散度进行特征稳定性监控，能够在上线前准确地捕捉到异常并及时处理，提升模型训练的效果及进行广告推荐的准确性，保证业务线上运营质量。
3)对用户特征种类进行归类处理，并根据整个类别的平均信息散度来进行特征监控，使得监控指标的可读性大大提高，同时降低了异常误判率。
以上，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (15)

1.一种广告推荐模型的监控方法，其特征在于，包括：
针对相邻两个模型更新周期，获取在每个所述模型更新周期训练广告推荐模型推荐广告时能够使用的用户样本；
确定所述用户样本对应用户特征种类的特征值分位数；
根据所述特征值分位数进行分布估算处理，得到所述用户特征种类对应每个所述模型更新周期的特征值概率分布；
对所述相邻两个模型更新周期的特征值概率分布之间的差异进行度量处理，得到所述用户特征种类对应的信息散度；
根据所述信息散度，从所述相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本；
其中，所述训练样本用于对所述广告推荐模型进行训练；训练后的所述广告推荐模型用于预测用户对应不同待推荐广告的偏好信息。
2.根据权利要求1所述的监控方法，其特征在于，
所述确定所述用户样本对应用户特征种类的特征值分位数，包括：
对所述用户样本对应用户特征种类的特征值进行分位近似处理，得到N分位数；其中，所述N为大于1的整数；
所述根据所述特征值分位数进行分布估算处理，得到所述用户特征种类对应每个所述模型更新周期的特征值概率分布，包括：
构建与所述N分位数对应的分段概率函数；
将所述分段概率函数的被积函数，确定为所述用户特征种类对应所述模型更新周期的特征值概率分布。
3.根据权利要求2所述的监控方法，其特征在于，
所述对所述用户样本对应用户特征种类的特征值进行分位近似处理，得到N分位数之后，还包括：
确定相邻的两个N分位数之间的差值；
当所述差值小于差异阈值时，对所述相邻的两个N分位数进行合并处理；
所述将所述分段概率函数的被积函数，确定为所述用户特征种类对应所述模型更新周期的特征值概率分布之后，还包括：
确定所述特征值概率分布中每一个分段的函数值，并去除满足极值条件的函数值。
4.根据权利要求1所述的监控方法，其特征在于，所述根据所述信息散度，从所述相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本，包括：
当所述信息散度未超过波动阈值时，将所述相邻两个模型更新周期中后一个模型更新周期对应的用户样本，确定为训练样本；
当所述信息散度超过所述波动阈值时，将所述相邻两个模型更新周期中前一个模型更新周期对应的用户样本，确定为训练样本。
5.根据权利要求1所述的监控方法，其特征在于，所述根据所述信息散度，从所述相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本，包括：
对所述用户特征种类进行归类处理，得到监控类；
对所述监控类内的所述用户特征种类的信息散度进行平均处理，得到平均信息散度；
根据所述平均信息散度，从所述相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本。
6.根据权利要求1所述的监控方法，其特征在于，所述对所述相邻两个模型更新周期的特征值概率分布之间的差异进行度量处理，得到所述用户特征种类对应的信息散度，包括：
确定前一个模型更新周期的特征值概率分布与后一个模型更新周期的特征值概率分布之间的交叉熵；
确定所述前一个模型更新周期的特征值概率分布的信息熵；
将所述交叉熵减去所述信息熵，得到所述用户特征种类对应的信息散度。
7.根据权利要求1至6任一项所述的监控方法，其特征在于，还包括：
将所述训练样本中的用户特征值与广告特征值进行组合，得到组合特征值；其中，所述广告特征值是推荐至用户的广告的特征值；
通过所述广告推荐模型，对所述组合特征值进行预测处理，得到待对比的偏好信息；
根据所述待对比的偏好信息与所述训练样本中的样本偏好信息之间的差异，在所述广告推荐模型中进行反向传播，并
在反向传播的过程中，更新所述广告推荐模型的权重参数。
8.一种基于权利要求1至7任一项所述的广告推荐模型的推荐方法，其特征在于，包括：
获取与用户特征种类对应的用户特征值，并获取多个待推荐广告的广告特征值；
将所述用户特征值与所述广告特征值进行组合，得到组合特征值；
通过所述广告推荐模型，对所述组合特征值进行预测处理，得到偏好信息；
当所述偏好信息满足推荐条件时，执行推荐所述偏好信息对应的待推荐广告的操作。
9.根据权利要求8所述的推荐方法，其特征在于，还包括：
当所述偏好信息用于表示用户针对待推荐广告的触发结果时，将表示进行触发的所述偏好信息，确定为满足推荐条件的所述偏好信息；
当所述偏好信息用于表示用户针对待推荐广告的触发时长时，将表示的触发时长超过时长阈值的所述偏好信息，确定为满足推荐条件的所述偏好信息。
10.根据权利要求8所述的推荐方法，其特征在于，所述执行推荐所述偏好信息对应的待推荐广告的操作，包括：
将满足所述推荐条件的所述偏好信息对应的待推荐广告，确定为目标广告；
获取用户的广告触发记录；
根据所述广告触发记录中的触发时间，对所述广告触发记录进行区间归类处理，得到所述用户在多个时间区间的触发广告数量；
将触发广告数量满足数量条件的时间区间确定为推荐时间区间，并
在当前时间符合所述推荐时间区间时，执行向所述用户推荐所述目标广告的操作。
11.根据权利要求10所述的推荐方法，其特征在于，所述执行向所述用户推荐所述目标广告的操作，包括：
当所述目标广告的数量超过所述推荐时间区间的触发广告数量时，获取每个所述目标广告的热度数据；
根据所述热度数据对所述目标广告进行排序，并执行向所述用户推荐排序后的部分目标广告的操作；
其中，所述部分目标广告的数量等于所述触发广告数量。
12.一种广告推荐模型的监控装置，其特征在于，包括：
样本获取模块，用于针对相邻两个模型更新周期，获取在每个所述模型更新周期训练广告推荐模型推荐广告时能够使用的用户样本；
分位数确定模块，用于确定所述用户样本对应用户特征种类的特征值分位数；
分布估算模块，用于根据所述特征值分位数进行分布估算处理，得到所述用户特征种类对应每个所述模型更新周期的特征值概率分布；
差异度量模块，用于对所述相邻两个模型更新周期的特征值概率分布之间的差异进行度量处理，得到所述用户特征种类对应的信息散度；
样本选取模块，用于根据所述信息散度，从所述相邻两个模型更新周期分别对应的用户样本中选取用户样本以作为训练样本；
其中，所述训练样本用于对所述广告推荐模型进行训练；训练后的所述广告推荐模型用于预测用户对应不同待推荐广告的偏好信息。
13.一种基于广告推荐模型的推荐装置，其特征在于，包括：
特征获取模块，用于获取与用户特征种类对应的用户特征值，并获取多个待推荐广告的广告特征值；
组合模块，用于将所述用户特征值与所述广告特征值进行组合，得到组合特征值；
预测模块，用于通过所述广告推荐模型，对所述组合特征值进行预测处理，得到偏好信息；
推荐模块，用于当所述偏好信息满足推荐条件时，执行推荐所述偏好信息对应的待推荐广告的操作。
14.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至7任一项所述的广告推荐模型的监控方法，或权利要求8至11任一项所述的基于广告推荐模型的推荐方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至7任一项所述的广告推荐模型的监控方法，或权利要求8至11任一项所述的基于广告推荐模型的推荐方法。
CN202010111646.2A 2020-02-24 2020-02-24 广告推荐模型的监控方法、推荐方法及装置 Active CN111340540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010111646.2A CN111340540B (zh) 2020-02-24 2020-02-24 广告推荐模型的监控方法、推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010111646.2A CN111340540B (zh) 2020-02-24 2020-02-24 广告推荐模型的监控方法、推荐方法及装置

Publications (2)

Publication Number Publication Date
CN111340540A true CN111340540A (zh) 2020-06-26
CN111340540B CN111340540B (zh) 2023-06-06

Family

ID=71183612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010111646.2A Active CN111340540B (zh) 2020-02-24 2020-02-24 广告推荐模型的监控方法、推荐方法及装置

Country Status (1)

Country Link
CN (1) CN111340540B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116159A (zh) * 2020-09-21 2020-12-22 贝壳技术有限公司 信息交互方法、装置、计算机可读存储介质及电子设备
CN112150199A (zh) * 2020-09-21 2020-12-29 北京小米松果电子有限公司 垂类特征的确定方法及装置、存储介质
CN117422508A (zh) * 2023-10-24 2024-01-19 上海网萌网络科技有限公司 一种基于大数据的智能化投放分析***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631707A (zh) * 2015-12-23 2016-06-01 北京奇虎科技有限公司 基于决策树的广告点击率预估方法与应用推荐方法及装置
CN107657487A (zh) * 2017-10-19 2018-02-02 厦门美柚信息科技有限公司 一种基于校验的广告投放方法及装置
CN107657486A (zh) * 2017-10-19 2018-02-02 厦门美柚信息科技有限公司 一种广告投放方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631707A (zh) * 2015-12-23 2016-06-01 北京奇虎科技有限公司 基于决策树的广告点击率预估方法与应用推荐方法及装置
CN107657487A (zh) * 2017-10-19 2018-02-02 厦门美柚信息科技有限公司 一种基于校验的广告投放方法及装置
CN107657486A (zh) * 2017-10-19 2018-02-02 厦门美柚信息科技有限公司 一种广告投放方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TING-JIA WU ET AL: "《A study of mobile advertisement recommendation using real big data from AdLocus》", 《2016 IEEE 5TH GLOBAL CONFERENCE ON CONSUMER ELECTRONICS》 *
郁豹等: "《基于DeepFM模型的广告推荐***研究》", 《计算机软件及计算机应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116159A (zh) * 2020-09-21 2020-12-22 贝壳技术有限公司 信息交互方法、装置、计算机可读存储介质及电子设备
CN112150199A (zh) * 2020-09-21 2020-12-29 北京小米松果电子有限公司 垂类特征的确定方法及装置、存储介质
CN112116159B (zh) * 2020-09-21 2021-08-27 贝壳找房(北京)科技有限公司 信息交互方法、装置、计算机可读存储介质及电子设备
CN117422508A (zh) * 2023-10-24 2024-01-19 上海网萌网络科技有限公司 一种基于大数据的智能化投放分析***及方法

Also Published As

Publication number Publication date
CN111340540B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN110781321B (zh) 一种多媒体内容推荐方法及装置
CN111340540B (zh) 广告推荐模型的监控方法、推荐方法及装置
JP6547070B2 (ja) プッシュ情報粗選択ソーティングの方法、デバイス、およびコンピュータ記憶媒体
US8401899B1 (en) Grouping user features based on performance measures
CN111242310A (zh) 特征有效性评估方法、装置、电子设备及存储介质
US11481811B2 (en) Electronic device and method for controlling same
US11726891B1 (en) Real-time IoT device reliability maintenance system and method
US20170255689A1 (en) Method and system for recommending one or more events based on mood of a person
CN113015010B (zh) 推送参数确定方法、装置、设备及计算机可读存储介质
US10304070B2 (en) Systems and methods for reward prediction and offer selection
US20140123311A1 (en) Progressive unlocking of e-book content
CN109299356A (zh) 基于大数据的活动推荐方法、装置、电子设备及存储介质
US20160292706A1 (en) Systems and methods for offer selection and reward distribution learning
CN111429161A (zh) 特征提取方法、特征提取装置、存储介质及电子设备
CN110169021B (zh) 用于过滤多条消息的方法和设备
WO2019133164A1 (en) System and method for recommending features for content presentations
CN113254761A (zh) 特定行为信息智能预警***及方法
Li et al. Predicting teenager's future stress level from micro-blog
JPWO2021048902A1 (ja) 学習モデル適用システム、学習モデル適用方法、及びプログラム
CN115809889A (zh) 基于营销效果的智能客群筛选方法、***、介质及设备
CN116956009A (zh) 一种数据处理方法及相关装置
CN115641198A (zh) 用户运营方法、装置、电子设备和存储介质
CN112818231A (zh) 信息投放方法、装置、电子设备及存储介质
CN115221663A (zh) 数据处理方法、装置、设备及计算机可读存储介质
US20210334321A1 (en) Electronic device and control method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024201

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant