CN111737646A

CN111737646A - 广告推广的效果评估数据处理方法、***和存储介质

Info

Publication number: CN111737646A
Application number: CN202010413678.8A
Authority: CN
Inventors: 梁国盛; 刘恒; 敖日明; 温嘉铭; 王春雷
Original assignee: Guangzhou Xiaomai Network Technology Co ltd
Current assignee: Guangzhou Xiaomai Network Technology Co ltd
Priority date: 2020-05-15
Filing date: 2020-05-15
Publication date: 2020-10-02
Anticipated expiration: 2040-05-15
Also published as: CN111737646B

Abstract

本发明公开了一种广告推广的效果评估数据处理方法、***和存储介质，所述方法包括以下步骤：获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数；根据所述广告渠道信息获取广告单价信息；根据所述广告单价信息、所述广告点击次数和所述广告曝光次数预测广告总价信息；根据所述广告总价信息和所述用户信息计算每用户平均收入信息；根据所述每用户平均收入信息评估广告推广效果。本发明能够提高数据采集的时效性，以及提高广告推广效果评估的时效性。本发明可广泛应用于大数据技术领域。

Description

广告推广的效果评估数据处理方法、***和存储介质

技术领域

本发明涉及大数据技术领域，尤其是一种广告推广的效果评估数据处理方法、***和存储介质。

背景技术

广告是指把自己的产品、服务、技术、文化和事迹等等通过报刊、广播、电视或者网络进行推广，以让更多的人和组织机构了解、接受，达到宣传、普及的目的。

随着移动互联网的迅猛发展，广告的市场竞争也越发激烈，各种类型的APP在获取需要进行广告宣传的新用户越来越困难，昂贵的拓客成本和有限的广告收入使得许多广告入不敷出。现有技术中，市场人员通过统计***来监控推广效果，然而这种方式需要大量的推广优化人员，效率较低。作为广告投放效果评估的重要指标-投资回报率，但是，投资回报率中的广告产生的收入并不能及时看到，需要等到第二天数据回传才能计算出来，从而严重影响推广评估的时效性。

发明内容

为了能在一定程度上解决上述技术问题之一，本发明的目的在于：提供一种广告推广的效果评估数据处理方法、***和存储介质，其能有效提高广告推广效果评估的时效性。

本发明实施例的第一方面提供了：

一种广告推广的效果评估数据处理方法，包括以下步骤：

获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数；

根据所述广告渠道信息获取广告单价信息；

根据所述广告单价信息、所述广告点击次数和所述广告曝光次数预测广告总价信息；

根据所述广告总价信息和所述用户信息计算每用户平均收入信息；

根据所述每用户平均收入信息评估广告推广效果。

进一步地，通过预测模型根据所述广告单价信息、所述广告点击次数和所述广告曝光次数预测广告总价信息，所述预测模型在进行预测之前，还包括以下训练步骤：

获取用户信息、广告渠道信息、广告点击次数、广告曝光次数、广告单价信息和广告总价信息；

将所述用户信息、广告渠道信息、广告点击次数、广告曝光次数、广告单价信息作为预测模型的输入信息，将所述广告总价信息作为预测模型的输出信息；

通过所述输入信息和输出信息训练所述预测模型。

进一步地，所述预测模型包括线性模型和树形模型，所述根据所述广告单价信息、所述广告点击次数和所述广告曝光次数预测广告总价信息，包括：

根据所述广告单价信息、所述广告点击次数和所述广告曝光次数通过线性模型预测第一广告子总价信息；

根据所述广告单价信息、所述广告点击次数和所述广告曝光次数通过树形模型预测第二广告子总价信息；

将所述第一广告子总价信息和所述第二广告子总价信息聚合，生成广告总价信息。

进一步地，所述获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，其具体为：

获取第一预设时间段内实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，所述第一预设时间段为小于24小时的时间范围。

间隔第二预设时间段实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数。

进一步地，所述获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，包括：

获取实时采集的用户信息；

获取符合预设要求的所述用户信息对应的实时采集的广告渠道信息、广告点击次数和广告曝光次数。

进一步地，在所述获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数这一步骤后，还包括以下步骤：

对所述实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数进行过滤。

本发明实施例的第二方面提供了：

一种广告推广的效果评估数据处理***，包括：

第一获取模块，用于获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数；

第二获取模块，用于根据所述广告渠道信息获取广告单价信息；

预测模块，用于根据所述广告单价信息、所述广告点击次数和所述广告曝光次数预测广告总价信息；

计算模块，用于根据所述广告总价信息和所述用户信息计算每用户平均收入信息；

评估模块，用于根据所述每用户平均收入信息评估广告推广效果。

本发明实施例的第三方面提供了：

一种广告推广的效果评估数据处理***，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于加载所述程序以执行所述的一种广告推广的效果评估数据处理方法。

本发明实施例的第四方面提供了：

一种计算机可读存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现所述的一种广告推广的效果评估数据处理方法。

本发明实施例的有益效果是：本发明实施例通过获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，并根据所述广告渠道信息获取广告单价信息，接着根据所述广告单价信息、所述广告点击次数和所述广告曝光次数预测广告总价信息，然后根据所述广告总价信息和所述用户信息计算每用户平均收入信息，最后根据所述每用户平均收入信息评估广告推广效果，从而提高数据采集的时效性，以提高广告推广效果评估的时效性。

附图说明

图1为本发明一种具体实施例的广告推广的效果评估数据处理方法的流程图；

图2为本发明一种具体实施例的应用***的模块框图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

首先，对本申请出现的名词进行解释：

ARPU：每用户平均收入，其指某渠道新用户所产生的收入与该渠道新增人数的比值。

现有的APP广告按类型可以分为展示广告、搜索广告和下载广告。不同广告不同平台的广告击飞方式都不相同，常见的计费方式包括：

CPM：Cost Per Thousand Impression，千人影响成本，用于信息流广告的计价。

CPC：Cost Per Click，单次点击费用，用于展示广告的计价。

CPA：Cost Per Action，单次转化费用，用户App下载、产品使用回单等需要明确转化动作的推广广告的计价。

CPT：Cost Per Time，单位时长费用，用于垂直行业平台展示广告位的计价，类似地铁广告、电梯广告等户外广告也是这种类型。

CPS：Cost Per Sale，销售佣金模式，用于折扣类站点、促销类产品，直接依照销售转化对推广平台分成。作为需求方，如果推广效果能够比较准确的计量与评估，将会节省大量的曝光成本，从而整体上提高平台的收入。广告的收入由广告供应商提供结算，通过广告计费方式预估广告位渠道的收入结合相应的成本决定某渠道是否买入流量，预估收入需要建立收入和特征等指标的模型，根据训练好的模型和特征指标数据预估出收入，其中，特征包括点击数、曝光数、广告位、广告素材和平台。

参照图1，本发明实施例提供了一种广告推广的效果评估数据处理方法，本实施例可应用于控制服务器，所述控制服务器可分别与数据采集端、数据存储端和数据处理端通信。

本实施包括步骤S11-S15：

S11、获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数；本步骤中的用户信息、广告渠道信息、广告点击次数和广告曝光次数是通过数据采集端对各个广告推广APP进行采集得到的数据。数据采集端采集到的数据保存在数据存储端，以降低数据采集端的工作量。

在一些实施例中，上述获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，其具体包括：

获取实时采集的用户信息；该用户信息是在APP平台上点击、查看或者浏览了对应的广告信息的能够识别查看者身份的信息。

获取符合预设要求的所述用户信息对应的实时采集的广告渠道信息、广告点击次数和广告曝光次数。该预设要求可以用于判断该用户信息是否该APP内新增的用户信息。

本实施例通过采集的符合预设要求的用户信息来获取对应的实时采集的广告渠道信息、广告点击次数和广告曝光次数，从而使得后续广告推广效果的评估更加准确。

在一些实施例中，上述获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，其具体为：

获取第一预设时间段内实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，该第一预设时间段为小于24小时的时间范围。具体是获取当前时刻之前的预设时间段内的所有数据。即使在当前预设时间段内的数据被前一次获取过，当次也会再次获取该数据，从而避免数据遗漏。

在一些实施例中，上述获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，还可以为：

间隔第二预设时间段实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数。该第二预设时间段可以为5分钟、10分钟或者15分钟。本实施是当次获取数据失败后，与当次获取数据的时间点间隔第二预设时间段再次获取数据，避免间隔时间过长，导致数据统计遗漏。

在一些实施例中，在上述获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数这一步骤后，还包括以下步骤：

对上述实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数进行过滤。本实施具体是过滤冗余数据，以降低数据存储单元的数据处理量。

S12、根据上述广告渠道信息获取广告单价信息；该广告单价信息是与每个广告推广APP的类型、广告类型以及和广告推广方式类型对应。该广告渠道信息包含广告推广APP的类型、广告类型以及和广告推广方式类型。该广告单价信息可以为ARPU、CPM、CPC、CPA、CPT和CPS。

S13、根据上述广告单价信息、上述广告点击次数和上述广告曝光次数预测广告总价信息；

在一些实施例中，通过预测模型根据上述广告单价信息、上述广告点击次数和上述广告曝光次数预测广告总价信息，该预测模型在进行预测之前，还包括以下训练步骤：

获取用户信息、广告渠道信息、广告点击次数、广告曝光次数、广告单价信息和广告总价信息；该步骤中的用户信息、广告渠道信息、广告点击次数、广告曝光次数、广告单价信息和广告总价信息可以是实时采集的数据，也可以是预先存在在数据存储端的数据，还可以是实时采集的数据和之前采集存储在数据存储端的数据。

将上述用户信息、广告渠道信息、广告点击次数、广告曝光次数、广告单价信息作为预测模型的输入信息，将上述广告总价信息作为预测模型的输出信息；具体地，是将上述用户信息、广告渠道信息、广告点击次数、广告曝光次数、广告单价信息分别保存到多个训练集的输入子集内，将上述广告总价信息保存到与前述的输入子集对应的输出子集内。

通过所述输入信息和输出信息训练所述预测模型。具体是分别通过上述的输入子集和输出子集分别对预测模型进行训练，以提高预测模型的输出结果的准确性。

在一些实施例中，上述预测模型包括线性模型和树形模型，上述根据广告单价信息、广告点击次数和广告曝光次数预测广告总价信息，其具体包括以下步骤：

本实施例通过采用两种模式进行总价信息的预测，然后再将两个预测结果进行融合后作为当次预测的广告总价信息，从而降低单一预测模型导致的预测误差。

S14、根据上述广告总价信息和上述用户信息计算每用户平均收入信息；本步骤具体是计算新增用户对应的每用户平均收入信息。

S15、根据上述每用户平均收入信息评估广告推广效果。具体是通过新增用户对应的每用户平均收入信息来评估广告推广效果。

综上所述，上述实施例通过获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，并根据所述广告渠道信息获取广告单价信息，接着根据所述广告单价信息、所述广告点击次数和所述广告曝光次数预测广告总价信息，然后根据所述广告总价信息和所述用户信息计算每用户平均收入信息，最后根据所述每用户平均收入信息评估广告推广效果，从而提高数据采集的时效性，以提高广告推广效果评估的时效性。

在一些实施例中，上述实施例还可应用到如图2所示***内，图2所示***与控制服务器通信，具体地，图2***的工作原理包括：

数据采集端，用于采集用户相关信息，广告渠道相关信息、用户事件的埋点信息和广告收入相关数据，其中，用户事件的埋点信息包括点击事件、曝光事件和登录事件。

数据存储端可以使用阿里云的大数据处理服务的Maxcompute，用于构建完整的数据仓库。首先将数据采集端收集到的数据同步进Maxcompute，对同步过来的数据进行清洗，去除异常数据，然后再从各个维度汇总出一些粗粒度的数据或者宽表，其具体包括：

第一步、当用户数据中用户本身的数据较少，只有一些设备号、注册时间、手机型号等数据，但用户是来源于渠道，将用户和渠道进行关联以将渠道的属性数据赋予用户，得到用户宽表。

第二步、当对用户的行为数据、点击数和曝光数根据渠道进行聚合，得到渠道粒度的点击数和曝光数。

预测模型训练端，用于从数据存储端获取样本数据，通过样本数据对预测模型机械能训练，其中，样本数据包含每个渠道每个广告位的点击数、曝光数、收入和每个渠道的新增人数以及渠道的创意、素材类型、平台类型、产品类型、操作***类型，收入作为预测模型的输出数据，其他信息作为预测模型的输入数据。

模型预测端，用于从数据存储端获取实时数据，通过实时数据预测当天的广告推广收入。其中，实时数据的信息为样本数据的输入数据，即样本数据内去除收入数据的剩余数据。在预测过程中，每小时预测一次，为了保障数据的完整性，避免数据采集端的数据产生延时，采用推迟一小时抽取，以及为防止每个小时间隙会掉数据，采取每次抽取当天的全量数据，但数据量太大使抽取时间太长，因此，将数据获取口径缩到最小，即只抽取和新用户有关的行为数据。当时间接近当天23点时，将输入数据和当天样本做比较，助于分析预测模型误差的原因。

在预测模型训练过程中，通过分别训练线性模型和树形模型。其中，线性模型和现有方案比较相似，都是假设收入与点击数是成比例的，不同的是本实施的线性模型参考了前一天的点击单价，还参考前两天的点击单价，且引入更多的维度，例如，平台类型、产品类型和广告创意等，从而可以一定程度的减轻现有方案的缺陷。树形模型是直接用一个星期的样本训练梯度提升树模型，将一个星期的样本数据的最后一天分割出来作为测试，前几天的数据用作训练，采用rmse和R²值来评价模型的训练和测试效果，通过多次迭代最终使误差收敛。线性模型有一定准确性，但是受波动的影响会比较大，对空缺值比较敏感，表现出的状况是一会儿是准确的，一会儿又不太准。而树形模型的泛化能力较好，体现在对输入数据的波动适应较好，但准确性还不及线性模型的。本实施例通过将两种模型融合起来，依据各自的特点优势互补，从而取得的效果优于两种单独的模型。

在模型预测模块中，首先根据分区参数从数据存储端下载实时数据，若下载数据失败，则推送报警消息并等候5分钟后继续下载，如此循环10次直到下载成功，下载成功后读取数据到内存，进行一定的预处理后作为预测模型的输入数据，预测模型训练端中输出的模型将以文本文件保存，在预测模块中加载最新的模型文件，将输入数据代入模型运算即能得到预测结果，结果数据会进行一定的格式转换然后***到Adb数据库，同时也会上传一份到Maxcompute。

其中，Adb数据库为AnalyticDB分析型数据库，其能全面兼容MySQL协议和SQL2003，可以像MySQL一样使用，融合了分布式、弹性计算与云计算的优势，对规模性、易用性、可靠性和安全性等方面进行了大规模的改进，以满足不同场景实时数据仓库的需求，并支持更大规模的并发访问、更快读写能力以及更智能的混合查询负载管理等。

此外，在图2***内，还设有定时调度和冗余数据处理端，定时调度端主要以***crontab实现，被调用的模块之间的依赖关系在各自的脚本中有相关逻辑实现。冗余数据清理会删除一星期前的数据，由于所有数据都会带上日期和小时的标识，直接根据标识即可清除无用的数据。

在一些实施例中，上述方法实施例在图2所示***中的应用过程为：

首先，下载样本数据，样本数据需要预处理，对于空缺值比较多的特征舍弃整列，数值型特征都转换为浮点数类型，例如，收入、点击数、曝光数和新增人数，类别型特征都需要编码成onehot形式，例如，产品类型、平台类型、广告位、素材类型和创意类型，其原因是因为类别型特征是定性的数据不能比较大小，也就不能参与到运算，比如“产品类型”一共有三种产品(A，B，C)，那产品类型特征将被分解为3个特征：“是否为产品A”、“是否为产品B”、以及“是否为产品C”，利用lightgbm工具包，直接将编码后的数据输入到梯度提升树模型训练，训练完得到的树形模型保存为文本文件，并以日期小时命名备用。而线形模型是建立在各广告的收入与点击呈线性关系的假设基础上，线性模型的误差会受到点击单价的波动影响，而点击单价的波动并没有收集到相关的特征数据；对于广告位粒度，定义一个指标Q，Q＝mean(|c(i)-c(i-1)|)，其中c(i)表示第i天的点击单价，Q定义为第i天的单价与第i-1天的单价的差的绝对值的平均值，比较不同广告位Q值就可以衡量不同广告位单价的波动程度，通过动态观察各广告位的Q值，若某广告位的点击单价最近两天的偏差绝对值大于Q值，则丢弃该广告位点击单价的参考作用，而选择用树形模型进行预测。若近两天的点击单价的偏差绝对值都小于Q值，则选择用此单价作为参考单价用线性模型进行预测。最后把两种模型的预测结果按渠道聚合起来即得到收入的预测结果，以改善现有模型的缺陷。

本发明实施例提供了一种与图1方法相对应的广告推广的效果评估数据处理***，包括：

本发明方法实施例的内容均适用于本***实施例，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。

本发明实施例提供了一种广告推广的效果评估数据处理***，包括：

至少一个存储器，用于存储程序；

此外，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现所述的一种广告推广的效果评估数据处理方法。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种广告推广的效果评估数据处理方法，其特征在于，包括以下步骤：

根据所述广告渠道信息获取广告单价信息；

根据所述每用户平均收入信息评估广告推广效果。

2.根据权利要求1所述的一种广告推广的效果评估数据处理方法，其特征在于，通过预测模型根据所述广告单价信息、所述广告点击次数和所述广告曝光次数预测广告总价信息，所述预测模型在进行预测之前，还包括以下训练步骤：

通过所述输入信息和输出信息训练所述预测模型。

3.根据权利要求2所述的一种广告推广的效果评估数据处理方法，其特征在于，所述预测模型包括线性模型和树形模型，所述根据所述广告单价信息、所述广告点击次数和所述广告曝光次数预测广告总价信息，包括：

4.根据权利要求1所述的一种广告推广的效果评估数据处理方法，其特征在于，所述获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，其具体为：

5.根据权利要求4所述的一种广告推广的效果评估数据处理方法，其特征在于，所述获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，其具体为：

6.根据权利要求1所述的一种广告推广的效果评估数据处理方法，其特征在于，所述获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数，包括：

获取实时采集的用户信息；

7.根据权利要求1所述的一种广告推广的效果评估数据处理方法，其特征在于，在所述获取实时采集的用户信息、广告渠道信息、广告点击次数和广告曝光次数这一步骤后，还包括以下步骤：

8.一种广告推广的效果评估数据处理***，其特征在于，包括：

9.一种广告推广的效果评估数据处理***，其特征在于，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于加载所述程序以执行如权利要求1-7任一项所述的一种广告推广的效果评估数据处理方法。

10.一种计算机可读存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-7任一项所述的一种广告推广的效果评估数据处理方法。