CN112734502A - 一种多媒体信息定向投放的测试方法、装置和电子设备 - Google Patents
一种多媒体信息定向投放的测试方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112734502A CN112734502A CN202110332445.XA CN202110332445A CN112734502A CN 112734502 A CN112734502 A CN 112734502A CN 202110332445 A CN202110332445 A CN 202110332445A CN 112734502 A CN112734502 A CN 112734502A
- Authority
- CN
- China
- Prior art keywords
- account
- test
- experimental
- directional
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 472
- 238000012384 transportation and delivery Methods 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000002474 experimental method Methods 0.000 claims description 89
- 230000000694 effects Effects 0.000 claims description 83
- 230000008859 change Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 230000006872 improvement Effects 0.000 claims description 2
- 230000008685 targeting Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000003631 expected effect Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000010992 reflux Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种多媒体信息定向投放的测试方法、装置和电子设备，涉及广告投放领域。获取基于对各个测试账户划分得到的实验账户集合和对照账户集合；接收各个测试账户发送的信息召回请求，每接收到一个信息召回请求，若信息召回请求中携带群组标识或原始定向投放账户的标识，则生成包含目标多媒体信息的候选推荐信息，并基于候选推荐信息向相应的测试账户发送推荐信息；从各个测试账户针对推荐信息返回的反馈数据中，提取实验测试数据和对照测试数据；根据实验测试数据和对照测试数据，确定新增定向投放账户对应的测试结果。由于本申请是根据实验测试数据和对照测试数据确定测试结果，无需人工分析测试数据，从而提高了确定测试结果的效率。
Description
技术领域
本申请涉及广告投放领域，具体涉及一种多媒体信息定向投放的测试方法、装置和电子设备。
背景技术
多媒体信息发布方可以根据自己的需要选择对应的受众人群包，向该受众人群包内的受众定向发布多媒体信息，从而提高多媒体信息的点击量和转化率，而且发布方只需要选择对应的受众人群包即可，操作步骤简单，对于多媒体信息发布方来说非常方便和实用。
目前，广告业务中新的受众人群包在大规模上线前，需要对新的受众人群包进行测试，确定新的受众人群包的预期效果。若未对新的受众人群包测试，确定新的受众人群包的预期效果，直接将新的受众人群包上线，如果新的受众人群包对平台或者广告主有负面作用，会给平台或广告主带来不必要的损失。
如何在新的受众人群包上线前，确定新的受众人群包的预期效果是一个很重要的问题。因此，目前亟需一种针对新的受众人群包进行测试的方案。
发明内容
为解决现有存在的技术问题，本申请实施例提供一种多媒体信息定向投放的测试方法、装置和电子设备，用以对新增定向投放账户的效果进行测试。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供了一种多媒体信息定向投放的测试方法，该方法包括：
获取基于对各个测试账户划分得到的实验账户集合和对照账户集合；所述各个测试账户中包括原始定向投放账户和新增定向投放账户，各个所述新增定向投放账户均具有指定账户特征，且所述实验账户集合中的新增定向投放账户具有相同的群组标识；所述群组标识以及所述原始定向投放账户的标识均与目标多媒体信息具有关联关系；
接收所述各个测试账户发送的信息召回请求，其中，每接收到一个信息召回请求，若所述信息召回请求中携带所述群组标识或所述原始定向投放账户的标识，则生成包含所述目标多媒体信息的候选推荐信息，并基于所述候选推荐信息向相应的测试账户发送推荐信息；
从所述各个测试账户针对所述推荐信息返回的反馈数据中，提取出所述实验账户集合关联的反馈数据作为实验测试数据，以及提取出所述对照账户集合关联的反馈数据作为对照测试数据；
根据所述实验测试数据和所述对照测试数据，确定所述新增定向投放账户对应的测试结果；所述测试结果用于表征所述新增定向投放账户对所述目标多媒体信息的定向投放是否具有预设作用。
第二方面，本申请实施例还提供了一种多媒体信息定向投放的测试装置，包括：
获取单元，用于获取基于对各个测试账户划分得到的实验账户集合和对照账户集合；所述各个测试账户中包括原始定向投放账户和新增定向投放账户，各个所述新增定向投放账户均具有指定账户特征，且所述实验账户集合中的新增定向投放账户具有相同的群组标识；所述群组标识以及所述原始定向投放账户的标识均与目标多媒体信息具有关联关系；
推荐单元，用于接收所述各个测试账户发送的信息召回请求，其中，每接收到一个信息召回请求，若所述信息召回请求中携带所述群组标识或所述原始定向投放账户的标识，则生成包含所述目标多媒体信息的候选推荐信息，并基于所述候选推荐信息向相应的测试账户发送推荐信息；
提取单元，用于从所述各个测试账户针对所述推荐信息返回的反馈数据中，提取出所述实验账户集合关联的反馈数据作为实验测试数据，以及提取出所述对照账户集合关联的反馈数据作为对照测试数据；
确定单元，用于根据所述实验测试数据和所述对照测试数据，确定所述新增定向投放账户对应的测试结果；所述测试结果用于表征所述新增定向投放账户对所述目标多媒体信息的定向投放是否具有预设作用。
一种可选的实施方式为，所述确定单元具体用于：
从所述实验测试数据中，获取所述实验账户集合针对所述目标多媒体信息的设定测试指标的目标实验测试数据；
从所述对照测试数据中，获取所述对照账户集合针对所述目标多媒体信息的设定测试指标的目标对照测试数据；
根据所述目标实验测试数据与所述目标对照测试数据的差异，确定所述新增定向投放账户对应的测试结果。
一种可选的实施方式为，所述设定测试指标包括曝光量和点击量，所述目标实验测试数据包括实验曝光量和实验点击量，所述目标对照测试数据包括对照曝光量和对照点击量。
一种可选的实施方式为，所述确定单元具体用于：
分别确定所述实验点击量与所述对照点击量的第一差值，以及所述实验曝光量与所述对照曝光量的第二差值；
根据所述第一差值和所述第二差值，确定所述实验账户集合相对于所述对照账户集合的点击变化率；
根据所述点击变化率，确定所述新增定向投放账户对应的测试结果。
一种可选的实施方式为，所述确定单元具体用于：
将所述对照点击量和所述对照曝光量的比值，作为所述对照账户集合针对所述目标多媒体信息的对照点击率；
若所述点击变化率大于所述对照点击率，则确定所述测试结果为所述新增定向投放账户对所述目标多媒体信息的定向投放具有预设作用。
一种可选的实施方式为，所述确定单元具体用于：
将所述对照点击量和所述对照曝光量的比值，作为所述对照账户集合针对所述目标多媒体信息的对照点击率；
将所述实验点击量和所述实验曝光量的比值，作为所述实验账户集合针对所述目标多媒体信息的实验点击率；
确定所述实验点击率与所述对照点击率的差值，并将所述差值与所述对照点击率的比值，作为所述实验账户集合相对于所述对照账户集合的测试指标提升度；
根据所述测试指标提升度，确定所述新增定向投放账户对应的测试结果。
一种可选的实施方式为，所述确定单元具体用于：
根据所述实验点击量、所述实验曝光量、所述对照点击量和所述对照曝光量，确定标准差值；
根据所述标准差值和所述测试指标提升度，确定所述测试指标提升度的置信区间；
若所述测试指标提升度的置信区间的下限值大于设定值，则确定所述测试结果为：所述新增定向投放账户对所述目标多媒体信息的定向投放具有预设作用；
若所述测试指标提升度的置信区间的上限值小于所述设定值，则确定所述测试结果为：所述新增定向投放账户对所述目标多媒体信息的定向投放具有与所述预设作用相反的作用。
一种可选的实施方式为，所述实验账户集合中原始定向投放账户和新增定向投放账户的比例，与所述对照账户集合中原始定向投放账户和新增定向投放账户的比例相同。
一种可选的实施方式为，所述实验账户集合包含的原始定向投放账户的数量与所述对照账户集合包含的原始定向投放账户的数量相同；所述实验账户集合包含的新增定向投放账户的数量与所述对照账户集合包含的新增定向投放账户的数量相同。
一种可选的实施方式为，所述各个测试账户中的新增定向投放账户是通过如下方式获取的：
从已注册账户中选取具有所述指定账户特征的账户作为候选账户；
将各个所述候选账户中包含设定标识中的至少一种标识的账户作为所述新增定向投放账户；所述设定标识为与所述目标多媒体信息具有关联关系的标识。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面任一种的多媒体信息定向投放的测试方法。
第四方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现上述第一方面任一种的多媒体信息定向投放的测试方法。
本申请实施例提供的一种多媒体信息定向投放的测试方法、装置和电子设备，获取到的实验账户集合和对照账户集合中均包括原始定向投放账户和新增定向投放账户，其中，实验账户集合中的新增定向投放账户具有相同的群组标识，使得实验账户集合中的新增定向投放账户与对照账户集合中的新增定向投放账户相互独立，互不影响；并且，本申请实施例在接收到测试账户发送的信息召回请求时，如果确定信息召回请求中携带有群组标识或者原始定向投放账户的标识，则生成包含目标多媒体信息的候选推荐信息，并且基于候选推荐信息向相应的测试账户发送推荐信息，以使各个测试账户根据接收到的推荐信息返回反馈数据；从各个测试账户针对推荐信息返回的反馈数据中，提取实验测试数据和对照测试数据，并根据提取出的实验测试数据和对照测试数据，确定新增定向投放账户对应的测试结果。通过上述方法，可以有效确定新增定向投放账户的效果。
同时，本申请实施例通过将各个原始定向投放账户和新增定向投放账户划分为实验账户集合和对照账户集合，避免了测试账户之间的相互干扰，再根据获取到的实验测试数据和对照测试数据，确定新增定向投放账户对应的测试结果，从而可以提高确定测试结果的效率和准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种多媒体信息定向投放的测试方法的应用场景图；
图2为本申请实施例提供的一种多媒体信息定向投放的测试方法的流程图；
图3为本申请实施例提供的一种多媒体信息定向投放的测试***的结构示意图；
图4为本申请实施例提供的另一种多媒体信息定向投放的测试***的结构示意图；
图5为本申请实施例提供的采样处理结果的示意图；
图6为本申请实施例提供的一种实验策略生效的流程示意图；
图7为本申请实施例提供的一种多媒体信息定向投放的测试实验设计示意图；
图8为本申请实施例提供的流量分组结果的示意图；
图9为本申请实施例提供的一种多媒体信息定向投放的测试方法的完整流程图；
图10为本申请实施例提供的测试***的测试界面的示意图；
图11为本申请实施例提供的测试***的测试结果界面的示意图；
图12为本申请实施例提供的另一种多媒体信息定向投放的测试方法的完整流程图；
图13为本申请实施例提供的一种多媒体信息定向投放的测试装置的结构框图；
图14为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
（1）A/B测试：测试策略效果的一种实验方法。将参加测试的目标用户通过随机抽样分成实验组和对照组两个互斥的用户组。线上测试策略效果的一种实验方法。通过将实验样本（这里的样本是广告目标人群）通过随机抽样分成实验组和对照组两个互斥的人群组，使得对照组人群保持原有策略不变，而实验组使用新策略，最后比较两组人群的差异，从而获得策略作用的一种方法。
（2）受众人群包：也可以称为广告受众人群包，是指按用户的属性、兴趣、行为等信息对用户的账户进行分类，并将同类别账户的标识抽取后打成一个数据包，这个数据包即为受众人群包。也就是说，受众人群包中的账户均具有相同的账户特征。比如业务方上传了过去一周安装了某应用程序（Application，APP）的用户信息，即可形成一个“过去一周安装APP”的受众人群包。通常受众人群包会在数据管理平台（Data Management Platform，DMP）进行统一管理，供广告主在投放广告时选用。在本申请实施例中，新的受众人群包中的账户称为新增定向投放账户。
（3）广告定向：广告在投放时对受众的筛选规则。广告的展示是根据广告位访问者的用户属性信息动态选择不同的广告进行展示，常见的定向包括地域定向、用户基本信息定向（性别、年龄、受教育水平等）、兴趣定向、行为定向等。广告使用定向信息能确保更精准地定位广告受众，以提高广告的投放效果。
（4）广告定向树：以一系列广告定向为节点，通过一定的交并逻辑组织而成的规则树，最终广告的受众需要满足遍历定向树后的所有定向规则。
下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
文中的术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
为更好地理解本申请实施例提供的技术方案，下面对本申请实施例提供的技术方案适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
本申请实施例涉及区块链（Blockchain）技术，区块链为分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的区块。每一个区块中记录了一批次用户行为的测试数据，用于验证其测试数据的有效性（防伪）和生成下一个区块。区块链的每个区块中包括本区块存储的测试数据的哈希值（本区块的哈希值）、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块链的每个区块中还可以包括本区块生成时的时间戳等信息。
本申请实施例在多媒体信息定向投放的测试的过程中，可以将各个账户返回的反馈数据实时保存到区块链上，从区块链上获取各实验账户的反馈数据，得到实验测试数据，以及从区块链上获取各对照账户的反馈数据，得到对照测试数据。
本申请实施例提供的多媒体信息定向投放的测试方法可以应用于广告投放领域，用于测试新增定向投放账户对目标多媒体信息的定向投放是否具备预设作用，也可以应用于其他信息的投放领域。下文实施例中以在广告投放领域使用本申请实施例提供的多媒体信息定向投放的测试方法为例进行说明。
示例性地，本申请实施例所提供多媒体信息定向投放的测试方法可以应用于图1示出的一种应用场景中。参见图1所示，服务器100通过网络200与终端设备300进行通信连接，其中，网络200可以是但不限于局域网、城域网或广域网等，与服务器100连接的终端设备300的数量可以是多个。终端设备300可以通过网络200和服务器100相互传输通信数据和消息。
终端设备300可以是便携设备（例如：手机、平板电脑、笔记本电脑等），也可以是计算机、智能屏或个人电脑（PC，Personal Computer）等。终端设备300可以安装各类客户端，包括视频播放客户端、社交应用客户端等，并且是能够将已安装的客户端中提供的各个操作界面及操作界面中的各个对象进行显示的电子设备。
客户端是一种安装在终端设备300上的软件，例如，安装在手机等移动终端上的APP，属于终端设备300中的软件资源。例如，终端设备300可以通过网络下载客户端的安装包，利用安装包安装该客户端，完成安装后，客户端即可在终端设备300上运行。
服务器100可以是一台服务器或由若干台服务器组成的服务器集群或分布式***，或者是一个虚拟化平台，或者是，也可以是个人计算机、大中型计算机或计算机集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。根据实现需要，本申请实施例中的应用场景中可以具有任意数目的终端设备和服务器。本申请实施例对此不做特殊限定。
示例性地，终端设备300上安装有第三方应用客户端，该第三方应用客户端可以是浏览器、视频播放器或音乐播放器等。在进行多媒体信息定向投放的测试的过程中，服务器100会基于包含目标多媒体信息的候选推荐信息向第三方应用的各个测试账户投放推荐信息，如广告视频或广告图片等。当用户使用实验账户登录第三方应用客户端时，第三方应用客户端会根据接收到的推荐信息向用户展示该目标多媒体信息，以使用户接收到相关信息，了解到广告宣传的相关内容。
示例性地，服务器100可基于多媒体信息发布方根据自身需求选择的受众人群包，向该受众人群包内的受众定向发布目标多媒体信息，以此提高目标多媒体信息的点击量和转化率；并且，为了保证目标多媒体信息的点击量和转化率，需要对多媒体信息定向投放进行测试，进而确定受众人群包对目标多媒体信息的定向投放的预期效果。
具体地说，在对多媒体信息定向投放进行测试时，可以选择若干个原始定向投放账户和新增定向投放账户参加测试，将各测试账户划分为实验账户集合和对照账户集合。服务器100在接收到测试账户发送的信息召回请求后，生成候选推荐信息，并基于候选推荐信息，向相应的测试账户对应的终端设备300发送推荐信息，并采集各测试账户针对推荐信息返回的反馈数据。相关技术中，新的受众人群包只有在上线后，才能根据新的受众人群包针对推荐信息返回的反馈数据，确定新的受众人群包的预期效果，而无法在新的受众人群包上线前，确定新的受众人群包的预期效果。
基于此，本申请实施例提供一种多媒体信息定向投放的测试方法、装置和电子设备。本申请实施例中的服务器100获取各个测试账户，其中，各个测试账户包括原始定向投放账户和具有指定账户特征的新增定向投放账户，再根据用户的设定将各个测试账户划分为实验账户集合和对照账户集合，其中，实验账户集合中的新增定向投放账户具有相同的群组标识；并设置目标多媒体信息与群组标识以及原始定向投放账户的标识的关联关系；在接收到各个测试账户对应的终端设备300发送的信息召回请求，并且，服务器100每接收到一个由终端300发送的信息召回请求，确定信息召回请求中携带群组标识或原始定向投放账户的标识后，生成包含目标多媒体信息的候选推荐信息，并基于候选推荐信息，向相应的测试账户对应的终端设备300发送推荐信息，使测试对象通过终端设备300上安装的客户端查看推荐信息；采集各测试账户对应的终端设备300中针对推荐信息生成的反馈数据。然后，服务器100从采集到的反馈数据中，提取出实验账户集合关联的反馈数据作为实验测试数据，以及提取出对照账户集合关联的反馈数据作为对照测试数据；服务器100根据实验测试数据和对照测试数据，确定新增定向投放账户对应的测试结果。
本申请实施例在进行多媒体信息定向投放的测试时，通过将各个原始定向投放账户和新增定向投放账户划分为实验账户集合和对照账户集合，避免了测试账户之间的相互干扰，再根据获取到的实验测试数据和对照测试数据，确定新增定向投放账户对应的测试结果，从而提高了确定测试结果的效率和准确率。
为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在该方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。该方法在实际的处理过程中或者装置执行时，可按照实施例或者附图所示的方法顺序执行或者并行执行。
在一种实施例中，本申请实施例提供的多媒体信息定向投放的测试方法可以由服务器执行，也可以由具有一定计算能力，用于进行受众人群包测试计算的其他电子设备执行，还可以由终端设备上安装的客户端与服务器协同执行。下文实施例以服务器执行该多媒体信息定向投放的测试方法为例进行说明。图2示出了一种多媒体信息定向投放的测试方法的流程图，如图2所示，该方法可以包括如下步骤：
步骤S201，获取基于对各个测试账户划分得到的实验账户集合和对照账户集合。
需要说明的是，各个测试账户中包括原始定向投放账户和新增定向投放账户，各个新增定向投放账户均具有指定账户特征，且实验账户集合中的新增定向投放账户具有相同的群组标识；群组标识以及原始定向投放账户的标识均与目标多媒体信息具有关联关系。
本申请实施例在获取到原始定向账户和具有指定账户特征的新增定向投放账户后，根据用户预先设定的划分规则，将各原始定向投放账户和新增定向投放账户，随机划分到实验账户集合和对照账户集合中。
在一些实施例中，实验账户集合中原始定向投放账户和新增定向投放账户的比例，与对照账户集合中原始定向投放账户和新增定向投放账户的比例相同。
具体实施中，本申请实施例中的实验账户集合包含的原始定向投放账户的数量与对照账户集合包含的原始定向投放账户的数量相同；且实验账户集合包含的新增定向投放账户的数量与对照账户集合包含的新增定向投放账户的数量相同。
本申请实施例在获取到实验账户集合和对照账户集合后，为实验账户集合中的新增定向投放账户设置相同的群组标识；并且，建立目标多媒体信息与群组标识以及原始定向投放账户的标识的关联关系。
其中，目标多媒体信息可以理解为测试广告，新增定向投放账户可以理解为新的受众人群包中的账户。
步骤S202，接收各个测试账户发送的信息召回请求，其中，每接收到一个信息召回请求，若信息召回请求中携带群组标识或原始定向投放账户的标识，则生成包含目标多媒体信息的候选推荐信息，并基于候选推荐信息向相应的测试账户发送推荐信息。
在多媒体信息定向投放的测试过程中，服务器可以实时接收各个测试账户发送的信息召回请求，其中，服务器在每接收到一个信息召回请求后，确定信息召回请求中是否携带群组标识或者原始定向投放账户的标识；若确定信息召回请求中携带群组标识或者原始定向投放账户的标识后，则生成包含目标多媒体信息的候选推荐信息，并基于候选推荐信息向相应的测试账户发送推荐信息。
步骤S203，从各个测试账户针对推荐信息返回的反馈数据中，提取出实验账户集合关联的反馈数据作为实验测试数据，以及提取出对照账户集合关联的反馈数据作为对照测试数据。
在多媒体信息定向投放的测试过程中，服务器可以实时接收各个测试账户针对推荐信息返回的反馈数据，并从反馈数据中，提取出各实验账户针对推荐信息返回的反馈数据作为实验测试数据，以及提取出个对照账户针对推荐信息返回的反馈数据作为对照测试数据。
具体实施中，服务器将接收到的各个测试账户返回的反馈数据，实时保存到区块链中，并从区块链中获取各实验账户的反馈数据以及各对照账户的反馈数据；服务器从区块链中获取到的反馈数据中，提取出实验测试数据和对照测试数据。
步骤S204，根据实验测试数据和对照测试数据，确定新增定向投放账户对应的测试结果；测试结果用于表征新增定向投放账户对目标多媒体信息的定向投放是否具有预设作用。
在一些实施例中，本申请实施例根据获取到的实验测试数据和对照测试数据，确定新增定向投放账户对应的测试结果，并根据测试结果确定新增定向投放账户对目标多媒体信息的定向投放是否具有预设作用。
由于本申请实施例在获取到基于各测试账户划分的实验账户集合和对照账户集合后，接收各测试账户发送的信息召回请求，再确定信息召回请求中携带群组标识或原始定向投放账户的标识后，生成包含目标多媒体信息的候选推荐信息，并基于候选推荐信息向相应的测试账户发送推荐信息；然后，从接收到的测试账户针对推荐信息返回的反馈信息中，提取出实验测试数据和对照测试数据，并根据获取到的实验测试数据和对照测试数据，确定新增定向投放账户对应的测试结果，无需人工干涉，从而提高了确定测试结果的效率。
在一些实施例中，如图3所示，本申请实施例还提供一种多媒体信息定向投放的测试***，包括应用层301、逻辑层302、计算层303和存储层304；
其中，应用层301，用于与用户进行交互；其中，应用层301可划分为受众人群包管理模块，实验配置模块和效果展示模块；
逻辑层302，用于生效实验策略的逻辑；其中，逻辑层302包括实验策略模块、采样分组模块、实验配置同步模块和受众人群包定向写入模块；
计算层303，用于根据获取到的实验测试数据和对照测试数据，确定新增定向投放账户对应的测试结果；其中，计算层303包括数据查询模块、显著性推断模块、效果统计模块和数据预处理模块；
存储层304，用于存储测试过程中产生的测试数据；其中，存储层包括***数据库，且***数据库用于存储效果数据表、受众人群包信息表和实验配置表。
在一些实施例中，本申请实施例通过应用层获取测试账户；其中，各测试账户包括但不限于：新增定向投放账户和原始定向投放账户。
需要说明的是，本申请实施例通过对大盘流量账户进行采样，获取测试账户；并且，本申请实施例可通过获取与目标多媒体信息关联的受众人群包，获取原始定向投放账户。
在一些实施例中，本申请实施例可基于应用层中的受众人群包管理模块获取用户上传或推送的受众人群包，并对获取到的受众人群包进行管理。
具体地，本申请实施例可通过受众人群包管理模块获取用户上传的新的受众人群包，新的受众人群包由新增定向投放账户组成。
具体实施中，本申请实施例可通过下列方式获取新增定向投放账户：
本申请实施例从已注册账户中选取具有指定账户特征的账户作为候选账户；并将各个候选账户中包含设定标识中的至少一种标识的账户作为新增定向投放账户。
需要说明的是，设定标识为与目标多媒体信息具有关联关系的标识。
由于本申请实施例在已注册账户中选取出具有指定账户特征的账户作为候选账户后，还需根据设定标识对候选账户进行过滤，将包含设定标识中的至少一种标识的账户作为新增定向投放账户，剔除与目标多媒体信息无关的账户以及非法账户，从而使得到的新增定向投放账户更加合理。
需要说明的是，设定标识包括但不限于：年龄、性别、地域、学历。
例如，设定标识为T0，原始定向投放账户的标识为T1；T0通常为广告***提供的定向条件合并而成的定向树，且T1∈T0，本申请实施例通过T0对获取到的候选账户进行过滤得到新增定向投放账户后，使测试广告绑定由新增定向投放账户组成的新的受众人群包后，减少新的受众人群包中的无效的广告受众，降低广告主的投放成本，并且可以过滤新的受众人群包中的非广告合法受众用户，避免广告非法展示的风险。
本申请实施例在获取到新的受众人群包后，通过实验配置模块为新的受众人群包创建和管理A/B测试，即通过实验配置模块将新的受众人群包与目标多媒体信息进行绑定，进而建立新增定向投放账户与目标多媒体信息的关联关系。
在一些实施例中，如图4所示，本申请实施例提供的多媒体信息定向投放的测试***还包括线上模块305，其中，线上模块305包括：画像***模块、实验服务模块、广告信息库和画像存储器。
在一些实施例中，本申请实施例在建立新增定向投放账户与目标多媒体信息的关联关系后，基于逻辑层中的实验配置同步模块将目标多媒体信息与新增定向投放账户的关联关系作为主要的实验配置信息，同步到线上模块中的广告信息库中，即将实验配置信息写入到广告信息库，以便在接收到新增定向投放账户发送的信息召回请求，根据广告信息库中存储的新增定向投放账户与目标多媒体信息的关联关系，生成包含目标多媒体信息的候选推荐信息。
在一些实施例中，本申请实施例通过逻辑层中的采样分组模块将通过应用层的受众人群包管理模块获取到的原始定向投放账户和新增定向投放账户划分为实验账户集合和对照账户集合。
具体实施中，在逻辑层中的实验策略模块生效之前，本申请实施例需要根据各测试账户发送的信息召回请求中携带的账户信息对各测试账户进行随机化分组。
需要说明的是，账户信息包括但不限于：账户标识、账户属性。
例如，本申请可根据各个测试账户发送的信息召回请求中包含的账户标识，比如，账户的编码，将大盘流量账户，原始定向投放账户和新增定向投放账户均分为对照账户集合和实验账户集合，使得实验账户集合和对照账户集合之间的竞争环境相互独立，互不影响。
在一些实施例中，本申请实施例在根据信息召回请求将各测试账户划分为实验账户集合和对照账户集合后，会给信息召回请求增加该信息召回请求对应的测试账户所属的集合的标识，以及测试账户的实验配置信息，并将采样分组结果透传至方案策略实际生效的实验策略模块，完成流量染色。
例如，如图5所示，本申请实施例在对大盘流量账户、原始定向投放账户和新增定向投放账户进行采样处理后，将三部分账户随机均匀地划分为实验组和对照组。
在一些实施例中，本申请实施例在对测试账户完成采样后，将大盘流量账户随机划分为实验账户集合和对照账户集合，并通过逻辑层和线上模块生效实验策略。
具体实施中，本申请实施例根据获取到的新的受众人群包中的账户信息，对新的受众人群包进行采样分组，并将分组结果发送给画像***的同时，将新的受众人群包的群组标识，写入到各个新增定向投放账户对应的画像存储器中，使新增定向投放账户具备以该群组标识召回目标多媒体信息的能力。
需要说明的是，群组标识可以为新的受众人群包的群组编号，也可以为新的受众人群包中账户的共同特征。
例如，本申请实施例根据实验策略模块，即根据一段固化在画像***中的实验处理逻辑的代码，会根据之前存储的受众人群包的标识信息、广告实验配置、采样分组结果三部分数据，使对照账户集合中包含的所有账户不生效受众人群包的标识信息，以及实验账户集合中的新增定向投放账户生效受众人群包的标识信息，使实验账户集合和对照账户集合中包含的测试账户以及广告竞争环境均是相互独立、互不影响的。
在一些实施例中，本申请实施例中的画像***在接收到新的受众人群包的分组结果后，从各个新增定向投放账户对应的画像存储器中拉取各个新增定向投放账户的画像信息，并返回新增定向投放账户的原始标签集和新的受众人群包的群组标识；将对照账户集合中的各个新增定向投放账户的标识信息设置为原始标签集中与新增定向投放账户对应的原始标签，将实验账户集合中的各个新增定向投放账户的标识信息设置为原始标签集中与新增定向投放账户对应的原始标签和群组标识。
例如，如图6所示，新的受众人群包为受众人群包B1，在受众人群包定向写入时将
受众人群包B1中的每个账户的ckv画像都打上标签B1，即在不作处理时，受众人群包B1中的
各个账户都可以用B1定向召回广告。在实验策略模块中，对实验组中的账户
，若
也为受众人群包B1中包含的账户，即
，则拉取
的画像信息，同时返回
的原始标
签集T1和受众人群包B1标签，使用户在通过账户
登录网站时，终端设备触发的信息召回
请求时，生效标签B1，召回若干条与标签B1具备绑定关系的测试广告。且对照组中的账户
，无需考虑受众人群包B1的标签，即对照组账户在拉取账户画像信息时，只返回账
户原始标签集T1，对照组账户只使用原始标签召回测试广告，虽然测试广告还是有可能被
T1标签召回，但是在大部分情况下，受众人群包在实验组和对照组中召回的广告队列会有
很大的差异，且最终在终端设备上展示的广告也可能不同。对于非受众人群包的账户（
），无论是处于实验组还是对照组，均是使用原始标签召回广告。
在一些实施例中，本申请实施例在完成对测试账户的划分以及实验策略的生效过程后，可通过接收各个测试账户发送的信息召回请求，并且，每接收到一个信息召回请求后，确定信息召回请求中是否携带群组标识或原始定向投放账户的标识；若信息召回请求中携带群组标识或原始定向投放账户的标识，则生成包含目标多媒体信息的候选推荐信息，并基于候选推荐信息向相应的测试账户发送推荐信息。
在一些实施例中，如图4所示，多媒体信息定向投放的测试***中还包括业务日志模块306，其中，业务日志模块用于存储接收到的各个测试账户针对推荐信息返回的反馈数据。
在一些实施例中，本申请实施例中的业务日志模块可通过分布式存储的方式，将接收到的各个测试账户返回的反馈数据，存储于区块链中。
具体地，业务日志模块可将各个测试账户返回的反馈数据存储到相应的区块链上的节点中，防止反馈数据被随意篡改，提高反馈数据的可信度，并可实现反馈数据的验证、追溯，为多媒体信息定向投放的测试提供安全保障。
具体实施中，本申请实施例通过业务日志模块从区块链中获取各个测试账户针对推荐信息返回的反馈数据后，通过计算层中的数据预处理模块从反馈数据中提取实验测试数据和对照测试数据。
具体地，本申请实施例通过数据预处理模块加载与清洗业务日志原始记录，提取出实验测试数据和对照测试数据。
需要说明的是，实验测试数据为与实验账户集合关联的反馈数据，对照测试数据为与对照账户集合关联的反馈数据。
在一些实施例中，本申请实施例根据获取到的实验测试数据和对照测试数据，确定新的受众人群包对应的测试结果。
需要说明的是，测试结果用于表征新增定向投放账户对目标多媒体信息的定向投放是否具有预设作用。
具体实施中，本申请实施例可通过数据预处理模块提取与设定测试指标相关的数据，并进行一定的预聚合；具体地，从实验测试数据中，获取实验账户集合针对目标多媒体信息的设定测试指标的目标实验测试数据，以及从对照测试数据中，获取对照账户集合针对目标多媒体信息的设定测试指标的目标对照测试数据；根据获取到的目标实验测试数据与目标对照测试数据的差异，确定新增定向投放账户对应的测试结果。
由于本申请实施例从提取出的实验测试数据以及对照测试数据中，分别获取实验账户集合和对照账户集合针对目标多媒体信息的设定测试指标的目标测试数据，再根据获取到的目标测试数据，确定测试结果，从而提高了测试结果的准确率。
需要说明的是，设定测试指标包括曝光量和点击量，目标实验测试数据包括实验曝光量和实验点击量，目标对照测试数据包括对照曝光量和对照点击量。
具体实施中，本申请实施例可根据目标实验测试数据和目标对照测试数据的差异，确定新增定向投放账户对应的测试结果；并根据确定出的测试结果，确定新增定向投放账户的广告效果和受众人群包效果。
例如，服务器在接收各个测试账户发送的信息召回请求，向相应的测试账户发送推荐信息，向测试账户展示不同的广告；并且，根据获取到的实验账户集合和对照账户集合对应的各项指标值的差值，确定受众人群包的测试效果；若实验组中的各项指标值相比对照组均有所提升，说明受众人群包B1效果正向，对优化平台流量是有帮助的；反之，说明受众人群包B1对平台无提升甚至是有害的。
下面分别根据上述两种效果，对确定新增定向投放账户对应的测试结果进行说明。
测试结果一、广告效果
本申请实施例可通过计算层中的效果统计模块基于数据预处理的结果，按照指定公式分别计算对照账户集合、实验账户集合的各个测试指标的结果值，以及在实验账户集合和对照账户集合之间的对比差异值。
在一些实施例中，本申请实施例在获取到实验曝光量、实验点击量、对照曝光量和对照点击量后，分别确定实验点击量和对照点击量的第一差值，以及实验曝光量和对照曝光量的第二差值，并根据确定出的第一差值和第二差值，确定实验账户集合相对于对照账户集合的点击变化率；根据确定出的点击变化率，确定新增定向投放账户对应的测试结果。
由于本申请实施例根据确定出的实验账户集合相对于对照账户集合的点击变化率，能够简单、直观地确定测试结果。
具体实施中，本申请实施例将对照点击量和对照曝光量的比值，作为对照账户集合针对目标多媒体信息的对照点击率；若点击变化率大于对照点击率，则确定测试结果为新增定向投放账户对目标多媒体信息的定向投放具有预设作用。
由于本申请实施例在确定点击变化率大于对照点击率时，确定测试结果为新增定向投放账户对目标多媒体信息的定向投放具有预设作用，提高了确定测试结果的准确率。
需要说明的是，本申请实施例在确定实验账户集合的点击率相对于对照账户集合的点击率有较显著的提升后，确定目标多媒体信息绑定新的受众人群包后的广告效果有显著提升。
在另一些实施例中，本申请实施例可根据下列公式确定测试结果：
其中，ctr表示点击率，
表示实验账户集合相对于对照账户集合的点击变化
率，
表示实验点击量；
表示对照点击量；
表示实验曝光量，
表示对照曝光量。
若
，表示目标多媒体信息使用新增定向投放账户后，线上点击率由较显
著的提升，即确定新增定向投放账户对目标多媒体信息的定向投放具有预设作用。
需要说明的是，在确定新增定向投放账户的广告效果时，还可根据其他设定测试指标进行确定，比如转化率，本申请实施例在此并不作限制。
例如，如图7所示，本申请实施例在进行实验时，在根据定向标签T0对新的受众人群包中的账户进行过滤后，将测试广告与新的受众人群包B1进行绑定，并且在测试广告的原始定向树上并上B1定向，即测试广告可被B1标签召回；并且，由于实验策略在画像***中生效，使得对照组中的测试账户不生效B1标签，因此，测试广告在对照组中只可能被原始定向树T1召回，即本申请实施例可通过测试广告在不同流量分组中的点击率的差异，确定测试结果。
又例如，如图8所示，目标多媒体信息为测试广告，测试广告在对照账户集合中的潜在人群是C1，在实验账户集合中的潜在人群是T1+T2，并且，T1与C1的标签均为原始标签集，因此，本申请实施例可根据对照账户集合和实验账户集合的设定指标的差异，确定新的受众人群包的广告效果；具体地，本申请实施例只需要统计业务日志中包含受众人群包标签的记录，即可确定新的受众人群包B1带来的效果，即得到T2部分。
在一些实施例中，本申请实施例将新的受众人群包的群组标识存储于日志中，在进行效果统计时，只要设定测试指标（比如，曝光、点击等）对应的账户包含群组标识，其一定命中B1∩T0定向树，可以将确定出的效果归因到该子树。
具体地，上述结论可通过反证法证得：
假设一条曝光记录对应的用户包含受众人群包标签B1，但是没命中B1∩T0定向树，则其一定没命中T0，而上文提到T1∈T0，则用户也不能命中T1，因此用户无法命中T1∪（T0∩B1），这显然与当前用户已经曝光这一情况相矛盾，因此用户一定命中B1∩T0。
在一些实施例中，由于本申请实施例中的对照账户集合中的测试广告的效果均有原始定向T1带来的，即可以将测试广告在对照账户集合中的整体效果C1，作为原始定向T1的效果。
如图9所示，本申请实施例提供一种多媒体信息定向投放的测试方法的完整流程图，包括以下步骤：
步骤S901、获取基于对各个测试账户划分得到的实验账户集合和对照账户集合；
需要说明的是，各个测试账户中包括原始定向投放账户和新增定向投放账户，各个新增定向投放账户均具有指定账户特征，且实验账户集合中的新增定向投放账户具有相同的群组标识；群组标识以及原始定向投放账户的标识均与目标多媒体信息具有关联关系；
在一些实施例中，实验账户集合中原始定向投放账户和新增定向投放账户的比例，与对照账户集合中原始定向投放账户和新增定向投放账户的比例相同；
在一些实施例中，各个测试账户中的新增定向投放账户是通过如下方式获取的：
从已注册账户中选取具有指定账户特征的账户作为候选账户；
将各个候选账户中包含设定标识中的至少一种标识的账户作为新增定向投放账户；
需要说明的是，设定标识为与目标多媒体信息具有关联关系的标识；
步骤S902、接收各个测试账户发送的信息召回请求；
步骤S903、若信息召回请求中携带群组标识或原始定向投放账户的标识，则生成包含目标多媒体信息的候选推荐信息；
步骤S904、基于候选推荐信息向相应的测试账户发送推荐信息；
步骤S905、从各个测试账户针对推荐信息返回的反馈数据中，提取出实验账户集合关联的反馈数据作为实验测试数据，以及提取出对照账户集合关联的反馈数据作为对照测试数据；
步骤S906、从实验测试数据中，获取实验账户集合针对目标多媒体信息的设定测试指标的目标实验测试数据；以及从对照测试数据中，获取对照账户集合针对目标多媒体信息的设定测试指标的目标对照测试数据；
需要说明的是，设定测试指标包括曝光量和点击量，目标实验测试数据包括实验曝光量和实验点击量，目标对照测试数据包括对照曝光量和对照点击量；
步骤S907、分别确定实验点击量与对照点击量的第一差值，以及实验曝光量与对照曝光量的第二差值；
步骤S908、根据第一差值和第二差值，确定实验账户集合相对于对照账户集合的点击变化率；
步骤S909、将对照点击量和对照曝光量的比值，作为对照账户集合针对目标多媒体信息的对照点击率；
步骤S910、若点击变化率大于对照点击率，则确定测试结果为新增定向投放账户对目标多媒体信息的定向投放具有预设作用。
测试结果二、受众人群包效果
本申请实施例通过计算层中的显著性检验模块根据假设的检验原理，推断实验账户集合与对照账户集合的预设测试指标的差异是由统计误差造成的，还是由新增定向投放账户带来的，即通过确定当前预设测试指标差异是否显著可信，确定新增定向投放账户的受众人群包效果。
在一些实施例中，本申请实施例在获取到实验点击量、实验曝光量、对照点击量、对照曝光量后，将对照点击量和对照曝光量的比值，作为对照账户集合针对目标多媒体信息的对照点击率，以及将实验点击量和实验曝光量的比值，作为实验账户集合针对目标多媒体信息的实验点击率。
具体实施中，本申请实施例将获取到实验点击率与对照点击率的差值，与对照点击率的比值，作为实验账户集合相对于对照账户集合的测试指标提升度，并根据确定出的测试指标提升度，确定新增定向投放账户对应的测试结果。
由于本申请实施例将获取到的实验点击率和对照点击率的差值，与对照点击率的比值，作为实验账户集合相对于对照账户集合的测试指标提升度，确定新增定向投放账户对应的测试结果，提高了测试结果的准确率。
具体地，本申请实施例可通过下列公式确定测试指标提升度：
其中，
表示点击提升度，
表示对照点击率，
表示实验点击率。
在一些实施例中，本申请实施例可根据下列方式根据确定出的测试指标提升度，确定新增定向投放账户对应的测试结果：
本申请实施例根据获取到的实验点击量、实验曝光量、对照点击量和对照曝光量，确定标准差值；
具体地，本申请实施例可根据下列公式确定标准差值：
其中，
表示标准差，
表示实验点击量；
表示对照点击量；
表示实验曝
光量，
表示对照曝光量。
在一些实施例中，本申请实施例在确定出标准差值后，根据确定出的标准差值和测试指标提升度，确定测试指标提升度的置信区间；若确定出的测试指标提升度的置信区间的下限值大于设定值，则确定测试结果为，新增定向投放账户对目标多媒体信息的定向投放具有预设的作用；若测试指标提升度的置信区间的上限值小于设定值，则确定测试结果为：新增定向投放账户对目标多媒体信息的定向投放具有与预设作用相反的作用。
例如，如图8所示，测试广告在对照账户集合中的统计人群是C1，在实验账户集合中的统计人群是T2，通过对广告效果中的实验账户集合对应的人群进行拆分细化，并将受众人群包的效果进行一定折算，从而更精确地确定新的受众人群包与原始定向账户之间的效果差异。
在一些实施例中，显著性水平
，可根据下列公式确定95%的置信区间：
例如，设定值为0，当置信区间的上限值小于0时，确定新增定向投放账户的点击指标变化不显著，且表示新的受众人群包对广告有负面影响；当置信区间的下限值大于0时，确定新增定向投放账户的点击指标变化显著，且表示新的受众人群包对广告效果有显著正向效果，当置信区间包含0时，确定新增定向投放账户的点击指标变化不显著。
在一些实施例中，本申请实施例在测试的过程中，产生的各类数据，均存储于存储层中。
具体地，存储层中包括***数据库，***数据库包括：效果信息表，受众人群包信息表和实验配置表；其中，效果信息表用于存储经数据流框架加工业务日志后得到的设定测试指标结果，供用户查询新的受众人群包测试回流的效果数据；受众人群包信息表用于存储新的受众人群包信息；实验配置表用于存储A/B测试配置信息，主要是记录新的受众人群包和测试广告的绑定关系。
在一些实施例中，本申请实施例中的数据查询模块响应用户的查询请求，从效果数据表中，检索并汇总新的受众人群包实验的效果数据后，回传给网络前端进行显示。
例如，如图10所示，用户可通过在测试***中的测试界面中选择“A/B测试”的选项，并点击测试界面中的查询结果。如图11所示，测试***响应用户的操作，在测试***的测试结果界面显示测试结果。
在另一些实施方式中，本申请实施例还可通过测试***确定大盘效果，具体地，如图8所示，对照账户集合的统计人群为C2，实验账户集合的统计人群为T2，通过对比C2和T2之间的效果差异，确定新的受众人群包在上线前后，大盘的变化。但是，一般来说，受众人群包用户与大盘用户的两级差异太大，且测试广告数不多，即受众人群包对大盘的影响比较难体现，因此，用户主要关心受众人群包的广告效果和受众人群包效果。
本申请实施例提供一种多媒体信息定向投放的测试***，用以解决广告业务中难以对新的受众人群包进行质量评估的问题，通过应用层、逻辑层以及线上模块，以严格的A/B测试对受众人群包投放效果进行分组实验，创造了与真实情况类似的对比环境，确保了验证流程的科学性。同时优化了用户操作流程，减少出错率，提高受众人群包效果验证的效率。此外，测试***的计算层是根据获取到的测试账户返回的反馈数据，确定各测试账户对应的测试数据，极大地简化了实验效果统计与对比分析的逻辑，避免了解析定向树等复杂处理，提高了效果分析的数据准确率。最后本***的工程化复杂度较低，模块依赖少，生效链条短，在节省所需资源成本的同时，具备了较强的通用性、兼容性、可维护性，使本方案可为不同业务的相似场景提供可参考的解决方案。
如图12所示，本申请实施例提供另一种多媒体信息定向投放的测试方法的完整流程图，包括以下步骤：
步骤S1201、获取基于对各个测试账户划分得到的实验账户集合和对照账户集合；
需要说明的是，各个测试账户中包括原始定向投放账户和新增定向投放账户，各个新增定向投放账户均具有指定账户特征，且实验账户集合中的新增定向投放账户具有相同的群组标识；群组标识以及原始定向投放账户的标识均与目标多媒体信息具有关联关系；
在一些实施例中，实验账户集合中原始定向投放账户和新增定向投放账户的比例，与对照账户集合中原始定向投放账户和新增定向投放账户的比例相同；
在一些实施例中，各个测试账户中的新增定向投放账户是通过如下方式获取的：
从已注册账户中选取具有指定账户特征的账户作为候选账户；
将各个候选账户中包含设定标识中的至少一种标识的账户作为新增定向投放账户；
需要说明的是，设定标识为与目标多媒体信息具有关联关系的标识；
步骤S1202、接收各个测试账户发送的信息召回请求；
步骤S1203、若信息召回请求中携带群组标识或原始定向投放账户的标识，则生成包含目标多媒体信息的候选推荐信息；
步骤S1204、基于候选推荐信息向相应的测试账户发送推荐信息；
步骤S1205、从各个测试账户针对推荐信息返回的反馈数据中，提取出实验账户集合关联的反馈数据作为实验测试数据，以及提取出对照账户集合关联的反馈数据作为对照测试数据；
步骤S1206、从实验测试数据中，获取实验账户集合针对目标多媒体信息的设定测试指标的目标实验测试数据；以及从对照测试数据中，获取对照账户集合针对目标多媒体信息的设定测试指标的目标对照测试数据；
需要说明的是，设定测试指标包括曝光量和点击量，目标实验测试数据包括实验曝光量和实验点击量，目标对照测试数据包括对照曝光量和对照点击量；
步骤S1207、将对照点击量和对照曝光量的比值，作为对照账户集合针对目标多媒体信息的对照点击率；以及将实验点击量和实验曝光量的比值，作为实验账户集合针对目标多媒体信息的实验点击率；
步骤S1208、确定实验点击率与对照点击率的差值，并将差值与对照点击率的比值，作为实验账户集合相对于对照账户集合的测试指标提升度；
步骤S1209、根据实验点击量、实验曝光量、对照点击量和对照曝光量，确定标准差值；
步骤S1210、根据标准差值和测试指标提升度，确定测试指标提升度的置信区间；
步骤S1211、确定测试指标提升度的置信区间的下限值是否大于设定值，若是，则执行步骤S1212，若否，则执行步骤S1213；
步骤S1212、确定测试结果为：新增定向投放账户对目标多媒体信息的定向投放具有预设作用；
步骤S1213、确定测试指标提升度的置信区间的上限值是否小于设定值，若是，则执行步骤S1214，若否，则执行步骤S1215；
步骤S1214、确定测试结果为：新增定向投放账户对目标多媒体信息的定向投放具有与预设作用相反的作用；
步骤S1215、确定测试结果为：新增定向投放账户对目标多媒体信息的定向投放具有的作用不显著；
需要说明的是，作用包括预设作用和与预设作用相反的作用。
下面结合具体实施例对本申请实施例的多媒体信息定向投放的测试方法进行介绍。
当由新增定向投放账户组成的新的受众人群包为年龄为20~30的女性受众人群时，可以将彩妆广告作为测试广告对新的受众人群包进行测试，确定新的受众人群包的广告效果和受众人群包效果。
具体地，服务器根据彩妆广告确定与彩妆广告关联的受众人群包，其中，由原始定向投放账户组成的受众人群包可以为年龄为25~40女性受众人群；服务器将年龄为20~30的女性受众人群和年龄为25~40女性受众人群，随机均分为实验账户集合和对照账户集合；并且，实验账户集合中包含的25~40女性受众人群的标识为001，实验账户集合中包含的年龄为25~40女性受众人群的标识为002，对照账户集合中包含的年龄为20~30的女性受众人群和年龄为25~40女性受众人群的标识均为002，且001与002均与彩妆广告有关联关系。
服务器在接收到账户发送的携带001或002的信息召回请求后，从广告信息库中选取出包含彩妆广告的候选推荐信息，并基于候选推荐信息向相应的账户对应的终端设备发送推荐信息，并接收终端设备返回的账户针对推荐信息的反馈数据。
服务器从接收到的反馈数据中提取实验账户集合针对彩妆广告的反馈数据，以及对照账户集合针对彩妆广告的反馈数据，并根据提取出的实验账户集合针对彩妆广告的反馈数据，以及对照账户集合针对彩妆广告的反馈数据，确定年龄为20~30的女性受众人群针对彩妆广告的广告效果和受众人群包效果。
服务器根据实验账户集合针对彩妆广告的反馈数据，确定实验账户集合对彩妆广告的点击率为40%，以及根据对照账户集合针对彩妆广告的反馈数据，确定对照账户集合对彩妆广告的点击率为10%时，则说明彩妆广告的投放效果为：对年龄为20~30受众人群的女性具有吸引力。
与图2所示的多媒体信息定向投放的测试方法基于同一发明构思，本申请实施例中还提供了一种多媒体信息定向投放的测试装置，该多媒体信息定向投放的测试装置可以布设在终端设备中。由于该装置是本申请实施例多媒体信息定向投放的测试方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。
图13示出了本申请实施例提供的一种多媒体信息定向投放的测试装置的结构示意图，如图13所示，该多媒体信息定向投放的测试装置包括：获取单元1301和推荐单元1302，提取单元1303，确定单元1304；其中，
获取单元1301，用于获取基于对各个测试账户划分得到的实验账户集合和对照账户集合；各个测试账户中包括原始定向投放账户和新增定向投放账户，各个新增定向投放账户均具有指定账户特征，且实验账户集合中的新增定向投放账户具有相同的群组标识；群组标识以及原始定向投放账户的标识均与目标多媒体信息具有关联关系；
推荐单元1302，用于接收各个测试账户发送的信息召回请求，其中，每接收到一个信息召回请求，若信息召回请求中携带群组标识或原始定向投放账户的标识，则生成包含目标多媒体信息的候选推荐信息，并基于候选推荐信息向相应的测试账户发送推荐信息；
提取单元1303，用于从各个测试账户针对推荐信息返回的反馈数据中，提取出实验账户集合关联的反馈数据作为实验测试数据，以及提取出对照账户集合关联的反馈数据作为对照测试数据；
确定单元1304，用于根据实验测试数据和对照测试数据，确定新增定向投放账户对应的测试结果；测试结果用于表征新增定向投放账户对目标多媒体信息的定向投放是否具有预设作用。
一种可选的实施方式为，确定单元1304具体用于：
从实验测试数据中，获取实验账户集合针对目标多媒体信息的设定测试指标的目标实验测试数据；
从对照测试数据中，获取对照账户集合针对目标多媒体信息的设定测试指标的目标对照测试数据；
根据目标实验测试数据与目标对照测试数据的差异，确定新增定向投放账户对应的测试结果。
一种可选的实施方式为，设定测试指标包括曝光量和点击量，目标实验测试数据包括实验曝光量和实验点击量，目标对照测试数据包括对照曝光量和对照点击量。
一种可选的实施方式为，确定单元1304具体用于：
分别确定实验点击量与对照点击量的第一差值，以及实验曝光量与对照曝光量的第二差值；
根据第一差值和第二差值，确定实验账户集合相对于对照账户集合的点击变化率；
根据点击变化率，确定新增定向投放账户对应的测试结果。
一种可选的实施方式为，确定单元1304具体用于：
将对照点击量和对照曝光量的比值，作为对照账户集合针对目标多媒体信息的对照点击率；
若点击变化率大于对照点击率，则确定测试结果为新增定向投放账户对目标多媒体信息的定向投放具有预设作用。
一种可选的实施方式为，确定单元1304具体用于：
将对照点击量和对照曝光量的比值，作为对照账户集合针对目标多媒体信息的对照点击率；
将实验点击量和实验曝光量的比值，作为实验账户集合针对目标多媒体信息的实验点击率；
确定实验点击率与对照点击率的差值，并将差值与对照点击率的比值，作为实验账户集合相对于对照账户集合的测试指标提升度；
根据测试指标提升度，确定新增定向投放账户对应的测试结果。
一种可选的实施方式为，确定单元1304具体用于：
根据实验点击量、实验曝光量、对照点击量和对照曝光量，确定标准差值；
根据标准差值和测试指标提升度，确定测试指标提升度的置信区间；
若测试指标提升度的置信区间的下限值大于设定值，则确定测试结果为：新增定向投放账户对目标多媒体信息的定向投放具有预设作用；
若测试指标提升度的置信区间的上限值小于设定值，则确定测试结果为：新增定向投放账户对目标多媒体信息的定向投放具有与预设作用相反的作用。
一种可选的实施方式为，实验账户集合中原始定向投放账户和新增定向投放账户的比例，与对照账户集合中原始定向投放账户和新增定向投放账户的比例相同。
一种可选的实施方式为，实验账户集合包含的原始定向投放账户的数量与对照账户集合包含的原始定向投放账户的数量相同；实验账户集合包含的新增定向投放账户的数量与对照账户集合包含的新增定向投放账户的数量相同。
一种可选的实施方式为，各个测试账户中的新增定向投放账户是通过如下方式获取的：
从已注册账户中选取具有指定账户特征的账户作为候选账户；
将各个候选账户中包含设定标识中的至少一种标识的账户作为新增定向投放账户；设定标识为与目标多媒体信息具有关联关系的标识。
与图2所示的多媒体信息定向投放的测试方法基于同一发明构思，本申请实施例还提供了一种电子设备。如图14所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，可参照本申请方法实施例部分。该电子设备可以是服务器，如图1所示的服务器100。在该实施例中，电子设备的结构可以如图14所示，包括存储器131，通讯模块133以及一个或多个处理器132。
存储器131，用于存储处理器132执行的计算机程序。存储器131可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
处理器132，可以包括一个或多个中央处理单元（Central Processing Unit，CPU）或者为数字处理单元等等。处理器132，用于调用存储器131中存储的计算机程序时实现上述控制方法。
通讯模块133用于与终端设备进行通信，获取测试数据。
本申请实施例中不限定上述存储器131、通讯模块133和处理器132之间的具体连接介质。本公开实施例在图14中以存储器131和处理器132之间通过总线134连接，总线134在图14中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线134可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一实施例中的多媒体信息定向投放的测试方法。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (15)
1.一种多媒体信息定向投放的测试方法，其特征在于，所述方法包括：
获取基于对各个测试账户划分得到的实验账户集合和对照账户集合；所述各个测试账户中包括原始定向投放账户和新增定向投放账户，各个所述新增定向投放账户均具有指定账户特征，且所述实验账户集合中的新增定向投放账户具有相同的群组标识；所述群组标识以及所述原始定向投放账户的标识均与目标多媒体信息具有关联关系；
接收所述各个测试账户发送的信息召回请求，其中，每接收到一个信息召回请求，若所述信息召回请求中携带所述群组标识或所述原始定向投放账户的标识，则生成包含所述目标多媒体信息的候选推荐信息，并基于所述候选推荐信息向相应的测试账户发送推荐信息；
从所述各个测试账户针对所述推荐信息返回的反馈数据中，提取出所述实验账户集合关联的反馈数据作为实验测试数据，以及提取出所述对照账户集合关联的反馈数据作为对照测试数据；
根据所述实验测试数据和所述对照测试数据，确定所述新增定向投放账户对应的测试结果；所述测试结果用于表征所述新增定向投放账户对所述目标多媒体信息的定向投放是否具有预设作用。
2.根据权利要求1所述的方法，其特征在于，所述根据所述实验测试数据和所述对照测试数据，确定所述新增定向投放账户对应的测试结果，包括：
从所述实验测试数据中，获取所述实验账户集合针对所述目标多媒体信息的设定测试指标的目标实验测试数据；
从所述对照测试数据中，获取所述对照账户集合针对所述目标多媒体信息的设定测试指标的目标对照测试数据；
根据所述目标实验测试数据与所述目标对照测试数据的差异，确定所述新增定向投放账户对应的测试结果。
3.根据权利要求2所述的方法，其特征在于，所述设定测试指标包括曝光量和点击量，所述目标实验测试数据包括实验曝光量和实验点击量，所述目标对照测试数据包括对照曝光量和对照点击量。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标实验测试数据与所述目标对照测试数据的差异，确定所述新增定向投放账户对应的测试结果，包括：
分别确定所述实验点击量与所述对照点击量的第一差值，以及所述实验曝光量与所述对照曝光量的第二差值；
根据所述第一差值和所述第二差值，确定所述实验账户集合相对于所述对照账户集合的点击变化率；
根据所述点击变化率，确定所述新增定向投放账户对应的测试结果。
5.根据权利要求4所述的方法，其特征在于，所述根据所述点击变化率，确定所述新增定向投放账户对应的测试结果，包括：
将所述对照点击量和所述对照曝光量的比值，作为所述对照账户集合针对所述目标多媒体信息的对照点击率；
若所述点击变化率大于所述对照点击率，则确定所述测试结果为所述新增定向投放账户对所述目标多媒体信息的定向投放具有预设作用。
6.根据权利要求3所述的方法，其特征在于，所述根据所述目标实验测试数据与所述目标对照测试数据的差异，确定所述新增定向投放账户对应的测试结果，包括：
将所述对照点击量和所述对照曝光量的比值，作为所述对照账户集合针对所述目标多媒体信息的对照点击率；
将所述实验点击量和所述实验曝光量的比值，作为所述实验账户集合针对所述目标多媒体信息的实验点击率；
确定所述实验点击率与所述对照点击率的差值，并将所述差值与所述对照点击率的比值，作为所述实验账户集合相对于所述对照账户集合的测试指标提升度；
根据所述测试指标提升度，确定所述新增定向投放账户对应的测试结果。
7.根据权利要求6所述的方法，其特征在于，所述根据所述测试指标提升度，确定所述新增定向投放账户对应的测试结果，包括：
根据所述实验点击量、所述实验曝光量、所述对照点击量和所述对照曝光量，确定标准差值；
根据所述标准差值和所述测试指标提升度，确定所述测试指标提升度的置信区间；
若所述测试指标提升度的置信区间的下限值大于设定值，则确定所述测试结果为：所述新增定向投放账户对所述目标多媒体信息的定向投放具有预设作用；
若所述测试指标提升度的置信区间的上限值小于所述设定值，则确定所述测试结果为：所述新增定向投放账户对所述目标多媒体信息的定向投放具有与所述预设作用相反的作用。
8.根据权利要求1~7中任一项所述的方法，其特征在于，所述实验账户集合中原始定向投放账户和新增定向投放账户的比例，与所述对照账户集合中原始定向投放账户和新增定向投放账户的比例相同。
9.根据权利要求8所述的方法，其特征在于，所述实验账户集合包含的原始定向投放账户的数量与所述对照账户集合包含的原始定向投放账户的数量相同；所述实验账户集合包含的新增定向投放账户的数量与所述对照账户集合包含的新增定向投放账户的数量相同。
10.根据权利要求1~7中任一项所述的方法，其特征在于，所述各个测试账户中的新增定向投放账户是通过如下方式获取的：
从已注册账户中选取具有所述指定账户特征的账户作为候选账户；
将各个所述候选账户中包含设定标识中的至少一种标识的账户作为所述新增定向投放账户；所述设定标识为与所述目标多媒体信息具有关联关系的标识。
11.一种多媒体信息定向投放的测试装置，其特征在于，所述装置包括：
获取单元，用于获取基于对各个测试账户划分得到的实验账户集合和对照账户集合；所述各个测试账户中包括原始定向投放账户和新增定向投放账户，各个所述新增定向投放账户均具有指定账户特征，且所述实验账户集合中的新增定向投放账户具有相同的群组标识；所述群组标识以及所述原始定向投放账户的标识均与目标多媒体信息具有关联关系；
推荐单元，用于接收所述各个测试账户发送的信息召回请求，其中，每接收到一个信息召回请求，若所述信息召回请求中携带所述群组标识或所述原始定向投放账户的标识，则生成包含所述目标多媒体信息的候选推荐信息，并基于所述候选推荐信息向相应的测试账户发送推荐信息；
提取单元，用于从所述各个测试账户针对所述推荐信息返回的反馈数据中，提取出所述实验账户集合关联的反馈数据作为实验测试数据，以及提取出所述对照账户集合关联的反馈数据作为对照测试数据；
确定单元，用于根据所述实验测试数据和所述对照测试数据，确定所述新增定向投放账户对应的测试结果；所述测试结果用于表征所述新增定向投放账户对所述目标多媒体信息的定向投放是否具有预设作用。
12.根据权利要求11所述的装置，其特征在于，所述确定单元具体用于：
从所述实验测试数据中，获取所述实验账户集合针对所述目标多媒体信息的设定测试指标的目标实验测试数据；
从所述对照测试数据中，获取所述对照账户集合针对所述目标多媒体信息的设定测试指标的目标对照测试数据；
根据所述目标实验测试数据与所述目标对照测试数据的差异，确定所述新增定向投放账户对应的测试结果。
13.根据权利要求12所述的装置，其特征在于，所述设定测试指标包括曝光量和点击量，所述目标实验测试数据包括实验曝光量和实验点击量，所述目标对照测试数据包括对照曝光量和对照点击量。
14.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1~10中任一项所述的方法。
15.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1~10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110332445.XA CN112734502B (zh) | 2021-03-29 | 2021-03-29 | 一种多媒体信息定向投放的测试方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110332445.XA CN112734502B (zh) | 2021-03-29 | 2021-03-29 | 一种多媒体信息定向投放的测试方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734502A true CN112734502A (zh) | 2021-04-30 |
| CN112734502B CN112734502B (zh) | 2021-06-18 |
Family
ID=75595977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110332445.XA Active CN112734502B (zh) | 2021-03-29 | 2021-03-29 | 一种多媒体信息定向投放的测试方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734502B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344623A (zh) * | 2021-05-31 | 2021-09-03 | 北京百度网讯科技有限公司 | 信息处理方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101809602A (zh) * | 2007-08-06 | 2010-08-18 | 株式会社康姆斯克尔 | 广告效果判断方法、广告效果判断***以及广告效果判断程序 |
| CN108510309A (zh) * | 2018-02-27 | 2018-09-07 | 阿里巴巴集团控股有限公司 | 广告召回的方法及装置 |
| CN108845936A (zh) * | 2018-05-31 | 2018-11-20 | 阿里巴巴集团控股有限公司 | 一种基于海量用户的ab测试方法及*** |
| CN110348907A (zh) * | 2019-07-12 | 2019-10-18 | 深圳市腾讯计算机***有限公司 | 一种广告人群的定向方法及装置 |
| CN110458220A (zh) * | 2019-07-31 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 人群定向方法、装置、服务器及存储介质 |
| CN110619548A (zh) * | 2019-09-20 | 2019-12-27 | 腾讯科技（深圳）有限公司 | 媒体内容投放策略的确定方法、装置、设备及存储介质 |
-
2021
- 2021-03-29 CN CN202110332445.XA patent/CN112734502B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101809602A (zh) * | 2007-08-06 | 2010-08-18 | 株式会社康姆斯克尔 | 广告效果判断方法、广告效果判断***以及广告效果判断程序 |
| CN108510309A (zh) * | 2018-02-27 | 2018-09-07 | 阿里巴巴集团控股有限公司 | 广告召回的方法及装置 |
| CN108845936A (zh) * | 2018-05-31 | 2018-11-20 | 阿里巴巴集团控股有限公司 | 一种基于海量用户的ab测试方法及*** |
| CN110348907A (zh) * | 2019-07-12 | 2019-10-18 | 深圳市腾讯计算机***有限公司 | 一种广告人群的定向方法及装置 |
| CN110458220A (zh) * | 2019-07-31 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 人群定向方法、装置、服务器及存储介质 |
| CN110619548A (zh) * | 2019-09-20 | 2019-12-27 | 腾讯科技（深圳）有限公司 | 媒体内容投放策略的确定方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344623A (zh) * | 2021-05-31 | 2021-09-03 | 北京百度网讯科技有限公司 | 信息处理方法、装置、电子设备和存储介质 |
| CN113344623B (zh) * | 2021-05-31 | 2024-02-27 | 北京百度网讯科技有限公司 | 信息处理方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734502B (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200236569A1 (en) | Cross-channel user tracking systems, methods, and devices | |
| CN103473721B (zh) | 使用分布式人口统计信息确定媒体印象的方法和装置 | |
| CN104488277B (zh) | 用于监测媒体呈现的方法和装置 | |
| US8874639B2 (en) | Determining advertising effectiveness outside of a social networking system | |
| US20180357683A1 (en) | Rating data management | |
| US11961117B2 (en) | Methods and systems to evaluate and determine degree of pretense in online advertisement | |
| WO2007041557A2 (en) | Method and system for creating individualized web-based browser | |
| KR20150130282A (ko) | 실시간 비딩용 지능형 플랫폼 | |
| CN102460450A (zh) | 基于策略的视频内容联盟 | |
| CN111260399B (zh) | 基于区块链网络的广告数据处理方法、装置及电子设备 | |
| US20150302466A1 (en) | Data determination method and device for a thermodynamic chart | |
| US11604767B2 (en) | Systems and methods for data distillation | |
| US20220284069A1 (en) | Entity validation of a content originator | |
| US11935094B2 (en) | Managing metadata enrichment of digital asset portfolios | |
| US20090328081A1 (en) | Method and system for secure content hosting and distribution | |
| US9292515B1 (en) | Using follow-on search behavior to measure the effectiveness of online video ads | |
| CN112734502B (zh) | 一种多媒体信息定向投放的测试方法、装置和电子设备 | |
| WO2019059812A1 (ru) | Метод и децентрализованная платформа для проведения и контроля рекламных кампаний с помощью смарт-контарктов, блокчейн технологии и нейронных сетей | |
| CN111209201A (zh) | 一种广告投放测试方法及装置 | |
| CN114065051A (zh) | 私域平台视频推荐方法、装置、电子设备和介质 | |
| CN116186119A (zh) | 用户行为分析方法、装置、设备及存储介质 | |
| KR101673372B1 (ko) | 템플릿을 기반으로 하는 멀티미디어 네트워크 서비스 시스템 및 방법 | |
| CN111445284B (zh) | 一种定向标签的确定方法、装置、计算设备及存储介质 | |
| CN114442869A (zh) | 用户分流处理的方法、装置、电子设备及存储介质 | |
| CN111382343B (zh) | 一种标签体系生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40041948 Country of ref document: HK |