CN113791978B - 目标对照样本获取方法以及策略检测方法 - Google Patents

目标对照样本获取方法以及策略检测方法 Download PDF

Info

Publication number
CN113791978B
CN113791978B CN202111070537.1A CN202111070537A CN113791978B CN 113791978 B CN113791978 B CN 113791978B CN 202111070537 A CN202111070537 A CN 202111070537A CN 113791978 B CN113791978 B CN 113791978B
Authority
CN
China
Prior art keywords
sample
experimental
target
control
control sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111070537.1A
Other languages
English (en)
Other versions
CN113791978A (zh
Inventor
康子啸
胡志鹏
程龙
刘勇成
袁思思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202111070537.1A priority Critical patent/CN113791978B/zh
Publication of CN113791978A publication Critical patent/CN113791978A/zh
Application granted granted Critical
Publication of CN113791978B publication Critical patent/CN113791978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了目标对照样本获取方法以及策略检测方法；本申请实施例获取实验样本集合和对照样本集合，实验样本集合由多个实验样本组成，对照用户集合由多个对照样本组成；对实验样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征；对照样本进行汇总处理，得到对应于汇总处理的对照样本汇总特征；针对每种汇总处理，根据实验样本汇总特征和对照样本汇总特征对实验样本和对照样本进行对比处理，得到目标样本；对实验样本对应的多个目标样本进行统一处理，得到实验样本匹配的目标对照样本。在本申请实施例中，得到了和实验样本相近似的目标对照样本，有利于在进行内容测试时，提高内容测试结果的可信度。

Description

目标对照样本获取方法以及策略检测方法
技术领域
本申请涉及计算机领域，具体涉及一种目标对照样本获取方法以及策略检测方法。
背景技术
近年来，为了避免游戏玩家所收到的奖励或是看到的信息出现较大的分歧，有时会在社交平台上对游戏有非议，影响游戏口碑，因此需要对不同服务器的用户进行测试。在进行内容检测时，通常需要确定实验样本和对照样本，实验样本和对照样本需要在不同的服务器上。
然而，现有实验样本和对照样本是随机匹配的，并不能保证实验样本和对照样的相似程度，导致在进行内容测试时，测试结果的可信度不高，因此,目前的实验样本难以精准找到相似度高的对照样本。
发明内容
本申请实施例提供优选目标对照样本获取方法以及策略检测方法，可以使实验样本找到相似的对照样本。
本申请实施例提供一种目标对照样本获取方法，方法包括：
获取实验样本集合和对照样本集合，实验样本集合由多个实验样本组成，对照用户集合由多个对照样本组成；
对实验样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征；
对照样本进行汇总处理，得到对应于汇总处理的对照样本汇总特征；
针对每种汇总处理，根据实验样本汇总特征和对照样本汇总特征对实验样本和对照样本进行对比处理，得到目标样本，其中，每种汇总处理之间的处理方式不同，目标样本和所述实验样本相似；
对实验样本对应的多个目标样本进行统一处理，得到实验样本匹配的目标对照样本。
本申请实施例还提供一种目标对照样本获取装置，装置包括：
样本获取单元，用于获取实验样本集合和对照样本集合，实验样本集合由多个实验样本组成，对照用户集合由多个对照样本组成；
汇总处理单元，用于对实验样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征，以及对照样本进行汇总处理，得到对应于汇总处理的对照样本汇总特征；
目标样本确定单元，用于针对每种汇总处理，根据实验样本汇总特征和对照样本汇总特征对实验样本和对照样本进行对比处理，得到目标样本，其中，每种汇总处理之间的处理方式不同，目标样本和实验样本相似；
目标对照样本确定单元，用于对实验样本对应的多个目标样本进行统一处理，得到实验样本匹配的目标对照样本。
在一些实施例中，目标对照样本确定单元，用于：
根据汇总处理对应的实验样本汇总特征和对照样本汇总特征，确定实验样本对应的目标样本的特征丢失信息；
根据实验样本对应的多个特征丢失信息，对实验样本对应的多个目标样本进行统一处理，得到和实验样本匹配的目标对照样本。
在一些实施例中，根据汇总处理对应的实验样本汇总特征和对照样本汇总特征，确定实验样本对应的所述目标样本的特征丢失信息，装置还用于：
针对每种汇总处理，确定实验样本集合对应的目标样本集合；
对实验样本集合进行均值处理，得到实验样本特征均值；
目标样本集合进行均值处理，得到目标样本特征均值；
对实验样本特征均值和目标样本特征均值进行差值处理，得到特征均值差；
确定实验样本集合对应的特征标准差；
根据特征均值差在特征标准差中的占比，确定实验样本对应的目标样本的特征丢失信息。
在一些实施例中，根据实验样本对应的多个特征丢失信息，对实验样本对应的多个目标样本进行统一处理，得到和实验样本匹配的目标对照样本，该装置还用于：
当实验样本为连续变量时，根据特征丢失信息对目标样本通过进行加权求和，得到和实验样本匹配的所述目标对照样本；
当实验样本为离散变量时，根据特征丢失信息，对实验样本对应的所述多个目标对照样本进行信息比对处理，得到和实验样本匹配的所述目标对照样本。
在一些实施例中，汇总处理单元，用于：
对实验样本和对照样本进行归一化处理，得到实验归一化样本和对照归一化样本；
对实验归一化样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征；
对对照归一化样本进行所述汇总处理，得到对应于汇总处理的对照样本汇总特征。
在一些实施例中，该装置还用于：
汇总处理采用的处理方式至少包括Logistic回归模型、k最邻近分类算法模型、随机森林模型以及XGBoost模型中的两种。
本申请实施例还提供一种策略检测方法，包括：
获取本申请实施例所提供的目标对照样本获取方法中的实验用户样本和目标对照样本；
获取待检验的策略；
在策略投放前，获取实验样本对应的实验样本初始信息，以及目标对照样本对应的对照样本初始信息；
将策略投放到实验样本后，获取实验样本对应的实验样本实验信息，以及目标对照样本对应的对照样本实验信息，其中，目标对照样本未投放策略；
根据实验样本初始信息以及实验样本实验信息，确定实验样本变化量；
根据对照样本初始信息以及对照样本实验信息，确定对照样本变化量；
对实验样本变化量以及对照样本变化量进行差分处理，得到策略检测结果。
本申请实施例还提供一种策略检测装置，所述装置包括：
检测样本获取单元，用于获取本申请实施例所提供的目标对照样本获取方法中的实验用户样本和目标对照样本；
策略获取单元，用于获取待检验的策略；
初始信息获取单元，用于在策略投放前，获取实验样本对应的实验样本初始信息，以及目标对照样本对应的对照样本初始信息；
实验信息获取单元，用于将策略投放到所述实验样本后，获取实验样本对应的实验样本实验信息，以及目标对照样本对应的对照样本实验信息，其中，目标对照样本未投放所述策略；
实验样本变化量确定单元，用于根据实验样本初始信息以及实验样本实验信息，确定实验样本变化量；
对照样本变化量确定单元，用于根据对照样本初始信息以及对照样本实验信息，确定对照样本变化量；
策略检测结果确定单元，用于对实验样本变化量以及对照样本变化量进行差分处理，得到策略检测结果。
在一些实施例中，该装置还用于：
根据实验样本和目标对照样本的样本类型，验证策略检测结果。
在一些实施例中，该装置还用于：
述根据实验样本和目标对照样本的样本类型，验证策略检测结果，包括：
当样本类型为离散变量时，确定根据实验样本和目标对照样本之间对应的样本留存率；
将实验样本和目标对照样本对应的样本留存率进行对比，对策略检测结果进行检验。
在一些实施例中，该装置还用于：
当样本类型为连续变量时，将实验样本和目标对照样本对应的样本大小进行对比，验证策略检测结果。
本申请实施例还提供一种终端，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种目标对照样本获取方法或任一种策略检测方法中的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种目标对照样本获取方法或任一种策略检测方法中的步骤。
本申请实施例可以获取实验样本集合和对照样本集合，实验样本集合由多个实验样本组成，对照用户集合由多个对照样本组成；对实验样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征；对照样本进行汇总处理，得到对应于汇总处理的对照样本汇总特征；针对每种汇总处理，根据实验样本汇总特征和对照样本汇总特征对实验样本和对照样本进行对比处理，得到目标样本，其中，每种汇总处理之间的处理方式不同，目标样本和所述实验样本相似；对实验样本对应的多个目标样本进行统一处理，得到实验样本匹配的目标对照样本。
由于实验样本集合和对照样本集合为人为确定，因此，对照样本和实验样本可能并不相似，因此本申请对汇总处理得到的实验样本汇总特征和对照样本汇总特征进行汇总，可以确定实验样本和对照样本的近似度，从而得到和实验样本相似的目标样本，但由于汇总处理的处理方式有多种，因此实验样本可以得到多个相似的目标样本，对多个相似的目标样本进行统一处理，有利于得到和实验样本更为相似的目标对照样本，由此，在进行内容检测前，可以获取和实验样本相近似的目标对照样本，有利于在进行内容测试时，得到可信度高的测试结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是现有的获取对照样本的场景图；
图1b是本申请实施例提供的目标对照样本获取方法的场景图；
图1c是本申请实施例提供的目标对照样本获取方法的流程示意图；
图2是本申请实施例提供的目标对照样本获取装置的结构示意图；
图3是本申请实施例提供的策略检测方法的流程示意图；
图4是本申请实施例提供的策略检测装置的结构示意图；
图5是本申请实施例提供的移动终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供目标对照样本获取方法以及策略检测方法、装置、终端和存储介质。
其中，该目标对照样本获取装置和策略检测装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
在一些实施例中，该目标对照样本获取装置和策略检测装置还可以集成在多个电子设备中，比如目标对照样本获取装置和策略检测装置可以集成在多个服务器中，由多个服务器来实现本申请的目标对照样本获取方法以及策略检测方法。
在一些实施例中，服务器也可以以终端的形式来实现。
参见图1a，目前在进行内容检测时，常采用AB测试。AB测试需要从不同服务器上选取实验样本和对照样本。通常实验样本和对照样本是通过人为选取，人为选取的实验样本和对照样本难以符合随机对照实验(Randomized Controlled Trial，RCT)标准的随机分组效果。随机对照实验结果可以用于因果推断，即形成结论“X导致Y”的重要前提条件，尽力将样本随机分配是各学科实验研究的重要目标之一。
由于目前对照样本通过上述方式获取，难以保证实验样本和对照样本相似，因此，本申请实施例提出一种目标对照样本获取方法，参见图1b,在本方案的一个实施例中，该电子设备可以是服务器，该服务器可以获取实验样本集合和对照样本集合，实验样本集合由多个实验样本组成，对照用户集合由多个对照样本组成；对实验样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征；对照样本进行汇总处理，得到对应于汇总处理的对照样本汇总特征；针对每种汇总处理，根据实验样本汇总特征和对照样本汇总特征对实验样本和对照样本进行对比处理，得到目标样本，其中，每种汇总处理之间的处理方式不同，目标样本和所述实验样本相似；对实验样本对应的多个目标样本进行统一处理，得到实验样本匹配的目标对照样本。
其中，对实验样本和对照样本进行汇总处理，从而得到实验样本汇总特征和对照样本汇总特征，通过实验样本汇总特征和对照样本汇总特征，可以确定实验样本和对照样本之间的相似度，从而得到和实验样本对应的目标样本，同时，根据汇总处理之间的处理方式的不同，实验样本对应的目标样本也会不同，如此，实验样本可以对应多个目标样本，对实验样本对应的多个目标样本进行统一处理，使实验样本对应一个目标对照样本，由于该目标对照样本由多个目标样本得到，因此，有利于获得和实验样本近似度高的目标对照样本。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
在本实施例中，提供了一种目标对照样本获取方法，如图1c所示，该目标对照样本获取方法的具体流程可以如下：
101、获取实验样本集合和对照样本集合，实验样本集合由多个实验样本组成，对照用户集合由多个对照样本组成。
在一些实施例中，实验样本集合和对照样本集合可以从本地获取，也可以从异地获取。
在一些实施例中，实验样本集合的样本数量小于对照样本集合的样本梳理，例如，实验样本集合的样本数量可以是1000，此时，对照样本集合的样本梳理可以是2000。
在一些实施例中，例如，实验样本和对照样本可以是对应的用户数据，该用户数据可以由多种特征组成。例如，对于游戏样本，游戏样本对应的游戏用户数据可以由3日活跃、7日活跃、15日充值等组成。
102、对实验样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征。
在一些实施例中，可以在本地或者异地对实验样本进行汇总处理，实验样本汇总特征为实验样本对应的特征汇总，从而使实验样本只对应一个实验样本汇总特征。
103、对照样本进行汇总处理，得到对应于汇总处理的对照样本汇总特征。
在一些实施例中，可以在本地或者异地对对照样本进行汇总处理，对照样本汇总特征为对照样本对应的特征汇总，从而使实验样本只对应一个实验样本汇总特征。
在一些实施例中，汇总处理采用的处理方式至少包括Logistic回归模型、k最邻近分类算法模型、随机森林模型以及XGBoost模型中的两种。
在一些实施例中，该装置还用于：
对实验样本和对照样本进行归一化处理，得到实验归一化样本和对照归一化样本；
对实验归一化样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征；
对对照归一化样本进行所述汇总处理，得到对应于汇总处理的对照样本汇总特征。
104、针对每种汇总处理，根据实验样本汇总特征和对照样本汇总特征对实验样本和对照样本进行对比处理，得到目标样本，其中，每种汇总处理之间的处理方式不同，目标样本和所述实验样本相似。
在一些实施例中，可以在本地或异地进行对比处理，由于实验样本对应一个实验样本汇总特征，对照样本对应一个对照样本汇总特征，有利于将实验样本汇总特征和对照样本汇总特征进行对比，得到和实验样本相似的目标样本。
105、对实验样本对应的多个目标样本进行统一处理，得到实验样本匹配的目标对照样本。
在一些实施例中，步骤105可以包括如下步骤：
在一些实施例中，根据汇总处理对应的实验样本汇总特征和对照样本汇总特征，确定实验样本对应的目标样本的特征丢失信息；
根据实验样本对应的多个特征丢失信息，对实验样本对应的多个目标样本进行统一处理，得到和实验样本匹配的目标对照样本。
在一些实施例中，当实验样本汇总特征和对照样本汇总特征相似时，对应样本汇总特征对应的对照样本为目标样本，在对实验样本和对照样本进行汇总处理时，实验样本对应的多个特征会丢失信息，对照样本对应的多个特征也会丢失信息，从而形成实验样本汇总特征和对照样本汇总特征，根据汇总处理对应的实验样本汇总特征和对照样本汇总特征，得到实验样本对应的目标样本的特征丢失信息。由于根据每种汇总处理之间处理方式的不同，实验样本对应多个目标样本，从而可以得到实验样本对应多个特征丢失信息，特征丢失信息可以表示特征的丢失情况，对实验样本对应的多个目标样本进行统一处理，从而使目标对照样本的获取考虑到了特征的丢失情况，有利于提高目标对照样本和实验样本的相似度。
在一些实施例中，根据汇总处理对应的实验样本汇总特征和对照样本汇总特征，确定实验样本对应的所述目标样本的特征丢失信息，装置还用于：
针对每种汇总处理，确定实验样本集合对应的目标样本集合；
对实验样本集合进行均值处理，得到实验样本特征均值；
目标样本集合进行均值处理，得到目标样本特征均值；
对实验样本特征均值和目标样本特征均值进行差值处理，得到特征均值差；
确定实验样本集合对应的特征标准差；
根据特征均值差在所述特征标准差中的占比，确定实验样本对应的目标样本的特征丢失信息。
在一些实施例中，特征丢失信息＝(实验样本特征均值-对照样本特征均值)/实验样本特征标准差。
在一些实施例中，根据实验样本对应的多个特征丢失信息，对实验样本对应的多个目标样本进行统一处理，得到和实验样本匹配的目标对照样本，该装置还用于：
当实验样本为连续变量时，根据特征丢失信息对目标样本通过进行加权求和，得到和实验样本匹配的所述目标对照样本；
当实验样本为离散变量时，根据特征丢失信息，对实验样本对应的所述多个目标对照样本进行信息比对处理，得到和实验样本匹配的所述目标对照样本。
在一些实施例中，例如，使用汇总模型A，样本对应的X特征算得的SMD为0.05，为实验组样本a匹配到的是对照组样本b1；使用汇总模型B，样本对应的X特征算得的SMD为0.15，为实验组样本a匹配到的是对照组样本b2。在这种情况下，若X特征为连续变量，则采用加权平均的方法(SMD越小，分配到的权重越大)，将样本b1和b2的X特征值乘以相应权重，合成一个目标对照样本对应的X特征值为：
目标对照样本b3的X特征值＝b1的X特征值×0.15/(0.05+0.15)+b2的X特征值×0.05/(0.05+0.15)；
若X特征为离散变量，则采用投票法，将得到SMD较小的算法(在此例子中，为算法A)所匹配到的样本(在此例子中，为样本b1)的X特征值，分配给虚拟样本。
本申请实施例提供的方案为内容检测的场景中。比如，以测试内容为游戏策略为例，在对游戏策略进行测试前，需要选取投放该游戏策略的实验样本集合，同时还要选取不投入该游戏策略的对照样本集合，由于实验样本和对照样本为人为选取，导致实验样本和对照样本可能并不相似，如此，对实验样本和对照样本进行汇总处理，得到实验样本对应的实验样本汇总特征，以及对照样本对应的对照样本汇总特征，将实验样本汇总特征和对照样本汇总特征进行比对，从而得到和实验样本近似的目标样本，由于每种汇总处理的处理方式不同，如此，实验样本可以对应多个近似的目标样本，对多个目标样本进行统一处理，使目标对照样本和实验样本更为近似，从而可以得到和实验样本近似的目标对照样本。
由上可知，本申请实施例可以得到和实验样本近似的目标对照样本，同时，本方案解决了在进行内容测试时，由于实验样本和对照样本不近似，导致的测试结果不精确的问题。
为了更好地实施以上方法，本申请实施例还提供一种目标对照样本获取装置，该目标对照样本获取装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
比如，在本实施例中，将以目标对照样本获取装置具体集成在一种服务器为例，对本申请实施例的方法进行详细说明。
例如，如图2所示，该目标对照样本获取装置可以包括：
(一)样本获取单元201；
样本获取单元201，用于获取实验样本集合和对照样本集合，实验样本集合由多个实验样本组成，对照用户集合由多个对照样本组成。
(二)汇总处理单元202；
汇总处理单元202，用于对实验样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征，以及对对照样本进行汇总处理，得到对应于汇总处理的对照样本汇总特征。
在一些实施例中，汇总处理单元202，用于：
在一些实施例中，对所述实验样本和所述对照样本进行归一化处理，得到实验归一化样本和对照归一化样本；
对所述实验归一化样本进行汇总处理，得到对应于所述汇总处理的实验样本汇总特征；
对所述对照归一化样本进行所述汇总处理，得到对应于所述汇总处理的对照样本汇总特征。
在一些实施例中，该装置还用于：
汇总处理采用的处理方式至少包括Logistic回归模型、k最邻近分类算法模型、随机森林模型以及XGBoost模型中的两种。
(三)目标样本确定单元203；
目标样本确定单元203，用于针对每种汇总处理，根据实验样本汇总特征和对照样本汇总特征对实验样本和对照样本进行对比处理，得到目标样本，其中，每种汇总处理之间的处理方式不同，目标样本和实验样本相似。
(四)目标对照样本确定单元204；
目标对照样本确定单元204，用于对实验样本对应的多个目标样本进行统一处理，得到实验样本匹配的目标对照样本。
在一些实施例中，目标对照样本确定单元204，用于：
在一些实施例中，根据汇总处理对应的实验样本汇总特征和对照样本汇总特征，确定实验样本对应的目标样本的特征丢失信息；
根据实验样本对应的多个特征丢失信息，对实验样本对应的多个目标样本进行统一处理，得到和实验样本匹配的目标对照样本。
在一些实施例中，根据汇总处理对应的实验样本汇总特征和对照样本汇总特征，确定实验样本对应的所述目标样本的特征丢失信息，装置还用于：
针对每种汇总处理，确定实验样本集合对应的目标样本集合；
对实验样本集合进行均值处理，得到实验样本特征均值；
目标样本集合进行均值处理，得到目标样本特征均值；
对实验样本特征均值和目标样本特征均值进行差值处理，得到特征均值差；
确定实验样本集合对应的特征标准差；
根据特征均值差在特征标准差中的占比，确定实验样本对应的目标样本的特征丢失信息。
在一些实施例中，根据实验样本对应的多个特征丢失信息，对实验样本对应的多个目标样本进行统一处理，得到和实验样本匹配的目标对照样本，该装置还用于：
当实验样本为连续变量时，根据特征丢失信息对目标样本通过进行加权求和，得到和实验样本匹配的所述目标对照样本；
当实验样本为离散变量时，根据特征丢失信息，对实验样本对应的所述多个目标对照样本进行信息比对处理，得到和实验样本匹配的所述目标对照样本。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的目标对照样本获取装置由样本获取单元201获取实验样本集合和对照样本集合，此时的实验样本和对照样本相似度不高，通过汇总处理单元202对实验样本进行汇总处理，得到实验样本汇总特征，对对照样本进行汇总处理，得到对照样本汇总特征，通过目标样本确定单元203将根据实验样本汇总特征和对照样本汇总特征对实验样本和对照样本进行对比处理，得到和实验样本近似的目标样本，由于每种汇总处理的处理方式不同，导致实验样本对应多个目标样本，用目标对照样本确定单元204对多个目标样本进行统一处理，如此，使实验样本得到一个近似度高的目标对照样本。
在本实施例中，提供了一种策略检测方法，如图3所示，该目标对照样本获取方法的具体流程可以如下：
301、获取本申请实施例所提供的目标对照样本获取方法中的实验用户样本和目标对照样本。
302、获取待检验的策略。
在一些实施例中，该策略可以是游戏策略。
303、在策略投放前，获取实验样本对应的实验样本初始信息，以及目标对照样本对应的对照样本初始信息。
304、将策略投放到实验样本后，获取实验样本对应的实验样本实验信息，以及目标对照样本对应的对照样本实验信息，其中，目标对照样本未投放策略。
305、根据实验样本初始信息以及实验样本实验信息，确定实验样本变化量。
306、根据对照样本初始信息以及对照样本实验信息，确定对照样本变化量。
307、对实验样本变化量以及对照样本变化量进行差分处理，得到策略检测结果。
在一些实施例中，例如，找到实验样本A实验前后数据A1、A2，对照样本前后数据B1、B2，之后用(A2-A1)-(B2-B1)，即双重差分，得到策略检测结果。
在一些实施例中，根据实验样本和目标对照样本的样本类型，验证策略检测结果。
在一些实施例中，述根据实验样本和目标对照样本的样本类型，验证策略检测结果，包括：
当样本类型为离散变量时，确定根据实验样本和目标对照样本之间对应的样本留存率；
将实验样本和目标对照样本对应的样本留存率进行对比，对策略检测结果进行检验。
在一些实施例中，当样本类型为连续变量时，将实验样本和目标对照样本对应的样本大小进行对比，验证策略检测结果。
本申请实施例提供的方案为内容检测的场景中。比如，以测试内容为游戏策略为例，在对游戏策略进行测试时，获取在策略投放前，获取实验样本对应的实验样本初始信息，以及目标对照样本对应的对照样本初始信息，将游戏策略投入到实验样本中，目标对照样本不投入游戏策略，当游戏策略在实验样本中运行了一段时间，获取实验样本对应的实验样本实验信息，以及目标对照样本对应的对照样本实验信息，根据实验样本初始信息以及实验样本实验信息，确定实验样本变化量，根据对照样本初始信息以及对照样本实验信息，确定对照样本变化量，对实验样本变化量以及对照样本变化量进行差分处理，得到该游戏策略的策略检测结果，由于实验样本和目标对照样本的近似度高，有利于得到可信度高的策略检验结果。
由上可知，本申请实施例可以得到和实验样本近似的目标对照样本，同时，本方案解决了在进行内容测试时，由于实验样本和对照样本不近似，导致的测试结果不精确的问题。
比如，在本实施例中，将以策略检测装置具体集成在一种服务器为例，对本申请实施例的方法进行详细说明。
例如，如图4所示，该目标对照样本获取装置可以包括：
(一)检测样本获取单元401；
检测样本获取单元401，用于获取本申请实施例所提供的目标对照样本获取方法中的实验用户样本和目标对照样本。
(二)策略获取单元402；
策略获取单元402，用于获取待检验的策略。
(三)初始信息获取单元403；
初始信息获取单元403，用于在策略投放前，获取实验样本对应的实验样本初始信息，以及目标对照样本对应的对照样本初始信息。
(四)实验信息获取单元404；
实验信息获取单元404，用于将策略投放到所述实验样本后，获取实验样本对应的实验样本实验信息，以及目标对照样本对应的对照样本实验信息，其中，目标对照样本未投放所述策略。
(五)实验样本变化量确定单元405；
实验样本变化量确定单元405，用于根据实验样本初始信息以及实验样本实验信息，确定实验样本变化量。
(四)对照样本变化量确定单元406；
对照样本变化量确定单元406，用于根据对照样本初始信息以及对照样本实验信息，确定对照样本变化量。
(五)策略检测结果确定单元407；
策略检测结果确定单元407，用于对实验样本变化量以及对照样本变化量进行差分处理，得到策略检测结果。
在一些实施例中，该装置还用于：
根据实验样本和目标对照样本的样本类型，验证策略检测结果。
在一些实施例中，该装置还用于：
述根据实验样本和目标对照样本的样本类型，验证策略检测结果，包括：
当样本类型为离散变量时，确定根据实验样本和目标对照样本之间对应的样本留存率；
将实验样本和目标对照样本对应的样本留存率进行对比，对策略检测结果进行检验。
在一些实施例中，该装置还用于：
当样本类型为连续变量时，将实验样本和目标对照样本对应的样本大小进行对比，验证策略检测结果。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的策略检测装置由检测样本获取单元401获取近似度高的实验样本和对目标照样本，策略获取单元402获取待检验的策略，初始信息获取单元403策略投放前，获取实验样本对应的实验样本初始信息，以及目标对照样本对应的对照样本初始信息，实验信息获取单元404，将策略投放到所述实验样本后，获取实验样本对应的实验样本实验信息，以及目标对照样本对应的对照样本实验信息，实验样本变化量确定单元405，根据实验样本初始信息以及实验样本实验信息，确定实验样本变化量，对照样本变化量确定单元406根据对照样本初始信息以及对照样本实验信息，确定对照样本变化量，策略检测结果确定单元407，对实验样本变化量以及对照样本变化量进行差分处理，得到策略检测结果，由于实验样本和目标对照样本有较高的近似度，如此，提高了策略检测结果的可靠性。
根据上述实施例所描述的方法，以下将作进一步详细说明。
(一)进行AB测试前期准备，如使用功效分享(Power Analysis)确定所需实验样本和对照样本的样本大小。
(二)在完成前期准备后(不需要对样本做到随机分)，进行AB测试。如选择A、B两个服务器作为实验点，A服务器投放策略作为实验组，B服务器不投放策略作为对照组，并持续一段时间。
(三)对所有实验样本和对照样本的实验前数据提取重要特征(包括不同时间窗口的数据，如3日活跃、7日活跃、15日充值等)，归一化后，进行倾向评分匹配分析(PropensityScore Matching，PSM)，可以采用Logistic模型、KNN算法等方法，将实验样本和对照样本的样本进行匹配，保证每一个实验样本能够找到至少一个目标样本。
在使用多种模型方法(如Logistic、KNN、随机森林、XGBoost等)进行倾向值匹配后，在每种方法下、每个用于计算倾向值的样本对应的特征会有不同的SMD(StandarizedMean Difference，标准均数差)，计算方式为(实验集合X特征均值-对照集合X特征均值)/实验集合X特征标准差。一般来说，当SMD不超过0.2即表示这个样本对应的特征(变量)的配平质量可以接受，越小越好。比方说，使用A算法进行倾向值匹配，X特征算得的SMD为0.05，为实验样本a匹配到的是对照组样本b1；使用B算法，X特征算得的SMD为0.15，为实验组样本a匹配到的是对照组样本b2。那么在这种情况下，若X特征为连续变量，则采用加权平均的方法(SMD越小，分配到的权重越大)，将样本b1和b2的X特征值乘以相应权重，合成一个目标对照样本的X特征值(见下方算式)；
目标对照样本b3的X特征值＝b1的X特征值×0.15/(0.05+0.15)+b2的X特征值×0.05/(0.05+0.15)；
若X特征为离散变量，则采用投票法，将得到SMD较小的算法(在此例子中，为算法A)所匹配到的样本(在此例子中，为样本b1)的X特征值，分配给目标对照样本。以此类推，直到样本对应的所有特征都被计算，生成与实验样本相似的目标对照集合。
(四)结合DID方法，简单来说，针对所需研究的指标，找到A组样本实验前后数据A1、A2，B组样本实验前后数据B1、B2，之后用(A2-A1)-(B2-B1)，即双重差分，得到实验结果。
(五)进行统计检验，如t检验(针对量变化)、卡方独立性检验(针对率变化)等，确保实验结果的可信度。
由此，本申请实施例可以是实验样本找到相似度高的对照样本。本申请实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑，等等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。
在一些实施例中，该目标对照样本获取装置或策略检测装置还可以集成在多个电子设备中，比如，目标对照样本获取装置或策略检测装置可以集成在多个服务器中，由多个服务器来实现本申请的目标对照样本获取方法或策略检测方法。
在本实施例中，将以本实施例的电子设备是服务器为例进行详细描述，比如，如图5所示，其示出了本申请实施例所涉及的移动终端的结构示意图，具体来讲：
该移动终端可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503、输入模块504以及通信模块505等部件。本领域技术人员可以理解，图5中示出的结构并不构成对移动终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。在一些实施例中，处理器501可包括一个或多个处理核心；在一些实施例中，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
移动终端还包括给各个部件供电的电源503，在一些实施例中，电源503可以通过电源管理***与处理器501逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该移动终端还可包括输入模块504，该输入模块504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、话筒、光学或者轨迹球信号输入。
该移动终端还可包括通信模块505，在一些实施例中通信模块505可以包括无线模块，移动终端可以通过该通信模块505的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块505可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出，移动终端还可以包括显示单元等，在此不再赘述。具体在本实施例中，移动终端中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：
目标对照样本获取方法的步骤：
获取实验样本集合和对照样本集合，实验样本集合由多个实验样本组成，对照用户集合由多个对照样本组成；
对实验样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征；
对照样本进行汇总处理，得到对应于汇总处理的对照样本汇总特征；
针对每种汇总处理，根据实验样本汇总特征和对照样本汇总特征对实验样本和对照样本进行对比处理，得到目标样本，其中，每种汇总处理之间的处理方式不同，目标样本和所述实验样本相似；
对实验样本对应的多个目标样本进行统一处理，得到实验样本匹配的目标对照样本。
策略检测方法的步骤：获取本申请实施例所提供的目标对照样本获取方法的实验用户样本和目标对照样本，包括：
获取待检验的策略；
在策略投放前，获取实验样本对应的实验样本初始信息，以及目标对照样本对应的对照样本初始信息；
将策略投放到实验样本后，获取实验样本对应的实验样本实验信息，以及目标对照样本对应的对照样本实验信息，其中，目标对照样本未投放策略；
根据实验样本初始信息以及实验样本实验信息，确定实验样本变化量；
根据对照样本初始信息以及对照样本实验信息，确定对照样本变化量；
对实验样本变化量以及对照样本变化量进行差分处理，得到策略检测结果。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，在对策略检测前，本实施例可以获取实验样本集合和对照样本集合，实验样本集合由多个实验样本组成，对照用户集合由多个对照样本组成；对实验样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征；对照样本进行汇总处理，得到对应于汇总处理的对照样本汇总特征；针对每种汇总处理，根据实验样本汇总特征和对照样本汇总特征对实验样本和对照样本进行对比处理，得到和实验样本相似的目标样本，由于，每种汇总处理之间的处理方式不同，如此，实验样本对应多个目标样本，对实验样本对应的多个目标样本进行统一处理，使目标对照样本和实验样本更为近似，从而可以得到和实验样本近似的目标对照样本。在对策略检测时，本申请可以包括本申请实施例所提供的目标对照样本获取方法的实验用户样本和目标对照样本，获取待检验的策略；在策略投放前，获取实验样本对应的实验样本初始信息，以及目标对照样本对应的对照样本初始信息；将策略投放到实验样本后，获取实验样本对应的实验样本实验信息，以及目标对照样本对应的对照样本实验信息，其中，目标对照样本未投放策略；根据实验样本初始信息以及实验样本实验信息，确定实验样本变化量；根据对照样本初始信息以及对照样本实验信息，确定对照样本变化量；对实验样本变化量以及对照样本变化量进行差分处理，得到策略检测结果，有利于提高策略检测结果的可信度。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种目标对照样本获取方法中的步骤或任一种策略检测方法。
例如，该计算机程序可以执行任一种目标对照样本获取方法的如下步骤：
获取实验样本集合和对照样本集合，实验样本集合由多个实验样本组成，对照用户集合由多个对照样本组成；
对实验样本进行汇总处理，得到对应于汇总处理的实验样本汇总特征；
对照样本进行汇总处理，得到对应于汇总处理的对照样本汇总特征；
针对每种汇总处理，根据实验样本汇总特征和对照样本汇总特征对实验样本和对照样本进行对比处理，得到目标样本，其中，每种汇总处理之间的处理方式不同，目标样本和所述实验样本相似；
对实验样本对应的多个目标样本进行统一处理，得到实验样本匹配的目标对照样本。
例如，该计算机程序可以执行任一种策略检测方法的如下步骤：
获取待检验的策略；
在策略投放前，获取实验样本对应的实验样本初始信息，以及目标对照样本对应的对照样本初始信息；
将策略投放到实验样本后，获取实验样本对应的实验样本实验信息，以及目标对照样本对应的对照样本实验信息，其中，目标对照样本未投放策略；
根据实验样本初始信息以及实验样本实验信息，确定实验样本变化量；
根据对照样本初始信息以及对照样本实验信息，确定对照样本变化量；
对实验样本变化量以及对照样本变化量进行差分处理，得到策略检测结果。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种目标对照样本获取方法或策略检测方法中的步骤，因此，可以实现本申请实施例所提供的任一种目标对照样本获取方法获策略检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种目标对照样本获取方法以及策略检测方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种目标对照样本获取方法，其特征在于，所述方法包括：
获取实验样本集合和对照样本集合，所述实验样本集合由多个实验样本组成，所述对照样本集合由多个对照样本组成；
对所述实验样本进行汇总处理，得到对应于所述汇总处理的实验样本汇总特征；
对所述对照样本进行所述汇总处理，得到对应于所述汇总处理的对照样本汇总特征；
针对每种所述汇总处理，根据所述实验样本汇总特征和所述对照样本汇总特征对所述实验样本和所述对照样本进行对比处理，得到目标样本，其中，每种所述汇总处理之间的处理方式不同，所述目标样本和所述实验样本相似；
对所述实验样本对应的多个目标样本进行统一处理，得到所述实验样本匹配的目标对照样本；
所述对所述实验样本对应的多个目标样本进行统一处理，得到所述实验样本匹配的目标对照样本，包括：
根据所述汇总处理对应的所述实验样本汇总特征和所述对照样本汇总特征，确定所述实验样本对应的所述目标样本的特征丢失信息；
当所述实验样本为连续变量时，根据所述特征丢失信息对所述目标样本通过进行加权求和，得到和所述实验样本匹配的所述目标对照样本；
当所述实验样本为离散变量时，根据所述特征丢失信息，对所述实验样本对应的所述多个目标对照样本进行信息比对处理，得到和所述实验样本匹配的所述目标对照样本。
2.根据权利要求1所述的方法，其特征在于，所述根据所述汇总处理对应的所述实验样本汇总特征和所述对照样本汇总特征，确定所述实验样本对应的所述目标样本的特征丢失信息，包括：
针对每种所述汇总处理，确定所述实验样本集合对应的目标样本集合；
对所述实验样本集合进行均值处理，得到实验样本特征均值；
对所述目标样本集合进行均值处理，得到目标样本特征均值；
对所述实验样本特征均值和所述目标样本特征均值进行差值处理，得到特征均值差；
确定所述实验样本集合对应的特征标准差；
根据所述特征均值差在所述特征标准差中的占比，确定所述实验样本对应的所述目标样本的特征丢失信息。
3.根据权利要求1所述的方法，其特征在于，所述对所述实验样本进行汇总处理，得到对应于所述汇总处理的实验样本汇总特征；以及所述对照样本进行所述汇总处理，得到对应于所述汇总处理的对照样本汇总特征，包括：
对所述实验样本和所述对照样本进行归一化处理，得到实验归一化样本和对照归一化样本；
对所述实验归一化样本进行汇总处理，得到对应于所述汇总处理的实验样本汇总特征；
对所述对照归一化样本进行所述汇总处理，得到对应于所述汇总处理的对照样本汇总特征。
4.根据权利要求1所述的方法，其特征在于，所述汇总处理采用的处理方式至少包括Logistic回归模型、k最邻近分类算法模型、随机森林模型以及XGBoost模型中的两种。
5.一种策略检测方法，其特征在于，包括：
获取如权利要求1～4任一项所述的目标对照样本获取方法中的实验用户样本和目标对照样本；
获取待检验的策略；
在所述策略投放前，获取所述实验样本对应的实验样本初始信息，以及所述目标对照样本对应的对照样本初始信息；
将所述策略投放到所述实验样本后，获取所述实验样本对应的实验样本实验信息，以及所述目标对照样本对应的对照样本实验信息，其中，目标对照样本未投放所述策略；
根据所述实验样本初始信息以及所述实验样本实验信息，确定所述实验样本变化量；
根据所述对照样本初始信息以及所述对照样本实验信息，确定所述对照样本变化量；
对所述实验样本变化量以及所述对照样本变化量进行差分处理，得到策略检测结果。
6.根据权利要求5所述的方法，其特征在于，还包括：
根据所述实验样本和所述目标对照样本的样本类型，验证所述策略检测结果。
7.根据权利要求6所述的方法，其特征在于，所述根据所述实验样本和所述目标对照样本的样本类型，验证所述策略检测结果，包括：
当所述样本类型为离散变量时，确定所述根据所述实验样本和所述目标对照样本之间对应的样本留存率；
将所述实验样本和所述目标对照样本对应的所述样本留存率进行对比，对所述策略检测结果进行检验。
8.根据权利要求6所述的方法，其特征在于，所述根据所述实验样本和所述目标对照样本的样本类型，对所述策略检测结果进行检验，包括：
当所述样本类型为连续变量时，将所述实验样本和所述目标对照样本对应的样本大小进行对比，验证所述策略检测结果。
9.一种目标对照样本获取装置，其特征在于，所述装置包括：
样本获取单元，用于获取实验样本集合和对照样本集合，所述实验样本集合由多个实验样本组成，所述对照样本集合由多个对照样本组成；
汇总处理单元，用于对所述实验样本进行汇总处理，得到对应于所述汇总处理的实验样本汇总特征，以及对所述对照样本进行所述汇总处理，得到对应于所述汇总处理的对照样本汇总特征；
目标样本确定单元，用于针对每种所述汇总处理，根据所述实验样本汇总特征和所述对照样本汇总特征对所述实验样本和所述对照样本进行对比处理，得到目标样本，其中，每种所述汇总处理之间的处理方式不同，所述目标样本和所述实验样本相似；
目标对照样本确定单元，用于对所述实验样本对应的多个目标样本进行统一处理，得到所述实验样本匹配的目标对照样本；
所述对所述实验样本对应的多个目标样本进行统一处理，得到所述实验样本匹配的目标对照样本，包括：
根据所述汇总处理对应的所述实验样本汇总特征和所述对照样本汇总特征，确定所述实验样本对应的所述目标样本的特征丢失信息；
当所述实验样本为连续变量时，根据所述特征丢失信息对所述目标样本通过进行加权求和，得到和所述实验样本匹配的所述目标对照样本；
当所述实验样本为离散变量时，根据所述特征丢失信息，对所述实验样本对应的所述多个目标对照样本进行信息比对处理，得到和所述实验样本匹配的所述目标对照样本。
10.一种策略检测装置，其特征在于，所述装置包括：
检测样本获取单元，用于获取如权利要求1～4任一项所述的目标对照样本获取方法中的实验用户样本和目标对照样本；
策略获取单元，用于获取待检验的策略；
初始信息获取单元，用于在所述策略投放前，获取所述实验样本对应的实验样本初始信息，以及所述目标对照样本对应的对照样本初始信息；
实验信息获取单元，用于将所述策略投放到所述实验样本后，获取所述实验样本对应的实验样本实验信息，以及所述目标对照样本对应的对照样本实验信息，其中，目标对照样本未投放所述策略；
实验样本变化量确定单元，根据所述实验样本初始信息以及所述实验样本实验信息，确定所述实验样本变化量；
对照样本变化量确定单元，根据所述对照样本初始信息以及所述对照样本实验信息，确定所述对照样本变化量；
策略检测结果确定单元，用于对所述实验样本变化量以及所述对照样本变化量进行差分处理，得到策略检测结果。
11.一种终端，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1～4任一项所述的目标对照样本获取方法中的步骤或如权利要求5～8任一项所述的策略检测方法中的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如权利要求1～4任一项所述的目标对照样本获取方法中的步骤或如权利要求5～8任一项所述的策略检测方法中的步骤。
CN202111070537.1A 2021-09-13 2021-09-13 目标对照样本获取方法以及策略检测方法 Active CN113791978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111070537.1A CN113791978B (zh) 2021-09-13 2021-09-13 目标对照样本获取方法以及策略检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111070537.1A CN113791978B (zh) 2021-09-13 2021-09-13 目标对照样本获取方法以及策略检测方法

Publications (2)

Publication Number Publication Date
CN113791978A CN113791978A (zh) 2021-12-14
CN113791978B true CN113791978B (zh) 2023-07-11

Family

ID=79183132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111070537.1A Active CN113791978B (zh) 2021-09-13 2021-09-13 目标对照样本获取方法以及策略检测方法

Country Status (1)

Country Link
CN (1) CN113791978B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8776021B1 (en) * 2012-06-07 2014-07-08 Amazon Technologies, Inc. Application experiment system
US9201770B1 (en) * 2013-12-26 2015-12-01 Emc Corporation A/B testing of installed graphical user interfaces
US9524365B1 (en) * 2014-12-23 2016-12-20 Cadence Design Systems, Inc. Efficient monte carlo flow via failure probability modeling
CN108446222A (zh) * 2018-03-05 2018-08-24 百度在线网络技术（北京）有限公司 应用测试方法、装置及设备
CN108845936A (zh) * 2018-05-31 2018-11-20 阿里巴巴集团控股有限公司 一种基于海量用户的ab测试方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733078B2 (en) * 2014-10-30 2020-08-04 Wix.Com Ltd. System and method of handling complex experiments in a distributed system
US9411573B2 (en) * 2012-10-11 2016-08-09 Google Inc. Testing framework for applications
US10304067B2 (en) * 2016-04-27 2019-05-28 Microsoft Technology Licensing, Llc Model validation and bias removal in quasi-experimental testing of mobile applications
US10372599B2 (en) * 2016-04-27 2019-08-06 Microsoft Technology Licensing, Llc Model-based matching for removing selection bias in quasi-experimental testing of mobile applications
CN106445701B (zh) * 2016-09-21 2018-01-09 腾讯科技（深圳）有限公司 数据处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8776021B1 (en) * 2012-06-07 2014-07-08 Amazon Technologies, Inc. Application experiment system
US9201770B1 (en) * 2013-12-26 2015-12-01 Emc Corporation A/B testing of installed graphical user interfaces
US9524365B1 (en) * 2014-12-23 2016-12-20 Cadence Design Systems, Inc. Efficient monte carlo flow via failure probability modeling
CN108446222A (zh) * 2018-03-05 2018-08-24 百度在线网络技术（北京）有限公司 应用测试方法、装置及设备
CN108845936A (zh) * 2018-05-31 2018-11-20 阿里巴巴集团控股有限公司 一种基于海量用户的ab测试方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AB实验分析方法论 - matching;weixin_39793442;《https://blog.csdn.net/weixin_39793442/article/details/108659971》;1-2 *
Propensity score matching with R: conventional methods and new features;Qin-Yu Zhao;《https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8246231/》;全文 *
使用R和Stata软件实现倾向性评分匹配;周洁;张晟;何书;李文超;汪徐林;沈毅;;中国卫生统计(04);全文 *

Also Published As

Publication number Publication date
CN113791978A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN109271768B (zh) 发布信息管理方法、装置、存储介质及终端
CN112328136B (zh) 评论信息的显示方法、装置、设备及存储介质
CN112734498A (zh) 任务奖励获取方法、装置、终端及存储介质
CN112052399B (zh) 一种数据处理方法、装置和计算机可读存储介质
CN113254918B (zh) 信息处理方法、电子设备和计算机可读存储介质
CN114225421A (zh) 游戏交易数据异常检测方法、装置、终端和可读存储介质
CN113791978B (zh) 目标对照样本获取方法以及策略检测方法
CN114267440B (zh) 医疗订单信息处理方法、装置和计算机可读存储介质
US11826657B2 (en) Game performance prediction from real-world performance data
CN113546425B (zh) 游戏中虚拟物品处理方法、装置、终端和存储介质
CN115712571A (zh) 一种交互服务测试、装置、计算机设备及存储介质
CN113593546B (zh) 终端设备唤醒方法和装置、存储介质及电子装置
CN113254919B (zh) 异常设备识别方法、电子设备和计算机可读存储介质
CN116850586A (zh) 游戏技能出招预测的方法、装置、存储介质及计算机设备
CN117574410B (zh) 风险数据检测方法及装置
CN113413607A (zh) 一种信息推荐方法、装置、计算机设备及存储介质
CN113807403B (zh) 模型训练的方法、装置、计算机设备及存储介质
US9943762B2 (en) Game rewards based on device characteristics
CN115779444B (zh) 一种应用于人工智能的云游戏数据安全防护方法及服务器
CN113791975B (zh) 一种游戏测试方法、装置、计算机设备及存储介质
CN115329316B (zh) 权限处理方法、装置、存储介质和电子设备
CN116549968A (zh) 游戏异常玩家识别方法、装置、电子设备和可读存储介质
CN117217540A (zh) 样本构建方法、装置、设备、介质及程序产品
CN116974894A (zh) 数据处理方法、装置、存储介质及计算机设备
CN113849402A (zh) 性能测试方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant