CN106817296B - 信息推荐的测试方法、装置以及电子设备 - Google Patents

Abstract

本申请实施例公开了一种信息推荐算法的测试方法、装置和电子设备，该方法包括：接收来自线上服务器的拷贝数据，拷贝数据是通过拷贝线上服务器从终端接收到的访问请求数据所得；接收由线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在终端的操作量；利用拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息；根据拷贝数据，查询历史数据库，确定访问请求数据的发起方对已知推荐信息的操作量；根据访问请求数据的发起方对已知推荐信息的操作量，确定第二推荐信息在终端的操作量；根据第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。既保证测试准确性，又解决了服务提供端的资源浪费问题。

Description

信息推荐的测试方法、装置以及电子设备

技术领域

本申请涉及互联网技术领域，特别涉及一种信息推荐的测试方法、装置以及电子设备。

背景技术

随着互联网技术的快速发展，基于互联网的信息推荐服务也愈发普及，常见的被推荐的信息有新闻、社交资讯、广告等。

目前的信息推荐服务一般通过如下方式来实现：服务提供端在接收到用户所发出的访问请求后，首先将预先采集的用户身份、操作习惯等数据输入预设的信息推荐算法，通过信息推荐算法处理这些数据来确定待推荐的信息，最后将确定出的信息推送至用户所持终端。由此可见，信息推荐算法的性能对于信息推荐的效果尤为重要。

现有技术中，在信息推荐算法应用之前，均会对该算法的推荐效果做测试，以根据测试结果来确定应用与否。常见测试方法有AB分流测试法，其过程如下：首先将待应用的第一信息推荐算法与已应用的第二信息推荐算法同时设定在信息推荐服务所在业务线上；后续，接收到用户的访问请求时，将该访问请求数据的相关流量随机导入至第一或第二信息推荐算法；维持一定时间后，根据用户对第一、第二信息推荐算法所推荐信息的操作量来确定第一推荐算法是否效果更优。

然而，利用AB分流测试法来测试信息推荐算法的推荐效果时，需将第一、第二信息推荐算法同时应用在信息推荐服务的业务线上，若是待应用的第一推荐算法的推荐效果较差，用户对第一推荐算法所推荐信息的操作量会很少，这些无效的信息推荐会造成服务提供端的资源浪费，也降低了用户体验。

发明内容

本申请实施例的目的是提供一种信息推荐的测试方法、装置及电子设备，用于解决上述问题。

根据本公开实施例的第一方面，提供一种信息推荐的测试方法，包括：

接收来自线上服务器的拷贝数据，所述拷贝数据是通过拷贝所述线上服务器从终端接收到的访问请求数据所得；

接收由所述线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在所述终端的操作量；

利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息；

根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量；

根据所述访问请求数据的发起方对已知推荐信息的操作量，确定所述第二推荐信息在所述终端的操作量；

根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。

在一实施例中，所述拷贝数据是通过位于线上服务器内拷贝代码实时拷贝从终端接收到的访问请求数据所得。

在一实施例中，所述访问请求数据包括：发起方身份信息、请求环境信息以及待请求对象信息。

在一实施例中，用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息之后，根据所述拷贝数据，查询历史数据库之前，所述方法还包括：

确认所述第二推荐信息与第一推荐信息不相同；

以及，所述方法还包括：

如果判断出所述第二推荐信息与第一推荐信息相同，以所述第一推荐信息在所述终端的操作量作为所述第二推荐信息在所述终端的操作量。

在一实施例中，根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量，具体包括：

根据所述拷贝数据，查询历史数据库，判断历史数据库内是否存在所述访问请求数据的发起方对目标推荐信息的操作量，所述目标推荐信息是类型与第二推荐信息相同的已知推荐信息；

若是，以所述访问请求数据的发起方对目标推荐信息的操作量作为该发起方对已知推荐信息的操作量；

若否，以所述访问请求数据的发起方的默认用户操作量作为该发起方对已知推荐信息的操作量；所述默认用户操作量为该用户对所有已知推荐信息的操作量的均值。

在一实施例中，确定历史数据库内不存在所述访问请求数据的发起方对目标推荐信息的操作量之后，以默认用户操作量作为所述发起方对已知推荐信息的操作量之前，所述测试方法还包括：

确认所述访问请求数据的发起方的默认用户操作量不为空；

以及，所述方法还包括：

若判断出所述访问请求数据的发起方的默认用户操作量为空，以所述访问请求数据的发起方的默认群体操作量作为该发起方对已知推荐信息的操作量；所述默认群体操作量为所有已知发起方对已知推荐信息的操作量的均值。

在一实施例中，所述第一推荐信息和第二推荐信息均为广告信息，所述广告信息为曝光类广告或显示类广告；

在所述广告信息为曝光类广告时，所述操作量为曝光量；

在所述广告信息为点击类广告时，所述操作量为点击量。

在一实施例中，所述第一推荐信息和第二推荐信息均具有资源消耗量；

根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果，具体包括：

根据所述第一推荐信息的操作量与单位操作量的第一推荐信息的资源消耗量，确定所述第一推荐信息的资源消耗总量；

根据所述第二推荐信息的操作量与单位操作量的第二推荐信息的资源消耗量，确定所述第二推荐信息的资源消耗总量；

判断所述第二推荐信息的资源消耗总量是否大于第一推荐信息的资源消耗总量；

若否，确定测试结果为：所述第一推荐信息的效果更优；

若是，确定测试结果为：所述第二推荐信息的效果更优。

根据本公开实施例的第二方面，提供一种信息推荐的测试装置，包括：

数据接收模块，用于接收来自线上服务器的拷贝数据，所述拷贝数据是通过拷贝所述线上服务器从终端接收到的访问请求数据所得；

第一操作量接收模块，用于接收由所述线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在所述终端的操作量；

信息推荐模块，用于利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息；

已知操作量查询模块，用于根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量；

第二操作量确定模块，用于根据所述访问请求数据的发起方对已知推荐信息的操作量，确定所述第二推荐信息在所述终端的操作量；

测试结果确定模块，用于根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。

在一实施例中，所述拷贝数据是通过位于线上服务器内拷贝代码实时拷贝从终端接收到的访问请求数据所得。

在一实施例中，所述访问请求数据包括：发起方身份信息、请求环境信息以及待请求对象信息。

在一实施例中，所述测试装置还包括：

信息比对模块，用于判断所述第二推荐信息是否与第一推荐信息相同；

操作量等同模块，用于在所述第二推荐信息与第一推荐信息相同时，以所述第一推荐信息在所述终端的操作量作为所述第二推荐信息在所述终端的操作量；

所述已知操作量查询模块，具体用于：

仅在所述第二推荐信息与第一推荐信息不相同时，根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量。

在一实施例中，所述已知操作量查询模块，具体用于：

根据所述拷贝数据，查询历史数据库，判断历史数据库内是否存在所述访问请求数据的发起方对目标推荐信息的操作量，所述目标推荐信息是类型与第二推荐信息相同的已知推荐信息；

若是，以所述访问请求数据的发起方对目标推荐信息的操作量作为该发起方对已知推荐信息的操作量；

若否，以所述访问请求数据的发起方的默认用户操作量作为该发起方对已知推荐信息的操作量；所述默认用户操作量为该用户对所有已知推荐信息的操作量的均值。

在一实施例中，所述已知操作量查询模块，还用于：

确定历史数据库内不存在所述访问请求数据的发起方对目标推荐信息的操作量之后，以默认用户操作量作为所述发起方对已知推荐信息的操作量之前，判断所述访问请求数据的发起方的默认用户操作量是否为空；

若否，以默认用户操作量作为所述发起方对已知推荐信息的操作量；

若是，以所述访问请求数据的发起方的默认群体操作量作为该发起方对已知推荐信息的操作量；所述默认群体操作量为所有已知发起方对已知推荐信息的操作量的均值。

在一实施例中，所述第一推荐信息和第二推荐信息均具有资源消耗量；

所述测试结果确定模块，具体用于：

根据所述第一推荐信息的操作量与单位操作量的第一推荐信息的资源消耗量，确定所述第一推荐信息的资源消耗总量；

根据所述第二推荐信息的操作量与单位操作量的第二推荐信息的资源消耗量，确定所述第二推荐信息的资源消耗总量；

判断所述第二推荐信息的资源消耗总量是否大于第一推荐信息的资源消耗总量；

若否，确定测试结果为：所述第一推荐信息的效果更优；

若是，确定测试结果为：所述第二推荐信息的效果更优。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

所述处理器被配置为：

接收来自线上服务器的拷贝数据，所述拷贝数据是通过拷贝所述线上服务器从终端接收到的访问请求数据所得；

接收由所述线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在所述终端的操作量；

利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息；

根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量；

根据所述访问请求数据的发起方对已知推荐信息的操作量，确定所述第二推荐信息在所述终端的操作量；

根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。

本公开的实施例提供的技术方案可以包括以下有益效果：

通过线上的第一信息推荐算法处理访问请求数据得到第一推荐信息后，获取第一推荐信息在终端上的操作量；再通过线下的第二信息推荐算法来处理与访问请求数据一致的拷贝数据来得到第二推荐信息，继而通过访问请求数据的发起方对已知推荐信息的操作量来确定第二推荐信息的操作量，最后根据第一推荐信息和第二推荐信息的操作量确定测试结果。第二信息推荐算法不在业务线上，保证测试准确性的同时，也解决了可能因为第二推荐算法的推荐效果较差而造成服务提供端的资源浪费的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的测试方法所适用的***的示意图。

图2是根据一示例性实施例示出的一种测试方法的流程图。

图3是根据一示例性实施例示出的另一种测试方法的流程图。

图4是根据一示例性实施例示出的一种历史数据库的架构图。

图5是根据一示例性实施例示出的又一种测试方法的流程图。

图6是根据一示例性实施例示出的一种测试装置的模块图。

图7是根据一示例性实施例示出的另一种测试装置的模块图。

图8是根据一示例性实施例示出的适用于算法测试的电子设备的框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1是根据一示例性实施例示出的测试方法所适用的***的示意图。如图1所示，该***可以包括：用户所持有的终端10、与终端10通过网络建立通信的线上服务器20以及与线上服务器20通过网络建立通信的线下服务器30。终端10可以包括但不限于：手机、平板电脑、PC设备等。用于连接终端10与线上服务器20的网络和用于连接线上服务器20与线下服务器30的网络均可包括：WI-FI(WIreless-Fidelity，无线保真)、蓝牙等无线网络或利用线缆传输信息的有线网络。线上服务器20和线下服务器30均可以是一台服务器、或者由若干台服务器组成的服务器集群、或者是一个云计算服务中心，甚至说，线上服务器20和线下服务器30在硬件上可以整合至同一台设备之中，在此不做赘述。

终端10可以安装例如浏览器、社交应用、视频应用或新闻资讯应用等客户端App，线上服务器20是前述客户端所对应的线上服务的提供端，线上服务器20存储了对应的客户端运行所需资源，用户可以在终端10上开启相应的客户端App并向线上服务器20请求访问某个页面，线上服务器20响应访问请求并待请求页面的数据发送至终端10，终端10解析所接收到的数据并在客户端上显示。

线上服务器20响应用户的访问请求并将待访问页面的数据发送至终端10的过程中，还会在待访问页面的数据内添加推荐信息，使得终端10所在客户端上显示的待访问页面内携带有推荐信息。

线下服务器30连接线上服务器20，线下服务器30内存储有线下的信息推荐算法以及用于测试该信息推荐算法的测试应用，线下服务器30通过前述测试应用可以实现测试前述线下的信息推荐算法是否相对于位于线上服务器20内的信息推荐算法具有更好的推荐效果。

以下将基于上述图1所示的***，对基于线下服务器30的测试方法的各实施例进行叙述。

图2是根据一示例性实施例示出的一种测试方法的流程图。本实施例中测试方法应用至线下服务器30上，可以通过在所述线上服务器20安装相应的测试应用来启动和终止前述测试方法。如图2所示，本实施例中，该测试方法可以包括下述步骤101～106。该测试方法内各步骤的顺序并不限定在步骤101至106，例如步骤102可以选在步骤106之前任意位置，在此不做赘述。

在步骤101中，接收来自线上服务器的拷贝数据，所述拷贝数据是通过拷贝所述线上服务器从终端接收到的访问请求数据所得。

在用户操作终端10上客户端向线上服务器20请求访问某个页面时，客户端会根据用户在终端10上的客户端内的操作行为来生成的访问请求，访问请求内携带有访问请求数据。后续，终端10会将访问请求数据封装后发送给线上服务器20。

访问请求包括终端10与线上服务器20交互时由终端10产生并发送给线上服务器20的各类请求，例如可以用于请求登录账号的登录请求、或者用于请求访问例如社交资讯页面、新闻页面等页面的访问请求、或者用于请求搜索目标对象的搜索请求等。

访问请求数据可以包括如下至少一项：请求方的身份数据、请求环境数据以及待请求对象数据。通过这些类型的数据可以确定返回给客户端的服务内容。

请求方的身份数据用于描述注册该客户端的用户的身份，例如可以包括客户账号、客户身份证号码、驾照号码、银行卡***、客户所在地区、客户购买记录、客户收藏记录、客户关注记录和客户拉黑记录。通过这些数据可以确定出唯一的请求方。请求环境数据用于描述用户操作客户端发起请求时所使用硬件设备和软件程序的相关参数，硬件设备的参数可以是终端10的MAC地址、UMID码、SIM***、IMEI码、IP地址、VPN地址以及设备型号等，软件程序的参数可以是操作***类型、浏览器类型、客户端版本等。待请求对象数据用于描述待请求对象的信息，例如可以是待请求对象的类型、地址等。

在线上服务器20接收到访问请求数据后，将所述访问请求数据实时拷贝以作为拷贝数据，再将拷贝数据发送至线下服务器30。在本实施例中，可以在线上服务器20内存储流量拷贝代码，在线上服务器20接收到访问请求数据后，运行流量拷贝代码实现将访问请求数据拷贝。由于拷贝数据与访问请求数据的内容完全相同，使得线上服务器20和线上服务器30内信息推荐算法比对时，具有相同的输入数据。

在步骤102中，接收由所述线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在所述终端的操作量。

线上服务器20内存储有第一信息推荐算法，第一信息推荐算法位于线上服务请求所在业务线上，访问请求数据进入线上服务器20后会被导入第一信息推荐算法内。通过第一信息推荐算法对访问请求数据的处理，可以得到第一推荐信息。第一推荐信息可以是广告或其他类型的信息。

跟随业务线的走向，线上服务器20还会根据访问请求数据生成用于返回给终端10的响应数据。例如服务请求为社交资讯页面的访问请求，则响应数据则为待访问的社交资讯页面的页面数据，终端10接收到页面数据后做渲染，以在客户端上显示相应的页面。在本实施例中，线上服务器20会将页面数据和第一推荐信息封装后一并发送至终端10。

第一推荐信息可以是点击类信息或曝光类信息，例如可以是点击类广告信息或曝光类广告信息。在第一推荐信息为点击类信息，用户可以通过手指触摸、键盘选定、鼠标选中等方式来主动点击第一推荐信息，以查看第一推荐信息的具体内容；在第一推荐信息为曝光类信息，第一推荐信息还可以随着待访问信息的展示被曝光在页面上，使得用户能够看到该第一推荐信息。对不同类型的推荐信息，操作量的定义也不同，为点击类的第一推荐信息被用户主动操作的次数则为其操作量，为曝光类的第一推荐信息被曝光在显示界面上的次数则为其操作量。

在本实施例中，无论第一推荐信息的类型如何变化，均可通过获取来自终端10上客户端的操作日志，则可以快速确定第一推荐信息的操作量。

在步骤103中，利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息。

线下服务器30内存储有第二信息推荐算法，第二信息推荐算法为待上线或待应用的算法，第二信息推荐算法可以是在第一信息推荐算法的基础上做升级所得，二者的推荐效果差异待确定。

在线下服务器30从线上服务器20接收到拷贝数据后，将拷贝数据导入至第二信息推荐算法，通过第二信息推荐算法处理后得到第二推荐信息，第二推荐信息可以与第一推荐信息相同或不同。

在步骤104中，根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量。

历史数据库内存储多组历史数据，每组历史数据均包括用户的身份信息以及与该身份信息关联的历史操作记录，历史操作记录内记录着该用户对已知推荐信息的操作量，这里的已知推荐信息的操作量可以从线上服务器20中对推荐信息的操作日志中获取并预存。

在本实施例中，可以通过拷贝数据内发起方身份信息，在历史数据库内筛选出该发起方对已知推荐信息的操作量。

在步骤105中，根据所述访问请求数据的发起方对已知推荐信息的操作量，确定所述第二推荐信息在所述终端的操作量。

通过访问请求数据的发起方对已知推荐信息的操作量来推测同一个发起方对第二推荐信息的操作量，实现在没有真实业务流量时，确定出第二推荐信息的操作量。

在步骤106中，根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。

推荐信息的操作量能够反映该推荐信息对用户需求的匹配程度，确定数量的推荐信息的操作量越高(即推荐信息的到达率越高)，则说明该推荐信息越符合用户需求，该推荐信息的推荐效果更好。

随着业务流量不断进入线上服务器20，线上服务器20形成大量的第一推荐信息，同时线下服务器30也形成同样数量的第二推荐信息，通过比对这些第一推荐信息和第二推荐信息的操作量，可以确定第一推荐信息和第二推荐信息的到达率的高低。在本实施例中，若第二推荐信息的操作量更低，确定测试结果为：所述第一推荐信息的效果更优；若第二推荐信息的操作量更高，确定测试结果为：所述第二推荐信息的效果更优。

在本实施例中，生成和推荐第一推荐信息和第二推荐信息的过程中，线上服务器20和线下服务器30均产生资源消耗。这个资源消耗与这两个推荐信息的内容、发起方均相关。则步骤106可以进一步调整为：

根据所述第一推荐信息的操作量与单位操作量的第一推荐信息的资源消耗量，确定所述第一推荐信息的资源消耗总量。

根据所述第二推荐信息的操作量与单位操作量的第二推荐信息的资源消耗量，确定所述第二推荐信息的资源消耗总量。

判断所述第二推荐信息的资源消耗总量是否大于第一推荐信息的资源消耗总量。

若否，确定测试结果为：所述第一推荐信息的效果更优；

若是，确定测试结果为：所述第二推荐信息的效果更优。

单位操作量的推荐信息所带来的资源消耗即该推荐信息每次***作对相关服务器所产生的资源消耗。通过在操作量的基础上引入单位操作量所带来的资源消耗量，可以将二者相乘来得到每个推荐信息的资源消耗总量，实现更完整的评估第二推荐信息的推荐效果。

在实际应用中，第一推荐信息和第二推荐信息均可以是广告，可以将广告推荐信息的资源消耗货币化和实体化，单位操作量的推荐信息的资源消耗量可以是该广告每次***作时，发起方支付给服务提供商的广告费，则可以获取大量级推荐信息***作后的广告费总额，据此针对性评估广告类信息推荐的效果。

综上，本申请实施例所提供的信息推荐算法的测试方法，通过线上的第一信息推荐算法处理访问请求数据得到第一推荐信息后，获取第一推荐信息在终端上的操作量；再通过线下的第二信息推荐算法来处理与访问请求数据一致的拷贝数据来得到第二推荐信息，继而通过访问请求数据的发起方对已知推荐信息的操作量来确定第二推荐信息的操作量，最后根据第一推荐信息和第二推荐信息的操作量确定测试结果。第二信息推荐算法不在业务线上，保证测试准确性的同时，也解决了可能因为第二推荐算法的推荐效果较差而造成服务提供端的资源浪费的问题。

图3是根据一示例性实施例示出的另一种测试方法的流程图。该测试方法可以应用在线下服务器30上。如图3所示，测试方法包括步骤201至206。

在步骤201中，接收来自线上服务器的拷贝数据，所述拷贝数据是通过拷贝所述线上服务器从终端接收到的访问请求数据所得。

在步骤202中，接收由所述线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在所述终端的操作量。

在步骤203中，利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息。

步骤204可以包括如下步骤241至243。

在步骤241中，根据所述拷贝数据，查询历史数据库，判断历史数据库内是否存在所述访问请求数据的发起方对目标推荐信息的操作量，所述目标推荐信息是类型与第二推荐信息相同的已知推荐信息，若是，进入步骤242，若否，进入步骤243。

在步骤242中，以所述访问请求数据的发起方针对目标推荐信息的操作量作为该发起方对已知推荐信息的操作量。

在步骤243中，判断所述访问请求数据的发起方的默认用户操作量是否为空，若否，进入步骤244，若是，进入步骤245。

在步骤244中，以所述访问请求数据的发起方的默认用户操作量作为该发起方对已知推荐信息的操作量。

在步骤245中，所述访问请求数据的发起方的默认群体操作量作为该发起方对已知推荐信息的操作量。

值得注意的是，在本发明的其他实施例中，在进入步骤243后，可选步骤244和步骤245中任意一个作为后续步骤。并非如本实施例中所限定，步骤243后必须同时具有步骤244和步骤245，在此不做赘述。

图4是根据一示例性实施例示出的一种历史数据库的架构图。如图4所示，在一种示例性场景中，历史数据库呈层次树的形式，最下层为发起方对不同类型的已知推荐信息的操作量；再上层是该发起方的默认用户操作量，该默认用户操作量是该用户对所有类型的已知推荐信息的操作量的均值；最上层是该发起方的默认群体操作量，该默认群体操作量为所有已知发起方对已知推荐信息的操作量的均值。

在执行步骤204确定发起方对已知推荐信息的操作量时，首先从历史数据库的最低层开始，利用发起方的身份信息确认该发起方是否对对目标推荐信息进行过操作。在确定该发起方并未对目标推荐信息进行过操作，则继续往上层，确定该发起方是否对任意类型的已知推荐信息进行过操作，在确定存在对任意类型的推荐信息进行过操作，以该用户对所有类型的已知推荐信息的操作量的均值作为默认用户操作量，将该默认用户操作量作为该发起方对已知推荐信息的操作量。在确定该发起方未对任何类型的已知推荐信息进行过操作，则继续往上，以所有发起方对已知推荐信息的操作量的均值作为默认群体操作量，将该默认群体操作量作为该发起方对已知推荐信息的操作量。

在步骤205中，根据所述访问请求数据的发起方对已知推荐信息的操作量，确定所述第二推荐信息在所述终端的操作量。

在步骤206中，根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。

图5是根据一示例性实施例示出的又一种测试方法的流程图。该测试方法可以应用在线下服务器30上。如图5所示，测试方法包括步骤301至308：

在步骤301中，接收来自线上服务器的拷贝数据，所述拷贝数据是通过拷贝所述线上服务器从终端接收到的访问请求数据所得。

在步骤302中，接收由所述线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在所述终端的操作量。

在步骤303中，利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息。

在步骤304中，判断所述第二推荐信息是否与第一推荐信息相同，若是，进入步骤305，若否，进入步骤306。

在第二推荐信息与第一推荐信息相同时，可以直接使用第一推荐信息的操作量，无需再对第二推荐信息的操作量进行预测。

在步骤305中，以所述第一推荐信息在所述终端的操作量作为所述第二推荐信息在所述终端的操作量。

在步骤306中，根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量。

值得注意的是，在本发明的其他实施例中，在进入步骤304后，可选步骤305和步骤306中任意一个作为后续步骤。并非如本实施例中所限定，步骤304后必须同时具有步骤305和步骤306，在此不做赘述。

在步骤307中，根据所述访问请求数据的发起方对已知推荐信息的操作量，确定所述第二推荐信息在所述终端的操作量。

在步骤308中，根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。

图6是根据一示例性实施例示出的一种测试装置的模块图。该测试装置可以用于在线下服务器30上，在本实施例中，测试装置可以包括：

数据接收模块401，用于接收来自线上服务器的拷贝数据，所述拷贝数据是通过拷贝所述线上服务器从终端接收到的访问请求数据所得；

第一操作量接收模块402，用于接收由所述线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在所述终端的操作量；

信息推荐模块403，用于利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息；

已知操作量查询模块404，用于根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量；

第二操作量确定模块405，用于根据所述访问请求数据的发起方对已知推荐信息的操作量，确定所述第二推荐信息在所述终端的操作量；

测试结果确定模块406，用于根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。

在一实施例中，所述拷贝数据是通过位于线上服务器内拷贝代码实时拷贝从终端接收到的访问请求数据所得。

在一实施例中，所述访问请求数据包括：发起方身份信息、请求环境信息以及待请求对象信息。

在一实施例中，所述第一推荐信息和第二推荐信息均为广告信息，所述广告信息为曝光类广告或显示类广告；

在所述广告信息为曝光类广告时，所述操作量为曝光量；

在所述广告信息为点击类广告时，所述操作量为点击量。

在一实施例中，所述第一推荐信息和第二推荐信息均具有资源消耗量；

所述测试结果确定模块406，具体用于：

根据所述第一推荐信息的操作量与单位操作量的第一推荐信息的资源消耗量，确定所述第一推荐信息的资源消耗总量；

根据所述第二推荐信息的操作量与单位操作量的第二推荐信息的资源消耗量，确定所述第二推荐信息的资源消耗总量；

判断所述第二推荐信息的资源消耗总量是否大于第一推荐信息的资源消耗总量；

若否，确定测试结果为：所述第一推荐信息的效果更优；

若是，确定测试结果为：所述第二推荐信息的效果更优。

在一实施例中，已知操作量查询模块404，具体用于：

根据所述拷贝数据，查询历史数据库，判断历史数据库内是否存在所述访问请求数据的发起方对目标推荐信息的操作量，所述目标推荐信息是类型与第二推荐信息相同的已知推荐信息；

若是，以所述访问请求数据的发起方对目标推荐信息的操作量作为该发起方对已知推荐信息的操作量；

若否，以所述访问请求数据的发起方的默认用户操作量作为该发起方对已知推荐信息的操作量。

在一实施例中，所述默认用户操作量为该用户对所有已知推荐信息的操作量的均值。

在一实施例中，所述已知操作量查询模块404，还用于：

确定历史数据库内不存在所述访问请求数据的发起方对目标推荐信息的操作量之后，以默认用户操作量作为所述发起方对已知推荐信息的操作量之前，判断所述访问请求数据的发起方的默认用户操作量是否为空；

若否，以默认用户操作量作为所述发起方对已知推荐信息的操作量；

若是，以所述访问请求数据的发起方的默认群体操作量作为该发起方对已知推荐信息的操作量。

在一实施例中，所述默认群体操作量为所有已知发起方对已知推荐信息的操作量的均值。

综上，本申请实施例所提供的信息推荐算法的测试装置，通过线上的第一信息推荐算法处理访问请求数据得到第一推荐信息后，获取第一推荐信息在终端上的操作量；再通过线下的第二信息推荐算法来处理与访问请求数据一致的拷贝数据来得到第二推荐信息，继而通过访问请求数据的发起方对已知推荐信息的操作量来确定第二推荐信息的操作量，最后根据第一推荐信息和第二推荐信息的操作量确定测试结果。第二信息推荐算法不在业务线上，保证测试准确性的同时，也解决了可能因为第二推荐算法的推荐效果较差而造成服务提供端的资源浪费的问题。

图7是根据一示例性实施例示出的另一种测试装置的模块图。在图6所示实施例的基础上，测试装置还包括信息比对模块407和操作量等同模块408。

信息比对模块407，用于判断所述第二推荐信息是否与第一推荐信息相同。

操作量等同模块408，用于在所述第二推荐信息与第一推荐信息相同时，以所述第一推荐信息在所述终端的操作量作为所述第二推荐信息在所述终端的操作量。在操作量等同模块408启动时，已知操作量查询模块404和第二操作量确定模块405不启动。可以理解，在这种情况下，第一操作量接收模块402接收到的第一推荐信息的操作量、以及操作量等同模块408确定出的第二推荐信息的操作量发送给测试结果确定模块406进行比对。

所述已知操作量查询模块404，具体用于：

仅在所述第二推荐信息与第一推荐信息不相同时，以所述第一推荐信息在所述终端的操作量作为所述第二推荐信息在所述终端的操作量。在已知操作量查询模块404启动时，第二操作量确定模块405才启动。可以理解，在这种情况下，第一操作量接收模块402接收到的第一推荐信息的操作量、以及第二操作量确定模块405确定出的第二推荐信息的操作量发送给测试结果确定模块406进行比对。

同时，在测试装置所针对的推荐信息的数量较多时，测试结果确定模块406可以从第二操作量确定模块405和操作量等同模块408接收第二推荐信息的操作量，以与从第一操作量接收模块402接收到的第一推荐信息的操作量进行比对，在此不做赘述。

图8是根据一示例性实施例示出的一种适用于设备测试的电子设备的框图。例如，电子设备500可以被提供为一服务器。参照图8，电子设备500包括处理组件510，其进一步包括一个或多个处理器，以及由存储器520所代表的存储器资源，用于存储可由处理组件510的执行的指令，例如应用程序。存储器520中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。所述处理组件510被配置为：

接收来自线上服务器的拷贝数据，所述拷贝数据是通过拷贝所述线上服务器从终端接收到的访问请求数据所得；

接收由所述线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在所述终端的操作量；

利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息；

根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量；

根据所述访问请求数据的发起方对已知推荐信息的操作量，确定所述第二推荐信息在所述终端的操作量；

根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。

电子设备500还可以包括一个电源组件530，电源组件530被配置为执行电子设备500的电源管理，一个有线或无线网络接口540被配置为将电子设备500连接到网络，和一个输入输出(I/O)接口550。电子设备500可以操作基于存储在存储器520的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器520，上述指令可由电子设备500的处理组件510执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种信息推荐的测试方法，其特征在于，包括：

接收来自线上服务器的拷贝数据，所述拷贝数据是通过拷贝所述线上服务器从终端接收到的访问请求数据所得；

接收由所述线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在所述终端的操作量；

利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息；

根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量；

根据所述访问请求数据的发起方对已知推荐信息的操作量，确定所述第二推荐信息在所述终端的操作量；

根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。

2.如权利要求1所述的测试方法，其特征在于，利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息之后，根据所述拷贝数据，查询历史数据库之前，所述方法还包括：

确认所述第二推荐信息与第一推荐信息不相同；

以及，所述方法还包括：

如果判断出所述第二推荐信息与第一推荐信息相同，以所述第一推荐信息在所述终端的操作量作为所述第二推荐信息在所述终端的操作量。

3.如权利要求1所述的测试方法，其特征在于，根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量，具体包括：

根据所述拷贝数据，查询历史数据库，判断历史数据库内是否存在所述访问请求数据的发起方对目标推荐信息的操作量，所述目标推荐信息是类型与第二推荐信息相同的已知推荐信息；

若是，以所述访问请求数据的发起方对目标推荐信息的操作量作为该发起方对已知推荐信息的操作量；

若否，以所述访问请求数据的发起方的默认用户操作量作为该发起方对已知推荐信息的操作量；所述默认用户操作量为该用户对所有已知推荐信息的操作量的均值。

4.如权利要求3所述的测试方法，其特征在于，确定历史数据库内不存在所述访问请求数据的发起方对目标推荐信息的操作量之后，以默认用户操作量作为所述发起方对已知推荐信息的操作量之前，所述测试方法还包括：

确认所述访问请求数据的发起方的默认用户操作量不为空；

以及，所述方法还包括：

若判断出所述访问请求数据的发起方的默认用户操作量为空，以所述访问请求数据的发起方的默认群体操作量作为该发起方对已知推荐信息的操作量；所述默认群体操作量为所有已知发起方对已知推荐信息的操作量的均值。

5.如权利要求1所述的测试方法，其特征在于，所述第一推荐信息和第二推荐信息均为广告信息，所述广告信息为曝光类广告或显示类广告；

在所述广告信息为曝光类广告时，所述操作量为曝光量；

在所述广告信息为点击类广告时，所述操作量为点击量。

6.如权利要求5所述的测试方法，其特征在于，所述第一推荐信息和第二推荐信息均具有资源消耗量；

根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果，具体包括：

根据所述第一推荐信息的操作量与单位操作量的第一推荐信息的资源消耗量，确定所述第一推荐信息的资源消耗总量；

根据所述第二推荐信息的操作量与单位操作量的第二推荐信息的资源消耗量，确定所述第二推荐信息的资源消耗总量；

判断所述第二推荐信息的资源消耗总量是否大于第一推荐信息的资源消耗总量；

若否，确定测试结果为：所述第一推荐信息的效果更优；

若是，确定测试结果为：所述第二推荐信息的效果更优。

7.一种信息推荐的测试装置，其特征在于，包括：

数据接收模块，用于接收来自线上服务器的拷贝数据，所述拷贝数据是通过拷贝所述线上服务器从终端接收到的访问请求数据所得；

第一操作量接收模块，用于接收由所述线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在所述终端的操作量；

信息推荐模块，用于利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息；

已知操作量查询模块，用于根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量；

第二操作量确定模块，用于根据所述访问请求数据的发起方对已知推荐信息的操作量，确定所述第二推荐信息在所述终端的操作量；

测试结果确定模块，用于根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。

8.如权利要求7所述的测试装置，其特征在于，所述测试装置还包括：

信息比对模块，用于判断所述第二推荐信息是否与第一推荐信息相同；

操作量等同模块，用于在所述第二推荐信息与第一推荐信息相同时，以所述第一推荐信息在所述终端的操作量作为所述第二推荐信息在所述终端的操作量；

所述已知操作量查询模块，具体用于：

仅在所述第二推荐信息与第一推荐信息不相同时，根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量。

9.如权利要求7所述的测试装置，其特征在于，所述已知操作量查询模块，具体用于：

根据所述拷贝数据，查询历史数据库，判断历史数据库内是否存在所述访问请求数据的发起方对目标推荐信息的操作量，所述目标推荐信息是类型与第二推荐信息相同的已知推荐信息；

若是，以所述访问请求数据的发起方对目标推荐信息的操作量作为该发起方对已知推荐信息的操作量；

若否，以所述访问请求数据的发起方的默认用户操作量作为该发起方对已知推荐信息的操作量；所述默认用户操作量为该用户对所有已知推荐信息的操作量的均值。

10.如权利要求9所述的测试装置，其特征在于，所述已知操作量查询模块，还用于：

确定历史数据库内不存在所述访问请求数据的发起方对目标推荐信息的操作量之后，以默认用户操作量作为所述发起方对已知推荐信息的操作量之前，判断所述访问请求数据的发起方的默认用户操作量是否为空；

若否，以默认用户操作量作为所述发起方对已知推荐信息的操作量；

若是，以所述访问请求数据的发起方的默认群体操作量作为该发起方对已知推荐信息的操作量；所述默认群体操作量为所有已知发起方对已知推荐信息的操作量的均值。

11.如权利要求7所述的测试装置，其特征在于，所述第一推荐信息和第二推荐信息均具有资源消耗量；

所述测试结果确定模块，具体用于：

根据所述第一推荐信息的操作量与单位操作量的第一推荐信息的资源消耗量，确定所述第一推荐信息的资源消耗总量；

根据所述第二推荐信息的操作量与单位操作量的第二推荐信息的资源消耗量，确定所述第二推荐信息的资源消耗总量；

判断所述第二推荐信息的资源消耗总量是否大于第一推荐信息的资源消耗总量；

若否，确定测试结果为：所述第一推荐信息的效果更优；

若是，确定测试结果为：所述第二推荐信息的效果更优。

12.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

所述处理器被配置为：

接收来自线上服务器的拷贝数据，所述拷贝数据是通过拷贝所述线上服务器从终端接收到的访问请求数据所得；

接收由所述线上服务器利用所述访问请求数据，基于线上的第一信息推荐算法所得到的第一推荐信息在所述终端的操作量；

利用所述拷贝数据，基于线下的第二信息推荐算法得到第二推荐信息；

根据所述拷贝数据，查询历史数据库，确定所述访问请求数据的发起方对已知推荐信息的操作量；

根据所述访问请求数据的发起方对已知推荐信息的操作量，确定所述第二推荐信息在所述终端的操作量；

根据所述第一推荐信息和第二推荐信息的操作量的比对结果，确定测试结果。

Images