CN107451020A - 一种ab测试***及测试方法 - Google Patents

一种ab测试***及测试方法 Download PDF

Info

Publication number
CN107451020A
CN107451020A CN201710507866.5A CN201710507866A CN107451020A CN 107451020 A CN107451020 A CN 107451020A CN 201710507866 A CN201710507866 A CN 201710507866A CN 107451020 A CN107451020 A CN 107451020A
Authority
CN
China
Prior art keywords
experimental data
data
client
module
experimental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710507866.5A
Other languages
English (en)
Other versions
CN107451020B (zh
Inventor
龙鹏超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 58 Information Technology Co Ltd
Original Assignee
Beijing 58 Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 58 Information Technology Co Ltd filed Critical Beijing 58 Information Technology Co Ltd
Priority to CN201710507866.5A priority Critical patent/CN107451020B/zh
Publication of CN107451020A publication Critical patent/CN107451020A/zh
Application granted granted Critical
Publication of CN107451020B publication Critical patent/CN107451020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2273—Test methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Information Transfer Between Computers (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提出了一种AB测试***及测试方法，该方法包括：通过所述可视化录入模块配置用户输入的第一实验数据，并将所述第一实验数据存储至所述数据库模块中；通过所述缓存模块缓存用户设置的第二实验数据；其中，所述第一实验数据包括：第二实验数据；当接收到客户端发送的第三实验数据请求时，通过所述SCF服务模块判断所述缓存模块中是否存在所述第三实验数据；若存在，则将所述第三实验数据反馈至所述客户端；否则通过所述SCF服务模块在所述数据库模块中查询所述第三实验数据，并将查询到的所述第三实验数据反馈至所述客户端。本发明能够有效的实现实验数据配置与实验数据查询的分离、实验的分层、分类处理，有效提高了用户配置AB测试***的效率。

Description

一种AB测试***及测试方法
技术领域
本发明涉及测试技术领域，尤其涉及一种AB测试***及测试方法。
背景技术
现有的AB测试***分为：AB测试配置后台和数据查询服务SCF(Service ControlFunction，服务控制层)。PM(Product Manager，产品经理)通过AB测配置平台录入实验控件，配置实验数据，实现方案流量分配。App(Application，应用程序)通过调用AB测试数据查询服务加载所有实验数据，App端做缓存，缓存时间AB测试***下发，通过用户重启App、切换城市和缓存过期时重新请求AB测***获取所有使用数据
现有的AB测试***由于实验控件需要提前录入AB测试***，并且App端需要有对应的控件标识，否则配置的实验无法起作用；每次请求需要计算出所有运行实验的数据，数据传输量大，处理速度慢；由于客户端使用了缓存，所以实验数据有延时，不能时时运算。
发明内容
本发明要解决的技术问题是，提供一种AB测试***及测试方法，克服现有技术中AB测试实验数据配置与实验数据查询的无法分离处理的缺陷。
本发明采用的技术方案是，所述一种AB测试***，包括：
可视化录入模块、SCF服务模块、数据库模块和缓存模块；
所述可视化录入模块、所述数据库模块和所述SCF服务模块依次相连；
所述缓存模块分别与所述可视化录入模块和所述SCF服务模块相连；
所述可视化录入模块，用于配置用户输入的第一实验数据；
所述缓存模块，用于缓存所述用户设置的第二实验数据；其中，所述第一实验数据包括：第二实验数据；
所述数据库模块，用于存储所述第一实验数据；
所述SCF服务模块，用于当接收到客户端发送的第三实验数据请求时，通过应用程序编程接口API查询所述缓存模块中是否存在所述第三实验数据；若存在，则将所述第三实验数据反馈至所述客户端；否则通过API在所述数据库模块中查询所述第三实验数据，并将所述第三实验数据反馈至所述客户端。
进一步的，所述第一实验数据包括：控件标识。
进一步的，所述缓存模块，用于通过Redis数据库缓存所述用户设置的第二实验数据。
进一步的，所述API包括：代码层面查询API；所述第一实验数据包括：第一代码层面实验数据；所述第二实验数据包括：第二代码层面实验数据；
所述SCF服务模块，用于当接收到客户端发送的第三代码层面实验数据请求时，通过所述代码层面查询API查询所述缓存模块缓存的所述第二代码层面实验数据中是否存在所述第三代码层面实验数据；若存在，则将所述第三代码层面实验数据反馈至所述客户端；否则通过所述代码层面查询API在所述数据库模块存储的所述第一代码层面实验数据中查询所述第三代码层面实验数据，并将查询到的所述第三代码层面实验数据反馈至所述客户端。
进一步的，所述API还包括：数据层面查询API；所述第一实验数据还包括：第一数据层面实验数据；所述第二实验数据还包括：第二数据层面实验数据；
所述SCF服务模块，用于当接收到客户端发送的第三数据层面实验数据请求时，通过所述代码层面查询API查询所述缓存模块缓存的所述第二数据层面实验数据中是否存在所述第三数据层面实验数据；若存在，则将所述第三数据层面实验数据反馈至所述客户端；否则通过所述数据层面查询API在所述数据库模块存储的所述第一数据层面实验数据中查询所述第三数据层面实验数据，并将查询到的所述第三数据层面实验数据反馈至所述客户端。
本发明还提供一种上述AB测试***的测试方法，包括：
通过所述可视化录入模块配置用户输入的第一实验数据，并将所述第一实验数据存储至所述数据库模块中；
通过所述缓存模块缓存用户设置的第二实验数据；其中，所述第一实验数据包括：第二实验数据；
当接收到客户端发送的第三实验数据请求时，通过所述SCF服务模块判断所述缓存模块中是否存在所述第三实验数据；若存在，则将所述第三实验数据反馈至所述客户端；否则通过所述SCF服务模块在所述数据库模块中查询所述第三实验数据，并将查询到的所述第三实验数据反馈至所述客户端。
进一步的，所述第一实验数据包括：控件标识。
进一步的，在所述通过所述缓存模块缓存第二实验数据之后，所述方法还包括：
当所述用户修改所述第二实验数据中的一个或多个第四实验数据时，清除在所述缓存模块缓存的所述第四实验数据。
进一步的，所述第一实验数据包括：第一代码层面实验数据；所述第二实验数据包括：第二代码层面实验数据；
所述当接收到客户端发送的第三实验数据请求时，通过所述SCF服务模块判断所述缓存模块中是否存在所述第三实验数据；若存在，则将所述第三实验数据反馈至所述客户端；否则通过所述SCF服务模块在所述数据库模块中查询所述第三实验数据，并将查询到的所述第三实验数据反馈至所述客户端，包括：
当接收到客户端发送的第三代码层面实验数据请求时，通过所述SCF服务模块判断所述缓存模块缓存的所述第二代码层面实验数据中是否存在所述第三代码层面实验数据；
若存在，则将所述第三代码层面实验数据反馈至所述客户端；
否则通过所述SCF服务模块在所述数据库模块存储的所述第一代码层面实验数据中查询所述第三代码层面实验数据，将所述第三代码层面实验数据缓存至缓存模块，并将查询到的所述第三代码层面实验数据反馈至所述客户端。
进一步的，所述第一实验数据还包括：第一数据层面实验数据；所述第二实验数据还包括：第二数据层面实验数据；
所述当接收到客户端发送的第三实验数据请求时，通过所述SCF服务模块判断所述缓存模块中是否存在所述第三实验数据；若存在，则将所述第三实验数据反馈至所述客户端；否则通过所述SCF服务模块在所述数据库模块中查询所述第三实验数据，并将查询到的所述第三实验数据反馈至所述客户端，包括：
当接收到客户端发送的第三数据层面实验数据请求时，判断所述缓存模块缓存的所述第二数据层面实验数据中是否存在所述第三数据层面实验数据；
若存在，则将所述第三数据层面实验数据反馈至所述客户端；
否则通过所述SCF服务模块在所述数据库模块存储的所述第一数据层面实验数据中查询所述第三数据层面实验数据，在所述第三数据层面实验数据满足预置的实验条件的情况下，基于预置的算法计算所述第三数据层面实验数据对应的实验方案，将所述第三数据层面实验数据和所述实验方案缓存至缓存模块，并将所述第三数据层面实验数据和所述实验方案反馈至所述客户端。
采用上述技术方案，本发明至少具有下列优点：
本发明所述一种AB测试***及测试方法，能够有效的实现实验数据配置与实验数据查询的分离、实验的分层和/或分类处理，通过缓存有效提高了AB测试***的***吞吐量；层内实验通过分桶算法命中实验，通过哈希算法实现分流；有效提高了用户配置AB测试***的效率。
附图说明
图1为本发明第一、第二实施例的AB测试***组成结构示意图；
图2为本发明第三实施例的AB测试方法流程图；
图3为本发明第四实施例的AB测试方法流程图。
具体实施方式
AB测试是将Web(网络)或App(Application，应用程序)界面或流程的两个或多个版本，在同一时间维度，分别让两个或多个属性或组成成分相同或相似的访客群组访问，收集各访问群组的用户体验数据和业务数据，最后分析评估出最好版本正式采用。
AB测试能够消除客户体验(UX，User Experience)设计中不同意见的纷争，根据实际效果确定最佳方案；通过对比试验，找到问题的真正原因，提高产品设计和运营水平；建立数据驱动、持续不断优化的闭环过程；降低新产品或新特性的发布风险，为产品创新提供保障。
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
本发明第一实施例，一种AB测试***，如图1所示，包括以下组成部分：
可视化录入模块101、SCF服务模块102、数据库模块103和缓存模块104；
可视化录入模块101、数据库模块103和SCF服务模块102依次相连；
缓存模块104分别与可视化录入模块101和SCF服务模块102相连；
可视化录入模块101，用于配置用户输入的第一实验数据；
例如：可视化录入模块101，用于通过WEB(网络)操作页面，配置用户输入的第一实验数据；
其中，用户包括但不限于：RD(Research and Development，研发)工程师和PM(Product Manager，产品经理)；
缓存模块104，用于缓存用户设置的第二实验数据；其中，第一实验数据包括：第二实验数据；
数据库模块103，用于存储第一实验数据；
数据库模块103包括一个或多个预置数据库；
SCF服务模块102，用于当接收到客户端发送的第三实验数据请求时，通过API(Application Programming Interface，应用程序编程接口)查询缓存模块104中是否存在第三实验数据；若存在，则将第三实验数据反馈至客户端；否则通过API在数据库模块103中查询第三实验数据，并将第三实验数据反馈至客户端。
其中，客户端包括但不限于：支持IOS的客户端、支持Android(安卓)的客户端、支持HTML5的客户端、Server服务器。
IOS是由苹果公司开发的移动操作***；
Android是一种基于Linux的自由及开放源代码的操作***，由Google(谷歌)公司和开放手机联盟领导及开发。
本发明第一实施例所述的一种AB测试***，能够有效的实现实验数据配置与实验数据查询的分离、实验的分层和/或分类处理，通过缓存有效提高了AB测试***的***吞吐量；层内实验通过分桶算法命中实验，通过哈希算法实现分流；有效提高了用户配置AB测试***的效率。
本发明第二实施例，一种AB测试***，如图1所示，包括以下组成部分：
可视化录入模块101、SCF服务模块102、数据库模块103和缓存模块104；
可视化录入模块101、数据库模块103和SCF服务模块102依次相连；
缓存模块104分别与可视化录入模块101和SCF服务模块102相连；
可视化录入模块101，用于配置用户输入的第一实验数据；
例如：可视化录入模块101，用于通过WEB(网络)操作页面，配置用户输入的第一实验数据；
其中，用户包括但不限于：RD(Research and Development，研发)工程师和PM(Product Manager，产品经理)；
第一实验数据包括但不限于：控件标识；
缓存模块104，用于缓存用户设置的第二实验数据；其中，第一实验数据包括：第二实验数据；
可选的，缓存模块104，用于通过Redis数据库缓存用户设置的第二实验数据；
Redis数据库是一种开源的使用ANSI(American National Standards Institute美国国家标准协会)C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value(键值)数据库，并提供多种语言的API；
数据库模块103，用于存储第一实验数据；
SCF服务模块102，用于当接收到客户端发送的第三实验数据请求时，通过API查询缓存模块104中是否存在第三实验数据；若存在，则将第三实验数据反馈至客户端；否则通过API在数据库模块103中查询第三实验数据，并将第三实验数据反馈至客户端；
其中，API包括：代码层面查询API和数据层面查询API；
第一实验数据包括：第一代码层面实验数据和第一数据层面实验数据；
第二实验数据包括：第二代码层面实验数据和第二数据层面实验数据；
SCF服务模块102，具体用于当接收到客户端发送的第三代码层面实验数据请求时，通过代码层面查询API查询缓存模块104缓存的第二代码层面实验数据中是否存在第三代码层面实验数据；若存在，则将第三代码层面实验数据反馈至客户端；否则通过代码层面查询API在数据库模块103存储的第一代码层面实验数据中查询第三代码层面实验数据，并将查询到的第三代码层面实验数据反馈至客户端；
或者，当接收到客户端发送的第三数据层面实验数据请求时，通过代码层面查询API查询缓存模块104缓存的第二数据层面实验数据中是否存在第三数据层面实验数据；若存在，则将第三数据层面实验数据反馈至客户端；否则通过数据层面查询API在数据库模块103存储的第一数据层面实验数据中查询第三数据层面实验数据，并将查询到的第三数据层面实验数据反馈至客户端。
其中，客户端包括但不限于：支持IOS的客户端、支持Android(安卓)的客户端、支持HTML5的客户端、Server服务器。
IOS是由苹果公司开发的移动操作***；
Android是一种基于Linux的自由及开放源代码的操作***，由Google(谷歌)公司和开放手机联盟领导及开发。
本发明第二实施例所述的一种AB测试***，能够有效的实现实验数据配置与实验数据查询的分离、实验的分层和/或分类处理，通过缓存有效提高了AB测试***的***吞吐量；层内实验通过分桶算法命中实验，通过哈希算法实现分流；有效提高了用户配置AB测试***的效率。
本发明第三实施例，一种基于第一实施例或第二实施例的AB测试***的测试方法，如图2所示，包括以下具体步骤：
步骤S301，通过可视化录入模块101配置用户输入的第一实验数据，并将第一实验数据存储至数据库模块103中。
其中，第一实验数据包括但不限于：控件标识；
用户包括但不限于：RD(Research and Development，研发)工程师和PM(ProductManager，产品经理)；
数据库模块103包括一个或多个预置数据库。
可选的，步骤S301，包括：
通过可视化录入模块101中的WEB操作页面，配置用户输入的第一实验数据；
并将第一实验数据存储至数据库模块103中的一个预置数据库。
步骤S302，通过缓存模块104缓存用户设置的第二实验数据。
其中，第一实验数据包括：第二实验数据。
步骤S303，当接收到客户端发送的第三实验数据请求时，通过SCF服务模块102判断缓存模块104中是否存在第三实验数据；若存在，则将第三实验数据反馈至客户端；否则通过SCF服务模块102在数据库模块103中查询第三实验数据，并将查询到的第三实验数据反馈至客户端。
本发明第三实施例所述的一种AB测试方法，能够有效的实现实验数据配置与实验数据查询的分离、实验的分层和/或分类处理，通过缓存有效提高了AB测试***的***吞吐量；层内实验通过分桶算法命中实验，通过哈希算法实现分流；有效提高了用户配置AB测试***的效率。
本发明第四实施例，一种基于第一实施例或第二实施例的AB测试***的测试方法，如图3所示，包括以下具体步骤：
步骤S401，通过可视化录入模块101配置用户输入的第一实验数据，并将第一实验数据存储至数据库模块103中。
其中，第一实验数据包括但不限于：控件标识；
用户包括但不限于：RD(Research and Development，研发)工程师和PM(ProductManager，产品经理)；
数据库模块103包括一个或多个预置数据库。
可选的，步骤S301，包括：
通过可视化录入模块101中的WEB操作页面，配置用户输入的第一实验数据；
并将第一实验数据存储至数据库模块103中的一个预置数据库。
步骤S402，通过缓存模块104缓存用户设置的第二实验数据。
其中，第一实验数据包括：第二实验数据。
步骤S403，当用户修改第二实验数据中的一个或多个第四实验数据时，清除在缓存模块104缓存的第四实验数据。
步骤S404，当接收到客户端发送的第三实验数据请求时，通过SCF服务模块102判断缓存模块104中是否存在第三实验数据；若存在，则将第三实验数据反馈至客户端；否则通过SCF服务模块102在数据库模块103中查询第三实验数据，并将查询到的第三实验数据反馈至客户端。
其中，API包括：代码层面查询API和数据层面查询API；
第一实验数据包括：第一代码层面实验数据和第一数据层面实验数据；
第二实验数据包括：第二代码层面实验数据和第二数据层面实验数据；
可选的，步骤S404，包括：
当接收到客户端发送的第三代码层面实验数据请求时，通过所述SCF服务模块102判断所述缓存模块104缓存的所述第二代码层面实验数据中是否存在所述第三代码层面实验数据；
若存在，则将所述第三代码层面实验数据反馈至所述客户端；
否则通过所述SCF服务模块102在所述数据库模块103存储的所述第一代码层面实验数据中查询所述第三代码层面实验数据，将所述第三代码层面实验数据缓存至缓存模块104，并将查询到的所述第三代码层面实验数据反馈至所述客户端。
可选的，步骤S404，包括：
当接收到客户端发送的第三数据层面实验数据请求时，判断所述缓存模块104缓存的所述第二数据层面实验数据中是否存在所述第三数据层面实验数据；
若存在，则将所述第三数据层面实验数据反馈至所述客户端；
否则通过所述SCF服务模块102在所述数据库模块103存储的所述第一数据层面实验数据中查询所述第三数据层面实验数据，在所述第三数据层面实验数据满足预置的实验条件的情况下，基于预置的算法计算所述第三数据层面实验数据对应的实验方案，将所述第三数据层面实验数据和所述实验方案缓存至缓存模块104，并将所述第三数据层面实验数据和所述实验方案反馈至所述客户端。
可选的，步骤S404，包括：
当接收到客户端发送的第三代码层面实验数据请求时，通过所述SCF服务模块102判断所述缓存模块104缓存的所述第二代码层面实验数据中是否存在所述第三代码层面实验数据；
若存在，则将所述第三代码层面实验数据反馈至所述客户端；
否则通过所述SCF服务模块102在所述数据库模块103存储的所述第一代码层面实验数据中查询所述第三代码层面实验数据，将所述第三代码层面实验数据缓存至缓存模块104，并将查询到的所述第三代码层面实验数据反馈至所述客户端；
同时，当接收到客户端发送的第三数据层面实验数据请求时，判断所述缓存模块104缓存的所述第二数据层面实验数据中是否存在所述第三数据层面实验数据；
若存在，则将所述第三数据层面实验数据反馈至所述客户端；
否则通过所述SCF服务模块102在所述数据库模块103存储的所述第一数据层面实验数据中查询所述第三数据层面实验数据，在所述第三数据层面实验数据满足预置的实验条件的情况下，基于预置的算法计算所述第三数据层面实验数据对应的实验方案，将所述第三数据层面实验数据和所述实验方案缓存至缓存模块104，并将所述第三数据层面实验数据和所述实验方案反馈至所述客户端。
本发明第四实施例所述的一种AB测试方法，能够有效的实现实验数据配置与实验数据查询的分离、实验的分层和/或分类处理，通过缓存有效提高了AB测试***的***吞吐量；层内实验通过分桶算法命中实验，通过哈希算法实现分流；有效提高了用户配置AB测试***的效率。
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (10)

1.一种AB测试***，其特征在于，包括：
可视化录入模块、服务控制层SCF服务模块、数据库模块和缓存模块；
所述可视化录入模块、所述数据库模块和所述SCF服务模块依次相连；
所述缓存模块分别与所述可视化录入模块和所述SCF服务模块相连；
所述可视化录入模块，用于配置用户输入的第一实验数据；
所述缓存模块，用于缓存所述用户设置的第二实验数据；其中，所述第一实验数据包括：第二实验数据；
所述数据库模块，用于存储所述第一实验数据；
所述SCF服务模块，用于当接收到客户端发送的第三实验数据请求时，通过应用程序编程接口API查询所述缓存模块中是否存在所述第三实验数据；若存在，则将所述第三实验数据反馈至所述客户端；否则通过API在所述数据库模块中查询所述第三实验数据，并将所述第三实验数据反馈至所述客户端。
2.根据权利要求1所述的***，其特征在于，所述第一实验数据包括：控件标识。
3.根据权利要求1所述的***，其特征在于，所述缓存模块，用于通过Redis数据库缓存所述用户设置的第二实验数据。
4.根据权利要求1所述的***，其特征在于，所述API包括：代码层面查询API；所述第一实验数据包括：第一代码层面实验数据；所述第二实验数据包括：第二代码层面实验数据；
所述SCF服务模块，用于当接收到客户端发送的第三代码层面实验数据请求时，通过所述代码层面查询API查询所述缓存模块缓存的所述第二代码层面实验数据中是否存在所述第三代码层面实验数据；若存在，则将所述第三代码层面实验数据反馈至所述客户端；否则通过所述代码层面查询API在所述数据库模块存储的所述第一代码层面实验数据中查询所述第三代码层面实验数据，并将查询到的所述第三代码层面实验数据反馈至所述客户端。
5.根据权利要求4所述的***，其特征在于，所述API还包括：数据层面查询API；所述第一实验数据还包括：第一数据层面实验数据；所述第二实验数据还包括：第二数据层面实验数据；
所述SCF服务模块，用于当接收到客户端发送的第三数据层面实验数据请求时，通过所述代码层面查询API查询所述缓存模块缓存的所述第二数据层面实验数据中是否存在所述第三数据层面实验数据；若存在，则将所述第三数据层面实验数据反馈至所述客户端；否则通过所述数据层面查询API在所述数据库模块存储的所述第一数据层面实验数据中查询所述第三数据层面实验数据，并将查询到的所述第三数据层面实验数据反馈至所述客户端。
6.根据权利要求1所述的AB测试***的测试方法，其特征在于，所述方法包括：
通过所述可视化录入模块配置用户输入的第一实验数据，并将所述第一实验数据存储至所述数据库模块中；
通过所述缓存模块缓存用户设置的第二实验数据；其中，所述第一实验数据包括：第二实验数据；
当接收到客户端发送的第三实验数据请求时，通过所述SCF服务模块判断所述缓存模块中是否存在所述第三实验数据；若存在，则将所述第三实验数据反馈至所述客户端；否则通过所述SCF服务模块在所述数据库模块中查询所述第三实验数据，并将查询到的所述第三实验数据反馈至所述客户端。
7.根据权利要求6所述的方法，其特征在于，所述第一实验数据包括：控件标识。
8.根据权利要求6所述的方法，其特征在于，在所述通过所述缓存模块缓存第二实验数据之后，所述方法还包括：
当所述用户修改所述第二实验数据中的一个或多个第四实验数据时，清除在所述缓存模块缓存的所述第四实验数据。
9.根据权利要求6所述的方法，其特征在于，所述第一实验数据包括：第一代码层面实验数据；所述第二实验数据包括：第二代码层面实验数据；
所述当接收到客户端发送的第三实验数据请求时，通过所述SCF服务模块判断所述缓存模块中是否存在所述第三实验数据；若存在，则将所述第三实验数据反馈至所述客户端；否则通过所述SCF服务模块在所述数据库模块中查询所述第三实验数据，并将查询到的所述第三实验数据反馈至所述客户端，包括：
当接收到客户端发送的第三代码层面实验数据请求时，通过所述SCF服务模块判断所述缓存模块缓存的所述第二代码层面实验数据中是否存在所述第三代码层面实验数据；
若存在，则将所述第三代码层面实验数据反馈至所述客户端；
否则通过所述SCF服务模块在所述数据库模块存储的所述第一代码层面实验数据中查询所述第三代码层面实验数据，将所述第三代码层面实验数据缓存至缓存模块，并将查询到的所述第三代码层面实验数据反馈至所述客户端。
10.根据权利要求9所述的方法，其特征在于，所述第一实验数据还包括：第一数据层面实验数据；所述第二实验数据还包括：第二数据层面实验数据；
所述当接收到客户端发送的第三实验数据请求时，通过所述SCF服务模块判断所述缓存模块中是否存在所述第三实验数据；若存在，则将所述第三实验数据反馈至所述客户端；否则通过所述SCF服务模块在所述数据库模块中查询所述第三实验数据，并将查询到的所述第三实验数据反馈至所述客户端，包括：
当接收到客户端发送的第三数据层面实验数据请求时，判断所述缓存模块缓存的所述第二数据层面实验数据中是否存在所述第三数据层面实验数据；
若存在，则将所述第三数据层面实验数据反馈至所述客户端；
否则通过所述SCF服务模块在所述数据库模块存储的所述第一数据层面实验数据中查询所述第三数据层面实验数据，在所述第三数据层面实验数据满足预置的实验条件的情况下，基于预置的算法计算所述第三数据层面实验数据对应的实验方案，将所述第三数据层面实验数据和所述实验方案缓存至缓存模块，并将所述第三数据层面实验数据和所述实验方案反馈至所述客户端。
CN201710507866.5A 2017-06-28 2017-06-28 一种ab测试***及测试方法 Active CN107451020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710507866.5A CN107451020B (zh) 2017-06-28 2017-06-28 一种ab测试***及测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710507866.5A CN107451020B (zh) 2017-06-28 2017-06-28 一种ab测试***及测试方法

Publications (2)

Publication Number Publication Date
CN107451020A true CN107451020A (zh) 2017-12-08
CN107451020B CN107451020B (zh) 2020-12-15

Family

ID=60488277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710507866.5A Active CN107451020B (zh) 2017-06-28 2017-06-28 一种ab测试***及测试方法

Country Status (1)

Country Link
CN (1) CN107451020B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415845A (zh) * 2018-03-28 2018-08-17 北京达佳互联信息技术有限公司 Ab测试***指标置信区间的计算方法、装置和服务器
CN108845936A (zh) * 2018-05-31 2018-11-20 阿里巴巴集团控股有限公司 一种基于海量用户的ab测试方法及***
CN109947643A (zh) * 2019-03-01 2019-06-28 广州华多网络科技有限公司 一种基于a/b测试的实验方案的配置方法、装置及设备
CN110008131A (zh) * 2019-04-12 2019-07-12 重庆天蓬网络有限公司 一种基于算法实现的区域ab实验管理的方法及装置
CN110245978A (zh) * 2019-05-23 2019-09-17 阿里巴巴集团控股有限公司 策略组中的策略评估、策略选择方法及装置
CN111338607A (zh) * 2020-02-28 2020-06-26 北京奇艺世纪科技有限公司 一种用于测试的业务数据的选择方法、装置及电子设备
CN111884949A (zh) * 2020-08-05 2020-11-03 支付宝(杭州)信息技术有限公司 Ab实验的分流方案确定、分流实现方法、装置及***
CN114942881A (zh) * 2022-05-10 2022-08-26 北京百度网讯科技有限公司 用于a/b测试实验的方法及装置、电子设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103095743A (zh) * 2011-10-28 2013-05-08 阿里巴巴集团控股有限公司 一种灰度发布的处理方法及***
CN103577321A (zh) * 2012-08-07 2014-02-12 阿里巴巴集团控股有限公司 一种网站页面的多版本并行测试方法和服务器
CN103593419A (zh) * 2013-10-30 2014-02-19 华为技术有限公司 数据查询方法、装置、服务器及***
US20160189201A1 (en) * 2014-12-26 2016-06-30 Yahoo! Inc. Enhanced targeted advertising system
CN106100927A (zh) * 2016-06-20 2016-11-09 浪潮电子信息产业股份有限公司 一种实现ssr灰度发布的方法
CN106096021A (zh) * 2016-06-24 2016-11-09 合信息技术（北京）有限公司 一种静态页面灰度发布方法及***
CN106257894A (zh) * 2016-08-29 2016-12-28 北京海誉动想科技股份有限公司 基于微服务的灰度发布方法
CN106775859A (zh) * 2016-12-08 2017-05-31 上海亿账通互联网科技有限公司 灰度发布方法和***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103095743A (zh) * 2011-10-28 2013-05-08 阿里巴巴集团控股有限公司 一种灰度发布的处理方法及***
CN103577321A (zh) * 2012-08-07 2014-02-12 阿里巴巴集团控股有限公司 一种网站页面的多版本并行测试方法和服务器
CN103593419A (zh) * 2013-10-30 2014-02-19 华为技术有限公司 数据查询方法、装置、服务器及***
US20160189201A1 (en) * 2014-12-26 2016-06-30 Yahoo! Inc. Enhanced targeted advertising system
CN106100927A (zh) * 2016-06-20 2016-11-09 浪潮电子信息产业股份有限公司 一种实现ssr灰度发布的方法
CN106096021A (zh) * 2016-06-24 2016-11-09 合信息技术（北京）有限公司 一种静态页面灰度发布方法及***
CN106257894A (zh) * 2016-08-29 2016-12-28 北京海誉动想科技股份有限公司 基于微服务的灰度发布方法
CN106775859A (zh) * 2016-12-08 2017-05-31 上海亿账通互联网科技有限公司 灰度发布方法和***

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415845A (zh) * 2018-03-28 2018-08-17 北京达佳互联信息技术有限公司 Ab测试***指标置信区间的计算方法、装置和服务器
CN108845936A (zh) * 2018-05-31 2018-11-20 阿里巴巴集团控股有限公司 一种基于海量用户的ab测试方法及***
CN108845936B (zh) * 2018-05-31 2021-10-01 创新先进技术有限公司 一种基于海量用户的ab测试方法及***
CN109947643A (zh) * 2019-03-01 2019-06-28 广州华多网络科技有限公司 一种基于a/b测试的实验方案的配置方法、装置及设备
CN110008131A (zh) * 2019-04-12 2019-07-12 重庆天蓬网络有限公司 一种基于算法实现的区域ab实验管理的方法及装置
CN110245978A (zh) * 2019-05-23 2019-09-17 阿里巴巴集团控股有限公司 策略组中的策略评估、策略选择方法及装置
CN110245978B (zh) * 2019-05-23 2023-09-05 创新先进技术有限公司 策略组中的策略评估、策略选择方法及装置
CN111338607A (zh) * 2020-02-28 2020-06-26 北京奇艺世纪科技有限公司 一种用于测试的业务数据的选择方法、装置及电子设备
CN111884949A (zh) * 2020-08-05 2020-11-03 支付宝(杭州)信息技术有限公司 Ab实验的分流方案确定、分流实现方法、装置及***
CN111884949B (zh) * 2020-08-05 2022-05-17 支付宝(杭州)信息技术有限公司 Ab实验的分流方案确定、分流实现方法、装置及***
CN114942881A (zh) * 2022-05-10 2022-08-26 北京百度网讯科技有限公司 用于a/b测试实验的方法及装置、电子设备和介质

Also Published As

Publication number Publication date
CN107451020B (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN107451020A (zh) 一种ab测试***及测试方法
US11347761B1 (en) System and methods for distributed database query engines
CN102693183B (zh) 一种实现软件自动化测试的方法及***
US8762787B2 (en) Facilitating large-scale testing using virtualization technology in a multi-tenant database environment
US20170060969A1 (en) Automating extract, transform, and load job testing
US20130326538A1 (en) System and method for shared execution of mixed data flows
US10282350B1 (en) Data store optimizer
US20170168919A1 (en) Feature switches for private cloud and on-premise application components
US11036608B2 (en) Identifying differences in resource usage across different versions of a software application
KR102419023B1 (ko) 데이터베이스 환경에서 자동화된 질의 재시행
US9703822B2 (en) System for transform generation
CN106453320B (zh) 恶意样本的识别方法及装置
CN110990420A (zh) 数据查询方法、装置
CN110308917A (zh) 小程序发布方法、装置、设备及计算机存储介质
Pääkkönen Feasibility analysis of AsterixDB and Spark streaming with Cassandra for stream-based processing
CN103631869B (zh) 一种缓解服务端数据库访问压力的方法和装置
CN108108445A (zh) 一种智能数据处理方法和***
US11455574B2 (en) Dynamically predict optimal parallel apply algorithms
US8832653B2 (en) Centralized, object-level change tracking
US11222072B1 (en) Graph database management system and method for a distributed computing environment
Wang et al. Pipeline provenance for cloud‐based big data analytics
CN113760680A (zh) 一种***压力性能测试的方法和装置
US20220334829A1 (en) Custom abap cloud enabler
US11853273B1 (en) Partial migration of applications across database systems
US20220414101A1 (en) Shifting left database degradation detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant