CN107861871B - 一种灰度发布方法、装置、服务器及存储介质 - Google Patents

一种灰度发布方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN107861871B
CN107861871B CN201711062447.1A CN201711062447A CN107861871B CN 107861871 B CN107861871 B CN 107861871B CN 201711062447 A CN201711062447 A CN 201711062447A CN 107861871 B CN107861871 B CN 107861871B
Authority
CN
China
Prior art keywords
test
user
user equipment
invitation
invitation link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711062447.1A
Other languages
English (en)
Other versions
CN107861871A (zh
Inventor
叶兆生
李小聪
辛庆
戢玲玲
王贵龙
赵发凯
王水
朱峰
彭纪奎
刘奇松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201711062447.1A priority Critical patent/CN107861871B/zh
Publication of CN107861871A publication Critical patent/CN107861871A/zh
Application granted granted Critical
Publication of CN107861871B publication Critical patent/CN107861871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3664Environments for testing or debugging software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种灰度发布方法、装置、服务器及存储介质。所述方法包括:通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接;当各个测试用户在自身的用户设备中启动所述测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求;响应于所述灰度发布请求通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。本发明实施例可以简化灰度发布流程,节省灰度发布时间,提高灰度发布效率。

Description

一种灰度发布方法、装置、服务器及存储介质
技术领域
本发明实施例涉及灰度发布技术领域,尤其涉及一种灰度发布方法、装置、服务器及存储介质。
背景技术
随着手机APP版本的不断迭代,APP功能的复杂度越来越高,在APP产品上开发新的功能或者对原有功能的升级,都会产生各类软件缺陷问题,要求测试人员在有限的时间内完成测试的功能和场景也呈指数增加趋势。目前的软件产品一般需要通过部分用户试用,经过一个测试阶段确认产品没有问题后再面向全部用户正式发布。也即,软件产品的发布需要及早获得用户的意见反馈,完善产品功能,提升产品质量,让用户参与产品测试,加强与用户互动,降低产品升级所影响的用户范围。
软件产品的发布一般采用灰度发布的方式。灰度发布是对某一产品的发布逐步扩大使用群体范围,也叫灰度放量。它是指在黑与白之间,能够平滑过渡的一种发布方式。AB测试就是一种灰度发布方式,让一部分用户继续用A,一部分用户开始用B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面来。在APP正式发布前,且无严重功能bug的前提下,发起灰度发布,挑选一批用户试用,可显著提高测试样本、测试页面覆盖率和测试场景。在灰度发布期间,监控用户反馈和APP的稳定性,尤其是影响APP质量的Crash可提前暴露出来,以便及时修复。灰度发布可以保证整体***的稳定,在初始灰度的时候就可以发现、调整问题,以保证其影响度。
在现有的灰度发布方法中,用户获取灰度测试的安装包可以通过苹果公司提供的测试工具Test Flight进行下载。具体地,灰度发布发起方(组织者),通过用户群或者论坛等渠道向测试用户收集邮件地址;然后手动整理用户邮箱后将全部邮件地址上传至苹果公司的iTunes Connect;iTunes Connect根据收集到的邮件地址给各个测试用户发送测试邀请。由此可见,在现有的灰度发布方法中,灰度发布流程复杂,灰度发布时间较长,灰度发布效率较低。
发明内容
有鉴于此,本发明实施例提供一种灰度发布方法、装置、服务器及存储介质,可以简化灰度发布流程,节省灰度发布时间,提高灰度发布效率。
第一方面,本发明实施例提供了一种灰度发布方法,所述方法包括:
通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接;
当各个测试用户在自身的用户设备中启动所述测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求;
响应于所述灰度发布请求通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。
第二方面,本发明实施例还提供了一种灰度发布装置,所述装置包括:
邀请链接获取模块,用于通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接;
灰度发布请求模块,用于当各个测试用户在自身的用户设备中启动所述测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求;
邀请链接分配模块,用于响应于所述灰度发布请求通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。
第三方面,本发明实施例还提供了一种服务器,所述服务器包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任一实施例所述的灰度发布方法。
第四方面,本发明实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例所述的灰度发布方法。
本发明实施例提出了一种灰度发布方法、装置、服务器及存储介质,通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接;当各个测试用户在自身的用户设备中启动所述测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求;响应于所述灰度发布请求通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。本发明实施例解决了现有的灰度发布方法中,灰度发布流程复杂,灰度发布时间较长,灰度发布效率较低的问题,实现简化灰度发布流程,节省灰度发布时间,提高灰度发布效率的效果。
附图说明
图1是本发明实施例一提供的灰度发布方法的流程图;
图2是本发明实施例二提供的灰度发布方法的流程图;
图3是本发明实施例三提供的灰度发布方法的流程图;
图4为本发明实施例四提供的灰度发布方法装置的结构示意图;
图5为本发明实施例五提供的服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
实施例一
图1是本发明实施例一提供的灰度发布方法的流程图,本实施例提供的灰度发布方法可适用于测试邀请链接的收集和分发,该方法可以由灰度发布装置来执行,该装置可以由软件和/或硬件的方式实现,该装置可以集成在任何具有网络通信功能的智能设备中。如图1所示,灰度发布方法可以包括:
S101、通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接。
在本发明实施例中,灰度平台可以预先通过预先建立的已包含测试邀请链接的测试邮箱中获取多个测试用户对应的测试邀请链接。具体地,可以通过自建邮箱服务预先建立用于接收测试邀请链接的测试邮箱,各个测试邮箱可以通过批量接收已审核通过的各个测试邀请链接生成各个已包含测试邀请链接的测试邀请邮件,在灰度发布平台可以通过执行相应的脚本程序对该测试邀请邮件的邮件内容进行批量解析,提取出该测试邀请邮件中多个测试用户对应的测试邀请链接。测试用户对应的测试邀请链接可以是在灰度发布平台针对用户预先设置的移动应用测试链接,通过该测试链接可以获取相应的待测试移动应用APP并进行测试使用。示例性的,设定需要2000个测试邀请链接进行灰度发布时,灰度平台可以预先建立2000个自建测试邮箱,然后各个测试邮箱接收已审核通过的2000个测试邀请链接并生成2000个已包含测试邀请链接的测试邀请邮件,再提取该2000个测试邮件中的2000个测试邀请链接。采用自建测试邮箱的好处在于减少了在分配测试邀请链接之前需要先在社区或者用户群等渠道征集产品的测试用户并收集用户邮箱的操作,通过直接自建批量测试邮箱接收批量测试邀请链接获得相应的具有邮箱传递属性的测试邀请链接,节省了大量灰度发布时间。
在本发明实例中,由于苹果对移动应用APP的安装有着非常严格的限制,如果直接发送测试邀请链接给用户进行安装使用,可能会导致测试邀请链接无法打开或APP安装失败。可选的,在通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接之前,可以将预先建立的测试邮箱和测试用户对应的测试邀请链接上传至苹果的iTunes Connect进行审核,然后iTunes Connect将审核通过的各个测试用户对应的测试邀请链接批量发送给各个测试邮箱。这样做的好处在于:通过苹果中iTunes Connect对测试邮箱和测试邀请链接进行审核,避免由于苹果APP未得到审核造成无法安装造成灰度发布时间的延迟。可选的,在将测试邀请链接上传至苹果的iTunes Connect进行审核时,可以通过使用开源方案实现测试邀请链接上传iTunes connect的自动化,测试人员只需将待接入产品线的提供开发者克隆账号,在灰度平台进行简单的配置,即可完成测试邀请链接的上传。
S102、当各个测试用户在自身的用户设备中启动测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求。
在本发明实施例中,各个测试用户在自身用户设备中启动需要进行灰度发布的移动应用APP时可以向灰度平台发送相应的灰度发布请求,比如请求查询灰度发布、请求灰度任务详情等。此时,对应的在灰度平台上,可以接收用户设备通过SDK发送的该灰度发布请求。其中,需要进行灰度发布的移动应用APP可以包含与之对应测试邀请链接,通过打开测试邀请链接可以获得相应的移动应用APP进行测试。
S103、响应于灰度发布请求通过SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。
在本发明实施例中,灰度平台在接收到各个用户设备通过SDK发送的灰度发布请求后,对接收的该灰度发布请求进行响应,并通过SDK将S101操作提取出的具有邮箱传递形式的各个测试用户对应的APP测试邀请链接发送至各个用户设备中,使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。其中,目标弹框可以是灰度平台发送测试邀请链接至用户设备并进行后续APP灰度发布的测试引导框。
在本发明实施例中,可以将灰度SDK集成封装在需要进行灰度发布的APP中,通过集成封装的灰度SDK实现APP与灰度平台之间的交互。具体地,需要灰度发布的APP集成封装了相应的灰度后,APP启动时可以通过封装的灰度SDK调用灰度平台的灰度任务查询接口,并向灰度平台发送相应的灰度发布请求。灰度平台可以根据上述相应的灰度发布请求查询该灰度发布请求对应的灰度任务状态,当灰度平台中新建的灰度任务栏中包含该APP的灰度发布任务时,灰度平台通过灰度SDK可以根据灰度任务的状态在测试用户自身的用户设备中对用户做出相应的测试引导。例如当在灰度平台上存在灰度发布任务时,可以发送弹框形式的测试引导至用户设备中邀请测试用户参与APP测试任务。然后当测试用户在该测试引导作用做出相应的操作,比如确认参加APP测试请求任务详情,则可以通过该灰度SDK将灰度任务的详细信息展示给测试用户。其中,灰度任务的详细信息可以包括如何参与内测的简易指导和APP灰度版本的升级优化功能点等信息。最后,当用户了解灰度任务详情后,再次征询用户是否参加APP测试,如果确认参加,比如通过点击确认按钮,则通过灰度SDK向测试用户的用户设备中发送该APP对应的测试邀请链接。其中,该测试邀请链接可以是上述通过预先建立的测试邮箱获取的多个测试用户对应的测试邀请链接。将灰度SDK集成封装在APP中的好处在于可以通过封装的灰度SDK使用户设备和灰度平台直接交互,而不需要在适配其他数据连接传送方式,实现了灰度发布能力的通用化,可以在任何其他产品线上正常使用,且各产品线可基于SDK进行二次开发,自定义给用户推送升级提示的时机和次数等。同时把测试邀请链接发送至封装了SDK的APP中,可以实现了任何APP都能使用这个解决方案,且接入的成本低。
本发明实施例提出了一种灰度发布方法,先通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接;然后当各个测试用户在自身的用户设备中启动所述测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求;最后响应于所述灰度发布请求通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。也就是说,通过预先建立的自建邮箱批量获取测试用户对应的测试邀请链接,然后通过灰度SDK接收测试用户发送的灰度发布请求,最后响应该灰度发布请求再通过灰度SDK批量发送测试邀请链接至用户设备中。本发明实施例解决了现有的灰度发布方法中,灰度发布过程中测试邀请链接集中收集和分发流程复杂,灰度发布时间较长,灰度发布效率较低的问题,实现简化灰度发布流程,使得邀请链接的概念对用户是透明的,用户无需关注邀请链接分发的实现,节省灰度发布时间,提高灰度发布效率的效果。
在上述本发明实施例的基础上,在通过SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接之后,增加了根据APP中封装的SDK对测试邀请链接进行验证,如果该测试邀请链接对应的灰度测试未结束,则根据该测试邀请链接对待测APP进行安装的操作。
在本发明实施例中,通过APP中封装的灰度SDK对测试邀请链接的待测APP进行安装,可以使测试用户在使用集成封装了灰度SDK的APP时,不需要离开正在使用的APP,也不需要跳转至其他应用程序安装工具,比如第三方应用市场包括:PP助手,91助手、同步推,FIR,蒲公英等,或者苹果提供的App Store,即可完成待测APP的安装。示例性的,设置测试邀请链接格式为:“https://beta.itunes.apple.com/v1/invite/invitecode?ct=companyName&advp=10000&platform=ios”,iOS设备可以对接收测的测试邀请链接的测试状态进行验证,如果该测试邀请链接对应的测试未结束,进一步判断是否安装TestFlight。如果已安装了TestFlight,则打开TestFlight引导用户安装相应的待测APP并开始灰度测试;如果未安装了TestFlight,则打开TestFlight安装界面安装TestFlight,然后再打开TestFlight引导用户安装相应的待测APP并开始灰度测试。在安装待测APP的过程中即不需要离开使用中的APP,无需跳转至App Store,即可完成待测APP安装。
实施例二
图2为本发明实施例二提供的灰度发布方法的流程图,本实施例在上述实施例的基础上进行优化。如图2所示,该灰度发布方法可以包括:
S201、通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接。
S202、当各个测试用户在自身的用户设备中启动测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求。
S203、响应于灰度发布请求根据各个用户设备的属性信息和预先确定的目标配置信息,判断各个用户设备是否满足预先设置的灰度发布条件。
在本发明实施例中,灰度平台可以对用户发送的灰度发布请求进行响应,根据各个用户设备的属性信息和预先确定的目标配置信息,根据预先设置的灰度发布条件判断正在做出响应的灰度发布请求对应的用户设备的属性信息与预先确定的目标配置信息是否匹配。用户设备的属性信息可以包括:各个用户设备的当前所在地区、当前硬件配置、当前软件配置和当前网络类型等属性信息。其中,当前所在地区可以是用户设备当前所在的某一个城市或地区,比如北京、天津或上海等;当前硬件配置可以是用户设备的硬件参数基本配置,比如CPU、内存、硬盘等参数指标;当前软件配置可以是各个用户设备的操作***和版本号以及移动应用的应用标识和/或版本号,比如用户设备上安装的APP的版本、操作***版本、设备唯一识别标志cuid和/或APP build编号等;当前网络类型可以是用户设备当前正在使用的网络类型,比如***、***或无线网等。用户设备的属性信息还可以包括APP使用频率和/或用户设备购买的渠道等。
在本发明实施例中,目标配置信息可以是在测试邀请链接推送过程中针对用户设备预先设置推送条件,如果发出灰度发布请求的用户设备满足该目标配置信息,则认为该用户设备满足灰度发布的条件。相应的,根据用户设备的属性信息可以预先设置对应的目标配置信息中的一项或多项作为灰度发布条件。其中,目标配置信息可以包括:目标发布地区、目标硬件配置、目标软件配置和目标网络类型等配置信息的一项或多项。目标配置信息还可以包括APP使用频率和/或用户设备购买的渠道等。
S204、当各个用户设备满足预先设置的灰度发布条件时,执行通过SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。
在本发明实施例中,当用户设备满足预先设置的灰度发布条件时,即用户设备属性信息与预先设置的目标配置信息相互匹配时,确定该用户设备满足条件,可以向该用户设备发送测试邀请链接。其中,在向用户设备发送测试邀请链接时,在用户设备上可以采用弹框引导的方式进行显示。测试用户可以根据弹框引导进行一步一步的操作,决定是否参见灰度测试。
在上述实施例的基础上,可选的,用户设备的属性信息和目标配置信息还可以采用自定义参数。示例性的,判断用户设备是否处于白名单列表,如果处于白名单列表,则认为该用户设备满足灰度发布条件,并向该用户发送测试邀请链接。或者判断用户设备是否命中中小流量,如果命中,则认为该用户设备满足灰度发布条件,并向该用户发送测试邀请链接。
在上述实施例的基础上,可选的,可以根据业务测试需要对目标配置信息进行预先设置,然后根据用户设备的属性信息判断用户设备是否匹配预先设置的目标配置信息,并确定向该满足条件的用户设备发送各个测试用户对应的测试邀请链接。示例性的,预先设置目标配置信息为APP使用频率阈值或设备唯一识别标志cuid,此时灰度平台在通过SDK向用户设备发送测试邀请链接之前可以从用户日志挖掘出测试用户针对该测试邀请链接对应的APP使用频率或当前用户设备的cuid。当用户针对该测试邀请链接对应的APP使用频率大于目标配置信息中APP使用频率阈值则认为该测试用户针对该APP是活跃较高的用户,或当前用户设备的cuid与目标配置信息中的cuid相匹配,则认为满足灰度发布条件,可以向该测试用户发送测试邀请链接。
在上述实施例的基础上,可选的,可以基于定向推送实现对发送给各个用户设备的测试邀请链接进行回滚。在本发明实施例中,由于在灰度发布过程中灰度平台向用户设备发送的测试邀请链接可能存在较严重的bug,用户针对存在严重bug测试邀请无法进行相关的测试,因此需要灰度平台对这些存在严重bug测试邀请进行有效的回收,即需要一个错误测试邀请链接回收机制。示例性的,由于通过灰度平台发送的每一个测试邀请链接的版本号及build编号具有唯一性,利用测试邀请链接的版本号及build编号特征,灰度平台可以将已发送至用户设备并安装的存在严重bug的测试邀请进行回收,并向这些用户设备发送新的测试邀请链接。需要说明的是,上述可选方案可以组合使用进行判断,也可以单独使用进行判断,这里不再进行限制。
本发明实施例提出了一种灰度发布方法,根据各个用户设备的属性信息和预先确定的目标配置信息,判断各个用户设备是否满足预先设置的灰度发布条件。也就是说,灰度平台指根据不同的测试目的将测试邀请链接推送给符合条件的测试用户。本发明实施例解决了现有的灰度发布方法中无法根据测试目的对测试邀请链接进行定向推送的问题,实现了APP的灰度发布的定向推送,提高了灰度测试的有效性。
在上述本发明实施例的基础上,在根据各个用户设备的属性信息和预先确定的目标配置信息,判断各个用户设备是否满足预先设置的灰度发布条件之前或之后还可以增加对测试邀请链接对应的APP版本进行判断,并按照判断结果进行对应的处理的操作。
在本发明实施例中,当测试用户在用户设备上通过灰度SDK发送的灰度发布请求至灰度平台之后,灰度平台可以对灰度发布请求对应的测试邀请链接的待测APP版本进行判断,如果待测APP版本为非测试版本且已正式发版,则在用户设备发出弹框引导,使用户跳转至相应的应用安装工具,例如苹果的App Store下载正式版本,如果待测APP版本为测试版本且未正式发版,则继续判断各个用户设备是否满足预先设置的灰度发布条件。可选的,当测试邀请链接对应的待测APP正式发版后,可以将APP版本从测试版本升级到正式版本。具体地,苹果规定从TestFlight下载的测试版APP有效期为60天,在60天后APP将无法使用,提示APP已过期,如想继续使用需从App Store下载正式版本,版本收敛完成。或者在正式版本发布后,在灰度平台上将该版本的灰度任务状态置为“已发版”,当且仅当版本号与正式版本一致,但build编号小于正式版本的build编号的测试用户将收到弹框提醒:“APP已发版,请到App Store更新”。
实施例三
图3为本发明实施例三提供的灰度发布方法的流程图,本实施例在上述实施例一和实施例二的基础上进行优化。如图3所示,该灰度发布方法可以包括:
S301、通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接。
S302、当各个测试用户在自身的用户设备中启动测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求。
S303、响应于灰度发布请求通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。
在上述实施例的基础上,可选的,在通过SDK向各个用户设备发送各个测试用户对应的测试邀请链接之前,该灰度发布方法还可以包括:
根据各个用户设备的属性信息和预先确定的目标配置信息,判断各个用户设备是否满足预先设置的灰度发布条件;当各个用户设备满足所述预先设置的灰度发布条件时,执行通过SDK向各个用户设备发送各个测试用户对应的测试邀请链接。
S304、确定各个测试用户对应的测试邀请链接的使用状态;其中,使用状态包括:未使用、已分配或者已使用。
一般的iTunes Connect和灰度平台无法掌握邀请链接的使用状况,在收集和分发测试邀请链接之后,可能存在大量的测试邀请链接由于没有使用而造成浪费使得灰度测试效果较差,无法达到预定的要求。
在本发明实施例中,灰度平台可以对各个测试用户对应的测试邀请链接的使用情况行实时监控,或根据用户设备对测试邀请链接的使用情况进行反馈,从而确定各个测试用户对应的测试邀请链接的使用状态。其中,测试邀请链接的使用状态可以为:未使用、已分配或者已使用。示例性的,iTunesConnect审核通过2000个测试邀请链接,当测试邀请链接在存入数据库时,测试邀请链接状态被置为“未使用”;当测试用户在用户设备中确定参与APP测试,并给测试用户发送测试邀请链接时,测试邀请链接状态被置为“已分配”;当测试用户在用户设备打开了相应的测试邀请链接并安装待测APP时,测试邀请邀请链接状态才变成“已使用”,从而保证iTunesConnect提供的2000个TestFlight邀请链接配额不被浪费。
S305、根据各个测试用户对应的测试邀请链接的使用状态在预先设置的数据库中将各个测试用户对应的测试邀请链接进行标记。
在本发明实施例中,确定各个测试用户对应的测试邀请链接的使用状态之后,可以实时地在测试邀请链接数据库中对各个测试用户对应的测试邀请链接进行标记。示例性的,当各个测试用户对应的测试邀请链接的使用状态为未使用时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第一测试链接;当各个测试用户对应的测试邀请链接的使用状态为已分配时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第二测试链接;当各个测试用户对应的测试邀请链接的使用状态为已使用时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第三测试链接。可选的,按照预定的时间对数据库中测试邀请链接的使用状态进行统计,根据统计得到的测试邀请链接使用状态,对每一次“已分配”但没有使用的测试邀请链接进行定时回收,并将回收的测试邀请链接重新分配发送给新用户,提高测试邀请链接的使用率。
本发明实施例提出了一种灰度发布方法,通过对测试邀请链接的使用状态进行实时监控标记,解决了无法掌握测试邀请链接在分发后的使用状态,从而无法大规模进行测试邀请链接分发的问题,实现了对测试邀请链接使用状态的实时监控,减少了测试邀请链接在分发后由于没有使用造成的浪费,提高了测试邀请链接的使用率。
在上述本发明实施例的基础上,该灰度发布方法可以包括:实时监控用户设备的待测APP的测试情况,并收集分析待测APP测试过程中的测试数据,生成相应的待测APP测试报告。
在本发明实施例中,灰度平台可以根据APP build编号统计测试邀请链接的使用情况,可以精度统计每一轮灰度测试中待测APP的安装量。此外,收集用户设备的***和型号,可统计出***/设备测试覆盖率。若待测试APP集成了Google的Crashlytics SKD,可通过相应的平台完成APP Crash的收集、Crash原因辅助定位的闭环。
实施例四
图4为本发明实施例四提供的灰度发布装置的结构示意图。如图4所示,本发明实施例所述的灰度发布装置包括:邀请链接获取模块401、灰度发布请求模块402和邀请链接分配模块403;其中,
邀请链接获取模块401,用于通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接;
灰度发布请求模块402,用于当各个测试用户在自身的用户设备中启动所述测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求;
邀请链接分配模块403,用于响应于所述灰度发布请求通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。
可选的,所述邀请链接分配模块403,包括:
用户设备验证单元,用于根据各个用户设备的属性信息和预先确定的目标配置信息,判断各个用户设备是否满足预先设置的灰度发布条件;
邀请链接执行单元,用于当各个用户设备满足所述预先设置的灰度发布条件时,执行通过SDK向各个用户设备发送各个测试用户对应的测试邀请链接。
可选的,所述目标配置信息至少包括以下一项:目标发布地区、目标硬件配置、目标软件配置和目标网络类型;各个用户设备的属性信息至少包括以下其中一项:各个用户设备的当前所在地区、当前硬件配置、当前软件配置和当前网络类型,其中,所述软件配置至少包括以下其中一项:各个用户设备的操作***和版本号以及所述移动应用的应用标识和版本号。
可选的,所述灰度发布装置还包括:
邀请链接状态确定模块404,用于确定各个测试用户对应的测试邀请链接的使用状态;其中,所述使用状态包括:未使用、已分配或者已使用;
邀请链接状态标记模块405,用于根据各个测试用户对应的测试邀请链接的使用状态在预先设置的数据库中将各个测试用户对应的测试邀请链接进行标记。
可选的,所述邀请链接状态标记模块405,包括:
第一标记单元,用于当各个测试用户对应的测试邀请链接的使用状态为未使用时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第一测试链接;
第二标记单元,用于当各个测试用户对应的测试邀请链接的使用状态为已分配时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第二测试链接;
第三标记单元,用于当各个测试用户对应的测试邀请链接的使用状态为已使用时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第三测试链接。
上述灰度发布装置可执行本发明任意实施例所提供的灰度发布方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明任意实施例提供的灰度发布方法。
实施例五
图5是本发明实施例五提供的服务器的结构示意图。图5示出了适于用来实现本发明实施方式的示例***器的框图。图5显示的服务器12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,服务器12以通用计算设备的形式表现。服务器12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,***存储器28,连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
服务器12典型地包括多种计算机***可读介质。这些介质可以是任何能够被服务器12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该服务器12交互的设备通信,和/或与使得该服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与服务器12的其它模块通信。应当明白,尽管图中未示出,可以结合服务器12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在***存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的灰度发布方法,该方法包括:
通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接;
当各个测试用户在自身的用户设备中启动所述测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求;
响应于所述灰度发布请求通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。
实施例六
本发明实施例七提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的灰度发布方法,该方法包括:
通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接;
当各个测试用户在自身的用户设备中启动所述测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求;
响应于所述灰度发布请求通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接。
本发明实施例的计算机可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种灰度发布方法,其特征在于,所述方法包括:
通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接;
当各个测试用户在自身的用户设备中启动所述测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求;
响应于所述灰度发布请求通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接;
其中,所述软件开发工具包SDK集成封装在需要进行灰度发布的移动应用中。
2.根据权利要求1所述的方法,其特征在于,在所述通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接之前,所述方法还包括:
根据各个用户设备的属性信息和预先确定的目标配置信息,判断各个用户设备是否满足预先设置的灰度发布条件;
当各个用户设备满足所述预先设置的灰度发布条件时,执行通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接。
3.根据权利要求2所述的方法,其特征在于,所述目标配置信息至少包括以下一项:目标发布地区、目标硬件配置、目标软件配置和目标网络类型;各个用户设备的属性信息至少包括以下其中一项:各个用户设备的当前所在地区、当前硬件配置、当前软件配置和当前网络类型,其中,所述软件配置至少包括以下其中一项:各个用户设备的操作***和版本号以及所述移动应用的应用标识和版本号。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
确定各个测试用户对应的测试邀请链接的使用状态;其中,所述使用状态包括:未使用、已分配或者已使用;
根据各个测试用户对应的测试邀请链接的使用状态在预先设置的数据库中将各个测试用户对应的测试邀请链接进行标记。
5.根据权利要求4所述的方法,其特征在于,所述在预先设置的数据库中将各个测试用户对应的测试邀请链接的使用状态进行标记,包括:
当各个测试用户对应的测试邀请链接的使用状态为未使用时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第一测试链接;
当各个测试用户对应的测试邀请链接的使用状态为已分配时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第二测试链接;
当各个测试用户对应的测试邀请链接的使用状态为已使用时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第三测试链接。
6.一种灰度发布装置,其特征在于,所述装置包括:
邀请链接获取模块,用于通过预先建立的测试邮箱获取多个测试用户对应的测试邀请链接;
灰度发布请求模块,用于当各个测试用户在自身的用户设备中启动所述测试邀请链接对应的移动应用时,接收各个用户设备通过软件开发工具包SDK发送的灰度发布请求;
邀请链接分配模块,用于响应于所述灰度发布请求通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接,以使各个用户设备在目标弹框中显示各个测试用户对应的测试邀请链接;
其中,所述软件开发工具包SDK集成封装在需要进行灰度发布的移动应用中。
7.根据权利要求6所述的装置,其特征在于,所述邀请链接分配模块,包括:
用户设备验证单元,用于根据各个用户设备的属性信息和预先确定的目标配置信息,判断各个用户设备是否满足预先设置的灰度发布条件;
邀请链接执行单元,用于当各个用户设备满足所述预先设置的灰度发布条件时,执行通过所述SDK向各个用户设备发送各个测试用户对应的测试邀请链接。
8.根据权利要求7所述的装置,其特征在于,所述目标配置信息至少包括以下一项:目标发布地区、目标硬件配置、目标软件配置和目标网络类型;各个用户设备的属性信息至少包括以下其中一项:各个用户设备的当前所在地区、当前硬件配置、当前软件配置和当前网络类型,其中,所述软件配置至少包括以下其中一项:各个用户设备的操作***和版本号以及所述移动应用的应用标识和版本号。
9.根据权利要求6-8中任一项所述的装置,其特征在于,所述装置还包括:
邀请链接状态确定模块,用于确定各个测试用户对应的测试邀请链接的使用状态;其中,所述使用状态包括:未使用、已分配或者已使用;
邀请链接状态标记模块,用于根据各个测试用户对应的测试邀请链接的使用状态在预先设置的数据库中将各个测试用户对应的测试邀请链接进行标记。
10.根据权利要求9所述的装置,其特征在于,所述邀请链接状态标记模块,包括:
第一标记单元,用于当各个测试用户对应的测试邀请链接的使用状态为未使用时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第一测试链接;
第二标记单元,用于当各个测试用户对应的测试邀请链接的使用状态为已分配时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第二测试链接;
第三标记单元,用于当各个测试用户对应的测试邀请链接的使用状态为已使用时,在所述数据库中将各个测试用户对应的测试邀请链接标记为第三测试链接。
11.一种服务器,其特征在于,所述服务器包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的灰度发布方法。
12.一种计算机存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的灰度发布方法。
CN201711062447.1A 2017-11-02 2017-11-02 一种灰度发布方法、装置、服务器及存储介质 Active CN107861871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711062447.1A CN107861871B (zh) 2017-11-02 2017-11-02 一种灰度发布方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711062447.1A CN107861871B (zh) 2017-11-02 2017-11-02 一种灰度发布方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN107861871A CN107861871A (zh) 2018-03-30
CN107861871B true CN107861871B (zh) 2021-03-02

Family

ID=61699820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711062447.1A Active CN107861871B (zh) 2017-11-02 2017-11-02 一种灰度发布方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN107861871B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595337A (zh) * 2018-05-07 2018-09-28 杭州有赞科技有限公司 一种Jar包的运行方法及***
CN108768875B (zh) * 2018-05-31 2023-04-07 康键信息技术(深圳)有限公司 应用的灰度发布方法、装置及计算机可读存储介质
CN108829597B (zh) * 2018-06-13 2023-04-18 中国平安人寿保险股份有限公司 软件众测方法及装置、计算机装置及可读存储介质
CN109165157B (zh) * 2018-07-19 2022-01-14 腾讯科技(深圳)有限公司 一种测试应用程序的方法及测试平台
CN110830374B (zh) * 2018-08-07 2022-12-02 北京京东尚科信息技术有限公司 一种基于sdk的灰度发布的方法和装置
CN109446084A (zh) * 2018-10-26 2019-03-08 广州华多网络科技有限公司 一种ios端外部testflight测试邀请用户方法及装置
CN109800150B (zh) * 2018-12-13 2022-03-15 深圳壹账通智能科技有限公司 一种灰度测试方法、服务器及计算机可读存储介质
CN109684227A (zh) * 2018-12-28 2019-04-26 北京微播视界科技有限公司 应用程序测试方法、装置及电子设备
CN110399288A (zh) * 2019-01-07 2019-11-01 腾讯科技(深圳)有限公司 应用测试方法和装置、存储介质及电子装置
CN112241357B (zh) * 2019-07-17 2024-07-16 北京京东尚科信息技术有限公司 灰度测试的方法、装置、设备和计算机可读介质
CN112347465B (zh) * 2019-08-06 2023-09-26 腾讯科技(深圳)有限公司 安装包权限的提供方法、装置、设备及存储介质
CN112463573A (zh) * 2019-09-06 2021-03-09 北京字节跳动网络技术有限公司 测试应用的方法、装置、终端及存储介质
CN110955449B (zh) * 2019-11-18 2024-04-12 北京奇艺世纪科技有限公司 客户端的灰度发布方法及装置
CN111723003A (zh) * 2020-05-18 2020-09-29 五八有限公司 一种灰度测试方法、装置、电子设备及存储介质
CN111628894B (zh) * 2020-05-28 2022-11-15 上海冰鉴信息科技有限公司 基于用户请求流量控制的灰度发布方法、装置及***
CN111815401B (zh) * 2020-06-16 2024-02-13 上海万物新生环保科技集团有限公司 一种订单流程控制的方法及设备
CN111858311A (zh) * 2020-06-22 2020-10-30 上海趣致网络科技股份有限公司 自动售卖机的版本更新方法、装置和电子设备
CN111858312B (zh) * 2020-06-24 2024-07-12 亚美智联数据科技有限公司 应用程序的页面显示方法、装置、计算机设备和存储介质
CN113434188A (zh) * 2021-06-24 2021-09-24 未鲲(上海)科技服务有限公司 灰度放量方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103812848A (zh) * 2012-11-15 2014-05-21 腾讯科技(深圳)有限公司 一种应用程序的内部测试方法、客户端及服务器
CN104966206A (zh) * 2015-05-12 2015-10-07 百度在线网络技术(北京)有限公司 对移动应用进行灰度发布的方法、装置和***
US20150347970A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Beta testing distribution

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103812848A (zh) * 2012-11-15 2014-05-21 腾讯科技(深圳)有限公司 一种应用程序的内部测试方法、客户端及服务器
US20150347970A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Beta testing distribution
CN104966206A (zh) * 2015-05-12 2015-10-07 百度在线网络技术(北京)有限公司 对移动应用进行灰度发布的方法、装置和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Test Flight测试使用说明;idlegao;《https://blog.csdn.net/idlegao/article/details/54340302》;20170111;第1-9页 *

Also Published As

Publication number Publication date
CN107861871A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN107861871B (zh) 一种灰度发布方法、装置、服务器及存储介质
CN111221726A (zh) 一种测试数据生成方法、装置、存储介质和智能设备
CN112783793B (zh) 自动化接口测试***及方法
US8839197B2 (en) Automated analysis of composite applications
CN108509344B (zh) 日切跑批测试方法、设备及可读存储介质
CN108509333A (zh) 调试方法及装置
CN104246702A (zh) 工作流编译
CN112100079B (zh) 基于模拟数据调用的测试方法、***和电子设备
CN109840192B (zh) 自动化测试的方法和装置
CN111045932B (zh) 业务***仿真处理方法、装置、电子设备及存储介质
CN107273250B (zh) 电子化保单自动承保***的测试方法及装置
CN110196809A (zh) 接口测试方法及装置
CN113706022A (zh) 业务流程的执行方法及装置、存储介质及电子设备
CN110750453B (zh) 基于html5的智能移动端测试方法、***、服务器及存储介质
CN113919158A (zh) 一种用于飞行控制面板的仿真方法、装置及存储介质
CN116756046B (zh) 一种接口自动化测试方法、装置、设备及存储介质
CN108875368A (zh) 一种安全检测方法、装置及***
CN107562629B (zh) 用于测试的方法及装置
CN112346994B (zh) 一种测试信息关联方法、装置、计算机设备及存储介质
CN114416441A (zh) 实时数据库自动化测试方法、***、电子设备及存储介质
CN113377648A (zh) 软件***诊断方法、装置、电子设备及计算机可读介质
CN109358855A (zh) 一种用于编程的前端模拟数据敏捷开发方法及电子设备
CN111382056A (zh) 一种服务的测试方法、装置,服务器及存储介质
CN112783753B (zh) 流数据处理***的测试方法和装置
CN114781976B (zh) 服务器物料配置转换方法、***、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant