CN113010392A - 大数据平台的测试方法、装置、设备、存储介质和*** - Google Patents

大数据平台的测试方法、装置、设备、存储介质和*** Download PDF

Info

Publication number
CN113010392A
CN113010392A CN202110181643.0A CN202110181643A CN113010392A CN 113010392 A CN113010392 A CN 113010392A CN 202110181643 A CN202110181643 A CN 202110181643A CN 113010392 A CN113010392 A CN 113010392A
Authority
CN
China
Prior art keywords
big data
data platform
test
target
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110181643.0A
Other languages
English (en)
Other versions
CN113010392B (zh
Inventor
杨义文
韩瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202110181643.0A priority Critical patent/CN113010392B/zh
Publication of CN113010392A publication Critical patent/CN113010392A/zh
Application granted granted Critical
Publication of CN113010392B publication Critical patent/CN113010392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3457—Performance evaluation by simulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供一种大数据平台的测试方法、装置、设备、存储介质和***，通过获取目标测试指标，所述目标测试指标为一键启停有效性、集群有效性、服务进程自我拉起有效性和超时有效性中的一种，根据所述目标测试指标，调用压力测试工具和监听工具对所述大数据平台进行测试，得到所述大数据平台的性能参数，实现了对大数据平台的自动化测试，提高了大数据平台的测试准确率和测试效率，提高了大数据平台的可靠性和可用性。

Description

大数据平台的测试方法、装置、设备、存储介质和***
技术领域
本申请实施例涉及大数据技术领域，尤其涉及一种大数据平台的测试方法、装置、设备、存储介质和***。
背景技术
大数据技术的实现离不开大数据平台，大数据平台通常由的服务器集群构成，具有对大规模数据的采集、处理、存储和挖掘等功能，能够将大规模数据中隐藏的信息和知识挖掘出来，从而应用到人类生活的方方面面。因此，为保证大数据平台有效运行，对大数据平台进行非功能性测试，是十分有必要的。
现有技术中，通过手工测试的方式，对大数据平台进行非功能性测试，存在测试效率低和出错率高的问题。
发明内容
本申请实施例提供一种大数据平台的测试方法、装置、设备、存储介质和***，以解决现有技术中存在的测试效率低和出错率高的问题。
第一方面，本申请实施例提供一种大数据平台的测试方法，包括：
获取目标测试指标，所述目标测试指标为一键启停有效性、集群有效性、服务进程自我拉起有效性和超时有效性中的一种；
根据所述目标测试指标，调用压力测试工具和监听工具对所述大数据平台进行测试，得到所述大数据平台的性能参数。
可选地，所述调用压力测试工具和监听工具对所述大数据平台进行测试，得到所述大数据平台的性能参数，包括：
调用所述压力测试工具中预先配置的与所述目标测试指标匹配的目标测试数据包进行模拟发压，对所述大数据平台进行测试；
调用预先设置在所述大数据平台中的监听工具，对测试过程中所述大数据平台的运行状况进行监测，得到所述大数据平台的性能参数。
可选地，所述调用所述压力测试工具中预先配置的与所述目标测试指标匹配的目标测试数据包进行模拟发压，对所述大数据平台进行测试，包括：
根据所述目标测试数据包中预先配置的线程组数，向所述大数据平台发送数据处理请求；
在所述大数据平台根据所述数据处理请求执行数据处理的过程中，根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试。
可选地，所述目标测试指标为一键启停有效性，所述根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试，包括：
向所述大数据平台中的目标服务器发送进程结束指令；间隔预设时长后，向所述目标服务器发送进程恢复指令，以对所述大数据平台进行一键启停有效性测试。
可选地，所述性能参数包括：所述目标服务器进程结束过程中所述大数据平台的每秒事务数、资源利用率和进程结束耗时中的至少一项；以及所述目标服务器进程恢复过程中所述大数据平台的每秒事务数、资源利用率和进程恢复耗时中的至少一项。
可选地，所述目标测试指标为集群有效性，所述根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试，包括：
向所述大数据平台中的目标服务器发送进程挂起指令；间隔预设时长后，向所述大数据平台中的目标服务器发送恢复挂起指令，以对所述大数据平台进行挂起测试。
可选地，所述性能参数包括：所述目标服务器进程挂起过程中所述大数据平台的每秒事务数、资源利用率、报错情况和进程挂起耗时中的至少一项；以及所述目标服务器的进程恢复挂起过程中所述大数据平台的每秒事务数、资源利用率、报错情况和挂起恢复耗时中的至少一项。
可选地，所述目标测试指标为集群有效性，所述根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试，包括：
向所述大数据平台中的目标服务器发送服务器关闭指令；间隔预设时长后，向所述目标服务器的管理设备发送服务器开启指令，以对所述大数据平台进行挂起测试。
可选地，所述性能参数包括：所述目标服务器关闭过程中所述大数据平台的每秒事务数、资源利用率、报错情况和服务器关闭耗时中的至少一项；以及所述目标服务器开启过程中所述大数据平台的每秒事务数、资源利用率、报错情况和服务器开启耗时中的至少一项。
可选地，所述目标测试指标为服务进程自我拉起有效性，所述根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试，包括：
向所述大数据平台中的目标服务器发送进程结束指令，以对所述大数据平台进行服务进程自我拉起有效性测试。
可选地，所述性能参数包括：所述大数据平台的每秒事务数、资源利用率、进程结束耗时和进程的自我启动情况中的至少一项。
可选地，所述目标测试指标为超时有效性，所述根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试，包括：
向所述大数据平台发送超时配置小于挡板延时时间指令；间隔预设时长后，向所述大数据平台发送超时配置恢复指令，以对所述大数据平台进行超时有效性测试。
可选地，所述性能参数包括：超时配置小于挡板延时时间下，所述大数据平台的每秒事务数、资源利用率和报错情况中的至少一项；以及超时配置不小于挡板延时时间下，所述大数据平台的每秒事务数、资源利用率和报错情况中的至少一项。
可选地，所述方法还包括：
对所述性能参数进行汇总，生成测试报告。
第二方面，本申请实施例提供一种大数据平台的测试装置，包括：
获取模块，用于获取目标测试指标，所述目标测试指标为一键启停有效性、集群有效性、服务进程自我拉起有效性和超时有效性中的一种；
处理模块，用于根据所述目标测试指标，调用压力测试工具和监听工具对所述大数据平台进行测试，得到所述大数据平台的性能参数。
第三方面，本申请实施例提供一种发压服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述的大数据平台的测试方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的大数据平台的测试方法。
第五方面，本申请实施例提供一种大数据平台的测试***，包括：大数据平台和如上述第三方面所述的发压服务器。
本申请实施例提供的大数据平台的测试方法、装置、设备、存储介质和***，通过获取目标测试指标，所述目标测试指标为一键启停有效性、集群有效性、服务进程自我拉起有效性和超时有效性中的一种，根据所述目标测试指标，调用压力测试工具和监听工具对所述大数据平台进行测试，得到所述大数据平台的性能参数，实现了对大数据平台的自动化测试，提高了大数据平台的测试准确率和测试效率，提高了大数据平台的可靠性和可用性。
附图说明
图1为本申请实施例一提供的大数据平台的测试方法的流程示意图；
图2为本申请实施例二提供的大数据平台的测试装置的结构示意图；
图3为本申请实施例三提供的一种发压服务器的结构示意图；
图4为本申请实施例四提供的大数据平台的测试***的一种结构示意图；
图5为本申请实施例四提供的麒麟大数据平台的测试***的结构示意见图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
本申请技术方案的主要思路：基于现有技术中存在的技术问题，本申请实施例提出一种大数据平台的自动化测试方案，基于压力测试工具自主研发了针对大数据平台自动化测试的专用数据包，预先设置针对不同测试指标的线程组数以模拟用户并发数，并预先在大数据平台的应用服务器中设置***检测相关测试指标对应的性能参数，通过分析得到的性能参数，实现大数据平台的相关性能指标的评估，提高了对大数据平台的测试效率和测试准确率，提高了大数据平台进行数据处理的可靠性和可用性，并有助于对大数据平台进行优化和维护，保证大数据平台的良性运行。
实施例一
图1为本申请实施例一提供的大数据平台的测试方法的流程示意图，本实施例的方法可以由本申请实施例所提供的大数据平台的测试装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于服务器以及智能终端等发压服务器中，该发压服务器作为发压机，其上预先安装有压力测试工具。如图1所示，本实施例的大数据平台的测试方法，包括：
S101、获取目标测试指标。
本步骤中，根据用户在人机交互界面的选择操作或输入操作等，进行目标测试指标的获取。其中，目标测试指标是本次测试所要测试的指标，是从候选测试指标中选取的一种测试指标。
为实现对大数据平台的非功能测试，本实施例中将一键启停有效性、集群有效性、服务进程自我拉起有效性和超时有效性作为候选测试指标，并预先在压力测试工具中配置与各候选测试指标相匹配的测试数据包，以便在对不同的候选测试指标进行测试时选取和使用。相应地，本实施例中的目标测试指标为一键启停有效性、集群有效性、服务进程自我拉起有效性和超时有效性中的任意一种。
示例性地，本步骤中，用户可以在人机交互界面输入测试指标的名称、编号或图标等标识信息，发压服务器通过识别用户输入的标识信息，进行目标测试指标的识别，实现目标测试指标的获取。
S102、根据目标测试指标，调用压力测试工具和监听工具对大数据平台进行测试，得到大数据平台的性能参数。
本步骤中，基于S101中确定的目标测试指标，调用压力测试工具中预先配置的与目标测试指标匹配的目标测试数据包进行模拟发压，对大数据平台进行测试，同时，调用预先设置在大数据平台中的监听工具，对测试过程中大数据平台的运行状况进行监测，得到大数据平台的性能参数。
压力测试工具中预先配置有针对不同候选测试指标的不同的测试数据包，不同的测试数据包用于针对不同的候选测试指标实施不同的测试，测试数据包中包括对各测试指标进行测试所需的参数，如模拟的用户并发数、需要监听的性能参数等。
可选地，本实施例中采用的压力测试工具为Jmeter工具。Jmeter工具是由Apache组织开发的一款基于Java的开源压力测试工具，可以允许开发者事先进行不同测试数据包的开发。
监听工具，可以为各种探针或***等具有数据监听功能的元器件，可以理解的是，本实施例中的发压服务器具有调用监听工具及控制监听工具进行数据采集的能力。
目标测试数据包，是压力测试工具中与目标测试指标匹配的测试数据包，目标测试数据包中包含有对目标测试指标进行测试所需要的数据。
大数据平台，是由多个应用服务器构成的服务器集群，用于根据需要对批量或海量的数据进行分析、存储、计算等一系列处理操作。
在一种可能的实施方式中，本实施例中，根据目标测试数据包预先设置的线程组数模拟用户并发数，向大数据平台发送数据处理请求，在大数据平台根据接收到的数据处理请求执行数据处理的过程中，向大数据平台发送与目标测试指标相关的测试指令，从而实现对大数据平台进行关于目标测试指标的测试。
线程组数，用于模拟用户并发数，控制向大数据平台发送的数据处理请求的数量。本实施方式中，由于大数据平台主要用于对批量或海量的数据进行处理，为更真实地还原大数据平台的数据处理过程，在测试数据包中预先设置一定数量的线程组数，模拟用户并发数，向大数据平台发送与用户并发数同等数量的数据处理请求，从而使大数据平台根据数据处理请求进入大数据处理流程，为进行实施后续测试做准备。可以理解的是，数据处理请求可以为数据查询请求或数据构建请求，此处不做限制。
由于针对不同测试指标测试时，对大数据平台的要求不同，因此，本实施方式中的目标测试数据包中还包括与目标测试指标相关的测试指令发送机制，如发送的测试指令的类型和测试指令的发送时机等，在大数据平台进入大数据处理流程后，根据目标测试数据包中预先配置的测试指令发送机制，向大数据平台发送与目标测试指标相关的测试指令，以控制大数据平台中应用服务器的工作，从而实现对大数据平台的一键启停有效性测试、集群有效性测试、服务进程自我拉起有效性测试或超时有效性测试。下面将对不同测试指标的测试原理及测试指令发送机制进行介绍：
(一)一键启停有效性测试
一键启停有效性测试，主要用于测试大数据平台中某一应用服务器上的进程停止及停止后启动时，大数据平台的数据处理性能。
一键启停有效性测试原理为：当某一应用服务器上接收到进程结束指令(将该应用服务器称为故障节点)时，发往该节点的事务失败，响应时间变长，而集群中其它节点的事务不受影响，因此，大数据平台的总每秒事务数(transaction per second，TPS)降低，一段时间(如2分钟)后，其它集群节点接管故障节点，事务响应时间及总TPS恢复正常。当故障节点收到进程恢复指令时，事务转移回被恢复节点上，大数据平台恢复正常。
在一种可能的实施方式中，通过向大数据平台中的目标服务器发送进程结束指令；间隔预设时长后，向目标服务器发送进程恢复指令，通过设置在各节点中的监听工具分别监测目标服务器进程结束过程中和目标服务器进程恢复过程中大数据平台的性能参数，实现对大数据平台的一键启停有效性测试。
其中，目标服务器是大数据平台中任意一台服务器，通过从不同类型的服务器中分别选择一台服务器作为目标服务器，并依次对不同的目标服务器执行一键启停有效性测试，完成对整个大数据平台的一键启停有效性的性能测试。
预设时长，可以事先根据目标服务器进程结束时事务响应时间及总TPS恢复正常所需的时间设定。
可选地，目标服务器进程结束过程中，监听工具监测的性能参数可以为大数据平台的每秒事务数(各节点的总TPS)、资源利用率(如各节点的CPU使用率)和进程结束耗时(目标服务器从接收到进程结束指令到实际完成进程结束所消耗的时间)中的一项或多项。
可选地，目标服务器进程恢复过程中，监听工具监测的性能参数可以为大数据平台的每秒事务数(各节点的总TPS)、资源利用率(如各节点的CPU使用率)和进程恢复耗时(目标服务器从接收到进程恢复指令到实际完成进程恢复所消耗的时间)中的一项或多项。
(二)集群有效性测试
集群有效性测试，主要用于测试大数据平台中某一应用服务器上的进程挂起及挂起恢复或某一应用服务器停止工作及停止后恢复时，大数据平台的数据处理能力。本实施例中，可以通过应用挂起测试或宕机测试对集群有效性进行测试。
(1)应用挂起测试
应用挂起测试的测试原理为：当某一应用服务器接收到进程挂起指令(将该应用服务器称为故障节点)时，发往该节点的事务失败，响应时间变长，大数据平台的总TPS降低，而集群其它结点事务不受影响；一段时间(如1分钟)后，其它节点接管故障节点，事务处理恢复正常。当故障节点接收到恢复挂起指令时，事务转移回被恢复节点上，大数据平台恢复正常。
在一种可能实施方式中，通过向大数据平台中的目标服务器发送进程挂起指令；间隔预设时长后，向大数据平台中的目标服务器发送恢复挂起指令，通过设置在各节点中的监听工具分别监测目标服务器进程挂起过程中和目标服务器的进程恢复挂起过程中大数据平台的性能参数，实现对大数据平台的应用挂起测试。
其中，目标服务器的概念与一键启停有效性中目标服务器的概念相同，此处不再赘述。
预设时长，可事先根据目标服务器进程挂起后，事务处理恢复正常所需的时间设定。
可选地，目标服务器进程挂起过程中，监听工具监测的性能参数可以为大数据平台的每秒事务数(各节点的总TPS)、资源利用率(如各节点的CPU使用率)、报错情况(如各节点中出现报错的数量、报错发生的时间段等)和进程挂起耗时(目标服务器从接收到进程挂起指令到实际完成进程挂起所消耗的时间)中的一项或多项。
可选地，目标服务器的进程恢复挂起过程中，监听工具监测的性能参数可以为大数据平台的每秒事务数(各节点的总TPS)、资源利用率(如各节点的CPU使用率)、报错情况(如各节点中出现报错的数量、报错发生的时间段等)和挂起恢复耗时(目标服务器从接收到挂起恢复指令到实际完成挂起恢复所消耗的时间)中的一项或多项。
(2)宕机测试
宕机测试的测试原理为：当某一应用服务器接收到服务器关闭指令(将该应用服务器称为故障节点)时，发送到此节点的所有事务失效，总TPS值降低，集群其它结点事务不受影响；一段时间(如1分钟)后，事务转移到其它结点上，事务处理恢复正常。当故障节点的管理设备接收到服务器开启指令时，被关闭节点服务器打开，事务转移回恢复节点上，***恢复正常。
在一种可能的实施方式中，向大数据平台中的目标服务器发送服务器关闭指令；间隔预设时长后，向目标服务器的管理设备发送服务器开启指令，通过设置在各节点中的监听工具分别监测目标服务器关闭过程中和目标服务器开启过程中大数据平台的性能参数，实现对大数据平台的宕机测试。
其中，目标服务器的概念与一键启停有效性中目标服务器的概念相同，此处不再赘述。
预设时长，可事先根据目标服务器关闭后，事务处理恢复正常所需的时间进行设定。
可选地，目标服务器关闭过程中，监听工具监测的性能参数可以为大数据平台的每秒事务数(各节点的总TPS)、资源利用率(如各节点的CPU使用率)、报错情况(如各节点中出现报错的数量、报错发生的时间段等)和服务器关闭耗时(目标服务器从接收到服务器关闭指令到实际完成关闭所消耗的时间)中的一项或多项。
可选地，目标服务器开启过程中，监听工具监测的性能参数可以为大数据平台的每秒事务数(各节点的总TPS)、资源利用率(如各节点的CPU使用率)、报错情况(如各节点中出现报错的数量、报错发生的时间段等)和服务器开启耗时(从目标服务器的管理设备接收到服务器开启指令到服务器开启完成所消耗的时间)中的一项或多项。
可以理解的是，目标服务器的管理设备是目标服务器的上级服务器，是对目标服务器进行管理的服务器，其上也设置有监听工具，管理设备可以根据接收到目标服务器的关闭指令或开启指令，控制目标服务器的关闭或开启。
(三)服务进程自我拉起有效性测试
服务进程自我拉起有效性测试，主要用于当测试大数据平台中某一应用服务器上的进行结束时，大数据平台的数据处理性能及自我拉起能力。
服务进程自我拉起有效性测试的测试原理为：当某一应用服务器接收到进程结束指令(将该应用服务器称为故障节点)时，观察故障节点的进程是否自动拉起(即自动恢复)以及自动拉起耗(从进行实际结束到进程自动恢复所需的时间)时，观察大数据平台中各节点错误率、处理能力、响应时间、资源使用情况等。
在一种可能的实施方式中，通过向大数据平台中的目标服务器发送进程结束指令，通过设置在各节点中的监听工具监测大数据平台的性能参数，实现对大数据平台的服务进程自我拉起有效性测试。
其中，目标服务器的概念与一键启停有效性中目标服务器的概念相同，此处不再赘述。
可选地，本实施方式中的性能参数包括大数据平台的每秒事务数(各节点的总TPS)、资源利用率(如各节点的CPU使用率)、进程结束耗时(目标服务器从接收到进程结束指令到实际完成进程结束所消耗的时间)和进程的自我启动情况(是否自我拉起或自我拉起耗时)中的一项或多项。
(四)超时有效性测试
超时有效性测试，主要用于测试大数据平台中某一应用服务器发生超时及超时恢复时，大数据平台的数据处理性能。
超时有效性测试的测试原理为：在大数据平台稳定运行一段时间后，修改某一应用服务器超时配置小于挡板延时时间(该应用服务器称为故障节点)，刷新生效，事务出错，日志信息显示超时，观察各大数据平台中各节点的错误率、处理能力、响应时间及资源使用情况等。运行一段时间后，修改故障节点的超时配置大于或等于挡板延时时间，刷新生效，事务执行正常，日志中不再出现新的超时错误；场景继续稳定运行一段时间，结束测试。
在一种可能的实施方式中，通过向所述大数据平台发送超时配置小于挡板延时时间指令；间隔预设时长后，向大数据平台发送超时配置恢复指令，通过设置在各节点中的监听工具分别监测目标服务器的超时配置小于挡板延时时间下和超时配置不小于挡板延时时间下的性能参数，以实现大数据平台进行超时有效性测试。
其中，目标服务器的概念与一键启停有效性中目标服务器的概念相同，此处不再赘述。
预设时长，可事先根据超时配置修改后，大数据平台稳定运行所需的时间确定。
可以理解的是，本实施方式中，通过对目标服务器的超时配置进行修改，即修改目标服务器的超时配置小于挡板延时时间，使目标服务器产生超时，从而实现对大数据平台的超时有效性测试。
可选地，超时配置小于挡板延时时间下或超时配置不小于挡板延时时间下，监听工具监测的性能参数可以为大数据平台的每秒事务数(各节点的总TPS)、资源利用率(如各节点的CPU使用率)和报错情况(如各节点中出现报错的数量、报错发生的时间段等)中的一项或多项。
可选地，在S102之后，本实施例的方法还包括：通过对获取到的性能参数进行汇总，并将获取到的性能参数与标准性能参数进行比对，生成测试报告，并对测试报告进行可视化展示，以便于测试者进行测试结果的查看。
本实施例中，通过获取目标测试指标，所述目标测试指标为一键启停有效性、集群有效性、服务进程自我拉起有效性和超时有效性中的一种，根据所述目标测试指标，调用压力测试工具和监听工具对所述大数据平台进行测试，得到所述大数据平台的性能参数，实现了对大数据平台的自动化测试，提高了大数据平台的测试准确率和测试效率，提高了大数据平台的可靠性和可用性。
实施例二
图2为本申请实施例二提供的大数据平台的测试装置的结构示意图，如图2所示，本实施例中大数据平台的测试装置10包括：
获取模块11和处理模块12。
获取模块11，用于获取目标测试指标，所述目标测试指标为一键启停有效性、集群有效性、服务进程自我拉起有效性和超时有效性中的一种；
处理模块12，用于根据所述目标测试指标，调用压力测试工具和监听工具对所述大数据平台进行测试，得到所述大数据平台的性能参数。
可选地，处理模块12具体用于：
调用所述压力测试工具中预先配置的与所述目标测试指标匹配的目标测试数据包进行模拟发压，对所述大数据平台进行测试；
调用预先设置在所述大数据平台中的监听工具，对测试过程中所述大数据平台的运行状况进行监测，得到所述大数据平台的性能参数。
可选地，处理模块12具体用于：
根据所述目标测试数据包中预先配置的线程组数，向所述大数据平台发送数据处理请求；
在所述大数据平台根据所述数据处理请求执行数据处理的过程中，根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试。
可选地，所述目标测试指标为一键启停有效性，处理模块12具体用于：
向所述大数据平台中的目标服务器发送进程结束指令；间隔预设时长后，向所述目标服务器发送进程恢复指令，以对所述大数据平台进行一键启停有效性测试。
可选地，所述性能参数包括：所述目标服务器进程结束过程中所述大数据平台的每秒事务数、资源利用率和进程结束耗时中的至少一项；以及所述目标服务器进程恢复过程中所述大数据平台的每秒事务数、资源利用率和进程恢复耗时中的至少一项。
可选地，所述目标测试指标为集群有效性，处理模块12具体用于：
向所述大数据平台中的目标服务器发送进程挂起指令；间隔预设时长后，向所述大数据平台中的目标服务器发送恢复挂起指令，以对所述大数据平台进行挂起测试。
可选地，所述性能参数包括：所述目标服务器进程挂起过程中所述大数据平台的每秒事务数、资源利用率、报错情况和进程挂起耗时中的至少一项；以及所述目标服务器的进程恢复挂起过程中所述大数据平台的每秒事务数、资源利用率、报错情况和挂起恢复耗时中的至少一项。
可选地，所述目标测试指标为集群有效性，处理模块12具体用于：
向所述大数据平台中的目标服务器发送服务器关闭指令；间隔预设时长后，向所述目标服务器的管理设备发送服务器开启指令，以对所述大数据平台进行挂起测试。
可选地，所述性能参数包括：所述目标服务器关闭过程中所述大数据平台的每秒事务数、资源利用率、报错情况和服务器关闭耗时中的至少一项；以及所述目标服务器开启过程中所述大数据平台的每秒事务数、资源利用率、报错情况和服务器开启耗时中的至少一项。
可选地，所述目标测试指标为服务进程自我拉起有效性，处理模块12具体用于：
向所述大数据平台中的目标服务器发送进程结束指令，以对所述大数据平台进行服务进程自我拉起有效性测试。
可选地，所述性能参数包括：所述大数据平台的每秒事务数、资源利用率、进程结束耗时和进程的自我启动情况中的至少一项。
可选地，所述目标测试指标为超时有效性，处理模块12具体用于：
向所述大数据平台发送超时配置小于挡板延时时间指令；间隔预设时长后，向所述大数据平台发送超时配置恢复指令，以对所述大数据平台进行超时有效性测试。
可选地，所述性能参数包括：超时配置小于挡板延时时间下，所述大数据平台的每秒事务数、资源利用率和报错情况中的至少一项；以及超时配置不小于挡板延时时间下，所述大数据平台的每秒事务数、资源利用率和报错情况中的至少一项。
可选地，处理模块12还用于：
对所述性能参数进行汇总，生成测试报告。
本实施例所提供的大数据平台的测试装置可执行上述方法实施例所提供的大数据平台的测试方法，具备执行方法相应的功能模块和有益效果。本实施例的实现原理和技术效果与上述方法实施例类似，此处不再一一赘述。
实施例三
图3为本申请实施例三提供的一种发压服务器的结构示意图，如图3所示，该发压服务器20包括存储器21、处理器22及存储在存储器上并可在处理器上运行的计算机程序；发压服务器20中处理器22的数量可以是一个或多个，图3中以一个处理器22为例；发压服务器20中的处理器22、存储器21可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器21作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的获取模块11和处理模块12对应的程序指令/模块。处理器22通过运行存储在存储器21中的软件程序、指令以及模块，从而发压服务器的各种功能应用以及数据处理，即实现上述的大数据平台的测试方法。
存储器21可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器21可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器21可进一步包括相对于处理器22远程设置的存储器，这些远程存储器可以通过网格连接至发压服务器。上述网格的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例四
图4为本申请实施例四提供的大数据平台的测试***的一种结构示意图，如图4所示，本实施例中的大数据平台的测试***30包括大数据平台31和如实施例三中所述的发压服务器20。
其中，大数据平台31由多个应用服务器构成，用于根据需要对批量或海量的数据进行加工、清洗、存储、分析等处理。大数据平台31中的应用服务器上设置有监听工具。
示例性地，以大数据平台31为麒麟大数据平台为例，图5为本申请实施例四提供的麒麟大数据平台的测试***的结构示意见图，如图5所示，在麒麟大数据平台中包括麒麟查询服务器集群和麒麟构建服务器集群，麒麟查询服务器集群由多个麒麟查询服务器构成，麒麟构建服务器集群由多个麒麟构建服务器构成。
可选地，对麒麟大数据平台的测试***中还可以包括：指标查询服务器集群、联机应用服务器集群、异步应用服务器集群、数据库和托管服务器集群，如图5所示，发压服务器集群(由多台发压服务器构成，每台发压服务器均安装有压力测试工具)分别与指标查询服务器集群、联机应用服务器集群连接，指标查询服务器集群与麒麟查询服务器集群连接，联机应用服务器集群与异步应用服务器集群连接，异步应用服务器集群与麒麟构建服务器集群连接，麒麟构建服务器集群与托管服务器集群，数据库分别与指标查询服务器集群、联机应用服务器集群和异步应用服务器集群连接。
其中，指标查询服务器集群，用于处理前端数据查询服务。
数据库，用于存储指标定义数据。该数据库可以为Oracle或Neo4j等数据库。
麒麟大数据平台和托管服务器集群，用于进行指标数据预处理，构建CUBE，存储预处理后的指标数据，以提高查询性能。其中，托管服务器集群可以为Hadoop服务器集群。
异步应用服务器集群，用于触发指标构建。
联机应用服务器集群，用于处理指标定义查询服务。
具体地，在对麒麟大数据平台进行测试的过程，压力发起和麒麟大数据平台执行数据处理的过程可以分为两种场景：
(1)发压服务器集群选用可使用的发压服务器作为发压机，调用压力测试工具向指标查询服务器集群发送CUBE查询请求(数据查询请求)，指标查询服务器集群对请求进行处理，查找到请求对应的指标规则，并根据查找到的指标规则构建对应的结构化查询语言(structured query language，SQL)查询语句发给麒麟查询服务器集群，接下来麒麟查询服务器集群解析SQL，匹配CUBE进行相应的查询操作。
(2)发压服务器集群选用可使用的发压服务器作为发压机，调用压力测试工具向联机应用服务器集群发送CUBE构建请求(数据构建请求)，联机应用服务器集群再将请求转发到异步应用服务器集群，异步应用服务器集群调用相关应用程序接口(applicationprogramming interface，API)，发送指令到麒麟构建服务器集群，麒麟构建服务器集群对收到的请求进行处理，生成CUBE构建指令，并将CUBE构建指令发送给托管服务器集群中执行构建CUBE流程。
由上述两种场景可知，在大数据平台的测试***中，发压服务器还可以通过间接的方式向大数据平台发送数据处理请求。
实施例五
本申请实施例五还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由计算机处理器执行时用于执行一种大数据平台的测试方法，该方法包括：
获取目标测试指标，所述目标测试指标为一键启停有效性、集群有效性、服务进程自我拉起有效性和超时有效性中的一种；
根据所述目标测试指标，调用压力测试工具和监听工具对所述大数据平台进行测试，得到所述大数据平台的性能参数。
当然，本申请实施例所提供的一种包计算机可读存储介质，其计算机程序不限于如上所述的方法操作，还可以执行本申请任意实施例所提供的大数据平台的测试方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本申请各个实施例所述的方法。
值得注意的是，上述大数据平台的测试装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (18)

1.一种大数据平台的测试方法，其特征在于，包括：
获取目标测试指标，所述目标测试指标为一键启停有效性、集群有效性、服务进程自我拉起有效性和超时有效性中的一种；
根据所述目标测试指标，调用压力测试工具和监听工具对所述大数据平台进行测试，得到所述大数据平台的性能参数。
2.根据权利要求1所述的方法，其特征在于，所述调用压力测试工具和监听工具对所述大数据平台进行测试，得到所述大数据平台的性能参数，包括：
调用所述压力测试工具中预先配置的与所述目标测试指标匹配的目标测试数据包进行模拟发压，对所述大数据平台进行测试；
调用预先设置在所述大数据平台中的监听工具，对测试过程中所述大数据平台的运行状况进行监测，得到所述大数据平台的性能参数。
3.根据权利要求2所述的方法，其特征在于，所述调用所述压力测试工具中预先配置的与所述目标测试指标匹配的目标测试数据包进行模拟发压，对所述大数据平台进行测试，包括：
根据所述目标测试数据包中预先配置的线程组数，向所述大数据平台发送数据处理请求；
在所述大数据平台根据所述数据处理请求执行数据处理的过程中，根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试。
4.根据权利要求3所述的方法，其特征在于，所述目标测试指标为一键启停有效性，所述根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试，包括：
向所述大数据平台中的目标服务器发送进程结束指令；间隔预设时长后，向所述目标服务器发送进程恢复指令，以对所述大数据平台进行一键启停有效性测试。
5.根据权利要求4所述的方法，其特征在于，所述性能参数包括：所述目标服务器进程结束过程中所述大数据平台的每秒事务数、资源利用率和进程结束耗时中的至少一项；以及所述目标服务器进程恢复过程中所述大数据平台的每秒事务数、资源利用率和进程恢复耗时中的至少一项。
6.根据权利要求3所述的方法，其特征在于，所述目标测试指标为集群有效性，所述根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试，包括：
向所述大数据平台中的目标服务器发送进程挂起指令；间隔预设时长后，向所述大数据平台中的目标服务器发送恢复挂起指令，以对所述大数据平台进行挂起测试。
7.根据权利要求6所述的方法，其特征在于，所述性能参数包括：所述目标服务器进程挂起过程中所述大数据平台的每秒事务数、资源利用率、报错情况和进程挂起耗时中的至少一项；以及所述目标服务器的进程恢复挂起过程中所述大数据平台的每秒事务数、资源利用率、报错情况和挂起恢复耗时中的至少一项。
8.根据权利要求3所述的方法，其特征在于，所述目标测试指标为集群有效性，所述根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试，包括：
向所述大数据平台中的目标服务器发送服务器关闭指令；间隔预设时长后，向所述目标服务器的管理设备发送服务器开启指令，以对所述大数据平台进行挂起测试。
9.根据权利要求8所述的方法，其特征在于，所述性能参数包括：所述目标服务器关闭过程中所述大数据平台的每秒事务数、资源利用率、报错情况和服务器关闭耗时中的至少一项；以及所述目标服务器开启过程中所述大数据平台的每秒事务数、资源利用率、报错情况和服务器开启耗时中的至少一项。
10.根据权利要求3所述的方法，其特征在于，所述目标测试指标为服务进程自我拉起有效性，所述根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试，包括：
向所述大数据平台中的目标服务器发送进程结束指令，以对所述大数据平台进行服务进程自我拉起有效性测试。
11.根据权利要求10所述的方法，其特征在于，所述性能参数包括：所述大数据平台的每秒事务数、资源利用率、进程结束耗时和进程的自我启动情况中的至少一项。
12.根据权利要求3所述的方法，其特征在于，所述目标测试指标为超时有效性，所述根据所述目标测试数据包中预先配置的测试指令发送机制，向所述大数据平台发送与所述目标测试指标相关的测试指令，以对所述大数据平台进行关于所述目标测试指标的测试，包括：
向所述大数据平台发送超时配置小于挡板延时时间指令；间隔预设时长后，向所述大数据平台发送超时配置恢复指令，以对所述大数据平台进行超时有效性测试。
13.根据权利要求12所述的方法，其特征在于，所述性能参数包括：超时配置小于挡板延时时间下，所述大数据平台的每秒事务数、资源利用率和报错情况中的至少一项；以及超时配置不小于挡板延时时间下，所述大数据平台的每秒事务数、资源利用率和报错情况中的至少一项。
14.根据权利要求1-13中任一项所述方法，其特征在于，所述方法还包括：
对所述性能参数进行汇总，生成测试报告。
15.一种大数据平台的测试装置，其特征在于，包括：
获取模块，用于获取目标测试指标，所述目标测试指标为一键启停有效性、集群有效性、服务进程自我拉起有效性和超时有效性中的一种；
处理模块，用于根据所述目标测试指标，调用压力测试工具和监听工具对所述大数据平台进行测试，得到所述大数据平台的性能参数。
16.一种发压服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-14中任一所述的大数据平台的测试方法。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-14中任一所述的大数据平台的测试方法。
18.一种大数据平台的测试***，其特征在于，包括：大数据平台和权利要求16所述的发压服务器。
CN202110181643.0A 2021-02-08 2021-02-08 大数据平台的测试方法、装置、设备、存储介质和*** Active CN113010392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110181643.0A CN113010392B (zh) 2021-02-08 2021-02-08 大数据平台的测试方法、装置、设备、存储介质和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110181643.0A CN113010392B (zh) 2021-02-08 2021-02-08 大数据平台的测试方法、装置、设备、存储介质和***

Publications (2)

Publication Number Publication Date
CN113010392A true CN113010392A (zh) 2021-06-22
CN113010392B CN113010392B (zh) 2023-06-20

Family

ID=76402046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110181643.0A Active CN113010392B (zh) 2021-02-08 2021-02-08 大数据平台的测试方法、装置、设备、存储介质和***

Country Status (1)

Country Link
CN (1) CN113010392B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590403A (zh) * 2021-08-05 2021-11-02 北京百度网讯科技有限公司 压力测试方法、装置、***、电子设备、存储介质及产品
CN114268570A (zh) * 2021-12-14 2022-04-01 扬州万方电子技术有限责任公司 一种基于智能终端的服务器集群检验流程可视化方法
CN115080436A (zh) * 2022-06-28 2022-09-20 中电金信软件有限公司 测试指标确定方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116084A1 (en) * 2015-10-26 2017-04-27 Beijing Baidu Netcom Science And Technology, Ltd. Method and System for Monitoring Virtual Machine Cluster
CN110750458A (zh) * 2019-10-22 2020-02-04 恩亿科(北京)数据科技有限公司 大数据平台测试方法、装置、可读存储介质及电子设备
CN111258851A (zh) * 2020-01-14 2020-06-09 广州虎牙科技有限公司 一种集群的告警方法、装置、设置及存储介质
CN111787368A (zh) * 2020-05-21 2020-10-16 视联动力信息技术股份有限公司 一种服务器测试方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116084A1 (en) * 2015-10-26 2017-04-27 Beijing Baidu Netcom Science And Technology, Ltd. Method and System for Monitoring Virtual Machine Cluster
CN110750458A (zh) * 2019-10-22 2020-02-04 恩亿科(北京)数据科技有限公司 大数据平台测试方法、装置、可读存储介质及电子设备
CN111258851A (zh) * 2020-01-14 2020-06-09 广州虎牙科技有限公司 一种集群的告警方法、装置、设置及存储介质
CN111787368A (zh) * 2020-05-21 2020-10-16 视联动力信息技术股份有限公司 一种服务器测试方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590403A (zh) * 2021-08-05 2021-11-02 北京百度网讯科技有限公司 压力测试方法、装置、***、电子设备、存储介质及产品
CN113590403B (zh) * 2021-08-05 2023-08-01 北京百度网讯科技有限公司 压力测试方法、装置、***、电子设备、存储介质及产品
CN114268570A (zh) * 2021-12-14 2022-04-01 扬州万方电子技术有限责任公司 一种基于智能终端的服务器集群检验流程可视化方法
CN115080436A (zh) * 2022-06-28 2022-09-20 中电金信软件有限公司 测试指标确定方法、装置、电子设备及存储介质
CN115080436B (zh) * 2022-06-28 2023-09-22 中电金信软件有限公司 测试指标确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113010392B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
US10684940B1 (en) Microservice failure modeling and testing
CN113010392B (zh) 大数据平台的测试方法、装置、设备、存储介质和***
CN106445781B (zh) 基于消息传递的hpc大规模并行程序异常的检测***
Tan et al. Visual, log-based causal tracing for performance debugging of mapreduce systems
Wang et al. Workflow-aware automatic fault diagnosis for microservice-based applications with statistics
CN110162471A (zh) 一种基于容器云的压力测试方法及***
CN110750458A (zh) 大数据平台测试方法、装置、可读存储介质及电子设备
WO2017114152A1 (zh) 一种业务拨测方法、装置以及***
JP2015528612A (ja) 分散システムにおいてユーザリクエストの実行を監視するための方法及びシステム
CN110166285A (zh) 一种基于Docker的网络安全实验平台搭建方法
CN111459698A (zh) 一种数据库集群故障自愈方法及装置
US10528456B2 (en) Determining idle testing periods
EP3384391B1 (en) Real-time change data from disparate sources
WO2011088256A2 (en) Methods and apparatus for predicting the performance of a multi-tier computer software system
CN110535945A (zh) 存储集群告警功能的测试方法、装置、设备及存储介质
CN108337266A (zh) 一种高效的协议客户端漏洞发掘方法与***
CN110674034A (zh) 一种健康检查方法、装置及电子设备和存储介质
CN108268365A (zh) 异常任务注入方法、装置和***
CN114422386B (zh) 一种微服务网关的监测方法及装置
CN105069029B (zh) 一种实时etl***及方法
CN112632527A (zh) 一种用于服务开放平台的api测试方法及***
CN112463432A (zh) 基于指标数据的巡检方法、装置及***
CN110750425A (zh) 数据库监控方法、装置、***和存储介质
CN111722917A (zh) 性能测试任务的资源调度方法、装置和设备
CN115357493A (zh) 测试方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant