CN112416691A - 基于基准测试工具的性能测试方法及*** - Google Patents

基于基准测试工具的性能测试方法及*** Download PDF

Info

Publication number
CN112416691A
CN112416691A CN202011431585.4A CN202011431585A CN112416691A CN 112416691 A CN112416691 A CN 112416691A CN 202011431585 A CN202011431585 A CN 202011431585A CN 112416691 A CN112416691 A CN 112416691A
Authority
CN
China
Prior art keywords
test
parameter
benchmark
performance
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011431585.4A
Other languages
English (en)
Other versions
CN112416691B (zh
Inventor
刘伟锋
丛日本
张鸿
刘清
谭娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haiguang Information Technology Co Ltd
Original Assignee
Haiguang Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haiguang Information Technology Co Ltd filed Critical Haiguang Information Technology Co Ltd
Priority to CN202011431585.4A priority Critical patent/CN112416691B/zh
Publication of CN112416691A publication Critical patent/CN112416691A/zh
Application granted granted Critical
Publication of CN112416691B publication Critical patent/CN112416691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2273—Test methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

本发明提供一种基于基准测试工具的性能测试方法及***，其中，基于基准测试工具的性能测试方法包括：获取待测器件的测试信息，所述测试信息包括：待测器件的所有的参数范围和相应的参数名称；根据所述测试信息，生成参数范围表格，以将所有的参数范围与相应的参数名称一一对应；根据所述参数名称和选取的基准测试工具的类型，获取参数范围的测试要求；根据所述测试要求，将所述参数范围表格转换为参数集，所述参数集包括所述基准测试工具可识别的数据表格；通过所述基准测试工具对所有的参数集进行基准测试，以得到测试结果。本发明能够提高性能测量的效率。

Description

基于基准测试工具的性能测试方法及***
技术领域
本发明涉及计算性能测试技术领域，尤其涉及一种基于基准测试工具的性能测试方法及***。
背景技术
基准测试是指运行计算机程序去评估硬件和软件性能的行为，而基准测试工具则可以让***测试者和用户客观独立的评估硬件性能。
而现有的在使用基准测试工具对一些目标器件的性能进行测试时，如对加速处理器的计算性能进行测试，通常会由于基准测试工具需要使用的参数个数多、参数组合多、参数取值范围大、参数之间存在依赖等问题，导致在测试前测试人员需要精心设计各个参数范围，并在测试中花费大量时间按设计输入大量参数，如此效率低、易出错，且在测试后结果分析的步骤繁琐、易出错。
发明内容
为解决上述问题，本发明提供的基于基准测试工具的性能测试方法及***，通过测试要求将测试参数转换为相应的参数集，并交由基准测试工具对参数集进行基准测试，如此能够提高待测器件的性能基准测试的自动化程度，减少人工的投入，从而提高基准测试的效率。
第一方面，本发明提供一种基于基准测试工具的性能测试方法，包括：
获取待测器件的测试信息，所述测试信息包括：待测器件的所有的参数范围和相应的参数名称；
根据所述测试信息，生成参数范围表格，以将所有的参数范围与相应的参数名称一一对应；
根据所述参数名称和选取的基准测试工具的类型，获取参数范围的测试要求；
根据所述测试要求，将所述参数范围表格转换为参数集，所述参数集包括所述基准测试工具可识别的数据表格；
通过所述基准测试工具对所有的参数集进行基准测试，以得到测试结果。
可选地，不同的所述参数名称对应不同的测试性能，所述测试结果包括不同的测试性能所对应的关键字节；
所述方法还包括：根据所述关键字节，对所述测试结果进行分析，并输出与所述关键字节相对应的测试性能的实测性能值。
可选地，所述获取待测器件的测试信息，包括：
获取所述待测器件的型号，并根据所述型号生成所述测试信息；或/和
接收由测试人员输入的测试信息。
可选地，所述方法还包括：监控报错信息模块，以得到监测结果，并输出所述检测结果；
所述报错信息模块用于检测所述方法在执行过程中出现的错误信息。
可选地，所述方法还包括：
获取所述待测器件的属性信息；
根据所述属性信息，计算出与所述测试性能相对应的理论性能峰值；
对比所述理论性能峰值和所述实测性能值，并根据对比结果判断所述测试性能的测试是否成功。
可选地，在所述根据所述测试要求，将所述参数范围表格转换为参数集之前，所述方法还包括：
根据所述测试要求，向所述参数范围表格中增加所述基准测试工具所必要的参数名称和相应的参数范围。
可选地，所述根据所述测试要求，将所述参数范围表格转换为参数集，包括：
根据所述测试要求，修改所述参数范围表格内的参数名称的格式，以得到所述参数集。
第二方面，本发明提供一种基于基准测试工具的性能批量测试***，包括：
第一获取模块，被配置为获取待测器件的测试信息，所述测试信息包括：待测器件的所有的参数范围和相应的参数名称；
生成模块，被配置为根据所述测试信息，生成参数范围表格，以将所有的参数范围与相应的参数名称一一对应；
第二获取模块，被配置为根据所述参数名称和选取的基准测试工具的类型，获取参数范围的测试要求；
转换模块，被配置为根据所述测试要求，将所述参数范围表格转换为参数集，所述参数集包括所述基准测试工具可识别的数据表格；
测试模块，被配置为通过所述基准测试工具对所有的参数集进行基准测试，以得到测试结果。
可选地，不同的所述参数名称对应不同的测试性能，所述测试结果包括不同的测试性能所对应的关键字节；
所述***还包括：分析模块，被配置为根据所述关键字节，对所述测试结果进行分析，并输出与所述关键字节相对应的测试性能的实测性能值。
可选地，所述第一获取模块包括：
获取子模块，被配置为获取所述待测器件的型号，并根据所述型号生成所述测试信息；或/和
第一获取模块，被配置为接收由测试人员输入的测试信息。
可选地，所述***还包括：
报错信息模块，被配置为检测所述***在执行过程中出现的错误信息
监控模块，被配置为监控所述报错信息模块，以得到监测结果，并输出所述检测结果。
可选地，所述***还包括：
第三获取模块，被配置为获取所述待测器件的属性信息，所述属性信息包括：所述待测器件的型号
计算模块，被配置为根据所述属性信息，计算出与所述测试性能相对应的理论性能峰值；
对比模块，被配置为对比所述理论性能峰值和所述实测性能值，并根据对比结果判断所述测试性能的测试是否成功。
可选地，所述***还包括：
补充模块，被配置为在根据所述测试要求，将所述参数范围表格转换为参数集之前，根据所述测试要求，向所述参数范围表格中增加所述基准测试工具所必要的参数名称和相应的参数范围。
可选地，所述转换模块，进一步被配置为根据所述测试要求，修改所述参数范围表格内的参数名称的格式，以得到所述参数集。
本发明实施例提供的基于基准测试工具的性能测试方法及***，通过生成参数范围表格，能够便于批量、快速的通过基准测试工具对待测器件的性能件批量的基准测试，同时根据测试要求将测试参数转换为相应的参数集，并交由基准测试工具对参数集进行基准测试，如此能够提高待测器件的性能基准测试的自动化程度，减少人工的投入，从而提高基准测试的效率。
附图说明
图1为本申请一实施例的基于基准测试工具的性能测试方法的示意性流程图；
图2为本申请一实施例的基于基准测试工具的性能测试装置的示意性结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先，对本发明涉及的专有名称进行解释如下：
CSV文件，其中，CSV(Comma-Separated Values，逗号分隔值)有时也称为字符分隔值，因为分隔字符也可以不是逗号，其文件以纯文本形式存储表格数据(数字和文本)，纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据；
Rocblas-bench测试工具，其是ROCM软件平台下RocBLAS数学库下进行GPU或加速处理器计算性能基准测试工具。
矩阵相乘(GEMM,General Matrix Multiplication)可以表示为，C＝alpha*op(A)*op(B)+beta*C，其中，op(X)代表对矩阵X做转置或者不转置操作，alpha和beta是标量，A、B、C是矩阵，其中op(A)是m行k列矩阵，op(B)是k行n列矩阵，op(C)是m行n列矩阵。
实施例一
结合图1，本实施例提供一种基于基准测试工具的性能测试方法，在本实施例中，所述方法应用于高性能测试Linux操作***环境下，所述方法包括步骤S101至步骤S105如下：
步骤S101：获取待测器件的测试信息，所述测试信息包括：待测器件的所有的参数范围和相应的参数名称。
其中，所述方法可以获取待测器件多个测试性能进行测试；所述参数范围内可以为具体的数值，或具体的数值，也可以为与参数名称相对的参数指示或内容等。在本实施例中，所述待测器件以加速处理器为例，在对加速处理器的计算性能进行基准测试过程中，参数名称可以为矩阵的行数、矩阵的列数、加速处理器浮点单精度、双精度、半精度等，在实际测试应用中，***以本领域技术人员所熟知相对应的代码符号对参数名称进行标识。
在一种可选的实施例中，所述获取待测器件的测试信息，包括：
获取所述待测器件的型号，并根据所述型号生成所述测试信息；或/和
接收由测试人员输入的测试信息。
步骤S102：根据所述测试信息，生成参数范围表格，以将所有的参数范围与相应的参数名称一一对应。
在本实施例中，测试人员可以选择常用微软公司Excel表格工具对所有测试参数范围进行处理。优选地，将所述参数范围表格保存成CSV文件格式，如此能够减少后续参数解析时的复杂性。其中，针对加速处理器浮点单精度、双精度、半精度等不同计算精度，以参数名称为表头、参数范围为单元格内容的参数范围表格。
步骤S103：根据所述参数名称和选取的基准测试工具的类型，获取参数范围的测试要求。
步骤S104：根据所述测试要求，将所述参数范围表格转换为参数集，以生成相应的基准测试用例，其中，所述参数集包括所述基准测试工具可识别的数据表格。
在一种可选的实施例中，所述根据所述测试要求，将所述参数范围表格转换为参数集，包括：
根据所述测试要求，修改所述参数范围表格内的参数名称的格式，以得到所述参数集。
进一步的，通过软件对参数范围表格进行解析，同时按照基准测试工具对不同精度测试的要求，完成参数的组合。考虑高性能测试Linux操作***环境，以测试工具的易维护性，优选广泛使用的Python程序设计语言完成相关处理。同时，为了支持对不同精度测试的可扩展性，使用面向对象的程序设计方法，以支持不同精度测试扩展。
步骤S105：通过所述基准测试工具对所有的参数集进行基准测试，以得到测试结果。
所述方法通过生成参数范围表格，能够便于批量、快速的通过基准测试工具对待测器件的性能件批量的基准测试，同时根据测试要求将测试参数转换为相应的参数集，并交由基准测试工具对参数集进行基准测试，如此能够提高待测器件的性能基准测试的自动化程度，减少人工的投入，从而提高基准测试的效率。
进一步的，以基准测试工具Rocblas-bench对加速处理器计算能力进行基准测试为例。其中，以代表矩阵大小的参数m进行说明，可以在参数范围表格中指定如下的测试范围：
若参数范围指定为单个数值，如10240；则基准测试工具Rocblas-bench仅对10240进行测试。
若参数范围指定为数值范围，如10240-10480，并默认步长为1；则则基准测试工具Rocblas-bench分别对10240、10241、10242、10243、……、10480进行测试。
若参数范围指定为数值范围，如10240-10480，并指定步长为32，即相应对应的参数范围可表示为10240-10480：32；则基准测试工具Rocblas-bench分别对10240、10272、……和10464进行测试。
若参数范围指定为指定多个特定数值，如10240、10241和10248则基准测试工具Rocblas-bench分别对10240、10241和10248进行测试。
而对于基准测试工具Rocblas-bench对加速处理器计算能力进行基准测试中的其他代表矩阵多对应的参数，如：n和k，其测试过程与参数m类似，在此不作赘述。
在一种可选的实施例中，不同的所述参数名称对应不同的测试性能，所述测试结果包括不同的测试性能所对应的关键字节；
所述方法还包括：根据所述关键字节，对所述测试结果进行分析，并输出与所述关键字节相对应的测试性能的实测性能值。
在调用基准测试工具开始测试时，根据基准测试工具输出的关键字获取测试结果。如以rocblas-bench为例，以“rocblas-Gflops”关键字获取了完整的测试输出结果。同样考虑高性能测试Linux操作***环境，以测试工具的易维护性，优选广泛使用的Python程序设计语言完成测试结果的输出。
在一种可选的实施例中，所述方法还包括：监控报错信息模块，以得到监测结果，并输出所述检测结果；
所述报错信息模块用于检测所述方法在执行过程中出现的错误信息。
在一种可选的实施例中，所述方法还包括：
获取所述待测器件的属性信息；
根据所述属性信息，计算出与所述测试性能相对应的理论性能峰值；
对比所述理论性能峰值和所述实测性能值，并根据对比结果判断所述测试性能的测试是否成功。
进一步的，在对加速处理器的计算性能进行测试的过程中，首先，获取被测加速处理器的型号、计算单元参数等属性信息，并根据属性信息生成理论各精度性能。理论性能峰值＝加速处理器的芯片数量*加速处理器Boost的主频*指定精度核心数量*加速处理器的单个时钟周期内能处理的浮点计算次数。然后，根据该理论性能峰值和之前获得实测性能值得到实测效率，其中实测效率＝实测性能/理论性能峰值，如果实测效率高于预期值，则测试通过；如果实测效率低于预期值，测试失败。
在一种可选的实施例中，在所述根据所述测试要求，将所述参数范围表格转换为参数集之前，所述方法还包括：
根据所述测试要求，向所述参数范围表格中增加所述基准测试工具所必要的参数名称和相应的参数范围。
所述基于基准测试工具的性能测试方法通过对测试信息的转换，通过把不同测试类型的测试信息自动转成相应的基准测试用例，一方面使测试人员可以指定基准测试工具所有参数的测试覆盖范围，另一方面使测试人员更聚焦于测试覆盖数据的设计，而不是把大量时间精力用于参数的手工组合、输入。另外，该方法通过自动采集测试信息、自动生成相应的参数集、自动生成测试结果比对等，节省了测试时间和人力资源，提高了测试质量。
实施例二
本实施例一种基于基准测试工具的性能测试方法，所述方法包括：
首先，根据待测器件是否支持的精度类型，如双精度浮点、单精度浮点等，以及待测器件内部存储器大小等规格，获取如下参数范围和相应的参数名称：
矩阵op(A)的m、k参数范围，矩阵op(B)的k、n参数范围，如以待测器件内部存储器大小16GB为例，选取测试10000到13000的范围；矩阵计算精度参数范围为双精度浮点(缩写为d)、单精度浮点(缩写为s)、整型INT8等；alpha、beta取值是标量，可以取值为1、2等数值。
然后，根据待测器件支持的各参数范围和测试需要，生成实际测试时选取的参数范围表格，如表一：
表一
Figure BDA0002826444280000091
其中，参数名称transposeA与对应的参数范围N表示对矩阵A不进行转置，参数名称transposeB与对应的参数范围T表示对矩阵B进行转置。
接着，根据选定的基准测试工具如rocblas-bench的测试要求，对表一补充必要的参数，如矩阵的主维参数：lda、ldb、ldc等，并得到更新后的参数范围表格，如表二：
表二
Figure BDA0002826444280000092
之后，根据选定的基准测试工具的测试要求，将更新后的参数范围表格中的数据转化成测试工具能够识别的参数集。具体的是对各个参数名称进行必要的格式转换，以便基准测试工具可以接受。
其中，对单个字母的参数名称前加“-”；对两个及以上字母的参数名称前加“--”；特殊参数名做名称转换，如函数function参数转换为“-f”；矩阵计算精度precision参数转换为“-r”；添加基准测试工具自身要求的必要参数，如测试迭代次数(-i)。最终得到的参数集如表三：
表三
Figure BDA0002826444280000101
再然后，根据测试参数集启动基准测试，提取测试结果。
对表三中各参数名称对应的参数范围逐一明确其参数值，并对全部函数类型对相应的参数值进行组合。以表三中对--lda、-m、-r参数做组合，并假设lda参数值等于m参数值，得到的测试参数表格，如表四。
表四
Figure BDA0002826444280000102
再接着，按照“参数名1参数值1参数名2参数值2…”格式，获取基准测试工具可以执行的最终参数列表，如表五：
表五
Figure BDA0002826444280000103
其中，表五中的标号顺序为测试的先后顺序。
最后，启动基准测试工具，从表五中提取测试结果。
实施例三
结合图2，本实施例提供一种基于基准测试工具的性能批量测试***200，该***包括：
第一获取模块201，被配置为获取待测器件的测试信息，所述测试信息包括：待测器件的所有的参数范围和相应的参数名称；
生成模块202，被配置为根据所述测试信息，生成参数范围表格，以将所有的参数范围与相应的参数名称一一对应；
第二获取模块203，被配置为根据所述参数名称和选取的基准测试工具的类型，获取参数范围的测试要求；
转换模块204，被配置为根据所述测试要求，将所述参数范围表格转换为参数集，所述参数集包括所述基准测试工具可识别的数据表格；
测试模块205，被配置为通过所述基准测试工具对所有的参数集进行基准测试，以得到测试结果。
在一种可选的实施例中，不同的所述参数名称对应不同的测试性能，所述测试结果包括不同的测试性能所对应的关键字节；
所述***还包括：分析模块，被配置为根据所述关键字节，对所述测试结果进行分析，并输出与所述关键字节相对应的测试性能的实测性能值。
在一种可选的实施例中，所述第一获取模块包括：
获取子模块，被配置为获取所述待测器件的型号，并根据所述型号生成所述测试信息；或/和
第一获取模块，被配置为接收由测试人员输入的测试信息。
在一种可选的实施例中，所述***还包括：
报错信息模块，被配置为检测所述***在执行过程中出现的错误信息
监控模块，被配置为监控所述报错信息模块，以得到监测结果，并输出所述检测结果。
在一种可选的实施例中，所述***还包括：
第三获取模块，被配置为获取所述待测器件的属性信息，所述属性信息包括：所述待测器件的型号
计算模块，被配置为根据所述属性信息，计算出与所述测试性能相对应的理论性能峰值；
对比模块，被配置为对比所述理论性能峰值和所述实测性能值，并根据对比结果判断所述测试性能的测试是否成功。
在一种可选的实施例中，所述***还包括：
补充模块，被配置为在根据所述测试要求，将所述参数范围表格转换为参数集之前，根据所述测试要求，向所述参数范围表格中增加所述基准测试工具所必要的参数名称和相应的参数范围。
在一种可选的实施例中，所述转换模块，进一步被配置为根据所述测试要求，修改所述参数范围表格内的参数名称的格式，以得到所述参数集。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (14)

1.一种基于基准测试工具的性能测试方法，其特征在于，包括：
获取待测器件的测试信息，所述测试信息包括：待测器件的所有的参数范围和相应的参数名称；
根据所述测试信息，生成参数范围表格，以将所有的参数范围与相应的参数名称一一对应；
根据所述参数名称和选取的基准测试工具的类型，获取参数范围的测试要求；
根据所述测试要求，将所述参数范围表格转换为参数集，所述参数集包括所述基准测试工具可识别的数据表格；
通过所述基准测试工具对所有的参数集进行基准测试，以得到测试结果。
2.根据权利要求1所述的基于基准测试工具的性能测试方法，其特征在于，不同的所述参数名称对应不同的测试性能，所述测试结果包括不同的测试性能所对应的关键字节；
所述方法还包括：根据所述关键字节，对所述测试结果进行分析，并输出与所述关键字节相对应的测试性能的实测性能值。
3.根据权利要求1所述的基于基准测试工具的性能测试方法，其特征在于，所述获取待测器件的测试信息，包括：
获取所述待测器件的型号，并根据所述型号生成所述测试信息；或/和
接收由测试人员输入的测试信息。
4.根据权利要求1所述的基于基准测试工具的性能测试方法，其特征在于，所述方法还包括：监控报错信息模块，以得到监测结果，并输出所述检测结果；
所述报错信息模块用于检测所述方法在执行过程中出现的错误信息。
5.根据权利要求2所述的基于基准测试工具的性能测试方法，其特征在于，所述方法还包括：
获取所述待测器件的属性信息；
根据所述属性信息，计算出与所述测试性能相对应的理论性能峰值；
对比所述理论性能峰值和所述实测性能值，并根据对比结果判断所述测试性能的测试是否成功。
6.根据权利要求1至5任一项所述的基于基准测试工具的性能测试方法，其特征在于，在所述根据所述测试要求，将所述参数范围表格转换为参数集之前，所述方法还包括：
根据所述测试要求，向所述参数范围表格中增加所述基准测试工具所必要的参数名称和相应的参数范围。
7.根据权利要求1所述的基于基准测试工具的性能测试方法，其特征在于，所述根据所述测试要求，将所述参数范围表格转换为参数集，包括：
根据所述测试要求，修改所述参数范围表格内的参数名称的格式，以得到所述参数集。
8.一种基于基准测试工具的性能批量测试***，其特征在于，包括：
第一获取模块，被配置为获取待测器件的测试信息，所述测试信息包括：待测器件的所有的参数范围和相应的参数名称；
生成模块，被配置为根据所述测试信息，生成参数范围表格，以将所有的参数范围与相应的参数名称一一对应；
第二获取模块，被配置为根据所述参数名称和选取的基准测试工具的类型，获取参数范围的测试要求；
转换模块，被配置为根据所述测试要求，将所述参数范围表格转换为参数集，所述参数集包括所述基准测试工具可识别的数据表格；
测试模块，被配置为通过所述基准测试工具对所有的参数集进行基准测试，以得到测试结果。
9.根据权利要求8所述的基于基准测试工具的性能批量测试***，其特征在于，不同的所述参数名称对应不同的测试性能，所述测试结果包括不同的测试性能所对应的关键字节；
所述***还包括：分析模块，被配置为根据所述关键字节，对所述测试结果进行分析，并输出与所述关键字节相对应的测试性能的实测性能值。
10.根据权利要求8所述的基于基准测试工具的性能批量测试***，其特征在于，所述第一获取模块包括：
获取子模块，被配置为获取所述待测器件的型号，并根据所述型号生成所述测试信息；或/和
第一获取模块，被配置为接收由测试人员输入的测试信息。
11.根据权利要求8所述的基于基准测试工具的性能批量测试***，其特征在于，所述***还包括：
报错信息模块，被配置为检测所述***在执行过程中出现的错误信息
监控模块，被配置为监控所述报错信息模块，以得到监测结果，并输出所述检测结果。
12.根据权利要求9所述的基于基准测试工具的性能批量测试***，其特征在于，所述***还包括：
第三获取模块，被配置为获取所述待测器件的属性信息，所述属性信息包括：所述待测器件的型号
计算模块，被配置为根据所述属性信息，计算出与所述测试性能相对应的理论性能峰值；
对比模块，被配置为对比所述理论性能峰值和所述实测性能值，并根据对比结果判断所述测试性能的测试是否成功。
13.根据权利要求8至12任一项所述的基于基准测试工具的性能批量测试***，其特征在于，所述***还包括：
补充模块，被配置为在根据所述测试要求，将所述参数范围表格转换为参数集之前，根据所述测试要求，向所述参数范围表格中增加所述基准测试工具所必要的参数名称和相应的参数范围。
14.根据权利要求8所述的基于基准测试工具的性能批量测试***，其特征在于，所述转换模块，进一步被配置为根据所述测试要求，修改所述参数范围表格内的参数名称的格式，以得到所述参数集。
CN202011431585.4A 2020-12-09 2020-12-09 基于基准测试工具的性能测试方法及*** Active CN112416691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011431585.4A CN112416691B (zh) 2020-12-09 2020-12-09 基于基准测试工具的性能测试方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011431585.4A CN112416691B (zh) 2020-12-09 2020-12-09 基于基准测试工具的性能测试方法及***

Publications (2)

Publication Number Publication Date
CN112416691A true CN112416691A (zh) 2021-02-26
CN112416691B CN112416691B (zh) 2023-07-21

Family

ID=74774991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011431585.4A Active CN112416691B (zh) 2020-12-09 2020-12-09 基于基准测试工具的性能测试方法及***

Country Status (1)

Country Link
CN (1) CN112416691B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013018376A1 (ja) * 2011-08-04 2013-02-07 日本電気株式会社 システムパラメータ設定支援システム、システムパラメータ設定支援装置のデータ処理方法、およびプログラム
CN106708676A (zh) * 2016-12-01 2017-05-24 广州酷狗计算机科技有限公司 接口测试方法及装置
CN107943689A (zh) * 2017-11-16 2018-04-20 北京卫星信息工程研究所 基于参数化测试脚本的自动化测试方法及测试***
CN109917268A (zh) * 2019-01-23 2019-06-21 成都芯源***有限公司 稳压器的测试***和测试方法
CN111400186A (zh) * 2020-03-19 2020-07-10 时时同云科技(成都)有限责任公司 性能测试方法及***
CN111475402A (zh) * 2020-03-17 2020-07-31 中国平安人寿保险股份有限公司 程序功能的测试方法及相关装置
CN111752834A (zh) * 2020-06-24 2020-10-09 京东数字科技控股有限公司 自动化测试方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013018376A1 (ja) * 2011-08-04 2013-02-07 日本電気株式会社 システムパラメータ設定支援システム、システムパラメータ設定支援装置のデータ処理方法、およびプログラム
CN106708676A (zh) * 2016-12-01 2017-05-24 广州酷狗计算机科技有限公司 接口测试方法及装置
CN107943689A (zh) * 2017-11-16 2018-04-20 北京卫星信息工程研究所 基于参数化测试脚本的自动化测试方法及测试***
CN109917268A (zh) * 2019-01-23 2019-06-21 成都芯源***有限公司 稳压器的测试***和测试方法
CN111475402A (zh) * 2020-03-17 2020-07-31 中国平安人寿保险股份有限公司 程序功能的测试方法及相关装置
CN111400186A (zh) * 2020-03-19 2020-07-10 时时同云科技(成都)有限责任公司 性能测试方法及***
CN111752834A (zh) * 2020-06-24 2020-10-09 京东数字科技控股有限公司 自动化测试方法和装置

Also Published As

Publication number Publication date
CN112416691B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN102750223B (zh) 一种基于面向对象程序切片谱的错误定位方法
CN117787155A (zh) 一种芯片可测性代码动态仿真测试***及测试方法
CN112416691A (zh) 基于基准测试工具的性能测试方法及***
CN113222459A (zh) 由表达式树动态构建食品不确定度评估模型的***及方法
CN112084735A (zh) 一种基于rtl源码的fpga切割方法及***
CN117150237A (zh) 时序数据预测方法、装置、设备及计算机可读存储介质
CN115495082B (zh) Tlv格式数据自动转换方法及相关设备
CN110968518A (zh) 自动化测试日志文件的分析方法及装置
CN116049293A (zh) 基于数据库配置实现解析csv文件方法、装置、设备及介质
CN115033434A (zh) 一种内核性能理论值计算方法、装置及存储介质
CN112380133B (zh) 一种指令集模拟器利用功能库仿真的方法及装置
CN107273293B (zh) 大数据***性能测试方法、装置及电子设备
CN114064469A (zh) 接口自动化测试方法及存储介质
CN111061994A (zh) 函数求导的计算方法、装置、计算设备及存储介质
CN114625731A (zh) 核数据截面库生成方法、装置、设备及存储介质
CN112347751A (zh) 一种cosmic工作量评估文档生成的方法及装置
CN112329108A (zh) 一种地铁车站优化抗浮验算方法及***
JP2017224185A (ja) バグ混入確率計算プログラム及びバグ混入確率計算方法
CN111221821A (zh) 一种ai模型迭代更新方法、电子设备及存储介质
CN110851492B (zh) 一种力学环境试验数据快速分析方法和***
JP6369102B2 (ja) ソフトウェア試験支援システム
CN113568662B (zh) 一种基于调用关系的代码变更影响范围分析方法及***
Cui et al. Dependency matrix-based fast fault diagnosis using search algorithm
CN116305837B (zh) 一种突出比例分析的模块化不确定性量化评估方法及设备
CN115098405B (zh) 软件产品的测评方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant