CN114510405A - 指标数据评估方法、装置、设备、存储介质及程序产品 - Google Patents

指标数据评估方法、装置、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN114510405A
CN114510405A CN202210106280.9A CN202210106280A CN114510405A CN 114510405 A CN114510405 A CN 114510405A CN 202210106280 A CN202210106280 A CN 202210106280A CN 114510405 A CN114510405 A CN 114510405A
Authority
CN
China
Prior art keywords
data
risk
graph model
index
indexes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210106280.9A
Other languages
English (en)
Other versions
CN114510405B (zh
Inventor
赵菁
楚培林
方李志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210106280.9A priority Critical patent/CN114510405B/zh
Priority claimed from CN202210106280.9A external-priority patent/CN114510405B/zh
Publication of CN114510405A publication Critical patent/CN114510405A/zh
Application granted granted Critical
Publication of CN114510405B publication Critical patent/CN114510405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种指标数据评估方法、装置、设备、存储介质及程序产品，涉及计算机处理领域。该方法包括：获取用于性能测试的第一图模型，第一图模型中包括至少两个数据指标对应的节点；获取历史测试数据；从历史测试数据中获取各数据指标对应的支持度，支持度用于指示在所述历史测试数据中数据指标对应的风险频率；基于各数据指标对应的支持度对第一图模型进行更新，得到第二图模型，第二图模型用于对性能测试数据进行评估，得到风险评估结果。通过图模型转化，量化图模型中各数据指标对应的节点，降低人工分析的成本，提高数据指标的风险分析效率。

Description

指标数据评估方法、装置、设备、存储介质及程序产品
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种指标数据评估方法、装置、设备、存储介质及程序产品。
背景技术
在游戏客户端性能测试过程中，涉及多数据指标风险分析，而多数据指标风险分析往往具有较高的复杂性，且影响因素较多，各因素之间联系复杂，难以转化为一个目标函数进行最优化求解。
现有技术中，主要依靠有经验的开发人员和/或测试人员进行评估，形成一些经验规则或者行业标准，参考其指标和评测，对游戏性能测试中性能数据指标进行采集，进行风险评估。
然而，采用上述评估方式，往往是针对单个指标的简单定量分析，无法应用至游戏客户端内整个性能数据指标的风险评估，且比较依赖人工的技术和经验，可量化程度较低，问题分析和定位的成本较高，性能数据指标的风险评估效率也较低。
发明内容
本申请实施例提供了一种指标数据评估方法、装置、设备、存储介质及程序产品，一定程度上提高性能数据的分析效率，降低人工分析的成本。所述技术方案如下。
一方面，提供了一种指标数据评估方法，所述方法包括：
获取用于性能测试的第一图模型，所述第一图模型中包括至少两个数据指标对应的节点，所述数据指标用于指示性能测试的测试方向，所述节点之间存在第一关联关系；
获取历史测试数据，所述历史测试数据是基于所述至少两个数据指标进行测试得到的数据；
从所述历史测试数据中获取各数据指标对应的支持度，所述支持度用于指示在所述历史测试数据中数据指标对应的风险频率；
基于各数据指标对应的支持度对所述第一图模型进行更新，得到第二图模型，所述第二图模型用于对性能测试数据进行评估，得到风险评估结果。
另一方面，提供了一种指标数据评估装置，所述装置包括：
获取模块，用于获取用于性能测试的第一图模型，所述第一图模型中包括至少两个数据指标对应的节点，所述数据指标用于指示性能测试的测试方向，所述节点之间存在第一关联关系；
所述获取模块，还用于获取历史测试数据，所述历史测试数据是基于所述至少两个数据指标进行测试得到的数据；
所述获取模块，还用于从所述历史测试数据中获取各数据指标对应的支持度，所述支持度用于指示在所述历史测试数据中数据指标对应的风险频率；
更新模块，用于基于各数据指标对应的支持度对所述第一图模型进行更新，得到第二图模型，所述第二图模型用于对性能测试数据进行评估，得到风险评估结果。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述指标数据评估方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的指标数据评估方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的指标数据评估方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
将历史测试数据通过图模型进行转换，使得图模型中的数据指标对应的节点得到一定上的量化；其次通过图模型快速定位数据指标之间的关联关系，将部分定性的分析用风险值衡量，进而得到对应的风险度，一定程度上提高性能数据的分析效率，降低人工分析的成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例中提供的游戏性能测试的流程框图；
图2是本申请一个示例性实施例提供的实施环境示意图；
图3是本申请一个示例性实施例提供的指标数据评估***对应的结构框图；
图4是本申请一个示例性实施例提供的利用指标数据分析模型进行性能数据评估的流程图；
图5是本申请一个示例性实施例提供的指标数据评估方法的流程图；
图6是基于图5示出的实施例提供的文字形式的第一图模型的示意图；
图7是基于图5示出的一个示例性实施例提供的索引形式的第一图模型的示意图；
图8是基于图7示出的一个示例性实施例提供的补充构建第一图模型内的关联关系的示意图；
图9是基于图8示出的一个示例性实施例提供的删除第一图模型内的关联关系的示意图；
图10是本申请另一个示例性实施例提供的指标数据评估方法的流程图；
图11是基于图10示出的实施例提供的一种构建第一图模型的示意图；
图12是本申请另一个示例性实施例提供的指标数据评估方法的流程图；
图13是本申请一个示例性实施例提供的指标风险数据装置的结构框图；
图14是本申请另一个示例性实施例提供的指标风险数据装置的结构框图；
图15本申请一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，针对本申请实施例中涉及的名词进行简单介绍。
性能测试以及数据指标：用于指示通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对***的各项性能指标进行测试，也可以用于指示在预设环境下，***响应的速度和/或表现，其中，***中包括至少两个数据指标，至少两个数据指标包括但不限于中央处理器(Central Processing Unit，简称CPU)、图形处理器(GraphicsProcessing Unit，简称GPU)、帧率、内存以及电量，通过性能测试分析整个***的运作情况，通过利用人工分析/借助头部项目，作为性能测试过程中数据指标对应的标准规则，***的运维人员利用该标准规则，对采集到的数据指标进行定量分析，并将定量分析后的结果作为整个***的风险评估结果。
支持度：在性能测试过程中，存储每次性能测试中所涉及的数据指标对应的数值、数据指标对应的风险度以及本次性能测试整体对应的风险度；其中数据指标对应的风险度和本次性能测试整体对应的风险度是基于经验规则和标准规则得到的结果，对历史测试数据进行风险筛选，记录存在风险的各项数据指标以及该数据指标对应的测试组的整体风险度，将历史测试数据中数据指标出现的频率(此次数)作为该数据指标的支持度，示例性，存在风险的两组历史测试数据为A组合B组，其中，A组(帧率：平均帧率，帧率占比；CPU：最大占用率)，B组(帧率：帧率占比；CPU：最大占用率)，数据指标“平均帧率”仅出现在A组中，那么“平均帧率”对应的支持度为1，数据指标“最大占用率”均出现在A组和B组中，那么“最大占用率”对应的支持度为2。
风险度：用于指示各项数据指标存在风险的可能，也可以用于指示各项数据指标存在风险的程度；若是用于表示存在风险的可能，则按照可能性对数据指标进行风险评估，例如，存在风险、安全、可能存在风险等；若是用于表示存在风险的程序，将数据指标风险划分为不同等级，例如，高风险、低风险、中风险等，上述说明仅为示意性举例，本申请对风险度的定义以及划分风险度的等级不加以限定。
图风险度：根据***内的所有数据指标，构建初始图模型(对应第一图模型)，结合历史测试数据中各项数据指标对应的关联关系对初始图模型进行更新，得到更新图模型(对应第二图模型)，基于更新图模型中各项数据指标的风险度确定图模型的风险度，并对更新图模型进行风险划分。
其次，结合上述名词介绍，针对本申请实施例所涉及的应用场景进行介绍：
第一，应用于数据指标的风险评估中，具体包括评估测试数据的整体风险、定位存在风险点的数据指标，可对整个***的性能数据进行风险评估，也可对应用程序的性能数据进行风险评估，示例性的，请参见图1，图1示出了一种游戏性能测试的流程框图，其中以游戏客户端进行举例说明，对游戏客户端进行游戏性能测试，性能测试时所需要测试的数据指标包括但不限于CPU占用情况、GPU占用情况、帧率、内存以及电量使用情况，对数据指标进行数据指标分析(S11)，得到数据指标对应的风险评估结果，并基于风险评估结果进行风险预警(S12)，风险预警的方式包括在终端界面显示提示区域，该提示区域内包括存在风险的数据指标，并将存在风险的数据指标按照优先级或者按照风险影响程度进行顺序显示。
第二，应用于多因素风险评估以及影响因子的问题求解过程中，多因素风险于指示存在多个数据指标可以直接和/或间接影响当前数据指标；例如：在分析评估影响用户购买力的因素时，需要分析多种数据指标是否对用户购买力存在影响，例如，商品价格、商品质量、商品库存等，此种情况下，商品价格或商品质量或商品库存并非是影响用户购买力的直接且单一因素，用户需要同时考虑商品价格、商品质量以及商品库存，才决定用户所需购买的数量，也就是说，影响用户购买力的因素存在至少两个数据指标，综合比对至少两个数据指标对用户购买力的影响，得出影响用户购买力的数据指标；在分析游戏内装备强度最大化问题时，游戏内的装备存在较多，各个装备单独使用或者配合使用才能发挥装备的最大可能，在对装备A进行装备分析时，需要结合存在的其他装备，在互相配合使用的情况下，比对装备所表现的数值情况，确定最终使装备最优化的解决方案。
在本申请实施例中，利用上述指标数据评估方法训练生成指标风险分析模型，利用该指标风险分析模型对性能数据进行风险评估。
上述仅为示例性举例，本申请实施例提供的指标数据评估方法还可以应用于其他应用场景，本申请对此不加以限定。
最后，结合上述名词介绍和应用场景，对本申请实施例的实施环境进行介绍。
图2是本申请实施例提供的实施环境示意图，如图2所示，该实施环境中包括终端210、服务器220以及指标风险分析模型240，终端210和服务器220之间通过通信网络230连接，该通信网络230可以是无线网络，也可以是有线网络，本申请对此不加以限定。
在终端210中进行性能测试，终端210采集性能测试相关的性能测试数据，该性能测试数据可以是终端210***的性能数据，也可以是采集终端210内运行的目标应用程序的性能测试数据(也即，对目标应用程序的性能数据进行性能测试)，该性能测试数据中包括至少两个数据指标以及各数据指标对应的数值，终端210将采集的性能测试数据通过通信网络230发送至服务器220中。
服务器220接收终端210发送的性能测试数据，将性能测试数据输入指标风险分析模型240中，利用指标风险分析模型240对此次性能测试产生的数据进行风险定位、风险评估、风险预警等；可选的，在将性能测试数据输入指标风险分析模型240之前，还包括对性能测试数据内的各数据指标的风险度进行预分析的过程，预分析的过程中得到各数据指标对应的风险度以及此次性能测试数据的整体风险度，该预分析过程可以由终端210执行，也可以由服务器220执行，也可是将预分析过程设置在指标风险分析模型240内进行，本申请对此不加以限定。
指标风险分析模型240用于将历史测试数据和图模型进行结合，找寻数据指标对应的节点之间的关联，将部分定性的分析用风险值衡量，计算对应的风险度，其中，历史测试数据对应的风险度由经验规则和标准规则确定，而经验规则和标准规则是日常情况下数据指标之间的通用规则，例如CPU指标过高会导致每秒传输帧数(Frames Per Second，简称FPS)指标降低，而此通用规则通常是由人工分析得到。在申请实施例提供的指标数据评估方法用于训练生成指标风险分析模型240。该方法的执行主体可以是终端210，也可以是服务器220，也可以是由终端210和服务器220共同执行，本申请对此不加以限定。
值得注意的是，上述终端210可以实现为手机、平板电脑、可穿戴设备、便携式膝上笔记本电脑等移动终端，也可以实现为台式电脑等终端，本申请实施例对此不加以限定。
上述服务器220上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台***进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的***后盾支撑，只能通过云计算来实现。
在一些实施例中，上述服务器220还可以实现为区块链***中的节点。
结合上述实施环境，对本申请实施例中涉及的指标数据评估的整体***进行说明，图3是本申请一个示例性实施例提供的***框图，如图3所示，该指标风险评估***30包括性能指标模块300、经验规则库模块310、历史测试数据模块320、图模型构建模块330以及数据指标分析模块340，如下对指标风险评估***30包括的各个模块的功能进行介绍。
性能指标模块300用于指示在性能测试中存储以及评估性能风险的数据指标，数据指标用于指示性能测试的测试方向；可选的，该性能指标模块300中按照预分类规则对数据指标进行分类，并按照分类后的类别进行数据指标的存储以及性能评估，示例性的，按照预设分类规则将数据指标分为基础数据和深度数据，性能测试过程中产生数据指标：内存均值、内存峰值、面数、描绘指令Draw Calls，将数据指标“内存均值”、“内存峰值”分类至基础数据，将数据指标“Draw Calls”和“面数”分类至深度数据，其中“内存峰值”和“内存均值”同属于一个测试方向，均是“内存”方向，“面数”和“Draw Calls”同属于“图形”测试方向，可选的，按照元组/表格/图形的形式存储各数据指标，例如，(内存：内存均值200Mb，内存峰值300Mb)。
经验规则库模块310是存储人工分析可量化的指标经验规则和行业标准规则；可选的，在性能测试过程中，利用人工分析的方式评估数据指标的风险度和关联程度，将积累的数据指标之间的通用规则称之为经验规则和标准规则，并在后续的性能测试中，依照经验规则和标准规则对当前采集的数据进行风险评估。
历史数据模块320是存储每次性能测试数据指标数值和最终的性能风险结果；将每一次性能测试时测试的数据指标存储至历史数据模块320中，每一次的性能测试指标，包括数据指标、对应数值、数据指标对应的风险度和本次性能测试的整体风险度，记为一组项目集，按照表格/元组/图形的形式进行存储。
图模型构建模块330是用于将数据指标结合经验规则以及标准规则，训练和更新出分析指标风险的模型；具体为根据数据指标建立初始图模型，该图模型中包括至少两个数据指标，其中包括数据指标对应的节点；从历史数据模块320中获取历史测试数据，计算历史测试数据对应的支持度，按照历史测试数据的支持度对初始图模型进行更新，得到指标风险分析模型；在具体应用过程中，请参见图4，图4示出了本申请实施例提供的数据指标的风险评估流程，获取待评估的数据指标40，将其输入指标风险分析模型41中，由指标风险分析模型41对待评估的数据指标进行风险评估，最终输出待评估的数据指标对应的风险评估结果42。
数据指标分析模块340，用于对每次性能测试数据进行风险度计算、评估，在进行每一次的性能测试时，采集各数据指标对应的数值，按照经验规则和标准规则对各数据指标之间的关联关系以及风险度进行评估分析，得出对应的风险评估结果，将得到的风险评估结果存储至历史数据模块320中。
结合上述实施环境，对本申请实施例中涉及的指标数据评估方法进行说明，图5是本申请一个示例性实施例提供的指标数据评估方法的流程图，以该方法应用于服务器中进行说明，在本申请实施例中，以游戏客户端的性能测试场景为例进行说明，如图5所示，该方法包括：
步骤501，获取用于性能测试的第一图模型。
在本申请实施例中，性能测试用于度量游戏客户端的各项数据指标是否正常，该过程可以是对游戏客户端的所有数据指标进行统一测试，也可以是针对游戏客户端的目标数据指标进行测试，本申请对此不加以限定。
可选的，在性能测试过程中，采集游戏客户端对应的各项数据指标，并存储各项数据指标以及对应采集的数值，例如，帧率、内存、CPU、GPU等。
在本申请实施例中，将采集的各项数据指标绘制为第一图模型，第一图模型中包括至少两个数据指标对应的节点，该数据指标用于指示性能测试的测试方向，可选的，节点之间存储有第一关联关系，第一关联关系用于指示节点之间同属于一个数据指标类别，也可以用于指示节点之间互相影响的关系，本申请对此不加以限定。
示例性的，请参见图6，图6示出了第一图模型600的结构，该第一图模型600中包括表示游戏客户端的节点以及各个数据指标节点，其中，将游戏客户端节点60作为第一图模型600的第一层节点，将各项数据指标对应的节点按照数据指标类别进行分类，并形成对应的簇；例如，将各项数据指标分为类别帧率、CPU、CPU以及内存，并将此类别对应的节点形成簇的初始节点61-64，其中GPU对应簇的初始节点为61，其中该簇中还包括第二层节点最大占用率611以及平均占用率610，其中第一图模型中的各个箭头对应节点之间的第一关联关系，也即，各个箭头用于指示各项数据指标对应的所属关系，节点最大占用率611和平均占用率610同属于一个类别节点GPU61。
可选的，将第一图模型中文字形式的数据指标替换为对应的索引序号代替，并将索引序号和数据指标之间的对应的关系进行存储，示例性的，请参见图7，图7示出了索引形式的第一图模型的结构。图7中按照图6中示出的第一图模型600对各项数据指标进行索引替换，得到第一图模型70，也即，将图6中的节点GPU61替换为图7中的节点C71，将图6中的节点最大占用率611替换为图7中的节点710“6”，将图6中的节点平均占用率610替换为图7中的节点711“7”；也就是说，在每增加一个数据指标时，为该数据指标固定唯一的索引序号，图6以及图7中，在存储数据指标“GPU”时，将数据指标“GPU”的索引序号设置为“C”，将文字形式的第一图模型转换为索引形式的第一图模型，获取数据指标和索引序号之间的对应关系，直接将“GPU”替换为索引序号“C”，在后续删除或者增加数据指标和/或与数据指标对应的索引序号时，索引形式的第一图模型的索引序号并不会更改，只是将节点直接从文字形式的第一图模型和/或索引形式的第一图模型进行增加和/或删除。
步骤502，获取历史测试数据。
可选的，从历史数据模块中获取历史测试数据，该历史测试数据中包括数据指标、数据指标对应的数值、数据指标对应的风险度以及本次历史测试数据整体的风险度，将一次性能测试记为一组项目集。例如，获取历史测试数据中的项目集1和项目集2；其中，项目集1中包括数据指标(帧率、平均帧率、帧率占比、CPU、平均占用率、最大占用率、总最大占用率、CPU、帧渲染时间Frame Time)，项目集2中包括数据指标(帧率、帧率占比、GPU、最大占用率、平均占用率、图形、Draw Calls、面数)。
可选的，历史测试数据中的数据指标可以是采集的全部数据指标，也可以是性能测试中采集的部分数据指标；当历史测试数据中的数据指标是全部数据指标时，每一次性能测试得到的历史测试数据的数目是一致的，仅是各个数据指标对应的数值存在差异，在后续对各个数据指标进行风险评估时，各个数据指标对应的风险值和风险度也对应存在差异；当历史测试数据中的数据指标是部分数据指标时，每一次性能测试得到的历史测试数据的数目存在一定的差异，例如，第一次性能测试中测试数据指标“帧率、平均帧率、帧率占比、CPU、平均占用率、最大占用率、总最大占用率、CPU、帧渲染时间Frame Time”，第二次性能测试中测试数据指标“帧率、平均帧率、GPU、平均占用率”等等，按照测试时间顺序排列每一次性能测试，并为其设置唯一的项目集序号，示例性的，第n次性能测试编为项目集序号n，n为正整数。
可选的，将获取历史测试数据对应的项目集按照表格的形式进行文字形式的存储或者索引序号形式的存储，示例性，请参见下表1和表2，表1示出了以文字形式存储历史数据，表2示出了以索引序号形式存储历史数据。
表1：
Figure BDA0003494041990000101
Figure BDA0003494041990000111
表2：
项目集序号 数据指标集
1 A、1、2、B、3、4、5、E、13、…
2 A、2、C、7、…
… …
5 A、2、C、6、7、F、16、17、…
6 D、8、9、…
7 A、1、B、3、4、E、13、F、16、…
… …
表1和表2之间数据指标和索引序号的转换原理具体请参加图6和图7，如图6所示，在绘制第一图模型时(即对应上述表1)，每增加一个数据指标(节点)均为其设置唯一标识自身的索引序号，示例性的，当增加数据指标“帧率”时，为数据指标“帧率”设置唯一标识自身的索引序号“A”，在后续将文字形式的第一图模型转换为索引序号形式的第一图模型时，如图7所示，将原本表示“帧率”的结点更改为“A”结点，数据指标与索引序号之间的关系可以是根据测试时间顺序确定的，也可以是根据数据指标的重要性决定，也可以是根据相关人员自行设置的，本申请对此不加以限定。图6与图7之间其他文字与索引序号之间的对应关系请参见上述“帧率”节点与“A”节点的转换过程，此处不加以赘述。
步骤503，从历史测试数据中获取各数据指标对应的支持度。
可选的，支持度用于在历史测试数据中指示数据指标对应的风险频率；历史测试数据中存储有各数据指标对应的风险度，根据风险度获取各数据指标在历史测试数据的风险测试结果中出现的频率，根据各数据指标在风险测试结果中出现的频率，确定各数据指标对应的支持度，换句话说，将各数据指标在风险测试结果中出现的次数作为各数据指标对应的支持度。
可选的，在计算历史测试数据中各数据指标对应的支持度之前还包括对历史测试数据进行筛选，将数值正常的数据指标从历史测试数据中删除，也即，获取历史测试数据后，根据各数据指标对应的数值按照经验规则和标准规则，只保留存在风险的数据指标，得到筛选后的历史测试数据，计算筛选后的历史测试数据中各数据指标对应的风险频率。
可选的，上述数据指标筛选过程可以利用人工分析对存在风险的历史测试数据集进行处理，记录存在风险的各数据指标以及单组集数据指标整体测试评估的风险度。示例性的，基于表2进行风险筛选，得到表3，表3用于指示历史测试数据存在风险可能的数据指标集合。
表3：
项目集序号 风险数据指标集
1 A、1、2、B、3、4、E、13、…
5 A、2、C、6、7、F、16、…
7 A、1、B、3、E、13、F、16、…
… …
结合表2和表3进行说明，表2中的项目集1存在正常数值的数据指标5，将数据指标5从项目集1中删除，保留其他数据指标，也就是说，表2中项目集1中存在的各数据指标均是存在风险可能的。
在本申请实施例中，计算各数据指标在风险指标集中出现的频率/次数，将出现的频率/次数作为该数据指标的支持度，基于表3，得到数据指标A对应的支持度为2，指标2的支持度1等。示例性的，依照计算支持度的原理计算各数据指标的支持度，示例性的，请参见表4，表4示出了各数据指标对应的支持度。
表4：
Figure BDA0003494041990000121
Figure BDA0003494041990000131
值得注意的是，表4中各数据指标对应的支持度仅为示意性的举例说明。
步骤504，基于各数据指标对应的支持度对第一图模型进行更新，得到第二图模型。
可选的，基于各数据指标对应的支持度，按预设规则对各数据指标进行顺序排列，所述预设规则包括升序排列规则或降序排列规则；利用升序排列规则或降序排列规则对支持度进行排序后，便于对第一图模型进行更新，示例性，本申请实施例中，请参见上表4，按照降序排列规则对各数据指标的支持度进行排序。
可选的，在计算各数据指标对表3中风险指标集中的数据指标进行重新排序，也即，每一个风险指标集中的数据指标按照支持度从大到小进行排序，并得到重新排序后的数据指标集，示例性的，请参见下表5，表5中示出了按照表4示出的支持度顺序重新排序的数据指标集。
表5：
Figure BDA0003494041990000132
其中，数据指标4的支持度大于数据指标3的支持度，按照大小关系重新排序数据指标4和数据指标3。
可选的，基于顺序排列后的各数据指标，在第一图模型中补充构建节点之间的第二关联关系，第二关联关系用于指示节点之间的关联关系或者用于指示节点之间的所属关系或者用于指示节点之间互相影响的关系，本申请对此不加以限定，可选的，第一关联关系和第二关联关系可以用于表示同一种的关系，也可以用于表示不同的关系，本申请对此同样也不加以限定。
基于上述第二关联关系的补充构建，得到所述第二图模型。本申请实施例中，补充构建包括补充构建(可以理解为增加)和删除操作，如下对补充构建操作进行详述。
第一、基于顺序排列的各数据指标的支持度顺序，在与关联关系要求匹配的节点之间补充构建(增加)第二关联关系，其中关联关系要求用于指示当前节点与其他节点存在关联关系，示例性的，结合表5、图7和图8进行说明，图8为本申请实施例提供的对第一图模型进行补充构建的过程，根据支持度排序后的各数据指标的顺序，依序在图7示出的第一图模型中添加缺少的数据指标之间的第二关联关系，其中虚线80用于指示项目集1对应添加的第二关联关系，点划线81用于指示项目集5对应添加的第二关联关系。
第二、基于图8示出的图模型和排序后的风险数据指标集(表5对应的内容)，进行二次检查，将与关联关系要求失配的节点之间删除第二关联关系，也即，删除不可靠的数据指标节点之间的关联，示例性的，根据项目集1建立了A-1-2之间的关联关系，但是在检查到项目集7的时候，仅存在A-1的关联关系，这就代表1-2的关联置信度较低，此时对应删除1-2之间的数据指标关联关系，具体请参见图9示出的对第一图模型进行关联删除的过程，基于图8增加的1-2之间的关联关系，在检查到后续项目集时，发现1-2之间的关联置信度较低，则删除1-2之间的关联关系90。
可选的，按照上述方式，检查所有历史测试数据，完成第一图模型的更新过程，得到第二图模型。
可选的，第二图模型用于对性能测试数据进行评估，得到该性能测试数据对应的风险评估结果。
综上所述，本申请实施例提供的指标风险方法中，将历史测试数据通过图模型进行转换，使得图模型中的数据指标对应的节点得到一定上的量化；其次通过图模型快速定位数据指标之间的关联关系，将部分定性的分析用风险值衡量，进而得到对应的风险度，一定程度上提高分析效率，降低人工分析的成本。
在一个可选的实施例中，具体请参见10，图10是本申请另一个示例性实施例提供的构建第一图模型的流程图，以该方法应用于服务器中进行说明，该方案中包括：
步骤1001，获取至少两个数据指标。
可选的，性能测试用于度量游戏客户端的各项数据指标是否正常，该过程可以是对游戏客户端的所有数据指标进行统一测试，也可以是针对游戏客户端的目标数据指标进行测试，本申请对此不加以限定。
可选的，在性能测试过程中，采集游戏客户端对应的至少两个数据指标，并存储至少两个数据指标以及对应的数值，例如，帧率、内存、CPU、GPU等。
可选的，在获取至少两个数据指标后，还包括对至少两个数据指标进行风险预评估，得到至少两个数据指标对应的风险值以及此次性能测试过程中的整体风险度。
步骤1002，按照预设分类规则对至少两个数据指标进行分类，得到至少一组数据指标簇节点。
可选的，按照预设分类规则进行分类包括但不限于如下方式：
第一，将属于相同的测试方向的数据指标作为一个簇，测试方向也可以用于指示至少两个数据指标同属于一个类别，或者，该数据指标对应衍生多个与该数据指标相关的其他数据指标，例如，请参加图11，簇1103中包括三个数据指标，分别为GPU、最大占用率以及平均占用率，该簇中的数据指标最大占用率和平均占用率为数据指标GPU的衍生指标，也即，测试GPU的同时，会基于采集的GPU的相关数值得到GPU最大占用率和GPU平均占用率，当应用于游戏客户端的性能测试场景时，此处的最大占用率为目标应用程序的最大占用率和平均占用率，目标应用程序为游戏程序。
第二，将属于同一个风险度等级的数据指标作为一个簇，获取至少两个数据指标对应的风险度数值，将属于同一个风险度等级的数据指标作为一个簇进行显示，风险度等级的划分包括定量划分，定量划分为将数据指标分为高风险、中风险、低风险中的至少一个，也即，将数据指标的风险度数值按照划分档数进行分类。
第三，将数据指标之间互相影响的数据指标作为一个簇，获取至少两个数据指标对应的风险度数值，分析至少两个数据指标之间是否存在关联关系，例如，CPU指标过高会导致FPS指标降低，可见，CPU影响FPS，在进行指标分类时，将影响数据指标FPS的其他数据指标分为一个簇，并将FPS作为簇节点(第一层节点)，将影响FPS的其他数据指标作为簇的第二层节点，且在后续图模型的显示中，影响FPS的其他数据指标指向簇节点FPS。
第四，按照数据指标的重要程度作为一个簇，获取至少两个数据指标，按照数据指标对整个***的重要程序进行分类，将重要程序较高的数据指标作为簇的第一层节点，将重要程度中等的数据指标作为簇的第二层节点，将重要程序较低的数据指标作为簇的第三层节点。
上述分类方式仅为示例性举例，还可以应用其他分类方式对至少两个数据指标进行分类，本申请对此不加以限定。
步骤1003，基于至少一组数据指标簇节点构建得到第一图模型。
可选的，对至少一组数据指标节点进行分类，得到至少一组基层节点，本申请实施例中，至少一组基层节点包括基础数据指标节点和深度数据指标节点，基层节点还可以根据实际需要进行分类，本申请对此不加以限定。
在一个示例性实施例中，构建基础数据指标节点对应的第一子图模型，也即，将基础数据指标节点作为第一子图模型的第一层节点，将至少一组数据簇节点内的第一层节点作为第一子图模型的第二层节点，将至少一组数据簇节点内的第二层节点作为第一子图模型的第三层节点；构建深度数据指标节点对应的第二子图模型，将深度数据指标节点作为第二子图模型的第一层节点，将至少一组数据簇节点内的第一层节点作为第二子图模型的第二层节点，将至少一组数据簇节点内的第二层节点作为第二子图模型的第三层节点。
可选的，基于第一子图模型和第二子图模型，得到初始图模型，并将初始图模型中的文字表述按照预设方式替换为数字索引。示例性的，请参见11，初始图模型1101中包括基层节点基础数据指标节点1104和深度数据指标节点1105，将簇1103连接基础数据指标节点1104处，可见，在初始图模型1101中，基层节点为初始图模型1101的第一层节点，簇1103内的第一层节点作为初始图模型1101的第二层节点，簇1103内的第二层节点作为第一图模型1102的第三层节点，将文字形式的初始图模型转换为索引形式的图模型，得到第一图模型1102，也即，将帧率节点替换为节点A，将帧率占比替换为节点1。
综上所述，本申请实施例提供的指标风险方法中，将历史测试数据通过图模型进行转换，使得图模型中的数据指标对应的节点得到一定上的量化；其次通过图模型快速定位数据指标之间的关联关系，将部分定性的分析用风险值衡量，进而得到对应的风险度，一定程度上提高分析效率，降低人工分析的成本。
在一个可选的实施例中，具体请参见12，图12是本申请另一个示例性实施例提供的指标数据评估的流程图，以该方法应用于服务器中进行说明，该方法包括：
步骤1201，基于至少两个数据指标对应的测试数值、至少两个数据指标对应的风险度以及历史测试数据的整体风险度，对目标数据指标进行风险度划分。
可选的，从历史数据模块中获取历史测试数据，该历史测试数据中包括至少两个数据指标、至少两个数据指标对应的数值、至少两个数据指标对应的风险度以及历史测试数据整体的风险度，将一次性能测试记为一组项目集，例如，获取历史测试数据中的项目集1和项目集2；其中，项目集1中包括数据指标(帧率、平均帧率、帧率占比、CPU、平均占用率、最大占用率、总最大占用率、CPU、帧渲染时间Frame Time)，项目集2中包括数据指标(帧率、帧率占比、GPU、最大占用率、平均占用率、图形、Draw Calls、面数)。
可选的，将至少两个数据指标对应的数值和风险度数值以及历史测试数据对应的整体风险度数值叠加显示在第二图模型上。
可选的，对第二图模型进行风险度划分的方法包括但不限于如下方式：
第一、按照标准风险度对第二图模型进行划分，经验规则库模块中包括基于人工分析后得到的风险度划分方式，例如，对于数据指标A来说，当数值V小于预设数值V0后，确定数据指标A的风险度数值s为s0，当数值v0≤v<v1，确定数据指标A的风险度数值s为s1，将数值v≥v1时，确定数据指标A的风险度数值为s2。
第二、按照统计风险度对第二图模型进行划分，也就是说，当数据指标的风险度划分规则不能适用标准风险度划分时，需要统计历史测试数据来确定风险度的划分等级，例如，存在n条历史测试数据，对于单个数据指标来说，每一个数据指标都有对应的数值v和风险度s，通过对数值v和风险度s进行统计计算，确定最终的风险度划分方式，其中统计计算包括但不限于对各数据指标的数值和风险度进行加权求和、求解各数据指标之间的交集等。
可选的，在对第二图模型进行风险度划分后，可以在第二图模型的基础上绘制风险度预警，例如，将属于同一等级风险度的数据指标用同一种颜色进行显示，或者，将属于同一等级的风险度对应的数据指标框选至同一区域内等。
步骤1202，确定第二图模型的图风险度。
可选的，利用上述步骤1201中划分风险度的方式确定对应的风险临界阈值，风险临界阈值用于确定数据指标为风险数据指标的阈值，示例性，当该数据指标适用标准风险度划分时，直接从经验规则库模块中确定该数据指标的风险临界阈值；若该数据指标不适用标准风险度划分时，根据统计计算得到的风险度确定风险临界阈值，计算第二图模型中至少两个数据指标对应的风险系数具体可参见公式1，公式1如下：
公式1：
Figure BDA0003494041990000181
公式1中，vi用于表示当前数据指标在性能测试过程采集得到的数值，ti用于表示当前数据指标对应的风险临界阈值，用于表示ri当前数据指标对应的风险系数。
可选的，对至少两个数据指标对应的支持度按照升序排列的方式进行排序，基于升序排列后的顺序，计算第二图模型内各数据指标对应的节点之间的关联度，关联度用于表示当前数据指标受其他数据指标影响的程度，关联度是根据节点自身的关联度和与自身相关联的节点的关联度计算得到的，本申请实施例中，节点自身的关联度为预设值，将预设值设为1。
示例性的，结合图9示出的图模型作为第二图模型计算各个数据指标对应的关联度，具体可参见下表6，表6示出了各数据指标对应的关联度。
表6：
Figure BDA0003494041990000182
Figure BDA0003494041990000191
具体以节点A关联度计算过程为例：
节点16、节点17的关联度分别为I16＝1，I17＝1，得到节点F的关联度IF＝I16+I17+1＝3；
节点6的关联度I6＝IF+1＝4，节点7的关联度I7＝I6+1＝5，得到节点C的关联度IC＝I6+I7+1＝10；
节点13、节点14、节点15的关联度分别为I13＝1，I14＝1，I15＝1，得到节点E的关联度IE＝I14+I13+I15+1＝4；
节点3的关联度I3＝IE+1＝5，节点4的关联度I4＝I3+1＝6，得到E节点的关联度度IE＝I3+I4+1＝12；
节点2的关联度I2＝IB+IC+1＝23，节点1的关联度为I1＝1，节点A的关联度为IA＝I1+I2+1＝25。
可选的，上述使用节点对应的风险系数和关联度表示了图模型内点和边的权重，通过计算风险值，对风险度进行划分；还可以利用神经网络、遗传算法等训练得到第二图模型中点和边的关系，本申请对此不加以限定。
值得注意的是，计算关联度时还可以利用节点关联的所有子节点的个数进行计算，本申请对此不加以限定。
可选的，基于风险系数和所述关联度，确定第二图模型的图风险度，本申请实施例中，将数据指标对应的关联度和数据指标对应的风险系数的乘积，确定为该数据指标对应的风险值，将每个数据指标对应的风险值的加权和作为第二图模型的整体风险值。
步骤1203，基于第二图模型的图风险度和历史测试数据的整体风险度，更新第二图模型的参数。
可选的，计算第二图模型的图风险度后对第二图模型中的风险评估模块对应的参数进行更新。
可选的，在对第二图模型的参数更新后，得到用于性能测试数据的指标风险分析模型。
可选的，应用指标风险分析模型的过程包括如下步骤：
获取待评估的性能测试数据；
将待评估的性能测试数据输入指标分析模型(更新后的第二图模型)进行风险评估，得到所述待评估的性能测试数据对应的风险评估结果，并结合风险评估结果进行预设规则的风险预警。
综上所述，本申请实施例提供的指标风险方法中，将历史测试数据通过图模型进行转换，使得图模型中的数据指标对应的节点得到一定上的量化；其次通过图模型快速定位数据指标之间的关联关系，将部分定性的分析用风险值衡量，进而得到对应的风险度，一定程度上提高性能数据的分析效率，降低人工分析的成本。
本申请实施例中，利用历史测试数据对应的整体风险度和图风险度，不断训练计算第二图模型，并按照划分风险度的方式，知道每个数据指标对应的节点的风险值和风险度的对应划分，基于此得到整体风险值和风险度对应的风险划分，完成第二图模型(指标风险分析模型)的训练过程，结合历史测试数据作为定性分析风险的因素，一定程度上提高风险评估分析效率。
图13是本申请一个示例性实施例提供的指标数据评估装置的结构框图，如图13所示，该装置包括：获取模块1310和更新模块1320；
获取模块1310，用于获取用于性能测试的第一图模型，所述第一图模型中包括至少两个数据指标对应的节点，所述数据指标用于指示性能测试的测试方向，所述节点之间存在第一关联关系；
所述获取模块1310，还用于获取历史测试数据，所述历史测试数据是基于所述至少两个数据指标进行测试得到的数据；
所述获取模块1310，还用于从所述历史测试数据中获取各数据指标对应的支持度，所述支持度用于指示在所述历史测试数据中数据指标对应的风险频率；
更新模块1320，用于基于各数据指标对应的支持度对所述第一图模型进行更新，得到第二图模型，所述第二图模型用于对性能测试数据进行评估，得到风险评估结果。
在一个可选的实施例中，如图14所示，所述装置还包括排序模块1330和构建模块1340；
所述排序模块1330，用于基于各数据指标对应的支持度，按预设规则对各数据指标进行顺序排列，所述预设规则包括升序排列规则或降序排列规则；
所述构建模块1340，用于基于顺序排列后的各数据指标，在所述第一图模型中补充构建所述节点之间的第二关联关系，得到所述第二图模型。
在一个可选的实施例中，所述构建模块1340还用于基于顺序排列后的各数据指标，在与关联关系要求匹配的节点之间补充构建所述第二关联关系；基于顺序排列后的各数据指标，在与所述关联关系要求失配的节点之间删除所述第二关联关系。
在一个可选的实施例中，所述获取模块1310，还用于获取各数据指标在所述历史测试数据的风险测试结果中出现的频率；根据各数据指标在所述风险测试结果中出现的频率，确定各数据指标对应的支持度。
在一个可选的实施例中，所述获取模块1310，还用于将各数据指标在所述风险测试结果中出现的次数作为各数据指标对应的支持度。
在一个可选的实施例中，如图14所示，所述装置还包括分类模块1350；
所述获取模块1310，还用于获取所述至少两个数据指标；
所述分类模块1350，用于按照预设分类规则对所述至少两个数据指标进行分类，得到至少一组数据指标簇节点，其中，连接同一数据指标簇节点的数据指标对应相同的测试方向；
所述构建模块1340，还用于基于所述至少一组数据指标簇节点构建得到所述第一图模型。
在一个可选的实施例中，所述分类模块1350，还用于对所述至少一组数据指标簇节点进行分类，得到至少一组基层节点；
所述构建模块1340，还用于基于所述至少一组基层节点构建得到所述第一图模型。
在一个可选的实施例中，所述至少一组基层节点包括基础数据指标节点和深度数据指标节点；所述构建模块1340，还用于构建所述基础数据指标节点对应的第一子图模型；构建所述深度数据指标节点对应的第二子图模型；基于所述第一子图模型和所述第二子图模型，得到所述第一图模型。
在一个可选的实施例中，所述历史测试数据包括所述至少两个数据指标对应的测试数值、所述至少两个数据指标对应的风险度以及所述历史测试数据的整体风险度；如图14所示，所述装置还包括划分模块1360和确定模块1370；
所述划分模块1360，还用于基于至少两个数据指标对应的测试数值、所述至少两个数据指标对应的风险度以及所述历史测试数据的整体风险度，对所述第二图模型进行风险度划分；
所述确定模块1370，还用于确定所述第二图模型的图风险度；
所述更新模块1320，还用于基于所述第二图模型的图风险度和所述历史测试数据的整体风险度，更新所述第二图模型的参数。
在一个可选的实施例中，所述确定模块1370，还用于确定所述第二图模型中所述至少两个数据指标对应的风险系数；确定所述至少两个数据指标的关联度，所述关联度用于表示当前数据指标受其他数据指标影响的程度；基于所述风险系数和所述关联度，确定所述第二图模型的图风险度。
在一个可选的实施例中，所述排序模块1330，还用于按照所述至少两个数据指标的支持度对应的数值，对所述至少两个数据指标进行升序排列；
所述确定模块1370，还用于基于升序排列后的顺序，计算所述第二图模型内各数据指标对应的节点之间的关联度，所述关联度是根据节点自身的关联度和与自身相关联的节点的关联度计算得到的，其中节点自身的关联度为预设值。
在一个可选的实施例中，所述获取模块1310，还用于获取待评估的数据指标，所述待评估的数据指标用于指示；
所述确定模块1370，还用于将所述待评估的数据指标输入更新后的第二图模型进行风险评估，得到所述待评估的数据指标对应的风险评估结果。
综上所述，本申请实施例提供的指标数据评估装置，将历史测试数据通过图模型进行转换，使得图模型中的数据指标对应的节点得到一定上的量化；其次通过图模型快速定位数据指标之间的关联关系，将部分定性的分析用风险值衡量，进而得到对应的风险度，一定程度上提高分析效率，降低人工分析的成本。
需要说明的是：上述实施例提供的指标数据评估装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的指标风险数据装置与指标数据评估方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图15示出了本申请一个示例性实施例提供的服务器的结构示意图。该服务器可以是图2示出的服务器220。具体来讲：
服务器220包括中央处理单元(CPU，Central Processing Unit)1501、包括随机存取存储器(RAM，Random Access Memory)1502和只读存储器(ROM，Read Only Memory)1503的***存储器1504，以及连接***存储器1504和中央处理单元1501的***总线1505。服务器220还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***，Input Output System)1506，和用于存储操作***1513、应用程序1514和其他程序模块1515的大容量存储设备1407。
基本输入/输出***1506包括有用于显示信息的显示器1508和用于用户输入信息的诸如鼠标、键盘之类的输入设备1509。其中显示器1508和输入设备1409都通过连接到***总线1505的输入输出控制器1510连接到中央处理单元1501。基本输入/输出***1506还可以包括输入输出控制器1510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器150还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1507通过连接到***总线1505的大容量存储控制器(未示出)连接到中央处理单元1501。大容量存储设备1507及其相关联的计算机可读介质为服务器220提供非易失性存储。也就是说，大容量存储设备1507可以包括诸如硬盘或者紧凑型光盘只读存储器(CD-ROM，Compact Disc Read Only Memory)驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM,Electrically Erasable Programmable Read OnlyMemory)、闪存或其他固态存储设备，CD-ROM、数字通用光盘(DVD，Digital VersatileDisc)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的***存储器1504和大容量存储设备1507可以统称为存储器。
根据本申请的各种实施例，服务器220还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器220可以通过连接在***总线1505上的网络接口单元1511连接到网络1512，或者说，也可以使用网络接口单元1511来连接到其他类型的网络或远程计算机***(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。本领域技术人员可以理解，图15中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请的实施例还提供了一种计算机设备，该计算机设备可以实现为如图2所示的终端。该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的指标数据评估方法。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的指标数据评估方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的指标数据评估方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM，Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种指标数据评估方法，其特征在于，所述方法包括：
获取用于性能测试的第一图模型，所述第一图模型中包括至少两个数据指标对应的节点，所述数据指标用于指示性能测试的测试方向，所述节点之间存在第一关联关系；
获取历史测试数据，所述历史测试数据是基于所述至少两个数据指标进行测试得到的数据；
从所述历史测试数据中获取各数据指标对应的支持度，所述支持度用于指示在所述历史测试数据中数据指标对应的风险频率；
基于各数据指标对应的支持度对所述第一图模型进行更新，得到第二图模型，所述第二图模型用于对性能测试数据进行评估，得到风险评估结果。
2.根据权利要求1所述的方法，其特征在于，所述基于各数据指标对应的支持度对所述第一图模型进行更新，得到第二图模型，包括：
基于各数据指标对应的支持度，按预设规则对各数据指标进行顺序排列，所述预设规则包括升序排列规则或降序排列规则；
基于顺序排列后的各数据指标，在所述第一图模型中补充构建所述节点之间的第二关联关系，得到所述第二图模型。
3.根据权利要求2所述的方法，其特征在于，所述基于顺序排列后的各数据指标，在所述第一图模型中补充构建所述节点之间的第二关联关系，得到所述第二图模型，包括：
基于顺序排列后的各数据指标，在与关联关系要求匹配的节点之间补充构建所述第二关联关系；
基于顺序排列后的各数据指标，在与所述关联关系要求失配的节点之间删除所述第二关联关系。
4.根据权利要求1至3任一所述的方法，其特征在于，所述从所述历史测试数据中获取各数据指标对应的支持度，包括：
获取各数据指标在所述历史测试数据的风险测试结果中出现的频率；
根据各数据指标在所述风险测试结果中出现的频率，确定各数据指标对应的支持度。
5.根据权利要求4所述的方法，其特征在于，所述根据各数据指标在所述风险测试结果中出现的频率，确定各数据指标对应的支持度，包括：
将各数据指标在所述风险测试结果中出现的次数作为各数据指标对应的支持度。
6.根据权利要求1至3任一所述的方法，其特征在于，所述获取用于性能测试的第一图模型，包括：
获取所述至少两个数据指标；
按照预设分类规则对所述至少两个数据指标进行分类，得到至少一组数据指标簇节点，其中，连接同一数据指标簇节点的数据指标对应相同的测试方向；
基于所述至少一组数据指标簇节点构建得到所述第一图模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述至少一组数据指标簇节点构建得到所述第一图模型，包括：
对所述至少一组数据指标簇节点进行分类，得到至少一组基层节点；
基于所述至少一组基层节点构建得到所述第一图模型。
8.根据权利要求7所述的方法，其特征在于，所述至少一组基层节点包括基础数据指标节点和深度数据指标节点；
所述方法还包括：
构建所述基础数据指标节点对应的第一子图模型；
构建所述深度数据指标节点对应的第二子图模型；
基于所述第一子图模型和所述第二子图模型，得到所述第一图模型。
9.根据权利要求1至3任一所述的方法，其特征在于，所述历史测试数据包括所述至少两个数据指标对应的测试数值、所述至少两个数据指标对应的风险度以及所述历史测试数据的整体风险度；
所述方法还包括：
基于至少两个数据指标对应的测试数值、所述至少两个数据指标对应的风险度以及所述历史测试数据的整体风险度，对所述第二图模型进行风险度划分；
确定所述第二图模型的图风险度；
基于所述第二图模型的图风险度和所述历史测试数据的整体风险度，更新所述第二图模型的参数。
10.根据权利要求9所述的方法，其特征在于，所述确定所述第二图模型的图风险度，包括：
确定所述第二图模型中所述至少两个数据指标对应的风险系数；
确定所述至少两个数据指标的关联度，所述关联度用于表示当前数据指标受其他数据指标影响的程度；
基于所述风险系数和所述关联度，确定所述第二图模型的图风险度。
11.根据权利要求10所述的方法，其特征在于，所述确定所述至少两个数据指标的关联度，包括：
按照所述至少两个数据指标的支持度对应的数值，对所述至少两个数据指标进行升序排列；
基于升序排列后的顺序，计算所述第二图模型内各数据指标对应的节点之间的关联度，所述关联度是根据节点自身的关联度和与自身相关联的节点的关联度计算得到的，其中节点自身的关联度为预设值。
12.根据权利要求9所述的方法，其特征在于，所述基于所述第二图模型的图风险度和所述历史测试数据的整体风险度，更新所述第二图模型的参数之后，还包括：
获取待评估的性能测试数据；
将所述待评估的性能测试数据输入更新后的第二图模型进行风险评估，得到所述待评估的性能测试数据对应的风险评估结果。
13.一种指标数据评估装置，其特征在于，所述装置包括：
获取模块，用于获取用于性能测试的第一图模型，所述第一图模型中包括至少两个数据指标对应的节点，所述数据指标用于指示性能测试的测试方向，所述节点之间存在第一关联关系；
所述获取模块，还用于获取历史测试数据，所述历史测试数据是基于所述至少两个数据指标进行测试得到的数据；
所述获取模块，还用于从所述历史测试数据中获取各数据指标对应的支持度，所述支持度用于指示在所述历史测试数据中数据指标对应的风险频率；
更新模块，用于基于各数据指标对应的支持度对所述第一图模型进行更新，得到第二图模型，所述第二图模型用于对性能测试数据进行评估，得到风险评估结果。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至12任一所述的指数据评估方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至12任一所述的指标数据评估方法。
16.一种计算机程序产品，其特征在于，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如权利要求1至12任一所述的指标数据评估方法。
CN202210106280.9A 2022-01-28 指标数据评估方法、装置、设备、存储介质及程序产品 Active CN114510405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210106280.9A CN114510405B (zh) 2022-01-28 指标数据评估方法、装置、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210106280.9A CN114510405B (zh) 2022-01-28 指标数据评估方法、装置、设备、存储介质及程序产品

Publications (2)

Publication Number Publication Date
CN114510405A true CN114510405A (zh) 2022-05-17
CN114510405B CN114510405B (zh) 2024-07-09

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078054A (zh) * 2023-06-07 2023-11-17 科学技术部火炬高技术产业开发中心 一种科技型企业创新能力量化评估方法及***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996077A (zh) * 2014-05-22 2014-08-20 中国南方电网有限责任公司电网技术研究中心 一种基于多维时间序列的电气设备故障预测方法
US20170048120A1 (en) * 2015-08-11 2017-02-16 Txmq, Inc. Systems and Methods for WebSphere MQ Performance Metrics Analysis
CN107908561A (zh) * 2017-11-16 2018-04-13 珠海全志科技股份有限公司 虚拟现实软件性能测试方法和***
CN110750459A (zh) * 2019-10-23 2020-02-04 天津汇缘诚信科技有限公司 基于白盒分析的测试用例自动生成和测试进程管理方法
CN111045912A (zh) * 2019-12-29 2020-04-21 浪潮(北京)电子信息产业有限公司 一种ai应用性能评估方法、装置及其相关设备
CN111104535A (zh) * 2019-11-20 2020-05-05 中国第一汽车股份有限公司 一种数据管理***及数据管理方法
US20210184958A1 (en) * 2019-12-11 2021-06-17 Cisco Technology, Inc. Anomaly detection of model performance in an mlops platform
US20210232498A1 (en) * 2020-04-17 2021-07-29 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for testing edge computing, device, and readable storage medium
CN113204493A (zh) * 2021-05-28 2021-08-03 中国工商银行股份有限公司 一种基于压力测试的性能评估方法及装置
US20210320847A1 (en) * 2018-10-15 2021-10-14 Netz Forecasts Ltd. Systems and methods for network stabilization prediction
US20220414539A1 (en) * 2019-11-28 2022-12-29 Mona Labs Inc. Machine learning performance monitoring and analytics

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996077A (zh) * 2014-05-22 2014-08-20 中国南方电网有限责任公司电网技术研究中心 一种基于多维时间序列的电气设备故障预测方法
US20170048120A1 (en) * 2015-08-11 2017-02-16 Txmq, Inc. Systems and Methods for WebSphere MQ Performance Metrics Analysis
CN107908561A (zh) * 2017-11-16 2018-04-13 珠海全志科技股份有限公司 虚拟现实软件性能测试方法和***
US20210320847A1 (en) * 2018-10-15 2021-10-14 Netz Forecasts Ltd. Systems and methods for network stabilization prediction
CN110750459A (zh) * 2019-10-23 2020-02-04 天津汇缘诚信科技有限公司 基于白盒分析的测试用例自动生成和测试进程管理方法
CN111104535A (zh) * 2019-11-20 2020-05-05 中国第一汽车股份有限公司 一种数据管理***及数据管理方法
US20220414539A1 (en) * 2019-11-28 2022-12-29 Mona Labs Inc. Machine learning performance monitoring and analytics
US20210184958A1 (en) * 2019-12-11 2021-06-17 Cisco Technology, Inc. Anomaly detection of model performance in an mlops platform
CN111045912A (zh) * 2019-12-29 2020-04-21 浪潮(北京)电子信息产业有限公司 一种ai应用性能评估方法、装置及其相关设备
US20210232498A1 (en) * 2020-04-17 2021-07-29 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for testing edge computing, device, and readable storage medium
CN113204493A (zh) * 2021-05-28 2021-08-03 中国工商银行股份有限公司 一种基于压力测试的性能评估方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
成静: "移动应用测试方法与关键技术研究", 《中国优秀博士论文全文数据库（电子期刊）》, 31 May 2018 (2018-05-31), pages 1 - 21 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078054A (zh) * 2023-06-07 2023-11-17 科学技术部火炬高技术产业开发中心 一种科技型企业创新能力量化评估方法及***
CN117078054B (zh) * 2023-06-07 2024-04-05 科学技术部火炬高技术产业开发中心 一种科技型企业创新能力量化评估方法及***

Similar Documents

Publication Publication Date Title
WO2021017679A1 (zh) 地址信息解析方法、装置、***及数据获取方法
CN110995459B (zh) 异常对象识别方法、装置、介质及电子设备
CN107168995B (zh) 一种数据处理方法及服务器
CN113435602A (zh) 确定机器学习样本的特征重要性的方法及***
CN111797927A (zh) 用于确定机器学习样本的重要特征的方法及***
CN113537807B (zh) 一种企业智慧风控方法及设备
CN115204536A (zh) 楼宇设备故障预测方法、装置、设备及存储介质
CN112148766A (zh) 利用人工神经网络模型进行数据抽样的方法和***
CN114328277A (zh) 一种软件缺陷预测和质量分析方法、装置、设备及介质
CN113516417A (zh) 基于智能建模的业务评估方法、装置、电子设备及介质
CN111783883A (zh) 一种异常数据的检测方法及装置
CN116737373A (zh) 负载均衡方法、装置、计算机设备、存储介质
CN114510405B (zh) 指标数据评估方法、装置、设备、存储介质及程序产品
CN114510405A (zh) 指标数据评估方法、装置、设备、存储介质及程序产品
CN115630708A (zh) 一种模型更新方法、装置、电子设备、存储介质及产品
CN114511250A (zh) 一种基于机器学习的企业外迁风险预警方法及***
CN114334696A (zh) 质量检测方法及装置、电子设备和计算机可读存储介质
CN114511022A (zh) 特征筛选、行为识别模型训练、异常行为识别方法及装置
CN114092216A (zh) 企业信贷评级方法、装置、计算机设备和存储介质
CN112308419A (zh) 数据处理方法、装置、设备及计算机存储介质
CN111915018A (zh) 基于gbdt模型的规则提取方法和***
CN116484230B (zh) 识别异常业务数据的方法及ai数字人的训练方法
CN117574362B (zh) 一种达人账号数据异常分辨方法及***
CN113538020B (zh) 获取客群特征关联度方法、装置、存储介质和电子装置
CN114186833A (zh) 一种供应链网络的构建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant