CN112699014A - 一种存储性能预测功能的测试及展示方法及装置 - Google Patents
一种存储性能预测功能的测试及展示方法及装置 Download PDFInfo
- Publication number
- CN112699014A CN112699014A CN202011573559.5A CN202011573559A CN112699014A CN 112699014 A CN112699014 A CN 112699014A CN 202011573559 A CN202011573559 A CN 202011573559A CN 112699014 A CN112699014 A CN 112699014A
- Authority
- CN
- China
- Prior art keywords
- data
- performance
- prediction
- curve
- days
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000006870 function Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000007334 memory performance Effects 0.000 claims abstract description 14
- 239000003086 colorant Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 2
- 238000010998 test method Methods 0.000 claims description 2
- 230000001747 exhibiting effect Effects 0.000 claims 4
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 238000009434 installation Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 4
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 3
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- MWRWFPQBGSZWNV-UHFFFAOYSA-N Dinitrosopentamethylenetetramine Chemical compound C1N2CN(N=O)CN1CN(N=O)C2 MWRWFPQBGSZWNV-UHFFFAOYSA-N 0.000 description 2
- 229940112112 capex Drugs 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- FEBLZLNTKCEFIT-VSXGLTOVSA-N fluocinolone acetonide Chemical compound C1([C@@H](F)C2)=CC(=O)C=C[C@]1(C)[C@]1(F)[C@@H]2[C@@H]2C[C@H]3OC(C)(C)O[C@@]3(C(=O)CO)[C@@]2(C)C[C@@H]1O FEBLZLNTKCEFIT-VSXGLTOVSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种存储性能预测功能的测试及展示方法及装置，该方法包括：基于存储集群获取性能历史数据；从性能历史数据中，获取第一预定天数的数据作为训练数据；从性能历史数据中，获取第一预定天数之后的第二预定天数的数据作为测试数据；通过性能预测引擎基于训练数据进行预测，获取对第一预定天数之后的第二预定天数的预测数据；生成性能历史数据曲线、测试数据曲线、预测数据曲线，对比测试数据和预测数据，获取性能指标的预测误差。本发明可以用于展示预测结果的准确性，方便用户直观地体验性能预测功能的效果，并解决存储性能预测功能无法评价测试的问题以及大量数据手动汇总计算繁琐、耗时的问题。
Description
技术领域
本发明涉及存储技术领域，特别涉及一种存储性能预测功能的测试及展示方法及装置。
背景技术
性能是存储***提供的最重要能力之一，对数据中心的顺畅运维非常关键。作为IT***IO栈的基座，存储如果出现性能问题，会导致上层应用的一系列问题，通常而言这些问题都非常难定位(需要全栈性能分析)。所以对数据中心的运维人员，一个重大挑战是如何确保存储性能满足业务***的需求，避免性能问题。解决这个问题的前提，是对存储***的性能需求有明确的了解，并能准确预测未来需求。
业务***的性能需求非常复杂，不同的业务***有不同诉求(IOPS((Input/Output Operations Per Second))、带宽、时延)；同一个业务***在不同时间段有不同诉求(如：工作时间与非工作时间，交易业务与月度/季度/年度结算等)；随着企业发展，业务***的性能诉求也在不断变化(如客户量提升带来的性能要求变化)，这就导致很难通过人工来管理和预测性能变化，从而提前准备预案(存储扩容，业务迁移、均衡等)，这也加大了出现性能问题的概率，增加了数据中心的运维成本(OPEX：Operating Expenditure)。
如果能提前获知性指标的变化趋势，就可以帮助客户数据中心提前规划，降低性能事故率；也可以避免超配，以最小的代价满足性能要求；从而极大降低数据中的总体拥有成本(TCO：Total Cost of Ownership，TCO＝CAPEX+OPEX，CAPEX全称是CapitalExpenditure，资本性支出)。在智能运维领域最重要的实践之一，就是性能进行预测。
如今华为、惠普、EMC等一线厂商，已经陆续发布包含存储性能预测功能的产品。这类产品在开发测试过程中、客户演示、使用时，都普遍存在一个问题，无法直观评价预测结果是否准确。对于用户来说，只能参照厂商提供的官方资料，然而官方资料中的数据往往有夸大的成分，或者只适用于部分特殊场景，在实际用户环境上一般无法达到，在这种情况下，用户就无法判断性能预测在其存储设备上能否达到准确的预测效果。即便是提前给用户试用，因预测模型需要有一定的数据积累和机器学习过程(至少1个月以上)，要拿到正确的预测结果，试用时间就必须很长，并且预测出未来的数据，需要保留下来，等过若干天后，再与收集到的实际数据比较，判断预测是否准确。例如，需要预测未来1个月的性能趋势，则先要收集1个月的历史数据，放入预测引擎执行预测，记录下预测结果predict_result，同时记录从现在开始到未来1个月期间的性能数据real_result。将两份数据中同一时间的性能值放在一起比较，统计出预测结果与真实数据的偏差，作为判断预测值是否准确的依据。这种方法即浪费时间(至少需要2个月)，又费力(数据汇总、整理、计算)，并且最终的结果只是一个误差值，无法直观的让用户看到二者的差距。同理，在对存储性能预测功能进行测试的时候，也会面对相同点的问题。
发明内容
本说明书实施例提供了一种存储性能预测功能的测试及展示方法及装置。
本说明书实施例提供的一种存储性能预测功能的测试及展示方法，包括：
基于存储集群获取性能历史数据；
从所述性能历史数据中，获取第一预定天数的数据作为训练数据；
从所述性能历史数据中，获取所述第一预定天数之后的第二预定天数的数据作为测试数据；
通过性能预测引擎基于所述训练数据进行预测，获取针对所述第一预定天数之后的第二预定天数的预测数据；
生成性能历史数据曲线、测试数据曲线、预测数据曲线，对比所述测试数据和所述预测数据，获取性能指标的预测误差。
本说明书实施例提供的一种存储性能预测功能的测试及展示装置，包括：
数据获取模块，用于基于存储集群获取性能历史数据，并从所述性能历史数据中，获取第一预定天数的数据作为训练数据，以及获取所述第一预定天数之后的第二预定天数的数据作为测试数据，所述性能历史数据包括读写总IOPS、读写总带宽、CPU利用率、内存利用率在内的性能指标；
数据预测模块，用于通过性能预测引擎基于所述训练数据进行预测，获取针对所述第一预定天数之后的第二预定天数的预测数据；
曲线及预测误差获取模块，用于生成性能历史数据曲线、测试数据曲线、预测数据曲线，对比所述测试数据和所述预测数据，获取性能指标的预测误差。
本发明实施例主要通过收集、预埋存储设备的历史性能数据，为预测引擎提供测试数据，同时快速生成预测值和真实值拟合图片，并计算出平均误差值，为测试人员和用户提供对预测准确率的判断依据，可用于用于展示预测结果的准确性，方便用户更直观地体验性能预测功能的效果，并解决存储性能预测功能无法评价测试的问题以及大量数据手动汇总计算繁琐、耗时的问题。
附图说明
图1为本说明书一些实施例的存储性能预测功能的测试及展示方法的流程图。
图2为本说明书一些实施例的存储性能预测功能的测试及展示方法的细化示意图。
图3为本说明书一些实施例的存储性能预测功能的测试及展示方法的曲线示意图。
图4为本说明书一些实施例的存储性能预测功能的测试及展示装置的组成图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
如图1所示，本说明书一些实施例中提供了一种存储性能预测功能的测试及展示方法，包括基于存储集群获取性能历史数据；从所述性能历史数据中，获取第一预定天数的数据作为训练数据；从所述性能历史数据中，获取所述第一预定天数之后的第二预定天数的数据作为测试数据；通过性能预测引擎基于所述训练数据进行预测，获取针对所述第一预定天数之后的第二预定天数的预测数据；生成性能历史数据曲线、测试数据曲线、预测数据曲线，对比所述测试数据和所述预测数据，获取性能指标的预测误差。
在本说明书一些实施例中，所述基于存储集群获取性能历史数据的步骤，具体为，从所述存储集群中获取包括读写总IOPS、读写总带宽、CPU利用率、内存利用率在内的性能指标的性能历史数据。
结合图2，在本说明书一些实施例中，所述获取训练数据、获取测试数据、获取预测数据的步骤，具体为，从所述性能历史数据中随机截取若干组第一预定天数的数据作为训练数据，再往后截取第二预定天数的数据作为测试数据；创建虚拟资产的信息，***资产数据库表中；将所述训练数据***预测数据库的历史性能表中；调用性能预测指令，指定所述性能预测引擎对所述第一预定天数之后的第二预定天数进行预测，获取所述预测数据。
在本说明书的一些实施例中，所述生成性能历史数据曲线、测试数据曲线、预测数据曲线，对比所述测试数据和所述预测数据，获取性能指标的预测误差的步骤，具体为，使用所述测试数据与所述预测数据进行对比，计算预定性能指标的预测误差，并画出预定性能指标的性能历史数据曲线、预测数据曲线和测试数据曲线，并将所述预测误差和曲线保存在指定文件夹中。
结合图3，在本说明书一些实施例中，基于不同的颜色绘制性能历史数据曲线、预测数据曲线和测试数据曲线，在一张图表中集成展示预设性能指标的所述性能历史数据曲线、所述预测数据曲线和所述测试数据曲线，在所述图表上方标注出所述预设性能指标和预测误差值，并提供Excel格式的预测误差值。
结合图4，本发明实施例还提供了一种存储性能预测功能的测试及展示装置，包括，数据获取模块，用于基于存储集群获取性能历史数据，并从所述性能历史数据中，获取第一预定天数的数据作为训练数据，以及获取所述第一预定天数之后的第二预定天数的数据作为测试数据，所述性能历史数据包括读写总IOPS、读写总带宽、CPU利用率、内存利用率在内的性能指标；数据预测模块，用于通过性能预测引擎基于所述训练数据进行预测，获取针对所述第一预定天数之后的第二预定天数的预测数据；曲线及预测误差获取模块，用于生成性能历史数据曲线、测试数据曲线、预测数据曲线，对比所述测试数据和所述预测数据，获取性能指标的预测误差。
在本说明书一些实施例中，还可以包括展示模块，用于基于不同的颜色绘制性能历史数据曲线、预测数据曲线和测试数据曲线，在一张图表中集成展示预设性能指标的所述性能历史数据曲线、所述预测数据曲线和所述测试数据曲线，在所述图表上方标注出所述预设性能指标和预测误差值，并提供Excel格式的预测误差值。
在本说明书一些实施例中还提供了一种电子设备和计算机可读存储介质，电子设备包括存储器，用于存储计算机软件程序；处理器，用于运行所述计算机软件程序时实现所述存储性能预测功能的测试及展示方法的步骤。计算机可读存储介质存储有计算机软件程序，所述计算机软件程序被运行时实现存储性能预测功能的测试及展示方法的步骤。
下面结合图1至图4具体说明如下：
关于存储性能预测功能的测试及展示方法所对应的程序的安装和使用，可以通过安装包的形式部署在存储集群(storege_cluster)和执行性能预测的服务器(predict_server)上。安装包包含两个安装文件：第一个安装文件可以安装在storege_cluster，用于定期收集存储集群的性能数据(主要包含集群、节点、存储池、卷等资源的IOPS、带宽、时延、CPU利用率、内存使用率等)，以下可以简称为history_data，需要指出的是，如果存储管理***自身包含性能数据收集模块，并且收集后的数据经简单转换后可直接导入predict_server数据库中，那么则无需在storege_cluster上安装本工具。第二个安装文件可以安装在predict_server上，同时将history_data导入指定路径，执行预测指令，利用history_data，创建出相应的存储资产信息和历史数据，按照指定规则执行预测，将历史数据(相当于上文的性能历史数据)、预测结果(相当于上文的预测数据)和真实数据(相当于上文的测试数据)绘制在一张图中，同时计算预测误差值。
结合图2，针对性能模拟工具的历史数据收集和性能模拟过程，具体为，从存储集群上收集到的history_data，history_data要求至少x天以上(x为预测引擎规定的最少历史数据天数要求)，可以通过观察找到该数据大致变化周期n，在此基础上通过缩放变换为任意周期，例如n为1时，要模拟出5天为周期的历史数据，则将原历史数据的时间轴拉长5倍。
性能模拟过程会生成m个虚拟存储的资产，并从history_data中随机截取x天的性能数据，构造虚拟资产的历史性能数据表，然后对生成的虚拟资产的执行性能预测，未来y天的性能数据。具体步骤如下：
(1)读取历史性能文件，从中获取集群的读写总IOPS，读写总带宽，CPU利用率，内存利用率等性能历史数据。
(2)从历史数据中随机截取若干组x天的数据作为训练集(对应上文的训练数据)，再往后去y天作为测试集(对应上文的测试数据)。
(3)创建虚拟资产的信息，***资产数据库的表中。
(4)将训练集的数据(即性能历史数据)***预测数据库的历史性能表中。
(5)调用predict_server上的性能预测指令，指定性能容量预测引擎对虚拟资产未来y天的性能进行预测。
(6)查询预测数据库的性能预测结果表中是否有虚拟资产的预测结果，若有，返回该虚拟资产的性能预测结果。
(7)使用测试集与性能预测结果进行对比，计算各个性能指标的预测误差，并画出各个性能指标预测结果和真实结果的曲线图。将误差结果表和曲线图保存在指定文件夹中。
结合图3，图3即为使用本发明方法获取的预测结果和真实结果的曲线图，方便用户直观查看。图3中可以用不同颜色曲线绘制不同的数据样本，并可以在一张图中同时展示出某个资产所有性能指标，如：CPU利用率、WFAV缓存利用率、IOPS、读写带宽BANDWIDTH等，还可以在图表上方标注出指标和对应平均误差值MAPE，此外，还可以同时提供Excel格式的所有资产每项指标的MAPE值，方便统计计算。
综上，本发明提供了一种便捷的测试手段，解决了存储性能预测可测试性差、费时费力的问题，利用本发明实施例中的方案，可以快速完成数据准备、预测结果汇总。本发明实施例中的方案可以自动化数据收集和汇总，替代手工，提高了数据准确性和操作的易用性，通过自动化的脚本执行，完成数据收集、注入、预测执行、结果汇总一系列过程，将原本复杂的手动操作，变得更简单，同时降低了中间过程出错的概率。最后，本发明实施例中的方案可以将预测结果通过图表展示，更直观易懂，具体而言，将真实数据和预测数据绘制在同一张图片中，预测是否准确一目了然，同时，还可以Excel格式统计出偏差指标MAPE值，方便用户汇总，将多次测试结果放在一起横向比较。
虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。本发明是参照根据本发明实施例的方法的流程图和/或方框图来描述的。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于装置实施例，所以描述的比较简单，相关之处参见装置实施例的部分说明即可。以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (9)
1.一种存储性能预测功能的测试及展示方法，其特征在于，所述方法包括：
基于存储集群获取性能历史数据；
从所述性能历史数据中，获取第一预定天数的数据作为训练数据；
从所述性能历史数据中，获取所述第一预定天数之后的第二预定天数的数据作为测试数据；
通过性能预测引擎基于所述训练数据进行预测，获取针对所述第一预定天数之后的第二预定天数的预测数据；
生成性能历史数据曲线、测试数据曲线、预测数据曲线，对比所述测试数据和所述预测数据，获取性能指标的预测误差。
2.根据权利要求1所述的存储性能预测功能的测试及展示方法，其特征在于，
所述基于存储集群获取性能历史数据的步骤，具体为，
从所述存储集群中获取包括读写总IOPS、读写总带宽、CPU利用率、内存利用率在内的性能指标的性能历史数据。
3.根据权利要求1所述的存储性能预测功能的测试及展示方法，其特征在于，
所述获取训练数据、获取测试数据、获取预测数据的步骤，具体为，
从所述性能历史数据中随机截取若干组第一预定天数的数据作为训练数据，再往后截取第二预定天数的数据作为测试数据；
创建虚拟资产的信息，***资产数据库的表中；
将所述训练数据***预测数据库的历史性能表中；
调用性能预测指令，指定所述性能预测引擎对所述第一预定天数之后的第二预定天数进行预测，获取所述预测数据。
4.根据权利要求1所述的存储性能预测功能的测试及展示方法，其特征在于，
所述生成性能历史数据曲线、测试数据曲线、预测数据曲线，对比所述测试数据和所述预测数据，获取性能指标的预测误差的步骤，具体为，
使用所述测试数据与所述预测数据进行对比，计算预定性能指标的预测误差，并画出预定性能指标的性能历史数据曲线、预测数据曲线和测试数据曲线，并将所述预测误差和曲线保存在指定文件夹中。
5.根据权利要求4所述的存储性能预测功能的测试及展示方法，其特征在于，
基于不同的颜色绘制性能历史数据曲线、预测数据曲线和测试数据曲线，在一张图表中集成展示预设性能指标的所述性能历史数据曲线、所述预测数据曲线和所述测试数据曲线，在所述图表上方标注出所述预设性能指标和预测误差值。
6.一种存储性能预测功能的测试及展示装置，其特征在于，包括：
数据获取模块，用于基于存储集群获取性能历史数据，并从所述性能历史数据中，获取第一预定天数的数据作为训练数据，以及获取所述第一预定天数之后的第二预定天数的数据作为测试数据，所述性能历史数据包括读写总IOPS、读写总带宽、CPU利用率、内存利用率在内的性能指标；
数据预测模块，用于通过性能预测引擎基于所述训练数据进行预测，获取针对所述第一预定天数之后的第二预定天数的预测数据；
曲线及预测误差获取模块，用于生成性能历史数据曲线、测试数据曲线、预测数据曲线，对比所述测试数据和所述预测数据，获取性能指标的预测误差。
7.根据权利要求6所述的存储性能预测功能的测试及展示装置，其特征在于，还包括，
展示模块，用于基于不同的颜色绘制性能历史数据曲线、预测数据曲线和测试数据曲线，在一张图表中集成展示预设性能指标的所述性能历史数据曲线、所述预测数据曲线和所述测试数据曲线，在所述图表上方标注出所述预设性能指标和预测误差值，并提供Excel格式的预测误差值。
8.一种电子设备，其特征在于，包括
存储器，用于存储计算机软件程序；
处理器，用于运行所述计算机软件程序时实现根据权利要求1至5一项所述存储性能预测功能的测试及展示方法的步骤。
9.一种计算机可读存储介质，其特征在于，
所述计算机可读存储介质上存储有计算机软件程序，所述计算机软件程序被运行时实现根据权利要求1至5一项存储性能预测功能的测试及展示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011573559.5A CN112699014A (zh) | 2020-12-25 | 2020-12-25 | 一种存储性能预测功能的测试及展示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011573559.5A CN112699014A (zh) | 2020-12-25 | 2020-12-25 | 一种存储性能预测功能的测试及展示方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112699014A true CN112699014A (zh) | 2021-04-23 |
Family
ID=75511784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011573559.5A Pending CN112699014A (zh) | 2020-12-25 | 2020-12-25 | 一种存储性能预测功能的测试及展示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112699014A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114489519A (zh) * | 2022-04-18 | 2022-05-13 | 创新科技术有限公司 | 一种io请求的处理方法、装置、设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150081398A1 (en) * | 2013-09-17 | 2015-03-19 | International Business Machines Corporation | Determining a performance target setting |
| CN106991506A (zh) * | 2017-05-16 | 2017-07-28 | 深圳先进技术研究院 | 智能终端及其基于lstm的股票趋势预测方法 |
| CN107590569A (zh) * | 2017-09-25 | 2018-01-16 | 山东浪潮云服务信息科技有限公司 | 一种数据预测方法及装置 |
| CN109902832A (zh) * | 2018-11-28 | 2019-06-18 | 华为技术有限公司 | 机器学习模型的训练方法、异常预测方法及相关装置 |
-
2020
- 2020-12-25 CN CN202011573559.5A patent/CN112699014A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150081398A1 (en) * | 2013-09-17 | 2015-03-19 | International Business Machines Corporation | Determining a performance target setting |
| CN106991506A (zh) * | 2017-05-16 | 2017-07-28 | 深圳先进技术研究院 | 智能终端及其基于lstm的股票趋势预测方法 |
| CN107590569A (zh) * | 2017-09-25 | 2018-01-16 | 山东浪潮云服务信息科技有限公司 | 一种数据预测方法及装置 |
| CN109902832A (zh) * | 2018-11-28 | 2019-06-18 | 华为技术有限公司 | 机器学习模型的训练方法、异常预测方法及相关装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114489519A (zh) * | 2022-04-18 | 2022-05-13 | 创新科技术有限公司 | 一种io请求的处理方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107665171B (zh) | 自动回归测试方法及装置 | |
| US8375364B2 (en) | Size and effort estimation in testing applications | |
| US7904319B1 (en) | Computer-implemented systems and methods for warranty analysis | |
| CN111159157B (zh) | 一种企业报表数据的指标化处理方法及装置 | |
| US20060106755A1 (en) | Tracking usage of data elements in electronic business communications | |
| CN111737646B (zh) | 广告推广的效果评估数据处理方法、***和存储介质 | |
| US20120226626A1 (en) | System and method for creating business intelligence dashboard mockups | |
| CN110764999A (zh) | 自动化测试方法、装置、计算机装置及存储介质 | |
| CN108415917B (zh) | 一种可视化报表的生成方法及可视化报表的生成装置 | |
| CN111339231A (zh) | 众包更新结果的处理方法及装置 | |
| CN112699014A (zh) | 一种存储性能预测功能的测试及展示方法及装置 | |
| CN111523764B (zh) | 业务架构检测方法、装置、工具、电子设备和介质 | |
| CN113342692A (zh) | 测试用例自动生成方法、装置、电子设备及存储介质 | |
| Akinpelu et al. | Maturity models, challenges and open issues | |
| CN114860737B (zh) | 教研数据的处理方法、装置、设备及介质 | |
| CN114722789B (zh) | 数据报表集成方法、装置、电子设备及存储介质 | |
| Ho et al. | A Framework for automatic function point counting from source code | |
| US8255881B2 (en) | System and method for calculating software certification risks | |
| CN111914002B (zh) | 机房资源信息处理方法、装置和电子设备 | |
| Sinlae et al. | Application Of Business Intelligence In The Analysis And Visualization Of Xyz University Alumni Data Using The Tableau Platform | |
| CN114168456A (zh) | 一种基于3d-gis的前端性能自动化测试方法 | |
| CN115544127A (zh) | 代码量处理方法和***、电子设备及可读存储介质 | |
| CN113723860A (zh) | 一种土地资源资产离任审计评价方法、装置及存储介质 | |
| KR101487608B1 (ko) | 스마트 기기 모니터링 시스템 및 방법 | |
| RU2356092C1 (ru) | Система обработки документов |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210423 |