CN109032914A - 资源占用数据预测方法、电子设备、存储介质 - Google Patents

资源占用数据预测方法、电子设备、存储介质 Download PDF

Info

Publication number
CN109032914A
CN109032914A CN201811042964.7A CN201811042964A CN109032914A CN 109032914 A CN109032914 A CN 109032914A CN 201811042964 A CN201811042964 A CN 201811042964A CN 109032914 A CN109032914 A CN 109032914A
Authority
CN
China
Prior art keywords
data
resource
resource occupation
specified time
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811042964.7A
Other languages
English (en)
Inventor
韩竺
邹德顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ireader Technology Co Ltd
Zhangyue Technology Co Ltd
Original Assignee
Zhangyue Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhangyue Technology Co Ltd filed Critical Zhangyue Technology Co Ltd
Priority to CN201811042964.7A priority Critical patent/CN109032914A/zh
Publication of CN109032914A publication Critical patent/CN109032914A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种资源占用数据预测方法、电子设备、存储介质，其方法包括：获取当前至少一个服务运行产生的指标数据；对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；将预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。利用本发明获取到未来指定时间点至少一个服务运行所需的预测资源占用数据，可以方便预先了解未来指定时间点可能的资源占用情况，做好对资源占用情况的应对，及时对现有的资源进行调整，避免因资源不足所产生的服务无法运行等问题，也避免不合理的对资源进行扩充导致的资源空闲，提供资源利用率。

Description

资源占用数据预测方法、电子设备、存储介质
技术领域
本发明涉及软件领域，具体涉及一种资源占用数据预测方法、电子设备、存储介质。
背景技术
随着网络迅猛发展，各种通过网络运营的服务也日益增多，提供给用户更多的便利，如浏览网页、下载文件、在线阅读和在线音频视频等，不同的服务需要占用服务器的资源也不同。但考虑到服务器的资源是有限的，当服务需要占用的资源超出服务器本身可以提供的资源时，会造成服务器宕机、服务运行故障等问题，影响用户使用的体验效果。
现有技术在遇到服务需要占用大量资源时，会对服务器进行扩容调整，如使用服务的用户数量大量增长、业务长连接占用较多资源等情况时，对服务器进行内存扩容、cpu升级等操作，以适应服务需求。但这样处理往往是在问题发生后才对服务器进行扩容调整，即在问题发生后才进行补救措施，对用户而言已经产生了不好的体验效果。因此，需要一种对资源占用情况进行有效预测的方法，以便更好地应对可能发生的问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的资源占用数据预测方法、电子设备、存储介质。
根据本发明的一个方面，提供了一种资源占用数据预测方法，其包括：
获取当前至少一个服务运行产生的指标数据；
对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；
将预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
根据本发明的另一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行以下操作：
获取当前至少一个服务运行产生的指标数据；
对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；
将预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
根据本发明的又一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行以下操作：
获取当前至少一个服务运行产生的指标数据；
对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；
将预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
根据本发明提供的资源占用数据预测方法、电子设备、存储介质，获取当前至少一个服务运行产生的指标数据；对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；将预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。利用本发明获取到未来指定时间点至少一个服务运行所需的预测资源占用数据，可以方便预先了解未来指定时间点可能的资源占用情况，做好对资源占用情况的应对，及时对现有的资源进行调整，避免因资源不足所产生的服务无法运行等问题，也避免不合理的对资源进行扩充导致的资源空闲，提供资源利用率。进一步，预先根据历史指标数据和历史资源占用数据进行训练，得到资源占用训练模型，保障得到预测资源占用数据的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明实施例一的资源占用数据预测方法的流程图；
图2示出了根据本发明实施例一的资源占用训练模型训练方法的流程图；
图3示出了根据本发明实施例二的资源占用数据预测方法的流程图；
图4示出了根据本发明实施例四的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
图1示出了根据本发明实施例一的资源占用数据预测方法的流程图，如图1所示，资源占用数据预测方法具体包括如下步骤：
步骤S101，获取当前至少一个服务运行产生的指标数据。
服务在运行时，服务运行性能的好坏会根据其运行产生的各种指标数据进行衡量。基于服务的运行状况，产生的指标数据也会不同。指标数据的获取可以通过对服务运行进行监控得到。如在服务运行时，为保障服务的正常运行，对服务运行进行日常监控，从而可以方便的获取到服务运行产生的指标数据。
指标数据包括如每秒查询率、吞吐量、并发数、响应时间等。每秒查询率(QueryPer Second，qps)是对服务在规定时间内所处理流量多少的衡量标准，反映了服务的处理效率；吞吐量反映了服务处理速度、能力，如服务在每单位时间内能处理多少个事务、请求、数据等的能力。对应不同服务，如数据库服务，吞吐量为单位时间内，不同SQL语句的执行数量、返回数据量等；网络服务，吞吐量为网络传输的数据流量等；并发数用来衡量服务并发容量、同步协调等能力，反映了服务在并发状况下的应对处理能力；响应时间为服务在接收用户操作后响应用户操作所花费的时间，如从用户点击一个页面操作计时开始，到这个页面完全展现计时结束所花费的时间。响应时间还可以细分为：服务器端响应时间、网络响应时间等。
步骤S102，对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据。
通过对历史时间段内服务产生的历史指标数据进行统计，可以发现服务运行所产生的指标数据具有周期特性，指标数据会随时间呈现出周期性变化。如提供给用户群体图书阅读的服务，每天早上7点至9点，用户群体会在上班路上较多的阅读图书，指标数据中的qps会较多、吞吐量较大、并发数较多、响应时间会较慢等；每天9点至12点，会较少用户群体阅读图书，指标数据中的qps会较少、吞吐量较小、并发数较少、响应时间会较快等；节假日各时间段和工作日各时间段的指标数据也会随时间段不同存在周期性变化。
在对当前的指标数据进行预测时，基于指标数据的周期特性，可以利用预设的预测算法对当前的指标数据进行预测。如利用三次平滑指数算法，合理的对未来指定时间点进行预测，得到未来指定时间点对应的预测指标数据。此处，为保障预测的准确性，以及方便实时对后续得到的预测资源占用数据进行监控，及时合理地进行资源安排等，未来指定时间点优选较短时间，如未来1小时。
步骤S103，将预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
服务运行需要占用资源，资源占用数据包括内存资源占用数据、CPU资源占用数据、磁盘占用数据、流量占用数据等。将预测指标数据输入预先建立的资源占用训练模型中，资源占用训练模型可以根据输入的服务在未来指定时间点的预测指标数据，得到对应的未来指定时间点服务运行所需的预测资源占用数据。
当存在多个服务时，需要将每个服务在未来指定时间点的预测指标数据输入预先建立的资源占用训练模型中，得到对应的未来指定时间点每个服务运行所需的预测资源占用数据。将每个服务运行所需的预测资源占用数据累加，得到未来指定时间点所有服务运行所需的预测资源占用数据。
进一步，预先建立的资源占用训练模型的训练过程包括以下步骤：
步骤S1031，采集样本数据和样本标注数据。
在资源占用训练模型进行训练前，需要采集训练所需的足够多的样本数据和样本标注数据。其中，样本数据包括历史指标数据，样本标注数据包括与历史指标数据对应的至少一个服务占用的历史资源占用数据。以上样本数据和样本标注数据可以通过日常对服务进行监控记录得到历史指标数据，记录各个服务在运行时所占用的资源情况得到历史资源占用数据。如采集过去三个月内的至少一个服务运行所产生的历史指标数据以及对应的至少一个服务运行所占用的历史资源占用数据。
采集样本数据和样本标注数据时，需要采集同一历史时间点的至少一个服务运行所产生指标数据和对应的至少一个服务运行所占用的资源占用数据，以便用于资源占用训练模型的训练。
步骤S1032，将样本数据输入至待训练模型中进行训练，得到待训练模型的输出结果。
上述采集的样本数据作为输入数据输入至待训练模型中进行训练，得到待训练模型的输出结果，即服务运行所占用的资源占用数据。
待训练模型可以采用如线性回归模型等机器算法模型，具体根据实施情况设置，此处不作限定。
步骤S1033，根据输出结果与样本标注数据之间的损失，调整待训练模型的权重参数，直至满足预设条件，得到资源占用训练模型。
其中，预设条件可以包括如计算输出结果与样本标注数据的准确率，当准确率满足某阈值如99％；或者预设条件为输出结果与样本标注数据的偏差小于某阈值如偏差小于5％等。以待训练模型为线性回归模型为例进行说明，假设样本数据与输出结果间的线性关系，根据样本数据进行训练。输出结果和样本标注数据之间会有误差，即存在损失，根据存在的损失，对其中的损失函数进行优化，以使损失函数最小化，从而得到资源占用训练模型。
该步骤可以反复执行，不断根据输出结果与样本标注数据之间的损失，调整待训练模型的权重参数，直至满足预设条件，从而得到资源占用训练模型。
进一步，由于每个服务不同，在训练资源占用训练模型时，可以针对不同的服务，得到每个服务针对性的资源占用训练模型。即在训练时，根据各个服务运行产生的历史指标数据和其对应的该服务运行所占用的历史资源占用数据，按照服务分别训练，得到每个服务的资源占用训练模型。在将每个服务在未来指定时间的预测指标数据输入时，对应的输入到针对该服务所预先建立的资源占用训练模型中，得到对应的未来指定时间点该服务运行所需的预测资源占用数据。
根据本发明提供的资源占用数据预测方法，获取当前至少一个服务运行产生的指标数据；对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；将预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。利用本发明获取到未来指定时间点至少一个服务运行所需的预测资源占用数据，可以方便预先了解未来指定时间点可能的资源占用情况，做好对资源占用情况的应对，及时对现有的资源进行调整，避免因资源不足所产生的服务无法运行等问题，也避免不合理的对资源进行扩充导致的资源空闲，提供资源利用率。进一步，预先根据历史指标数据和历史资源占用数据进行训练，得到资源占用训练模型，保障得到预测资源占用数据的准确性。
实施例二
图3示出了根据本发明实施例二的资源占用数据预测方法的流程图，如图3所示，资源占用数据预测方法包括如下步骤：
步骤S301，获取当前至少一个服务运行产生的指标数据。
步骤S302，对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据。
步骤S303，将预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
以上步骤参照实施例一中步骤S101-S103的描述，在此不再赘述。
步骤S304，获取服务器提供的资源可用数据。
服务器本身提供的资源可用数据可以根据预先配置好的服务器各项数据得到。此处为使各服务可以良好地运行，以及应对可能存在的突发状况，资源可用数据可以不是服务器本身可以提供的所有资源可用数据，而是获取服务器预设阈值范围内的资源数据作为资源可用数据。如阈值为90％，获取服务器提供的占所有资源数据90％的资源数据作为资源可用数据，将10％的资源数据作为应对突发状况的资源数据。
步骤S305，判断资源可用数据是否能够支撑服务器上运行的服务。
获取服务器当前正在运行的各个服务，根据已经得到的各个服务在未来指定时间点运行所需的预测资源占用数据，计算服务器上运行的所有服务在未来指定时间点运行所需的预测资源占用数据之和。如服务器当前运行服务A、B、C，将服务A、B、C在未来指定时间点运行所需的预测资源占用数据进行累加，得到所需的预测资源占用数据之和。
判断资源可用数据是否大于或等于未来指定时间点所有服务运行所需的预测资源占用数据之和，若大于或等于，则说明服务器能够支撑未来指定时间点所有服务的正常运行；若小于，则说明服务器无法支撑未来指定时间点所有服务的正常运行，执行步骤S306。
步骤S306，进行服务器资源告警处理。
在判断服务器无法支撑未来指定时间点所有服务的正常运行时，还需进一步判断具体短缺的资源，这样服务器资源告警处理可以针对性的对短缺的资源进行告警，如内存容量不足、CPU占用率过高、磁盘容量短缺、流量过大等，方便针对具体的资源进行相应的处理措施，也避免对所有资源均进行补充造成某些资源空闲等问题。进一步，服务器资源告警处理还可以根据资源短缺的具体数值进行告警，方便补充时可以根据具体数据进行资源的补充，避免补充过少，不能保障服务正常运行，也避免补充过多导致资源利用率不高等问题。
具体告警方式可以采用如邮件告警、显示屏告警等现有多种告警方式，此处不作限定。
根据本发明提供的资源占用数据预测方法，在预测得到各服务在未来指定时间点运行所需的预测资源占用数据后，将其与服务器所能提供的资源可用数据进行比较，若资源可用数据无法支撑服务器上运行的服务，及时进行服务器资源告警处理，以便可以快速预先解决未来可能发生的问题，保障服务的正常运行。
实施例三
本申请实施例三提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的资源占用数据预测方法。
可执行指令具体可以用于使得处理器执行以下操作：
获取当前至少一个服务运行产生的指标数据；对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；将预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：根据指标数据周期特性，利用预设的预测算法对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据。
在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：采集样本数据和样本标注数据；将样本数据输入至待训练模型中进行训练，得到待训练模型的输出结果；根据输出结果与样本标注数据之间的损失，调整待训练模型的权重参数，直至满足预设条件，得到资源占用训练模型。
在一种可选的实施方式中，样本数据包括至少一个服务运行所产生的历史指标数据；样本标注数据包括与历史指标数据对应的至少一个服务占用的历史资源占用数据。
在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：获取服务器提供的资源可用数据；判断资源可用数据是否能够支撑服务器上运行的服务；若否，进行服务器资源告警处理。
在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：根据服务器上运行的至少一个服务，计算未来指定时间点所有服务运行所需的预测资源占用数据之和；判断资源可用数据是否大于或等于未来指定时间点所有服务运行所需的预测资源占用数据之和；若否，进行服务器资源告警处理。
在一种可选的实施方式中，指标数据包括每秒查询率、吞吐量、并发数和/或响应时间；资源占用数据包括内存资源占用数据、CPU资源占用数据、磁盘占用数据和/或流量占用数据。
实施例四
图4示出了根据本发明实施例四的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述资源占用数据预测方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。服务器包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
在一种可选的实施方式中，程序410用于使得处理器402获取当前至少一个服务运行产生的指标数据；对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；将预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
在一种可选的实施方式中，程序410用于使得处理器402根据指标数据周期特性，利用预设的预测算法对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据。
在一种可选的实施方式中，程序410用于使得处理器402采集样本数据和样本标注数据；将样本数据输入至待训练模型中进行训练，得到待训练模型的输出结果；根据输出结果与样本标注数据之间的损失，调整待训练模型的权重参数，直至满足预设条件，得到资源占用训练模型。
在一种可选的实施方式中，样本数据包括至少一个服务运行所产生的历史指标数据；样本标注数据包括与历史指标数据对应的至少一个服务占用的历史资源占用数据。
在一种可选的实施方式中，程序410用于使得处理器402获取服务器提供的资源可用数据；判断资源可用数据是否能够支撑服务器上运行的服务；若否，进行服务器资源告警处理。
在一种可选的实施方式中，程序410用于使得处理器402根据服务器上运行的至少一个服务，计算未来指定时间点所有服务运行所需的预测资源占用数据之和；判断资源可用数据是否大于或等于未来指定时间点所有服务运行所需的预测资源占用数据之和；若否，进行服务器资源告警处理。
在一种可选的实施方式中，指标数据包括每秒查询率、吞吐量、并发数和/或响应时间；资源占用数据包括内存资源占用数据、CPU资源占用数据、磁盘占用数据和/或流量占用数据。
程序410中各步骤的具体实现可以参见上述资源占用数据预测实施例中的相应步骤中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
通过本实施例提供的方案，获取当前至少一个服务运行产生的指标数据；对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；将预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。利用本发明获取到未来指定时间点至少一个服务运行所需的预测资源占用数据，可以方便预先了解未来指定时间点可能的资源占用情况，做好对资源占用情况的应对，及时对现有的资源进行调整，避免因资源不足所产生的服务无法运行等问题，也避免不合理的对资源进行扩充导致的资源空闲，提供资源利用率。进一步，预先根据历史指标数据和历史资源占用数据进行训练，得到资源占用训练模型，保障得到预测资源占用数据的准确性。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了：A1.一种资源占用数据预测方法，其包括：
获取当前至少一个服务运行产生的指标数据；
对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；
将所述预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
A2.根据A1所述的方法，其中，所述对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据进一步包括：
根据指标数据周期特性，利用预设的预测算法对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据。
A3.根据A1所述的方法，其中，所述资源占用训练模型的训练过程包括：
采集样本数据和样本标注数据；
将所述样本数据输入至待训练模型中进行训练，得到所述待训练模型的输出结果；
根据所述输出结果与所述样本标注数据之间的损失，调整所述待训练模型的权重参数，直至满足预设条件，得到所述资源占用训练模型。
A4.根据A3所述的方法，其中，所述样本数据包括至少一个服务运行所产生的历史指标数据；所述样本标注数据包括与所述历史指标数据对应的至少一个服务占用的历史资源占用数据。
A5.根据A1-A4中任一项所述的方法，其中，在所述将所述预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据之后，所述方法还包括：
获取服务器提供的资源可用数据；
判断所述资源可用数据是否能够支撑服务器上运行的服务；
若否，进行服务器资源告警处理。
A6.根据A5所述的方法，其中，所述判断所述资源可用数据是否能够支撑服务器上运行的服务进一步包括：
根据服务器上运行的至少一个服务，计算未来指定时间点所有服务运行所需的预测资源占用数据之和；
判断所述资源可用数据是否大于或等于未来指定时间点所有服务运行所需的预测资源占用数据之和；
若否，进行服务器资源告警处理。
A7.根据A1所述的方法，其中，所述指标数据包括每秒查询率、吞吐量、并发数和/或响应时间；所述资源占用数据包括内存资源占用数据、CPU资源占用数据、磁盘占用数据和/或流量占用数据。
本发明还公开了：B8.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作：
获取当前至少一个服务运行产生的指标数据；
对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；
将所述预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
B9.根据B8所述的电子设备，所述可执行指令进一步使所述处理器执行以下操作：
根据指标数据周期特性，利用预设的预测算法对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据。
B10.根据B8所述的电子设备，所述可执行指令进一步使所述处理器执行以下操作：
采集样本数据和样本标注数据；
将所述样本数据输入至待训练模型中进行训练，得到所述待训练模型的输出结果；
根据所述输出结果与所述样本标注数据之间的损失，调整所述待训练模型的权重参数，直至满足预设条件，得到所述资源占用训练模型。
B11.根据B10所述的电子设备，所述样本数据包括至少一个服务运行所产生的历史指标数据；所述样本标注数据包括与所述历史指标数据对应的至少一个服务占用的历史资源占用数据。
B12.根据B8-B10中任一项所述的电子设备，所述可执行指令进一步使所述处理器执行以下操作：
获取服务器提供的资源可用数据；
判断所述资源可用数据是否能够支撑服务器上运行的服务；
若否，进行服务器资源告警处理。
B13.根据B12所述的电子设备，所述可执行指令进一步使所述处理器执行以下操作：
根据服务器上运行的至少一个服务，计算未来指定时间点所有服务运行所需的预测资源占用数据之和；
判断所述资源可用数据是否大于或等于未来指定时间点所有服务运行所需的预测资源占用数据之和；
若否，进行服务器资源告警处理。
B14.根据B8所述的电子设备，所述指标数据包括每秒查询率、吞吐量、并发数和/或响应时间；所述资源占用数据包括内存资源占用数据、CPU资源占用数据、磁盘占用数据和/或流量占用数据。
本发明还公开了：C15.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行以下操作：
获取当前至少一个服务运行产生的指标数据；
对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；
将所述预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
C16.根据C15所述的计算机存储介质，所述可执行指令进一步使处理器执行以下操作：
根据指标数据周期特性，利用预设的预测算法对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据。
C17.根据C15所述的计算机存储介质，所述可执行指令进一步使处理器执行以下操作：
采集样本数据和样本标注数据；
将所述样本数据输入至待训练模型中进行训练，得到所述待训练模型的输出结果；
根据所述输出结果与所述样本标注数据之间的损失，调整所述待训练模型的权重参数，直至满足预设条件，得到所述资源占用训练模型。
C18.根据C17所述的计算机存储介质，所述样本数据包括至少一个服务运行所产生的历史指标数据；所述样本标注数据包括与所述历史指标数据对应的至少一个服务占用的历史资源占用数据。
C19.根据C15-C18中任一项所述的计算机存储介质，所述可执行指令进一步使处理器执行以下操作：
获取服务器提供的资源可用数据；
判断所述资源可用数据是否能够支撑服务器上运行的服务；
若否，进行服务器资源告警处理。
C20.根据C19所述的计算机存储介质，所述可执行指令进一步使处理器执行以下操作：
根据服务器上运行的至少一个服务，计算未来指定时间点所有服务运行所需的预测资源占用数据之和；
判断所述资源可用数据是否大于或等于未来指定时间点所有服务运行所需的预测资源占用数据之和；
若否，进行服务器资源告警处理。
C21.根据C15所述的计算机存储介质，所述指标数据包括每秒查询率、吞吐量、并发数和/或响应时间；所述资源占用数据包括内存资源占用数据、CPU资源占用数据、磁盘占用数据和/或流量占用数据。

Claims (10)

1.一种资源占用数据预测方法，其包括：
获取当前至少一个服务运行产生的指标数据；
对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；
将所述预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
2.根据权利要求1所述的方法，其中，所述对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据进一步包括：
根据指标数据周期特性，利用预设的预测算法对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据。
3.根据权利要求1所述的方法，其中，所述资源占用训练模型的训练过程包括：
采集样本数据和样本标注数据；
将所述样本数据输入至待训练模型中进行训练，得到所述待训练模型的输出结果；
根据所述输出结果与所述样本标注数据之间的损失，调整所述待训练模型的权重参数，直至满足预设条件，得到所述资源占用训练模型。
4.根据权利要求3所述的方法，其中，所述样本数据包括至少一个服务运行所产生的历史指标数据；所述样本标注数据包括与所述历史指标数据对应的至少一个服务占用的历史资源占用数据。
5.根据权利要求1-4中任一项所述的方法，其中，在所述将所述预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据之后，所述方法还包括：
获取服务器提供的资源可用数据；
判断所述资源可用数据是否能够支撑服务器上运行的服务；
若否，进行服务器资源告警处理。
6.根据权利要求5所述的方法，其中，所述判断所述资源可用数据是否能够支撑服务器上运行的服务进一步包括：
根据服务器上运行的至少一个服务，计算未来指定时间点所有服务运行所需的预测资源占用数据之和；
判断所述资源可用数据是否大于或等于未来指定时间点所有服务运行所需的预测资源占用数据之和；
若否，进行服务器资源告警处理。
7.根据权利要求1所述的方法，其中，所述指标数据包括每秒查询率、吞吐量、并发数和/或响应时间；所述资源占用数据包括内存资源占用数据、CPU资源占用数据、磁盘占用数据和/或流量占用数据。
8.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作：
获取当前至少一个服务运行产生的指标数据；
对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；
将所述预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
9.根据权利要求8所述的电子设备，所述可执行指令进一步使所述处理器执行以下操作：
根据指标数据周期特性，利用预设的预测算法对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行以下操作：
获取当前至少一个服务运行产生的指标数据；
对当前的指标数据进行预测，得到未来指定时间点对应的预测指标数据；
将所述预测指标数据输入预先建立的资源占用训练模型，得到对应的未来指定时间点至少一个服务运行所需的预测资源占用数据。
CN201811042964.7A 2018-09-06 2018-09-06 资源占用数据预测方法、电子设备、存储介质 Pending CN109032914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811042964.7A CN109032914A (zh) 2018-09-06 2018-09-06 资源占用数据预测方法、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811042964.7A CN109032914A (zh) 2018-09-06 2018-09-06 资源占用数据预测方法、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN109032914A true CN109032914A (zh) 2018-12-18

Family

ID=64624458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811042964.7A Pending CN109032914A (zh) 2018-09-06 2018-09-06 资源占用数据预测方法、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN109032914A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766244A (zh) * 2019-01-04 2019-05-17 中国银行股份有限公司 一种分布式***cpu异常检测方法、装置和存储介质
CN109857550A (zh) * 2019-01-07 2019-06-07 平安科技（深圳）有限公司 基于机器学习的资源配置方法、装置、设备及存储介质
CN109885469A (zh) * 2019-02-27 2019-06-14 深信服科技股份有限公司 一种扩容方法、预测模型创建方法、装置、设备及介质
CN110489630A (zh) * 2019-07-09 2019-11-22 平安科技（深圳）有限公司 资源数据的处理方法、装置、计算机设备和存储介质
CN110502336A (zh) * 2019-07-05 2019-11-26 深圳壹账通智能科技有限公司 一种服务器的启动方法、装置、设备、及可读存储介质
CN111143161A (zh) * 2019-12-09 2020-05-12 东软集团股份有限公司 日志文件的处理方法、装置、存储介质和电子设备
WO2020140369A1 (zh) * 2019-01-04 2020-07-09 平安科技（深圳）有限公司 数据恢复控制方法、服务器及存储介质
CN111475393A (zh) * 2020-04-08 2020-07-31 拉扎斯网络科技（上海）有限公司 服务性能预测方法、装置、电子设备及可读存储介质
CN111490886A (zh) * 2019-01-25 2020-08-04 北京数安鑫云信息技术有限公司 一种网络数据处理方法及***
CN111507554A (zh) * 2019-01-31 2020-08-07 北京嘀嘀无限科技发展有限公司 一种服务资源调度方法、装置、设备及存储介质
CN111752903A (zh) * 2020-06-23 2020-10-09 深圳前海微众银行股份有限公司 一种数据存储空间可使用时间的预测方法
CN111782386A (zh) * 2020-03-17 2020-10-16 新浪网技术(中国)有限公司 一种基于历史业务流量的数据库调度方法及***
CN111858267A (zh) * 2020-07-29 2020-10-30 中国工商银行股份有限公司 预警方法、装置、电子设备及存储介质
CN112446734A (zh) * 2020-11-30 2021-03-05 上海寻梦信息技术有限公司 提供安装资源的方法、装置、设备以及存储介质
CN112685280A (zh) * 2019-10-17 2021-04-20 上海博泰悦臻电子设备制造有限公司 一种车机新项目评估方法、***及计算机可读存储介质
CN112988371A (zh) * 2019-12-13 2021-06-18 天翼电子商务有限公司 基于大规模分布式运维***的机房资源预测方法及装置
CN113220552A (zh) * 2021-05-12 2021-08-06 湖北亿咖通科技有限公司 车载信息娱乐***中限制应用运行数量的方法和电子设备
CN113242149A (zh) * 2021-05-21 2021-08-10 中国农业银行股份有限公司 长连接配置方法、装置、设备、存储介质和程序产品
CN113778778A (zh) * 2020-08-25 2021-12-10 北京沃东天骏信息技术有限公司 一种预警方法和装置
CN113900827A (zh) * 2021-12-08 2022-01-07 北京广通优云科技股份有限公司 一种智能运维***中基于多因素关联的内存调整预测方法
CN114189482A (zh) * 2021-12-14 2022-03-15 郑州阿帕斯数云信息科技有限公司 一种集群资源的控制方法、装置和***
CN116610270A (zh) * 2023-07-21 2023-08-18 湖南马栏山视频先进技术研究院有限公司 一种视频处理的存算分离方法及视频存算分离***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639793A (zh) * 2009-08-19 2010-02-03 南京邮电大学 一种基于支持向量回归机的网格负载预测方法
CN102004671A (zh) * 2010-11-15 2011-04-06 北京航空航天大学 一种云计算环境下数据中心基于统计模型的资源管理方法
CN102799512A (zh) * 2012-07-04 2012-11-28 南京邮电大学 一种基于向量自回归的云计算中虚拟机监控方法
CN103425535A (zh) * 2013-06-05 2013-12-04 浙江大学 云环境下的敏捷弹性伸缩方法
CN107943579A (zh) * 2017-11-08 2018-04-20 深圳前海微众银行股份有限公司 资源瓶颈预测方法、设备、***及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639793A (zh) * 2009-08-19 2010-02-03 南京邮电大学 一种基于支持向量回归机的网格负载预测方法
CN102004671A (zh) * 2010-11-15 2011-04-06 北京航空航天大学 一种云计算环境下数据中心基于统计模型的资源管理方法
CN102799512A (zh) * 2012-07-04 2012-11-28 南京邮电大学 一种基于向量自回归的云计算中虚拟机监控方法
CN103425535A (zh) * 2013-06-05 2013-12-04 浙江大学 云环境下的敏捷弹性伸缩方法
CN107943579A (zh) * 2017-11-08 2018-04-20 深圳前海微众银行股份有限公司 资源瓶颈预测方法、设备、***及可读存储介质

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140369A1 (zh) * 2019-01-04 2020-07-09 平安科技（深圳）有限公司 数据恢复控制方法、服务器及存储介质
CN109766244A (zh) * 2019-01-04 2019-05-17 中国银行股份有限公司 一种分布式***cpu异常检测方法、装置和存储介质
CN109857550A (zh) * 2019-01-07 2019-06-07 平安科技（深圳）有限公司 基于机器学习的资源配置方法、装置、设备及存储介质
CN111490886A (zh) * 2019-01-25 2020-08-04 北京数安鑫云信息技术有限公司 一种网络数据处理方法及***
CN111507554A (zh) * 2019-01-31 2020-08-07 北京嘀嘀无限科技发展有限公司 一种服务资源调度方法、装置、设备及存储介质
CN111507554B (zh) * 2019-01-31 2022-07-22 北京骑胜科技有限公司 一种服务资源调度方法、装置、设备及存储介质
CN109885469A (zh) * 2019-02-27 2019-06-14 深信服科技股份有限公司 一种扩容方法、预测模型创建方法、装置、设备及介质
CN109885469B (zh) * 2019-02-27 2022-09-30 深信服科技股份有限公司 一种扩容方法、预测模型创建方法、装置、设备及介质
CN110502336A (zh) * 2019-07-05 2019-11-26 深圳壹账通智能科技有限公司 一种服务器的启动方法、装置、设备、及可读存储介质
CN110489630A (zh) * 2019-07-09 2019-11-22 平安科技（深圳）有限公司 资源数据的处理方法、装置、计算机设备和存储介质
CN112685280A (zh) * 2019-10-17 2021-04-20 上海博泰悦臻电子设备制造有限公司 一种车机新项目评估方法、***及计算机可读存储介质
CN111143161A (zh) * 2019-12-09 2020-05-12 东软集团股份有限公司 日志文件的处理方法、装置、存储介质和电子设备
CN111143161B (zh) * 2019-12-09 2024-04-09 东软集团股份有限公司 日志文件的处理方法、装置、存储介质和电子设备
CN112988371A (zh) * 2019-12-13 2021-06-18 天翼电子商务有限公司 基于大规模分布式运维***的机房资源预测方法及装置
CN111782386A (zh) * 2020-03-17 2020-10-16 新浪网技术(中国)有限公司 一种基于历史业务流量的数据库调度方法及***
CN111475393A (zh) * 2020-04-08 2020-07-31 拉扎斯网络科技（上海）有限公司 服务性能预测方法、装置、电子设备及可读存储介质
CN111752903B (zh) * 2020-06-23 2024-06-07 深圳前海微众银行股份有限公司 一种数据存储空间可使用时间的预测方法
CN111752903A (zh) * 2020-06-23 2020-10-09 深圳前海微众银行股份有限公司 一种数据存储空间可使用时间的预测方法
CN111858267B (zh) * 2020-07-29 2024-01-05 中国工商银行股份有限公司 预警方法、装置、电子设备及存储介质
CN111858267A (zh) * 2020-07-29 2020-10-30 中国工商银行股份有限公司 预警方法、装置、电子设备及存储介质
CN113778778A (zh) * 2020-08-25 2021-12-10 北京沃东天骏信息技术有限公司 一种预警方法和装置
CN112446734A (zh) * 2020-11-30 2021-03-05 上海寻梦信息技术有限公司 提供安装资源的方法、装置、设备以及存储介质
CN113220552A (zh) * 2021-05-12 2021-08-06 湖北亿咖通科技有限公司 车载信息娱乐***中限制应用运行数量的方法和电子设备
CN113242149A (zh) * 2021-05-21 2021-08-10 中国农业银行股份有限公司 长连接配置方法、装置、设备、存储介质和程序产品
CN113242149B (zh) * 2021-05-21 2024-02-02 中国农业银行股份有限公司 长连接配置方法、装置、设备、存储介质和程序产品
CN113900827A (zh) * 2021-12-08 2022-01-07 北京广通优云科技股份有限公司 一种智能运维***中基于多因素关联的内存调整预测方法
CN113900827B (zh) * 2021-12-08 2022-03-15 北京广通优云科技股份有限公司 一种智能运维***中基于多因素关联的内存调整预测方法
CN114189482A (zh) * 2021-12-14 2022-03-15 郑州阿帕斯数云信息科技有限公司 一种集群资源的控制方法、装置和***
CN116610270B (zh) * 2023-07-21 2023-10-03 湖南马栏山视频先进技术研究院有限公司 一种视频处理的存算分离方法及视频存算分离***
CN116610270A (zh) * 2023-07-21 2023-08-18 湖南马栏山视频先进技术研究院有限公司 一种视频处理的存算分离方法及视频存算分离***

Similar Documents

Publication Publication Date Title
CN109032914A (zh) 资源占用数据预测方法、电子设备、存储介质
US11586692B2 (en) Streaming data processing
US20240220497A1 (en) Using worker nodes to process results of a subquery
US20230049579A1 (en) Executing commands from a distributed execution model
US11636105B2 (en) Generating a subquery for an external data system using a configuration file
US12007996B2 (en) Management of distributed computing framework components
US11615104B2 (en) Subquery generation based on a data ingest estimate of an external data system
US11461334B2 (en) Data conditioning for dataset destination
US11314753B2 (en) Execution of a query received from a data intake and query system
US11615087B2 (en) Search time estimate in a data intake and query system
US11663227B2 (en) Generating a subquery for a distinct data intake and query system
US11599541B2 (en) Determining records generated by a processing task of a query
US11238112B2 (en) Search service system monitoring
US10795884B2 (en) Dynamic resource allocation for common storage query
US20190310977A1 (en) Bucket data distribution for exporting data to worker nodes
US20180089269A1 (en) Query processing using query-resource usage and node utilization data
US20190147092A1 (en) Distributing partial results to worker nodes from an external data system
US20180089306A1 (en) Query acceleration data store
US20180089312A1 (en) Multi-layer partition allocation for query execution
US20180089259A1 (en) External dataset capability compensation
US20190258637A1 (en) Partitioning and reducing records at ingest of a worker node
US20190272271A1 (en) Assigning processing tasks in a data intake and query system
CN108304250A (zh) 用于确定运行机器学习任务的节点的方法和装置
AU2013221760B2 (en) Providing configurable workflow capabilities
US20190095488A1 (en) Executing a distributed execution model with untrusted commands

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181218

RJ01 Rejection of invention patent application after publication