CN114745282B - 资源配置模型预测方法、装置及电子设备 - Google Patents

资源配置模型预测方法、装置及电子设备 Download PDF

Info

Publication number
CN114745282B
CN114745282B CN202210188826.XA CN202210188826A CN114745282B CN 114745282 B CN114745282 B CN 114745282B CN 202210188826 A CN202210188826 A CN 202210188826A CN 114745282 B CN114745282 B CN 114745282B
Authority
CN
China
Prior art keywords
resource
service data
preset
type
usage amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210188826.XA
Other languages
English (en)
Other versions
CN114745282A (zh
Inventor
冯晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210188826.XA priority Critical patent/CN114745282B/zh
Publication of CN114745282A publication Critical patent/CN114745282A/zh
Application granted granted Critical
Publication of CN114745282B publication Critical patent/CN114745282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例涉及一种资源配置模型预测方法、装置及电子设备，该方法包括：从多类业务数据中选取第一类业务数据；对第一类业务数据进行模拟，获取预设数量的模拟周期内第一类业务数据对应的每一种资源的总使用量；以及，获取预设资源对应的资源性能值；根据每一种资源的总使用量，以及模拟周期的数量，预测单个容器中每一种资源的资源承载量；根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量。该方式可以保证在资源不浪费或资源不足的情况下，还能够使得资源的使用能够达到性能最大。

Description

资源配置模型预测方法、装置及电子设备
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种资源配置模型预测方法、装置及电子设备。
背景技术
容器编排工具的出现，使得容器虚拟化技术解决了云平台资源利用率低、调度分发缓慢等诸多问题，因此，研究容器编排工具的负载均衡调度算法可以有效分配容器集群资源，提高资源利用率，同时最小化资源消费总成本。
目前以Kubernetes、Swarm为代表的容器编排的负载均衡算法都是依据当前资源的情况和容器资源的申请量来进行节点预选的。然而，在运维过程中发现，***在长期运行以后，会出现负载不均匀的问题，不同主机之间的资源分配会存在着极大的差别，出现部分节点消耗压力过大，资源分布不均衡等现象。
那么，如何才能够保证资源分配，能够保证资源不浪费或资源不足的情况下，还能够使得资源的使用能够达到性能最大，成为本申请所要解决的技术问题。
发明内容
本申请提供了一种资源配置模型预测方法、装置及电子设备，以解决现有技术中的上述部分或全部技术问题。
第一方面，本申请提供了一种资源配置模型预测方法，该方法包括：
从多类业务数据中选取第一类业务数据；
对第一类业务数据进行模拟，获取预设数量的模拟周期内第一类业务数据对应的每一种资源的总使用量；以及，获取预设资源对应的资源性能值；
根据每一种资源的总使用量，以及模拟周期的数量，预测单个容器中每一种资源的资源承载量；
根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量；
将与容器数量对应的容器构成资源配置模型，其中，第一类业务数据为多类业务数据中的一类。
第二方面，本申请提供了一种资源配置模型预测装置，该装置包括：
选择模块，用于从多类业务数据中选取第一类业务数据；
模拟模块，用于对第一类业务数据进行模拟，获取预设数量的模拟周期内第一类业务数据对应的每一种资源的总使用量；以及，获取预设资源对应的资源性能值；
预测模块，用于根据每一种资源的总使用量，以及模拟周期的数量，预测单个容器中每一种资源的资源承载量；根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量，其中，与容器数量对应的容器构成资源配置模型，第一类业务数据为多类业务数据中的一类。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例的资源配置模型预测方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现如第一方面任一项实施例的资源配置模型预测方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，从多类业务数据中选取第一类业务数据，对第一类业务数据进行模拟，获取预设数量的模拟周期内第一类业务数据对应的每一种资源的总使用量，以及预设资源对应的资源性能值。然后，根据每一种资源的总使用量，预测单个容器中每一种资源的资源承载量。根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量。该方式中，考虑到不同业务数据对应资源的使用情况不同，所以针对每一种业务数据预测一种资源配置模型。而资源配置模型中单个容器的每一种资源的资源承载量则是根据实际业务数据在模拟周期内所使用的每一种资源的总使用量来预测的，使其能够更加贴近实际情况，保证资源承载量的合理分配。同时，为了实现资源配置模型的性能最大，所以根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量，以此来实现保证资源不浪费或资源不足的情况下，还能够使得资源的使用能够达到性能最大。
附图说明
图1为本发明实施例提供的一种业务数据分配方法流程示意图；
图2为本发明提供的对第一类业务数据进行模拟，获取预设数量的模拟周期内的第一类业务数据对应的每一种资源的总使用量的方法流程示意图；
图3为本发明提供的预测单个容器中每一种资源的资源承载量的具体方法流程示意图；
图4本发明提供的预测资源配置模型pod中的容器数量的方法流程示意图；
图5为本发明提供的利用本申请实施例提供的方法，使得CPU性能明显提升的效果示意图；
图6为本发明实施例提供的一种业务数据分配方法流程示意图；
图7为本发明提供的资源调度器监控调度各个节点的资源使用情况，以及各个节点主动汇报资源使用情况的结构示意图；
图8为本发明提供的当资源调度器向各节点发出邀请后，收的各个节点的响应信息，包括接受邀请，或者拒绝邀请的结构示意图；
图9为本发明实施例提供的一种资源配置模型预测装置结构示意图；
图10为本发明实施例提供的一种业务数据分配装置结构示意图；
图11为本发明实施例提供一种电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
针对背景技术中所提及的技术问题，本申请实施例提供了一种业务数据分配方法，具体参见图1所示，图1为本发明实施例提供的一种业务数据分配方法流程示意图，该方法步骤包括：
步骤110，从多类业务数据中选取第一类业务数据。
具体的，不同业务针对资源的消耗存在一定的差异，比如有些业务对CPU的资源消耗多，对内存的消耗少。而有些业务则恰好相反，对于内存的消耗多，对CPU的资源消耗少。为了能够后续更加合理的分配容器资源，则需要将业务按照资源的消耗类型以及消耗值等进行相应的分类。例如，将消耗CPU多的业务归为一类，将内存消耗多的业务归为一类。然后，在后续进行数据模拟时，根据每一类业务数据，均做一次模拟，以便后续针对该类业务数据，获取相应的资源配置模型。
步骤120，对第一类业务数据进行模拟，获取预设数量的模拟周期内第一类业务数据对应的每一种资源的总使用量；以及，获取预设资源对应的资源性能值。
具体的，在对业务数据进行模拟训练时，例如可以选取1000个虚拟容器资源配置部署不同的业务。用以测试不同种业务实际应用对资源消耗值。在具体执行模拟训练时，可以采用但不限于Selenium自动化测试工具进行模拟。并在模拟周期内抓取业务数据对应的每一种资源的总使用量。同时监控预设资源对应的资源性能值。
在一个可选的具体例子中，对第一类业务数据进行模拟，获取预设数量的模拟周期内第一类业务数据对应的每一种资源的总使用量，可以包括但不限于如下方法步骤实现。具体参见图2所示，图2中示出对第一类业务数据进行模拟，获取预设数量的模拟周期内的第一类业务数据对应的每一种资源的总使用量的方法流程示意图。
该方法步骤包括：
步骤210，针对第一类业务数据进行日常业务模拟和高峰值业务模拟。
步骤220，在预设周期内针对第一资源抓取日常业务数据对应的第一使用量和高峰值业务数据对应的第二使用量。
步骤230，根据第一使用量和第二使用量，获取第一资源的总使用量。
其中，第一资源为第一类业务数据对应的任一种资源。
具体的，在预设数量的模拟周期内，抓取普通时间(也即是日常业务数据)和高峰时间(也即是高峰值业务数据)分别对应的资源使用量。其中，资源可以包括但不限于CPU、内存，以及I/O和存储资源等等。
以获取CPU资源使用量为例进行说明。第i个模拟周期抓取的第一使用量为Picpu1，抓取的第二使用量为Picpu2。
那么根据第一使用量和第二使用量，获取第一资源的总使用量，其中，第一资源为第一类业务数据对应的任一种资源，具体可以通过如下公式计算得到：
Figure GDA0003616564480000061
其中，Zcpu为CPU资源的总使用量，n为正整数，n代表模拟周期的数量。
类似的道理，也可以获取其他资源，比如内存、I/O或者存储资源等的资源总使用量，这里不再过多赘述。
步骤130，根据每一种资源的总使用量，以及模拟周期的数量，预测单个容器中每一种资源的资源承载量。
具体的，根据每一种资源的总使用量，预测单个容器中每一种资源的资源承载量，可以通过但不限于如下方式获取，具体参见图3所示。图3示预测单个容器中每一种资源的资源承载量的具体方法流程示意图。
该方法步骤包括：
步骤310，分别根据每一种资源的总使用量，以及模拟周期的数量，确定每一种资源的使用量平均值。
步骤320，根据每一种资源的使用量平均值，预测单个容器中每一种资源的资源承载量。
具体的，同样以CPU为例。
在计算CPU资源的使用量平均值时，可以通过如下公式获取：
Figure GDA0003616564480000062
其中，Pcpu为CPU资源的使用量平均值。
通过类似的公式，也可以获取其他资源的使用量平均值。
考虑到当预测的使用量平均值与实际容器中该资源承载量无限接近时，容器设置将会更加合理。因此，单个容器中CPU的资源承载量应该满足如下公式：
Figure GDA0003616564480000071
其中，Acpu为单个容器中CPU资源承载量。即，当α无限趋近于1的时候，所设置的容器将会更加合理。类似的道理，单个容器中配置的其他资源也应该按照类似的原则配置。
当容器中所有资源均配置完成后，也即是确定了单个容器的资源承载量。
步骤140，根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量。
步骤150，将与容器数量对应的容器构成资源配置模型。
具体的，资源配置模型可以为pod，pod由一个或多个容器组成。一个pod中的容器共享网络资源和容器存储资源在合理的范围内时，pod的性能最高。如果超过这个合理的范围，则业务访问性能开始下降。因此，需要确定pod中的容器数量，使其共享网络资源和容器存储资源能够配置在合理的范围内。那么，如何预测资源配置模型pod中的容器数量，则可以通过如下方式获取，具体参见图4所示，该方法步骤包括：
步骤410，确定预设数量的模拟周期内，预设资源的资源性能值达到最大时的资源消耗率。
步骤420，根据资源消耗率和单个容器中预资源的资源承载量，预测资源配置模型中的容器数量。
具体的，为了验证pod中的容器数量，可以事先在同一个pod中配置预设数量的容器，例如依次创建1-100个容器，即每次创建不同数量的容器。然后监控预设资源的资源性能值。在模拟业务数据运行多个周期后，监控pod中的资源消耗率。资源消耗率以如下公式得到：
f(y)＝kx3 (公式4)
其中，x代表容器的数量，y代表资源消耗值。
具体的考虑到，不同类型的业务，针对资源的需求不同，以CPU消耗多的业务数据为例，在考察资源性能值时，可以考虑CPU的资源性能值。或者考虑CPU和某些特定资源的性能值。当预设资源(例如CPU)的资源性能值达到最大时，确定资源消耗值，然后根据资源消耗值确定容器的数量，其中，k为预配置的一个系数。
通过该方式，获取资源配置模型，即与容器数量对应的容器构成资源配置模型。
并将这种资源配置模型具体应用到业务数据处理过程中。当业务进行扩容时，容器资源调度器还可根据已有的资源配置模型进行扩容。当业务减负时，也可以根据需要适当减少资源配置模型的数量。
云平台通过该智能调度模型的算法调度资源，通过实际数据验证，本方案比既有方案算法的资源利用率高，负载能力强。具体可以参见图5所示，图5示出CPU性能明显提升的效果示意图。
利用本实施例所设置的资源配置模型对相应业务数据进行处理时，资源利用率明显提升。
还需要说明的是，上述方案仅是针对某一种类型的业务数据(例如CPU资源消耗较多)做了相应的资源配置模型，实际上该方法适用于不同种业务数据配置资源配置模型，具体实现方式与上文相同或类似，这里不再赘述。
本发明实施例提供的业务数据分配方法，从多类业务数据中选取第一类业务数据，对第一类业务数据进行模拟，获取预设数量的模拟周期内第一类业务数据对应的每一种资源的总使用量，以及预设资源对应的资源性能值。然后，根据每一种资源的总使用量，预测单个容器中每一种资源的资源承载量。根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量。该方式中，考虑到不同业务数据对应资源的使用情况不同，所以针对每一种业务数据预测一种资源配置模型。而资源配置模型中单个容器的每一种资源的资源承载量则是根据实际业务数据在模拟周期内所使用的每一种资源的总使用量来预测的，使其能够更加贴近实际情况，保证资源承载量的合理分配。同时，为了实现资源配置模型的性能最大，所以根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量，以此来实现保证资源不浪费或资源不足的情况下，还能够使得资源的使用能够达到性能最大。
图6为本发明实施例提供的一种业务数据分配方法流程示意图，在一个具体的例子中，该方法可以包括但不限于，通过资源调度器执行，该方法包括：
步骤610，获取节点群中的第一节点发送的业务负载请求。
具体的，业务负载请求中包括待执行的任务，以及与待执行任务对应的资源量。
在一个具体的应用场景中，资源调度器连接有多个节点，也即是资源调度器连接有一个节点群。
在一个具体的例子中，资源调度器可以周期性的轮询节点群中的每一个节点的资源使用情况。对节点的资源进行监控和记录，当巡查所有节点完成时，根据节点的资源使用情况进行高可用性配置，对资源进行合理迁移、配置。该过程为现有技术，这里不再过多赘述。
在另一种情况中，各节点的对各自的资源比如cpu、内存、I/O端口、存储资源等实时监控，当任一资源超过预设资源阈值时，则通过报警方式，或者主动汇报模式，向智能资源调度器申请资源扩容，或者业务减负。
具体参见图7所示，图7示出了资源调度器监控调度各个节点的资源使用情况，以及各个节点主动汇报资源使用情况的示意图。
在本实施例中，主要以申请资源扩容为例进行说明。
因此，资源调度器会接收到节点群中的某一个节点(第一节点)发送的业务负载请求，并在业务负载请求中携带有待执行的任务，以及与待执行任务对应的资源量。
步骤620，根据待执行任务对应的资源量，向节点群中除第一节点外的节点发送邀请。
步骤630，接收节点群中除第一节点外的节点反馈的响应信息。
具体的，智能资源调度器本身不具有资源可以处理业务数据。其需要根据待执行任务对应的资源量向节点群中的其他节点发出邀请。当各节点收到邀请后，根据各自资源使用情况，接受邀约或者拒绝。具体参见图8所示，图8示出当资源调度器向各节点发出邀请后，收的各个节点的响应信息，包括接受邀请，或者拒绝邀请。
步骤640，当至少一个第二节点反馈的响应信息中包括第二节点当前空余资源量时，根据至少一个第二节点反馈的当前空余资源量、待执行任务对应的资源量，将待执行任务分配到至少一个第二节点中的部分或全部第二节点。
在一个可选的例子中，在确定至少一个第二节点反馈的响应信息中包括第二节点当前空余资源量时，智能调度器通过智能分析，遵循同种业务尽量集中最少节点，减少资源损耗，可以通过智能自动分配或者手动配置分配节点。
也即是，遵循同一业务数据分配到最少节点的原则，根据待执行任务对应的资源量，和至少一个第二节点中每一个第二节点对应的当前空余资源量，从至少一个第二节点中选取最少的第二节点，用以承接待执行的任务。
这里所说的承接待执行的任务，并非是说第二节点执行该任务。而是第二节点根据待执行的任务，创建资源配置模型，也即是pod，pod中包括预设的容器数量，用以执行待执行的任务。而具体执行待执行的任务的操作对象则为第一节点。
而对于待执行任务对应的资源量，以及空余资源量，均以上述任一实施例中所获取的资源配置模型中的资源量作为衡量标准。通过该方式，可以尽可能的保证资源利用率高，节点负载能力强。
本发明实施例提供的一种业务数据分配方法，获取节点群中的第一节点发送的业务负载请求，然后根据业务负载请求中包括的待执行任务对应的资源量，向节点群中除第一节点外的其他节点发送邀请。接收到至少一个第二节点反馈的响应信息后，根据响应信息中包括的第二节点当前空余资源量，以及待执行任务所需的资源量，从至少一个第二节点中选取部分或全部第二节点作为目标节点，用以承接待执行的任务。其中，待执行任务对应的资源量，以及空余资源量，均以上文所提及的资源配置模型预测方法所获取的资源配置模型为衡量标准，通过实际数据验证，利用资源配置模型作为资源衡量单位，对第一类业务数据所需的容器资源进行扩容，资源利用率高，各节点的负载能力强。
以上，为本申请所提供的业务数据分配几个方法实施例，下文中则介绍说明本申请所提供的业务数据分配其他实施例，具体参见如下。
图9为本发明实施例提供的一种资源配置模型预测装置结构示意图，该装置包括：选择模块901、模拟模块902、预测模块903，以及构建模块904。
选择模块901，用于从多类业务数据中选取第一类业务数据；
模拟模块902，用于每一种资源的总使用量预设资源对应的资源性能值对第一类业务数据进行模拟，获取预设数量的模拟周期内第一类业务数据对应的每一种资源的总使用量；以及，获取预设资源对应的资源性能值；
预测模块903，用于根据每一种资源的总使用量，以及模拟周期的数量，预测单个容器中每一种资源的资源承载量；根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量。
构建模块904，用于将与容器数量对应的容器构成资源配置模型，其中，第一类业务数据为多类业务数据中的一类。
可选的，模拟模块902，具体用于针对第一类业务数据进行日常业务模拟和高峰值业务模拟；
并在预设周期内针对第一资源抓取日常业务数据对应的第一使用量和高峰值业务数据对应的第二使用量；
根据第一使用量和第二使用量，获取第一资源的总使用量，其中，第一资源为第一类业务数据对应的任一种资源。
可选的，预测模块903，具体用于分别根据每一种资源的总使用量，以及模拟周期的数量，确定每一种资源的使用量平均值；
根据每一种资源的使用量平均值，预测单个容器中每一种资源的资源承载量。
可选的，预测模块903，具体用于确定预设数量的模拟周期内，预设资源的资源性能值达到最大时的资源消耗率；
根据资源消耗率和单个容器中预资源的资源承载量，预测资源配置模型中的容器数量。
本发明实施例提供的资源配置模型预测装置中各部件所执行的功能均已在上述任一方法实施例中做了详细的描述，因此这里不再赘述。
本发明实施例提供的一种资源配置模型预测装置，从多类业务数据中选取第一类业务数据，对第一类业务数据进行模拟，获取预设数量的模拟周期内第一类业务数据对应的每一种资源的总使用量，以及预设资源对应的资源性能值。然后，根据每一种资源的总使用量，预测单个容器中每一种资源的资源承载量。根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量。该方式中，考虑到不同业务数据对应资源的使用情况不同，所以针对每一种业务数据预测一种资源配置模型。而资源配置模型中单个容器的每一种资源的资源承载量则是根据实际业务数据在模拟周期内所使用的每一种资源的总使用量来预测的，使其能够更加贴近实际情况，保证资源承载量的合理分配。同时，为了实现资源配置模型的性能最大，所以根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量，以此来实现保证资源不浪费或资源不足的情况下，还能够使得资源的使用能够达到性能最大。
图10为本发明实施例提供的一种业务数据分配装置结构示意图，该装置包括：获取模块1001、发送模块1002、接收模块1003，以及分配模块1004。
获取模块1001，用于获取节点群中的第一节点发送的业务负载请求，其中，业务负载请求中包括待执行的任务，以及与待执行任务对应的资源量；
发送模块1002，用于根据待执行任务对应的资源量，向节点群中除第一节点外的节点发送邀请；
接收模块1003，用于接收节点群中除第一节点外的节点反馈的响应信息；
分配模块1004，用于当至少一个第二节点反馈的响应信息中包括第二节点当前空余资源量时，根据至少一个第二节点反馈的当前空余资源量、待执行任务对应的资源量，将待执行任务分配到至少一个第二节点中的部分或全部第二节点，其中，待执行任务对应的资源量，以及空余资源量，均以上文中对应实施例中任一实施例所获取的资源配置模型中的资源量作为衡量标准。
可选的，分配模块1004，具体用于遵循同一业务数据分配到最少节点的原则，根据待执行任务对应的资源量，和至少一个第二节点中每一个第二节点对应的当前空余资源量，从至少一个第二节点中选取最少的第二节点，用以承接待执行的任务。
本发明实施例提供的业务数据分配装置中各部件所执行的功能均已在上述任一方法实施例中做了详细的描述，因此这里不再赘述。
本发明实施例提供的一种业务数据分配装置，获取节点群中的第一节点发送的业务负载请求，然后根据业务负载请求中包括的待执行任务对应的资源量，向节点群中除第一节点外的其他节点发送邀请。接收到至少一个第二节点反馈的响应信息后，根据响应信息中包括的第二节点当前空余资源量，以及待执行任务所需的资源量，从至少一个第二节点中选取部分或全部第二节点作为目标节点，用以承接待执行的任务。其中，待执行任务对应的资源量，以及空余资源量，均以上文所提及的资源配置模型预测方法所获取的资源配置模型为衡量标准，通过实际数据验证，利用资源配置模型作为资源衡量单位，对第一类业务数据所需的容器资源进行扩容，资源利用率高，各节点的负载能力强。
如图11所示，本申请实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信。
存储器113，用于存放计算机程序；
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的资源配置模型预测方法，包括：
从多类业务数据中选取第一类业务数据；
对第一类业务数据进行模拟，获取预设数量的模拟周期内第一类业务数据对应的每一种资源的总使用量；以及，获取预设资源对应的资源性能值；
根据每一种资源的总使用量，以及模拟周期的数量，预测单个容器中每一种资源的资源承载量；
根据单个容器中预设资源的资源承载量，以及预设资源对应的资源性能值，预测资源配置模型中的容器数量；
将与容器数量对应的容器构成资源配置模型，其中，第一类业务数据为多类业务数据中的一类。
可选的，针对第一类业务数据进行日常业务模拟和高峰值业务模拟；
并在预设周期内针对第一资源抓取日常业务数据对应的第一使用量和高峰值业务数据对应的第二使用量；
根据第一使用量和第二使用量，获取第一资源的总使用量，其中，第一资源为第一类业务数据对应的任一种资源。
可选的，分别根据每一种资源的总使用量，以及模拟周期的数量，确定每一种资源的使用量平均值；
根据每一种资源的使用量平均值，预测单个容器中每一种资源的资源承载量。
可选的，确定预设数量的模拟周期内，预设资源的资源性能值达到最大时的资源消耗率；
根据资源消耗率和单个容器中预资源的资源承载量，预测资源配置模型中的容器数量。
或者，在本申请另一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的业务数据分配方法，包括：
获取节点群中的第一节点发送的业务负载请求，其中，业务负载请求中包括待执行的任务，以及与待执行任务对应的资源量；
根据待执行任务对应的资源量，向节点群中除第一节点外的节点发送邀请；
接收节点群中除第一节点外的节点反馈的响应信息；
当至少一个第二节点反馈的响应信息中包括第二节点当前空余资源量时，根据至少一个第二节点反馈的当前空余资源量、待执行任务对应的资源量，将待执行任务分配到至少一个第二节点中的部分或全部第二节点，其中，待执行任务对应的资源量，以及空余资源量，均以上文中任一实施例中获取的资源配置模型中的资源量作为衡量标准。
可选的，遵循同一业务数据分配到最少节点的原则，根据待执行任务对应的资源量，和至少一个第二节点中每一个第二节点对应的当前空余资源量，从至少一个第二节点中选取最少的第二节点，用以承接待执行的任务。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述任意一个方法实施例提供的业务数据分配方法的步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种资源配置模型预测方法，其特征在于，所述方法包括：
从多类业务数据中选取第一类业务数据；
对所述第一类业务数据进行模拟，获取预设数量的模拟周期内所述第一类业务数据对应的每一种资源的总使用量；以及，获取预设资源对应的资源性能值；
根据所述每一种资源的总使用量，以及模拟周期的数量，预测单个容器中每一种资源的资源承载量；
根据所述单个容器中预设资源的资源承载量，以及所述预设资源对应的资源性能值，预测资源配置模型中的容器数量；
将与所述容器数量对应的容器构成所述资源配置模型，其中，所述第一类业务数据为多类业务数据中的一类。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一类业务数据进行模拟，获取预设数量的模拟周期内所述第一类业务数据对应的每一种资源的总使用量，具体包括：
针对所述第一类业务数据进行日常业务模拟和高峰值业务模拟；
并在预设周期内针对第一资源抓取日常业务数据对应的第一使用量和高峰值业务数据对应的第二使用量；
根据所述第一使用量和所述第二使用量，获取所述第一资源的总使用量，其中，所述第一资源为所述第一类业务数据对应的任一种资源。
3.根据权利要求2所述的方法，其特征在于，所述根据所述每一种资源的总使用量，以及模拟周期的数量，预测单个容器中每一种资源的资源承载量，具体包括：
分别根据所述每一种资源的总使用量，以及模拟周期的数量，确定每一种资源的使用量平均值；
根据每一种资源的所述使用量平均值，预测所述单个容器中每一种资源的资源承载量。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述单个容器中预设资源的资源承载量，以及所述预设资源对应的资源性能值，预测资源配置模型中的容器数量，具体包括：
确定所述预设数量的模拟周期内，预设资源的资源性能值达到最大时的资源消耗率；
根据所述资源消耗率和单个容器中预设资源的资源承载量，预测所述资源配置模型中的容器数量。
5.一种资源配置模型预测装置，其特征在于，所述装置包括：
选择模块，用于从多类业务数据中选取第一类业务数据；
模拟模块，用于对所述第一类业务数据进行模拟，获取预设数量的模拟周期内所述第一类业务数据对应的每一种资源的总使用量；以及，获取预设资源对应的资源性能值；
预测模块，用于根据所述每一种资源的总使用量，以及模拟周期的数量，预测单个容器中每一种资源的资源承载量；根据所述单个容器中预设资源的资源承载量，以及所述预设资源对应的资源性能值，预测资源配置模型中的容器数量；
构建模块，用于将与所述容器数量对应的容器构成所述资源配置模型，所述第一类业务数据为多类业务数据中的一类。
6.根据权利要求5所述的装置，其特征在于，所述模拟模块，具体用于：
针对所述第一类业务数据进行日常业务模拟和高峰值业务模拟；
并在预设周期内针对第一资源抓取日常业务数据对应的第一使用量和高峰值业务数据对应的第二使用量；
根据所述第一使用量和所述第二使用量，获取所述第一资源的总使用量，其中，所述第一资源为所述第一类业务数据对应的任一种资源。
7.根据权利要求5或6所述的装置，其特征在于，所述预测模块，具体用于：
分别根据所述每一种资源的总使用量，以及模拟周期的数量，确定每一种资源的使用量平均值；
根据每一种资源的所述使用量平均值，预测所述单个容器中每一种资源的资源承载量。
8.根据权利要求5所述的装置，其特征在于，所述预测模块，具体用于：
确定所述预设数量的模拟周期内，预设资源的资源性能值达到最大时的资源消耗率；
根据所述资源消耗率和单个容器中预设资源的资源承载量，预测所述资源配置模型中的容器数量。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一项所述的资源配置模型预测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的资源配置模型预测方法的步骤。
CN202210188826.XA 2022-02-25 2022-02-25 资源配置模型预测方法、装置及电子设备 Active CN114745282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210188826.XA CN114745282B (zh) 2022-02-25 2022-02-25 资源配置模型预测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210188826.XA CN114745282B (zh) 2022-02-25 2022-02-25 资源配置模型预测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN114745282A CN114745282A (zh) 2022-07-12
CN114745282B true CN114745282B (zh) 2023-06-20

Family

ID=82275832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210188826.XA Active CN114745282B (zh) 2022-02-25 2022-02-25 资源配置模型预测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114745282B (zh)

Also Published As

Publication number Publication date
CN114745282A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN109218355B (zh) 负载均衡引擎，客户端，分布式计算***以及负载均衡方法
CN109918198B (zh) 一种基于用户特征预测的仿真云平台负载调度***及方法
CN102111337B (zh) 任务调度方法和***
Chaczko et al. Availability and load balancing in cloud computing
CN107562531B (zh) 一种数据均衡方法和装置
US20210255899A1 (en) Method for Establishing System Resource Prediction and Resource Management Model Through Multi-layer Correlations
CN103401947A (zh) 多个服务器的任务分配方法和装置
CN105487930A (zh) 一种基于Hadoop的任务优化调度方法
CN104123189A (zh) 一种基于IaaS层应用感知的Web多层应用动态资源调整方法
US8782659B2 (en) Allocation of processing tasks between processing resources
CN103995735A (zh) 用于调度工作流作业的设备和方法
CN105491150A (zh) 基于时间序列的负载均衡处理方法及***
CN107220108B (zh) 一种实现云数据中心负载均衡的方法和***
CN113806018A (zh) 基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法
Kowsigan et al. An efficient performance evaluation model for the resource clusters in cloud environment using continuous time Markov chain and Poisson process
CN103988179A (zh) 用于在地理分布数据中心中降低延迟和改善弹性的优化机制
CN117573373B (zh) 一种基于云计算的cpu虚拟化调度方法及***
CN116302469A (zh) 一种任务处理的方法和装置
CN111565216A (zh) 一种后端负载均衡方法、装置、***及存储介质
Zheng et al. Dynamic load balancing and pricing in grid computing with communication delay
CN114745282B (zh) 资源配置模型预测方法、装置及电子设备
CN112491742A (zh) 一种边缘计算终端资源调度方法及装置
CN102546652B (zh) 一种服务器负载平衡***及方法
CN114896070A (zh) 一种用于深度学习任务的gpu资源分配方法
Roy et al. Supporting multi-fidelity-aware concurrent applications in dynamic sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant