CN117851075B - 一种数据监测***的资源优化管理方法 - Google Patents

Abstract

本发明公开了一种数据监测***的资源优化管理方法，具体涉及数据处理技术领域，包括以下步骤：对***的多个计算节点的资源信息分别进行收集，得到计算节点信息集并进行分析，得到每个计算节点的资源值进行资源排序，得到资源排序单；对***的主节点的数据处理任务的需求进行收集并进行处理，得到需求值并与资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果并进行验证，不符合预设标准时进行重新匹配，最后对一级匹配结果进行分析并得到对应的匹配质量等级；本发明可以对算力网络中的各计算节点进行更好的调度，通过动态调度匹配和优化配置***算力资源，实现了对数据处理过程的高效管理，提高了数据处理效率。

Description

一种数据监测***的资源优化管理方法

技术领域

本发明涉及数据处理技术领域，更具体地说，本发明涉及一种数据监测***的资源优化管理方法。

背景技术

随着大数据时代的到来，数据监测***在各个领域得到了广泛的应用。然而，由于数据量庞大，传统的资源管理方法往往无法满足实时、高效、准确的数据处理需求，而且由于监测数据可以根据需要进行分析的数据量不同而生成不同难易程度的运算任务，如何根据产生的运算任务而有针对性的进行运算节点的分配，实现整个运算网络的资源的优化管理，提高数据处理效率，成为亟待解决的问题。

发明内容

为实现上述目的，本发明提供如下技术方案：

一种数据监测***的资源优化管理方法，包括以下步骤：

步骤一、对***的多个计算节点的资源信息分别进行收集，得到计算节点信息集；

步骤二、根据计算节点信息集进行分析，得到每个计算节点的资源值，并根据资源值的大小对多个计算节点进行资源排序，得到资源排序单；

步骤三、对***的主节点的数据处理任务的需求进行收集并进行处理，得到需求值；

步骤四、将数据处理任务的需求值、资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果；

步骤五、获取一级匹配结果中的目标计算节点上一次的匹配质量等级，以及对一级匹配结果中的目标计算节点预设时间窗口的数据传输波动系数值进行获取，当上一次的匹配质量等级、数据传输波动系数值均符合预设标准时，按照一级匹配结果进行数据处理任务分配，否则将一级匹配结果中的计算节点在资源排序单中进行剔除并重新进行目标匹配，直至上一次的匹配质量等级、数据传输波动系数值均符合预设标准；

步骤六、收集一级匹配结果完成用时并进行分析操作，得到该一级匹配结果的匹配质量值，然后将匹配质量值与预设的匹配质量阈值进行对比，得到对应的匹配质量等级。

在一个优选地实施方式中，步骤一中，对***的多个计算节点的资源信息分别进行收集，得到计算节点信息集指的是：

对***的多个计算节点的计算资源信息、存储资源信息和网络资源信息分别进行收集，然后将所有计算节点的计算资源信息、存储资源信息和网络资源信息进行汇总，得到计算节点信息集。

在一个优选地实施方式中，步骤二中，根据计算节点信息集进行分析，得到每个计算节点的资源值指的是：

步S1、将节点信息集中的计算资源信息、存储资源信息和网络资源信息分别进行标记；

步S11、将计算资源信息中的计算资源数据标记为JSi；

步S12、将存储资源信息中的总存储资源数据标记为ZCi，现存储资源数据标记为XCi;

步S13、将网络资源信息中的预设时间窗口的网络波动值标记为BDi，数据传输速度SDi；

步S2、通过公式计算得到计算节点的资源值，，/>，P为预设的网络波动标准值，q为网络波动值BDi的总项目数量，ZYi为计算节点的资源值，f1、f2、f3、f4均为预设的特定比例系数且均不为0。

在一个优选地实施方式中，步骤三中，对***的主节点的数据处理任务的需求进行收集并进行处理，得到需求值指的是：

步W1、收集***的主节点的数据处理任务的数据量和处理时间；

步W2、将***的主节点的数据处理任务的数据量标记为Si，处理时间标记为Ti；

步W3、通过公式计算得到需求值，，A1表示预设的标准数据量，A2表示预设的标准处理时间，b1、b2均为预设的特定比例系数且均不为0，XQi为需求值。

在一个优选地实施方式中，步骤四中，将数据处理任务的需求值、资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果指的是：将需求值XQi与预设的匹配系数值相乘，得到匹配区间[J1、J2]，匹配系数值大于1且小于2，J2为需求值XQi与预设的匹配系数值相乘得到结果，J1与需求值XQi的数值大小相等，获取资源排序单中在匹配区间[J1、J2]的计算节点，然后将计算节点按照其资源值的大小进行降序排列，排在首位的计算节点作为该数据处理任务的匹配目标，将二者进行匹配即得一级匹配结果。

在一个优选地实施方式中，步骤五中，数据传输波动系数值通过以下方式获取：

获取网络资源信息中的预设时间窗口下的数据传输速度SDi，将数据传输速度最大值标记为SDmax，将数据传输速度最小值标记为SDmin，并且通过计算得到预设时间窗口下的数据平均传输速度PJ，，m为预设时间窗口下的数据传输速度SDi的总项目数量，接着计算数据传输波动系数，/>，BXi为数据传输波动系数。

在一个优选地实施方式中，步骤五中，上一次的匹配质量等级、数据传输波动系数值均符合预设标准指的是：匹配质量等级为一级，数据传输波动系数值小于预设的标准数据传输波动系数阈值。

在一个优选地实施方式中，步骤六中，收集一级匹配结果完成用时并进行分析操作，得到该一级匹配结果的匹配质量值，然后将匹配质量值与预设的匹配质量阈值进行对比，得到对应的匹配质量等级指的是：

将一级匹配结果完成用时标记为YS，将一级匹配结果完成用时YS与***的主节点的数据处理任务的处理时间Ti进行分析操作，得到该一级匹配结果的匹配质量值，，ZL为该一级匹配结果的匹配质量值，然后将匹配质量值ZL与预设的匹配质量阈值进行对比，若匹配质量值ZL小于等于预设的匹配质量阈值，则得到的匹配质量等级为一级；若匹配质量值ZL大于预设的匹配质量阈值，则得到的匹配质量等级为二级。

本发明的技术效果和优点：

本发明可以通过收集***的多个计算节点的资源信息，得到计算节点信息集，可以全面了解***的资源状况；根据计算节点信息集进行分析，得到每个计算节点的资源值，并根据资源值的大小对多个计算节点进行资源排序，得到资源排序单，有助于合理分配***资源；对***的主节点的数据处理任务的需求进行收集并进行处理，得到需求值，可以为后续的任务分配提供依据；将数据处理任务的需求值、资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果，可以实现任务与资源的最优匹配。

本发明可以收集一级匹配结果完成用时并进行分析操作，得到该一级匹配结果的匹配质量值，然后将匹配质量值与预设的匹配质量阈值进行对比，得到对应的匹配质量等级，可以评价匹配结果的质量；通过监控***的运行状态，对资源使用情况进行监控和分析，有助于及时发现并解决***性能瓶颈问题；本发明可以对算力网络中的各计算节点进行更好的调度，通过动态调度匹配和优化配置***算力资源，实现了对数据处理过程的高效管理，提高了数据处理效率，并且采用任务分配和负载均衡策略，使得被分配任务的计算节点在一定程度上与任务处理的难易程度达到一种“平衡状态”，确保了各个计算节点的稳定运行，避免了因某个节点过载而导致整个***性能下降的问题。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明；

图1为本发明中的一种数据监测***的资源优化管理方法的原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：一种数据监测***的资源优化管理方法，包括以下步骤：

步骤一、对***的多个计算节点的资源信息分别进行收集，得到计算节点信息集；这些信息包括每个计算节点的计算资源如CPU、存储资源如内存和网络资源，具体操作为：对***的多个计算节点的计算资源信息、存储资源信息和网络资源信息分别进行收集，然后将所有计算节点的计算资源信息、存储资源信息和网络资源信息进行汇总，得到计算节点信息集，一个算力网络中由一个主节点和多个计算节点组成，主节点主要负责整个算力网络的管理和调度工作，例如任务分配，而计算节点则是执行具体计算任务的设备。

步骤二、根据计算节点信息集进行分析，得到每个计算节点的资源值，并根据资源值的大小对多个计算节点进行资源排序，得到资源排序单；具体包括以下步骤：

步S1、将节点信息集中的计算资源信息、存储资源信息和网络资源信息分别进行标记；

步S11、将计算资源信息中的计算资源数据标记为JSi；i仅表示项目编号；i=1、2、3、4、……、k，k为正整数；

步S12、将存储资源信息中的总存储资源数据标记为ZCi，现存储资源数据标记为XCi;

步S13、将网络资源信息中的预设时间窗口的网络波动值标记为BDi，数据传输速度SDi；

步S2、通过公式计算得到计算节点的资源值，，/>，P为预设的网络波动标准值，q为网络波动值BDi的总项目数量，ZYi为计算节点的资源值，f1、f2、f3、f4均为预设的特定比例系数且均不为0；f1、f2、f3分别表示的是计算资源数据、剩余存储资源占据总存储资源数据的比例、网络波动值对计算节点的资源值的影响程度，剩余存储资源通过总存储资源数据减去现存储资源数据得到；

步S3、根据资源值ZYi的大小对多个计算节点进行资源排序，本实施例中为降序排列的方式，得到资源排序单，多个计算节点的排列次序表明了其在所有的计算节点中的计算能力大小，序列越靠前，则其计算能力越强，可以处理的任务越复杂；序列越靠后，则其计算能力越弱，可以处理的任务越简单。

步骤三、对***的主节点的数据处理任务的需求进行收集并进行处理，得到需求值；具体包括以下步骤：

步W1、收集***的主节点的数据处理任务的数据量和处理时间；

步W2、将***的主节点的数据处理任务的数据量标记为Si，处理时间标记为Ti；

步W3、通过公式计算得到需求值，，A1表示预设的标准数据量，A2表示预设的标准处理时间，b1、b2均为预设的特定比例系数且均不为0，XQi为需求值，需求值XQi的大小表示了该数据处理任务的复杂程度，处理任务的复杂程度与其数据量的大小、处理时间长短有关，b1、b2分别表示的是该数据处理任务的数据量、处理时间分别对其复杂程度的影响程度。

步骤四、将数据处理任务的需求值、资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果；具体为：将需求值XQi与预设的匹配系数值相乘，得到匹配区间[J1、J2]，匹配系数值大于1且小于2，J2为需求值XQi与预设的匹配系数值相乘得到结果，J1与需求值XQi的数值大小相等，将需求值XQi与预设的匹配系数值相乘的意义在于优化资源运算的配置，对算力网络中的各计算节点进行更好的调度，通过动态调度匹配和优化配置***算力资源，实现了对数据处理过程的高效管理，提高了数据处理效率，并且采用任务分配和负载均衡策略，负载均衡策略指的是尽可能的确保被分配任务的计算节点满足任务的需求，并且不易出现简单任务匹配大运算能力的计算节点，使得被分配任务的计算节点在一定程度上与任务处理的难易程度达到一种“平衡状态”，确保了各个计算节点的稳定运行，避免了因某个节点过载而导致整个***性能下降的问题，获取资源排序单中在匹配区间[J1、J2]的计算节点，然后将计算节点按照其资源值的大小进行降序排列，排在首位的计算节点作为该数据处理任务的匹配目标，将二者进行匹配即得一级匹配结果。

步骤五、收集一级匹配结果完成用时并进行分析操作，得到该一级匹配结果的匹配质量值，然后将匹配质量值与预设的匹配质量阈值进行对比，得到对应的匹配质量等级，具体为：将一级匹配结果完成用时标记为YS，将一级匹配结果完成用时YS与***的主节点的数据处理任务的处理时间Ti进行分析操作，得到该一级匹配结果的匹配质量值，，ZL为该一级匹配结果的匹配质量值，然后将匹配质量值ZL与预设的匹配质量阈值进行对比，若匹配质量值ZL小于等于预设的匹配质量阈值，则得到的匹配质量等级为一级；若匹配质量值ZL大于预设的匹配质量阈值，则得到的匹配质量等级为二级，当得到的匹配质量等级为一级时，表示被分配任务的计算节点与任务处理的难易程度达到了预期的“平衡状态”，实际的完成用时YS与***的主节点的数据处理任务的处理时间Ti的偏差符合预期的“平衡状态”，处理时间Ti是预期的而不是必须在处理时间Ti内完成该数据处理任务，实现了对***算力资源的优化配置；当得到的匹配质量等级为二级时，表示被分配任务的计算节点与任务处理的难易程度未达到预期的“平衡状态”，未实现对***算力资源的优化配置，该计算节点的算力出现了下降的问题，需要人员对该计算节点进行检查。

实施例2：一种数据监测***的资源优化管理方法，包括以下步骤：

步骤一、对***的多个计算节点的资源信息分别进行收集，得到计算节点信息集；对***的多个计算节点的计算资源信息、存储资源信息和网络资源信息分别进行收集，然后将所有计算节点的计算资源信息、存储资源信息和网络资源信息进行汇总，得到计算节点信息集。

步骤二、根据计算节点信息集进行分析，得到每个计算节点的资源值，并根据资源值的大小对多个计算节点进行资源排序，得到资源排序单；包括以下步骤：将节点信息集中的计算资源信息、存储资源信息和网络资源信息分别进行标记，将计算资源信息中的计算资源数据标记为JSi，将存储资源信息中的总存储资源数据标记为ZCi，现存储资源数据标记为XCi，将网络资源信息中的预设时间窗口的网络波动值标记为BDi，数据传输速度SDi，通过公式计算得到计算节点的资源值，，/>，P为预设的网络波动标准值，q为网络波动值BDi的总项目数量，ZYi为计算节点的资源值，f1、f2、f3、f4均为预设的特定比例系数且均不为0。

步骤三、对***的主节点的数据处理任务的需求进行收集并进行处理，得到需求值；先收集***的主节点的数据处理任务的数据量和处理时间，然后将***的主节点的数据处理任务的数据量标记为Si，处理时间标记为Ti，再通过公式计算得到需求值，，A1表示预设的标准数据量，A2表示预设的标准处理时间，b1、b2均为预设的特定比例系数且均不为0，XQi为需求值。

步骤四、将数据处理任务的需求值、资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果；将需求值XQi与预设的匹配系数值相乘，得到匹配区间[J1、J2]，匹配系数值大于1且小于2，J2为需求值XQi与预设的匹配系数值相乘得到结果，J1与需求值XQi的数值大小相等，获取资源排序单中在匹配区间[J1、J2]的计算节点，然后将计算节点按照其资源值的大小进行降序排列，排在首位的计算节点作为该数据处理任务的匹配目标，将二者进行匹配即得一级匹配结果。

步骤五、获取一级匹配结果中的目标计算节点上一次的匹配质量等级，以及对一级匹配结果中的目标计算节点预设时间窗口的数据传输波动系数值进行获取，当上一次的匹配质量等级、数据传输波动系数值均符合预设标准时，按照一级匹配结果进行数据处理任务分配，否则将一级匹配结果中的计算节点在资源排序单中进行剔除并重新进行目标匹配，直至上一次的匹配质量等级、数据传输波动系数值均符合预设标准；其中，数据传输波动系数值通过以下方式获取：获取网络资源信息中的预设时间窗口下的数据传输速度SDi，将数据传输速度最大值标记为SDmax，将数据传输速度最小值标记为SDmin，并且通过计算得到预设时间窗口下的数据平均传输速度PJ，，m为预设时间窗口下的数据传输速度SDi的总项目数量，接着计算数据传输波动系数，/>，BXi为数据传输波动系数。

其中，上一次的匹配质量等级、数据传输波动系数值均符合预设标准指的是：匹配质量等级为一级，数据传输波动系数值小于预设的标准数据传输波动系数阈值，并且需要提及的是，若一级匹配结果中的目标计算节点是首次进行匹配时，则仅确保数据传输波动系数值均符合预设标准，因为其没有进行匹配过，所以其上一次的匹配质量等级是不存在的，这种情况下，将其上一次的匹配质量等级默认是符合预设标准的。

步骤六、收集一级匹配结果完成用时并进行分析操作，得到该一级匹配结果的匹配质量值，然后将匹配质量值与预设的匹配质量阈值进行对比，得到对应的匹配质量等级；将一级匹配结果完成用时标记为YS，将一级匹配结果完成用时YS与***的主节点的数据处理任务的处理时间Ti进行分析操作，得到该一级匹配结果的匹配质量值，，ZL为该一级匹配结果的匹配质量值，然后将匹配质量值ZL与预设的匹配质量阈值进行对比，若匹配质量值ZL小于等于预设的匹配质量阈值，则得到的匹配质量等级为一级；若匹配质量值ZL大于预设的匹配质量阈值，则得到的匹配质量等级为二级。

本发明通过监控***的运行状态，对资源使用情况进行监控和分析，有助于及时发现并解决***性能瓶颈问题。

上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件，或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种数据监测***的资源优化管理方法，其特征在于，包括以下步骤：

步骤一、对***的多个计算节点的资源信息分别进行收集，得到计算节点信息集；

步骤二、根据计算节点信息集进行分析，得到每个计算节点的资源值，并根据资源值的大小对多个计算节点进行资源排序，得到资源排序单；

步骤三、对***的主节点的数据处理任务的需求进行收集并进行处理，得到需求值；

步骤四、将数据处理任务的需求值、资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果；逻辑为：将需求值XQi与预设的匹配系数值相乘，得到匹配区间[J1、J2]，匹配系数值大于1且小于2，J2为需求值XQi与预设的匹配系数值相乘得到结果，J1与需求值XQi的数值大小相等，获取资源排序单中在匹配区间[J1、J2]的计算节点，然后将计算节点按照其资源值的大小进行降序排列，排在首位的计算节点作为该数据处理任务的匹配目标，将二者进行匹配即得一级匹配结果；

步骤五、获取一级匹配结果中的目标计算节点上一次的匹配质量等级，以及对一级匹配结果中的目标计算节点预设时间窗口的数据传输波动系数值进行获取，当上一次的匹配质量等级、数据传输波动系数值均符合预设标准时，按照一级匹配结果进行数据处理任务分配，否则将一级匹配结果中的计算节点在资源排序单中进行剔除并重新进行目标匹配，直至上一次的匹配质量等级、数据传输波动系数值均符合预设标准；

数据传输波动系数值通过以下方式获取：

获取网络资源信息中的预设时间窗口下的数据传输速度SDi，将数据传输速度最大值标记为SDmax，将数据传输速度最小值标记为SDmin，并且通过计算得到预设时间窗口下的数据平均传输速度PJ，，m为预设时间窗口下的数据传输速度SDi的总项目数量，接着计算数据传输波动系数，/>，BXi为数据传输波动系数；

上一次的匹配质量等级、数据传输波动系数值均符合预设标准指的是：匹配质量等级为一级，数据传输波动系数值小于预设的标准数据传输波动系数阈值；

步骤六、收集一级匹配结果完成用时并进行分析操作，得到该一级匹配结果的匹配质量值，然后将匹配质量值与预设的匹配质量阈值进行对比，得到对应的匹配质量等级；逻辑为：将一级匹配结果完成用时标记为YS，将一级匹配结果完成用时YS与***的主节点的数据处理任务的处理时间Ti进行分析操作，得到该一级匹配结果的匹配质量值，，ZL为该一级匹配结果的匹配质量值，然后将匹配质量值ZL与预设的匹配质量阈值进行对比，若匹配质量值ZL小于等于预设的匹配质量阈值，则得到的匹配质量等级为一级；若匹配质量值ZL大于预设的匹配质量阈值，则得到的匹配质量等级为二级。

2.根据权利要求1所述的一种数据监测***的资源优化管理方法，其特征在于，步骤一中，对***的多个计算节点的资源信息分别进行收集，得到计算节点信息集指的是：

对***的多个计算节点的计算资源信息、存储资源信息和网络资源信息分别进行收集，然后将所有计算节点的计算资源信息、存储资源信息和网络资源信息进行汇总，得到计算节点信息集。

3.根据权利要求2所述的一种数据监测***的资源优化管理方法，其特征在于，步骤二中，根据计算节点信息集进行分析，得到每个计算节点的资源值指的是：

步S1、将节点信息集中的计算资源信息、存储资源信息和网络资源信息分别进行标记；

步S11、将计算资源信息中的计算资源数据标记为JSi；

步S12、将存储资源信息中的总存储资源数据标记为ZCi，现存储资源数据标记为XCi;

步S13、将网络资源信息中的预设时间窗口的网络波动值标记为BDi，数据传输速度SDi；

步S2、通过公式计算得到计算节点的资源值，，，P为预设的网络波动标准值，q为网络波动值BDi的总项目数量，ZYi为计算节点的资源值，f1、f2、f3、f4均为预设的特定比例系数且均不为0。

4.根据权利要求3所述的一种数据监测***的资源优化管理方法，其特征在于，步骤三中，对***的主节点的数据处理任务的需求进行收集并进行处理，得到需求值指的是：

步W1、收集***的主节点的数据处理任务的数据量和处理时间；

步W2、将***的主节点的数据处理任务的数据量标记为Si，处理时间标记为Ti；

步W3、通过公式计算得到需求值，，A1表示预设的标准数据量，A2表示预设的标准处理时间，b1、b2均为预设的特定比例系数且均不为0，XQi为需求值。