CN117648197A - 基于对抗学习与异构图学习的序列化微服务资源预测方法 - Google Patents

基于对抗学习与异构图学习的序列化微服务资源预测方法 Download PDF

Info

Publication number
CN117648197A
CN117648197A CN202410123314.4A CN202410123314A CN117648197A CN 117648197 A CN117648197 A CN 117648197A CN 202410123314 A CN202410123314 A CN 202410123314A CN 117648197 A CN117648197 A CN 117648197A
Authority
CN
China
Prior art keywords
node
learning
attention
model
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410123314.4A
Other languages
English (en)
Other versions
CN117648197B (zh
Inventor
徐悦甡
何晓宇
赵新奎
王璐
曾凡浩
李�瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202410123314.4A priority Critical patent/CN117648197B/zh
Publication of CN117648197A publication Critical patent/CN117648197A/zh
Application granted granted Critical
Publication of CN117648197B publication Critical patent/CN117648197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于对抗学习与异构图学习的序列化微服务资源预测方法，属于时间序列预测领域，用以提升资源预测的准确性、泛化能力和计算效率。本发明使用微服务资源节点与运行在各节点上的容器构建异构图，利用图神经网络进行学习，获取异构图中的节点表示，在训练过程中利用对抗学习方法提高图神经网络的训练质量，增强图神经网络的鲁棒性和节点表示的质量，同时降低计算复杂度。最后将异构图中每个节点的节点表示与对应节点的时间序列数据相结合，采用LSTM和多头注意力机制进行CPU利用率的预测。本发明提升了预测模型的泛化能力和预测准确率，提高了模型训练速度和预测效率。

Description

基于对抗学习与异构图学习的序列化微服务资源预测方法
技术领域
本发明涉及时间序列预测领域，尤其是一种基于对抗学习与异构图学习的序列化微服务资源预测方法。
背景技术
对于传统的云应用，人们提出了许多预测资源使用的方法，如基于统计的方法和深度学习方法。基于统计的预测方法对稳定的应用具有良好的预测效果，但对大规模复杂应用的资源使用预测效果较差。在实现时间序列下的微服务资源利用率预测任务中，传统方法通常面临着几个挑战：（1）在考虑节点和容器的复杂关联时存在精确性不足的问题；（2）由于未能很好地整合图数据和时间序列数据，导致模型在预测时缺乏全面的信息；（3）难以有效地捕获时间序列中的长期依赖性，尤其在节点和容器层次结构复杂的情况下；（4）可能在面对新数据或不同环境时泛化能力较差，难以适应不同场景下的CPU利用率变化。
例如，中国专利文献CN113886454A所设计的一种基于LSTM-RBF的云资源预测方法，其包括：S10，读入云计算平台资源负载情况数据，数据归一化处理，转化为有监督学习问题。S20，使用LSTM神经网络进行资源预测。S30，使用RBF神经网络进行资源预测。S40，使用BP神经网络对LSTM和RBF的预测值进行混合预测。S50，输出混合预测结果。该方法采用基于LSTM-RBF混合模型进行云计算资源预测，弥补了RBF模型不够快速与精确的不足，也避免了LSTM模型训练时间呈指数倍增的问题，在混合方法上采用了BP神经网络对预测结果进行训练，区别于传统的权重搜索方法，提高了预测结果的精确性。但是，该方法的融合过程导致模型的复杂性增加，同时，其忽略了样本的图信息，指示预测结果不够直观或不够有效。
再如中国专利文献CN116489039A所设计的一种基于机器学习的云资源预测方法，其包括：步骤S1.数据归一化；步骤S2.使用WGAN-GP训练数据；步骤S3.利用BIGRU网络提取信息；步骤S4.计算相似度；步骤S5.预测方法，对数据进行预测。该方法虽然通过数据扩充解决了数据匮乏的问题，但也导致生成对抗网络生成的数据质量不稳定，可能会引入一些偏差，影响模型的泛化能力和预测准确性。
又如中国专利文献CN116028214A所设计的一种数据中心在线服务资源预测方法，其分为周期提取、利用子序列训练模型、利用预测模型进行在线负载资源预测等三个步骤。该方法首先对在线负载的CPU使用量的周期值进行计算，并据此建立、划分资源使用序列；然后利用经过划分的序列对LSTM模型进行训练，使其达到预测的要求；最终使用经训练的模型进行预测，根据需要及时重新训练。该方法的不足之处在于并未考虑在线服务节点或者节点与运行在其之上的容器之间的关系，未能充分挖掘样本特征，在预测结果的准确性上仍有待提高。
发明内容
本发明的发明目的在于：针对上述存在的全部或部分问题，提供一种基于对抗学习与异构图学习的序列化微服务资源预测方法，以提升预测模型的准确性、泛化能力和计算效率。
本发明采用的技术方案如下：
一种基于对抗学习与异构图学习的序列化微服务资源预测方法，其包括：
使用各节点与运行在各所述节点上的容器构建异构图；
使用图神经网络，采用对抗学习方法从所述异构图中对各节点的节点表示进行学习；
分别融合各节点的节点表示和对应节点的时间序列数据；
使用循环神经网络结合注意力机制对融合数据进行计算，预测出CPU利用率。
进一步的，所述使用各节点与运行在各所述节点上的容器构建异构图，包括：
以节点的特征向量作为异构图中的节点，以节点与该节点上的容器的连接关系作为异构图中的边，构建出异构图。
进一步的，节点与该节点上的容器的连接关系，以节点和容器的索引信息进行表示。
进一步的，所述异构图包含节点组和边组，通过分别将每个节点和每条边映射到所属的类型，来完成异构图的构建。
进一步的，所述图神经网络为GraphSAGE模型。
进一步的，所述GraphSAGE模型的节点特征更新方法为：
其中，表示节点v在第L+1层的特征，/>表示节点u在第L层的特征；/>表示节点v的邻居节点集合；/>是特征聚合函数，用于将多个特征聚合为一个固定维度的向量；/>是权重矩阵；/>是非线性激活函数。
进一步的，所述循环神经网络结合注意力机制，为LSTM(Long Short-TermMemory,长短期记忆网络)结合多头注意力机制（Multi-head Attention），或者GRU(GateRecurrent Unit,门控循环单元)结合自注意力机制（Self Attention）。
进一步的，使用LSTM结合多头注意力机制对融合数据进行计算的过程中，多头注意力机制对融合数据的计算过程包括：
将融合数据中的各元素分别映射为查询、键和值；
利用查询、键和值分别对多个注意力头进行计算；
将各注意力头的输出进行拼接，并与输出权重矩阵相乘，得到最终的多头注意力输出。
进一步的，所述利用查询、键和值分别对多个注意力头进行计算，包括：
依据设定的注意力头数量，以及对应每个注意力头的查询权重矩阵、键权重矩阵和值权重矩阵，分别对各注意力头进行以下计算：
分别计算每个查询×查询权重矩阵和所有键×键权重矩阵之间的相似性得分；
将各相似性得分进行归一化处理，转换为对应权重；
将各值×值权重矩阵与转换的对应权重相乘，并加权求和输出。
进一步的，所述循环神经网络的学习率被配置为0.001。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明通过构建节点与容器之间的异构图，并采用图神经网络进行节点表示的学习，能够更好地捕获节点和容器之间的局部关联信息，提升后期预测准确性。学习过程中使用对抗学习方法可以帮助提高图神经网络的鲁棒性、泛化能力，并增强节点表示的质量，降低计算复杂度，提高模型训练和预测效率。将节点表示与时间序列数据相融合，有效地整合了图数据和时间序列数据，同时利用LSTM等循环神经网络结合注意力机制进行预测，有效捕获时间序列中的长期和短期依赖性，进一步提高了模型预测准确性，克服了传统方法在处理图数据和时间序列预测中的一些限制。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是基于对抗学习的异构图节点表示学习模型架构。
图2是基于LSTM与注意力机制的时间序列上CPU利用率预测模型架构。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书（包括任何附加权利要求、摘要）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明的设计思路是：使用节点与运行在节点之上的容器进行异构图的构建。对于获得的异构图使用图神经网络进行图的节点表示学习，以更好地捕获节点和容器之间的局部关联信息。学习过程中使用对抗学习方法以帮助提高图神经网络的鲁棒性、泛化能力，并增强节点表示的质量。将异构图中每个节点的节点表示与对应节点的时间序列数据相融合，有效地整合了图数据和时间序列数据，并且这种融合使预测模型能够更好地理解节点之间的关系，并结合时间序列的信息。通过采用循环神经网络和注意力机制进行融合数据的特征提取和预测，预测模型能够有效地捕获时间序列中的长期和短期依赖性，提高预测准确性。
本实施例介绍了一种基于对抗学习与异构图学习的序列化微服务资源预测方法，该方法包括以下步骤：
S1、使用各节点与运行在各所述节点上的容器构建异构图。
对于微服务资源节点以及与节点有关的容器，经分析，其间存在一定的相关性，比如节点与节点直接存在联系、节点与容器之间存在联系或者容器与容器之间存在联系，在本发明中，利用节点与运行在节点上的容器之间天然存在的明显联系来构建异构图以对预测模型进行训练。如图1所示，异构图中的一个节点上可以运行一个或多个容器，但一个容器仅可能运行在一个节点上，即一个节点可以与多个容器相连接，但一个容器只与一个节点相连接。通过以节点的特征向量作为异构图中的节点，以节点与该节点上的容器的连接关系为异构图中的边，构建出异构图。其中，节点与该节点上的容器的连接关系，以节点和容器的索引信息进行表示。
异构图包含节点组和边组，通过分别将每个节点和每条边映射到所属的类型，来完成异构图的构建。一个异构图G由一组节点和一组边组成，其中每个节点和每条边都对应着一种类型，用/>表示节点类型的集合，/>表示边类型的集合，一个异构图有两个映射函数，分别将每个节点映射到其对应的类型/>，将每条边映射到其对应的类型：/>。构建出异构图即可将其输入到图神经网络（Graph Neural Network，GNN）中进行训练学习，得到节点嵌入（即向量）表示。
S2、使用图神经网络，采用对抗学习方法从所述异构图中对各节点的节点表示进行学习，得到节点的节点表示。
图神经网络有Basic GNNs（基础图神经网络）、GCN（Graph ConvolutionalNetwork,图卷积网络）、GraphSAGE（Graph Sample and aggregate,图样本和集合）、GIN（Graph IsomorphismNetwork,图同构网络）等，根据对图的实际需要选择相应的图神经网络模型进行学习。本实施例中，选用GraphSAGE网络模型来对节点表示进行学习。
GraphSAGE模型的节点特征更新方法为：
其中：
表示节点v在第L+1层的特征；/>表示节点u在第L层的特征；/>表示节点v的邻居集合；/>表示邻居节点特征聚合函数，用于将邻居节点的特征聚合为一个固定维度的向量；/>是权重矩阵；/>是激活函数，通常使用ReLU或其他非线性激活函数。该方法表示节点v在第L+1层的特征是其邻居节点特征的聚合结果，通过线性变换和非线性激活函数进行更新。整个GraphSAGE模型的训练目标通常涉及节点分类或节点预测任务，通过调整权重矩阵/>和学习邻居节点聚合函数来优化模型。
对于GraphSAGE模型的输入，应该包含两部分的数据，x:表示节点的特征向量，是节点的输入特征，对应于节点的属性或特征信息。edge_index:边的索引，描述了图中节点之间的连接关系，是一个包含两行的张量，每一列表示一条边，包括起始节点和终止节点的索引信息。
如图1所示，在训练GraphSAGE模型的过程中采用了对抗学习的方法，以更有效地获得异构图中节点的嵌入表示，增强了模型的泛化能力和鲁棒性。这种方法可以帮助网络更好地理解节点和容器之间的联系，并有效捕获异构图中节点与容器之间的相关性。这样，GraphSAGE模型能够更好地理解和表征节点与容器之间的复杂联系，克服了传统方法中对图数据学习的一些限制。这种结合异构图的表示学习方式，为模型提供了更丰富、更准确的节点嵌入表示。
S3、分别融合各节点的节点表示和对应节点的时间序列数据。
经图神经网络学习后，即可得到各节点的嵌入表示。将各节点的节点表示和由历史节点数据反应的时间序列数据进行拼接融合。
S4、使用循环神经网络结合注意力机制对融合数据进行计算，预测出CPU利用率。
循环神经网络需要是具备长期记忆能力的网络，例如LSTM、GRU等。注意力机制采用普通注意力机制也可起到一定效果，但是优选的，本发明实施例中采用多头注意力机制或者自注意力机制，来对循环神经网络提取特征的权重进行调整。
具体而言，该步骤中，可以使用LSTM+多头注意力机制进行预测，也可以采用GRU+自注意力机制进行预测。
如图2所示，此处以LSTM+多头注意力机制进行预测来具体说明该步骤的计算方法：
在序列任务中，当需要对序列的不同部分进行建模时，注意力机制允许模型动态地给序列中不同位置的元素分配不同的权重。这种权重可以在每个时间步动态地计算，以便模型专注于输入序列中最相关的部分。注意力机制的基本工作原理由查询（Q）、键（K）和值（V）进行计算：在注意力机制中，通过将序列中的元素分别映射为查询、键和值的表示，以便计算它们之间的关联程度，因此，在本实施例中，先将融合数据（即各节点表示和对应的时间序列数据）中的各元素分别映射为查询、键和值。
多头注意力机制是将多个注意力头（即多个注意力分支）计算的结果进行连接，因此需要利用查询、键和值分别对多个注意力头进行计算，各注意力头设定有相应的权重矩阵，然后将各注意力头的输出进行拼接，并与输出权重矩阵相乘，得到最终的多头注意力输出。
每个注意力头的计算过程包括：
1）分数计算：通过计算查询和键之间的相似性得分，确定每个查询与所有键之间的关联度。这些得分通常通过内积、点积或其他相似性度量计算得出。
2）Softmax归一化（或其他归一化方法）：分别将得分经过Softmax归一化，转化为以概率分布表示的权重，确保这些权重之和为1。
3）加权求和：将值乘以对应的权重，然后加权求和以获得最终的注意力输出。
多头注意力机制的计算方法如下：
其中为最终的多头注意力输出，h表示配置的注意力头的数量，为输出权重矩阵，Concat()表示拼接操作。每个注意力头headi的计算如下：
其中W Qi 、W Ki 、W Vi分别是为注意力头i配置的查询权重矩阵、键权重矩阵、值权重矩阵。在每个注意力头中，使用这些权重矩阵进行线性变换，然后应用注意力机制分别进行计算，即分别计算每个查询×查询权重矩阵和所有键×键权重矩阵之间的相似性得分，将各相似性得分进行归一化处理，转换为对应权重，将各值×值权重矩阵与转换的对应权重相乘，得到该注意力头的输出。最后将所有注意力头的输出拼接，再乘以输出权重矩阵/>得到最终的多头注意力输出。
通过步骤S2得到的节点嵌入表示，结合时间序列数据，使用LSTM与多头注意力机制进行计算并得到最终的CPU利用率预测结果。
LSTM是一种能够捕捉时间序列数据中长期依赖关系的循环神经网络模型。而加入注意力机制可以使模型能够更好地关注输入序列中的特定部分，从而提高对于时间序列数据的建模能力。
LSTM的核心结构：细胞状态（Cell State）：LSTM中包含一个细胞状态，它是网络在整个序列过程中贯穿的核心信息传递载体。门控结构：LSTM包括三个门控单元：输入门（Input Gate）：决定在当前时间步长哪些信息将会被更新到细胞状态中。它结合了当前输入和前一时刻的隐藏状态，以确定更新的程度。遗忘门（Forget Gate）：确定哪些信息将从细胞状态中被遗忘或清除。它决定了过去的信息对当前状态的影响程度。输出门（OutputGate）：基于当前的输入和隐藏状态，决定在当前时间步中应该输出什么信息。隐藏状态（Hidden State）：LSTM在每个时间步都会产生一个隐藏状态，其通过遗忘、输入和输出门的控制，负责传递和保存信息。
LSTM与注意力机制在处理时间序列数据时具有以下优势：
1）长期依赖关系捕捉:LSTM适用于捕捉时间序列数据中的长期依赖关系，而注意力机制可以帮助模型更加集中地关注对当前预测有用的时间步。对关键信息的关注：注意力机制允许模型在每个时间步上动态地分配注意力，从而使模型能够更好地对时间序列中的关键信息进行建模。并且多头注意力允许模型并行地关注不同的表示子空间，这提高了模型对序列内部复杂依赖关系的捕获能力。
2）减少信息丢失:通过结合LSTM和注意力机制，模型可以更好地处理长序列数据，捕获序列中不同时间步之间的依赖关系和模式，避免梯度消失或梯度***等问题，从而减少信息丢失。
3）更好的预测能力:LSTM作为序列模型在处理长期依赖性方面表现出色，而注意力机制则有助于捕捉序列中的重要信息，特别是短期依赖性。LSTM与注意力机制的组合可以提高模型在时间序列数据上的预测能力，因为它们能够更好地捕捉序列中的重要模式和关联。
综上所述，LSTM与注意力机制的组合结合了LSTM模型对长期依赖关系的处理能力和注意力机制对关键信息的关注能力，因此在时间序列数据上具有更好的建模能力和预测性能。
本实施例还包括S5、预测输出
步骤S4输出的是预测的CPU利用率，本步骤对该预测输出进行评估，以评估模型性能。
本实施例中主要采用了均方误差（MSE）、平均绝对误差（MAE）以及平均绝对百分比误差（MAPE）等评估指标来衡量模型性能。均方误差着重于误差的平方均值，突出大误差对整体的影响；平均绝对误差衡量平均误差的大小，对异常值不敏感；平均绝对百分比误差则量化了预测值相对于真实值的平均百分比误差，对于百分比误差的评估相当有用。这些指标为模型的准确性和可靠性提供了量化评估，为预测输出的有效性提供了全面的分析和比较。
定义预测的CPU利用率为，实际CPU利用率为y，n为测试样本数量。MSE、MAPE、MAE的计算方法分别为：
MSE(均方误差)：
MAPE（平均绝对百分比误差）：
MAE（平均绝对误差）：
在优化模型参数过程中，以最小化预测值与实际值间的差距为目标对预测模型进行训练。
本发明实施例所介绍的预测方法，相较于现有技术相比，具有以下一系列优势：
多源数据整合优势：本发明实施例采用异构图结构，将节点与容器之间的关联性结合到一个图中。这种数据整合方法不仅有效地捕获了节点和容器之间的联系，还通过对抗学习进行GraphSAGE训练，提升了节点表示的质量，从而更全面地利用了多源数据，有助于提高模型的泛化能力和准确性。
时间序列预测精度提升：预测模型结合了LSTM和多头注意力机制的结构，模型可以更有效地捕获时间序列中的长期和短期依赖性。LSTM擅长处理时间序列中的长期信息，而多头注意力机制则更有利于捕获短期相关性，这种结合使得模型在预测过程中更全面地考虑了时间序列的特性，进而提高了预测的准确性。
高效的计算和训练过程：对抗学习训练GraphSAGE进行节点表示不仅提高了节点质量，还降低了计算复杂度，从而提高了训练和预测的效率。此外，使用多头注意力机制，能够并行处理多个注意力头的计算，提升了模型的并行计算能力，加速了模型训练的速度。
对新数据和多样化场景的泛化能力：预测模型结合了对抗学习与图神经网络，模型更好地理解了节点之间的关系。这种综合性学习使得模型能够更好地适应新数据和多样化场景，提高了泛化能力。
技术优势综合应用：本发明综合运用了图神经网络、对抗学习和时间序列模型等多个领域的技术优势。这种综合应用让模型能够充分发挥各种技术的长处，提高了模型在复杂数据处理和预测方面的效果。
综上所述，本发明相比现有技术更全面地整合了多源数据、提高了预测精度和泛化能力、降低了计算复杂度，从而在时间序列预测领域具有一定程度的优势。
下面将对本发明实施例测算的性能指标与现有技术进行比较：
表1 预测与比较
由表1可知，本实施例的方法相较于其他方法有一定优势，这种性能提升可能源自于其结构和方法的独特性：节点表示与时间序列融合，独特的结构在于将图数据中节点的表示与对应节点的时间序列数据相结合。这种融合允许模型更好地理解节点间关系，并有效利用时间序列信息，这种整合是独特且有效的。该模型结合了多个技术，如GraphSAGE、LSTM和多头注意力机制。这种融合有助于更全面地捕获长期和短期依赖性，提高了模型对时间序列的预测性能。引入对抗学习机制，提高了模型的鲁棒性和泛化能力，并且对GraphSAGE训练起到优化的作用，降低了计算复杂度，增强了模型的泛化能力。
本发明在对比实验中也做了不采取异构图结构，只使用节点数据信息使用后续模型进行预测的实验，最终得到预测结果，但性能明显差于采用了图结构的模型。本发明的方法综合了图神经网络、时间序列数据和对抗学习等技术。这种综合性方法使得模型能够更好地处理图数据和时间序列，提升了预测准确性和计算效率。
从采用的三个性能指标来看，本发明的方法在性能上虽然算不上明显提升，但是这些独特性设计让这个模型在时间序列预测中更具优势，尤其是在数据关联性、特征捕捉和泛化能力方面有所突出。
另外，随着深度学习模型在各领域的广泛应用，了解模型对不同因素的敏感性也变得至关重要。本实施例旨在探究模型在学习率、数据特征、训练次数以及注意力头数目等方面的敏感性表现。这些因素可能对模型的性能产生重大影响，因此，除了上述性能指标的测算外，本发明实施例还进行了敏感性实验研究。
学习率作为优化过程中的关键参数，直接影响着模型的收敛速度和最终性能。数据特征则承载着模型学习的信息，其组合和质量可能对模型的泛化能力和拟合程度产生重要影响。同时，训练次数和注意力头数目作为影响模型学习和表达能力的因素，可能对模型性能产生复杂且显著的影响。本实施例旨在***地探究这些因素对模型性能的影响程度和敏感性，以揭示模型在不同条件下的鲁棒性和稳定性。
1、学习率参数实验
实验目的：评估循环神经网络在不同学习率下对预测模型性能的影响。
表2 不同学习率下模型性能指标
随着学习率的降低，模型在不同性能指标下的表现逐渐提升。从MSE和RMSE来看，学习率从0.1降至0.001时，模型的预测精度显著提升，分别减小了约0.005至0.006的量级。MAE和MAPE也呈现了相似的趋势，随着学习率的减小而减小。特别是在学习率为0.001时，模型表现出更低的预测误差和相对误差。这些结果暗示着较小的学习率可能对模型性能带来更好的影响，即在更小的学习率范围内模型更可能取得更优的结果，同时学习率又不能设计得过小，在达到0.001时，即属于一个较佳的学习率。
2、数据特征敏感性实验
实验目的：探究不同数据特征组合对模型的影响。
表3 是否包含内存特征的影响结果
在其他条件不变情况下，删除内存特征后，模型的性能稍有下降，而保留该特征时，模型的性能明显提高。这突显了特征选择对于模型的预测能力有着一定影响。
3、注意力头数目实验
实验目的：研究多头注意力对模型性能的影响。
表4 不同注意力头数下预测模型性能指标
根据实验结果显示，在相同实验配置下，不同的注意力头数对预测模型性能的影响并不明显。各个头数下的性能指标变化不大，没有明显的趋势或显著的性能提升或降低。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种基于对抗学习与异构图学习的序列化微服务资源预测方法，其特征在于，包括：
使用各节点与运行在各所述节点上的容器构建异构图；
使用图神经网络，采用对抗学习方法从所述异构图中对各节点的节点表示进行学习；
分别融合各节点的节点表示和对应节点的时间序列数据；
使用循环神经网络结合注意力机制对融合数据进行计算，预测出CPU利用率。
2.如权利要求1所述的基于对抗学习与异构图学习的序列化微服务资源预测方法，其特征在于，所述使用各节点与运行在各所述节点上的容器构建异构图，包括：
以节点的特征向量作为异构图中的节点，以节点与该节点上的容器的连接关系作为异构图中的边，构建出异构图。
3.如权利要求2所述的基于对抗学习与异构图学习的序列化微服务资源预测方法，其特征在于，节点与该节点上的容器的连接关系，以节点和容器的索引信息进行表示。
4.如权利要求3所述的基于对抗学习与异构图学习的序列化微服务资源预测方法，其特征在于，所述异构图包含节点组和边组，通过分别将每个节点和每条边映射到所属的类型，来完成异构图的构建。
5.如权利要求1所述的基于对抗学习与异构图学习的序列化微服务资源预测方法，其特征在于，所述图神经网络为GraphSAGE模型。
6.如权利要求5所述的基于对抗学习与异构图学习的序列化微服务资源预测方法，其特征在于，所述GraphSAGE模型的节点特征更新方法为：
其中，表示节点v在第L+1层的特征，/>表示节点u在第L层的特征；/>表示节点v的邻居节点集合；/>是特征聚合函数，用于将多个特征聚合为一个固定维度的向量；/>是权重矩阵；/>是非线性激活函数。
7.如权利要求1所述的基于对抗学习与异构图学习的序列化微服务资源预测方法，其特征在于，所述循环神经网络结合注意力机制，为LSTM结合多头注意力机制，或者GRU结合自注意力机制。
8.如权利要求7所述的基于对抗学习与异构图学习的序列化微服务资源预测方法，其特征在于，使用LSTM结合多头注意力机制对融合数据进行计算的过程中，多头注意力机制对融合数据的计算过程包括：
将融合数据中的各元素分别映射为查询、键和值；
利用查询、键和值分别对多个注意力头进行计算；
将各注意力头的输出进行拼接，并与输出权重矩阵相乘，得到最终的多头注意力输出。
9.如权利要求8所述的基于对抗学习与异构图学习的序列化微服务资源预测方法，其特征在于，所述利用查询、键和值分别对多个注意力头进行计算，包括：
依据设定的注意力头数量，以及对应每个注意力头的查询权重矩阵、键权重矩阵和值权重矩阵，分别对各注意力头进行以下计算：
分别计算每个查询×查询权重矩阵和所有键×键权重矩阵之间的相似性得分；
将各相似性得分进行归一化处理，转换为对应权重；
将各值×值权重矩阵与转换的对应权重相乘，并加权求和输出。
10.如权利要求1所述的基于对抗学习与异构图学习的序列化微服务资源预测方法，其特征在于，所述循环神经网络的学习率被配置为0.001。
CN202410123314.4A 2024-01-30 2024-01-30 基于对抗学习与异构图学习的序列化微服务资源预测方法 Active CN117648197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410123314.4A CN117648197B (zh) 2024-01-30 2024-01-30 基于对抗学习与异构图学习的序列化微服务资源预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410123314.4A CN117648197B (zh) 2024-01-30 2024-01-30 基于对抗学习与异构图学习的序列化微服务资源预测方法

Publications (2)

Publication Number Publication Date
CN117648197A true CN117648197A (zh) 2024-03-05
CN117648197B CN117648197B (zh) 2024-05-03

Family

ID=90046430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410123314.4A Active CN117648197B (zh) 2024-01-30 2024-01-30 基于对抗学习与异构图学习的序列化微服务资源预测方法

Country Status (1)

Country Link
CN (1) CN117648197B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和***
US20200287923A1 (en) * 2019-03-08 2020-09-10 International Business Machines Corporation Unsupervised learning to simplify distributed systems management
CN112434891A (zh) * 2020-12-18 2021-03-02 中国计量大学上虞高等研究院有限公司 基于wcnn-alstm的太阳辐照度时间序列的预测方法
CN115879631A (zh) * 2022-12-16 2023-03-31 国网福建省电力有限公司 一种基于时空融合的台区电压预测方法与终端
CN116681176A (zh) * 2023-06-12 2023-09-01 济南大学 一种基于聚类和异构图神经网络的交通流预测方法
CN117455540A (zh) * 2023-11-13 2024-01-26 广东工业大学 一种基于多模态图神经网络的金融时间序列预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200287923A1 (en) * 2019-03-08 2020-09-10 International Business Machines Corporation Unsupervised learning to simplify distributed systems management
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和***
WO2021179838A1 (zh) * 2020-03-10 2021-09-16 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和***
CN112434891A (zh) * 2020-12-18 2021-03-02 中国计量大学上虞高等研究院有限公司 基于wcnn-alstm的太阳辐照度时间序列的预测方法
CN115879631A (zh) * 2022-12-16 2023-03-31 国网福建省电力有限公司 一种基于时空融合的台区电压预测方法与终端
CN116681176A (zh) * 2023-06-12 2023-09-01 济南大学 一种基于聚类和异构图神经网络的交通流预测方法
CN117455540A (zh) * 2023-11-13 2024-01-26 广东工业大学 一种基于多模态图神经网络的金融时间序列预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘文慧: "基于深度学习的数据中心虚拟网络流量预测方法", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 7, 15 July 2023 (2023-07-15), pages 1 - 50 *
李俊卿 等: "基于多头注意力机制和卷积模型的超短期风电功率预测", 《电力科学与工程》, vol. 38, no. 7, 31 July 2022 (2022-07-31), pages 34 - 38 *

Also Published As

Publication number Publication date
CN117648197B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
Ren et al. A data-driven auto-CNN-LSTM prediction model for lithium-ion battery remaining useful life
CN109165664B (zh) 一种基于生成对抗网络的属性缺失数据集补全与预测方法
Xuan et al. Multi-model fusion short-term load forecasting based on random forest feature selection and hybrid neural network
CN108876044B (zh) 一种基于知识增强神经网络的线上内容流行度预测方法
CN113094822A (zh) 一种机械设备剩余寿命预测方法和***
CN109447333A (zh) 一种基于不定长模糊信息粒的时间序列预测方法和装置
Zou et al. Deep non-crossing probabilistic wind speed forecasting with multi-scale features
CN110321493A (zh) 一种社交网络的异常检测与优化方法、***及计算机设备
Chen et al. The optimal design and application of LSTM neural network based on the hybrid coding PSO algorithm
CN116090757A (zh) 一种情报保障体系能力需求满足度评估方法
CN115345297A (zh) 一种基于生成对抗网络的台区样本生成方法及***
Naik et al. Choice of effective fitness functions for genetic algorithm-aided dynamic fuzzy rule interpolation
CN113033898A (zh) 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及***
CN117648197B (zh) 基于对抗学习与异构图学习的序列化微服务资源预测方法
de Azevedo Takara et al. Optimizing multi-step wind power forecasting: Integrating advanced deep neural networks with stacking-based probabilistic learning
CN115310355A (zh) 考虑多能耦合的综合能源***多元负荷预测方法及***
Li [Retracted] Analysis of Comprehensive Artificial Neural Network Computer Media Aided Construction of Economic Forecasting Model
CN112183814A (zh) 一种短期风速预测方法
Hou et al. Wind power forecasting method of large-scale wind turbine clusters based on DBSCAN clustering and an enhanced hunter-prey optimization algorithm
Xue et al. Deep reinforcement learning based ontology meta-matching technique
Yang et al. Robust Commonsense Reasoning Against Noisy Labels Using Adaptive Correction
Bouazizi et al. A Novel Approach of ESN Reservoir Structure Learning for Improved Predictive Performance
CN113283174B (zh) 基于算法集成与自控制的储层产能预测方法、***及终端
CN117540247A (zh) 基于图神经网络的偏好学习的综合决策方法、***及介质
Kavitha et al. GA Based Stochastic Optimization For Stock Price Forecasting using Fuzzy Time series Hidden Markov Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant