CN114138463B - 基于深度神经网络的现货***应用层负载均衡预测方法 - Google Patents
基于深度神经网络的现货***应用层负载均衡预测方法 Download PDFInfo
- Publication number
- CN114138463B CN114138463B CN202111301688.3A CN202111301688A CN114138463B CN 114138463 B CN114138463 B CN 114138463B CN 202111301688 A CN202111301688 A CN 202111301688A CN 114138463 B CN114138463 B CN 114138463B
- Authority
- CN
- China
- Prior art keywords
- load
- server
- neural network
- deep neural
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000008859 change Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/508—Monitor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于深度神经网络的现货***应用层负载均衡预测方法，首先通过对负载服务器的实时信息进行预测，确定负载服务器的调度优先级；然后根据代理服务器的实时流量信息进行未来流量的变化曲线预测，从而可以准确分析整个现货***网络的流量吞吐情况；最后利用所预测的负载服务器的调度优先级和未来流量的变化曲线来进行动态的服务器最优负载均衡调度，从而可以保障整个电力现货***的平台安全、高可靠性以及高可用性。
Description
技术领域
本发明涉及深度学习领域，特别涉及一种基于深度神经网络的现货***应用层负载均衡预测方法。
背景技术
电力现货市场作为电力市场的重要组成部分，在电力资源交易中发挥着极其关键的作用。电力现货交易是指符合准入条件的发电企业、售电公司、电力用户等市场主体，通过集中竞价方式、按节点边际价格出清的市场化交易方式，开展的日前和日内的现货电力(电量)交易。
电力现货***的主要职责是保障电力现货市场业务的正常运营以及电网的安全稳定运行。其一般的***架构主要包括基础设施层、平台服务层和应用层三层。其中应用层包含多个子***应用功能，如现货子***负责日前市场预出清、实时平衡市场、辅助服务市场运营等应用功能；合约市场子***负责交易管理、合同管理、市场成员管理等功能；市场结算子***负责根据交易结果、计量数据等进行结算计算、出具详细计算单据等功能；数据申报和信息发布子***负责市场成员注册、数据申报及信息发布等功能。
由此可见，电力现货***的应用层负责的应用功能种类多、数量大，如何将这些任务均衡地分配到服务器上是一个非常重要且实际的问题，其将直接影响到***的安全性和可用性。现有的负载均衡方法主要以软硬件为主，借助经验式的静态或动态负载均衡算法，如轮询分配、随机分配、最小连接分配等。这些经验式的负载均衡算法无法充分利用服务器的吞吐信息对网络中的流量进行精准预测，并借助这些预测信息来进行负载调度，常常造成服务器的资源占用不平衡，达不到实际的负载均衡。
综上所述，针对电力现货***的应用层负载均衡进行预测时，如何准确地分析整个现货***网络的流量吞吐情况，并利用所预测的数据信息进行动态的服务器负载均衡调度是目前亟待解决的问题。
发明内容
针对上述存在的问题，本发明提出了一种基于深度神经网络的现货***应用层负载均衡预测方法，能够针对电力现货***的应用层负载均衡进行预测，准确分析整个现货***网络的流量吞吐情况，并利用所预测的数据信息进行动态的服务器负载均衡调度，从而可以保障整个电力现货***的平台安全、高可靠性以及高可用性。
为了实现上述目的，本发明所采用的技术方案如下：
一种基于深度神经网络的现货***应用层负载均衡预测方法，其特征在于，包括以下步骤：
步骤1：实时采集电力现货***应用层各个负载服务器的实时信息，并汇总到数据中心服务器；
步骤2：所述数据中心服务器根据所采集的所述负载服务器的实时信息，利用深度神经网络实时得到每个所述负载服务器的负载能力评分，基于所述负载能力评分确定各个负载服务器的调度优先级；
步骤3：客户端向电力现货***应用层代理服务器发起请求；
步骤4：实时采集所述代理服务器的流量信息，并发送到所述数据中心服务器；
步骤5：所述数据中心服务器根据所采集的所述代理服务器的流量信息，利用深度神经网络预测未来一段时间的网络流量，并根据所述预测的网络流量和所述负载服务器的调度优先级制定最优负载均衡调度方案，将所述最优负载均衡调度方案返回至所述代理服务器；
步骤6：所述代理服务器根据所述最优负载均衡调度方案计算选择出最优的负载服务器地址；
步骤7：所述代理服务器根据所述最优负载服务器地址建立客户端与该地址所对应的负载服务器之间的业务通信通道。
进一步地，所述电力现货***应用层中服务器包括代理服务器、数据中心服务器以及负载服务器；
所述代理服务器用于接收客户端的连接请求以及数据中心服务器发送的最优负载调度方案，从而计算选择出最优的负载服务器地址，并根据得到的最优的负载服务器地址建立客户端与该地址所对应的负载服务器之间的业务通信通道；
数据中心服务器用于对代理服务器和负载服务器传输过来的数据信息进行处理，预测网络中未来的流量变化曲线以及各个负载服务器的调度优先级，从而计算出最优负载均衡调度方案，并返回给代理服务器；
负载服务器用于电力现货***应用层各个功能模块的实现以及执行，其接收代理服务器发来的连接信号，并将数据信息传输给数据中心服务器和客户端。
进一步地，步骤1中采集的所述负载服务器的实时信息包括内存占用情况、CPU运行情况、硬盘存储空间、实时网络流量等。
进一步地，步骤2中所述的深度神经网络采用多模态融合的深度卷积神经网络；
所述多模态融合的深度卷积神经网络包含若干特征映射层和卷积编码层，所述特征映射层将输入的所述负载服务器的多模态实时信息映射到统一的特征空间中，然后在统一的特征空间进行多模态特征融合，最后利用所述卷积编码层对所述融合后的特征进行编码。
进一步地，步骤2利用深度神经网络得到各个负载服务器的负载能力评分的具体操作步骤包括：
步骤21：预先采集所述电力现货***应用层中各个所述负载服务器的实时信息，得到实时信息数据训练集；
步骤22：对实时信息数据训练集中的实时信息进行专家人工评分，得到人工标注的负载能力评分编码；
步骤23：针对所述数据中心服务器中得到的各个负载服务器的实时信息，通过所述多模态融合的深度卷积神经网络对各个负载服务器计算出其负载能力评分编码，并计算深度神经网络输出的负载能力评分编码与所述人工标注的负载能力评分编码之间的L1损失；通过最小化所述L1损失迭代训练深度神经网络参数，从而得到能够将负载服务器的实时信息编码为对应的负载能力评分的深度神经网络模型；
步骤24：输入步骤2中所述的各个负载服务器的实时信息到步骤23训练好的深度神经网络模型中，实时输出各个负载服务器对应的负载能力评分；
步骤25：将各个负载服务器的所述负载能力评分进行排序，最终得到各个负载服务器的调度优先级。
进一步地，所述代理服务器的流量信息包括各个时间段中代理服务器的流量时序数据。
进一步地，步骤5中所述的深度神经网络采用基于全局和局部self-attention的Transformer网络，用于时序序列预测；
所述基于全局和局部self-attention的Transformer网络利用全局和局部的self-attention替换原Transformer网络中的全局self-attention，能够有效地捕捉局部短距离和全局长距离的流量变化关系。
进一步地，步骤5所述利用深度神经网络预测未来一段时间的网络流量，并得到最优负载均衡调度方案的步骤包括：
步骤51：预先在所述代理服务器上采集代理服务器的流量信息，得到流量信息训练集；
步骤52：在所述流量信息训练集上通过深度神经网络进行时序序列预测训练，得到时序预测深度神经网络模型，所述时序预测深度神经网络模型能够根据任意时间点或时间段的流量信息预测未来一段时间的网络流量变化曲线；
步骤53：基于网络流量变化曲线，根据负载服务器的调度规则制定最优的负载均衡调度方案，所述调度规则为：高流量调度给高优先级的负载服务器、低流量调度给低优先级负载服务器。
本发明的有益效果是：
本发明提出的方法首先通过对负载服务器的实时信息进行预测，确定负载服务器的调度优先级。其采用多模态融合的深度卷积神经网络对负载服务器的实时信息进行预测，首先针对不同模态的输入信息，利用特征映射层映射到统一的特征空间，然后在统一的特征空间进行多模态特征融合，最后利用卷积编码层对融合后的特征进行编码，从而能够更好地学习不同模态信息之间的关联，以及它们与最终预测结果之间的关联，提升预测准确度。
然后根据代理服务器的实时流量信息进行未来流量的变化曲线预测。其采用基于全局和局部self-attention的Transformer网络，能够有效地捕捉局部短距离和全局长距离的流量变化关系，从而可以更加准确地分析和预测整个现货***网络的流量吞吐情况。
最后利用所预测的负载服务器的调度优先级和未来流量的变化曲线来进行动态的服务器最优负载均衡调度，从而可以保障整个电力现货***的平台安全、高可靠性以及高可用性。
附图说明
图1为实施例中电力现货***应用层各服务器与客户端关系示意图；
图2为电力现货***应用层负载均衡预测方法流程示意图；
图3为一种多模态融合的深度卷积神经网络结构示意图。
具体实施方式
为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
如附图2所示，本发明提出了一种基于深度神经网络的现货***应用层负载均衡预测方法，包括以下步骤：
步骤1：实时采集电力现货***应用层各个负载服务器的实时信息，并汇总到数据中心服务器；
步骤2：所述数据中心服务器根据所采集的所述负载服务器的实时信息，利用深度神经网络实时得到每个所述负载服务器的负载能力评分，基于所述负载能力评分确定各个负载服务器的调度优先级；
步骤3：客户端向电力现货***应用层代理服务器发起请求；
步骤4：实时采集所述代理服务器的流量信息，并发送到所述数据中心服务器；
步骤5：所述数据中心服务器根据所采集的所述代理服务器的流量信息，利用深度神经网络预测未来一段时间的网络流量，并根据所述预测的网络流量和所述负载服务器的调度优先级制定最优负载均衡调度方案，将所述最优负载均衡调度方案返回至所述代理服务器；
步骤6：所述代理服务器根据所述最优负载均衡调度方案计算选择出最优的负载服务器地址；
步骤7：所述代理服务器根据所述最优负载服务器地址建立客户端与该地址所对应的负载服务器之间的业务通信通道。
实施例
附图1为电力现货***应用层各服务器与客户端关系，其中的服务器按功能可分为三类，即代理服务器、数据中心服务器以及负载服务器。所述代理服务器主要负责接收客户端的连接请求以及数据中心服务器发来的最优负载调度方案，从而计算选择出最优的负载服务器地址，然后根据所述最优的负载服务器地址建立客户端与该地址所对应的负载服务器之间的业务通信通道；数据中心服务器主要负责对代理服务器和负载服务器传输过来的数据信息进行处理，预测网络中未来的流量变化曲线以及各个负载服务器的调度优先级，从而计算出最优负载均衡调度方案，并返回给代理服务器；负载服务器则主要负责电力现货***应用层各个功能模块的实现以及执行，其接收代理服务器发来的连接信号，并将数据信息传输给数据中心服务器和客户端。
在图1所述的电力现货***中，利用本发明所提供的的电力现货***应用层负载均衡预测方法进行预测的步骤如附图2所示，包括：
步骤S101：实时采集电力现货***应用层各个负载服务器的信息，并汇总到数据中心服务器；
具体地，所述电力现货***应用层各个负载服务器的实时信息可包括内存占用情况、CPU运行情况、硬盘存储空间、实时网络流量等。
步骤S102，所述数据中心服务器根据所采集的所述负载服务器的实时信息，利用深度神经网络实时预测每个所述负载服务器的负载能力并评分，根据所预测的所述负载服务器的负载能力评分确定所述各个负载服务器的调度优先级；
具体地，所述深度神经网络采用多模态融合的深度卷积神经网络；
进一步地，所述多模态融合的深度卷积神经网络的结构如图3所示，其包含若干特征映射层和卷积编码层，所述特征映射层将输入的所述负载服务器的多模态实时信息映射到统一的特征空间中，然后在统一的特征空间进行多模态特征融合，最后利用所述卷积编码层对所述融合后的特征进行编码。
进一步地，所述多模态融合的深度卷积神经网络首先在事先采集的负载服务器的实时信息数据训练集上进行编码任务训练；
其中，所述事先采集的负载服务器的实时信息数据训练集包括电力现货***应用层各个负载服务器的实时信息，并通过计算机专家人工对这些实时信息进行负载能力评分，所述负载能力评分反应了当前负载服务器能够负载应用层任务的能力；
编码任务训练是指针对向量化后的所述负载服务器的实时信息，通过深度神经网络对其进行负载能力评分编码，然后计算网络输出的负载能力评分编码与实际计算机专家人工标注的负载能力评分编码之间的L1损失，通过最小化该L1损失来迭代训练深度神经网络参数，从而训练得到将负载服务器的实时信息编码为对应的负载能力评分的深度神经网络模型；
深度神经网络模型训练完毕后，输入所述负载服务器的实时信息，可实时输出其对应的负载能力评分。根据各个负载服务器的所述负载能力评分从大到小排列，得到所述各个负载服务器的调度优先级。
步骤S103，客户端向电力现货***应用层代理服务器发起请求；
步骤S104，实时采集所述代理服务器的流量信息，并汇总发送到所述数据中心服务器；
步骤S105，所述数据中心服务器根据所采集的所述代理服务器的流量信息，利用深度神经网络预测未来一段时间的网络流量，并根据所述预测的网络流量和所述负载服务器的调度优先级制定最优负载均衡调度方案，将所述最优负载均衡调度方案返回至所述代理服务器；
具体地，所述深度神经网络可以采用基于全局和局部self-attention的Transformer网络，用于时序序列预测；
其中，Transformer网络是Google于2017年在《Attention IsAllYouNeed》一文中提出的一种用于seq2seq(sequence to sequence，序列到序列)任务的模型，它没有RNN(RecurrentNeuralNetwork,循环神经网络)的循环结构或CNN(Convolutional NeuralNetwork，卷积神经网络)的卷积结构，在机器翻译等时序任务中取得了一定提升。其避免了循环的模型结构，完全依赖于自注意力机制对输入输出的全局依赖关系进行建模。自注意力机制(self-attention)已经成为各类任务中序列建模和转导模型的重要组成部分，其允许对输入输出序列的依赖项进行建模，而无需考虑它们在序列中的距离，从而可以更好地捕捉长范围的依赖关系。
具体地，所述基于全局和局部self-attention的Transformer网络利用全局和局部的self-attention替换原Transformer网络中的全局self-attention，能够有效地同时捕捉局部短距离和全局长距离的流量变化关系，从而提升现货***网络的流量预测准确度；
进一步地，所述深度神经网络首先在事先采集的代理服务器的流量信息训练集上进行时序序列预测任务训练；
其中，所述事先采集的代理服务器的流量信息训练集包括代理服务器在各个时间段(时间段长度可根据实际需求设定，如1个小时)的流量时序数据(流量数据采样间隔可根据实际需求设定，如1分钟)。
通过在所述代理服务器的流量信息训练集上进行时序序列预测任务的训练，训练完毕后的深度神经网络可以根据任意时间点(或时间段)的网络流量信息准确地预测未来一段时间的网络流量变化曲线，然后通过使用高流量调度给高优先级的负载服务器、低流量调度给低优先级的负载服务器的调度规则，制定最优的负载均衡调度方案，最终将所述最优负载均衡调度方案返回至所述代理服务器。
步骤S106，所述代理服务器根据所述最优负载均衡调度方案计算选择出最优的负载服务器地址；
具体地，所述代理服务器可通过DNS进行域名和IP解析，从而计算出最优的负载服务器地址。
步骤S107，所述代理服务器根据所述最优负载服务器地址建立客户端与该地址所对应的负载服务器之间的业务通信通道。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种基于深度神经网络的现货***应用层负载均衡预测方法，其特征在于，包括以下步骤：
步骤1：实时采集电力现货***应用层各个负载服务器的实时信息，并汇总到数据中心服务器；
步骤2：所述数据中心服务器根据所采集的所述负载服务器的实时信息，利用深度神经网络实时得到每个所述负载服务器的负载能力评分，基于所述负载能力评分确定各个负载服务器的调度优先级；
步骤3：客户端向电力现货***应用层代理服务器发起请求；
步骤4：实时采集所述代理服务器的流量信息，并发送到所述数据中心服务器；
步骤5：所述数据中心服务器根据所采集的所述代理服务器的流量信息，利用深度神经网络预测未来一段时间的网络流量，并根据所述预测的网络流量和所述负载服务器的调度优先级制定最优负载均衡调度方案，将所述最优负载均衡调度方案返回至所述代理服务器；
步骤6：所述代理服务器根据所述最优负载均衡调度方案计算选择出最优的负载服务器地址；
步骤7：所述代理服务器根据所述最优负载服务器地址建立客户端与该地址所对应的负载服务器之间的业务通信通道。
2.根据权利要求1所述的一种基于深度神经网络的现货***应用层负载均衡预测方法，其特征在于，所述电力现货***应用层中服务器包括代理服务器、数据中心服务器以及负载服务器；
所述代理服务器用于接收客户端的连接请求以及数据中心服务器发送的最优负载调度方案，从而计算选择出最优的负载服务器地址，并根据得到的最优的负载服务器地址建立客户端与该地址所对应的负载服务器之间的业务通信通道；
数据中心服务器用于对代理服务器和负载服务器传输过来的数据信息进行处理，预测网络中未来的流量变化曲线以及各个负载服务器的调度优先级，从而计算出最优负载均衡调度方案，并返回给代理服务器；
负载服务器用于电力现货***应用层各个功能模块的实现以及执行，其接收代理服务器发来的连接信号，并将数据信息传输给数据中心服务器和客户端。
3.根据权利要求1所述的一种基于深度神经网络的现货***应用层负载均衡预测方法，其特征在于，步骤1中采集的所述负载服务器的实时信息包括内存占用情况、CPU运行情况、硬盘存储空间、实时网络流量等。
4.根据权利要求1所述的一种基于深度神经网络的现货***应用层负载均衡预测方法，其特征在于，步骤2中所述的深度神经网络采用多模态融合的深度卷积神经网络；
所述多模态融合的深度卷积神经网络包含若干特征映射层和卷积编码层，所述特征映射层将输入的所述负载服务器的多模态实时信息映射到统一的特征空间中，然后在统一的特征空间进行多模态特征融合，最后利用所述卷积编码层对所述融合后的特征进行编码。
5.根据权利要求4所述的一种基于深度神经网络的现货***应用层负载均衡预测方法，其特征在于，步骤2利用深度神经网络得到各个负载服务器的负载能力评分的具体操作步骤包括：
步骤21：预先采集所述电力现货***应用层中各个所述负载服务器的实时信息，得到实时信息数据训练集；
步骤22：对实时信息数据训练集中的实时信息进行专家人工评分，得到人工标注的负载能力评分编码；
步骤23：针对所述数据中心服务器中得到的各个负载服务器的实时信息，通过所述多模态融合的深度卷积神经网络对各个负载服务器计算出其负载能力评分编码，并计算深度神经网络输出的负载能力评分编码与所述人工标注的负载能力评分编码之间的L1损失；通过最小化所述L1损失迭代训练深度神经网络参数，从而得到能够将负载服务器的实时信息编码为对应的负载能力评分的深度神经网络模型；
步骤24：输入步骤2中所述的各个负载服务器的实时信息到步骤23训练好的深度神经网络模型中，实时输出各个负载服务器对应的负载能力评分；
步骤25：将各个负载服务器的所述负载能力评分进行排序，最终得到各个负载服务器的调度优先级。
6.根据权利要求1所述的一种基于深度神经网络的现货***应用层负载均衡预测方法，其特征在于，所述代理服务器的流量信息包括各个时间段中代理服务器的流量时序数据。
7.根据权利要求1所述的一种基于深度神经网络的现货***应用层负载均衡预测方法，其特征在于，步骤5中所述的深度神经网络采用基于全局和局部self-attention的Transformer网络，用于时序序列预测；
所述基于全局和局部self-attention的Transformer网络利用全局和局部的self-attention替换原Transformer网络中的全局self-attention，能够有效地捕捉局部短距离和全局长距离的流量变化关系。
8.根据权利要求1所述的一种基于深度神经网络的现货***应用层负载均衡预测方法，其特征在于，步骤5所述利用深度神经网络预测未来一段时间的网络流量，并得到最优负载均衡调度方案的步骤包括：
步骤51：预先在所述代理服务器上采集代理服务器的流量信息，得到流量信息训练集；
步骤52：在所述流量信息训练集上通过深度神经网络进行时序序列预测训练，得到时序预测深度神经网络模型，所述时序预测深度神经网络模型能够根据任意时间点或时间段的流量信息预测未来一段时间的网络流量变化曲线；
步骤53：基于网络流量变化曲线，根据负载服务器的调度规则制定最优的负载均衡调度方案，所述调度规则为：高流量调度给高优先级的负载服务器、低流量调度给低优先级负载服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111301688.3A CN114138463B (zh) | 2021-11-04 | 2021-11-04 | 基于深度神经网络的现货***应用层负载均衡预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111301688.3A CN114138463B (zh) | 2021-11-04 | 2021-11-04 | 基于深度神经网络的现货***应用层负载均衡预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114138463A CN114138463A (zh) | 2022-03-04 |
| CN114138463B true CN114138463B (zh) | 2024-03-26 |
Family
ID=80392799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111301688.3A Active CN114138463B (zh) | 2021-11-04 | 2021-11-04 | 基于深度神经网络的现货***应用层负载均衡预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114138463B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114969209A (zh) * | 2022-06-15 | 2022-08-30 | 支付宝(杭州)信息技术有限公司 | 训练方法及装置、预测资源消耗量的方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004105355A1 (en) * | 2003-05-21 | 2004-12-02 | Nitgen Technologies Co., Ltd. | Intelligent traffic management system for networks and intelligent traffic management method using the same |
| CN107864189A (zh) * | 2017-10-18 | 2018-03-30 | 南京邮电大学 | 一种基于dpi的应用层流量负载均衡方法 |
| CN109729017A (zh) * | 2019-03-14 | 2019-05-07 | 哈尔滨工程大学 | 一种基于dpi预测的负载均衡方法 |
| CN110784555A (zh) * | 2019-11-07 | 2020-02-11 | 中电福富信息科技有限公司 | 一种基于深度学习的智能监控及负载调度方法 |
| CN112949739A (zh) * | 2021-03-17 | 2021-06-11 | 中国电子科技集团公司第二十九研究所 | 一种基于智能流量分类的信息传输调度方法及*** |
-
2021
- 2021-11-04 CN CN202111301688.3A patent/CN114138463B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004105355A1 (en) * | 2003-05-21 | 2004-12-02 | Nitgen Technologies Co., Ltd. | Intelligent traffic management system for networks and intelligent traffic management method using the same |
| CN107864189A (zh) * | 2017-10-18 | 2018-03-30 | 南京邮电大学 | 一种基于dpi的应用层流量负载均衡方法 |
| CN109729017A (zh) * | 2019-03-14 | 2019-05-07 | 哈尔滨工程大学 | 一种基于dpi预测的负载均衡方法 |
| CN110784555A (zh) * | 2019-11-07 | 2020-02-11 | 中电福富信息科技有限公司 | 一种基于深度学习的智能监控及负载调度方法 |
| CN112949739A (zh) * | 2021-03-17 | 2021-06-11 | 中国电子科技集团公司第二十九研究所 | 一种基于智能流量分类的信息传输调度方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 基于网络探针的流量均衡VOD***及仿真;蒋亚军;杨震伦;詹增荣;;浙江工业大学学报;20110415(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114138463A (zh) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xue et al. | Short‐term bus passenger demand prediction based on time series model and interactive multiple model approach | |
| US10838839B2 (en) | Optimizing adaptive monitoring in resource constrained environments | |
| US10528293B2 (en) | Grouping devices as a virtual device for providing better quality of device data | |
| CN106803799B (zh) | 一种性能测试方法和装置 | |
| CN109842563A (zh) | 内容分发网络流量调度方法、装置和计算机可读存储介质 | |
| US20200372428A1 (en) | Automated and efficient personal transportation vehicle sharing | |
| Battula et al. | A generic stochastic model for resource availability in fog computing environments | |
| CN114138463B (zh) | 基于深度神经网络的现货***应用层负载均衡预测方法 | |
| JP2022074133A (ja) | 多変量時系列モデリングおよび予測のためのコンピューティングデバイス、コンピュータ実装方法、およびコンピュータ可読記憶媒体（改良された多変量時系列モデリングおよび予測のための複数時系列にわたる確率的非線形関係および外部要因） | |
| US20210287108A1 (en) | Estimating performance and required resources from shift-left analysis | |
| US20220327650A1 (en) | Transportation bubbling at a ride-hailing platform and machine learning | |
| KR101639108B1 (ko) | 요금 시스템을 위한 자동 트래픽 생성부 | |
| CN112287503B (zh) | 用于交通需求预测的动态空间网络构建方法 | |
| CN108021607A (zh) | 一种基于大数据平台的无线城市审计数据离线分析方法 | |
| CN111047107A (zh) | 公路通行时间预测方法、装置、电子设备和存储介质 | |
| US10598708B2 (en) | Identifying and prioritizing errors in connectivity models of distribution networks for efficient field inspections | |
| Kusic et al. | Approximation modeling for the online performance management of distributed computing systems | |
| US11526800B2 (en) | Determining value of corpora for machine learning using coresets | |
| KR102084920B1 (ko) | 근린생활시설 영업시간 예측 장치 및 방법 | |
| CN113762972A (zh) | 数据存储控制方法及装置、电子设备、存储介质 | |
| Chafai et al. | Towards performance evaluation of requests satisfaction system in the cloud environment | |
| Gupta et al. | Fractional difference based hybrid model for resource prediction in cloud network | |
| CN112163932A (zh) | 恶意占座订单的识别方法、装置及电子设备 | |
| LU503318B1 (en) | Edge prediction method based on deep autoregressive recurrent neural network | |
| US11601337B1 (en) | Virtual server geolocation detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |