CN105550323A - 一种分布式数据库负载均衡预测方法和预测分析器 - Google Patents

一种分布式数据库负载均衡预测方法和预测分析器 Download PDF

Info

Publication number
CN105550323A
CN105550323A CN201510938406.9A CN201510938406A CN105550323A CN 105550323 A CN105550323 A CN 105550323A CN 201510938406 A CN201510938406 A CN 201510938406A CN 105550323 A CN105550323 A CN 105550323A
Authority
CN
China
Prior art keywords
data
neural network
network model
circulation neural
multilayer circulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510938406.9A
Other languages
English (en)
Other versions
CN105550323B (zh
Inventor
孙乔
王思宁
付兰梅
邓卜侨
吴舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Great Opensource Software Co ltd
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
State Grid Zhejiang Electric Power Co Ltd
State Grid Jibei Electric Power Co Ltd
Beijing China Power Information Technology Co Ltd
Beijing Zhongdian Feihua Communication Co Ltd
Original Assignee
Beijing Great Opensource Software Co Ltd
State Grid Corp of China SGCC
State Grid Zhejiang Electric Power Co Ltd
State Grid Jibei Electric Power Co Ltd
Beijing Guodiantong Network Technology Co Ltd
Beijing Fibrlink Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Great Opensource Software Co Ltd, State Grid Corp of China SGCC, State Grid Zhejiang Electric Power Co Ltd, State Grid Jibei Electric Power Co Ltd, Beijing Guodiantong Network Technology Co Ltd, Beijing Fibrlink Communications Co Ltd filed Critical Beijing Great Opensource Software Co Ltd
Priority to CN201510938406.9A priority Critical patent/CN105550323B/zh
Publication of CN105550323A publication Critical patent/CN105550323A/zh
Application granted granted Critical
Publication of CN105550323B publication Critical patent/CN105550323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种分布式数据库负载均衡预测方法和预测分析器,采集每个本地数据节点上的负载指标,构成训练集数据;初始化多层循环神经网络模型;从训练集数据中提取一段时间数据作为多层循环神经网络模型的输入,从训练集数据中提取该一段时间数据后同等时间段的数据作为多层循环神经网络模型的输出,训练所述多层循环神经网络模型;从训练集数据中提取该同等时间段的数据之后且相同时间段的数据,作为多层循环神经网络模型的输入,预测该本地数据节点的负载指标。因此,所述分布式数据库负载均衡预测方法和预测分析器能够更为精确地描述负载均衡数据的结构并对其进行有效预测。

Description

一种分布式数据库负载均衡预测方法和预测分析器
技术领域
本发明涉及计算机领域,特别是指一种分布式数据库负载均衡预测方法和预测分析器。
背景技术
目前,为了提高分布式数据库的资源利用率和性能,采用预测技术对分布式数据库资源使用状况进行实时预测具有重要意义。
一般的BP网络负载均衡预测方法仍存在一些不足之处,在分布式预测分析器中,负载平衡通过把任务从负载过重的服务器转移到负载较轻的服务器,以使得任务能够利用那里的计算能力,从而提高整个分布式预测分析器的性能和稳定性。当预测分析器中某些服务器的工作负载经常保持较重,或者某些服务器执行任务的速度比其它服务器要慢许多时,负载分布不均的情况很明显将会经常发生。即使在一个完全同构的分布式预测分析器中,由于任务到达服务器的时间以及任务完成所需的服务时间存在的差异,同样会出现在整个预测分析器中服务器之间负载平衡问题;此外还存在查询频率远高于数据改写频率等问题。
BP网络具有原理清晰、简单实用等优点,但当需要大规模数据下网络模型训练期间进行实时负载预测,但是由于采用了神经网络的梯度法,收敛速度慢,容易收敛到局部最小。此外,学习因子和惯性因子的选取对神经网络的收敛性影响通常只能由个人经验来选定。因此,BP网络并不适合高输入高输出预测分析器的负载预测,尤其是需要处理突变实时负载的情况。
发明内容
有鉴于此,本发明的目的在于提出一种分布式数据库负载均衡预测方法和预测分析器,能够更为精确地描述负载均衡数据的结构并对其进行有效预测。
基于上述目的本发明提供的分布式数据库负载均衡预测方法,包括步骤:
采集每个本地数据节点上的负载指标,构成训练集数据;
初始化多层循环神经网络模型;
从训练集数据中提取一段时间数据作为多层循环神经网络模型的输入,从训练集数据中提取该一段时间数据后同等时间段的数据作为多层循环神经网络模型的输出,训练所述多层循环神经网络模型;
从训练集数据中提取该同等时间段的数据之后且相同时间段的数据,作为多层循环神经网络模型的输入,预测该本地数据节点的负载指标。
在一些实施例中,所述负载指标包括CPU利用率Rc、内存利用率Rm、网络下行速度Sd以及网络上行速度Su;并且,每一秒采集一次所述的负载指标,共采集2T秒,构成训练集数据
L=[Rc,Rm,Sd,Su];
还有,所述初始化多层循环神经网络模型包括:
确定多层循环神经网络模型的隐藏层个数以及多层循环神经网络模型每层的神经元个数nm;将多层循环神经网络模型输入层和每个隐藏层的神经元之间的网络连接权重随机初始化,并记做
在一些实施例中,所述训练多层循环神经网络模型时,从训练集数据中提取第1条至第T条数据,并且将每组数据通过如下公式进行映射:
xi=[1,sin(L(i)),cos(L(i))]
将映射后的数据作为多层循环神经网络模型的输入xi
从训练集数据中提取第T+1条至第2T条数据作为多层循环神经网络模型的输出yi,训练所述多层循环神经网络模型。
在一些实施例中,在所述从训练集数据中提取该同等时间段的数据之后且相同时间段的数据之前,还包括:
通过如下公式计算多层循环神经网络模型每个隐含层的输出:
h i 1 = tanh ( w h 1 x x i + w h 1 h 1 h i - 1 1 + b h 1 )
h i 2 = tanh ( w h 1 h 2 h i 1 + w h 2 h 2 h i - 1 2 + b h 2 )
y ^ i = tanh ( w yh 2 h i 2 + b y )
其中,xi为网络输入,为网络输出,分别代表第一层隐含层和第二层隐含层的输出,为h1层与输入之间的权重矩阵,为h1层不同时间序列之间的权重矩阵,为h1层与h2层之间的权重矩阵,为h2层不同时间序列之间的权重矩阵,为h1层的偏置,为h2层的偏置,by为输出层的偏置,tanh为激活函数;
计算多层循环神经网络模型每个隐含层的输出误差,根据如下公式:
e = 1 2 Σ i = 1 T ( y ^ i - y i )
根据计算获得的输出误差,通过对多层循环神经网络模型的全部权重进行更新,直至所述输出误差在预设的允许范围内,多层循环神经网络模型训练结束。
在一些实施例中,从训练集数据中提取第T+1条至第2T条数据,并将第T+1条到第2T条数据作为多层循环神经网络模型的输入,多层循环神经网络模型的输出为预测2T+1至3T时间段的本地数据节点的负载指标。
在本发明的另一个方面,还提供了一种多层循环神经网络预测分析器,包括:
数据采集单元,用于采集每个本地数据节点上的负载指标,构成训练集数据;
模型初始化单元,用于初始化多层循环神经网络模型;
模型训练单元,用于从训练集数据中提取一段时间数据作为多层循环神经网络模型的输入,从训练集数据中提取该一段时间数据后同等时间段的数据作为多层循环神经网络模型的输出,训练所述多层循环神经网络模型;
负载预测单元,用于从训练集数据中提取该同等时间段的数据之后且相同时间段的数据,作为多层循环神经网络模型的输入,预测该本地数据节点的负载指标。
在一些实施例中,所述数据采集单元的负载指标包括CPU利用率Rc、内存利用率Rm、网络下行速度Sd以及网络上行速度Su;并且,所述数据采集单元每一秒采集一次所述的负载指标,共采集2T秒,构成训练集数据L=[Rc,Rm,Sd,Su;]
另外,所述模型初始化单元在初始化多层循环神经网络模型时,包括确定多层循环神经网络模型的隐藏层个数以及多层循环神经网络模型每层的神经元个数nm;将多层循环神经网络模型输入层和每个隐藏层的神经元之间的网络连接权重随机初始化,并记做
在一些实施例中,所述模型训练单元从训练集数据中提取第1条至第T条数据,并且将每组数据通过如下公式进行映射:
xi=[1,sin(L(i)),cos(L(i))]
将映射后的数据作为多层循环神经网络模型的输入xi
从训练集数据中提取第T+1条至第2T条数据作为多层循环神经网络模型的输出yi,训练所述多层循环神经网络模型;
另外,所述负载预测单元从训练集数据中提取第T+1条至第2T条数据,并将第T+1条到第2T条数据作为多层循环神经网络模型的输入,多层循环神经网络模型的输出为预测2T+1至3T时间段的本地数据节点的负载指标。
在一些实施例中,所述模型训练单元还用于通过如下公式计算多层循环神经网络模型每个隐含层的输出:
h i 1 = tanh ( w h 1 x x i + w h 1 h 1 h i - 1 1 + b h 1 )
h i 2 = tanh ( w h 1 h 2 h i 1 + w h 2 h 2 h i - 1 2 + b h 2 )
y ^ i = tanh ( w yh 2 h i 2 + b y )
其中,xi为网络输入,为网络输出,分别代表第一层隐含层和第二层隐含层的输出,为h1层与输入之间的权重矩阵,为h1层不同时间序列之间的权重矩阵,为h1层与h2层之间的权重矩阵,为h2层不同时间序列之间的权重矩阵,为h1层的偏置,为h2层的偏置,by为输出层的偏置,tanh为激活函数;
计算多层循环神经网络模型每个隐含层的输出误差,根据如下公式:
e = 1 2 Σ i = 1 T ( y ^ i - y i )
根据计算获得的输出误差,通过对多层循环神经网络模型的全部权重进行更新,直至所述输出误差在预设的允许范围内,多层循环神经网络模型训练结束。
在本发明的另一个方面,还提供了一种分布式数据库,包括:分布式数据库管理***、与该分布式数据库管理***连接的至少一个数据节点,并且在每个数据节点上安装有多层循环神经网络预测分析器;
其中,分布式数据库管理***包括有资源管理模块和作业调度模块,资源管理模块针对至少一个数据节点的数据资源进行管理;而作业调度模块根据资源管理模块管理的每个数据节点的数据资源情况,针对客户端的数据请求向数据节点进行作业调度;还有,在每个数据节点上分别包括本地资源管理模块和本地作业调度模块;本地资源管理模块对本地的数据资源进行管理,而本地作业调度模块根据分布式数据库管理***的作业调度模块的调度指令对本地资源管理模块中的数据资源进行处理;
另外,所述的多层循环神经网络预测分析器对应于每个数据节点的本地资源管理模块,本地资源管理模块向对应的多层循环神经网络预测分析器报告当前本地负载量;该多层循环神经网络预测分析器根据所述当前本地负载量,对所对应的本地资源管理模块的负载进行预测并将预测结果反馈给该本地资源管理模块;
之后,本地资源管理模块分别将获得的预测结果以及当前的负载情况一起发送给分布式数据库管理***的资源管理模块,并且资源管理模块会将获得的所有预测结果和当前的负载情况传送给作业调度模块;作业调度模块会根据每个数据节点的预测结果和当前的负载情况向对应的数据节点的本地作业调度模块发送作业调度指令。
从上面所述可以看出,本发明提供的分布式数据库负载均衡预测方法和预测分析器,实现了一套简便易行,同时与一般的BP神经网络预测方法相比,更适合于处理大规模数据下网络模型训练期间进行实时负载预测,更有效的处理突变实时负载的情况,更适合高输入高输出的负载预测场景的方法和预测分析器。
附图说明
图1为本发明实施例中分布式数据库负载均衡预测方法的流程示意图;
图2为本发明可参考实施例中分布式数据库负载均衡预测方法的流程示意图;
图3为本发明可参考实施例中多层循环神经网络的结构示意图;
图4为本发明实施例中多层循环神经网络预测分析器的结构示意图;
图5为本发明实施例中分布式数据库的结构示意图;
图6为本发明实施例中分布式数据库的指令执行示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
作为本发明的一个实施例,参阅图1所示,为本发明实施例中分布式数据库负载均衡预测方法的流程示意图。所述分布式数据库负载均衡预测方法包括:
步骤101,采集每个本地数据节点上的负载指标,构成训练集数据。
其中,负载指标包括CPU利用率Rc、内存利用率Rm、网络下行速度Sd以及网络上行速度Su。较佳地,每一秒采集一次所述的负载指标,共采集2T秒。然后,构成训练集数据L=[Rc,Rm,Sd,Su]。
步骤102,初始化多层循环神经网络模型。
较佳地,初始化多层循环神经网络模型包括:确定多层循环神经网络模型的隐藏层个数以及多层循环神经网络模型每层的神经元个数nm。并且,将多层循环神经网络模型输入层和每个隐藏层的神经元之间的网络连接权重随机初始化,并记做
步骤103,从训练集数据中提取一段时间数据作为多层循环神经网络模型的输入,从训练集数据中提取该一段时间数据后同等时间段的数据作为多层循环神经网络模型的输出,训练所述多层循环神经网络模型。
在实施例中,从训练集数据中提取第1条至第T条数据,并且将每组数据通过如下公式进行映射:
xi=[1,sin(L(i)),cos(L(i))]
将映射后的数据作为多层循环神经网络模型的输入xi
从训练集数据中提取第T+1条至第2T条数据作为多层循环神经网络模型的输出yi,训练所述多层循环神经网络模型。
优选地,通过如下公式计算多层循环神经网络模型每个隐含层的输出:
h i 1 = tanh ( w h 1 x x i + w h 1 h 1 h i - 1 1 + b h 1 )
h i 2 = tanh ( w h 1 h 2 h i 1 + w h 2 h 2 h i - 1 2 + b h 2 )
y ^ i = tanh ( w yh 2 h i 2 + b y )
其中,xi为网络输入,为网络输出,分别代表第一层隐含层和第二层隐含层的输出,为h1层与输入之间的权重矩阵,为h1层不同时间序列之间的权重矩阵,为h1层与h2层之间的权重矩阵,为h2层不同时间序列之间的权重矩阵,为h1层的偏置,为h2层的偏置,by为输出层的偏置,tanh为激活函数。
然后,计算多层循环神经网络模型每个隐含层的输出误差,根据如下公式:
e = 1 2 Σ i = 1 T ( y ^ i - y i )
根据计算获得的输出误差,通过对多层循环神经网络模型的全部权重进行更新,直至所述输出误差在预设的允许范围内,多层循环神经网络模型训练结束。
步骤104,从训练集数据中提取该同等时间段的数据之后且相同时间段的数据,作为多层循环神经网络模型的输入,预测该本地数据节点的负载指标。
作为实施例,从训练集数据中提取第T+1条至第2T条数据,并将第T+1条到第2T条数据作为多层循环神经网络模型的输入,多层循环神经网络模型的输出为预测2T+1至3T时间段的本地数据节点的负载指标。
作为本发明另一可参考的实施例,参阅图2所示,所述的分布式数据库负载均衡预测方法可以是如下过程:
步骤201,采集每个本地数据节点上的负载指标。其中,负载指标包括CPU利用率、内存利用率、网络下行速度以及网络上行速度。较佳地,对所述的负载指标每一秒采集一次。优选地,可以采集2T秒。
步骤202,将采集的负载指标构成训练集数据L=[Rc,Rm,Sd,Su]。其中,Rc为CPU利用率、Rm为内存利用率、Sd为网络下行速度、Su为上行速度。
步骤203,初始化多层循环神经网络模型,包括确定多层循环神经网络模型的隐藏层个数以及多层循环神经网络模型每层的神经元个数;将多层循环神经网络模型输入层和每个隐藏层的神经元之间的网络连接权重随机初始化,并记做
较佳地,多层循环神经网络模型的隐藏层个数2。多层循环神经网络模型每层的神经元个数为nm
步骤204,从训练集数据中提取第1条至第T条数据,并且将每组数据通过如下公式进行映射:
xi=[1,sin(L(i)),cos(L(i))]
将映射后的数据作为多层循环神经网络模型的输入xi
步骤205,从训练集数据中提取第T+1条至第2T条数据作为多层循环神经网络模型的输出yi。
步骤206,计算多层循环神经网络模型每个隐含层的输出,其具体公式如下(如图3所示):
h i 1 = tanh ( w h 1 x x i + w h 1 h 1 h i - 1 1 + b h 1 )
h i 2 = tanh ( w h 1 h 2 h i 1 + w h 2 h 2 h i - 1 2 + b h 2 )
y ^ i = tanh ( w yh 2 h i 2 + b y )
其中,xi为网络输入,为网络输出,分别代表第一层隐含层和第二层隐含层的输出,为h1层与输入之间的权重矩阵,为h1层不同时间序列之间的权重矩阵,为h1层与h2层之间的权重矩阵,为h2层不同时间序列之间的权重矩阵,为h1层的偏置,为h2层的偏置,by为输出层的偏置,tanh为激活函数。
步骤207,计算多层循环神经网络模型每个隐含层的输出误差,根据如下公式:
e = 1 2 Σ i = 1 T ( y ^ i - y i )
步骤208,根据步骤207计算获得的输出误差,通过梯度下降法对多层循环神经网络模型的全部权重进行更新,直至所述误差在允许范围内,多层循环神经网络模型训练结束。
较佳地,所述误差的允许范围是多层循环神经网络模型输入值的正负5%。
步骤209,从训练集数据中提取第T+1条至第2T条数据,并将第T+1条到第2T条数据作为多层循环神经网络模型的输入,预测2T+1至3T时间段的本地数据节点的负载指标。
在本发明的另一方面,提供了一种多层循环神经网络预测分析器,参阅图4所示,所述的多层循环神经网络预测分析器依次包括数据采集单元401,用于采集每个本地数据节点上的负载指标,构成训练集数据。模型初始化单元402,用于初始化多层循环神经网络模型。模型训练单元403,用于从训练集数据中提取一段时间数据作为多层循环神经网络模型的输入,从训练集数据中提取该一段时间数据后同等时间段的数据作为多层循环神经网络模型的输出,训练所述多层循环神经网络模型。负载预测单元404,用于从训练集数据中提取该同等时间段的数据之后且相同时间段的数据,作为多层循环神经网络模型的输入,预测该本地数据节点的负载指标。
其中,数据采集单元401的负载指标包括CPU利用率Rc、内存利用率Rm、网络下行速度Sd以及网络上行速度Su。较佳地,所述数据采集单元每一秒采集一次所述的负载指标,共采集2T秒,构成训练集数据L=[Rc,Rm,Sd,。]
作为实施例,所述模型初始化单元402在初始化多层循环神经网络模型时,需要确定多层循环神经网络模型的隐藏层个数以及多层循环神经网络模型每层的神经元个数nm。另外,将多层循环神经网络模型输入层和每个隐藏层的神经元之间的网络连接权重随机初始化,并记做
作为一个较佳地实施例,模型训练单元403从训练集数据中提取第1条至第T条数据,并且将每组数据通过如下公式进行映射。
xi=[1,sin(L(i)),cos(L(i))]
将映射后的数据作为多层循环神经网络模型的输入xi
然后,从训练集数据中提取第T+1条至第2T条数据作为多层循环神经网络模型的输出yi,训练所述多层循环神经网络模型。
最后,负载预测单元404从训练集数据中提取第T+1条至第2T条数据,并将第T+1条到第2T条数据作为多层循环神经网络模型的输入,多层循环神经网络模型的输出为预测2T+1至3T时间段的本地数据节点的负载指标。
作为一个优选地实施例,模型训练单元403还可以通过如下公式计算多层循环神经网络模型每个隐含层的输出:
h i 1 = tanh ( w h 1 x x i + w h 1 h 1 h i - 1 1 + b h 1 )
h i 2 = tanh ( w h 1 h 2 h i 1 + w h 2 h 2 h i - 1 2 + b h 2 )
y ^ i = tanh ( w yh 2 h i 2 + b y )
其中,xi为网络输入,为网络输出,分别代表第一层隐含层和第二层隐含层的输出,为h1层与输入之间的权重矩阵,为h1层不同时间序列之间的权重矩阵,为h1层与h2层之间的权重矩阵,为h2层不同时间序列之间的权重矩阵,为h1层的偏置,为h2层的偏置,by为输出层的偏置,tanh为激活函数。
然后,计算多层循环神经网络模型每个隐含层的输出误差,根据如下公式:
e = 1 2 Σ i = 1 T ( y ^ i - y i )
根据计算获得的输出误差,通过对多层循环神经网络模型的全部权重进行更新,直至所述输出误差在预设的允许范围内,多层循环神经网络模型训练结束。
需要说明的是,在本发明所述的分布式数据库负载均衡预测分析器的具体实施内容,在上面所述的分布式数据库负载均衡预测方法中已经详细说明了,故在此重复内容不再说明。
作为本发明又一方面,提供了一种分布式数据库可以包括分布式数据库管理***、与该分布式数据库管理***连接的n个数据节点,并且在每个数据节点上安装有多层循环神经网络预测分析器,即有n个多层循环神经网络预测分析器。如图5所示,客户端通过数据I/O将数据请求发送到分布式数据库管理***上。较佳地,分布式数据库管理***包括有资源管理模块和作业调度模块。其中,资源管理模块可以针对n个数据节点的数据资源进行管理;而作业调度模块可以根据资源管理模块管理的每个数据节点的数据资源情况,针对客户端的数据请求向数据节点进行作业调度。优选地,在每个数据节点上分别包括本地资源管理模块和本地作业调度模块。本地资源管理模块可以对本地的数据资源进行管理,而本地作业调度模块可以根据分布式数据库管理***的作业调度模块的调度指令对本地资源管理模块中的数据资源进行处理。
参阅图6所示,n个多层循环神经网络预测分析器对应于n个数据节点的本地资源管理模块,本地资源管理模块向对应的多层循环神经网络预测分析器报告当前本地负载量。该多层循环神经网络预测分析器根据所述当前本地负载量,利用上面所述的分布式数据库负载均衡预测方法对所对应的本地资源管理模块的负载进行预测并将预测结果反馈给该本地资源管理模块。
较佳地,n个本地资源管理模块分别将获得的预测结果以及当前的负载情况一起发送给分布式数据库管理***的资源管理模块,并且所述的资源管理模块会将获得的所有预测结果和当前的负载情况传送给作业调度模块。然后,所述作业调度模块会根据每个数据节点的预测结果和当前的负载情况向对应的数据节点的本地作业调度模块发送作业调度指令,并将当前所有的作业调度情况发送给资源管理模块。从而,实现了分布式数据库管理***对n个数据节点之间负载均衡的作业调度。
综上所述,本发明提供的分布式数据库负载均衡预测方法和预测分析器、以及分布式数据库,创造性地基于多层循环神经网络的分布式数据库负载均衡预测;相对于一般的BP神经网络算法,避免了神经网络梯度法导致的收敛速度慢和容易收敛到局部最小的缺陷;通过多隐含层神经网络的信息循环传递,使得训练模型能够更为精确的描述负载均衡数据的结构并对其进行有效预测;而且,所述的分布式数据库负载均衡预测方法和预测分析器应对突变实时负载时的损失较少;在大多数情况下使得各节点的负载情况更为均衡;较少出现过重负载或过轻负载的节点;与此同时,本发明采用预测技术对分布式数据库资源使用状况进行实时预测具有重要意义,提高分布式数据库的资源利用率和性能;最后,整个所述的分布式数据库负载均衡预测方法和预测分析器简便、紧凑,易于实现。
所属领域的普通技术人员应当理解:以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式数据库负载均衡预测方法,其特征在于,包括步骤:
采集每个本地数据节点上的负载指标,构成训练集数据;
初始化多层循环神经网络模型;
从训练集数据中提取一段时间数据作为多层循环神经网络模型的输入,从训练集数据中提取该一段时间数据后同等时间段的数据作为多层循环神经网络模型的输出,训练所述多层循环神经网络模型;
从训练集数据中提取该同等时间段的数据之后且相同时间段的数据,作为多层循环神经网络模型的输入,预测该本地数据节点的负载指标。
2.根据权利要求1所述的方法,其特征在于,所述负载指标包括CPU利用率Rc、内存利用率Rm、网络下行速度Sd以及网络上行速度Su;并且,每一秒采集一次所述的负载指标,共采集2T秒,构成训练集数据L=[Rc,Rm,Sd,Su];
还有,所述初始化多层循环神经网络模型包括:
确定多层循环神经网络模型的隐藏层个数以及多层循环神经网络模型每层的神经元个数nm;将多层循环神经网络模型输入层和每个隐藏层的神经元之间的网络连接权重随机初始化,并记做
3.根据权利要求2所述的预测方法,其特征在于,所述训练多层循环神经网络模型时,从训练集数据中提取第1条至第T条数据,并且将每组数据通过如下公式进行映射:
xi=[1,sin(L(i)),cos(L(i))]
将映射后的数据作为多层循环神经网络模型的输入xi
从训练集数据中提取第T+1条至第2T条数据作为多层循环神经网络模型的输出yi,训练所述多层循环神经网络模型。
4.根据权利要求3所述的预测方法,其特征在于,在所述从训练集数据中提取该同等时间段的数据之后且相同时间段的数据之前,还包括:
通过如下公式计算多层循环神经网络模型每个隐含层的输出:
其中,xi为网络输入,为网络输出,分别代表第一层隐含层和第二层隐含层的输出,为h1层与输入之间的权重矩阵,为h1层不同时间序列之间的权重矩阵,为h1层与h2层之间的权重矩阵,为h2层不同时间序列之间的权重矩阵,为h1层的偏置,为h2层的偏置,by为输出层的偏置,tanh为激活函数;
计算多层循环神经网络模型每个隐含层的输出误差,根据如下公式:
根据计算获得的输出误差,通过对多层循环神经网络模型的全部权重进行更新,直至所述输出误差在预设的允许范围内,多层循环神经网络模型训练结束。
5.根据权利要求3或4所述的预测方法,其特征在于,从训练集数据中提取第T+1条至第2T条数据,并将第T+1条到第2T条数据作为多层循环神经网络模型的输入,多层循环神经网络模型的输出为预测2T+1至3T时间段的本地数据节点的负载指标。
6.一种多层循环神经网络预测分析器,其特征在于,包括:
数据采集单元,用于采集每个本地数据节点上的负载指标,构成训练集数据;
模型初始化单元,用于初始化多层循环神经网络模型;
模型训练单元,用于从训练集数据中提取一段时间数据作为多层循环神经网络模型的输入,从训练集数据中提取该一段时间数据后同等时间段的数据作为多层循环神经网络模型的输出,训练所述多层循环神经网络模型;
负载预测单元,用于从训练集数据中提取该同等时间段的数据之后且相同时间段的数据,作为多层循环神经网络模型的输入,预测该本地数据节点的负载指标。
7.根据权利要求6所述的预测方法,其特征在于,所述数据采集单元的负载指标包括CPU利用率Rc、内存利用率Rm、网络下行速度Sd以及网络上行速度Su;并且,所述数据采集单元每一秒采集一次所述的负载指标,共采集2T秒,构成训练集数据L=[Rc,Rm,Sd,Su];
另外,所述模型初始化单元在初始化多层循环神经网络模型时,包括确定多层循环神经网络模型的隐藏层个数以及多层循环神经网络模型每层的神经元个数nm;将多层循环神经网络模型输入层和每个隐藏层的神经元之间的网络连接权重随机初始化,并记做
8.根据权利要求7所述的预测方法,其特征在于,所述模型训练单元从训练集数据中提取第1条至第T条数据,并且将每组数据通过如下公式进行映射:
xi=[1,sin(L(i)),cos(L(i))]
将映射后的数据作为多层循环神经网络模型的输入xi
从训练集数据中提取第T+1条至第2T条数据作为多层循环神经网络模型的输出yi,训练所述多层循环神经网络模型;
另外,所述负载预测单元从训练集数据中提取第T+1条至第2T条数据,并将第T+1条到第2T条数据作为多层循环神经网络模型的输入,多层循环神经网络模型的输出为预测2T+1至3T时间段的本地数据节点的负载指标。
9.根据权利要求8所述的预测方法,其特征在于,所述模型训练单元还用于通过如下公式计算多层循环神经网络模型每个隐含层的输出:
其中,xi为网络输入,为网络输出,分别代表第一层隐含层和第二层隐含层的输出,为h1层与输入之间的权重矩阵,为h1层不同时间序列之间的权重矩阵,为h1层与h2层之间的权重矩阵,为h2层不同时间序列之间的权重矩阵,为h1层的偏置,为h2层的偏置,by为输出层的偏置,tanh为激活函数;
计算多层循环神经网络模型每个隐含层的输出误差,根据如下公式:
根据计算获得的输出误差,通过对多层循环神经网络模型的全部权重进行更新,直至所述输出误差在预设的允许范围内,多层循环神经网络模型训练结束。
10.一种分布式数据库,其特征在于,包括:分布式数据库管理***、与该分布式数据库管理***连接的至少一个数据节点,并且在每个数据节点上安装有多层循环神经网络预测分析器;
其中,分布式数据库管理***包括有资源管理模块和作业调度模块,资源管理模块针对至少一个数据节点的数据资源进行管理;而作业调度模块根据资源管理模块管理的每个数据节点的数据资源情况,针对客户端的数据请求向数据节点进行作业调度;还有,在每个数据节点上分别包括本地资源管理模块和本地作业调度模块;本地资源管理模块对本地的数据资源进行管理,而本地作业调度模块根据分布式数据库管理***的作业调度模块的调度指令对本地资源管理模块中的数据资源进行处理;
另外,所述的多层循环神经网络预测分析器对应于每个数据节点的本地资源管理模块,本地资源管理模块向对应的多层循环神经网络预测分析器报告当前本地负载量;该多层循环神经网络预测分析器根据所述当前本地负载量,对所对应的本地资源管理模块的负载进行预测并将预测结果反馈给该本地资源管理模块;
之后,本地资源管理模块分别将获得的预测结果以及当前的负载情况一起发送给分布式数据库管理***的资源管理模块,并且资源管理模块会将获得的所有预测结果和当前的负载情况传送给作业调度模块;作业调度模块会根据每个数据节点的预测结果和当前的负载情况向对应的数据节点的本地作业调度模块发送作业调度指令。
CN201510938406.9A 2015-12-15 2015-12-15 一种分布式数据库负载均衡预测方法和预测分析器 Active CN105550323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510938406.9A CN105550323B (zh) 2015-12-15 2015-12-15 一种分布式数据库负载均衡预测方法和预测分析器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510938406.9A CN105550323B (zh) 2015-12-15 2015-12-15 一种分布式数据库负载均衡预测方法和预测分析器

Publications (2)

Publication Number Publication Date
CN105550323A true CN105550323A (zh) 2016-05-04
CN105550323B CN105550323B (zh) 2020-04-28

Family

ID=55829512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510938406.9A Active CN105550323B (zh) 2015-12-15 2015-12-15 一种分布式数据库负载均衡预测方法和预测分析器

Country Status (1)

Country Link
CN (1) CN105550323B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502799A (zh) * 2016-12-30 2017-03-15 南京大学 一种基于长短时记忆网络的主机负载预测方法
CN106682217A (zh) * 2016-12-31 2017-05-17 成都数联铭品科技有限公司 一种基于自动信息筛选学习的企业二级行业分类方法
CN107426315A (zh) * 2017-07-24 2017-12-01 南京邮电大学 一种基于BP神经网络的分布式缓存***Memcached的改进方法
WO2017215339A1 (zh) * 2016-06-14 2017-12-21 武汉斗鱼网络科技有限公司 基于rbf神经网络的搜索集群优化方法及***
CN107515663A (zh) * 2016-06-15 2017-12-26 北京京东尚科信息技术有限公司 调整中央处理器内核运行频率的方法和装置
WO2018000991A1 (zh) * 2016-06-30 2018-01-04 华为技术有限公司 一种数据均衡方法和装置
CN107743630A (zh) * 2015-07-27 2018-02-27 谷歌有限责任公司 使用循环神经网络预测满足条件的可能性
CN108632082A (zh) * 2018-03-27 2018-10-09 北京国电通网络技术有限公司 一种服务器的负载信息的预测方法及装置
CN109358959A (zh) * 2018-10-23 2019-02-19 电子科技大学 基于预测的数据分布式协同处理方法
CN109522129A (zh) * 2018-11-23 2019-03-26 快云信息科技有限公司 一种资源动态均衡方法、装置及相关设备
CN109936473A (zh) * 2017-12-19 2019-06-25 华耀(中国)科技有限公司 基于深度学习预测的分布计算***及其运行方法
CN109976908A (zh) * 2019-03-15 2019-07-05 北京工业大学 一种基于rnn时间序列预测的服务器集群动态伸缩方法
CN110059858A (zh) * 2019-03-15 2019-07-26 深圳壹账通智能科技有限公司 服务器资源预测方法、装置、计算机设备及存储介质
CN110084380A (zh) * 2019-05-10 2019-08-02 深圳市网心科技有限公司 一种迭代训练方法、设备、***及介质
CN110784555A (zh) * 2019-11-07 2020-02-11 中电福富信息科技有限公司 一种基于深度学习的智能监控及负载调度方法
CN111143050A (zh) * 2018-11-02 2020-05-12 中移(杭州)信息技术有限公司 一种容器集群调度的方法和设备
WO2021052140A1 (zh) * 2019-09-17 2021-03-25 中国科学院分子细胞科学卓越创新中心 一种面向短期时间序列预测的预期性学习方法和***
WO2021139276A1 (zh) * 2020-01-10 2021-07-15 平安科技(深圳)有限公司 平台数据库自动化运维方法、装置及计算机可读存储介质
CN113157814A (zh) * 2021-01-29 2021-07-23 东北大学 关系数据库下查询驱动的智能工作负载分析方法
CN114661463A (zh) * 2022-03-09 2022-06-24 国网山东省电力公司信息通信公司 基于bp神经网络的***资源预测方法及***
CN114969209A (zh) * 2022-06-15 2022-08-30 支付宝(杭州)信息技术有限公司 训练方法及装置、预测资源消耗量的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130060948A1 (en) * 2001-01-29 2013-03-07 Overland Storage, Inc. Systems and methods for load balancing drives and servers
CN103678004A (zh) * 2013-12-19 2014-03-26 南京大学 一种基于非监督特征学习的主机负载预测方法
CN104239194A (zh) * 2014-09-12 2014-12-24 上海交通大学 基于bp神经网络的任务完成时间预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130060948A1 (en) * 2001-01-29 2013-03-07 Overland Storage, Inc. Systems and methods for load balancing drives and servers
CN103678004A (zh) * 2013-12-19 2014-03-26 南京大学 一种基于非监督特征学习的主机负载预测方法
CN104239194A (zh) * 2014-09-12 2014-12-24 上海交通大学 基于bp神经网络的任务完成时间预测方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107743630A (zh) * 2015-07-27 2018-02-27 谷歌有限责任公司 使用循环神经网络预测满足条件的可能性
CN107743630B (zh) * 2015-07-27 2021-12-17 谷歌有限责任公司 使用循环神经网络预测满足条件的可能性
WO2017215339A1 (zh) * 2016-06-14 2017-12-21 武汉斗鱼网络科技有限公司 基于rbf神经网络的搜索集群优化方法及***
CN107515663B (zh) * 2016-06-15 2021-01-26 北京京东尚科信息技术有限公司 调整中央处理器内核运行频率的方法和装置
CN107515663A (zh) * 2016-06-15 2017-12-26 北京京东尚科信息技术有限公司 调整中央处理器内核运行频率的方法和装置
WO2018000991A1 (zh) * 2016-06-30 2018-01-04 华为技术有限公司 一种数据均衡方法和装置
CN106502799A (zh) * 2016-12-30 2017-03-15 南京大学 一种基于长短时记忆网络的主机负载预测方法
CN106682217A (zh) * 2016-12-31 2017-05-17 成都数联铭品科技有限公司 一种基于自动信息筛选学习的企业二级行业分类方法
CN107426315A (zh) * 2017-07-24 2017-12-01 南京邮电大学 一种基于BP神经网络的分布式缓存***Memcached的改进方法
CN107426315B (zh) * 2017-07-24 2020-07-31 南京邮电大学 一种基于BP神经网络的分布式缓存***Memcached的改进方法
CN109936473A (zh) * 2017-12-19 2019-06-25 华耀(中国)科技有限公司 基于深度学习预测的分布计算***及其运行方法
CN109936473B (zh) * 2017-12-19 2022-04-08 北京华耀科技有限公司 基于深度学习预测的分布计算***及其运行方法
CN108632082A (zh) * 2018-03-27 2018-10-09 北京国电通网络技术有限公司 一种服务器的负载信息的预测方法及装置
CN109358959A (zh) * 2018-10-23 2019-02-19 电子科技大学 基于预测的数据分布式协同处理方法
CN111143050B (zh) * 2018-11-02 2023-09-19 中移(杭州)信息技术有限公司 一种容器集群调度的方法和设备
CN111143050A (zh) * 2018-11-02 2020-05-12 中移(杭州)信息技术有限公司 一种容器集群调度的方法和设备
CN109522129A (zh) * 2018-11-23 2019-03-26 快云信息科技有限公司 一种资源动态均衡方法、装置及相关设备
CN110059858A (zh) * 2019-03-15 2019-07-26 深圳壹账通智能科技有限公司 服务器资源预测方法、装置、计算机设备及存储介质
CN109976908A (zh) * 2019-03-15 2019-07-05 北京工业大学 一种基于rnn时间序列预测的服务器集群动态伸缩方法
CN110084380A (zh) * 2019-05-10 2019-08-02 深圳市网心科技有限公司 一种迭代训练方法、设备、***及介质
WO2021052140A1 (zh) * 2019-09-17 2021-03-25 中国科学院分子细胞科学卓越创新中心 一种面向短期时间序列预测的预期性学习方法和***
CN110784555A (zh) * 2019-11-07 2020-02-11 中电福富信息科技有限公司 一种基于深度学习的智能监控及负载调度方法
WO2021139276A1 (zh) * 2020-01-10 2021-07-15 平安科技(深圳)有限公司 平台数据库自动化运维方法、装置及计算机可读存储介质
CN113157814A (zh) * 2021-01-29 2021-07-23 东北大学 关系数据库下查询驱动的智能工作负载分析方法
CN113157814B (zh) * 2021-01-29 2023-07-18 东北大学 关系数据库下查询驱动的智能工作负载分析方法
CN114661463A (zh) * 2022-03-09 2022-06-24 国网山东省电力公司信息通信公司 基于bp神经网络的***资源预测方法及***
CN114969209A (zh) * 2022-06-15 2022-08-30 支付宝(杭州)信息技术有限公司 训练方法及装置、预测资源消耗量的方法及装置

Also Published As

Publication number Publication date
CN105550323B (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN105550323A (zh) 一种分布式数据库负载均衡预测方法和预测分析器
CN103118124B (zh) 一种基于分层多代理的云计算负载均衡方法
CN104216782B (zh) 高性能计算和云计算混合环境中的动态资源管理方法
Etemadi et al. A cost-efficient auto-scaling mechanism for IoT applications in fog computing environment: a deep learning-based approach
CN106534318B (zh) 一种基于流量亲和性的OpenStack云平台资源动态调度***和方法
CN102981910B (zh) 虚拟机调度的实现方法和装置
CN111966453B (zh) 一种负载均衡方法、***、设备及存储介质
CN201298233Y (zh) 一种电力***电磁暂态过程的分布式仿真装置
CN102110021B (zh) 一种云计算自主式优化方法
CN103607466B (zh) 一种基于云计算的广域多级分布式并行电网分析方法
CN105718364A (zh) 一种云计算平台中计算资源能力动态评估方法
CN106020933A (zh) 基于超轻量虚拟机的云计算动态资源调度***及方法
CN105373432B (zh) 一种基于虚拟资源状态预测的云计算资源调度方法
CN103365727A (zh) 一种云计算环境中的主机负载预测方法
CN107454105A (zh) 一种基于ahp与灰色关联的多维网络安全评估方法
CN105426241A (zh) 一种基于云计算数据中心的统一资源调度节能方法
CN103617067A (zh) 一种基于云计算的电力软件仿真***
CN110389813A (zh) 一种面向网络靶场的虚拟机动态迁移方法
CN106681839A (zh) 弹性计算动态分配方法
CN110134507A (zh) 一种边缘计算***下的合作计算方法
Fan et al. Energy management of renewable based power grids using artificial intelligence: Digital twin of renewables
Jiang et al. Hierarchical deployment of deep neural networks based on fog computing inferred acceleration model
CN103516792A (zh) 一种基于网络延迟、网络传输能耗和服务器能耗的数据部署方法
CN107908459A (zh) 一种云计算调度***
CN107910881A (zh) 一种基于电网负载应急管理的admm控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170315

Address after: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant after: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant after: State Grid Corporation of China

Applicant after: STATE GRID ZHEJIANG ELECTRIC POWER Co.

Applicant after: STATE GRID JIBEI ELECTRIC POWER Co.,Ltd.

Applicant after: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant after: BEIJING GREAT OPENSOURCE SOFTWARE Co.,Ltd.

Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Address before: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant before: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant before: State Grid Corporation of China

Applicant before: STATE GRID ZHEJIANG ELECTRIC POWER Co.

Applicant before: STATE GRID JIBEI ELECTRIC POWER Co.,Ltd.

Applicant before: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant before: BEIJING GREAT OPENSOURCE SOFTWARE Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant after: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant after: STATE GRID CORPORATION OF CHINA

Applicant after: STATE GRID ZHEJIANG ELECTRIC POWER Co.,Ltd.

Applicant after: STATE GRID JIBEI ELECTRIC POWER Co.,Ltd.

Applicant after: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant after: BEIJING GREAT OPENSOURCE SOFTWARE Co.,Ltd.

Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Address before: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant before: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant before: State Grid Corporation of China

Applicant before: STATE GRID ZHEJIANG ELECTRIC POWER Co.

Applicant before: STATE GRID JIBEI ELECTRIC POWER Co.,Ltd.

Applicant before: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant before: BEIJING GREAT OPENSOURCE SOFTWARE Co.,Ltd.

Applicant before: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190724

Address after: 100085 Beijing city Haidian District Qinghe small Camp Road No. 15

Applicant after: BEIJING CHINA POWER INFORMATION TECHNOLOGY Co.,Ltd.

Applicant after: STATE GRID CORPORATION OF CHINA

Applicant after: STATE GRID ZHEJIANG ELECTRIC POWER Co.,Ltd.

Applicant after: STATE GRID JIBEI ELECTRIC POWER Co.,Ltd.

Applicant after: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant after: BEIJING GREAT OPENSOURCE SOFTWARE Co.,Ltd.

Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Address before: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing

Applicant before: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd.

Applicant before: STATE GRID CORPORATION OF CHINA

Applicant before: STATE GRID ZHEJIANG ELECTRIC POWER Co.,Ltd.

Applicant before: STATE GRID JIBEI ELECTRIC POWER Co.,Ltd.

Applicant before: Beijing Zhongdian Feihua Communications Co.,Ltd.

Applicant before: BEIJING GREAT OPENSOURCE SOFTWARE Co.,Ltd.

Applicant before: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

GR01 Patent grant
GR01 Patent grant