CN112906807A - 二维消息传递多处理器体系中的网络响应时间预测方法 - Google Patents

二维消息传递多处理器体系中的网络响应时间预测方法 Download PDF

Info

Publication number
CN112906807A
CN112906807A CN202110240578.4A CN202110240578A CN112906807A CN 112906807 A CN112906807 A CN 112906807A CN 202110240578 A CN202110240578 A CN 202110240578A CN 112906807 A CN112906807 A CN 112906807A
Authority
CN
China
Prior art keywords
response time
network response
data
time prediction
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110240578.4A
Other languages
English (en)
Inventor
王一军
廖勋
黄端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110240578.4A priority Critical patent/CN112906807A/zh
Publication of CN112906807A publication Critical patent/CN112906807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种二维消息传递多处理器体系中的网络响应时间预测方法，包括获取基础数据并处理得到训练数据；提取训练数据的特征得到特征子集；构建原始网络响应时间预测模型；以特征子集为约束对原始网络响应时间预测模型的参数进行优化得到初步网络响应时间预测模型；采用特征子集对初步网络响应时间预测模型进行训练得到网络响应时间预测模型；采用网络响应时间预测模型对二维消息传递多处理器体系中的网络响应时间进行预测。本发明将RF‑BOA‑LightGBM模型应用到二维消息传递多处理器体系结构中网络响应时间的预测，使得本发明方法具有更高的预测精度，而且可靠性更好。

Description

二维消息传递多处理器体系中的网络响应时间预测方法
技术领域
本发明属于光通信领域，具体涉及一种二维消息传递多处理器体系中的网络响应时间预测方法。
背景技术
多处理器体系结构是指在一个计算机***中使用两个或多个CPU，同时也用于表示***支持多个处理器并行的能力和处理器之间分配任务的能力。处理器可以指CPU或输入-输出处理器(Input-Output Processor)。多处理器***有两种主要类型:分布式内存多处理器和共享内存多处理器。
随着光学技术的最新进展表明，光学互连可能出现在分布式共享(DistributedShared Memory)多处理器中。在众多科学与工程应用中，大规模DSM多处理器是实现其强大计算能力最可行的方法。DSM***通过在不同的处理器之间，物理分配内存来实现地址空间的共享，其优势在于通信过程中使用的是传统的存储器存取指令并隐式进行的，因此过程更加简单。然而这种优势非常依赖于底层互连网络(允许节点相互通信)的效率。远程内存的延迟对互连网络会造成直接的影响，这是因为访问的是处理器中的存储单元而不是发起请求的处理器。访问远程存储器的时间比访问本地的时间要多3-5个数量级，所以访问过程的大部分时间都消耗在***互连网络的通信上。尽管DSM***通过降低延迟/隐式技术来减少访问远程内存的时间，但这些技术却需要大量的额外带宽，甚至为了获取超过***所需的数据而大大的增加了内存流量。此外，DSM***中的事务都包括了请求、响应数据、确认信息和一致性信息等。随着***越做越大，更多的处理器向***发送事务相关的消息和请求，这样就会引起网络对***中共享资源的争用。
4-8个的小型DSM***通常通过单个交换机互连，一个较大的***则需要更多的交换机，这在额外的交换机中会出现显著的路由或者交换延迟。这反过来又增加了远程等待时间。
光学互连可以很好的解决以上问题，它具有比当前基于电子互连更高的带宽和更低的延迟。光纤表现出极高的带宽，可以多路复用以提供大量独立的通信信道。随着光学和光电器的高速发展，光学互连成为了构建高带宽、低延迟和可扩展的光学互连网络中可行且成本较低的方案。同步光多处理器交换总线(simultaneous optical multiprocessorexchange bus，SOME-Bus)光互连技术可以很好的实现这一目标。
2D SOME-Bus由N个水平和N个垂直的1D SOME-Bus以及N2个节点组成。如图1所示。连接到一个1D SOME-Bus的N个节点中的每一个都有一个专用广播信道和一个输入信道接口，该接口基于一个由N个接收机组成的阵列，用于监控所有N个信道并允许多个同时广播。在每个节点上，由双接收器组成电光转换器；并且，发送器允许在一条总线上广播的消息在另一条总线上被转发和广播(以直通方式)。图1显示了较小规模(3×3)网络的组织。每条总线都有一组波长，这些波长构成了连接到该总线的节点的通信信道。所有的总线都使用相同的波长。为简单起见，图中显示了每个信道的一个波长(标记为(α,β,γ,δ))。
在2D SOME-Bus***中，网络响应时间是***的重要性能指标。通过对网络响应时间的预测和检测，人们可以知道网络的实时状态。因此，对于2D SOME-Bus***的网络响应时间预测，是一项重要的任务。
但是，目前的网络响应时间预测方法，其精度不高，而且可靠性差。
发明内容
本发明的目的在于提供一种可靠性高且精确度好的二维消息传递多处理器体系中的网络响应时间预测方法。
本发明提供的这种二维消息传递多处理器体系中的网络响应时间预测方法，包括如下步骤：
S1.获取基础数据；
S2.对步骤S1获取的基础数据进行处理，从而得到训练数据；
S3.提取步骤S2得到的训练数据的特征，得到特征子集；
S4.构建原始网络响应时间预测模型；
S5.以步骤S3得到的特征子集为约束，对步骤S4构建的原始网络响应时间预测模型的参数进行优化，得到初步网络响应时间预测模型；
S6.采用步骤S3得到的特征子集，对步骤S5得到的初步网络响应时间预测模型进行训练，从而得到网络响应时间预测模型；
S7.采用步骤S6得到的网络响应时间预测模型，对二维消息传递多处理器体系中的网络响应时间进行预测。
所述的二维消息传递多处理器体系中的网络响应时间预测方法，还包括如下步骤：
S8.采用测试数据对网络响应时间预测模型进行测试，从而得到网络响应时间预测模型的性能评价指标结果。
步骤S8所述的采用测试数据对网络响应时间预测模型进行测试，从而得到网络响应时间预测模型的性能评价指标结果，具体为采用交叉验证和计算决定系数(R Squared)、平均绝对误差(MAE)、相对绝对误差(RAE)、相对平方根误差(RRSE)和均方误差(MSE)对网络响应时间预测模型的性能进行评价。
步骤S1所述的基础数据，具体为数据集采用UCI机器学习库中的关于光互连的数据集。
步骤S2所述的对步骤S1获取的基础数据进行处理，从而得到训练数据，具体为采用如下步骤进行处理：
A.数据清洗：对数据集中的错误数据进行修正；
B.数据转换：将传输空间分布和传输模式空间分布转换为标签编码；
C.数据归一化：采用最小最大归一化方法，将数据进行标准化处理。
步骤S3所述的提取步骤S2得到的训练数据的特征，得到特征子集，具体为采用如下步骤得到特征子集：
采用回归随机森林进行特征提取；
对数据集中单个特征变量对网络相应时间的重要性进行计算；
采用每一步删除一个特征后再采用袋外数据对准确率的变化进行比较的方式，对重要性进行评估，并选取最终的特征：若某个特征被删除后，采用袋外数据所评估的准确率下降的数值大于或等于设定的阈值，则选定该特征；若某个特征被删除后，采用袋外数据所评估的准确率下降的数值小于设定的阈值，则删除该特征；
最终得到训练数据所评估后的特征，从而得到最终的特征子集。
所述的对数据集中单个特征变量对网络相应时间的重要性进行计算，具体为采用如下步骤计算重要性：
a.计算第i棵树对应的OOBi的袋外误差，记为ERRORi；OOB为袋外数据；
b.对OOBi中的特征Tj随机添加设定的噪声，并随机打乱当前特征的值，得到OOBi j并再次计算加入噪声后的OOBi j所对应的误差，并记为ERRORi j；
c.重复步骤a和步骤b共K次，从而得到{ERRORi|i＝1,2,...,K}和{ERRORi j|i＝1,2,...,K,j＝1,2,...,n}；
d.计算所有决策树的特征Tj的平均误差值：
Figure BDA0002961965840000051
式中Importance(Tj)为特征Tj的重要性分值。
步骤S4所述的构建原始网络响应时间预测模型，具体为采用原始的LightGBM模型作为原始网络响应时间预测模型。
步骤S5所述的对步骤S4构建的原始网络响应时间预测模型的参数进行优化，具体为采用贝叶斯优化方法，对LightGBM模型中的参数：学习率、最大深度、子叶个数、子叶最小数、特征选择比例、样本选择比例和正则化参数，进行优化，从而得到初步网络响应时间预测模型。
采用贝叶斯优化方法，对LightGBM模型中的参数进行优化，具体为采用如下步骤进行优化：
(1)初始化：确定函数z和已知点集合D1；D1中为随机选取的参数组合及其对应的函数值；
(2)使用序贯模型优化方法进行逐步迭代循环；
(3)根据所有己知点更新高斯过程的后验概率分布；
(4)找到使得采集函数最大的参数组合
ap+1＝argmax EI(a)
式中a∈Dp；EI(a)的定义为
Figure BDA0002961965840000061
式中z(a)为后验均值；z*为已经观测到所有函数值的最优值；μ(a)为高斯过程的均值函数；φ(Z)为标准正态分布的累计分布函数；
Figure BDA0002961965840000062
为标准正态分布的概率密度函数；σ(a)为高斯过程的协方差函数。
(5)通过LightGBM模型训练，求出在验证集上的得分，计算出新的函数值bp+1＝z(ap+1)；
(6)将新的参数组合点更新进已知点集合，Dp+1＝{Dp,ap+1,bp+1}；
(7)循环结束，选取使得采集函数EI(a)最大的参数组合，从而得到LightGBM模型的最优参数组合。
本发明提供的这种二维消息传递多处理器体系中的网络响应时间预测方法，将RF-BOA-LightGBM模型应用到二维消息传递多处理器体系结构中网络响应时间的预测，使得本发明方法具有更高的预测精度，而且可靠性更好。
附图说明
图1为本发明的2D SOME-Bus的结构示意图。
图2为本发明方法的方法流程示意图。
图3为本发明方法的随机森林特征图区过程示意图。
图4为本发明方法的特征重要性排行示意图。
图5为本发明方法的实施例中原始LightGBM模型预测的网络响应时间散点示意图。
图6为本发明方法的实时例中本发明方法的预测的网络响应时间散点示意图。
图7为本发明方法的实时例得两种模型预测的网络响应时间折线示意图。
具体实施方式
如图2所述为本发明方法的方法流程示意图：本发明提供的这种二维消息传递多处理器体系中的网络响应时间预测方法，包括如下步骤：
S1.获取基础数据；具体为数据集采用UCI机器学习库中的关于光互连的数据集；该数据集有640个样本数据，每个样本数据包含10个属性；
S2.对步骤S1获取的基础数据进行处理，从而得到训练数据；具体为采用如下步骤进行处理：
A.数据清洗：对数据集中的错误数据进行修正；
B.数据转换：将传输空间分布和传输模式空间分布转换为标签编码；
C.数据归一化：采用最小最大归一化方法，将数据进行标准化处理，不仅可以消除不同数量级样本不同属性的影响，还可以加快梯度下降最优解的搜索速度，提高分类精度：
Figure BDA0002961965840000071
式中Xnorm为归一化后的值；x为归一化前的值；xmin为归一化前数据的最小值；xmax为归一化前数据的最大值；
S3.提取步骤S2得到的训练数据的特征，得到特征子集；具体为采用如下步骤得到特征子集：
特征选取是从给定的属性集中选择相关属性子集的过程；在现实任务中经常会遇到维度灾难问题，这是属性太多造成的；如果能从中选取重要的特征，后续的学***均值即为随机森林预测的最终结果；
对数据集中单个特征变量对网络相应时间的重要性进行计算；主要目标就是找到和网络响应时间高度相关的特征变量以及选出能够充分预测网络响应时间的少量特征变量；特征变量特征的选取对预测结果的好坏有着直接的影响，某个特征的重要性越大，则对预测结果的影响越大，随机森林算法可以对特征的好坏进行度量；
进行随机森林特征选取的时候，首先需要明确两个概念：袋外数据(out of bag,OOB)和重要性度量：
OOB：假设训练集为D，随机森林需要的决策树数量为K，通过有放回的多次采样得到子数据集Di，通过Di构建决策树Ki，在建立决策树的过程中，通过重复采样建立子数据集这会导致一部分数据(D-Di)没有被利用到，这些数据没有参与决策树的建立但可以用于评估决策树的性能，也可以用来衡量特征好坏，这些数据被称为决策树Ki的袋外数据OOBi；
重要性度量：假设特征定义为Tj(1,2,...,n)，那么特征Tj的重要性度量计算方式为所有袋外数据OOB的样本在随机添加噪声之前与之后的数据对应的平均误差值；
因此，采用如下步骤计算重要性(如图3所示)：
a.计算第i棵树对应的OOBi的袋外误差，记为ERRORi；OOB为袋外数据；
b.对OOBi中的特征Tj随机添加设定的噪声，并随机打乱当前特征的值，得到
Figure BDA0002961965840000091
并再次计算加入噪声后的
Figure BDA0002961965840000092
所对应的误差，并记为
Figure BDA0002961965840000093
c.重复步骤a和步骤b共K次，从而得到{ERRORi|i＝1,2,...,K}和
Figure BDA0002961965840000094
d.计算所有决策树的特征Tj的平均误差值：
Figure BDA0002961965840000095
式中Importance(Tj)为特征Tj的重要性分值；
这样就得到了所有特征在森林中的重要程度；倘若给某个随机加入特征之后袋外的准确率大幅度降低，则说明这个特征对网络响应时间的影响比较大，也就是对样本评估结果重要程度比较高；
采用每一步删除一个特征后再采用袋外数据对准确率的变化进行比较的方式，对重要性进行评估，并选取最终的特征：若某个特征被删除后，采用袋外数据所评估的准确率下降的数值大于或等于设定的阈值，则选定该特征；若某个特征被删除后，采用袋外数据所评估的准确率下降的数值小于设定的阈值，则删除该特征；
具体实施时，首先将数据集分为80％的训练集，20％的测试集，然后根据式子计算出训练集中各个特征对网络响应时间的影响重要程度得分并将结果进行排序，结果如图4所示：
由图可以知道，信道等待时间对网络响应的预测影响最大，但是直接使用上述的所有特征进行预测模型的建立容易产生过拟合的现象，因此在阅读了大量的文献基础上，采用每一步删除一个特征的方法，再用OOB进行评估，观察训练和测试集准确率的变化，从而计算出每个特征的重要性，直观的看，如果重要特征被删除，准确率下降会更明显，无关特征被删除，准确率变化不大，从而反映特征重要性；结果如下表所示：
表1特征剔除过程测试集和训练集准确率变化示意表
剔除的特征 OOB分数 测试集准确率 训练集准确率
T/R 0.853 0.981 0.886
Thread Number 0.881 0.984 0.907
Node Number 0.880 0.980 0.896
Channel Utilization 0.848 0.969 0.840
Input Wait Time 0.811 0.955 0.825
由上表可知，当剔除到Channel Utilization的时候，测试集的和训练集的准确率发生了明显的下降，说明Channel Utilization这一特征对预测结果有着重要影响，而剔除前三个特征的变化则不大，所以本文选择剔除前三个特征来构建新的数据集，使用新的数据集对网络响应时间进行预测；
最终得到训练数据所评估后的特征，从而得到最终的特征子集；
S4.构建原始网络响应时间预测模型；具体为采用原始的LightGBM模型作为原始网络响应时间预测模型；
S5.以步骤S3得到的特征子集为约束，对步骤S4构建的原始网络响应时间预测模型的参数进行优化，得到初步网络响应时间预测模型；
使用BOA对LightGBM模型进行参数寻优；机器学习中，调参是一项繁琐但是至关重要的任务，参数的略微不同，可以在很大程度上影响算法的性能；然后算法的默认参数不可能都普遍适用于所有数据集，参数的选取需要看具体的应用场景然后通过大量的学习获得；在以往的研究中，最优参数的选取一直是个“黑箱”问题，这是因为参数的组合特别多，在对给定目标的优化算法的过程中，算法的输入和输出是我们能看到的，但是无法获取训练时输入输出的分布情况，也就是无法通过求梯度帮助优化的过程；在模型参数较少时，这个问题不是特别明显，但是当模型愈来愈额复杂，参数也就越来越多；比如LightGBM的参数就超过了40个；比如KNN算法中的k(egKNN中的参数k)、weights(权重)、p(欧拉距离、曼哈顿距离)的选择，SVM算法中核函数和C(惩罚系数)的选择等等；传统的手动调参是非常耗时的，而且效果不一定好，网格和随机搜索不需要人力，但是运行时间较长而且效果找的也并非是最好的；因此产生了很多自动调整超参数的方法。本发明引入了贝叶斯优化算法(Bayesian Optimization Algorithm，BOA)应用于LightGBM模型寻找最优的参数组合，这是一种非常有效的全局优化算法；
网格搜索算法(Grid Search Method，GSM)可以在指定参数范围内按步长调整参数来训练学习器，从所有的参数中找到验证集上精度最高的参数，这是一个训练和比较的过程；它将搜索区域划分成网格状，依次对交叉点进行验证，完全遍历每一个参数组合的点并进行模型训练和评分；缺点就是参数的组合越多划分的网格也就越多，那么计算量就会成指数的增加，寻优时间就会越长，如果网格划分的不够细的话还可能造成找不到最优参数组合，所以这一方法在参数较少时容易实现并且效果较好；
随机搜索算法(RandomizedSearch Method，RSM)与网格搜索类似，但不会遍历所有的参数组合，而是通过选择每个超参数的一个随机值进行随机组合，从而大大减少超参数搜索的计算量，缩短寻优时间；RSM在参数空间中以随机采样的方式代替了GSM的网格搜索，对于连续变化的参数，RSM将其当作一个分布进行采样，这是GSM做不到的；因此，GSM适用于三四个(或者更少)的超参数；但是GSM缺点也和明显，就是因为GSM引入了随机性，不再对所有的参数组合进行寻优，从而可能导致找到的最优参数组合可能只是局部最优，并且在随机搜索的过程中，没有利用先验的消息；
J.snoek在2012提出用贝叶斯优化(Bayesian Optimization Algorithm，BOA)用于机器学习调参；超参数的优化是一个黑盒问题，对于给定优化的目标只需要知道输入输出即可，无需知道内部的具体结构和数学性质；BOA已经广泛应用于机器学习问题中模型的超参数搜索问题，它利用模型找到函数的最小值，这种方法不仅性能好，而且比随机搜索省时省力；主要是网格搜索和随机搜索没有利用已搜索点的信息，利用这些信息指导搜索过程可以大大提高结果的质量以及搜索的速度，BOA通过不断的添加样本点来更新目标函数的后验分布(高斯过程)，直到后验部分基本贴合于真实分布，简单的说就是通过利用上一次已搜索点的参数信息来调整当前的参数信息，用于求解维度不高的黑盒优化问题；
贝叶斯优化算法以贝叶斯定理为基础，通过最大化采集函数得到下一个最有潜力的评估点xt，进而评估目标函数值yt，将新得到的(xt,yt)添加到已知评估点集合中，更新概率代理模型以此循环从而得到最优解；
贝叶斯优化算法的核心主要由两个关键部分构成：概率代理模型、采集函数，概率代理模型根据模型的参数个数是否固定分为参数模型和非参数模型两大类用于代理未知目标函数，由于非参数模型具有更的高灵活性、更快的计算效率、可处理大规模数据等优点，通常能取得较好的结果，其中又以高斯过程(Gaussian Process,GP)被广为熟知-一种理论上可以代理任意线性/非线性函数的非参数模型；高斯过程后验估计代价较低，所以可以被用来作为替代模型；作为一个序列优化模型，贝叶斯优化在每一步向前选择采样点的时候需要进行选择采样点，这一过程是由采集函数来实现的；采集函数需要进行“开发”和“探索”(exploitation and exploration)的权衡；开发意味着在替代模型预测函数值较高的地方进行采样，而勘探意味着在预测不确定性高的地方进行采样；两者都对应于较高的采集函数值，目标是最大化采集函数以确定下一个采样点
因此，本发明采用贝叶斯优化方法，对LightGBM模型中的参数：学习率、最大深度、子叶个数、子叶最小数、特征选择比例、样本选择比例和正则化参数，进行优化，从而得到初步网络响应时间预测模型；
在下表2给定的范围内，分别采用网格搜索、随机搜索和贝叶斯优化进行调参，以五折交叉验证的平均误差MSE作为目标函数，控制迭代次数为100次；
表2调优的参数示意表
参数 参数含义 类型 搜索范围 作用
learn_rate 学习率 float (0.001,0.3) 提高精度
max_depth 最大深度 int (3,10) 防止过拟合
num_leaves 子叶个数 int (3,1024) 提高精度
min_data_in_leaf 子叶最小数 int (0,80) 防止过拟合
feature_fraction 特征选择比例 float (0.2,0.9) 提高速度
bagging_fraction 样本选择比例 float (0.2,0.9) 提高速度
lambda_l1 正则化参数 float (0,10) 防止过拟合
贝叶斯优化就是在函数方程未知的情况下假设其分布，根据已知参数组合和函数值，寻找未知函数极值点的一种算法，其步骤如下所述：
Step 1.估计函数分布
对于给定的一个光互连网络数据集(xi,yi)，确定一个参数组合ap∈A，LightGBM模型可以得到一个输出值z(ap)(本发明使用LightGBM模型在验证集上的得分)；参数优化的目标就是在函数z(ap)未知的情况下，使用尽可能少的尝试次数找到使得函数值最大、也就是模型拟合效果最好的一组参数组合a*.BOA假设这个函数符合高斯过程(GP)，并且在每次取得新的参数组合点后，可以更新高斯过程的后验分布；这样就可以在原函数未知的情况下，利用已知的参数组合和后验分布函数值去估计原函数的分布；
Step 2.求解最优参数组合
得到高斯过程的后验分布后，关键问题如何根据已知的后验分布确定新的参数组合ap+1；在这个选择过程中，要同时考虑：
搜索尽可能大的范围，搜索尽可能浮的未知参数组合区域；
在已经观测到函数值较大的区域，尽可能多的搜索。也就是要做好exploration-exploitation trade-off。这一目标BOA通过采集函数来达到，本发明采用EI(ExpectedImprovement)优化标准来实现：
Figure BDA0002961965840000141
因此，采用如下步骤进行优化：
(1)初始化：确定函数z和已知点集合D1；D1中为随机选取的参数组合及其对应的函数值；
(2)使用序贯模型优化方法进行逐步迭代循环；
(3)根据所有己知点更新高斯过程的后验概率分布；
(4)找到使得采集函数最大的参数组合
ap+1＝argmax EI(a)
式中a∈Dp；EI(a)的定义为
Figure BDA0002961965840000151
式中z(a)为后验均值；z*为已经观测到所有函数值的最优值；μ(a)为高斯过程的均值函数；φ(Z)为标准正态分布的累计分布函数；
Figure BDA0002961965840000152
为标准正态分布的概率密度函数；σ(a)为高斯过程的协方差函数。
(5)通过LightGBM模型训练，求出在验证集上的得分，计算出新的函数值bp+1＝z(ap+1)；
(6)将新的参数组合点更新进已知点集合，Dp+1＝{Dp,ap+1,bp+1}；
(7)循环结束，选取使得采集函数EI(a)最大的参数组合，从而得到LightGBM模型的最优参数组合；
以下，从MSE、R2、寻优时间三个层面分析了三种算法在优化LightGBM模型参数的优缺点如下表所示。参数性能比较如表3所示：
表3三种寻优方法性能比较示意表
寻优方法 MSE R<sup>2</sup> 寻优时间(s)
贝叶斯优化 0.009 0.933 9625
网格搜索 0.032 0.884 6892
随机搜索 0.025 0.902 4723
由表可知，使用网格搜索的寻优时间速度最慢，并且效果最差，但在搜索方面要更全面，而随机搜索由于不使用上一次搜索的结果，可能会导致错过搜索空间中的主要参数组合，从而导致效果只是比网格搜索好一点，但时间上少了很多；在测试一组新的LighGBM超参数时；网格搜索和随机搜索不会对先验分布加以利用；而是选择忽略前一组LightGBM超参数的信息；而贝叶斯优化算法可以根据先验知识，设立一个搜索函数,每当给出一组新的LightGBM超参数时，用于更新目标函数的先验分布，算法测试由后验分布给出的最小估计目标点；因此贝叶斯优化相比于随机搜索算法和网格搜索算法能够利用先验知识高效地调节LightGBM超参数，找到使结果向全局最大值提升的参数；由以上数据表明，使用贝叶斯优化对LightGBM的参数进行寻优是一种较好的选择，这个方法在此模型上具有较高的预测精度和泛化能力；
S6.采用步骤S3得到的特征子集，对步骤S5得到的初步网络响应时间预测模型进行训练，从而得到网络响应时间预测模型；网络响应时间预测模型分为三个模块：
数据预处理模块，把数据分割成训练集和测试集以备后面的模型训练和测试；
特征提取模块，使用随机森林原理把对结果影响较大的特征进行提取，同时建立初始的LightGBM模型；
参数调优模块，使用BOA算法对给出的LightGBM模型的七个参数进行调优，找到最优的参数组合；
S7.采用步骤S6得到的网络响应时间预测模型，对二维消息传递多处理器体系中的网络响应时间进行预测；
S8.采用测试数据对网络响应时间预测模型进行测试，从而得到网络响应时间预测模型的性能评价指标结果；具体为采用交叉验证和计算决定系数(R Squared)、平均绝对误差(MAE)、相对绝对误差(RAE)、相对平方根误差(RRSE)和均方误差(RMSE)对网络响应时间预测模型的性能进行评价；
具体实施时，指标计算公式如下：
Figure BDA0002961965840000171
Figure BDA0002961965840000172
Figure BDA0002961965840000173
Figure BDA0002961965840000174
Figure BDA0002961965840000175
式中yi为真实值；
Figure BDA0002961965840000176
为预测值；
Figure BDA0002961965840000177
为真实值的平均值；n为测试集的数量。
根据模型的最优参数集合构建2D SOME-Bus网络响应时间预测模型，本发明选取UCI数据库的互连网络数据集，经过特征选取之后构建子数据集；分别使用LightGBM和本发明模型(RF-BOA-LightGBM模型)进行网络响应时间预测对比，图5和图6是两种算法预测的散点图，显示了真实值和预测值的散射情况，表明了预测值和真实值呈正线性关系，证明了两种模型的预测方法都具有良好的拟合性能，但从图中散点的分布情况可以看出，本发明模型比LightGBM拟合的更好一些。
图7为两张算法的折线图，从图中可以看出LightGBM和本发明模型都能较好的拟合网络响应时间的波动趋势，预测值和实际值很接近，预测效果好，但如图中所示，本发明模型更贴合真实值的变化趋势。
如表4所示，通过R2、RMSE、MAE、RAE、RRSE评价指标对LightGBM模型和本发明模型的预测数值进行评价。
表4平均网络响应时间的预测结果示意表
Models R<sup>2</sup> RMSE MAE RAE RRSE
LightGBM 0.975 252.001 172.662 0.436 0.224
本发明方法 0.980 222.600 164.161 0.425 0.198
可以看出在实验中本发明模型的预测效果都要优于LightGBM模型，本发明的R2相对LightGBM提升了0.005，RRSE降低了0.026。从预测结果来看，本发明模型能更好的分析历史数据之间的关系，能有效提升网络响应时间预测的精度。

Claims (10)

1.一种二维消息传递多处理器体系中的网络响应时间预测方法，包括如下步骤：
S1.获取基础数据；
S2.对步骤S1获取的基础数据进行处理，从而得到训练数据；
S3.提取步骤S2得到的训练数据的特征，得到特征子集；
S4.构建原始网络响应时间预测模型；
S5.以步骤S3得到的特征子集为约束，对步骤S4构建的原始网络响应时间预测模型的参数进行优化，得到初步网络响应时间预测模型；
S6.采用步骤S3得到的特征子集，对步骤S5得到的初步网络响应时间预测模型进行训练，从而得到网络响应时间预测模型；
S7.采用步骤S6得到的网络响应时间预测模型，对二维消息传递多处理器体系中的网络响应时间进行预测。
2.根据权利要求1所述的二维消息传递多处理器体系中的网络响应时间预测方法，其特征在于还包括如下步骤：
S8.采用测试数据对网络响应时间预测模型进行测试，从而得到网络响应时间预测模型的性能评价指标结果。
3.根据权利要求2所述的二维消息传递多处理器体系中的网络响应时间预测方法，其特征在于步骤S8所述的采用测试数据对网络响应时间预测模型进行测试，从而得到网络响应时间预测模型的性能评价指标结果，具体为采用交叉验证和计算决定系数R Squared、平均绝对误差MAE、相对绝对误差RAE、相对平方根误差RRSE和均方误差MSE对网络响应时间预测模型的性能进行评价。
4.根据权利要求1所述的二维消息传递多处理器体系中的网络响应时间预测方法，其特征在于步骤S1所述的基础数据，具体为数据集采用UCI机器学习库中的关于光互连的数据集。
5.根据权利要求1～4之一所述的二维消息传递多处理器体系中的网络响应时间预测方法，其特征在于步骤S2所述的对步骤S1获取的基础数据进行处理，从而得到训练数据，具体为采用如下步骤进行处理：
A.数据清洗：对数据集中的错误数据进行修正；
B.数据转换：将传输空间分布和传输模式空间分布转换为标签编码；
C.数据归一化：采用最小最大归一化方法，将数据进行标准化处理。
6.根据权利要求5所述的二维消息传递多处理器体系中的网络响应时间预测方法，其特征在于步骤S3所述的提取步骤S2得到的训练数据的特征，得到特征子集，具体为采用如下步骤得到特征子集：
采用回归随机森林进行特征提取；
对数据集中单个特征变量对网络相应时间的重要性进行计算；
采用每一步删除一个特征后再采用袋外数据对准确率的变化进行比较的方式，对重要性进行评估，并选取最终的特征：若某个特征被删除后，采用袋外数据所评估的准确率下降的数值大于或等于设定的阈值，则选定该特征；若某个特征被删除后，采用袋外数据所评估的准确率下降的数值小于设定的阈值，则删除该特征；
最终得到训练数据所评估后的特征，从而得到最终的特征子集。
7.根据权利要求6所述的二维消息传递多处理器体系中的网络响应时间预测方法，其特征在于所述的对数据集中单个特征变量对网络相应时间的重要性进行计算，具体为采用如下步骤计算重要性：
a.计算第i棵树对应的OOBi的袋外误差，记为ERRORi；OOB为袋外数据；
b.对OOBi中的特征Tj随机添加设定的噪声，并随机打乱当前特征的值，得到
Figure FDA0002961965830000031
并再次计算加入噪声后的
Figure FDA0002961965830000032
所对应的误差，并记为
Figure FDA0002961965830000033
c.重复步骤a和步骤b共K次，从而得到{ERRORi|i＝1,2,...,K}和
Figure FDA0002961965830000034
d.计算所有决策树的特征Tj的平均误差值：
Figure FDA0002961965830000035
式中Importance(Tj)为特征Tj的重要性分值。
8.根据权利要求7所述的二维消息传递多处理器体系中的网络响应时间预测方法，其特征在于步骤S4所述的构建原始网络响应时间预测模型，具体为采用原始的LightGBM模型作为原始网络响应时间预测模型。
9.根据权利要求8所述的二维消息传递多处理器体系中的网络响应时间预测方法，其特征在于步骤S5所述的对步骤S4构建的原始网络响应时间预测模型的参数进行优化，具体为采用贝叶斯优化方法，对LightGBM模型中的参数：学习率、最大深度、子叶个数、子叶最小数、特征选择比例、样本选择比例和正则化参数，进行优化，从而得到初步网络响应时间预测模型。
10.根据权利要求9所述的二维消息传递多处理器体系中的网络响应时间预测方法，其特征在于采用贝叶斯优化方法，对LightGBM模型中的参数进行优化，具体为采用如下步骤进行优化：
(1)初始化：确定函数z和已知点集合D1；D1中为随机选取的参数组合及其对应的函数值；
(2)使用序贯模型优化方法进行逐步迭代循环；
(3)根据所有己知点更新高斯过程的后验概率分布；
(4)找到使得采集函数最大的参数组合
ap+1＝argmaxEI(a)
式中a∈Dp；EI(a)的定义为
Figure FDA0002961965830000041
式中z(a)为后验均值；z*为已经观测到所有函数值的最优值；μ(a)为高斯过程的均值函数；φ(Z)为标准正态分布的累计分布函数；
Figure FDA0002961965830000042
为标准正态分布的概率密度函数；σ(a)为高斯过程的协方差函数；
(5)通过LightGBM模型训练，求出在验证集上的得分，计算出新的函数值bp+1＝z(ap+1)；
(6)将新的参数组合点更新进已知点集合，Dp+1＝{Dp,ap+1,bp+1}；
(7)循环结束，选取使得采集函数EI(a)最大的参数组合，从而得到LightGBM模型的最优参数组合。
CN202110240578.4A 2021-03-04 2021-03-04 二维消息传递多处理器体系中的网络响应时间预测方法 Pending CN112906807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110240578.4A CN112906807A (zh) 2021-03-04 2021-03-04 二维消息传递多处理器体系中的网络响应时间预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110240578.4A CN112906807A (zh) 2021-03-04 2021-03-04 二维消息传递多处理器体系中的网络响应时间预测方法

Publications (1)

Publication Number Publication Date
CN112906807A true CN112906807A (zh) 2021-06-04

Family

ID=76108243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110240578.4A Pending CN112906807A (zh) 2021-03-04 2021-03-04 二维消息传递多处理器体系中的网络响应时间预测方法

Country Status (1)

Country Link
CN (1) CN112906807A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986470A (zh) * 2018-08-20 2018-12-11 华南理工大学 粒子群算法优化lstm神经网络的行程时间预测方法
CN111507518A (zh) * 2020-04-14 2020-08-07 中铁隧道局集团有限公司 一种基于随机森林的小波神径网络混凝土抗渗预测的方法
CN112070356A (zh) * 2020-08-07 2020-12-11 湖北交投十巫高速公路有限公司 一种基于rf-lssvm模型预测混凝土抗碳化性能的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986470A (zh) * 2018-08-20 2018-12-11 华南理工大学 粒子群算法优化lstm神经网络的行程时间预测方法
CN111507518A (zh) * 2020-04-14 2020-08-07 中铁隧道局集团有限公司 一种基于随机森林的小波神径网络混凝土抗渗预测的方法
CN112070356A (zh) * 2020-08-07 2020-12-11 湖北交投十巫高速公路有限公司 一种基于rf-lssvm模型预测混凝土抗碳化性能的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李晨: "基于LightGBM-BOA的信用评分模型及其实证研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2, pages 17 - 20 *

Similar Documents

Publication Publication Date Title
CN110390396B (zh) 用于估计观测变量之间的因果关系的方法、装置和***
CN110782658B (zh) 一种基于LightGBM算法的交通量预测方法
RU2693324C2 (ru) Способ и сервер преобразования значения категориального фактора в его числовое представление
US20230063148A1 (en) Transfer model training method and apparatus, and fault detection method and apparatus
CN107908536B (zh) Cpu-gpu异构环境中对gpu应用的性能评估方法及***
Wu et al. Semantic transfer between different tasks in the semantic communication system
CN113569345A (zh) 一种基于多源信息融合的数控***可靠性建模方法与装置
CN110705279A (zh) 一种词汇表的选择方法、装置及计算机可读存储介质
Wang et al. Time series prediction model of grey wolf optimized echo state network
CN116737360A (zh) 面向混合负载的多基准驱动调参服务器能效调优方法及装置
CN112906807A (zh) 二维消息传递多处理器体系中的网络响应时间预测方法
Liu et al. Communication-Aware MCMC method for big data applications on FPGAs
Wu et al. A training-free neural architecture search algorithm based on search economics
CN114722490A (zh) 一种基于混合增点与区间缩减的代理模型全局优化方法
Luo et al. Dynamic multi-scale loss optimization for object detection
Zafar et al. An Optimization Approach for Convolutional Neural Network Using Non-Dominated Sorted Genetic Algorithm-II.
Ji et al. Multivariate time series prediction of high dimensional data based on deep reinforcement learning
CN116188834B (zh) 基于自适应训练模型的全切片图像分类方法及装置
Guo et al. Interpretable task-inspired adaptive filter pruning for neural networks under multiple constraints
CN115631799B (zh) 样本表型的预测方法、装置、电子设备及存储介质
Mu et al. Boosting the Convergence of Reinforcement Learning-based Auto-pruning Using Historical Data
Xun et al. A hybrid search method for accelerating convolutional neural architecture search
Luo et al. An interpretable prediction model for pavement performance prediction based on XGBoost and SHAP
CN117236187B (zh) 一种深度学习加速器芯片的参数化设计方法及***
CN113344294B (zh) 一种电力能源预测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination