CN103023800A - 采用流表映射调度策略对多核网络处理器下的流量进行调度的方法 - Google Patents

Abstract

本发明公开了一种采用流表映射调度策略对多核网络处理器下的流量进行调度的方法，该方法通过头包列表存储结构与流表存储结构对突发流量进行分配制缓存，并建立流表与处理节点的映射关系。利用加权移动平均的方法统计处理节点任务队列长度信息，实现映射关系的动态调整。通过映射关系调度流量中的包到相应的节点处理节点。本发明能够有效的实现流量的调度，到达最优的缓存利用率，实现流保序；同时，利用处理队列平均长度保障了较好的负载均衡。

Description

采用流表映射调度策略对多核网络处理器下的流量进行调度的方法

技术领域

本发明涉及一种多核网络处理器下的流量调度方法，更特别地说，是指一种采用流表映射对多核网络处理器下的流量进行调度的方法。

背景技术

随着网络的迅速发展，网络设备的转发能力与日剧增，对网络设备处理能力的要求越来越高，网络设备的硬件芯片的处理能力越来越成为设备性能的瓶颈。而且当前网络中需要处理的数据越来越多，单一处理器的处理能力不能满足数据处理的速度时，需要转到多核平台处理。多核网络设备上存在大量的数据并行的应用，因此数据的调度分发策略是应用中影响性能的决定性部分。

目前的包调度策略一般有两种：基于数据包的调度策略和基于流的调度策略。基于数据包的调度策略中，以数据包为单位，分配到相应的资源。大多数复杂的算法将包非配到最少负载的资源。通过调度策略，可以很好的实现负载均衡。但是基于数据包的调度可能引起包的重新排序可能影响网络性能。而且在共享存储***中，冷缓存也会降低性能。基于流的调度策略中保持一个活动流的表，每个流对应一个处理资源。同一个流的数据包被相同资源处理。新加入的流分配给最少负载的资源。因此同一流的数据包分配同一资源，并保持每个流的中包的顺序，有良好的缓存（Cache）亲和性。缺点是：需要大量空间存储活动流的表。需要大量时钟周期执行查询。而且不同流的数据包的数目、字节、处理资源不均衡。因此简单的流调度策略很难分配新的流资源达到负载均衡。

对于一种理想调度方法，应该具备相关条件：保证***的负载均衡，包均匀分配到所有处理节点；尽量低的调度开销；流保序，同一流的数据包出入序列相同；Cache亲和性；以及尽量小的分发延迟。但任何一种包调度方法很难满足负载均衡，同时保证良好的Cache亲和性。而对于突发性的流量，更需要考虑到负载的均衡性与Cache的亲和性。为达到更高的***吞吐量，必须在负载均衡与Cache亲和之间找到一个合理的折中，充分利用硬件的处理性能。

发明内容

本发明的目的是提出一种采用流表映射的调度策略对多核网络处理器下的流量调度的方法，在本方法中，实现了两级存储结构，即头包列表存储结构、流表存储结构，通过流表动态流映射来克服现有调度方法容易出现负载不均衡的问题，特别是在应对突发流量的情况下，本方法能够实现较好的调度，减小了流量抖动的影响，降低多核网络处理器的开销，提高多核网络处理器吞吐量。

本发明的一种采用流表映射调度策略对多核网络处理器下的流量进行调度的方法，具体数据包调度步骤如下：

步骤S1：调度计算模块接收输入的接收数据包信息PAK＝{pak₁,pak₂,…,pak_A}，并将该PAK发送至存储模块；计算各个处理节点FE＝{fe₁,fe₂，…,fe_C}所以对应任务队列QE＝{q₁,q₂,…,q_F}的长度LEN＝{len₁,len₂,…,len_E}；

步骤S2：存储模块中先构建存储结构，包括流表存储结构和头包列表存储结构；然后提取出接收到的数据包PAK＝{pak₁,pak₂,…,pak_A}中的头部信息，然后判断该数据包所属的包→流信息FLW＝{flw₁,flw₂,…,flw_B}是否存在于流表存储结构中，根据判断结果将数据包信息PAK存放到流表存储结构或头包列表存储结构中；

步骤S3：调度计算模块向处理节点分派头包列表中的数据包信息，选择步骤S1中计算处理节点的任务队列长度LEN最小的处理节点记为待处理节点，并以待处理节点作为分派目标，并在流表存储结构中添加该数据包信息对应的包→流条目与待处理节点的映射关系；

步骤S4：每个处理节点处理完一个数据包后，处理信息反馈模块接收结束信号，并将该结束信号反馈至存储模块；存储模块依据包删除条件删除最早的一个数据包；如果该包→流条目下没有未处理的数据包信息，则在流表存储结构中删除该包→流条目；如果该包→流条目下存在有未处理的数据包信息，不做存储处理。

本发明流量调度方法的优点在于：

①利用存储模块中流表流映射关系能有效降低调度开销。

②本发明应用的存储模块采用两种存储结构形式，实现了对数据包的不同保存方式，能够使存储模块到达最优的缓存利用率，同时保证了流内数据包的先后顺序。

③调度计算模块通过平滑指数方法计算出任务队列长度，利用该任务队列长度选择待处理节点能够有效减小突发流量产生的流量抖动现象。

④在存储模块中利用头包列表与流表二级存储结构及处理节点的反馈信息，能够快速实现流表刷新及重映射，同时降低了流表存储结构的大小。

附图说明

图1是本发明的包调度方法的一个实现模型图。

图2是本发明的包调度方法的流程图。

图3是图2中步骤S2的流程图。

图4是图2中步骤S3的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施过程作进一步详细描述。本发明提供的流量调度方法，能够在多核网络处理器下实现流量的调度，特别能够满足突发流量的调度要求。如图1所示流表映射调度方法的实现模型图，该流表映射调度模型采用C语言（版本号C90）编程得到，该流表映射调度模型内嵌在多核网络处理器的并行包处理***中，该流表映射调度模型包括有存储模块、调度计算模块和处理信息反馈模块。

（一）存储模块

所述的存储模块，一方面用于暂存输入的等待需要调度的数据包信息PAK、以及与PAK对应的包→流信息FLW、以及与PAK对应的包→流条目FE；另一方面根据结束信号SV更新包→流条目FE。包→流信息是指数据包信息所属的流的信息。包→流条目是指与包→流信息对应的流条目。包→流条目中包含有包→流信息及属于该包→流信息的数据包信息。

数据包信息PAK采用集合形式表达为PAK＝{pak₁,pak₂,…,pak_A}，pak₁表示存储模块接收到的第一个数据包信息，pak₂表示存储模块接收到的第二个数据包信息，pak_A表示存储模块接收到的最后一个数据包信息，为了方便下文的说明，pak_A也称为存储模块接收到的任意一数据包信息，A表示数据包的标识号。

包→流信息FLW采用集合形式表达为FLW＝{flw₁,flw₂,…,flw_B}，flw₁表示第一条流信息，flw₂表示第二条流信息，flw_B表示最后一条流信息，为了方便下文的说明，flw_B也称为任意一条流信息，B表示流信息的标识号。在本发明中，可能多个的数据包信息对应一条流信息，也可能一个数据包信息对应一条流信息。

包→流条目FE采用集合形式表达为FE＝{fe₁,fe₂，…,fe_C}，fe₁表示第一个流条目，fe₂表示第二个流条目，fe_C表示最后一个流条目，为了方便下文的说明，fe_C也称为任意一个流条目，C表示流条目的标识号。在本发明中，包→流条目与包→流信息为一一对应关系，即一个包→流条目对应一个包→流信息。

在本发明中，该存储模块具有两种存储结构模式，一种模式为头包列表存储结构、另一种模为流表存储结构。

其中：头包列表存储结构用于存放数据包信息PAK。

其中：流表存储结构用于存放包→流信息FLW和包→流条目FE。

在本发明中，该存储模块依据存储条件对等待需要调度的数据包信息PAK进行分配存储。

存储条件：（A）首先检测该数据包信息pak_A所属的流信息flw_B；

（B）然后判断flw_B是否存在于包→流信息FLW＝{flw₁,flw₂,…,flw_B}中，若存在，则检测该流信息flw_B是否有其他数据包信息的存在，并执行步骤（C）；若不存在，则创建与数据包信息pak_A对应的包→流条目fe_C；然后将该数据包信息pak_A存入到头包列表存储结构及流表存储结构中；

（C）如果没有其他数据包信息存在，则将该数据包信息pak_A存入到头包列表存储结构及流表存储结构中；如果有其他数据包信息存在，则将该数据包信息存入流表存储结构中，并添加到与数据包信息pak_A对应的包→流条目fe_C中。

在本发明中，在同一存储时刻T_t（t表示某一存储时刻）下头包列表存储结构中只有一个数据包信息映射到同一个流条目中。这也是为了保证流信息与流条目的一一对应关系。

在本发明中，在存储模块中利用头包列表与流表二级存储结构及处理节点的反馈信息，能够快速实现流表刷新及重映射，同时降低了流表存储结构的大小。应用的存储模块采用两种存储结构形式，实现了对数据包的不同保存方式，能够使存储模块到达最优的缓存利用率，同时保证了流内数据包的先后顺序。

（二）调度计算模块

所述的调度计算模块，第一方面用于接收数据包信息PAK＝{pak₁,pak₂,…,pak_A}，并将该PAK＝{pak₁,pak₂,…,pak_A}发送至存储模块；

所述的调度计算模块，第二方面在同一调度时刻TD_x（x表示某一调度时刻）下，计算各个处理节点PE＝{p₁,p₂,…,p_D}所以对应任务队列QE＝{q₁,q₂,…,q_F}的长度LEN＝{len₁,len₂，…,len_E}；LEN＝{len₁,len₂,…,len_E}简称为任务队列长度。

在本发明中，处理节点是指多核网络处理器中的各个处理引擎，每个处理引擎称为一个处理节点。多核网络处理器中的处理节点采用集合形式表达为PE＝{p₁,p₂,…,p_D}，p₁表示第一个处理节点，p₂表示第二个处理节点，p_D表示最后一个处理节点，为了方便下文的说明，p_D也称为任意一个处理节点，D表示处理节点的标识号。

在本发明中，每个处理节点对应一个任务队列。即p₁对应的任务队列记为q₁，p₂对应的任务队列记为q₂，p_D对应的任务队列记为q_F。所有的任务队列采用集合形式表达为QE＝{q₁,q₂,…,q_F}。

在本发明中，每个任务队列对应一个任务队列长度。即q₁对应的任务队列长度记为len₁，q₂对应的任务队列长度记为len₂，q_F对应的任务队列长度记为len_E。所有的任务队列长度采用集合形式表达为LEN＝{len₁，len₂，…,len_E}。len₁由设定长度值与在调度时刻TD_d下的当前任务队列长度值加权计算得到，即len₁＝Current_len₁×(1-ω)+Real_len₁×ω，Current_len₁表示任务队列q₁的设定长度值，Real_len₁表示任务队列q₁的当前任务队列长度，ω表示任务队列长度系数，并且0＜ω≤1。当流条目大于处理节点个数时，ω取值0.25；如果流条目小于或等于处理节点个数时，ω取值0.75。同理可得，即len₂＝Current_len₂×(1-ω)+Real_len₂×ω，Current_len₂表示任务队列q₂的设定长度值，Real_len₂表示任务队列q₂的当前任务队列长度。即len_E＝Current_len_E×(1-ω)+Real_len_E×ω，Current_len_E表示任务队列q_F的设定长度值，Real_len_E表示任务队列q_F的当前任务队列长度。

所述的调度计算模块，第三方面从任务队列长度LEN＝{len₁,len₂，…,len_E}中选择出最小的任务队列长度所属的处理节点，记为待处理节点，并建立待处理节点与包→流条目FE＝{fe₁,fe₂,…,fe_C}之间的流映射关系，简称为节点→流映射PEFE；

所述的调度计算模块，第四方面将节点→流映射PEFE发送到流表存储结构中。

在本发明中，调度计算模块通过平滑指数方法计算出任务队列长度，利用该任务队列长度选择待处理节点能够有效减小突发流量产生的流量抖动现象。

（三）处理信息反馈模块

所述的处理信息反馈模块，第一方面用于接收处理节点PE＝{p₁,p₂，…,p_D}被所述的调度计算模块进行处理后的结束信号SV＝{s₁,s₂，…,s_G}；

所述的处理信息反馈模块，第二方面将结束信号SV＝{s₁,s₂，…,s_G}发送到存储模块中，存储模块会依据SV＝{s₁,s₂,…,s_G}进行包→流条目FE＝{fe₁,fe₂,…,fe_C}的更新。

在本发明中，处理节点PE＝{p₁,p₂,…,p_D}被所述的调度计算模块所调度后，每个处理节点将有一个对应的结束信号，即p₁对应的结束信号记为s₁，p₂对应的结束信号记为s₂，p_D对应的结束信号记为s_G。所有的结束信号采用集合形式表达为SV＝{s₁，s₂,…,s_G}。

在本发明中，处理信息反馈模块用于辅助存储模块，利用存储模块中流表流映射关系能有效降低调度开销。

以下给出本发明的一个实施例，说明本发明数据包调度的过程（如图2、图3和图4所示），具体数据包调度步骤如下：

步骤S1：调度计算模块接收输入的接收数据包信息PAK＝{pak₁,pak₂,…,pak_A}，并将该PAK发送至存储模块；计算各个处理节点FE＝{fe₁,fe₂，…,fe_C}所以对应任务队列QE＝{q₁,q₂,…,q_F}的长度LEN＝{len₁,len₂,…,len_E}；

步骤S2：存储模块中先构建存储结构，包括流表存储结构和头包列表存储结构；然后提取出接收到的数据包PAK＝{pak₁,pak₂,…,pak_A}中的头部信息，然后判断该数据包所属的包→流信息FLW＝{flw₁,flw₂,…,flw_B}是否存在于流表存储结构中，根据存储条件判断结果将数据包信息PAK存放到流表存储结构或头包列表存储结构中。图3中展示步骤S2中的关于存储模块具体的存储条件步骤如下：

S21：存储模块创建流表存储结构、包头列表存储结构；

S22：存储模块接收调度计算模块传递来的数据包信息PAK，然后提取PAK中的头部四元组信息；所述四元组包括源IP地址、源端口、目的IP地址、目的端口；然后将该四元组信息作为该数据包信息PAK对应的包→流信息FLW的流标识；

S23：判断流表存储结构中是否存在步骤S22中生成的流标识的包→流信息FLW及包→流条目FE，如果流表存储结构中已经存在该标识的包→流信息FLW及包→流条目FE，则转入执行步骤S24，如果流表存储结构中不存在该标识的包→流信息FLW及包→流条目，转入执行步骤S25；

S24：在流表存储结构中将数据包信息PAK添加到对应标识的包→流条目FE下，存储数据包信息完成；

S25：在流表存储结构中建立该流标识的包→流条目，并保存该包→流信息；

S26：在流表存储结构中添加数据包信息到对应包→流条目下，同时在头包列表存储结构中添加该数据包信息，存储数据包信息结束。

步骤S3：调度计算模块向处理节点分派头包列表中的数据包信息，选择步骤S1中计算处理节点的任务队列长度LEN最小的处理节点（待处理节点）作为分派目标，并在流表存储结构中添加该数据包信息对应的包→流条目与待处理节点的映射关系；图4中展示步骤S3中的调度计算模块具体的调度步骤如下：

S31：检测头包列表存储结构是否为空，如果头包列表存储结构为空，则转入步骤S34；如果头包列表存储结构不为空，转入步骤S32；

S32：根据步骤S1中计算的各处理节点的任务队列长度LEN，选择出待处理节点，并将待处理节点作为头包列表存储结构中数据包的分派目标；

S33：在流表存储结构中添加分派目标的数据包对应的包→流条目与待处理节点的映射关系，将分派目标的数据包分派到对应的待处理节点中，在头包列表存储结构中删除分派目标的数据包信息；并且在流表存储结构中只有该分派目标的数据包的流条目信息存在；

S34：根据流表存储结构中每个包→流条目跟待处理节点的映射关系，将流表存储结构中每个包→流条目中的数据包分派到对应的待处理节点中；并且只要该包→流条目信息存在，则该包→流条目下的数据包将始终由映射的待处理节点处理。

步骤S4：每个处理节点处理完一个数据包后，处理信息反馈模块接收结束信号，并将该结束信号反馈至存储模块；存储模块依据包删除条件删除最早的一个数据包；如果该包→流条目下没有未处理的数据包信息，则在流表存储结构中删除该包→流条目；如果该包→流条目下存在有未处理的数据包信息，不做存储处理。

所述包删除条件是指存储模块根据结束信号表示的包→流信息的流标识，并提取出在流表存储结构中对应流标识的包→流条目，然后依据包→流条目删除最早的一个数据包信息。

Claims (7)

1.一种采用流表映射调度策略对多核网络处理器下的流量进行调度的方法，其特征在于具体数据包调度步骤如下：

步骤S1：调度计算模块接收输入的接收数据包信息PAK＝{pak₁,pak₂,…,pak_A}，并将该PAK发送至存储模块；计算各个处理节点FE＝{fe₁,fe₂，…,fe_C}所以对应任务队列QE＝{q₁,q₂,…,q_F}的长度LEN＝{len₁,len₂,…,len_E}；

步骤S2：存储模块中先构建存储结构，包括流表存储结构和头包列表存储结构；然后提取出接收到的数据包PAK＝{pak₁,pak₂,…,pak_A}中的头部信息，然后判断该数据包所属的包→流信息FLW＝{flw₁,flw₂,…,flw_B}是否存在于流表存储结构中，根据判断结果将数据包信息PAK存放到流表存储结构或头包列表存储结构中；

步骤S3：调度计算模块向处理节点分派头包列表中的数据包信息，选择步骤S1中计算处理节点的任务队列长度LEN最小的处理节点记为待处理节点，并以待处理节点作为分派目标，并在流表存储结构中添加该数据包信息对应的包→流条目与待处理节点的映射关系；

步骤S4：每个处理节点处理完一个数据包后，处理信息反馈模块接收结束信号，并将该结束信号反馈至存储模块；存储模块依据包删除条件删除最早的一个数据包；如果该包→流条目下没有未处理的数据包信息，则在流表存储结构中删除该包→流条目；如果该包→流条目下存在有未处理的数据包信息，不做存储处理。

2.根据权利要求1所述的采用流表映射调度策略对多核网络处理器下的流量进行调度的方法，其特征在于存储模块具体的存储条件步骤如下：

S21：存储模块创建流表存储结构、包头列表存储结构；

S22：存储模块接收调度计算模块传递来的数据包信息PAK，然后提取PAK中的头部四元组信息；所述四元组包括源IP地址、源端口、目的IP地址、目的端口；然后将该四元组信息作为该数据包信息PAK对应的包→流信息FLW的流标识；

S23：判断流表存储结构中是否存在步骤S22中生成的流标识的包→流信息FLW及包→流条目FE，如果流表存储结构中已经存在该标识的包→流信息FLW及包→流条目FE，则转入执行步骤S24，如果流表存储结构中不存在该标识的包→流信息FLW及包→流条目，转入执行步骤S25；

S24：在流表存储结构中将数据包信息PAK添加到对应标识的包→流条目FE下，存储数据包信息完成；

S25：在流表存储结构中建立该流标识的包→流条目，并保存该包→流信息；

S26：在流表存储结构中添加数据包信息到对应包→流条目下，同时在头包列表存储结构中添加该数据包信息，存储数据包信息结束。

3.根据权利要求1所述的采用流表映射调度策略对多核网络处理器下的流量进行调度的方法，其特征在于调度计算模块具体的调度步骤如下：

S31：检测头包列表存储结构是否为空，如果头包列表存储结构为空，则转入步骤S34；如果头包列表存储结构不为空，转入步骤S32；

S32：根据步骤S1中计算的各处理节点的任务队列长度LEN，选择出待处理节点，并将待处理节点作为头包列表存储结构中数据包的分派目标；

S33：在流表存储结构中添加分派目标的数据包对应的包→流条目与待处理节点的映射关系，将分派目标的数据包分派到对应的待处理节点中，在头包列表存储结构中删除分派目标的数据包信息；并且在流表存储结构中只有该分派目标的数据包的流条目信息存在；

S34：根据流表存储结构中每个包→流条目跟待处理节点的映射关系，将流表存储结构中每个包→流条目中的数据包分派到对应的待处理节点中；并且只要该包→流条目信息存在，则该包→流条目下的数据包将始终由映射的待处理节点处理。

4.根据权利要求1所述的采用流表映射调度策略对多核网络处理器下的流量进行调度的方法，其特征在于：所述调度方法能够在多核网络处理器下实现流量的调度。

5.根据权利要求1所述的采用流表映射调度策略对多核网络处理器下的流量进行调度的方法，其特征在于：所述调度方法能够满足突发流量的调度要求。

6.根据权利要求1所述的采用流表映射调度策略对多核网络处理器下的流量进行调度的方法，其特征在于：存储条件：（A）首先检测该数据包信息pak_A所属的流信息flw_B；

（B）然后判断flw_B是否存在于包→流信息FLW＝{flw₁,flw₂,…,flw_B}中，若存在，则检测该流信息flw_B是否有其他数据包信息的存在，并执行步骤（C）；若不存在，则创建与数据包信息pak_A对应的包→流条目fe_C；然后将该数据包信息pak_A存入到头包列表存储结构及流表存储结构中；

（C）如果没有其他数据包信息存在，则将该数据包信息pak_A存入到头包列表存储结构及流表存储结构中；如果有其他数据包信息存在，则将该数据包信息存入流表存储结构中，并添加到与数据包信息pak_A对应的包→流条目fe_C中。

7.根据权利要求1所述的采用流表映射调度策略对多核网络处理器下的流量进行调度的方法，其特征在于：在同一存储时刻T_t下头包列表存储结构中只有一个数据包信息映射到同一个流条目中。

Images