CN106095579A - 容器资源分配方法及装置 - Google Patents

Abstract

本发明提供一种容器资源分配方法及装置，属于通信技术领域。本发明的容器资源分配方法，包括：S1、根据网络中N个容器的容器与容器之间的可用带宽，以容器为节点，以两个容器之间的可用带宽为边权值，构造无向有权完全图；S2、根据所述完全图，计算出每一簇节点中，任意两节点之间的带宽最小的一条，将所有簇中任意两节点之间带宽最小的一条进行比较计算得到带宽最大的一簇节点，其中，每一簇节点中包括K个节点，K≤N；S3、在计算得到的一簇节点上部署大数据，进行通信。

Description

容器资源分配方法及装置

技术领域

本发明属于通信技术领域，具体涉及一种容器资源分配方法及装置。

背景技术

随着轻量级Linux容器的普及，容器正在取代虚拟机成为应用运行的承载环境。同时，由于承载物理主机的网络连接情况不同，各个容器之间的网络连接情况差距较大，同时，由于受到底层物理机网络情况使用率变化的影响，各个容器之间的网络连接情况也是动态变化的，但是这种变化在一定时间范围内波动不大。然而，MPI/随着轻量级Linux容器的普及，容器正在取代虚拟机成为应用运行的承载环境。同时，由于承载物理主机的网络连接情况不同，各个容器之间的网络连接情况差距较大，同时，由于受到底层物理机网络情况使用率变化的影响，各个容器之间的网络连接情况也是动态变化的，但是这种变化在一定时间范围内波动不大。然而，MPI/Hadoop类型的大数据应用，需要各个节点之间有较好的网络连通性，因此，如何识别出网络连接较好的一组容器，成为保障大数据应用性能的重要课题。

而当前在容器部署大数据应用时，主要依靠静态的物理资源之间的网络连通性选取目标节点部署容器，进而在容器上部署大数据***与应用的方法，该方法选取的优化参数是静态的，即物理节点的带宽。

然而，一方面，底层物理资源的网路占用情况是动态的，即静态的10Mb/s带宽并不代表当前该物理资源的可用带宽是10Mb/s，同时，静态带宽越大，可用带宽也越大的假设自然也不成立。另一方面，这种方法关注的底层的物理资源的性能，而底层物理资源的性能不能简单映射到上层的容器资源的性能，如底 层物理资源可用带宽较大，但是由于承载了太多的容器，每个容器的可用带宽可能较小。

综上所述，适用当前方法难以选取出一段时间内网络连接情况较好的一组容器，甚至可能选取出网络连通性很差的一组容器，在当前方法选取出的容器上部署大数据应用，可能导致大数据应用效能低下，浪费资源，延长大数据作业的执行时间。

发明内容

本发明所要解决的技术问题包括，针对现有的容器资源分配方法存在的上述问题，提供一种优化运行于容器之上的大数据应用的性能的容器资源分配方法及装置。

解决本发明技术问题所采用的技术方案是一种容器资源分配方法，包括：

S1、根据网络中N个容器的容器与容器之间的可用带宽，以容器为节点，以两个容器之间的可用带宽为边权值，构造无向有权完全图；

S2、根据所述完全图，计算出每一簇节点中，任意两节点之间的带宽最小的一条，将所有簇中任意两节点之间带宽最小的一条进行比较计算得到带宽最大的一簇节点，其中，每一簇节点中包括K个节点，K≤N；

S3、在计算得到的一簇节点上部署大数据，进行通信。

优选的是，在步骤S3之后还包括：

每隔一定时间对任意两个容器之间的可用带宽进行测定，重复步骤S1和S2。

进一步优选的是，所述每隔一定时间对任意两个容器之间的可用带宽进行测定，具体包括：

通过IPerf带宽测量单元，每隔一定时间对任意两个容器之间的可用带宽进行测定。

优选的是，所述将所有簇中任意两节点之间带宽最小的一条进行比较计算得到带宽最大的一簇节点，具体包括：

采用启发式贪心原理，计算得到所有簇中任意两节点之间带宽最小的一条中带宽最大的一簇节点。

进一步优选的是，所述启发式贪心原理的启发条件为基于所述完全图的瓶颈图的数据结构。

解决本发明技术问题所采用的技术方案是一种容器资源分配装置，包括：

完全图构造模块，用于根据网络中N个容器的容器与容器之间的可用带宽，以容器为节点，以两个容器之间的可用带宽为边权值，构造无向有权完全图；

最优簇节点获取模块，用于根据所述完全图，计算出每一簇节点中，任意两节点之间的带宽最小的一条，将所有簇中任意两节点之间带宽最小的一条进行比较计算得到带宽最大的一簇节点，其中，每一簇节点中包括K个节点，K≤N；

通信模块，用于在计算得到的一簇节点上部署大数据，进行通信。

优选的是，所述容器资源分配装置还包括：带宽测量单元，其用于每隔一定时间对任意两个容器之间的可用带宽进行测定。

进一步优选的是，所述带宽测量单元包括IPerf带宽测量单元。

优选的是，所述最优簇节点获取模块具体用于，采用启发式贪心原理，计算得到所有簇中任意两节点之间带宽最小的一条中带宽最大的一簇节点。

进一步优选的是，所述启发式贪心原理的启发条件为基于所述完全图的瓶颈图的数据结构。

本发明具有如下有益效果：

本发明所提供的容器资源分配装置能够在所有容器中识别出连通性较好的一簇容器节点，以启发式贪心算法原理确保该簇内容器之间的聚合带宽最大，而跨簇的容器之间的带宽最小，从而优先选取同组的容器部署大数据应用，进而优化运行于容器之上 的大数据应用的性能。

附图说明

图1为本发明的实施例1容器资源分配方法的流程图；

图2为本发明的实施例1容器资源分配方法的步骤S1所构造的无向有权完全图的示意图；

图3为本发明的实施例1容器资源分配装置的示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。

实施例1：

如图1所示，本实施例提供一种容器资源分配方法，包括如下步骤：

S1、根据网络中N个容器的容器与容器之间的可用带宽，以容器为节点，以两个容器之间的可用带宽为边权值，构造无向有权完全图。

如图2所示，每个容器可以看做图中的一个节点。由于容器两两之间联通，且两个容器间的通讯无需经由其他容器转发，则全部容器的网络拓扑可以看做是一个无向完全图，同时，任意两个容器节点之间的带宽可以通过IPerf等带宽测量单元定期测定，进而给出一定时间间隔内的统计可用带宽。可将图1中边的权值设定为此统计可用带宽，如连接节点u和节点v的边(u,v)的权值即为容器节点u和v之间的统计可用带宽，用bω(u,v)表示，则寻找连通性较好的一组容器的问题可转化为完全图的图划分问题。

S2、根据所述完全图，计算出每一簇节点中，任意两节点之间的带宽最小的一条，将所有簇中任意两节点之间带宽最小的一条进行比较计算得到带宽最大的一簇节点，其中，每一簇节点中包括K个节点，K≤N。

该步骤，一簇容器节点是指多个容器节点的组合；以N＝10即10个容器节点为例，如果需要选取的节点簇中节点数K＝3，则本申请要选取的节点簇是从10个节点中选取3个节点的所有可能性中的一种，可知其可能选择是10x9x8＝720种，即要选取的是720中可能方案中的1种。具体的,在步骤S1中根据容器的网络拓扑构建了一个无向有权完全图，因此，可以将容器节点优化分簇问题转化为一个依据节点连边的权值大小进行完全图划分的优化问题，其优化目标是保障同一节点簇内的容器节点间的带宽尽可能大，如果至多划分为k个网络簇，节点簇可用C_i,i＝1...k表示，则优化问题的目标方程可定义为式(1)。

max(bω(u,v))u,v∈C_i,i＝1...k (1)

同时我们希望各个容器节点簇间的带宽资源分布均匀，即对所有容器节点簇而言，最大化簇内任意两个容器节点之间带宽的最小值，则目标方程见式(2)。

$max\left(\underset{i=\mathrm{1...}k}{min}\underset{u,v\∈C_i}{min}b\mathrm{\ω}\right(u,v\left)\right)$

其中，容器节点优化分簇问题(Optimized Virt.Nodes k-Clustering problem)以式(2)为优化目标方程的容器节点分簇问题为容器节点优化分簇问题。

为了方便说明，本发明介绍图论中完全图划分研究领域的一个经典问题，最小最大k簇划分问题的定义。

最小最大k簇划分问题(min-max k-Clustering problem)给定一个有权无向完全图，见式(3)，

$G=(V,G),\mathrm{\ω}e1\≤\mathrm{...}\≤\mathrm{\ω}em,n=\left|V\right|,m=\frac{\left|V\right|\left(\right|V|-1)}{2}---\left(3\right)$

最小最大k簇划分问题定义为将G＝(V,G)划分为至多k个簇并使得任意簇内的任意两个节点间边的权重的最大值最小，即假设C₁....C_k是划分好的簇，则优化目标方程见式(4)。

$min\left(\underset{i=\mathrm{1...}k}{max}\underset{u,v\∈C_i}{max}{\mathrm{\ω}}_{uv}\right)---\left(4\right)$

其中，容器节点优化分簇问题和最小最大k簇划分问题是等 价问题。

证明：令

${\mathrm{\ω}}_{uv}=\left(\stackrel{\‾}{b\mathrm{\ω}(u,v}\right),b\mathrm{\ω}(u,v)>0,u,v\∈C_i,i=\mathrm{1...}k---\left(5\right)$

则式(4)转化为式(6)：

$min\left(\underset{i=\mathrm{1...}k}{max}\underset{u,v\∈C_i}{max}\right(\stackrel{\‾}{b\mathrm{\ω}(u,v}\left)\right),b\mathrm{\ω}(u,v)>0---\left(6\right)$

令

f(bω(u,v))＝bω(u,v),bω(u,v)＞0,u,v∈C_i,i＝1...k (7)

$g\left(b\mathrm{\ω}\right(u,v\left)\right)=\left(\stackrel{\‾}{b\mathrm{\ω}(u,v}\right),b\mathrm{\ω}(u,v)>0,u,v\∈C_i,i=\mathrm{1...}k---\left(8\right)$

按照标准的数学优化问题定义，式(2)可以写作

$\arg \underset{u,v\∈C_i,i=\mathrm{1...}k}{max}min\left(f\right(b\mathrm{\ω}\left(u,v\right)\left)\right),b\mathrm{\ω}(u,v)>0---\left(9\right)$

按照标准的数学优化问题定义，式可以写为

$\arg \underset{u,v\∈C_i,i=\mathrm{1...}k}{min}max\left(g\right(b\mathrm{\ω}\left(u,v\right)\left)\right),b\mathrm{\ω}(u,v)>0---\left(10\right)$

由式(7)和式(8)可得式(11)并可知f(bω(u,v))和g(bω(u,v))随bω(u,v)变化趋势相反，所以式

max(f(bω(u,v)))＝min(g(bω(u,v))),bω(u,v)＞0 (11)

所以式(9)和(10)等价，即式(2)和式(6)等价。

然而，最小最大k簇划分问题是NP-Hard问题，只有当节点之间边的权值满足三角不等式时，即式(12)满足

$\∀(i,j,k)\∈G,{\mathrm{\ω}}_{ij}+{\mathrm{\ω}}_{jk}\≥{\mathrm{\ω}}_{ik}---\left(12\right)$

最小最大k簇划分问题才存在确定近似系数上界的近似算法，即该问题是APX问题。

本实施例将所有簇中任意两节点之间带宽最小的一条进行比较计算得到带宽最大的一簇节点，具体采用启发式贪心原理，计算得到所有簇中任意两节点之间带宽最小的一条中带宽最大的一簇节点。也即在本实施例中设计了一种启发式算法求解虚拟资源节点优化分簇问题，其启发条件是基于完全图的瓶颈图寻找最大 独立集，然后以这些独立集为中心构造节点簇。

其中，瓶颈图(bottleneck graph)给定特定权值ω，一个有权图G＝(V,G)的瓶颈图定义为式(13)。

Gb(ω)＝G(V,(ω))whereE(ω)＝{e∈E:ω(e)≤ω} (13)

即从原图中删除所有权值大于ω的边就形成了原图G的瓶颈图Gb(ω)，对于边的权值均为正值的情况下，Gb(0)就是原图G的顶点集合，边集为空；Gb(ω_max)就是原图G本身。

S3、在计算得到的一簇节点上部署大数据，进行通信。

在步骤S3之后，还可以包括每隔一定时间对任意两个容器之间的可用带宽进行测定的步骤，之后继续重复步骤S1和S2；其中，具体的可以通过IPerf带宽测量单元，每隔一定时间对任意两个容器之间的可用带宽进行测定。其中，时间间隔可以根据具体请具体限定，而之所以每隔一定时间要对任意两个容器之间的可用带宽进行测定是因为，带宽的占用多少在不同时间根据用户的多少而不同的，因此该种方式可以确保容器资源分配最优。

综上所述，本实施例所提供的容器资源分配方法能够在所有容器中识别出连通性较好的一簇容器节点，以启发式贪心算法原理确保该簇内容器之间的聚合带宽最大，而跨簇的容器之间的带宽最小，从而优先选取同组的容器部署大数据应用，进而优化运行于容器之上的大数据应用的性能。

实施例2：

如图3所示，本实施例提供一种容器资源分配装置，其可采用实施例1中的容器资源分配方法。本实施例中的容器资源分配装置包括：完全图构造模块、最优簇节点获取模块、通信模块；其中，完全图构造模块，用于根据网络中N个容器的容器与容器之间的可用带宽，以容器为节点，以两个容器之间的可用带宽为边权值，构造无向有权完全图；最优簇节点获取模块，用于根据所述完全图，计算出每一簇节点中，任意两节点之间的带宽最小的一条，将所有簇中任意两节点之间带宽最小的一条进行比较计 算得到带宽最大的一簇节点，其中，每一簇节点中包括K个节点，K≤N；通信模块，用于在计算得到的一簇节点上部署大数据，进行通信。

其中，所述最优簇节点获取模块具体用于，采用启发式贪心原理，计算得到所有簇中任意两节点之间带宽最小的一条中带宽最大的一簇节点。所述启发式贪心原理的启发条件为基于所述完全图的瓶颈图的数据结构。

当然，本实施例中的器资源分配装置还可以包括：带宽测量单元，其用于每隔一定时间对任意两个容器之间的可用带宽进行测定。其中，带宽测量单元包括IPerf带宽测量单元。

综上所述，本实施例所提供的容器资源分配装置能够在所有容器中识别出连通性较好的一簇容器节点，以启发式贪心算法原理确保该簇内容器之间的聚合带宽最大，而跨簇的容器之间的带宽最小，从而优先选取同组的容器部署大数据应用，进而优化运行于容器之上的大数据应用的性能。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种容器资源分配方法，其特征在于，包括：

S1、根据网络中N个容器的容器与容器之间的可用带宽，以容器为节点，以两个容器之间的可用带宽为边权值，构造无向有权完全图；

S2、根据所述完全图，计算出每一簇节点中，任意两节点之间的带宽最小的一条，将所有簇中任意两节点之间带宽最小的一条进行比较计算得到带宽最大的一簇节点，其中，每一簇节点中包括K个节点，K≤N；

S3、在计算得到的一簇节点上部署大数据，进行通信。

2.根据权利要求1所述的容器资源分配方法，其特征在于，在步骤S3之后还包括：

每隔一定时间对任意两个容器之间的可用带宽进行测定，重复步骤S1和S2。

3.根据权利要求2所述的容器资源分配方法，其特征在于，所述每隔一定时间对任意两个容器之间的可用带宽进行测定，具体包括：

通过IPerf带宽测量单元，每隔一定时间对任意两个容器之间的可用带宽进行测定。

4.根据权利要求1所述的容器资源分配方法，其特征在于，所述将所有簇中任意两节点之间带宽最小的一条进行比较计算得到带宽最大的一簇节点，具体包括：

采用启发式贪心原理，计算得到所有簇中任意两节点之间带宽最小的一条中带宽最大的一簇节点。

5.根据权利要求4所述的容器资源分配方法，其特征在于，所述启发式贪心原理的启发条件为基于所述完全图的瓶颈图的数据结构。

6.一种容器资源分配装置，其特征在于，包括：

完全图构造模块，用于根据网络中N个容器的容器与容器之间的可用带宽，以容器为节点，以两个容器之间的可用带宽为边权值，构造无向有权完全图；

最优簇节点获取模块，用于根据所述完全图，计算出每一簇节点中，任意两节点之间的带宽最小的一条，将所有簇中任意两节点之间带宽最小的一条进行比较计算得到带宽最大的一簇节点，其中，每一簇节点中包括K个节点，K≤N；

通信模块，用于在计算得到的一簇节点上部署大数据，进行通信。

7.根据权利要求6所述的容器资源分配装置，其特征在于，所述容器资源分配装置还包括：带宽测量单元，其用于每隔一定时间对任意两个容器之间的可用带宽进行测定。

8.根据权利要求7所述的容器资源分配装置，其特征在于，所述带宽测量单元包括IPerf带宽测量单元。

9.根据权利要求6所述的容器资源分配装置，其特征在于，所述最优簇节点获取模块具体用于，采用启发式贪心原理，计算得到所有簇中任意两节点之间带宽最小的一条中带宽最大的一簇节点。

10.根据权利要求9所述的容器资源分配装置，其特征在于，所述启发式贪心原理的启发条件为基于所述完全图的瓶颈图的数据结构。