CN103248523A - 用于大规模计算阵列操作***的网络路由配置方法 - Google Patents

Abstract

本发明公开了一种用于大规模计算阵列操作***的网络路由配置方法，其实施步骤如下：1）服务结点准备操作***内核和操作***映像，将各个计算结点的路由表文件对应计算结点的网络ID使用单调递增的连续数字进行命名，根据预设的固定间隔采用双压缩格式进行双重压缩得到多个切分压缩文件并存储到操作***映像中；2）计算结点进入通信设备配置阶段后，读取本结点的网络ID，获取操作***映像中对应本结点的切分压缩文件，将切分压缩文件进行解压缩获取本结点的路由表文件，根据路由表文件完成网络路由配置。本发明具有路由表文件占用空间小、计算结点查找所需路由表文件快、配置网络设备快捷、***启动时间短、可维性和可用性好的优点。

Description

用于大规模计算阵列操作***的网络路由配置方法

技术领域

本发明涉及高性能计算机***的***计算结点网络路由管理、配置启动技术领域，具体涉及一种用于大规模计算阵列操作***的网络路由配置方法。 

背景技术

高性能计算机***通常由计算阵列、通信阵列、服务阵列组成，这些阵列之间必须通过高性能通信网络连接，才能发挥作用。目前，部分高性能通信网络采取源路由方式，经过实践证明，这种方式具有很高的性价比。在这种情况下，要求为每个参与通信的终端（如计算结点、服务结点）配备单独路由表。路由表是一个文本文件，包含了某个网络终端的路由信息，路由表文件通常存放到结点的磁盘上的文件***中，但是计算阵列数量庞大，通常在1万个左右，因此，考虑到成本、工艺结构、***稳定性，计算结点并不配备硬盘。

计算结点都是通过网络从服务结点读取内核和***映像，然后启动运行，完成一系列的初始化、配置工作。其中，必须使用正确的路由表文件才能正确配置结点的高速通信硬件，从而与***其他结点正常通信。因此，高效、正确地配置无盘计算结点的路由表是高性能计算机***启动的关键步骤。每个路由表文件名称、内容各不相同，由一个唯一的网络物理标识（以下简称网络ID）区分，计算结点参与网络通信时，使用网络ID标识该结点在网络中的位置，因此计算结点也是与网络ID一一对应，从而与路由表文件一一对应。

但是，问题是在这种高速网络构架下，计算结点启动之前，网络只能实施简单的原始的消息通信，无法传送较大文本文件，而且，事先将路由表文件全部发送存放到结点的某块存储区中，对于硬件设计是不合适的，因为这将为通信硬件带来额外的复杂的逻辑、占用宝贵的通信硬件的内存，同时也要求对计算结点的BIOS和操作***的驱动程序提出功能要求，这样势必增加整个***的复杂度、成本和延长调试时间。因此，只能使用简单的消息通信，将简单的路由信息（只包含网络ID、服务结点到目标结点的路由）发送到目标计算结点上。

这样，完整地传送路由表文件任务就交给了操作***的内核和无盘映像，其中与网络配置相关的必要的步骤有：

1、将所有计算结点的路由表文件全部放到无盘映像中；

2、计算结点启动时，根据简单的路由信息，从服务结点读取操作***内核和无盘映像；

3、计算结点内核启动内核，根据已知的网络ID从无盘映像中读取需要的路由表文件，完成配置网络设备的工作。

但是，上述操作面临着如下问题：

1、路由表文件的占用的空间随着计算结点规模增加而增加，实践证明，这个增加是超线性的，当到8000个左右时，所有的路由表文件超过1.6GB，使用gzip等工具压缩后也有192MB左右，而操作***无盘映像最大只有512MB，并且还要存放必须的***文件，通常只能剩余100MB左右，因此，计算结点规模较大时，不能充分保证完整地存放路由表文件；

2、即使能够通过压缩方式存放下路由表文件，当计算结点从压缩文件中寻找需要的一个路由表文件时，解压时间相对较长，远远超过了结点启动过程中其他部分的时间总和，这与以轻便、精简为目的的计算结点启动策略相互矛盾，并严重影响了整个***的可用性。

发明内容

本发明所解决的技术问题提供一种路由表文件占用空间小、计算结点查找所需路由表文件快、配置网络设备快捷、***启动时间短、可维性和可用性好的用于大规模计算阵列操作***的网络路由配置方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种用于大规模计算阵列操作***的网络路由配置方法，其实施步骤如下：

1）服务结点准备操作***内核和操作***映像，同时将各个计算结点的路由表文件对应计算结点的网络ID使用单调递增的连续数字进行命名，将所有路由表文件根据预设的固定步长采用双压缩格式进行双重压缩得到多个切分压缩文件，将所述多个切分压缩文件存储到所述操作***映像中；

2）计算结点向服务结点获取操作***内核和操作***映像，启动操作***内核并进入通信设备配置阶段后，读取本结点的网络ID，根据所述固定步长对本结点的网络ID进行取模运算得到操作***映像中对应本结点的切分压缩文件，将所述切分压缩文件进行解压缩获取本结点的路由表文件，根据所述路由表文件完成本结点的网络路由配置。

作为本发明上述技术方案的进一步改进：

所述步骤1）的详细步骤如下：

1.1）服务结点准备操作***内核和操作***映像；准备所有计算结点的路由表文件，将各个计算结点的路由表文件对应计算结点的网络ID使用单调递增的连续数字进行命名；

1.2）先使用gz格式、后使用bz2格式进行双重压缩所有路由表文件，记录所有路由表文件经过两次压缩后的压缩文件大小；

1.3）先使用bz2格式，后使用gz格式进行双重压缩所有路由表文件，记录所有路由表文件经过两次压缩后的压缩文件大小；

1.4）比较步骤1.2）和步骤1.3）两种压缩格式顺序得到的压缩文件大小，选择压缩文件较小的压缩格式顺序作为选定压缩格式顺序；

1.5）以预设的固定步长为间隔对所有路由表文件进行分段，将每一个分段内的所有压缩文件采用所述选定压缩格式顺序进行双重压缩得到一个切分压缩文件，最终得到分别对应多个分段的多个切分压缩文件；

1.6）将所述多个切分压缩文件存储到所述操作***映像中。

所述步骤2）的详细步骤如下：

2.1）计算结点向服务结点获取操作***内核和操作***映像，在启动操作***内核并进入通信设备配置阶段后跳转执行下一步；

2.2）计算结点读取本结点的网络ID；

2.3）计算结点根据所述固定步长对本结点的网络ID进行取模运算得到操作***映像中对应本结点的切分压缩文件；

2.4）计算结点按照所述选定压缩格式顺序的逆序，采用管道方式的命令解压缩所述切分压缩文件并获取本结点的路由表文件；

2.5）计算结点根据所述路由表文件完成本结点的网络路由配置；

2.6）服务结点在所有计算结点成功完成网络路由配置后删除操作***映像中的所有切分压缩文件。

本发明具有如下的优点：

1、现有技术问题的核心在于路由表文件尺寸随着结点规模的增长而超线性增大，实践证明使用gzip等压缩工具压缩后，得到的路由表文件尺寸与无盘***映像的最大值（512MB）相比，基本是同一个级别，这严重影响了其他各类必要的***文件的放置，从而直接导致***无法启动使用；本发明将所有路由表文件根据预设的固定间隔、采用双压缩格式进行双重压缩得到多个切分压缩文件，在计算结点数目逐步增大时，路由表文件采用双压缩格式进行双重压缩得到多个切分压缩文件的尺寸增加很小，不会过多占用无盘***映像空间。实验表明，当计算结点规模为8000时（大规模***常用的规模），采用双压缩格式后，路由表文件压缩比可达到20:1，而单压缩格式只有8:1，在原始尺寸较大时，即基数较大时，与无盘***映像的最大值（512MB）相比，双压缩格式带来的效果是非常明显的。

2、本发明计算结点启动并进入通信设备配置阶段后，根据本结点的网络ID获取服务结点上对应本结点的切分压缩文件，将切分压缩文件进行解压缩得到本结点的路由表文件，根据得到的路由表文件的完成网络路由配置，因此，针对每一个计算结点而言，其通过网络传输的仅仅是一个包含部分路由表文件的切分压缩文件而不是所有路由表文件，网络传输数据量更少；而且计算结点解压时也仅仅需要解压一个包含部分路由表文件的切分压缩文件而不是所有路由表文件即可，极大地缩短了两次解压所花费的时间，缩短了计算结点从压缩文件中读取路由表文件的时间。实验表明，当计算结点规模为8000时（大规模***常用的规模），现有技术从整个压缩文件中读取文件所用时间为40秒，而本发明从以128为步长切分的压缩文件中读取所用时间仅仅为0.6秒，因此能够提速66倍，效果也是非常明显的。

附图说明

图1为应用本发明实施例的大规模计算阵列操作***拓扑结构示意图。

图2为本发明实施例的整体方法流程示意图。

图3 为本发明实施例中步骤1）的详细方法流程示意图。

图4 为本发明实施例中步骤2）的详细方法流程示意图。

具体实施方式

如图1所示，本实施例以天河高性能计算机***作为典型的大规模计算阵列操作***为例，天河高性能计算机***中包含计算阵列和服务阵列，计算阵列和服务阵列通过高速通信网络相连，计算阵列包含多个计算结点，服务阵列包含多个服务结点，服务结点为计算结点提供操作***内核和操作***映像，其中操作***映像中包含所有的路由表文件，而计算结点则分别从服务器中读取内核和操作***映像，然后从操作***映像中获取路由表文件。大规模计算阵列操作***通常由几千个独立的计算结点构成庞大的计算阵列，计算阵列的计算结点必须通过复杂的高速互联网络连接，才能够互相通信，从而共同协作运行大规模的并行程序，每个计算结点配置一个路由表文件才能与其他计算结点进行通信，但计算结点是无盘的***，因此需要在操作***无盘映像中配置路由表文件。

如图2所示，本实施例用于大规模计算阵列操作***的网络路由配置方法的步骤如下：

1）服务结点准备操作***内核和操作***映像，同时将各个计算结点的路由表文件对应计算结点的网络ID使用单调递增的连续数字进行命名，将所有路由表文件根据预设的固定步长采用双压缩格式进行双重压缩得到多个切分压缩文件，将多个切分压缩文件存储到操作***映像中；

2）计算结点向服务结点获取操作***内核和操作***映像，启动操作***内核并进入通信设备配置阶段后，读取本结点的网络ID，根据固定步长对本结点的网络ID进行取模运算得到操作***映像中对应本结点的切分压缩文件，将切分压缩文件进行解压缩获取本结点的路由表文件，根据路由表文件完成本结点的网络路由配置。

本实施例对路由表文件进行步骤1）的双压缩格式压缩、步骤2）的基于分段切分的切分压缩文件快速获取路由表文件，通过步骤1）采用双压缩格式压缩路由表文件，极大地减缓因计算结点规模增大而导致的路由表文件总尺寸的超线性增长，通过步骤2）基于分段切分的切分压缩文件快速获取路由表文件，极大地缩短计算结点查找所需路由表文件的时间，从而使得操作***能够迅速配置网络设备，极大地缩短了***启动时间，提高了全***的可维性和可用性。

如图3所示，步骤1）的详细步骤如下：

1.1）服务结点准备操作***内核和操作***映像；准备所有计算结点的路由表文件，将各个计算结点的路由表文件对应计算结点的网络ID使用单调递增的连续数字进行命名。本实施例的步骤1）中，服务结点将各个计算结点的路由表文件放置到一个单独的目录下，并将各个计算结点的路由表文件对应计算结点的网络ID使用单调递增的连续数字进行命名以确保这些文件名中当中包含对应的网络ID，其具体掩码格式为“rtb-n”，(n=0,1,……，最大计算结点数目）。其中，字符串rtb为路由表文件（route table）简称，n为网络ID，本实施例中n以16进制表示，如0x0、0xf、0x123等，例如对于网络id为3175（16进制表示为0xc67）的计算结点而言，其路由表文件格式为“rtb-0xc67”。

1.2）先使用gz格式、后使用bz2格式进行双重压缩所有路由表文件，记录所有路由表文件经过两次压缩后的压缩文件大小。本实施例中，先使用gz格式、后使用bz2格式进行双重压缩所有路由表文件的压缩命令为“tar czf – rtb-* | bzip2 > /tmp/rtb.tgz.bz2”。

1.3）先使用bz2格式，后使用gz格式进行双重压缩所有路由表文件，记录所有路由表文件经过两次压缩后的压缩文件大小；本实施例中，先使用bz2格式，后使用gz格式进行双重压缩所有路由表文件的压缩命令为“bzip2 – rtb-* | tar czf > /tmp/rtb.bz2.gz”。

1.4）比较步骤1.2）和步骤1.3）两种压缩格式顺序得到的压缩文件大小，选择压缩文件较小的压缩格式顺序作为选定压缩格式顺序；由于压缩格式顺序不同其压缩比率也会存在区别，因此本实施例通过选定压缩格式顺序进行压缩，能够优先选择压缩格式更小的选定压缩格式顺序来实现对路由表文件的压缩，从而能够实现将大规模计算阵列中庞大的路由表文件正常地直接存放到无盘***映像中，只占用较小的空间，保证了***正常启动运行。

1.5）以预设的固定步长为间隔对所有路由表文件进行分段，将每一个分段内的所有压缩文件采用选定压缩格式顺序进行双重压缩得到一个切分压缩文件，最终得到分别对应多个分段的多个切分压缩文件；本实施例中，固定步长选择为128，因此第0～127个计算结点的路由表文件被压缩得到1个切分压缩文件“rtb-1.tgz.bz2”，第128～255个计算结点的路由表文件被压缩得到1个切分压缩文件“rtb-2.tgz.bz2”，依次类推。

1.6）将多个切分压缩文件存储到操作***映像中（/etc/route目录下）。

计算结点启动后，需要从压缩的路由表文件中找到其网络ID对应的路由表文件，由于本实施例的路由表文件采取双压缩格式，当文件较大时，需要对整个文件实施两次解压，所需时间远远超过了其他部分的启动时间。为了仅以提高双压缩格式路由表文件的解压速度，使得既可以保证路由表文件占用较小的空间，又可以获得较快的解压速度，本实施例中网络ID是连续的数字形式，从而路由表文件也是以单调递增的连续的数字命名的，而每次只需要获取一个路由表文件，因此本实施例将压缩的路由表文件根据固定间隔切分为多个切分压缩文件，计算结点根据其网络ID确定对应的切分压缩文件实施解压，所需时间将超线性地减少。

如图4所示，步骤2）的详细步骤如下：

2.1）计算结点向服务结点获取操作***内核和操作***映像，在启动操作***内核并进入通信设备配置阶段后跳转执行下一步。

2.2）计算结点读取本结点的网络ID。

2.3）计算结点根据固定步长对本结点的网络ID进行取模运算得到操作***映像中对应本结点的切分压缩文件；本实施例通过分段切分双压缩格式文件，并基于网络ID选择其中一个切分压缩文件，以便后续只解压一个切分压缩文件获取与网络ID对应的路由表文件，大大降低了计算结点的启动时间，提高了全***的可维性、可用性。

以网络ID为0xc67（即3175）的计算结点为例，计算结点根据固定步长128对本结点的网络ID（3175）进行取模运算得到24，即结点0xc67的rtb文件（路由表文件）在切分压缩文件rtb-24.tgz.bz2中；则该计算结点根据24在操作***映像中找到对应本结点的切分压缩文件“rtb-24.tgz.bz2”。

2.4）计算结点按照选定压缩格式顺序的逆序，采用管道方式的命令解压缩切分压缩文件并获取本结点的路由表文件；本实施例采用管道方式的命令解压缩切分压缩文件不占用操作***映像空间，能够减少解压缩切分压缩文件对操作***映像空间的占用。

在找到对应本结点的切分压缩文件“rtb-24.tgz.bz2”后，计算结点执行命令“bzcat rtb-24.tgz.bz2 | tar zxf – rtb-0xc67 –C /etc/pdp.rtb”进行解压缩将rtb-24.tgz.bz2解压得到本结点的路由表文件“rtb-0xc67”，并放到指定的目录/etc/下即可。

2.5）计算结点根据路由表文件完成本结点的网络路由配置。

2.6）服务结点在所有计算结点成功完成网络路由配置后删除操作***映像中（/etc/route目录下）的所有切分压缩文件，从而释放更多***空间。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种用于大规模计算阵列操作***的网络路由配置方法，其特征在于实施步骤如下：

1）服务结点准备操作***内核和操作***映像，同时将各个计算结点的路由表文件对应计算结点的网络ID使用单调递增的连续数字进行命名，将所有路由表文件根据预设的固定步长采用双压缩格式进行双重压缩得到多个切分压缩文件，将所述多个切分压缩文件存储到所述操作***映像中；

2）计算结点向服务结点获取操作***内核和操作***映像，启动操作***内核并进入通信设备配置阶段后，读取本结点的网络ID，根据所述固定步长对本结点的网络ID进行取模运算得到操作***映像中对应本结点的切分压缩文件，将所述切分压缩文件进行解压缩获取本结点的路由表文件，根据所述路由表文件完成本结点的网络路由配置。

2.根据权利要求1所述的用于大规模计算阵列操作***的网络路由配置方法，其特征在于，所述步骤1）的详细步骤如下：

1.1）服务结点准备操作***内核和操作***映像；准备所有计算结点的路由表文件，将各个计算结点的路由表文件对应计算结点的网络ID使用单调递增的连续数字进行命名；

1.2）先使用gz格式、后使用bz2格式进行双重压缩所有路由表文件，记录所有路由表文件经过两次压缩后的压缩文件大小；

1.3）先使用bz2格式，后使用gz格式进行双重压缩所有路由表文件，记录所有路由表文件经过两次压缩后的压缩文件大小；

1.4）比较步骤1.2）和步骤1.3）两种压缩格式顺序得到的压缩文件大小，选择压缩文件较小的压缩格式顺序作为选定压缩格式顺序；

1.5）以预设的固定步长为间隔对所有路由表文件进行分段，将每一个分段内的所有压缩文件采用所述选定压缩格式顺序进行双重压缩得到一个切分压缩文件，最终得到分别对应多个分段的多个切分压缩文件；

1.6）将所述多个切分压缩文件存储到所述操作***映像中。

3.根据权利要求2所述的用于大规模计算阵列操作***的网络路由配置方法，其特征在于，所述步骤2）的详细步骤如下：

2.1）计算结点向服务结点获取操作***内核和操作***映像，在启动操作***内核并进入通信设备配置阶段后跳转执行下一步；

2.2）计算结点读取本结点的网络ID；

2.3）计算结点根据所述固定步长对本结点的网络ID进行取模运算得到操作***映像中对应本结点的切分压缩文件；

2.4）计算结点按照所述选定压缩格式顺序的逆序，采用管道方式的命令解压缩所述切分压缩文件并获取本结点的路由表文件；

2.5）计算结点根据所述路由表文件完成本结点的网络路由配置；

2.6）服务结点在所有计算结点成功完成网络路由配置后删除操作***映像中的所有切分压缩文件。

Images