CN110362785A - 基于多文件流的任意对角线性方程组并行求解方法和*** - Google Patents

Abstract

本发明提供一种基于多文件流的任意对角线性方程组并行求解方法和***，包括四个步骤：(1)将带状方程分为若干个初始子区域，并将每个初始子区域数据信息单独保存在对应的文件中；(2)各主核同时单独读取各初始子区域***方程数据，各从核形成各组装子区域***方程，并缩聚消去其内部变量；(3)各主核并行求解界面方程；(4)各初始子区域根据各主核界面方程求解结果回代求解内部变量。若迭代结束则终止，否则重新从第二步开始。本发明在实现分布式数据存储的基础上，通过分层通信最大限度实现通信局部化，能够充分利用高性能计算体系的结构特点提升大规模任意对角线性方程组的并行计算效率。

Description

基于多文件流的任意对角线性方程组并行求解方法和***

技术领域

本发明涉及一种并行对角方程组求解方法，具体是基于多文件流的任意对角线性方程组并行求解方法和***。

背景技术

有限元方法作为工程数值分析的一种有力工具，广泛应用于航空航天、能源勘探与开发、交通运输等领域，在工程设计和分析中得到了越来越广泛的重视，已经成为解决复杂工程计算问题的有效途径。然而对于大型复杂***，由于计算规模巨大，求解复杂，采用传统串行有限元分析方法难以克服所需内存空间大，求解时间长的问题。利用并行计算机研究和开发相应的并行算法则为这类问题的解决提供了切实可行的方法。

在并行算法方面，主要分为两类：一类是从有限元问题自身的并行性出发，形成了区域分解并行计算方法；另一类是从有限元问题中耗时最多的线性方程组的求解出发，寻求高效求解线性方程组的并行计算方法。区域分解方法在同时单独完成网格区域分割的基础上形成各子区域的待求解方程，通过静态缩聚消去内部变量以降低界面方程的阶数，求解界面方程后各子区域可同时回代求解内部变量，其界面方程的规模依赖于网格的区域分割。然而对于大规模有限元数值分析，随着边界节点数目的增加，界面方程的规模随之急剧增大，从而给求解带来困难。而在线性方程组的并行计算方法中，传统的并行计算方法往往面临全局通信过多的问题，由此各个进程在求解过程中产生的通信开销和同步开销的增加也会极大地降低并行计算效率。且在实际问题的稀疏线性方程组中，对角方程组则是其重要组成部分。

从硬件上来说，目前大规模并行计算机采用异构众核分布式存储体系结构，其典型特征是：位于同一节点内的不同处理器之间通过局部总线相连，通信速率很高；而位于不同节点之间的处理器通过高性能网络相连，通信速率相对较低。故要提高大规模异构众核并行计算机的并行计算效率，就要尽量将通信限制在各节点内部，并尽可能减少不同节点之间的通信。如何构造合适的并行算法使之与目前大规模异构众核并行计算机的体系结构相适应以提高并行计算效率成为迫切需要解决的问题。

经对现有技术文献的检索发现：Luo等在Jourpal of Computer Research&Developmept，2000,37(7)：802-807上发表文章“Ap effective parallel algorithm forsolvipg tridiagopal”(“三对角线性方程组的一种有效分布式并行算法”，计算机研究与发展，2000,37(7)：802-807)，该文通过区域分割同时单独形成各子区域的***方程，并经过缩聚消去每个初始子区域内部变量，得到仅与边界变量相关的各初始子区域的界面方程来减少全局的通信求解时间，进而提高***整体的并行计算效率。但该方法在实际应用中收到很大的限制，一方面是由于实际问题的带状方程带宽不固定，该方法无法求解；另一方面，由于该方法未充分考虑目前国产高性能计算机的体系结构特点，造成不同子区域间频繁的通信，最终得到的并行计算效率也不是太理想。

发明内容

本发明针对现有技术的不足，提出一种基于多文件流的任意对角线性方程组并行求解方法和***。

根据本发明提供的一种基于多文件流的任意对角线性方程组并行求解方法，包括如下步骤：

分区步骤：经过分区软件将带状方程剖分为p个初始子区域，并将每个初始子区域的系数矩阵、方程右端项单独保存在一个文件中，其中p为单个节点机内处理器核数的整数倍；

求解步骤：令各节点机内的主核并行读取文件，从核根据文件中的系数矩阵、方程右端项形成***方程，对***方程的内部变量值进行消去后，再回代求解内部变量值作为求解结果输出。

优选地，所述求解步骤包括：

缩聚步骤：令进行并行计算的各节点机内的主核同时并行读取相应初始子区域的文件，每个节点机内的从核通过各节点机存储的初始子区域的文件单独形成每个初始子区域的***方程，并经过缩聚消去每个初始子区域的内部变量值，得到仅含有边界变量的各初始子区域的界面方程；

界面方程求解步骤：各节点机内的主核通过相互通信并利用并行SuperLU算法求解界面方程，得到各初始子区域的边界变量；

回代步骤：得到各初始子区域的边界变量后，每个节点机内的主核将包含系数矩阵的内部方程系数和自身边界变量值在内的数据信息送给位于同一节点机内的从核，从核接收数据信息并提取自身边界变量值，再回代求解内部变量值；若迭代结束则输出结果，否则，则重新执行求解。

根据本发明提供的一种基于多文件流的任意对角线性方程组并行求解***，包括如下模块：

分区模块：经过分区软件将带状方程剖分为p个初始子区域，并将每个初始子区域的系数矩阵、方程右端项单独保存在一个文件中，其中p为单个节点机内处理器核数的整数倍；

求解模块：令各节点机内的主核并行读取文件，从核根据文件中的系数矩阵、方程右端项形成***方程，对***方程的内部变量值进行消去后，再回代求解内部变量值作为求解结果输出。

优选地，所述求解模块包括：

缩聚模块：令进行并行计算的各节点机内的主核同时并行读取相应初始子区域的文件，每个节点机内的从核通过各节点机存储的初始子区域的文件单独形成每个初始子区域的***方程，并经过缩聚消去每个初始子区域的内部变量值，得到仅含有边界变量的各初始子区域的界面方程；

界面方程求解模块：各节点机内的主核通过相互通信并利用并行SuperLU算法求解界面方程，得到各初始子区域的边界变量；

回代模块：得到各初始子区域的边界变量后，每个节点机内的主核将包含系数矩阵的内部方程系数和自身边界变量值在内的数据信息送给位于同一节点机内的从核，从核接收数据信息并提取自身边界变量值，再回代求解内部变量值；若迭代结束则输出结果，否则，则重新执行求解。

优选地，所述初始子区域是经过分区软件对带状方程剖分得到的，且每个初始子区域内的界面方程的带宽不受剖分影响。

优选地，所述内部变量值是指从属于一个初始子区域所独有的变量值。

优选地，所述边界变量是指同时从属于两个或多个初始子区域的变量。

优选地，所述界面方程是指初始子区域通过缩聚消去内部变量后得到的仅与边界变量有关的方程，所述界面方程左端项为凝聚得到的初始子区域的等效系数矩阵，右端项为凝聚得到的初始子区域的等效方程右端项。

优选地，所述并行SuperLU算法并行求解界面方程时各界面方程的等效系数矩阵和等效方程右端项仍分布式存储在各个节点机上，其中的中间计算结果以矩阵和向量积的形式分布式存储。

优选地，所述任意对角线性方程组其形式如下所示：

每个初始子区域，设M、N分别为初始子区域的起始行、终止行，按照所述意对角方程组虚线划分构成块状矩阵{A_i,j},i＝1,…5；j＝1,…5；

所述缩聚消去通过下式得到：

其中，F_I和F_II为等效方程右端项，

与现有技术相比，本发明具有以下优点：

1、初始子区域的数据信息均可通过多文件流的方式存储在相应的各个节点机上，从而利用大规模并行计算机分布式存储的特点实现存储局部化；

2、在三对角线性方程组求解的基础上，推广至任意对角线性方程组的求解；界面方程的规模不受网格分区的影响，仅与方程的带宽有关；

3、由于组装和回代过程求解过程均在同一节点机内进行，可将大量局部通信集中在各节点机内部，充分发挥大规模并行处理机节点机内通信速率较高的优势；

4、位于同一节点机内的所有从核将初始子区域组装后形成一个顶层组装子区域，这样每个节点就只有一个主核参与全局通信求解最终生成的界面方程，从而尽可能减少了不同节点机之间的全局通信。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明基于多文件流的任意对角线性方程组并行求解流程图；

图2为本发明实施例中的一级分区构造示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明在实现分布式数据存储的基础上，通过分层通信最大限度实现通信局部化，能够充分利用目前大规模异构众核并行计算机体系结构的特点提升大规模有限元并行计算效率。

具体操作包括：(1)将带状方程分为若干个初始子区域，并将每个初始子区域数据信息单独保存在对应的文件中；(2)各主核同时单独读取各初始子区域***方程数据，各从核形成各组装子区域***方程，并缩聚消去其内部变量；(3)各主核并行求解界面方程；(4)各初始子区域根据各主核界面方程求解结果回代求解内部变量。若迭代结束则终止，否则重新从(2)开始。

具体实施中，基于多文件流的任意对角线性方程组并行求解方法，包括如下步骤：

第一步，经过分区软件将带状方程剖分为p个初始子区域，并将每个初始子区域的系数矩阵、方程右端项信息单独保存在一个文件中，其中p为单个节点机内处理器核数的整数倍；

所述初始子区域是经过分区软件对带状方程直接剖分得到的所有子区域，这些子区内的方程规模大致相等，并且界面方程的带宽不受剖分的影响。

第二步，进行并行计算的各主核同时并行读取相应初始子区域文件信息，每个节点机内的各从核通过各节点机存储的初始子区域文件信息单独形成每个初始子区域的***方程，并经过缩聚消去每个初始子区域内部变量，得到仅与方程带宽相关的仅含有边界变量的各初始子区域界面方程；

所述内部变量是指从属于一个子区域独有的变量称为子区域的内部变量；边界变量是指同时从属于两个或多个子区域的变量称为子区域的边界变量。

所述界面方程是指子区域通过缩聚消去内部变量后得到的仅与边界变量有关的方程，所述界面方程左端项为凝聚得到的子区域等效系数矩阵，右端项为凝聚得到的子区域等效方程右端项。

第三步各节点机内的主核通过相互通信并利用SuperLU_DIST算法求解组装子区域界面方程；

所述的基于多文件流的任意对角线性方程组并行求解方法，所述SuperLU_DIST算法并行求解界面方程时各界面方程的等效系数矩阵和等效方程右端项仍分布式存储在各个节点机上，中间计算结果也以矩阵和向量积的形式分布式存储。

第四步，得到各子区域边界变量后，每个节点机内的主核将包含内部方程系数和边界变量值在内的所求结果发送给位于同一节点机内的从核，从核从接收结果中提取自身边界变量值，再回代求解内部变量值；若迭代结束则输出结果，否则重新从第二步开始执行。

如图1所示，基于多文件流的任意对角线性方程组并行求解方法整体主要包括：首先经分区软件将结构有限元模型剖分为p个初始子区域，并将每个初始子区域的系数矩阵和方程右端项信息单独保存在一个文件中；接着各进程同时并行读取初始子区域文件信息形成每个初始子区域的***方程，并经过缩聚消去其内部变量；然后利用SuperLU_DIST算法求解组装子区域界面方程；最后，将所求结果发送给位于同一节点机内的底层初始子区域，底层各初始子区域从接收结果中提取自身边界变量值，再回代求解内部变量值。

本实施实例中，考虑带宽为2m+1的n阶带状方程组，其形式如下

并行计算的硬件条件为：启动p/64台节点机，每个节点机内具有65个处理器内核，包含1个主核和64个从核，节点机间通过高性能网络互联，主核与从核之间通过DMA方式批量访问主存。

下面按照***求解的先后顺序依次作详细介绍：

第一步，利用分区软件将式(1)中的n阶方阵按照p个区域平均分配，并将每个初始子区域的系数矩阵、方程右端项信息单独保存在一个文件中。如式(2)所示完成带状方程的分区：

如式(2)所示剖分生成的p个初始子区域分别为：初始子区域0，初始子区域1，……，初始子区域p。

第二步，将节点机内的1个主核编号为m_i，i为初始子区域编号；将节点机内的64个从核分别编号为：p_0+i╳64、p_1+i╳64、……、p_63+i╳64，然后将式(2)所示编号为0到p-1的p个初始子区域分别匹配到与其编号相同的p个节点机上单独处理。各节点机主核同时并行读取本节点机相应的64个初始子区域文件信息，形成每个初始子区域的***方程，然后采用高斯消元法对子区域系数矩阵进行分解实现缩聚过程以消去其内部变量，得到仅与边界变量相关的各初始子区域的界面方程。每个子区域，其***方程可以按照图2所示虚线划分构成块状矩阵，如式(3)所示，M,N分别为该区域的起始行、终止行：

{A_i,j},i＝1,…5；j＝1,…5(3)

对于每个子区域，其对应的缩减方程为：

式中，F_I和F_II为等效方程右端项，可根据下式进行计算：

第三步，核m₀，m₁，……，m_p，相互通信利用SuperLU_DIST算法求解组装子区域界面方程，得到边界变量。

第四步，核m_i将子区域0+64×i～63+64×i所求结果包括其内部变量和边界变量发送给节点机i内的初始子区域0+64×i～初始子区域63+64×i，初始子区域0+64×i～初始子区域63+64×i分别从接收结果中提取自身边界变量，然后会带求解器内部变量。

上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于多文件流的任意对角线性方程组并行求解方法，其特征在于，包括如下步骤：

分区步骤：经过分区软件将带状方程剖分为p个初始子区域，并将每个初始子区域的系数矩阵、方程右端项单独保存在一个文件中，其中p为单个节点机内处理器核数的整数倍；

求解步骤：令各节点机内的主核并行读取文件，从核根据文件中的系数矩阵、方程右端项形成***方程，对***方程的内部变量值进行消去后，再回代求解内部变量值作为求解结果输出。

2.根据权利要求1所述的基于多文件流的任意对角线性方程组并行求解方法，其特征在于，所述求解步骤包括：

缩聚步骤：令进行并行计算的各节点机内的主核同时并行读取相应初始子区域的文件，每个节点机内的从核通过各节点机存储的初始子区域的文件单独形成每个初始子区域的***方程，并经过缩聚消去每个初始子区域的内部变量值，得到仅含有边界变量的各初始子区域的界面方程；

界面方程求解步骤：各节点机内的主核通过相互通信并利用并行SuperLU算法求解界面方程，得到各初始子区域的边界变量；

回代步骤：得到各初始子区域的边界变量后，每个节点机内的主核将包含系数矩阵的内部方程系数和自身边界变量值在内的数据信息送给位于同一节点机内的从核，从核接收数据信息并提取自身边界变量值，再回代求解内部变量值；若迭代结束则输出结果，否则，则重新执行求解。

3.一种基于多文件流的任意对角线性方程组并行求解***，其特征在于，包括如下模块：

分区模块：经过分区软件将带状方程剖分为p个初始子区域，并将每个初始子区域的系数矩阵、方程右端项单独保存在一个文件中，其中p为单个节点机内处理器核数的整数倍；

求解模块：令各节点机内的主核并行读取文件，从核根据文件中的系数矩阵、方程右端项形成***方程，对***方程的内部变量值进行消去后，再回代求解内部变量值作为求解结果输出。

4.根据权利要求3所述的基于多文件流的任意对角线性方程组并行求解***，其特征在于，所述求解模块包括：

缩聚模块：令进行并行计算的各节点机内的主核同时并行读取相应初始子区域的文件，每个节点机内的从核通过各节点机存储的初始子区域的文件单独形成每个初始子区域的***方程，并经过缩聚消去每个初始子区域的内部变量值，得到仅含有边界变量的各初始子区域的界面方程；

界面方程求解模块：各节点机内的主核通过相互通信并利用并行SuperLU算法求解界面方程，得到各初始子区域的边界变量；

回代模块：得到各初始子区域的边界变量后，每个节点机内的主核将包含系数矩阵的内部方程系数和自身边界变量值在内的数据信息送给位于同一节点机内的从核，从核接收数据信息并提取自身边界变量值，再回代求解内部变量值；若迭代结束则输出结果，否则，则重新执行求解。

5.根据权利要求1所述的基于多文件流的任意对角线性方程组并行求解方法或者权利要求3所述的基于多文件流的任意对角线性方程组并行求解***，其特征在于，所述初始子区域是经过分区软件对带状方程剖分得到的，且每个初始子区域内的界面方程的带宽不受剖分影响。

6.根据权利要求1所述的基于多文件流的任意对角线性方程组并行求解方法或者权利要求3所述的基于多文件流的任意对角线性方程组并行求解***，其特征在于，所述内部变量值是指从属于一个初始子区域所独有的变量值。

7.根据权利要求2所述的基于多文件流的任意对角线性方程组并行求解方法或者权利要求4所述的基于多文件流的任意对角线性方程组并行求解***，其特征在于，所述边界变量是指同时从属于两个或多个初始子区域的变量。

8.根据权利要求2所述的基于多文件流的任意对角线性方程组并行求解方法或者权利要求4所述的基于多文件流的任意对角线性方程组并行求解***，其特征在于，所述界面方程是指初始子区域通过缩聚消去内部变量后得到的仅与边界变量有关的方程，所述界面方程左端项为凝聚得到的初始子区域的等效系数矩阵，右端项为凝聚得到的初始子区域的等效方程右端项。

9.根据权利要求2所述的基于多文件流的任意对角线性方程组并行求解方法或者权利要求4所述的基于多文件流的任意对角线性方程组并行求解***，其特征在于，所述并行SuperLU算法并行求解界面方程时各界面方程的等效系数矩阵和等效方程右端项仍分布式存储在各个节点机上，其中的中间计算结果以矩阵和向量积的形式分布式存储。

10.根据权利要求2所述的基于多文件流的任意对角线性方程组并行求解方法或者权利要求4所述的基于多文件流的任意对角线性方程组并行求解***，其特征在于，所述任意对角线性方程组其形式如下所示：

每个初始子区域，设M、N分别为初始子区域的起始行、终止行，按照所述意对角方程组虚线划分构成块状矩阵{A_i,j},i＝1,…5；j＝1,…5；

所述缩聚消去通过下式得到：

其中，F_I和F_II为等效方程右端项，