CN104750657A - 适用于缝洞型碳酸盐岩油藏的数值模拟冗余并行计算方法 - Google Patents

Abstract

本发明提供了一种适用于缝洞型碳酸盐岩油藏的数值模拟冗余并行计算方法，属于油气田开发领域。本方法包括：对建立好的地质模型进行区域分解，将其分解成n个网格块；一个CPU处理器负责一个网格块；每个网格块包含1个或多个网格；在进行区域分解后，如果在区域分解的边界处有相邻的网格，其中第一个网格被分配给第一个CPU处理器，与之相邻的第二个网格被分配给第二个CPU处理器时，则分别将第一个网格冗余到第二个CPU处理器上，将第二个网格冗余到第一个CPU处理器上。

Description

适用于缝洞型碳酸盐岩油藏的数值模拟冗余并行计算方法

技术领域

本发明属于油气田开发领域，具体涉及一种适用于缝洞型碳酸盐岩油藏的数值模拟冗余并行计算方法。

背景技术

缝洞型碳酸盐岩油藏的非均质性较强，由于数值模拟采用有限差分方法对压力和饱和度进行计算，必须使用对雅可比矩阵的操作和运算。在解矩阵的过程中，相邻网格的物性可能相差较大，造成收敛速度缓慢，影响数模的计算效率。针对此问题，国内外出现了对数值模拟并行算法的研究，比较典型的方法如下：在硬件方面采用PC集群的方式，架构多台运算服务器，服务器之间的连接方式采用以太网方式。此外，还需要一台管理服务器对各运算服务器进行协调。在软件方面，采用域分解的方式，将参与计算的油藏网格模型分解为若干个计算区域，并由管理服务器分配给各个计算服务器进行计算，每一步的计算结果出来以后进行汇总，而后进行下一步的计算。该类方法相对单机计算速度有了较大的提高，主要问题是各个计算服务器CPU之间的通讯占用时间较长，尤其当计算主机CPU数量增大到一定程度时，CPU之间的通讯甚至比计算的时间还要长。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种适用于缝洞型碳酸盐岩油藏的数值模拟冗余并行计算方法，实现对缝洞型油藏数值模拟并行算法的精细化处理，主要解决影响总体性能的CPU间的通讯问题，缩短该类油藏的数值模拟并行计算时间，提高整体计算效率。

本发明是通过以下技术方案实现的：

一种适用于缝洞型碳酸盐岩油藏的数值模拟冗余并行计算方法，包括：

对建立好的地质模型进行区域分解，将其分解成n个网格块；一个CPU处理器负责一个网格块；每个网格块包含1个或多个网格；

在进行区域分解后，如果在区域分解的边界处有相邻的网格，其中第一个网格被分配给第一个CPU处理器，与之相邻的第二个网格被分配给第二个CPU处理器时，则分别将第一个网格冗余到第二个CPU处理器上，将第二个网格冗余到第一个CPU处理器上。

所述方法进一步包括：把所需内存分配到所有参与计算的CPU处理器上。

每个CPU处理器负责计算雅可比矩阵中与其负责的网格块对应的行，每一行代表一个需要解的参数。

与现有技术相比，本发明的有益效果是：对现有的数值并行算法的通讯环节予以舍弃，代之以CPU冗余计算功能。发展了缝洞型油藏数值模拟理论和方法，使数值模拟研究人员可以更高效的进行数模计算。

附图说明

图1，本发明数值模拟冗余并行算法网格划分过程图。

图2，数值模拟冗余并行算法网格划结果图。

图3每个CPU上的步骤框图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

本发明在典型的域分解并行算法的基础上提出了一种新的解决并行算法中CPU通讯时间过长的方法。

1.网格分区

网格分区，即将网格(该网格指的是建立好的地质模型上划分出来的网格)按照METIS(METIS是一种网格划分算法，是基于并行多核处理器的算法。)进行区域分解，网格分区原则是保持负载平衡和减小处理器之间的通信量及复杂度。按照METIS进行区域分解具体如下：在数值模拟并行算法的网格分区中，将整个数模网格区(即先前建立的网格)离散成许多网格块。如果有n个CPU处理器用于数值模拟并行计算，这些网格块或模拟区域需要分解成n个部分(每个网格块包含1个或多个网格)，基于所使用的处理器个数分解自动进行或根据物理条件手动进行。

2.分布式的内存分配

为了减小单个CPU最大内存需求，该方法使用分布式内存分配，即把所需内存分配到所有参与计算的CPU上(是近似的平均分配，METIS算法根据每个网格与其相邻网格的多少进行分配，目的是为了均衡网格之间的通讯量，提高计算速度)。这一方案保证了软件的开放性(即用越多CPU可解越大的问题)。

数值模拟的算法是通过有限差分生成雅可比矩阵，有限差分法的公式如下，

$-\underset{i}{\mathrm{\Σ}}\frac{{\∂R}_n^{\mathrm{\κ},t+1}}{{\∂x}_i}{|}_p(x_{i,p+1}-x_{i,p})=R_n^{\mathrm{\κ},t+1}\left(x_{i,p}\right)$

公式的积分形式如下：

$\underset{{\mathrm{\Γ}}_n}{\∫}{F}^{\mathrm{\κ}}\·\mathrm{nd\Γ}=\underset{m}{\mathrm{\Σ}}{A}_{\mathrm{nm}}{F}_{\mathrm{nm}}$

该公式来自于物质平衡原理，即流入网格与流出网格液体的质量之差与网格中剩余液体质量相等。

该方程的解法需要用到线性代数原理中的雅克比矩阵(雅可比矩阵是对网格属性进行差分后形成的矩阵，不是指实际网格)。(图3展示的就是每个CPU上利用上式进行数值模拟的步骤框图)

每个CPU处理器负责计算雅可比矩阵中与其负责的网格(即n个网格块中对应该CPU的那个网格块)对应的行，两个相邻网格计算的时候对应整个矩阵(也就是说，两个相邻网格块构成了整个矩阵。进行计算时，事先需要将矩阵中各自对应行解出来，才能解出整个矩阵。)，其中每一行代表一个需要解的参数，如油饱和度为矩阵一行，水饱和度也是一行，等等…；雅可比矩阵中元素的计算基本分为两部分：单个网格的计算(不需要通信)和所有相关连结的计算(需要通信)。

3.计算服务器CPU的通讯

在数值模拟计算中，由于将网格进行了域分解，并由各个独立CPU进行计算，会出现一个问题，即分别在不同CPU计算的原来相邻的网格之间需要交换数据。因此，在计算过程中，每一时间步完毕时，具有原来相邻网格的不同CPU之间需要进行数据交换，此数据交换称为计算服务器CPU之间的通讯过程。

经测试，该通讯过程所消耗的时间取决于两点：1)域分解时网格切分的方式，最为高效方式是尽量减少被分配到不同计算服务器CPU的相邻网格个数。2)计算服务器CPU数量的增加，这与并行计算的自身构架构成矛盾，即增加CPU个数应缩短计算过程，然而随着CPU数量增加带来的通讯过程的延长又会延缓计算过程。

以上两点中的第二点是制约油藏数值模拟计算的主要问题。本发明采用网格冗余分配的计算，即不采用常规的域分解方式分配计算网格(本发明首先进行METIS区域分解，然后对分解后的区域中的相邻网格进行冗余)。域分解时，对于有相邻的网格(指的是两个网格块边缘彼此相邻的网格。)分配给不同CPU时，采用相邻网格互换的冗余分配方式进行处理，由于相邻存在通讯交换数据的问题，因此通讯会对计算造成较大影响。这里在区域分解的网格边界处进行了处理，即将其中一个网格在对方的区域中进行冗余(即把相邻的网格复制过来)，这样可以避免通讯的时间问题。

图1为数值模拟冗余并行算法网格划分过程图。该图对数值模拟冗余并行算法的具体网格几何结构划分做了说明，图2为数值模拟冗余并行算法网格划结果图，本图展示了冗余网格的最终结果，也就是最终参与计算的网格结构。

图1中的2，4和5，7是相邻区域(是指两个网格块中彼此相邻的网格，形成的冗余的区域。)中的网格，在2，4与5，7分别计算结束后，需要交换两个区域的计算结果数据。这样，两个区域就产生了通讯，从而耗费一定的通讯时间。现在采用图2所示方法，即在2，4一侧增加5，7两个网格数据，这样，在本区域内可以将2，4计算后的结果与5，7计算后的结果实现交互。

这种方法的特点是：

1)回避了相对缓慢的通讯过程：以太网的通讯过程是以帧进行的，尽管帧率一般在毫秒级的水平，但帧率是一定的，当通讯次数增加时，效率必然降低。如果不进行计算服务器CPU之间的通讯，则可以大幅度提高运算速度。

2)冗余数据量的问题：不进行通讯的代价是产生了冗余数据，从而会增加单个CPU的计算量。经测算，在最复杂的三维网格情况下，总数据量最多增加三分之一。三分之一的数据量对于CPU的计算效率的影响远低于CPU之间的通讯时间。经测试，对于网格数为3万的数值模拟，冗余并行计算方法的速度大约为普通并行算法的2-3倍。

本发明提出的数值模拟冗余并行计算方法，对现有的数值并行算法的通讯环节予以舍弃，代之以CPU冗余计算功能。发展了缝洞型油藏数值模拟理论和方法，使数值模拟研究人员可以更高效的进行数模计算。

应用于油藏数值模拟并行计算中，尤其适用于网格数目庞大(如千万网格)及地质模型较为复杂(如缝洞型碳酸盐岩)的情况，目前国内外无类似方法，因此该方法的应用前景较好。

为了验证本方法的有效性，编制了该方法的数值模拟程序，并与现有的并行数值模拟程序进行对比。

测试时间为2012年6月15日-17日，测试环境：DELL PowerEdge刀片服务器，12个刀片，24个CPU，96核。测试问题大小：网格数38546个。数值模拟并行算法对比如表1所示。

表1

由表1可以看出，普通并行方法数值模拟在8个CPU以内与冗余并行方法计算时间差别不大，原因是该计算服务器为8核，故在主板内通讯不需要经以太网而直接使用PCI通道，PCI通讯通道速度远大于以太网通讯速度，因此冗余并行方法消除通讯影响后的优势并不明显。而达到16个CPU以后，通讯时间对效率的影响变的非常明显，本发明冗余方法的计算速度均在普通并行方法的2.5倍以上。

本发明涉及油藏数值模拟并行计算方法，属于油气田开发领域。本发明对现有的油藏数值模拟并行算法进行了本质上的改进，最大限度利用了CPU的性能，消除了以太网在数据交换，通讯方面的劣势。本方法特别适用于网格数量巨大(如千万网格)的数值模拟以及数模本身问题较为复杂(如裂缝溶洞性碳酸盐岩)的情况。这些情况都会导致使用普通并行数值模拟方法造成耗时较长的后果。而经过使用数模冗余并行算法与传统方法的对比后，可以验证该发明专利方法的正确性和有效性。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (3)

1.适用于缝洞型碳酸盐岩油藏的数值模拟冗余并行计算方法，其特征在于：所述方法包括：

对建立好的地质模型进行区域分解，将其分解成n个网格块；一个CPU处理器负责一个网格块；每个网格块包含1个或多个网格；

在进行区域分解后，如果在区域分解的边界处有相邻的网格，其中第一个网格被分配给第一个CPU处理器，与之相邻的第二个网格被分配给第二个CPU处理器时，则分别将第一个网格冗余到第二个CPU处理器上，将第二个网格冗余到第一个CPU处理器上。

2.根据权利要求1所述的适用于缝洞型碳酸盐岩油藏的数值模拟冗余并行计算方法，其特征在于：所述方法进一步包括：把所需内存分配到所有参与计算的CPU处理器上。

3.根据权利要求2所述的适用于缝洞型碳酸盐岩油藏的数值模拟冗余并行计算方法，其特征在于：每个CPU处理器负责计算雅可比矩阵中与其负责的网格块对应的行，每一行代表一个需要解的参数。