CN101630271A - 一种网格环境下的地震模拟计算支撑中间件*** - Google Patents

Abstract

一种网格环境下面向地震灾害模拟预测过程领域的数值模拟计算软件的中间件***，可以集成Ansys、Abaqus等多种常用的建模仿真分析软件，它具有独立的面向地震模拟计算领域的任务描述能力，能将客户端定制的某一个具体的地震模拟计算和分析任务进行解析，最终分解成可以并行执行的各项子任务，封装成彼此间可以独立执行的代理被调度到不同的网格节点上去执行。而每个节点上独立安装有各种仿真分析软件，其接受任务、执行任务、给出计算结果。最后，代理在节点上的执行结果通过任务解析器反馈给客户端。对于使用者提供透明的并行计算。

Description

一种网格环境下的地震模拟计算支撑中间件***

技术领域

本发明属于计算机仿真模拟技术，具体涉及一种给地震和强台风等重大灾变模拟与分析提供一个稳定可靠、可扩展、适应计算和网络技术演化需求的计算中间件，能够使得地震和其它灾变的专业人员可以利用本支撑***透明地利用其专业理论与方法，开发具有良好成长性的数值求解、分析和预测***，而不必关心和注意他们所不擅长的最新的计算机技术和软件开发理论与方法。

背景技术

建立地震灾害过程综合模拟仿真***对于减小地震造成的影响有着重大的作用，在地震灾害模拟预测过程领域有着巨大的计算需求，并且这些计算需求普遍具有计算数据量大、计算周期长等特点，因此，运用并行处理技术来进行地震灾害的计算机模拟成为人们的首选。在重大工程动力灾变模拟过程的每个步骤中基本上都有相应的商业软件如三维几何建模、数值求解、显示、分析等等，并行地震数据处理中地震数据处理和解释***的研究一直是众多公司和研究机构的研究热点之一，已有多种并行处理与解释***走向实际应用，如OpenSpirit、WebVista、geocluster等。但是，随着计算机和网络技术的不断发展，由于超级计算机的价格高昂和可扩展性过低等不足，传统的借助高性能超级计算机来对灾变过程进行仿真和预测方法的局限性日趋明显。

在网格等高性能计算技术的研究中，最关键的就是中间件，它是当今基础软件体系的三大支柱之一，它可以屏蔽低层分布式环境的复杂性和异构性，简化分布式应用程序的开发，提高分布式应用程序的健壮性、可靠性和可用性。中间件是一种独立的***软件或者服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源；近年来随着网络计算技术的快速发展，中间件技术取得了重大进展。

另一方面，由于在地震模拟、结构分析预测等领域的强烈应用需求的驱动，近年来已有多种用于地震和台风的***出现，反应在近几年的SEGY年会的成果上，我国的国家地震局地震预测中心、中国石油大学、长江大学等也已有相应的基于超级计算的分析和预测软件问世。但是，由于缺乏最新的计算机和网络技术以及基于网络的软件设计理论与方法的支持，这些***在应用上仍存在适应性和可扩展性较差等局限性，主要表现为以下方面：

(1)异构性问题：在强地震和强台风等重大工程动力灾变模拟过程中，三维几何建模、数值求解、显示、分析和预测，可能由不同地区的不同部门完成，根据需要，不同部门可能会采用不同操作***甚至不同体系结构的集群。集群/网格中间件主要的异构问题包括体系结构的异构，硬件异构，数据异构，网络线路(有线或者无线)异构以及上层应用程序的异构。能否合理的解决这些异构是中间件的一个关键问题。由于下层体系结构以及硬件的复杂多变性，现有的中间件大多只是在特定的网络环境下具有一定扩展性。特别是在集群/网格领域内，现有的中间件都是对应特定的集群/网格***，这些计算环境都有相对固定的体系结构以及硬件配置。当将其中间件移植到其他的分布式计算环境中之后便失去了原有的性能。随着软硬件技术的飞速发展，开发出适应性，扩展性良好的中间件将有着巨大的意义。

(2)异构数据源的处理：在地震等灾变模拟的研究领域，各个部分管理和存储数据的方式都有着很大的异构性，如在强地震模拟仿真中数据不仅有二维，三维甚至四维，而且数据还可以表示成不同的格式例如netcdf或segy。异构数据源主要包括***异构和模式异构。其中***异构指数据源所依赖的操作***不同(如Windows，Unix等)，数据库管理***(如DB2，Oracle，SQLServer，Sybase等)。而模式异构指的是数据源在存储模式上的不同，存储模式主要包括关系模式，对象模式，对象关系模式和文档嵌套模式等几种，即使是同一类存储模式，他们的模式结构也可能存在差异，例如不同的关系数据管理***的数据类型等方面并不是完全一致的，如Oracle所采用的数据类型与SQL Server所采用的数据类型并不是完全一致的。由此可以看出要开发出移植性良好的中间件，异构数据源的处理将是最关键的问题之一。目前国内外在这方面的研究已经取得了一定的进展，但是处理异构数据源的中间件技术并不是非常成熟。特别是在***异构这方面还有大量的工作需要去做。

(3)专用并行文件***：灾变模拟处理的数据量往往特别大，如日本的地球模拟器在模拟日本东京大地震时，需要对采集的树百TB的地震数据进行综合处理，如何有效地解决I/O瓶颈问题，实现***的计算、通讯和I/O性能的均衡扩展，一直是高性能计算领域急待研究解决的关键技术，为地震等灾变模拟***设计一个基于MPI-IO的高效，高可靠性的专用的并行文件***。，建立高效的并行模型对分发后的数据进行处理对提高***效率，充分利用超级计算机资源无疑具有相当重要的意义。

(4)任务描述与解析：在基于网格计算的地震分析和预测***中，灾变模拟处理的任务需要在不同网格节点上由不同的数值分析处理软件来完成。不同的计算节点对任务有着不同的描述工具和方法，比如说ansys软件采用APDL语言来描述计算过程。现有的研究工作中缺乏一种针对地震分析和预测任务的统一描述工具。该工具能使用户能以一种统一的方式来描述和解析地震分析和预测任务，使得该任务解析成不同的子任务，通过作业调度分发到不同的计算节点上去执行。同时由于不同的计算资源节点上执行程序语法和数据格式都是不一样的，需要平台提供任务解析和翻译的功能。

(5)作业调度：在基于网格计算的地震分析和预测***中，作业调度是提高资源利用率，实现资源共享，提高***处理速度和减少响应时间的核心部分，直接关系到灾变仿真网格***性能的发挥。然而，当前作业调度算法的研究存在局限性，多数算法仅仅满足网格自然特性(协同性，异构适应性，网络适应性和规模可扩展性)中的部分特征。其中，单址协同算法多数由传统的封闭管理域异构计算***作业调度算法扩展而来，忽视了多址协同对降低作业响应时间和提高资源使用率的影响，不具备完备的协同性。虽然许多研究工作提出了多址协同问题和调度算法，然而这些工作假设所有高性能集群均为同构，与真实的网格计算环境有较大的差距，在异构适应性方面有所欠缺。此外，部分工作忽略了作业传输开销和算法复杂性，不具备网络适应性和算法规模的可扩展性，因此难以在大规模网格调度环境中得到实际应用。

(6)容错技术：重大工程动力灾变模拟如强地震下的重大工程的结构破坏的模拟计算可能会持续几个月甚至更长的时间，随着网格计算规模的逐渐扩大与复杂度的不断提高，***中某些构件的失效概率不断提高。网格计算中的应用任务具有计算量大，周期长的特点，所以在无容错措施的情况下，生命期较长的进程就可能由于出错而不得不重新启动，并且其它与这个出错进程有通信关系的无错进程可能也不得不随之重新启动，以使整个***重新进入一致状态，这种损失是巨大的。因而，对网格计算***的容错机制的研究也具有同样意义。

发明内容

本发明的目的在于为地震和强台风等重大灾变模拟与分析提供一个稳定可靠、可扩展、适应计算和网络技术演化需求的计算中间件***，该***能描述地震和强台风等重大灾变模拟与分析任务，并对任务进行解析和调度，使之能在网格上不同的计算资源节点上并行执行。其特征在于：客户端，任务解析器，任务调度模块，移动代理管理平台，抽象数据接口，并行文件***，和容错模块。

客户端用于定制和提交地震分析和预测模拟处理的任务。由于在网格环境中不同的计算节点对任务有着不同的描述工具和方法，本中间件***提供了一套统一的任务描述方法，可以支持用户对地震领域分析和模拟计算任务的定制和描述。用户在客户端中编辑和定制任务，由客户端将任务提交给服务器端的任务解析器。

任务解析器用来接受和解析客户端所请求的地震分析和预测模拟处理任务。由于地政分析和预测的模拟处理任务往往具有计算量大和海量数据等特点，由单一的进程和处理机来处理在时间上往往是不现实的。这就需要任务解析器对任务进行分析和解析，按照任务描述划分为多个可以并行进行的子任务。

任务调度模块的主要功能为将任务解析器提供的子任务在灾变仿真网格中的计算节点间进行统一调度，是提高资源利用率，实现资源共享，提高***处理速度和减少响应时间的核心部件。本任务调度模块具有完全异构环境中的多址协同的功能，能有效提高灾变仿真网格***的性能。

移动代理管理平台主要针对网格环境下底层机群/网格结构、操作***以及其他软硬件环境的异构性，使***具有自主性、移动性、协作性、安全性和智能性等特征。其主要功能在于将子任务封装成分布的agent部署到网格中的节点上，并实现agent间相互通信等相关功能，使得本中间件***具有很高的可扩展性。

抽象数据接口主要用于解决从异构数据源中有效提取数据问题，在不改变数据源的存储和管理模式的条件下有效地对数据进行集成和管理。抽象数据接口是一个数据中间件，将屏蔽底层分布异构的数据源之间的差异。运用统一的数据接口来管理不同异构数据源中的数据，主要解决不同格式的数据与应用程序之间的数据接口问题。可以屏蔽不同操作***和数据库***的差异，使面向特定领域所需的技术得以实现，供不同的代理高效地共享和互操作。

并行文件***主要用于在计算和分析过程中频繁地异地数据访问和存储时提高整个分布式应用***的性能。本模块是一个基于并行分布式文件***PVFS的面向地震模拟的专用并行I/O***，其主要作用在于减少各分布进程的I/O请求次数、将较多的小的请求合并成较少的请求、减少进程间的通信开销。

容错模块包括故障检测技术、容错算法与备份恢复机制。在强地震模拟的地震数据中，一个处理作业需要很长的计算或处理时间，容错模块主要用于防止***计算过程中由于一个或多个计算节点的非人为崩溃而导致整个作业需要重新启动的损失。在多个代理进程协同分析处理时，保证***提交的模拟分析作业得到正确的运行结果。

附图说明

图1是本发明***的顶层模块图。

图2是本发明***的***流程图。

图3是本发明***中整体模块图。

图4是本发明***中客户端模块示意图。

图5是本发明***中任务解析器模块示意图。

图6是本发明***中任务调度模块示意图。

图7是本发明***中网格节点状态表示意图。

图8是本发明***中抽象数据接口模块示意图。

图9是本发明***的并行文件***模块示意图。

图10是本发明***的应用***集成接口模块示意图。

图11是本发明***的容错模块示意图。

具体实施过程

如图1所示，本发明***包括客户端100、任务解析器200、任务调度模块300、移动代理管理平台400、抽象数据接口500、并行文件***600、应用***集成接口700以及容错模块800。

任务解析器200负责接受用户通过客户端100提供的接口提交的任务请求信息。任务解析器负责对客户端100所提交的任务进行检验，包括对任务描述文件正确性、完整性的检查。如果任务描述有误或者计算资源缺乏，则发送相应的消息给容错模块800，并通知客户端重新提交任务请求。如果检查通过，则对提交的该任务进行解析和并行化处理，将所请求的任务划分成多个可以并行处理的子任务，提交给任务调度模块300。任务调度模块根据当前网格中计算资源节点和当前网络状态，以及每个子任务进程所需的CPU计算时间和通讯模式静态的选择处理机或计算资源数，调用移动代理管理平台400，将子任务封装成独立的代理，通过应用***集成接口700，分发给各资源节点，启动资源节点上相应的数值模拟分析软件服务进行计算。并通过代理间的通信来维持代理间计算任务的协同关系，将计算结果返回给任务解析器200，由任务解析器200对计算结果进行判断和分析后，将对计算结果的描述发送到客户端。

客户端100可以采用如图4所示的功能模块予以具体实现，它包括任务编辑器110，编译模块120，通信模块130，以及本地文件管理器140。

任务编辑器110提供了地震模拟计算的统一标签库111，标签库111提供了地震模拟计算的标签，包括***标签和自定义标签两部分。用户在***标签不够用来描述计算过程的情况下，可以采用统一地震分析和模拟计算任务统一描述语言来自定义标签库。任务编辑器最终保存为XML文档的形式，其实例片断如图4所示。通信模块140负责与服务器端任务解析器200间的SOAP协议通信，将用户编辑好的任务描述文件提交给任务解析器，并负责接收服务器端的反馈。本地文件管理器140负责将用户所编辑的任务描述文件保存在客户端本地，以便所需的时候打开。

任务解析器200可以采用如图5所示的功能模块予以具体实现，它包括任务分析模块210，任务并行化模块220，以及通信模块230。

任务分析模块210负责对客户端100提交的地震模拟计算任务进行检测和分析，通过通信模块230访问任务调度模块300中的网格节点资源状态表320，获取当前网格中的计算资源节点的状态，由此判断当前网格是否有能力执行客户端100所提交的任务。如果该任务不能被有效执行，或者当前网格中相关计算资源节点正处于忙碌状态，则通过通信模块230通知客户端撤销此次任务或者等待执行。任务分析模块210一旦验证通过，则通知任务并行化模块220对任务进行并行化处理。

任务并行化模块220根据任务描述文档中的关键标签对任务进行并行化处理，将任务按照计算需求划分为多个可以并行执行的子任务，并形成关于子任务描述的中间文档221。在划分子任务的过程中如出现因为文档不规范而划分失败，则调用通信模块230通知容错模块800。任务并行化处理完毕，通过通信模块230将中间文档221提交至任务调度模块300。

任务调度模块300可以采用如图6所示的功能模块予以具体实现，它包括子任务封装模块310，网格状态侦听器320，调度控制模块330，以及移动代理通信接口340。

子任务封装模块310功能为调用移动代理通信接口340，将任务并行化模块220划分的子任务封装成彼此间可以独立运行的移动代理410，子任务被封装成移动代理后，在其生命周期，由移动代理管理平台400统一接管其创建、撤销以及相互间的通信。

网格状态侦听器320用于记录当前网格节点的状态，主要包括各网格节点的运行状态，处理机计算能力，处理机计算范围，各节点之间通信带宽等，形成网格节点状态表321。节点状态表示意图如图7所示。

调度控制模块330根据网格节点状态表321中的描述，将各子任务的移动代理派往相应的计算节点。并根据网格中的实时状态在各计算资源节点间进行调度，以保证较高的并行与协同执行的能力。移动代理通信接口340提供了任务调度模块300与移动代理管理平台400之间的调用接口，任务调度模块300可以通过该接口生成、撤销以管理子任务代理410。

在网格资源节点中，存在各种异构的数据资源，移动代理在访问这些资源时，需要屏蔽底层分布异构的数据源之间的差异，解决不同格式的数据与应用程序之间的数据接口问题。抽象数据接口500是一个数据中间件，主要用于解决从异构数据源中有效提取数据问题，在不改变数据源的存储和管理模式的条件下有效地对数据进行集成和管理。现阶段的抽象数据接口主要包括：关系数据库抽象接口510，文本访问接口520，LDAP访问接口530，用于解决一般情况下数据存储层的统一访问问题。功能模块如图8所示。

并行文件***600是一个基于并行分布式文件***PVFS的面向地震模拟的专用并行I/O***。主要包括：并行文件索引***610，管理节点620，I/O节点630和计算节点640。其功能模块逻辑视图如图9所示，采用多个I/O服务器、单一元数据服务器设计。其中并行文件索引***610负责为网格文件***中的各种数据建立索引库611；管理节点620：即元数据服务器，负责管理所有的文件元数据信息；I/O节点630：运行I/O服务器，负责网格文件***中数据的存储和检索；计算节点640：处理应用访问，通过PVFS专有的libpvfs接口库641，从底层访问运行I/O服务器630。

并行文件***600中的任何一个节点作为其中的一个节点运行，也可以同时作为两种或是三种节点运行。并行文件***600提供重要的4个功能：

1)一致性的访问名字空间：为了易于安装和使用，提供了统一的文件命名空间；

2)支持现存的***访问方式：在已安装并行文件***600文件和目录能够继续使用Linux类似的命令和工具，比如ls、cp和rm，方便用户的使用。该功能由Linux核心的一个模块提供支持。

3)将数据分配到多个磁盘上：为高速访问群集中的文件***，并行文件***600将文件数据进行条块化划分，分散存储到某些网格节点(称作I/O节点)的多个磁盘上，从而消除了I/O路径的瓶颈，且增加了并发带宽。

4)为应用程序提供高性能的数据访问方式：应用程序除了可以通过现有的***调用访问方式外，还可以通过本地libpvfs库641，以专有API的方式访问本并行文件***的。而libpvfs直接与PVFS服务器相连接，而不是传递消息给内核，提高了访问效率。

应用***集成接口700为本地震模拟计算支撑中间件***与Inventor、Ansys等建模仿真分析软件的应用集成接口。包括任务描述接口710，数据集成接口720，以及UDDI注册服务器730。其功能模块逻辑视图如图10所示。其中任务描述接口710和数据集成接口720都采用web服务的形式来实现。

子任务代理中的计算逻辑是采用客户端的统一标签库111来进行描述的。在子任务以代理的方式调度指派到各计算节点上之后，每一个节点上的数值模拟计算软件对任务都有其自己的描述方式，任务描述接口710就在其中间起描述转换的作用。同时，每一个节点都有其自己的数据存储格式，这就需要数据集成接口720来完成数据格式转换的功能。同时，生成描述该应用***集成接口700功能和调用方法的WSDL文件731；然后，生成服务器端基于SOAP的服务框架，并在此基础上开发适用于已有***的适配器；最后，将服务描述文件通过UDDI API 732发布到UDDI注册服务器730中。

容错模块800包括异常处理模块810、故障检测模块820以及备份恢复模块830。功能模块逻辑视图如图11所示。在强地震模拟的地震数据中，一个处理作业需要很长的计算或处理时间，容错模块800主要用于防止***计算过程中由于一个或多个计算节点的非人为崩溃而导致整个作业需要重新启动的损失。异常处理模块810用于解决各个模块由于用户输入而产生的各种软件异常，并将异常信息统一反馈给客户端用户。故障检测模块820分为网络带宽故障检测821，计算资源节点异常检测822，数据传输故障检测823，以满足网格***本身及其资源的高度动态异构性。

详细的***模块图如图3所示。

整个网格环境下的地震模拟计算支撑中间件***模块功能描述以及模块间的数据流传递细节如下：

(1)对计算任务进行描述，其过程包括：

计算任务描述的对象是***终端的使用者。使用者根据本***所提供的接口对所需要执行的地震模拟计算任务进行描述，具体流程如下：

(1.1)使用者使用本***提供的面向地震模拟计算的任务描述语言，通过客户端100编辑任务。

(1.2)客户端对使用者所编辑的任务进行语法检查，如果出错，则给出出错信息，并提示使用者修改。

(1.3)使用者选择将编辑的任务在本地和位于服务器端的任务解析器200中进行保存。

(1.4)客户端将编辑完成的任务发送至任务解析器200。

(2)对任务进行解析，其过程包括：

任务解析以及并行化处理流程的主体是任务解析器200，将用户定制的计算任务进行验证、解析以及并行化处理，最终调用移动代理管理平台400形成多个可并行执行的任务代理，具体流程如下：

(2.1)询问任务调度模块300当前网格节点的状态，验证客户端提交的任务描述是否具有可行性。如果缺乏计算资源，则通知客户端该任务无法完成。

(2.2)解析当前任务，将当前任务拆分成可以并行执行的多个子任务，形成每个子任务的描述文件。转发给任务调度模块300。

(3)对任务进行调度，其过程包括：

任务调度处理流程的主体是任务调度模块300，将任务解析器200提交过来的各项子任务描述文件进行封装，调用移动代理管理平台400提供的接口，将各项子任务封装成移动代理，根据网格中各处理机和带宽的实际环境，在资源节点间进行调度。具体流程如下：

(3.1)搜集各网格资源节点的当前状态，形成状态表。

(3.2)调用移动代理平台400的接口，将各项子任务封装成可以相互间通信的移动代理。

(3.3)根据当前网格资源节点状态表，根据并行调度算法，将移动代理指派到相应的节点上。

(4)任务处理执行，其过程包括：

任务处理执行流程的主体是各网格资源节点，指的是在移动代理管理平台400的统一调控下，各资源节点对分配的子任务执行的过程。其处理流程为全部子任务代理的生命周期。在流程处理过程中，移动代理管理平台400需要维持代理间的相互通信与并行处理，并负责将处理结果收集到任务解析器200。

(5)并行文件***600的处理流程设计如图10所示。步骤如下：

(5.1)当各子任务代理410发起文件操作请求时，请求被传送到底层的运行I/O服务器630。

(5.2)并行文件***600向元数据服务器620发送一个请求，要求取得相关文件在各个I/O节点630上的元数据信息。

(5.3)元数据服务器620把元数据信息返回给计算结点640。

(5.4)使用这些信息，计算节点640直接与所有相关的I/O节点630进行通信，获得整个文件。

这些步骤对于调用应用程序来说都是透明的；计算节点使用libpvfs 641直接联系相应的I/O节点630进行读写操作，而不必与元数据服务器620通信，从而大大提高了访问效率。

整个***流程如图2所示。

Claims (5)

1.一个模拟与分析地震和强台风等重大灾变的中间件***

本中间件***可以为地震和强台风等重大灾变模拟与分析提供稳定可靠、可扩展、适应计算和网络技术演化需求的功能，该***能描述地震和强台风等重大灾变模拟与分析任务，并对任务进行解析和调度，使之能在网格上不同的计算资源节点上并行执行。其特征在于：客户端，任务解析器，任务调度模块，移动代理管理平台，抽象数据接口，并行文件***，和容错模块。

客户端用于定制和提交地震分析和预测模拟处理的任务。

任务解析器用来接受和解析客户端所请求的地震分析和预测模拟处理任务。

任务调度模块的将任务解析器提供的子任务在灾变仿真网格中的计算节点间进行统一调度，是提高资源利用率，实现资源共享，提高***处理速度和减少响应时间的核心部件。

移动代理管理平台主要针对网格环境下底层机群/网格结构、操作***以及其他软硬件环境的异构性，使***具有自主性、移动性、协作性、安全性和智能性等特征。

抽象数据接口主要用于解决从异构数据源中有效提取数据问题，在不改变数据源的存储和管理模式的条件下有效地对数据进行集成和管理。

并行文件***主要用于在计算和分析过程中频繁地异地数据访问和存储时提高整个分布式应用***的性能。

容错模块包括故障检测技术、容错算法与备份恢复机制。

2.如权利1所述的客户端模块，其特征在于提供了一套统一的任务描述方法，可以支持用户对地震领域分析和模拟计算任务的定制和描述，用户在客户端中编辑和定制任务，由客户端将任务提交给服务器端的任务解析器。

3.如权利1所述的移动代理管理平台，其特征在于将子任务封装成分布的agent部署到网格中的节点上，并实现agent间相互通信等相关功能，使得本中间件***具有很高的可扩展性。

4.如权利1所述的抽象数据接口，其特征主要在于：

(1)运用统一的数据接口来管理不同异构数据源中的数据，屏蔽底层分布异构的数据源之间的差异。

(2)解决不同格式的数据与应用程序之间的数据接口问题。

(3)屏蔽不同操作***和数据库***的差异，使面向特定领域所需的技术得以实现，供不同的代理高效地共享和互操作。

5.如权利1所述的并行文件***，其特征在于它是一个基于并行分布式文件***PVFS的面向地震模拟的专用并行I/O***，可以减少各分布进程的I/O请求次数、将较多的小的请求合并成较少的请求、减少进程间的通信开销。

Images