CN101741614B - 对等式结点管理器及对等式结点管理方法 - Google Patents

Abstract

本发明公开了一种对等式结点管理器，用于实现网格计算环境中网格资源的组织与管理，包括：虚拟结点资源聚集器，用于对网格计算机环境中的永久性数据资源进行描述、组织与管理，并通过同步机制使全局资源在各结点同步更新；暂时性数据资源聚合容器，用于管理通过服务层产生的新数据资源(中间性成果数据)，并通过同步机制使该新数据资源转化为所述虚拟结点资源聚集器所管理的永久性数据资源；网格结点元服务库，用于构成服务层，管理服务和分配在线的硬件资源；虚拟结点portal配置器，用于向用户提供服务入口，将用户与服务层连接起来。本发明以对等计算模式部署对等式结点管理器，不但实现全局资源的同步更新，为无中心架构提供了机制，而且在该网格环境中，即使出现多个结点的崩溃也不会使整个***崩溃。

Description

对等式结点管理器及对等式结点管理方法

技术领域

本发明涉及计算机网络资源管理技术，尤其涉及网格资源的管理技术。

背景技术

资源是网格中的主要研究对象，网格的目的就是管理网格中的资源，并提供给用户。资源管理关注的不是资源和服务的核心功能(即资源能够为用户做什么)，而是控制网格资源和服务怎样向用户、应用或服务在内的其他实体提供可用能力的一系列操作，即如何对资源进行描述和组织、如何发现资源以及资源的功能以什么方式执行。

网格在广域范围内分布于多个域，规模庞大，资源种类多且异构性更强，拥有非常多的用户，而且网格中同时拥有共享的和私有的资源。网格的这些特点导致了网格资源管理比先前的集群等***的资源管理更为复杂。

资源组织方式是网格计算环境中各种网格资源的结构形式，对网格资源管理效率有着重要的影响。当前网格计算环境中资源的组织方式主要有两种：资源池模型(集中式)和全局-本地两层资源模型。

资源池是一种简单资源模型，该组织方式是在一台中心服务器上记录计算环境中所有资源的信息，对这些信息进行集中式的管理。在为计算问题分配资源时，简单地从服务器的资源列表(资源池)中选择空闲资源来进行计算。资源池中对资源的描述是无序的，并没有对资源进行有效地结构化组织，因而在为计算问题分配计算资源时会比较盲目。代表性的软件有Parabon、Entropia、Condor-G、Charlott等。这种集中式资源管理模式不能解决各结点的自治性，更不用说各结点之间资源的协同和共享了。

采用全局-本地两层资源模型来组织资源的典型软件是Globus。由全球网格论坛(GGF)下属Globus项目组成员联合开发的Globus Toolkit标准工具包，已被公认为当前建立网格***和开发网格软件事实的参考标准，该软件主要由4部分组成：资源代理、协同分配器、资源信息服务组件以及资源分配管理器。Globus所使用的本地资源管理工具各不相同，各个本地资源管理工具的管理机制及对外部提供的接口都不相同。目前常用的本地资源管理工具有Condor、NQE、CODINE、EASY、LSF、PBS、LoadLeveler。为了让一个计算任务能够同时在整个网格环境中分布式地运行，Globus必须为每一种本地资源管理工具提供一种GRAM实现，这就限制了Globus资源模型的可扩展性，将导致使用其他本地资源管理工具的计算资源无法作为网格环境的一部分为计算任务提供服务。

要管理网格资源，首先需要对资源统一描述。目前通常采用UDDI(UniversalDescription Discovery and Integration，统一描述、发现和集成协议)或类似的注册工具。其主要存在的问题是：需要专门针对资源组织的注册单元进行数据采集，导致已有的数据，如元数据库不能直接使用，不但会导致数据描述的不一致性，同时还会浪费大量时间重新采集；大部分采用集中式管理，不符合网格的特点；缺乏对硬件资源、软件资源、数据资源一体化的描述和组织。

其次，资源管理应是分布式的(结点结构是无中心的)，考虑结点的自治性、协调和共享性，硬件资源、软件资源和数据资源应有局部和全局性的概念，局部资源由结点自治，而全局资源由网格内资源共享和协同。目前通常采用的网格资源管理工具的问题是：大多数采用集中式管理，是一种有中心式的管理，无法体现自治性；没有局部资源的描述，无法体现自治性；没有协同与同步机制，全局资源信息不可能多点复制，如果结点故障出现，部分资源无法发现和使用。

最后，在网格计算或服务过程中，要支持长事务机制。用户在请求一个计算或服务中，除了有交互和反馈过程，还有中间计算结果的重用性问题。即上一环节的输出，又是下一环的输入，且可以提供多个用户重用。目前现有技术的问题是：一般不支持长事务机制，一个请求在一个临时的环境下(计算容器)进行工作，计算完成后，环境撤销，无法保持断点和再恢复断点环境计算；对常事务计算机制来说，资源的重用性比较突出，如果全部把中间结果放在永久性资源注册器中，会导致源管理器大量的“垃圾”资源的产生；没有考虑永久性资源和暂时性资源的关系。

发明内容

本发明要解决的技术问题是提供一种结点管理方法及结点管理器，可以把网格中分散的各种资源组织起来，对硬件资源、软件资源、数据资源进行一体化的描述和组织；采用分布式的(结点结构是无中心的)资源组织方式，考虑结点的自治性、协调和共享性，硬件资源、软件资源和数据资源分类为局部和全局性的资源，局部资源由结点自治，而全局资源由网格内资源共享和协同，共享与协同需要同步机制支持；在网格计算或服务过程中，支持长事务机制。

为了解决上述问题，本发明提供了一种对等式结点管理器，用于实现网格计算环境中网格资源的组织与管理，包括虚拟结点资源聚集器、网格结点元服务库、虚拟结点portal配置器和暂时性数据资源聚合容器，其中：

所述虚拟结点资源聚集器，用于对网格计算机环境中的永久性数据资源进行描述、组织与管理，并通过同步机制使全局资源在各结点同步更新；

所述暂时性数据资源聚合容器，用于管理通过服务层产生的新数据资源，该新数据为中间成果数据，并通过同步机制使该新数据资源转化为所述虚拟结点资源聚集器所管理的永久性数据资源；

所述网格结点元服务库，用于构成服务层，管理服务和分配在线的硬件资源；

所述虚拟结点portal配置器，用于向用户提供服务入口，将用户与服务层连接起来。

进一步地，所述虚拟结点资源聚集器包括***元数据目录表、应用元数据表、副本元数据目录表、***元服务表和资源统一目录同步管理器，其中：

所述***元数据目录表用于存储关于网格本身结构的信息；

所述应用元数据表用于存储关于与具体应用相关的数据的内容和结构、获取数据的条件信息；

所述副本元数据目录表用于存储关于应用元数据的数据副本的信息；

所述***元服务表用于存储关于元服务结构的信息；

所述资源统一目录同步管理器用于使用对等式的基于消息队列的同步机制同步更新所述***元数据目录表、应用元数据表、副本元数据目录表和***元服务表。

进一步地，所述暂所述时性数据资源聚合容器包括结点元数据表、结点空间数据目录表和暂时性数据资源目录管理器，其中：

所述结点元数据表，在所述应用元数据表上扩展；

所述结点空间数据目录表，在所述副本元数据目录表上扩展；

所述暂时性数据资源目录管理器，用于管理和更新所述结点元数据表和结点空间数据目录表。

进一步地，所述网格结点元服务库包括元服务与元计算库、工作流解释器、全局资源调度器和智能服务引擎，其中：

所述元服务与元计算库，用于计算资源监控与调度元服务；其中元服务包括：网格基本元服务，为基本GIS功能服务；专业元计算服务，为地质领域专业计算服务；结点域元服务，为自治性提供的服务；

所述工作流解释器，用于对工作流服务的全局按标准协议解析，其中所述工作流服务，是由元服务与元计算组合的服务；

所述全局资源调度器，用于通过调用调度元服务对结点资源进行监控与调度；

所述智能服务引擎，用于根据异步与均衡负载、生命周期、服务与权限绑定以及资源实体操作实现服务调用。

进一步地，所述虚拟结点portal配置器包括用户注册与角色分配表、角色与权限分配表、逻辑域配置表、权限与资源绑定表、全局用户域同步管理器以及结点门户服务迁徙器。

本发明还提供了一种对等式结点管理方法，包括如下步骤：

步骤1，通过元数据管理工具将本地元数据上载到本地元数据库；

步骤2，在消息队列表中为新增的数据记录消息，并设置消息的状态为未处理；

步骤3，资源统一目录同步管理器从消息队列表中读取未处理的消息；

步骤4，根据消息内容从相应的数据表中获取数据；

步骤5，根据数据的操作类型，调用目标结点上的元数据服务；

步骤6，由目标结点上的元数据服务，实现操作的同步；

步骤7，从目标结点上的元数据服务中获取成功或失败的操作结果标志；

步骤8，修改源结点上消息队列表中的对应消息的成功或失败的状态。

进一步地，所述步骤1中，还包括通过元数据管理工具对本地元数据库中的数据进行删除和/或更新的操作。

进一步地，所述步骤6中，所述的操作包括添加、修改或删除操作。

进一步地，所述步骤8中，修改源结点上消息队列表中的对应消息的成功或失败的状态的方法为：如成功，将消息赋值为255；如失败，将消息赋值为小于255的值。

本发明以P2P(对等计算)模式部署对等式结点管理器，确立了以此为基础(中间件)搭建的平台，是无中心的，通过目录服务同步机制，不但实现对等式结点管理器中的全局资源的同步更新，为无中心架构提供了机制，而且在该网格环境中，即使出现多个结点的崩溃也不会使整个***崩溃。本发明通过为信息提供者提供资源组织的框架，定义了基于组织存储的资源描绘规则，把数据资源、软件资源、硬件资源描述与组织成为一个整体，特别是首先支持国家地理信息元数据标准表结构为元数据标准，或国际OGC(Open GISConsortium，开放地理信息***协会)或自定义标准，用户可在不改变原元数据结构的情况下，实现数据资源的发布与集成。本发明在结点之间建立了一个资源关联与连通的通道，使分散的资源变为一个整体，通过可重定义资源的组合，把结点服务从被动转为主动。

附图说明

图1是对等式资源聚合器部件关联图。

图2是资源统一目录同步管理器体系结构。

图3是资源统一目录同步管理器工作流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明的对等式结点管理器，是汇集和共享地理上分布的海量空间信息资源，对其进行一体化组织与协同处理，从而具有按需服务能力的空间信息基础设施，能够实现网格资源的动态管理。该管理器所提供服务的环境要求不影响各结点本地的管理和自主性，不改变原有的操作***、网络协议和服务，保证用户和远程结点的安全性，通过使用网格中间件平台，屏蔽底层硬件和软件信息，给用户提供完全透明的计算或服务环境。该管理器把分散在各地的计算机资源用网络连接起来，用专门设计的中间件软件有机地把计算、数据、软件等资源粘合在一起，以Web界面接受各地用户提出的计算和服务请求，并将之分配到合适的结点上运行。结点是服务器与服务器、服务器与PC机构成的集群。对等式结点管理器是分布式的，可以以物理分布划分也可按逻辑域划分。

如图1所示，对等式结点管理器的总体架构包括：虚拟结点资源聚集器、网格结点元服务库、虚拟结点portal配置器、暂时性数据资源聚合容器组成。

其中，虚拟结点资源聚集器及暂时性结点资源聚集器与数据层关联性较大，主要是对数据资源的描述、组织与管理，并通过同步机制使全局资源在各结点同步更新，可支持各种GIS(Geographic Information System，地理信息***)软件数据格式的数据、SDE(空间数据库引擎)、HDF(Hierarchical Data Format，层次型数据格式)文件格式。暂时性结点资源聚合容器主要是管理通过服务层产生新的数据资源，并通过同步机制使暂时性结点资源聚集器的数据资源上升为虚拟结点资源聚集器的永久性数据资源。在资源发现过程中，虚拟结点资源聚集器与暂时性数据资源聚合容器具同等效力，但把暂时性数据资源聚合容器的内容提升为永久性资源聚集器的内容需要审批。

网格结点元服务库是构成服务层的主要来源，可以管理基于web、WRSF、栅格流等协议组成的服务和分配在线的硬件资源。虚拟结点portal配置器(自治性)是分布式门户，也是连接服务层与用户的桥梁。用户从Portal进入门户网站后，对等式结点管理器会查询离请求端最近(或负载最小)的结点中的***元数据，并通过结点IP地址探测目前所有可用且负载最小的结点，发现后即把搜索请求发送给该结点。该全局资源调度器可调动所有结点参与元数据及服务的搜索工作，同集中式搜索方式相比，将大大提高搜索效率，从而实现信息搜索方式的网格化、快速化、透明化与所有结点信息的无缝集成。

为了强化门户和工作效率，资源同步管理器为资源共享平台资源同步的发起者，部署各结点计算池中所有结点的元数据、服务信息。各虚拟结点均含有全局域的资源同步管理器，并实现全局域的数据同步。

虚拟结点资源聚集器包括：***元数据目录表、应用元数据表、副本元数据目录表、***元服务表和资源统一目录同步管理器。

***元数据目录表：主要是关于网格本身结构的信息，如，网络互联情况及地址。可设计成如下两个表：

(1)***元数据目录表

(2)结点路由表

应用元数据表：关于与具体应用相关的数据的内容和结构、获取数据的条件等。

副本元数据目录表：关于应用元数据的数据副本的信息，如：文件(空间数据)与具体的存储***之间的映射信息。

***元服务表：主要是关于元服务结构的信息，如，服务内容及地址。

资源统一目录同步管理器：使用对等式的同步更新上述四个资源目录的机制与驱动。

资源统一目录同步管理器的具体实现方式：

资源统一目录同步管理器的工作原理是基于消息队列的同步机制并由消息驱动的。目前，我国已经积累了相当规模的数字化空间信息资源，但是由于运行体系的原因，零散的分布在各个地区，各个单位。随着国家信息化建设脚步的加快，如何实现空间信息资源的共享成为摆在我们面前的重要课题。传统的解决方案是将数据进行集中式管理，其优点是便于共享数据的集中管理和维护，从而确保数据的一致性并减小数据冗余，但是一旦公共数据库崩溃，各个结点就不能共享彼此之间的数据。由此，若各个结点存储同一数据的不同副本，就能较好的解决上述问题。具体地，如果采用一种消息队列同步机制基于web服务技术的穿透防火墙特性，可以实现不同结点间资源的上传、下载、添加、修改、删除等操作。各个结点内部都维护一个消息队列，数据的同步是通过消息来驱动的，它与传统消息队列，如MSMQ(MicroSoft Message Queue，微软消息队列)具有较大的不同。MSMQ的实现原理是：消息的发送者把自己想要发送的信息放入一个容器中(称为Message)，然后把它保存至一个***公用空间的消息队列(Message Queue)中；本地或者是异地的消息接收程序再从该队列中取出发给它的消息进行处理。上述消息队列只限于在本地操作，无需发送消息，具体数据同步操作都是本地结点主动调用其他结点的Web服务完成的，这是一个与传统的消息队列很大不同的地方。此外，各个结点数据库中的消息队列表虽然结构相同，但是相互之间完全独立。通过自行设计的元数据管理工具将数据上载到元数据库或者是对元数据库中的数据进行更新和删除操作之后，消息队列表将为相关数据记录消息，并将状态设置为未处理。资源统一目录同步管理器通过读取消息队列表获取未处理的消息，并对消息进行分析处理，获取关键信息进行数据同步。在这种消息队列同步机制的优势在于在物理结构上，弱化了中心和结点的概念，实现了无中心架构，直接实现了结点与结点之间的通信。

消息队列的数据结构具体可以设计成三个列表：全局消息队列表、结点消息发送队列表(向其它结点发送)和结点消息接收队列表。

全局消息队列表用于保存同步时的状态等信息。

结点消息发送队列表用于保存同步时的状态等信息。

名称	类型	长度	说明
				LogID	INT	32	消息ID
SrcNodeID	VARchar	16	结点标识码，同下面列表是绑定的
				MetadataList	VARchar	变长	结点元数据ID列表
SendFlag	Boolean	1	消息标志位，0代表消息未发送，1代表已发送成功
				DateTime	DateTime	DateTime	消息到达时间
Operator	VARchar	64	操作员
				OpType	Boolean	1	操作类型(0-***，1-更新，2-删除)

结点消息接收队列表，用于保存同步时的状态等信息。

名称	类型	长度	说明
				LogID	INT	32	消息ID
SrcNodeID	VARchar	变长	结点标识码，同下面列表是绑定的
				MetadataList	VARchar	变长	结点元数据ID列表
DownloadFlag	Boolean	1	是否下载的标志位，0代表数据未从中心下载，1代表已下载
				DateTime	DateTime	DateTime	消息到达时间
OpType	Boolean	1	操作类型(0-***，1-更新，2-删除)

基于消息队列同步机制的体系结构如图2所示。在分布式环境下，数据的同步是结点之间的数据共享，是一种无中心的架构，每个结点维护本结点的元数据库、用户信息库、工作动态库和公告信息库的数据库，并提供与之相应的元数据服务和公告信息服务，同时维护本结点的消息队列，运行本结点的资源同步管理器。本地结点的资源统一目录同步管理器，通过调用本结点以及其他结点的元数据服务和公告信息服务，实现资源的上传、下载、添加、修改、删除等，最终完成资源的同步。

基于消息队列同步机制的同步策略：资源的同步存在于结点之间，假设有N个结点，当某一个结点上录入新的资源时，将通过资源统一目录同步管理器调用本结点的元数据服务或公告信息服务获取新资源的具体内容，然后再调用其他(N-1)个结点的服务将新资源上载到其它(N-1)个结点，从而实现了资源上载的同步。删除、更新操作的同步原理类似。

资源同步的各步骤都可以是离线模式，如果某两个结点之间出现网络中断状况，在网络连接恢复时，上述同步机制依然可以读取消息队列表继续工作而不会产生遗漏。消息队列表是同步策略的核心部分，消息队列表维护所有操作记录以及操作状态，从而保证了离线资源同步的顺利进行。结点通过元数据管理工具对数据进行管理和操作。

各个结点部署相同的元数据服务，资源统一目录同步管理器以及元数据库。其具体的过程如下：

①数据的本地上载：通过本地元数据管理工具将元数据导入到本地元数据库的各个相应的表当中，并同时在消息队列表中为其他结点记录消息，状态标志为“未处理”，即ChargeFlag＝0。

②获取路由信息：数据的同步是通过调用其他结点的服务进行的，那么首先就要获取其他结点的路由信息。通过读取本地数据库中全局路由表中的所有信息，将其存放在缓存中，当需要调用目标结点的服务时，与缓存中的路由信息进行匹配，获取目标结点的IP地址。

③数据同步的设计：资源统一目录同步管理器通过读取消息队列表，按照时间顺序获取定额(比如，设置为每次10条)的未处理的消息。根据获取消息中的DesTab(数据接收表的标识)的值，进行相应数据的添加、删除和更新等同步操作，各操作的具体内容如下：

添加操作：当操作类型是***的时候，根据本条消息的IDList(ID列表)，从相应的数据表中获取数据，封装到DataSet中，调用目标结点的元数据服务--InsertDataInfo，将数据***到目标结点的相应的数据表中，此时返回***是否成功的标志。若全部***成功，就改变本地消息队列表中相应的消息的状态ChargeFlag＝255。若有一条***失败，就按照处理失败的次数修改对应的那条消息的ChargeFlag的值(处理失败的次数超过10次，视为由于某种原因不能处理，同时在日志中记录处理次数超过10次的消息)。当同步工具重新读取消息队列表时，还是会对这条消息进行处理，此时，对已***的数据不进行操作，直接返回true。

更新操作：当操作类型是更新的时候，根据本条消息的IDList(ID列表)，从数据库相应的数据表中获取数据，封装到DataSet中，调用目标结点的元数据服务-UpdateDataInfo，更新目标结点的相应数据表中的相应数据。首先查询该表中是否存在对应的数据，若无，返回false，否则，继续操作。最后要返回本条消息所包含全部数据的操作标志，如果全部更新成功，就改变本地消息队列表中相应的消息的状态ChargeFlag＝255。如果有一条没有更新成功，就按照处理失败的次数修改对应的那条消息的ChargeFlag的值(处理失败的次数超过10次，视为由于某种原因不能处理，同时在日志中记录处理次数超过10次的消息)。如此，当同步工具重新读取消息队列的时候，对该条消息继续进行处理。

删除操作：当操作的类型是删除的时候，调用目标结点的元数据服务--DeleteDataInfo，根据本条消息的IDList(ID列表)中的值，删除目标结点下相应数据表中相应的数据。首先查询该表中是否存在对应的数据，如果没有，返回false，否则，继续操作。最后返回本条消息所包含全部数据操作的标志，如果全部删除成功，则改变本地消息队列表中相应的消息的状态ChargeFlag＝255，否则，就按照处理失败的次数修改对应的那条消息的ChargeFlag的值(处理失败的次数超过10次，视为由于某种原因不能处理，同时在日志中记录处理次数超过10次的消息)。当同步工具重新读取消息队列表时，对这条消息继续进行处理。

***流程，资源同步操作一般分为八个步骤，如图3所示，以流程图的方式描述如下：

步骤1，通过元数据管理工具将本地元数据上载到本地数据库或者是对元数据库中的数据进行删除、更新操作；

步骤2，在消息队列表中为新增的数据记录消息，并设置消息的状态为未处理；

步骤3，资源统一目录同步管理器从消息队列表中读取未处理的消息；

步骤4，根据消息内容从相应的数据表中获取数据；

步骤5，根据数据的操作类型，调用目标结点上的元数据服务；

步骤6，由目标结点上的元数据服务，实现操作(添加、修改或删除)的同步；

步骤7，从目标结点上的元数据服务中获取操作标志(成功或失败)；

步骤8，修改源结点上消息队列表中的对应消息的状态，成功为255，失败为＜255。

暂时性数据资源聚合容器，其与虚拟结点资源聚集器相似，并且除具有虚拟结点资源聚集器特点外，经审核后可迁移到虚拟结点资源聚集器。通常工作流不仅是一个长事务机制，而且在工作流的数据资源通常具有两重性，即是成果(输出)数据又是基础(输入)数据，为避免资源目录负载和随意性，建立了暂时性数据资源聚合容器，作为临时性注册数据的容器。暂时性数据资源聚合容器包括：结点元数据表、结点空间数据目录表和暂时性数据资源目录管理器。

结点元数据表，可在上述应用元数据表上扩展。

结点空间数据目录表，可在上述副本元数据目录表上扩展。

虚拟结点portal配置器，PORTAL分为主次，但强调对等性。主PORTAL强调全局性，次PORTAL除了具有全局性的资源外，可考虑本虚拟结点的资源。主次PORTAL采取一站式入口方式解决互相信任方式(共享与协同机制)。提供PORTAL模版。主PORTAL发现与集成机制可整体迁移。安全权限管理与机制(绑定)。虚拟结点portal配置器包括：用户注册与角色分配表，角色与权限分配表，逻辑域配置表，权限与资源绑定表，全局用户域同步管理器，结点门户服务迁徙器。

网格结点portal主要分为主portal和分portal，采用Portlet技术原理设计与实现。结点portal机制提供了分布式异构网络环境下实现资源与服务注册、注销、更新、发布与发现的统一容器，同时也实现了共享平台提供的服务资源，即结点不需要编制任何程序，结点不但可发布自己的资源，还可管理和应用自己资源(体现自治性)，同时，结点还可以共享其他结点的资源(全局资源)，并全部继承平台所有的软件功能，实现了资源的共享和协同。

主portal与分portal是一个相对的概念，体现出来的功能是相同的，区别仅在于用户访问的入口不同、获取数据的途径不同、执行的效率不同(主要受网络传输的影响)。用户从主portal进入时访问的是结点本地的数据库、调用结点本地的服务执行查询、显示等操作，因此效率要高；反之，从分portal进入时访问的是远程异地分结点的数据库、调用分结点的服务执行查询、显示等操作，因此效率相对较低些。另外，主portal和分portal的区别还在与能访问的数据范畴不同，主portal能访问到注册到本结点的所有数据，而分portal只能访问到该结点标识为“全局”的资源。

网格结点portal是结点信息的展示窗口，为用户提供了查询、检索元数据和服务的平台。各个结点的分portal从功能上讲是同构的，所不同的仅仅是拥有的数据资源不同。结点分Portal提供了信息发布功能、***管理功能、数据服务功能、数据资源目录服务功能、元数据服务功能、本体检索功能、地质工作程度功能、网格资源潜力评价服务和结点监控功能。结点分portal中管理着大量的空间数据和元数据，这些数据从数据格式的角度看包括MapGIS数据、ArcGIS数据和GeoStar数据，从数据组织方式的角度看包括矢量数据和栅格数据，从数据内容的角度看包括1∶20万地球化学数据、1∶20万地质图数据、1∶20万水文图数据、1∶5万地质图数据、1∶50万地质图数据、矿产地数据以及1∶5万矿调数据等。

结点分portal之间是通过互联网互通互连的，并且提供了统一的结点分布图，结点分布图中提供了地调网格环境中所有结点分portal的统一入口。

另外，结点分portal还可以共享其它结点的数据，同时可以把本结点的数据信息发布到其它结点上，进而实现分布式协同。这种资源共享和分布式协同，是基于消息机制和同步策略来完成的，采用中间件技术实现。结点portal中的资源共享与分布式协同中间件称为“结点portal同步管理器”。

结点portal同步管理器采用消息机制基于web服务技术的穿透防火墙特性，实现不同结点间资源的注册、注销、更新、发布与发现。

各个结点内部都维护一个消息队列，它与传统消息队列，如MSMQ(MicroSoft Message Queue，微软消息队列)具有较大的不同。MSMQ的实现原理：消息的发送者把自己想要发送的信息放入一个容器中(我们称之为Message)，然后把它保存至一个***公用空间的消息队列(Message Queue)中；本地或者是异地的消息接收程序再从该队列中取出发给它的消息进行处理。本发明的网格中的消息队列只限于在本地操作，无需发送消息，具体资源注册、注销、更新、发布与发现操作都是由本地结点主动调用其他结点的Web服务完成的。

结点分portal只需在管理本地结点的资源，将资源实现在本地的注册、注销和更新后，只需向本地的消息队列表中写入相应的消息记录即可，由结点portal同步管理器读取注册信息的消息记录然后将相应资源信息发布到其它结点上，最后所有资源都由结点portal统一发现。

结点portal同步管理器是基于消息驱动机制和web服务机制实现的。同步机制的体系结构如图2所示：

在分布式环境下，数据的同步是结点portal之间的数据共享，是一种无中心的架构，每个结点portal维护本结点的元数据库、用户信息库、工作动态库和公告信息库的数据库，并提供与之相应的元数据服务和公告信息服务，同时维护本结点的消息队列。本地结点portal同步管理器，调用通过调用本结点以及其他结点的元数据服务和公告信息服务，实现资源的注册、注销、更新与发布，最终完成资源的同步。

资源的同步存在于结点之间，假设有N个结点，当某一个结点上注册了新的资源时，将通过结点portal同步管理器调用本结点的元数据服务或公告信息服务获取新资源的具体内容，然后再调用其他(N-1)个结点的服务将新资源上载到其它(N-1)个结点，从而实现了资源注册的同步。注销、更新操作的同步原理类似。

资源同步的各步骤都可以是离线模式，如果某两个结点之间出现网络中断状况，在网络连接恢复时，同步机制依然可以读取消息队列表继续工作而不会产生遗漏。消息队列表是同步策略的核心部分，消息队列表维护所有操作记录以及操作状态，从而保证了离线资源同步的顺利进行。结点通过元数据管理工具对数据进行管理和操作。各个结点按照设计，部署相同的元数据服务，同步工具以及元数据库。其具体的过程如下：

第一步：资源的本地注册

通过本地结点portal资源注册工具，将资源注册到本地元数据库当中，同时在消息队列表中写下资源注册消息，状态标志为“未处理”，即ChargeFlag＝0。

第二步：结点portal同步管理器进行资源发布

结点portal同步管理器从消息队列中获取其它结点的ID号进而获取IP地址，然后调用其它结点上的web服务实现资源的发布。

基于以上体系结构和同步策略的，结点portal资源同步流程如下图3所示：

从图中可以看出，结点portal间的资源同步一般分为八个环节。

1)通过结点portal资源注册工具将本地资源注册到本地数据库或者是对数据库中已有的资源进行注销、更新操作；

2)在消息队列表中为新增的数据写消息，并设置消息的状态为未处理；

3)结点portal同步管理器从消息队列表中读取未处理的消息；

4)根据消息内容获取相应的资源；

5)根据数据的操作类型，调用目标结点上的元数据服务；

6)由目标结点上的元数据服务，实现执行资源的注册、注销或更新；

7)从目标结点上的元数据服务中获取操作标志(成功或失败)；

8)修改源结点上消息队列表中的对应消息的状态，成功为255，失败为＜255；

网格结点元服务库，包括：元服务与元计算库、工作流解释器、全局资源调度器和智能服务引擎。

元服务与元计算库，包括调度元服务：计算资源监控与调度；网格基本元服务：基本GIS功能服务；专业元计算服务：地质领域专业计算服务；结点域元服务：自治性提供的服务；工作流服务：由元服务与元计算组合的服务(按协议)。

工作流解释器，对工作流服务的全局解析(按标准协议)

全局资源调度器，通过调用调度元服务对结点资源进行监控与调度。

智能服务引擎，根据异步与均衡负载(通过资源调度器)、生命周期、服务与权限绑定、资源实体操作等技术实现服务调用。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.一种对等式结点管理器，用于实现网格计算环境中网格资源的组织与管理，其特征在于，包括虚拟结点资源聚集器、网格结点元服务库、虚拟结点portal配置器和暂时性数据资源聚合容器，其中：

所述虚拟结点资源聚集器，用于对网格计算机环境中的永久性数据资源进行描述、组织与管理，并通过同步机制使全局资源在各结点同步更新；

所述暂时性数据资源聚合容器，用于管理通过服务层产生的新数据资源，该新数据为中间成果数据，并通过同步机制使该新数据资源转化为所述虚拟结点资源聚集器所管理的永久性数据资源；

所述网格结点元服务库，用于构成服务层，管理服务和分配在线的硬件资源；

所述虚拟结点portal配置器，用于向用户提供服务入口，将用户与服务层连接起来；

所述虚拟结点资源聚集器包括***元数据目录表、应用元数据表、副本元数据目录表、***元服务表和资源统一目录同步管理器，其中：

所述***元数据目录表用于存储关于网格本身结构的信息；

所述应用元数据表用于存储关于与具体应用相关的数据的内容和结构、获取数据的条件信息；

所述副本元数据目录表用于存储关于应用元数据的数据副本的信息；

所述***元服务表用于存储关于元服务结构的信息；

所述资源统一目录同步管理器用于使用对等式的基于消息队列的同步机制同步更新所述***元数据目录表、应用元数据表、副本元数据目录表和***元服务表。

2.根据权利要求1所述的对等式结点管理器，其特征在于，所述暂时性数据资源聚合容器包括结点元数据表、结点空间数据目录表和暂时性数据资源目录管理器，其中：

所述结点元数据表，在所述应用元数据表上扩展；

所述结点空间数据目录表，在所述副本元数据目录表上扩展；

所述暂时性数据资源目录管理器，用于管理和更新所述结点元数据表和结点空间数据目录表。

3.根据权利要求2所述的对等式结点管理器，其特征在于，所述网格结点元服务库包括元服务与元计算库、工作流解释器、全局资源调度器和智能服务引擎，其中：

所述元服务与元计算库，用于计算资源监控与调度元服务；其中元服务包括：网格基本元服务，为基本GIS功能服务；专业元计算服务，为地质领域专业计算服务；结点域元服务，为自治性提供的服务；

所述工作流解释器，用于对工作流服务的全局按标准协议解析，其中所述工作流服务，是由元服务与元计算组合的服务；

所述全局资源调度器，用于通过调用调度元服务对结点资源进行监控与调度；

所述智能服务引擎，用于根据异步与均衡负载、生命周期、服务与权限绑定以及资源实体操作实现服务调用。

4.根据权利要求3所述的对等式结点管理器，其特征在于，所述虚拟结点portal配置器包括用户注册与角色分配表、角色与权限分配表、逻辑域配置表、权限与资源绑定表、全局用户域同步管理器以及结点门户服务迁徙器。

5.一种对等式结点管理方法，其特征在于，包括如下步骤：

步骤1，通过元数据管理工具将本地元数据上载到本地元数据库；

步骤2，在消息队列表中为新增的数据记录消息，并设置消息的状态为未处理；

步骤3，资源统一目录同步管理器从消息队列表中读取未处理的消息；

步骤4，根据消息内容从相应的数据表中获取数据；

步骤5，根据数据的操作类型，调用目标结点上的元数据服务；

步骤6，由目标结点上的元数据服务，实现操作的同步；

步骤7，从目标结点上的元数据服务中获取成功或失败的操作结果标志；

步骤8，修改源结点上消息队列表中的对应消息的成功或失败的状态。

6.根据权利要求5所述的对等式结点管理方法，其特征在于，所述步骤1中，还包括通过元数据管理工具对本地元数据库中的数据进行删除和/或更新的操作。

7.根据权利要求5所述的对等式结点管理方法，其特征在于，所述步骤6中，所述的操作包括添加、修改或删除操作。

8.根据权利要求5所述的对等式结点管理方法，其特征在于，所述步骤8中，修改源结点上消息队列表中的对应消息的成功或失败的状态的方法为：如成功，将消息赋值为255；如失败，将消息赋值为小于255的值。

Images