CN101232422A - 一种基于网格技术的网络存储*** - Google Patents

Abstract

本发明涉及一种基于网格技术的网络存储***，所述存储***运用了网格的思路和技术，把企业内部大量现存的甚至是闲置的网络上地理位置分散的、异构的计算机资源虚拟成单一的存储***。本发明包括作为用户的网络终端，所述网络终端通过互联网或广域网、局域网与作为服务器的管理节点连接，所述管理节点通过互联网或者广域网、局域网与各类异构的pc机、工作站、工作站集群以网格服务的形式向用户提供存储服务的存储节点联接。本发明有效降低了企业构建大量数据存储***所需的花费，确保用户身份的安全认证以及数据的加密传输，确保通过网络进行数据访问和传输的安全性，提供统一的、透明的存储访问机制，解决了不同存储节点之间互操作性问题。

Description

一种基于网格技术的网络存储***

技术领域

本发明涉及一种基于网格技术的网络存储***，是一种电数字处理***，是一种计算机网络***的存储***。

背景技术

现有的网络存储***主要可分为两类：一种是基于网络附加存储(NetworkAttached Storage，NAS)技术的存储***；另一种是基于存储区域网(Storage AreaNetwork，SAN)技术的存储***。然而，这两种存储***都存在一定的缺陷。建立一个NAS存储***需要购买专门的NAS设备，磁盘阵列必须配置专用文件服务器，后期扩容成本高；且一般文件服务器没有高可用配置，容易产生单点故障；另外，NAS所采用的通过网络协议的访问方式，对存储***的数据安全构成威胁等。SAN是IBM公司开发的网络体系结构，它对多个服务器进行配置并通过高速光纤、特殊的路由器、交换机和集线器连接到外部存储设备。通常，在实施了SAN的企业中应该存在两个网，一个是由基于TCP/IP的以太网交换机、路由器、5类网线、以太网卡、服务器、PC机组成的局域网LAN.另外一个是有服务器、存储***、SAN交换机、光纤通道组成的SAN。因此，要想使用基于SAN的存储***，必须额外的构建企业内部的光纤通道网络，购买昂贵的SAN交换机，将原来的存储产品升级到昂贵的支持SAN和FC(FibreChannel，光纤通道)规则的存储产品，具有较高的成本。另外，不同SAN***之间的互操作性很差。由于SAN本身缺乏标准，尤其是在管理上更是如此。虽然FC技术标准的确存在，但各家厂商却有不同的解释，于是，不同产品之间的互操作性问题成为SAN***的一个不容忽视的缺陷。现存的基于NAS或SAN的存储***没有考虑到用户的不同QoS(Quality of Service，服务质量)请求，无法为用户定制个性化的存储方案。

发明内容

为了克服现有技术的不足，本发明提供一种基于网格技术的网络存储***。本发明所述存储***运用了网格的思路和技术，把企业内部大量现存的甚至是闲置的网络上地理位置分散的、异构的计算机资源虚拟成单一的存储***。所述异构的计算机资源包括各种PC机、工作站甚至工作站集群，这些异构计算机可以使用不同的操作***，例如Windows、Unix等等。每台计算机作为一个存储节点，这些存储节点以Web Service的形式向用户提供自己的存储服务。本发明所述***还能够针对不同的服务质量(OoS)请求提供不同的存储服务，并可根据需求动态地扩展存储***。

本发明解决其技术问题所采用的技术方案是：

一种基于网格技术的网络存储***，包括作为用户的网络终端，所述网络终端通过互联网或广域网、局域网与作为服务器的管理节点连接，所述管理节点通过互联网或者广域网、局域网与各类异构的pc机、工作站、工作站集群以网格服务的形式向用户提供存储服务的存储节点联接。

一种基于网格技术的网络存储的方法，包括用户、管理节点、存储节点，所述的方法的步骤包括：

构建的步骤：

在管理节点以及各个存储节点上安装网格中间件GlobusToolkits4.0.4源码版；

在管理节点上配置简便身份认证simpleCA服务器；

每个存储节点和用户向simpleCA服务器申请自己的以基于(中文名字)PKI安全机制的X.509证书格式的身份认证CA证书；

存储节点把自己的存储服务以遵循网络服务框架WSRF规范的网格服务的形式向管理节点注册，并接受管理节点的实时监控；

每个存储节点把自己提供的存储服务封装成遵循WSRF规范的网格服务，提供开放网格服务架构OGSA所定义的标准接口，从而实现异构存储节点之间的无缝连接；

存储节点通过不断发送“保持存活keepalive”消息来维持自己的存活，如果管理节点在规定的时间段内没有收到某个存储节点的“keepalive”消息便认定该存储节点已经离开了存储***；

服务过程的步骤：

用户提出存储服务请求QoS并指定“存储价格最低”、“存储时间最短”以及“价格时间兼顾”三种模式中的一种；

管理节点通过CA进行认证；

认证通过，管理节点根据用户需要选择以下其中之一的步骤；

用户指定选择“存储价格最低”时，管理节点的调度器会把存储请求调度到单位空间存储花费最低的节点；

用户指定选择“存储时间最短”管理节点的调度器会把存储请求调度到网络可用带宽最大的节点；

用户指定选择“价格时间兼顾”管理节点的调度器定义性价比R，把存储请求调度到R值最大的节点。

本发明的有益效果：本发明使用一个简单便宜的方法将零散的存储资源加以利用，有效降低了企业构建大量数据存储***所需的花费。本发明使用基于PKI(Pubic Key Infrastructure)的安全机制，确保用户身份的安全认证以及数据的加密传输，确保通过网络进行数据访问和传输的安全性。本发明使用网格中间件Globus4.0.4屏蔽底层存储节点的异构信息，提供统一的、透明的存储访问机制，从而有效解决了不同存储节点之间互操作性问题。本发明所述的每个存储节点把自己提供的存储服务封装成遵循WSRF规范的网格服务，提供开放网格服务架构OGSA(Open Grid Services Architecture)所定义的标准接口，从而实现异构存储节点之间的无缝连接。本发明各存储节点以“软状态”的形式向管理节点注册自己的存储服务，因而可以支持每个存储节点以“热插拔”的方式动态与网格连接和拆除。本发明设置了考虑价格和时间两个QoS参数。用户在提交自己的存储请求时可以指定“存储价格最低”、“存储时间最短”以及“价格时间兼顾”三种模式，实现了向用户提供个性化的存储服务。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明所述存储***的物理结构示意图；

图2为本发明所述存储***的功能模块示意图。

具体实施方式

实施例一：

本实施例是一种基于网格技术的网络存储***，图1为本发明所述存储***的物理结构图。包括作为用户的网络终端，网络终端通过互联网或广域网、局域网与作为服务器的管理节点连接，管理节点通过互联网或者广域网、局域网与各类异构的PC机、工作站、工作站集群以网格服务的形式向用户提供存储服务的存储节点联接。

如图1所示，本实施例把运行不同操作***(可以是Windows、Unix等)的各类异构计算机(包括pc机、工作站甚至集群等)资源通过网格中间件连接起来，构建一个容量可以动态扩展的存储***。各个存储节点通过企业内部的局域网与管理节点连接，用户可以通过Internet或局域网与存储***连接。管理节点上记录着各个存储节点的静态信息(总存储空间大小、IP地址、使用单位存储空间所需的费用等)以及动态信息(可用存储空间大小、网络带宽等)。用户首先把自己的存储请求提交到管理节点，在管理节点的存储调度器做出合适的调度之后用户与相应的存储节点建立连接，进行数据存取访问。

在管理节点以及各个存储节点上安装网格中间件GlobusToolkits4.0.4源码版，在管理节点上配置simpleCA服务器。每个存储节点和用户向simpleCA服务器申请自己的CA(Certificate Authority)证书，该CA证书采用基于PKI安全机制的X.509证书格式，用户和存储节点之间通过各自的CA证书进行身份验证和通信加密。存储节点把自己的存储服务以遵循WSRF(Web ServicesResource Framework)规范的网格服务的形式向管理节点注册，接受管理节点的实时监控。由于这些网格服务遵循相同的规范具有标准的接口，因此各个存储节点之间具有很好的互操作性，避免了不兼容的问题。用户在提交自己的存储请求时可以指定“存储价格最低”、“存储时间最短”以及“价格时间兼顾”三种模式。当选择“存储价格最低”时，调度器会把存储请求调度到单位空间存储花费最低的节点；当选择“存储时间最短”调度器会把存储请求调度到网络可用带宽最大的节点；当选择第三种模式时，调度器定义性价比R＝(网络可用带宽/单位空间存储花费)，把存储请求调度到R值最大的节点。

实施例二：

本实施例是实施例一的细化，是关于实施例一中管理节点的具体构成。如图2所示：所述的管理节点，包括将一个工作站集群加入本存储***时集群内部私有网络IP地址翻译成合法网络IP地址的NAT(在前面加一个中文名字)模块。NAT模块与记录和产生***运行所必需的节点资源信息、节点的存储成本信息、用户信息、文件存储信息、以及***运行日志的***数据库模块连接。***数据库模块与以网络服务Web Service的形式向用户提供存储服务的Web服务模块连接。***数据库模块与将各个存储节点自身提供的资源监测服务来实现对整个存储***的全局资源动态发现和监控的节点资源监测模块连接。***数据库模块与将动态监控各个存储节点的存储服务提供情况的存储服务监测模块连接。***数据库模块与将节点资源监测模块、存储服务监测模块、***数据库模块所提供的信息根据用户的不同服务请求QoS做出合适的调度的存储调度器连接。节点资源监测模块、存储服务监测模块、***数据库模块和存储调度器相互连接。

管理节点是实现本发明所述网络存储的重要部分，所包括的模块为：

●NAT：该模块主要用于将一个集群加入本存储***，它可以把集群内部私有网络地址(IP地址)翻译成合法网络IP地址。

●Web服务模块：该模块用于Web Service的形式向用户提供存储服务，使得用户能够不需安装额外的软件，跨平台的访问本存储***。

●***数据库模块：该模块用于记录***运行所必需的，以及产生的各种信息，包括节点的资源信息、节点的存储成本信息、用户信息、文件存储信息、以及***运行日志等。

●节点资源监测模块：本模块使用各个存储节点自身提供的资源监测服务来实现对整个存储***的全局资源动态发现和监控。

●存储服务监测模块：本模块用于动态监控各个存储节点的存储服务提供情况，包括某个节点是否取消或某个新节点是否提供存储服务。该模块接受每个存储节点上的资源监测服务模块的注册信息，允许存储节点以“热插拔”的方式提供或取消自己的存储服务。

●存储调度器：本模块利用节点资源监测模块和存储服务监测模块以及***数据库模块，根据用户的不同QoS请求来做出合适的调度。本***考虑了两个QoS标准，即存储成本和存储时间。

实施例三：

本实施例是实施例一的细化，是关于实施例所述存储节点的构成，如图2所示。所述的存储节点包括与管理节点的节点资源监测模块连接的负责监测自身的资源利用信息的资源监测服务模块。与管理节点的存储服务监测模块连接的负责启动存储节点的存储服务并以具有“软状态”生命周期的形式向管理节点的存储服务监测模块注册存储服务模块的存储服务模块。资源监测服务模块、存储服务模块相互连接。

存储节点是实现本发明所述网络存储的又一重要部分，所包括的模块为：

●资源监测服务模块：本模块负责监测自身的资源利用信息，包括CPU利用率、网络带宽、磁盘信息等，并把自身的服务以具有“软状态”生命周期的形式向管理节点的节点资源监测模块注册。

●存储服务模块：本模块负责启动存储节点的存储服务，并以具有“软状态”生命周期的形式向管理节点的存储服务监测模块注册。

实施例四：

本实施例是使用实施例一所述基于网格技术的网络存储***实现网络存储的方法，包括用户、管理节点、存储节点，所述的方法的步骤包括：

构建的步骤。本步骤是整个网络存储***的构建方法，通过以下步骤可以将零散的，地理上分散的存储资源进行整合并有效地联络，最终形成一个完整的网络存储***。具体步骤如下：

1.在管理节点以及各个存储节点上安装网格中间件GlobusToolkits4.0.4源码版。

2.在管理节点上配置简便身份认证simpleCA服务器。

3.每个存储节点和用户向simpleCA服务器申请自己的以基于(中文名字)PKI安全机制的X.509证书格式的身份认证CA证书。

4.存储节点把自己的存储服务以遵循网络服务框架WSRF规范的网格服务的形式向管理节点注册，并接受管理节点的实时监控。

5.每个存储节点把自己提供的存储服务封装成遵循WSRF规范的网格服务，提供开放网格服务架构OGSA所定义的标准接口，从而实现异构存储节点之间的无缝连接。

6.存储节点通过不断发送“保持存活keepalive”消息来维持自己的存活，如果管理节点在规定的时间段内没有收到某个存储节点的“keepalive”消息便认定该存储节点已经离开了存储***。

服务过程的步骤。本步骤是实现网络存储的具体过程，也就是用户使用网络存储的过程，具体步骤如下：

1.用户提出存储服务请求QoS并指定“存储价格最低”、“存储时间最短”以及“价格时间兼顾”三种模式中的一种。

2.管理节点通过AC进行认证。

3.认证通过，管理节点根据用户需要选择以下其中之一的步骤；

用户指定选择“存储价格最低”时，管理节点的调度器会把存储请求调度到单位空间存储花费最低的节点。

用户指定选择“存储时间最短”管理节点的调度器会把存储请求调度到网络可用带宽最大的节点。

用户指定选择“价格时间兼顾”管理节点的调度器定义性价比R，把存储请求调度到R值最大的节点。

Claims (4)

1.一种基于网格技术的网络存储***，包括作为用户的网络终端，所述网络终端通过互联网或广域网、局域网与作为服务器的管理节点连接，所述管理节点通过互联网或者广域网、局域网与各类异构的pc机、工作站、工作站集群以网格服务的形式向用户提供存储服务的存储节点联接。

2.根据权利要求1所述的一种基于网格技术的网络存储***，其特征是，所述的管理节点，包括将一个工作站集群加入本存储***时集群内部私有网络IP地址翻译成合法网络IP地址的网络地址转换(NAT)模块；所述NAT模块与记录和产生***运行所必需的节点资源信息、节点的存储成本信息、用户信息、文件存储信息、以及***运行日志的***数据库模块连接；所述的***数据库模块与以网络服务Web Service的形式向用户提供存储服务的Web服务模块连接；所述的***数据库模块与将各个存储节点自身提供的资源监测服务来实现对整个存储***的全局资源动态发现和监控的节点资源监测模块连接；所述的***数据库模块与将动态监控各个存储节点的存储服务提供情况的存储服务监测模块连接；所述的***数据库模块与将节点资源监测模块、存储服务监测模块、***数据库模块所提供的信息根据用户的不同服务请求QoS做出合适的调度的存储调度器连接；所述的节点资源监测模块、存储服务监测模块、***数据库模块和存储调度器相互连接。

3.根据权利要求2所述的一种基于网格技术的网络存储***，其特征是，所述的存储节点包括与管理节点的节点资源监测模块连接的负责监测自身的资源利用信息的资源监测服务模块；与管理节点的存储服务监测模块连接的负责启动存储节点的存储服务并以具有“软状态”生命周期的形式向管理节点的存储服务监测模块注册存储服务模块的存储服务模块；所述的资源监测服务模块、存储服务模块相互连接。

4.一种基于网格技术的网络存储的方法，包括用户、管理节点、存储节点，所述的方法的步骤包括：

构建的步骤：

在管理节点以及各个存储节点上安装网格中间件GlobusToolkits4.0.4源码版；

在管理节点上配置简便身份认证simpleCA服务器；

每个存储节点和用户向simpleCA服务器申请自己的以基于公钥基础设施(PKI)安全机制的X.509证书格式的身份认证CA证书；

存储节点把自己的存储服务以遵循网络服务框架WSRF规范的网格服务的形式向管理节点注册，并接受管理节点的实时监控；

每个存储节点把自己提供的存储服务封装成遵循WSRF规范的网格服务，提供开放网格服务架构OGSA所定义的标准接口，从而实现异构存储节点之间的无缝连接；

存储节点通过不断发送“保持存活keepalive”消息来维持自己的存活，如果管理节点在规定的时间段内没有收到某个存储节点的“keepalive”消息便认定该存储节点已经离开了存储***；

服务过程的步骤：

用户提出存储服务请求QoS并指定“存储价格最低”、“存储时间最短”以及“价格时间兼顾”三种模式中的一种；

管理节点通过AC进行认证；

认证通过，管理节点根据用户需要选择以下其中之一的步骤；

用户指定选择“存储价格最低”时，管理节点的调度器会把存储请求调度到单位空间存储花费最低的节点；

用户指定选择“存储时间最短”管理节点的调度器会把存储请求调度到网络可用带宽最大的节点；

用户指定选择“价格时间兼顾”管理节点的调度器定义性价比R，把存储请求调度到R值最大的节点。

Images