CN1645342A - San环境中基于网络的海量存储资源管理方法 - Google Patents
San环境中基于网络的海量存储资源管理方法 Download PDFInfo
- Publication number
- CN1645342A CN1645342A CNA2005100112313A CN200510011231A CN1645342A CN 1645342 A CN1645342 A CN 1645342A CN A2005100112313 A CNA2005100112313 A CN A2005100112313A CN 200510011231 A CN200510011231 A CN 200510011231A CN 1645342 A CN1645342 A CN 1645342A
- Authority
- CN
- China
- Prior art keywords
- command
- disk
- physics
- space
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008569 process Effects 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 43
- 239000013307 optical fiber Substances 0.000 claims description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000012217 deletion Methods 0.000 claims description 14
- 230000037430 deletion Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- RGNPBRKPHBKNKX-UHFFFAOYSA-N hexaflumuron Chemical compound C1=C(Cl)C(OC(F)(F)C(F)F)=C(Cl)C=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F RGNPBRKPHBKNKX-UHFFFAOYSA-N 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 210000001519 tissue Anatomy 0.000 claims description 7
- 238000013467 fragmentation Methods 0.000 claims description 6
- 238000006062 fragmentation reaction Methods 0.000 claims description 6
- 239000007858 starting material Substances 0.000 claims description 5
- 210000002808 connective tissue Anatomy 0.000 claims description 3
- 238000005194 fractionation Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000008707 rearrangement Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 abstract description 23
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000006855 networking Effects 0.000 description 15
- 238000012360 testing method Methods 0.000 description 7
- 230000008520 organization Effects 0.000 description 6
- 238000013468 resource allocation Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
SAN环境中基于网络的海量存储资源管理属于存储区域网络领域,其特征在于:它通过专用处理器节点机来维护一套存储资源配置信息,并集中管理存储网络中各种不同的存储设备资源,并通过小型计算机***接口(即SCSI)中间层进行命令分析处理,从而对前端主机提供完全透明的虚拟化存储服务。它在节点机上维护全部存储设备的配置信息列表;同时在节点机上实现一个支持虚拟化功能的SCSI软件目标器,以把主机对虚拟盘逻辑空间的访问转化为对实际物理设备的访问。它具有不必在前端主机或设备上加载任何软件,占用信息资源少、空间分配灵活、优先使用性能最佳的物理设备的优点。
Description
技术领域
SAN环境中基于网络的海量存储资源管理方法属于存储区域网络领域,尤其涉及其中的虚拟化技术领域。
背景技术
随着信息技术的飞速发展,人们要处理的数据量不断增加,造成了对存储***容量和性能的巨大需求,并使得传统的存储方式已经无法满足用户的需要。一般情况下,每台主机都带有自己的存储设备,这使得信息分散在各个主机上,形成信息孤岛,不利于信息整合。而网络存储可以提供共享的信息存取服务,并具有超大容量和优秀的性能,因此成为存储***发展的趋势。存储区域网络(Storage Area Network,SAN)是一种专门的存储网络,它可以把各种存储设备连接在一起,组成统一管理的存储资源,而主机可以通过光纤或IP网络来访问这些资源。SAN***具有良好的性能和高度的可扩展性。在这种存储体系结构中,资源的配置是不断变化的,新的设备可以不断地加入到***中,以满足用户对存储容量或性能的需求。
但是随着存储网络规模的不断增加,如何分配每台主机所用的设备成为一个严重的问题。此时,前端的各主机可能使用各种不同的操作***,而网络中的存储设备也会有不同的规格和类型。存储虚拟化工作就是为了解决这些问题。传统的虚拟化技术有两种主要的解决方案,第一是在各主机上通过代理软件实现,比较常见的包括Linux***中的LVM,这种方法不适用于多机环境,也不适用于不同的操作***;第二种方案是在存储设备端实现,很多厂商的阵列设备也提供了虚拟化功能,但是这种方法一般都是面向特定设备的,不能管理多种类型的设备。这两种方案都无法满足海量异构存储网络环境。
为了解决海量异构存储网络环境中的资源管理问题,我们提出了SAN环境中基于网络的海量存储资源管理方法。它在存储网络中一个专门的处理节点上实现存储虚拟化功能,并具有以下的特点:
1.高度的兼容性:与前端主机的操作***完全无关,并且能够管理各种类型的存储设备。
2.简洁的资源信息组织方式:只需要在节点机上占用少量的空间来保存海量规模的存储设备信息。
3.高度的灵活性:由于该方法实现层次比较低,所以可以灵活地选择网络中性能好的设备来优先使用,从而保证设备负载均衡,改善存储***的整体性能。
发明内容
本发明的目的是实现一种虚拟化方法来管理海量存储网络中各种类型的存储设备,并把虚拟存储空间提供给前端主机使用。本项发明主要针对海量存储网络环境的需求,设计并实现了一套切实可行的存储资源管理方法。通过本方法,可以有效减少设备信息的资源需求,并提供对用户透明的空间分配方式,降低资源管理的复杂度,同时提高存储***的整体性能。
本发明的核心是通过专用处理节点机来维护一套存储资源配置信息,来集中管理存储网络中各种不同的存储设备资源,并通过SCSI(小型计算机***接口Small Computer SystemsInterface)中间层进行命令分析处理,从而对前端主机提供完全透明的虚拟化存储服务。具体的实现架构包括以下两个主要部分:
1.节点机上维护全部存储设备(包括物理设备和虚拟设备)的配置信息列表:对网络中每个存储设备产生一个结构,记录它的各种属性以及可用的空间;管理员创建虚拟盘后,也对每个虚拟盘创建一个结构,记录各种属性以及逻辑空间分配方式。
2.节点机上实现一个支持虚拟化功能的SCSI软件目标器STML(SCSI Target Mid-levelLayer),它的工作是把前端主机对虚拟盘逻辑空间的访问转化为对实际物理设备的访问,并把物理设备的数据处理结果反馈给前端主机。逻辑命令到物理命令的转化是根据上面提到的存储资源组织信息为基础进行的。
本发明是一种基于网络的(在网络节点VIC上实现),在数据通路上实现的存储虚拟化解决方案,称为AXUM***。这种实现方法使得它的兼容性很强,完全不受限于不同的主机操作***和设备类型。同时,我们通过对海量存储环境中存储资源信息的考察,确定了独特的资源信息组织方式。这种组织方式不但空间分配灵活,而且占用空间小,适用于海量规模的存储资源管理。其次,通过对不同存储设备的评价,可以自动优先选择性能好的设备来分配逻辑空间,有效降低管理难度。另外,通过STML对每个命令处理过程的控制,我们可以方便地加入各种优化措施,改善***整体性能。
基于网络的海量存储资源管理方法的操作步骤大致为(见图1):
1.加载模块:
海量资源配置管理模块(axum.o)探查网络中所有的存储设备,把每个要管理的物理设备抽象为一个Physical Disk(PD)结构;同时从元数据盘中获取已配置的虚拟盘信息,把每个虚拟盘抽象为一个Virtual Disk(VD)结构,组织好VD的空间布局,并根据VD的物理空间布局调整相应PD的空间使用情况;
SCSI软件目标器STML模块(mid_target.o)根据axum.o的配置信息,组织scsi设备队列,同时建立命令处理线程,用来处理发来的I/O请求。
2.资源配置:管理员可以通过节点机提供的配置工具对海量存储资源进行虚拟化配置,如PD的添加、去除,VD的创建、删除、扩容和主机指定等。用户进行资源配置后,axum.o模块在内核中修改相应的信息组织结构和内容。
3.元数据保存:***在节点机上维护一套完整的存储资源配置信息,如果用户对资源配置进行修改,造成配置信息变化,那么需要把相应的内容保存到元数据盘中,以便在***重新加载时能够恢复原有的配置。
4.主机使用:前端主机通过加载光纤卡驱动,能够发现并使用节点机提供的虚拟盘,而实际的物理设备对前端主机透明。
5.数据访问:前端主机对虚拟盘空间的访问,转化为SCSI命令通过光纤通道发送到节点机。在节点机的mid_target.o模块中,按照axum.o的空间组织信息进行地址转换,把对逻辑空间的访问转化为对实际物理设备的访问,并根据逻辑空间的组织方式对存取的数据进行拆分或合并,最后把实际物理命令的处理结果通过光纤驱动反馈回前端主机。
本发明是基于网络设备实现的,除了管理软件界面外,其它全部程序都在节点机VIC上实现。AXUM虚拟化***的软件架构如图2所示。
本发明的特征在于:它是在下述存储区域网络,即SAN中实现的,所述的网络含有:
主机,即前端服务器,有1个以上,其中一台作为管理主机,安装管理程序界面;
在所述磁盘中,有两块元数据磁盘,用于保存所有的元数据信息,所述元数据是指在用户使用过程中,发生的包括物理磁盘、虚拟存盘的创建、删除、扩展在内的操作时形成的每次更改后的磁盘信息,所述元数据包含以下内容:
PD基本元数据位置,包括所存放的物理设备的全局统一标识符,用UUID表示,以及类型信息在内;
SC基本元数据,SC是指各种存储设备组成的统一存储空间,SC基本元数据即***中SC信息结构的数据;
SC所有PD的元数据,即SC中所有实际的存储设备,即所有PD的UUID信息;
SC所有的VD的元数据,即不仅包括所有的VD即虚拟磁盘信息结构的数据,还包括每个VD在实际磁盘中所占用的位置、大小在内的信息;
除元数据盘外,***的其余磁盘只保存各自的PD基本元数据;
本发明所述的方法在上述存储区域网络中实施时,它依次含有以下步骤:
第1步:在所述I/O节点机即VIC节点中加载以下模块:
资源配置模块,用axum.o表示;它确定要创建的虚拟盘参数,包括虚拟盘的名称、大小、是否条带组织以及数据分片数,同时提供内核符号、内核信息接口以及注册特殊的字符型设备,以便所述模块能接收用户的虚拟化配置指令,并修改它维护的相应资源配置信息,同时把变化的信息保存到元数据盘;
SCSI目标器模块,用mid_target.o表示,它根据axum.o的配置信息,组织SCSI设备队列,同时建立命令处理线程,用以处理发来的I/O请求;为此,它分别建立虚拟命令和物理命令的线程来处理针对虚拟磁盘的SCSI命令即虚拟命令,以及把虚拟命令分解后的对于实际物理磁盘的SCSI命令即物理命令的链表型队列;
在处理上述I/O请求时,根据axum.o的配置信息进行地址映射和数据的拆分或合并处理,返回处理结果;
第2步:资源配置;管理员通过节点机提供的配置工具对海量存储资源进行虚拟化配置,它依次含有以下步骤:
第2.1步:用户通过资源配置管理软件确定要创建的虚拟盘参数;
第2.2步:axum.o模块通过ioctl机制发现用户空间传来的通知内核进行虚拟盘创建的命令标识,把用户空间要传递给内核的参数取出,包括虚拟盘即VD的名称、大小、组织方式和条带数据分片数,进行虚拟盘创建;
第2.3步:创建虚拟盘结构即ax_vd_t的变量,填入参数信息,并记录新的虚拟盘配置数据;
第2.4步:判断参数中的组织方式,进行相应的空间分配处理:
第2.4.1步:当为连续组织方式时:
首先确定参数中的虚拟磁盘是否为新创建的磁盘,若不是,则优先选择该磁盘的最后一段物理空间所属的物理设备进行空间扩展;否则,优先使用最好的物理磁盘进行空间分配;
其次,确定剩余要分配的空间大小,选择新的磁盘进行空间分配;
空间分配成功,返回;
第2.4.2步:当为条带组织方式时,假设条带数量为s:
首先,确定是否为新的虚拟盘,若是,则对所有的物理设备排序,选择s个物理磁盘进行空间分配;否则,选择原有虚拟盘中最后s块存储空间所对应的物理磁盘进行空间分配;
确定剩余要分配的空间大小;
更新虚拟盘的容量和剩余空间的大小;
对物理设备重新排序,选择新的s个设备;
空间分配成功,返回;
第2.5步:填充新的虚拟盘结构,并把该结构***全局变量中,通知用户虚拟盘创建完成;
第3步:元数据保存,它依次含有以下步骤:
当操作针对物理磁盘时,首先在***作的物理磁盘PD基本元数据位置写入PD基本元数据;
向元数据盘内保存SC基本元数据的位置写入SC的信息数据;
向元数据盘内保存SC所有VD元数据的位置写入VD的基本元数据以及VD的占用信息;
第3步:数据访问
第3.1步:mid_target.o经接口函数收到前端服务器发来的对虚拟盘逻辑空间的SCSI读写命令,并生成相应的指令结构,设置命令状态后,把该命令结构***虚拟命令的处理队列;
第3.2步:mid_target.o唤醒虚拟命令线程,调用虚拟分析指令,判断并针对不同的命令执行不同的操作;
第3.3步:读命令处理,依次包含以下步骤:
根据axum.o模块维护的虚拟化配置信息,通过资源配置用的映射函数把虚拟命令映射成几个物理SCSI命令;
对每个物理命令,构建相应的指令结构,同时,设置虚拟命令的状态以及各物理命令的状态;
把这些物理命令***物理命令处理队列,唤醒物理命令处理线程进行处理,并设置虚拟命令的相应处理状态;
在物理命令处理完毕后,虚拟命令处理线程收集所有物理命令的响应,形成虚拟命令的响应,同时把各物理命令返回的数据合并,然后把该虚拟命令的响应发送给光纤驱动卡,并修改个命令状态;
虚拟命令处理线程把对应的物理命令从相应队列中删除,再把该虚拟命令从虚拟命令处理队列中删除;
第3.4步:写命令处理,依次包含以下步骤:
根据axum.o模块维护的虚拟化配置信息,通过资源配置用的映射函数把虚拟命令映射成几个物理命令;
对于每个物理命令,构建相应的指令结构,同时,设置虚拟命令的状态以及各物理命令的状态;
把这些物理命令***物理命令处理队列;
虚拟命令处理线程根据虚拟命令的状态调用接口函数通知光纤卡驱动从前端服务器传来数据,重新设置虚拟命令及相应各物理命令的状态;
光纤卡驱动通过接口函数把数据交给虚拟命令处理队列,并把虚拟命令及各物理命令设成正在处理的状态;
虚拟命令处理线程通过接口函数把数据分片并发到相应的物理命令中,重新设置虚拟命令及各物理命令的状态;
物理命令处理线程进行处理;
在处理完毕后,通过光纤卡驱动通知前端主机,并改变虚拟命令及对应的各物理命令的状态,虚拟命令处理线程把对应的物理命令从相应队列中删除,再把该虚拟命令从虚拟命令处理队列中删除。
本发明是为了自主管理海量存储网络中的各种存储资源,降低管理开销而设计并开发的。它通过在存储网络中加入专门的处理节点来实现。采用本发明,只要在存储网络中加入一台处理节点机,就可以方便地管理各种类型的存储设备,并对各种平台的前端主机提供服务,因此能够完全适应海量存储***中各种异构的操作平台和存储设备。本发明通过独特的资源信息组织方式、设备选择方式和命令控制方式,提供完善的存储资源管理服务,并提高***的读写性能。同时,本发明所需维护的信息空间需求小,空间分配灵活合理,适用于海量存储网络环境。本发明已经在由清华大学自行研究开发的海量存储网络TH-MSNS中实现并测试。并在此基础上对不同操作平台的前端主机(Windows,Linux等)提供虚拟盘进行文件存取和各种应用服务。
附图说明
图1.海量存储资源管理与命令处理流程。
图2.网络处理节点VIC上的软件模块架构。
图3.海量存储网络的硬件配置与组织。
图4.海量存储网络的资源信息组织结构。
图5.虚拟盘的逻辑空间分配。
图6.创建虚拟盘工作的程序流程。
图7.元数据保存时的组织方式。
图8.支持虚拟化功能的SCSI目标器中间层STML。
图9.读写请求时,逻辑命令与物理命令的状态转换。
图10.VIC节点提供的虚拟磁盘读写性能。
图11.VIC虚拟化处理带来的软件延迟。
图12.VIC节点的数据处理能力。
具体实施方式
1.硬件设备的配置与组织
我们把这套自主开发的,面向海量存储网络的虚拟化***命名为AXUM,而网络中运行AXUM***的处理机称为VIC节点。作为AXUM运行环境的存储网络组织结构如图3所示。所有的硬件设备,包括前端主机、VIC节点、普通I/O处理节点和光纤磁盘设备,都通过光纤线连接到一台或多台光纤交换机上。前端主机有一台或多台,安装有启动器模式的光纤通道卡(FC-HBA),用于查询访问和访问光纤网络中可用的存储设备;其中一台前端主机作为管理主机,需要安装管理界面。普通I/O处理节点装有目标器模式的光纤通道卡,下面连接IDE或SCSI类型的磁盘或磁盘阵列,使它们能够被启动器模式的光纤通道卡访问。VIC节点是加入海量存储资源管理模块(axum.o)和SCSI软件目标器模块(mid_target.o)的管理节点,并通过管理软件代理程序与管理主机交流。VIC上插有两块FC-HBA卡,一块用于启动器模式,另一块用于目标器模式。VIC既能作为单独的处理节点,也可以自己挂载IDE或SCSI磁盘设备作为网络存储资源。
利用交换机的分区功能把整个存储网络环境分为两个区:Zone 1包括所有的前端服务器和VIC,VIC通过目标器FC-HBA响应前端主机的请求,而前端主机只能看到VIC提供的设备;Zone 2包括VIC和其他所有的后端存储设备,包括FC磁盘设备和SCSI磁盘阵列等。VIC利用启动器FC-HBA,能够检测到所有的设备并进行统一管理。由于整个存储网络分为两个区,前端的主机将不会发现网络中的物理设备,而只能检测到VIC提供给前端的虚拟盘。同时,利用逻辑单元屏蔽(LUN masking)功能,使不同的主机能够发现并访问不同的虚拟盘。
2.海量存储资源的信息组织结构
AXUM***把所有的物理存储空间(包括物理磁盘和LU设备)组织成一个统一的存储池。管理员可以根据用户的需要,从存储池中划分空间分配给虚拟盘,并提供给不同的前端主机使用。AXUM的资源配置信息组织结构如图4所示,其中主要的信息结构包括:
SC:各种存储设备组成的统一存储空间。
PD:后端实际的物理存储设备,记录容量大小和设备标识等信息。
FS:记录PD中的每段未分配给虚拟盘的存储空间起始位置与大小。
VD:提供给前端使用的虚拟盘,包括容量,空间映射方式等信息。
其中FS与PS的最小空间单元(称为一个SG)大小可变,SG默认大小为64KB。
在AXUM的信息组织结构中,每个PD结构的大小为100字节左右,而一个PD的信息量主要取决于其FS数量的多少,其中一个FS结构的大小为12字节。由于只有当删除某个VD空间时才会在PD上产生一段新的未分配空间,所以对应PD的FS链表中的项目不会很多。假设每个设备有10段未分配区域,那么只需要100+10*12=220字节左右的信息空间。这样即使管理上万块磁盘,也只会占用VIC很少的***资源(10000*220B=2.2MB)。同样地,VD的信息量主要取决于其PS数量的多少。VD结构的大小为300字节左右,而每个PS结构的大小为16字节。在海量存储网络环境中,用户可能会创建很多VD,而每个VD也可能会包含比较多的PS。假设在***中创建了1000个虚拟盘,每个VD大小都是100GB。这样即使每个VD都包含1000个PS,所有VD的元数据也只需占用16MB左右的存储空间。因此,AXUM保存海量存储资源配置信息的总共空间需求小于20MB。
相对地,如果我们使用最常用的LVM***进行虚拟化配置,上面的环境至少需要180MB的空间用于资源配置信息的保存。同时,LVM需要在每台前端服务器上都要保存信息,而AXUM***只要在VIC节点机上维护一套元数据信息即可。可见,AXUM的信息组织方式更适合于海量存储环境。
3.***加载
VIC节点机其实就是一台普通的服务器,运行Linux操作***(2.4.18以上内核),AXUM虚拟化***的两部分(配置信息结构和STML)分别做成内核模块并进行加载,同时还要启动管理软件的代理程序:
1)加载资源配置模块(axum.o)。这个模块加载后,将依次完成以下的步骤:
变量值进行初始化,提供一个内核符号axum_SC,记录资源配置情况,使STML能够利用它查询相应信息;
提供”/proc”目录下的内核信息接口,以便用户或管理软件对已有资源配置信息进行查询;
该模块接收用户的虚拟化配置指令,并修改它维护的相应资源配置信息,同时把变化的信息保存到元数据盘。
2)加载STML模块(mid_target.o)。这个模块加载后,将依次完成以下的步骤:
自动搜索***中的虚拟磁盘(VD),并将搜索到的虚拟磁盘以stml_device的形式组成一个链表,供前端使用。
变量值进行初始化,使用一个内核全局变量target_data,记录了资源的配置情况,并且维护了两个命令链表。一个链表是前端发过来的针对于虚拟磁盘的SCSI命令(虚拟命令)链表,另一个链表是将虚拟命令分解后的针对于实际物理磁盘的SCSI命令(物理命令)链表。
该模块接收SCSI命令,根据axum.o的配置信息进行地址转换和数据的拆分或合并处理,最后返回命令处理的结果。
3)VIC节点机上的管理软件代理程序:
运行程序sagent,产生代理守护进程,并自动在制定目录下生成文件info和fmid,分别保存命令执行结果及lunmask配置的中间结果。
代理通过Socket机制与管理主机上的管理软件进行交互,接收管理软件发来的命令,调用axum模块的相应功能执行VD的创建、删除、扩容及PD的创建、删除等操作,并返回执行结果。
代理通过VIC节点的信息接口,即文件/proc/axum/pd、/proc/axum/vd、/proc/axum/sc,可以获取虚拟化配置相关信息,并反馈给管理软件显示。
根据管理软件的命令,代理可以实现对lunmask文件的动态配置,进而实现对前端主机与虚拟盘的动态配置。
我们把存储网络前端的一台主机作为管理主机,通过管理界面程序对VIC管理的海量存储资源进行配置:
通过Socket机制与VIC节点代理通信,获取相关信息并进行显示。
管理者通过图形界面对海量存储环境中的虚拟化配置工作进行管理,输入相应的参数,实现包括虚拟盘的创建、删除、容量变化及物理设备的加入和删除等操作。管理软件将操作及参数封装成相应的命令通过Socket发送到VIC节点机的代理上执行,并获得执行结果。
用户可以通过管理软件获取VIC节点上维护的关于物理设备、虚拟设备、整个存储池空间统计情况和前端主机的相关信息。
4.资源配置
AXUM***的各模块加载后,如果从未进行过虚拟化配置,那么前端主机不会看到任何虚拟盘设备。因此,我们必须在VIC上通过管理软件利用已有的设备空间创建虚拟盘。AXUM虚拟化***需要在它管理的物理设备上进行标记,并预留磁盘空间,所以,为了不影响用户对某些磁盘设备的特殊使用配置,我们需要把每个要让AXUM管理的设备由用户逐一添加到虚拟化***中来,虚拟盘只能由用户指定加入到***中的设备空间来构成。如果没有加入任何物理设备就进行虚拟化配置,***会给出错误信息提示。
AXUM的资源信息组织结构使得逻辑空间的分配非常方便。在增加逻辑空间时,如果该虚拟盘VD的分片数(stripe number)是S(S≥1),那么AXUM需要每次从S个分属不同PD的FS中划分空间,并把相应S个PS段提供给VD作为虚拟盘逻辑空间。同样地,如果要减少虚拟盘的大小,需要把S(或S的整数倍)段空间从VD的PS表中最后的部分删除,并归还到对应PD的FS表。前端服务器探查到虚拟盘容量发生变化后,就可以方便地对该VD的容量进行在线修改。以图5为例,图中的VD是一个条带组织的虚拟盘,分片数为5。如果要增加50GB的容量,只需要从5个物理设备中分别获取10GB的空间,并把对应的5段PS加入到VD的PS链表后端即可。而如果要删除20GB空间,只要在最后5个PS中,每段都减少4GB的空间大小即可。
普通的虚拟化***管理的都是比较小规模的存储资源,一般并不会考虑实际物理设备的区别,这样很容易造成空间的浪费和性能的下降。AXUM***面向的是海量存储环境,能够管理网络中各厂商各类型的设备。由于不同设备的性能指标各不相同,因此我们在AXUM中加入了设备评价机制,它通过统计物理设备的负载强度,空间利用情况和性能指标等,得到每个设备的评价值,优先利用那些性能最好的设备来进行逻辑空间的分配,以便提高整个存储网络的读写性能,并尽量保证各设备的负载均衡。
在进行设备评价时,主要考虑的因素包括:
1)设备优先级:由用户指定,这样虚拟盘会优先使用优先级高的设备。
2)PD的读写命令强度Drw:它等于该PD处理的读写请求总量与该PD创建时间之比。
3)PD的可分配空间大小FSt:该物理设备尚未分配给虚拟盘的空间大小。
4)PD上的VD数量Nvd:使用该物理设备空间的VD总数。
5)PD的硬件指标Hs:反映物理设备的性能,包括空间大小,寻道时间,数据传输率和设备缓存大小等。
AXUM***对每个PD的评价函数为:Hs*Fst+a/(Nvd+1)+b/Drw,其中a,b为常数,可根据对不同指标的侧重进行调整。在各PD优先级相同的条件下,***首先选取评价值最高的PD进行虚拟盘的空间分配。对每个PD,从它的FS链表中划分空间给VD。如果所需容量小于FSt,那么每次从大小最合适的FS段中划分空间。
AXUM的存储资源虚拟化配置功能包括虚拟盘的创建、删除、容量修改,以及虚拟盘的使用主机指定等。下面以创建虚拟盘为例说明***中的资源配置信息如何改变(图6):
1)用户通过资源配置管理软件确定要创建的虚拟盘参数,包括虚拟盘的名称,大小,是否条带组织以及数据分片数。管理软件把这些信息填充到一个虚拟盘结构(ax_vd_t)类型的变量avd中。通过ioctl机制从Linux操作***的用户空间传递到内核空间:ioctl(dev_fd,AXIO_VD_CREATE,&avd)。其中dev_fd是AXUM资源配置模块在内核中定义的字符型设备的设备号,AXIO_VD_CREATE是通知内核进行虚拟盘创建工作的命令标识,avd是用户空间要传递给内核的参数。
2)axum.o模块通过ioctl机制发现用户空间传来的AXIO_VD_CREATE命令后,把avd地址中的参数信息获取出来,调用虚拟盘创建函数:do_vdcreate(avd.vd_name,avd.vd_size,avd.mapping_type,avd.stripe_num)进行虚拟盘创建,其中四个参数分别为虚拟盘VD的名称,大小,组织方式(目前支持连续方式和条带方式)和条带数据分片数。
3)do_vd_create函数首先创建一个ax_vd_t结构的变量thevd,用来记录新的虚拟盘配置信息,把参数信息填入,然后判断参数中的组织方式,分别进行不同的空间分配处理:
3.1)如果是连续组织方式,调用连续空间分配函数alloc_vdspace_linear(thevd,vdsize)
进行虚拟盘空间分配,其中第一个参数是新的虚拟盘结构,第二个参数是虚拟盘大小:
确定参数中的thevd是否为新创建的虚拟盘:如果不是,找到它的最后一个PS,从而确定该虚拟盘的最后一段物理空间位于哪个物理设备(PD),优先选择该PD进行空间扩展;如果是新的虚拟盘,对所有可用设备进行评价和排序,优先使用最好的PD进行空间分配。
确定要分配的空间大小sg_remain,当sg_remain大于0时,循环做如下步骤:
把pfs指向的空间尽量划分给pps,把pps***thevd中PS列表的最后一项。
更新虚拟盘大小和sg_remain的值,更新相应PD的信息。
空间分配成功,返回。
3.2)如果是条带组织方式,调用条带空间分配函数alloc_vdspace_stripe(thevd,vdsize)
进行虚拟盘空间分配,其中第一个参数是新的虚拟盘结构,第二个参数是虚拟盘大小:
确定参数中的虚拟盘结构thevd是否为新的虚拟盘:如果是,对所有物理设备进行排序,假设虚拟盘thevd的分片数(stripe number)为s,则选择s个PD进行空间分配;否则,选择原有虚拟盘中最后s个PS对应的PD进行空间分配。
●确定每个ppd指向的设备中,最小可分配空间大小min;
●从每个ppd指向的设备中,划分min空间给虚拟盘;
更新虚拟盘结构thevd的容量值和剩余要分配的空间大小sg_remain。
对PD重新排序,选择新的s个设备。
空间分配成功,返回。
4)填充新的虚拟盘(thevd)结构中其他统计信息,包括空间大小和虚拟盘状态等,并把该结构***axum_SC全局变量中。通知用户虚拟盘创建成功。
5.元数据保存
用户在进行海量存储资源配置过程中,发生诸如物理磁盘的创建、删除,虚拟磁盘的创建、删除和扩展等操作时,***中的全局变量axum_SC所对应的关于物理存储设备和虚拟磁盘的信息就会发生更改。如果这些信息不予以保存的话,***重新启动之后就会丢失。因此每次更改都必须将更改后的信息保存在磁盘上。这些保存在磁盘上的信息数据我们称之为元数据。
要保存的元数据包括四种类型:(1)PD基本元数据,它包括所存放的物理设备的全局统一标识符(UUID)以及磁盘类型等信息;(2)SC基本元数据,即***中SC信息结构的数据;(3)SC所属PD的元数据,即SC中所有PD的UUID的信息;(4)SC所属VD的元数据,它不仅包括所有的VD信息结构的数据,还包括每个VD在实际磁盘中所占用的位置、大小等信息的数据。
我们在***中每个实际的物理磁盘上,都将前25M的空间空出用于存放元数据。元数据在磁盘中的布局如图7所示。
在实际的***中,我们使用两块磁盘来保存所有的元数据信息,我们称之为元数据磁盘,而其余的磁盘只保存各自的PD基本元数据。这是因为如果所有的磁盘都保存一份完整元数据的话,每次元数据的导出开销会很大。使用两个磁盘保存所有元数据既不会有很大的开销,并且当某个元数据磁盘坏掉之后还有另外一个元数据磁盘可以使用,***仍然恢复配置,继续使用。
当用户进行物理磁盘的创建、删除,虚拟磁盘的创建、删除和扩展等操作时,***会自动调用一次元数据的保存操作。***进行元数据保存操作的过程如下:
6.数据访问
前端主机加载光纤通道卡(FC-HBA)的驱动程序后,会检测到AXUM***提供的虚拟盘。这些虚拟盘可以被当作普通的SCSI磁盘进行操作,比如格式化,创建文件***,挂载(mount)等,初始化成功后就可以对这个虚拟磁盘进行数据存取访问。前端主机对虚拟盘逻辑空间的读写是通过SCSI命令发出的,SCSI命令会被FC包封装,并发送到VIC节点的STML模块(mid_target.o)进行处理。支持虚拟化功能STML的处理流程如图8所示。目标器FC-HBA驱动把包含逻辑地址的SCSI命令提交给STML,STML把这些逻辑命令组织成队列。对于每个逻辑命令,如果是查询类的命令,将直接根据AXUM的信息内容和SCSI标准格式产生反馈信息。主要查询命令及其处理方法为:
命令 | 处理 |
REPORT LUNS | 返回逻辑盘数量并确定信息帧长度 |
INQUIRY | 返回逻辑盘的名称,型号等信息 |
TEST UNIT READY | 把命令处理结果信息置为DID_OK |
READ CAPACITY | 返回对应逻辑盘的数据块数量和数据块大小 |
由于前端主机只能看到虚拟盘VD,而无法看到实际的设备,所以发到VIC上的SCSI读写命令中包含的都是各虚拟盘的逻辑空间地址,而这些地址必须要根据AXUM元数据中对应虚拟盘VD的PS列表信息,转化为实际设备对应的物理地址,并把包含物理地址的命令发送到对应设备。由于一段要读写的数据可能跨越VD的多段PS空间(尤其在条带化组织的磁盘中),因此一个逻辑命令可能会被拆分成多个物理命令。地址转化工作的目标是确定每个逻辑命令要拆分成几个实际命令,并计算每个实际命令对应的偏移地址和数据长度。同时,读写操作还可能分别需要对处理的数据进行组装或拆分。
STML模块分别使用虚拟命令处理线程(VCPT)和物理命令处理线程(PCPT)完全控制每个命令的状态、处理方法和流程(图9)。下面说明前端主机发来的SCSI读写命令在STML模块中的处理过程。
命令接收函数rx_cmnd()在接收到一个虚拟命令后,生成一个相应的虚拟命令结构Target_Virtual_Scsi_Cmnd,并置命令状态为ST_NEW_CMND,然后把该结构***虚拟命令队列,唤醒VCPT线程。VCPT线程对状态为ST_NEW_CMND的虚拟命令调用虚拟命令分析函数analyse_virtual_cmd(),该函数针对不同的命令执行不同的操作:
1)读命令处理:
对于每个物理命令,填充一个物理命令结构Target_Physical_Scsi_Command。把该虚拟命令的状态为ST_DISASSEMBEL,并置对应各个物理命令的状态为ST_PHYSICAL_NEW_CMND。
把这些物理命令***物理命令队列,唤醒处理PCPT线程进行处理。并置虚拟命令的状态为ST_PROCESSING。(a)
PCPT线程调用物理命令处理函数handle_physical_cmd()处理实际命令:
将物理命令的状态置为ST_PHYSICAL_CMD_PROCESSING。
在scsi_do_req命令返回后,调用返回处理函数te_cmd_processed_new()。该函数首先置物理命令的状态为ST_PHYSICAL_CMD_DONE,接着判断是否这个物理命令所属的虚拟命令的所有物理命令都已经执行完毕。如果一个虚拟命令的所有物理命令都已经执行完毕,则置虚拟命令的状态为ST_ASSEMBLE,并唤醒处理虚拟命令队列的线程VCPT。
VCPT对于状态为ST_ASSEMBLE的虚拟命令,调用数据合并函数simulate(),收集该虚拟命令对应的所有物理命令的响应,然后形成虚拟命令的响应。对于读操作,还要把各物理命令返回的数据合并。最后置虚拟命令的状态为ST_DONE。
当HBA驱动调用命令结束处理函数scsi_target_done()后,VCPT把虚拟命令的状态改变成ST_DEQUEUE,并置该虚拟命令对应的所有物理命令状态为ST_PHYSICAL_CMD_DEQUEUE。
VCPT线程对于状态为ST_DEQUEUE的虚拟命令执行如下操作:先把该虚拟命令对应的物理命令从相应队列中删除,然后把该虚拟命令从虚拟命令队列中删除。
2)写命令处理:
把物理命令***物理命令队列。
VCPT对状态为ST_PENDING的虚拟命令调用命令反馈通知函数hand_to_front_end(),通知HBA驱动从主机传来数据,并把虚拟命令的状态置为ST_XFERRED。把虚拟命令对应的各物理命令的状态置为ST_PHYSICAL_CMD_XFERRED。
HBA驱动调用数据接收函数scsi_rx_data()把传来的数据交给VCPT,把虚拟命令的状态置为ST_TO_PROCESS。并把各物理命令的状态置为ST_PHYSICAL_CMD_TO_PROCESS。
VCPT调用数据拆分函数data_dispatch()把数据分片并分发到若干个对应的物理命令。置虚拟命令的状态为ST_PROCESSING,各物理命令的状态为ST_PHYSICAL_CMD_PROCESSING。
7.功能总结
AXUM***的功能模块只在VIC节点上实现,对海量存储资源的配置工作可以直接在VIC上进行,也可以通过远程管理主机上的管理软件进行。AXUM把存储网络中各设备逐一加入虚拟化***进行管理,并利用这些设备的存储空间创建虚拟磁盘。对于已有的虚拟盘,可以进行删除,容量修改和主机分配。前端主机通过加载光纤通道卡的驱动程序来发现分配给它的虚拟盘,并可以像使用普通SCSI磁盘一样对虚拟盘进行各种操作,如格式化,创建磁盘文件***等。主机对虚拟盘的访问使用SCSI标准命令,在VIC上的STML模块中,对虚拟命令进行映射,使它们转化为面向实际物理设备的物理命令,从而实现逻辑空间到物理空间的正确转化处理,保证虚拟设备的操作与功能正确可靠。
本发明的相关性能测试
VIC提供给前端的虚拟盘读写性能如图10所示。图中横坐标为虚拟盘VD的分片数目(stripe number),纵坐标单位为每秒数据吞吐量(MB/s)。从测试结果可见,随着stripe数量的增加,相应虚拟盘的性能也会逐渐提高。在同等条件下,前端主机访问虚拟盘,即使该VD不进行分片(stripe number=1),也将比网络中实际存储设备的I/O性能提升7%左右。这样的性能差距主要是由于VIC节点可以提供的大容量(1GB)的内存作为数据Cache,从而使得AXUM提供的VD读写性能优于普通存储设备。同时,如果使用条带组织方式(stripe),AXUM提供的虚拟盘带来的性能优势将更加明显。
经过虚拟化处理的I/O访问延迟如图11所示。图中纵坐标表示I/O操作的平均响应时间(单位为ms)。从测试结果可以看出,由于光纤通道的传输和FC协议处理会带来延迟,所以网络设备的响应时间要略长于本地磁盘(9%左右)。但是同样是网络设备,AXUM***提供的虚拟盘的响应时间比直接网络磁盘访问只多了约0.8%,可见,由AXUM虚拟化***造成的软件延迟(主要包括地址映射计算和数据的拆装)是非常小的。
VIC节点的数据处理能力如图12所示。我们在每台前端主机上挂载AXUM创建的不同虚拟盘,每个VD只占用一个PD的空间,使得对不同虚拟盘的访问能够互不影响。使用Iometer测试工具对这些虚拟盘进行完全顺序读操作测试,以便获取无缓存影响的VIC最大数据吞吐率。从测试结果可以看出,在数据吞吐率小于120MB/s时,VIC的处理能力与前端的工作负载基本呈线性递增的关系。但是当数据吞吐率大于120MB/s后,VIC的处理能力趋于饱和,平均I/O响应时间也显著增加。这是由于SCSI总线的带宽限制造成的(160MB带宽SCSI总线的实际最大数据吞吐率为135MB左右),VIC节点的最大数据处理能力为127MB/s左右。而此时CPU利用率还不到20%。可见,在现有的硬件条件下,VIC的处理能力主要取决于数据通路上各部件的性能,而不是VIC节点的计算能力。为了消除VIC的性能瓶颈,最有效的手段只能是扩展处理节点的数量,使多个节点协同工作,从而能够适应存储网络的工作负载变化。
Claims (1)
- SAN环境中基于网络的海量存储资源管理方法,其特征在于,它是在下述存储区域网络,即SAN中实现的,所述的网络含有:主机,即前端服务器,有1个以上,其中一台作为管理主机,安装管理程序界面;在所述磁盘中,有两块元数据磁盘,用于保存所有的元数据信息,所述元数据是指在用户使用过程中,发生的包括物理磁盘、虚拟存盘的创建、删除、扩展在内的操作时形成的每次更改后的磁盘信息,所述元数据包含以下内容:PD基本元数据位置,包括所存放的物理设备的全局统一标识符,用UUID表示,以及类型信息在内;SC基本元数据,SC是指各种存储设备组成的统一存储空间,SC基本元数据即***中SC信息结构的数据;SC所有PD的元数据,即SC中所有实际的存储设备,即所有PD的UUID信息;本发明所述的方法在上述存储区域网络中实施时,它依次含有以下步骤:第1步:在所述I/O节点机即VIC节点中加载以下模块:资源配置模块,用axum.o表示;它确定要创建的虚拟盘参数,包括虚拟盘的名称、大小、是否条带组织以及数据分片数,同时提供内核符号、内核信息接口以及注册特殊的字符型设备,以便所述模块能接收用户的虚拟化配置指令,并修改它维护的相应资源配置信息,同时把变化的信息保存到元数据盘;SCSI目标器模块,用mid_target.o表示,它根据axum.o的配置信息,组织SCSI设备队列,同时建立命令处理线程,用以处理发来的I/O请求;为此,它分别建立虚拟命令和物理命令的线程来处理针对虚拟磁盘的SCSI命令即虚拟命令,以及把虚拟命令分解后的对于实际物理磁盘的SCSI命令即物理命令的链表型队列;在处理上述I/O请求时,根据axum.o的配置信息进行地址映射和数据的拆分或合并处理,返回处理结果;第2步:资源配置;管理员通过节点机提供的配置工具对海量存储资源进行虚拟化配置,它依次含有以下步骤:第2.1步:用户通过资源配置管理软件确定要创建的虚拟盘参数;第2.2步:axum.o模块通过ioctl机制发现用户空间传来的通知内核进行虚拟盘创建的命令标识,把用户空间要传递给内核的参数取出,包括虚拟盘即VD的名称、大小、组织方式和条带数据分片数,进行虚拟盘创建;第2.3步:创建虚拟盘结构即ax_vd_t的变量,填入参数信息,并记录新的虚拟盘配置数据;第2.4步:判断参数中的组织方式,进行相应的空间分配处理:第2.4.1步:当为连续组织方式时:首先确定参数中的虚拟磁盘是否为新创建的磁盘,若不是,则优先选择该磁盘的最后一段物理空间所属的物理设备进行空间扩展;否则,优先使用最好的物理磁盘进行空间分配;其次,确定剩余要分配的空间大小,选择新的磁盘进行空间分配;空间分配成功,返回;第2.4.2步:当为条带组织方式时,假设条带数量为s:首先,确定是否为新的虚拟盘,若是,则对所有的物理设备排序,选择s个物理磁盘进行空间分配;否则,选择原有虚拟盘中最后s块存储空间所对应的物理磁盘进行空间分配;确定剩余要分配的空间大小;更新虚拟盘的容量和剩余空间的大小;对物理设备重新排序,选择新的s个设备;空间分配成功,返回;第2.5步:填充新的虚拟盘结构,并把该结构***全局变量中,通知用户虚拟盘创建完成;第3步:元数据保存,它依次含有以下步骤:当操作针对物理磁盘时,首先在***作的物理磁盘PD基本元数据位置写入PD基本元数据;向元数据盘内保存SC基本元数据的位置写入SC的信息数据;向元数据盘内保存SC所有VD元数据的位置写入VD的基本元数据以及VD的占用信息;第3步:数据访问第3.1步:mid_target.o经接口函数收到前端服务器发来的对虚拟盘逻辑空间的SCSI读写命令,并生成相应的指令结构,设置命令状态后,把该命令结构***虚拟命令的处理队列;第3.2步:mid_target.o唤醒虚拟命令线程,调用虚拟分析指令,判断并针对不同的命令执行不同的操作;第3.3步:读命令处理,依次包含以下步骤:根据axum.o模块维护的虚拟化配置信息,通过资源配置用的映射函数把虚拟命令映射成几个物理SCSI命令;对每个物理命令,构建相应的指令结构,同时,设置虚拟命令的状态以及各物理命令的状态;把这些物理命令***物理命令处理队列,唤醒物理命令处理线程进行处理,并设置虚拟命令的相应处理状态;在物理命令处理完毕后,虚拟命令处理线程收集所有物理命令的响应,形成虚拟命令的响应,同时把各物理命令返回的数据合并,然后把该虚拟命令的响应发送给光纤驱动卡,并修改个命令状态;虚拟命令处理线程把对应的物理命令从相应队列中删除,再把该虚拟命令从虚拟命令处理队列中删除;第3.4步:写命令处理,依次包含以下步骤:根据axum.o模块维护的虚拟化配置信息,通过资源配置用的映射函数把虚拟命令映射成几个物理命令;对于每个物理命令,构建相应的指令结构,同时,设置虚拟命令的状态以及各物理命令的状态;把这些物理命令***物理命令处理队列;虚拟命令处理线程根据虚拟命令的状态调用接口函数通知光纤卡驱动从前端服务器传来数据,重新设置虚拟命令及相应各物理命令的状态;光纤卡驱动通过接口函数把数据交给虚拟命令处理队列,并把虚拟命令及各物理命令设成正在处理的状态;虚拟命令处理线程通过接口函数把数据分片并发到相应的物理命令中,重新设置虚拟命令及各物理命令的状态;物理命令处理线程进行处理;在处理完毕后,通过光纤卡驱动通知前端主机,并改变虚拟命令及对应的各物理命令的状态,虚拟命令处理线程把对应的物理命令从相应队列中删除,再把该虚拟命令从虚拟命令处理队列中删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100112313A CN1299207C (zh) | 2005-01-21 | 2005-01-21 | San环境中基于网络的海量存储资源管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100112313A CN1299207C (zh) | 2005-01-21 | 2005-01-21 | San环境中基于网络的海量存储资源管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1645342A true CN1645342A (zh) | 2005-07-27 |
CN1299207C CN1299207C (zh) | 2007-02-07 |
Family
ID=34875498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100112313A Expired - Fee Related CN1299207C (zh) | 2005-01-21 | 2005-01-21 | San环境中基于网络的海量存储资源管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1299207C (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100353307C (zh) * | 2006-02-16 | 2007-12-05 | 杭州华三通信技术有限公司 | 一种存储***以及存储数据的方法和读取数据的方法 |
WO2007143882A1 (en) * | 2006-06-09 | 2007-12-21 | Fast Dragon International Holdings Limited | N^n data management, access, storage, transfer, exchange and retrieval system (data master) |
CN100428131C (zh) * | 2006-10-13 | 2008-10-22 | 清华大学 | 海量存储***中的资源分配方法 |
CN100451976C (zh) * | 2007-07-23 | 2009-01-14 | 清华大学 | 基于海量数据分级存储***的迁移管理方法 |
CN100464535C (zh) * | 2006-05-09 | 2009-02-25 | 国家数字交换***工程技术研究中心 | 一种路由器虚拟驱动模块的动态加载与控制方法 |
CN1904855B (zh) * | 2005-07-29 | 2010-05-26 | 国际商业机器公司 | 自动使卷容器中的存储区域网络的组件相关的***和方法 |
CN101815095A (zh) * | 2010-03-26 | 2010-08-25 | 山东高效能服务器和存储研究院 | 一种san存储资源统一管理和分配方法 |
CN101510145B (zh) * | 2009-03-27 | 2010-08-25 | 杭州华三通信技术有限公司 | 一种存储***管理方法和装置 |
US8190846B2 (en) | 2005-10-04 | 2012-05-29 | Hitachi, Ltd. | Data management method in storage pool and virtual volume in DKC |
CN102868684A (zh) * | 2012-08-28 | 2013-01-09 | 浪潮(北京)电子信息产业有限公司 | 一种光纤通道目标器及光纤通道目标器实现方法 |
CN102917005A (zh) * | 2012-08-28 | 2013-02-06 | 大唐软件技术股份有限公司 | 一种支持事务的海量存储访问方法及装置 |
CN103701830A (zh) * | 2014-01-13 | 2014-04-02 | 浪潮(北京)电子信息产业有限公司 | 一种实现数据处理和交互的方法和*** |
CN104461698A (zh) * | 2014-12-29 | 2015-03-25 | 成都致云科技有限公司 | 虚拟磁盘动态挂载的方法、管理装置及分布式存储*** |
CN104536845A (zh) * | 2014-12-10 | 2015-04-22 | 深圳市锐明视讯技术有限公司 | 写缓存的数据同步方法及装置 |
CN104657149A (zh) * | 2015-03-13 | 2015-05-27 | 浪潮集团有限公司 | 一种存储***的管理模块的软件框架实现方法 |
CN105653529A (zh) * | 2014-11-12 | 2016-06-08 | 富泰华工业(深圳)有限公司 | 存储管理***、管理装置及方法 |
CN105786777A (zh) * | 2016-02-22 | 2016-07-20 | ***通信集团广东有限公司 | 基于文本解析器的存储容量集中处理方法 |
CN106155948A (zh) * | 2015-04-16 | 2016-11-23 | 伊姆西公司 | 用于存储***的方法、聚合配置引擎、聚合配置工具以及文件*** |
CN103744790B (zh) * | 2005-08-25 | 2017-05-10 | 美国莱迪思半导体公司 | 智能可缩放存储切换架构 |
CN108052393A (zh) * | 2017-12-27 | 2018-05-18 | 广州烽睿信息科技有限公司 | 一种it资源池智能优化配置装置 |
CN111857598A (zh) * | 2020-07-28 | 2020-10-30 | 山东超越数控电子股份有限公司 | 一种远程磁盘本地化的映射方法、装置、设备及可读介质 |
CN113472623A (zh) * | 2021-05-31 | 2021-10-01 | 山东英信计算机技术有限公司 | 一种存储***管理方法、装置、存储介质及设备 |
CN113535088A (zh) * | 2021-07-15 | 2021-10-22 | 深圳市安存数据技术有限公司 | 存储设备、数据处理方法和存储*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6715031B2 (en) * | 2001-12-28 | 2004-03-30 | Hewlett-Packard Development Company, L.P. | System and method for partitioning a storage area network associated data library |
CN1254748C (zh) * | 2003-10-31 | 2006-05-03 | 清华大学 | 存储区域网络中分布式虚拟化存储的方法 |
CN1258713C (zh) * | 2003-11-14 | 2006-06-07 | 清华大学 | 基于磁盘特征的数据分布动态映射的方法 |
-
2005
- 2005-01-21 CN CNB2005100112313A patent/CN1299207C/zh not_active Expired - Fee Related
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1904855B (zh) * | 2005-07-29 | 2010-05-26 | 国际商业机器公司 | 自动使卷容器中的存储区域网络的组件相关的***和方法 |
CN103744790B (zh) * | 2005-08-25 | 2017-05-10 | 美国莱迪思半导体公司 | 智能可缩放存储切换架构 |
US9448733B2 (en) | 2005-10-04 | 2016-09-20 | Hitachi, Ltd. | Data management method in storage pool and virtual volume in DKC |
US8683171B2 (en) | 2005-10-04 | 2014-03-25 | Hitachi, Ltd. | Data management method in storage pool and virtual volume in DKC |
US8190846B2 (en) | 2005-10-04 | 2012-05-29 | Hitachi, Ltd. | Data management method in storage pool and virtual volume in DKC |
CN100353307C (zh) * | 2006-02-16 | 2007-12-05 | 杭州华三通信技术有限公司 | 一种存储***以及存储数据的方法和读取数据的方法 |
CN100464535C (zh) * | 2006-05-09 | 2009-02-25 | 国家数字交换***工程技术研究中心 | 一种路由器虚拟驱动模块的动态加载与控制方法 |
WO2007143882A1 (en) * | 2006-06-09 | 2007-12-21 | Fast Dragon International Holdings Limited | N^n data management, access, storage, transfer, exchange and retrieval system (data master) |
CN100428131C (zh) * | 2006-10-13 | 2008-10-22 | 清华大学 | 海量存储***中的资源分配方法 |
CN100451976C (zh) * | 2007-07-23 | 2009-01-14 | 清华大学 | 基于海量数据分级存储***的迁移管理方法 |
CN101510145B (zh) * | 2009-03-27 | 2010-08-25 | 杭州华三通信技术有限公司 | 一种存储***管理方法和装置 |
CN101815095A (zh) * | 2010-03-26 | 2010-08-25 | 山东高效能服务器和存储研究院 | 一种san存储资源统一管理和分配方法 |
CN101815095B (zh) * | 2010-03-26 | 2016-01-13 | 浪潮电子信息产业股份有限公司 | 一种san存储资源统一管理和分配方法 |
CN102917005B (zh) * | 2012-08-28 | 2016-10-26 | 大唐软件技术股份有限公司 | 一种支持事务的海量存储访问方法及装置 |
CN102917005A (zh) * | 2012-08-28 | 2013-02-06 | 大唐软件技术股份有限公司 | 一种支持事务的海量存储访问方法及装置 |
CN102868684A (zh) * | 2012-08-28 | 2013-01-09 | 浪潮(北京)电子信息产业有限公司 | 一种光纤通道目标器及光纤通道目标器实现方法 |
CN103701830B (zh) * | 2014-01-13 | 2016-09-07 | 浪潮(北京)电子信息产业有限公司 | 一种实现数据处理和交互的方法和*** |
CN103701830A (zh) * | 2014-01-13 | 2014-04-02 | 浪潮(北京)电子信息产业有限公司 | 一种实现数据处理和交互的方法和*** |
CN105653529A (zh) * | 2014-11-12 | 2016-06-08 | 富泰华工业(深圳)有限公司 | 存储管理***、管理装置及方法 |
CN104536845A (zh) * | 2014-12-10 | 2015-04-22 | 深圳市锐明视讯技术有限公司 | 写缓存的数据同步方法及装置 |
CN104536845B (zh) * | 2014-12-10 | 2018-02-23 | 深圳市锐明技术股份有限公司 | 写缓存的数据同步方法及装置 |
CN104461698A (zh) * | 2014-12-29 | 2015-03-25 | 成都致云科技有限公司 | 虚拟磁盘动态挂载的方法、管理装置及分布式存储*** |
CN104657149A (zh) * | 2015-03-13 | 2015-05-27 | 浪潮集团有限公司 | 一种存储***的管理模块的软件框架实现方法 |
CN106155948B (zh) * | 2015-04-16 | 2019-07-05 | 伊姆西公司 | 用于存储***的方法、聚合配置引擎、聚合配置工具以及文件*** |
CN106155948A (zh) * | 2015-04-16 | 2016-11-23 | 伊姆西公司 | 用于存储***的方法、聚合配置引擎、聚合配置工具以及文件*** |
CN105786777A (zh) * | 2016-02-22 | 2016-07-20 | ***通信集团广东有限公司 | 基于文本解析器的存储容量集中处理方法 |
CN105786777B (zh) * | 2016-02-22 | 2018-09-28 | ***通信集团广东有限公司 | 基于文本解析器的存储容量集中处理方法 |
CN108052393A (zh) * | 2017-12-27 | 2018-05-18 | 广州烽睿信息科技有限公司 | 一种it资源池智能优化配置装置 |
CN111857598A (zh) * | 2020-07-28 | 2020-10-30 | 山东超越数控电子股份有限公司 | 一种远程磁盘本地化的映射方法、装置、设备及可读介质 |
CN113472623A (zh) * | 2021-05-31 | 2021-10-01 | 山东英信计算机技术有限公司 | 一种存储***管理方法、装置、存储介质及设备 |
CN113535088A (zh) * | 2021-07-15 | 2021-10-22 | 深圳市安存数据技术有限公司 | 存储设备、数据处理方法和存储*** |
Also Published As
Publication number | Publication date |
---|---|
CN1299207C (zh) | 2007-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1299207C (zh) | San环境中基于网络的海量存储资源管理方法 | |
CN100533387C (zh) | 执行作业步的***和方法 | |
JP5244236B2 (ja) | 計算機システム、方法、およびプログラム | |
CN1220946C (zh) | 管理计算环境的分区组的方法和*** | |
US7480719B2 (en) | Information system, load control method, load control program and recording medium | |
CN1881183A (zh) | 信息处理装置、进程控制方法及其计算机程序 | |
CN1722107A (zh) | 计算机***以及存储装置***的迁移方法 | |
CN1928840A (zh) | 存储装置虚拟化装置的设备控制交接方法 | |
CN1581877A (zh) | 存储*** | |
CN1300723C (zh) | 将处理器用作虚拟设备的方法和信息处理*** | |
CN1453715A (zh) | 拥有虚拟资源的存储*** | |
CN1265274C (zh) | 存储设备控制装置和存储设备控制装置的控制方法 | |
CN1791862A (zh) | 操作*** | |
CN1652084A (zh) | 计算机***、管理装置、存储装置以及计算机装置 | |
CN1836212A (zh) | 在多节点***中资源动态分配的分层管理 | |
CN1955940A (zh) | Raid***、raid控制器及其重建/拷回处理方法 | |
CN1327196A (zh) | 信息处理***和存储器装置的分配方法 | |
CN101042676A (zh) | 存储***以及存储区域释放方法以及存储装置 | |
CN1324472C (zh) | 信息提供*** | |
JP6172649B2 (ja) | 情報処理装置、プログラム、及び、情報処理方法 | |
CN1391671A (zh) | 计算环境中的工作负载管理 | |
JP4801761B2 (ja) | データベース管理方法およびシステム並びにその処理プログラム | |
CN1825267A (zh) | 存储控制装置及其控制方法 | |
CN1838128A (zh) | 存储装置***的控制技术 | |
JP5385912B2 (ja) | 算出装置、システム管理装置、算出方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070207 Termination date: 20110121 |