CN101702115B - 一种基于集群存储***实现块协议接口的方法 - Google Patents
一种基于集群存储***实现块协议接口的方法 Download PDFInfo
- Publication number
- CN101702115B CN101702115B CN2009102309911A CN200910230991A CN101702115B CN 101702115 B CN101702115 B CN 101702115B CN 2009102309911 A CN2009102309911 A CN 2009102309911A CN 200910230991 A CN200910230991 A CN 200910230991A CN 101702115 B CN101702115 B CN 101702115B
- Authority
- CN
- China
- Prior art keywords
- module
- cluster storage
- block
- target program
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000009795 derivation Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013507 mapping Methods 0.000 abstract description 5
- 238000011161 development Methods 0.000 abstract description 4
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于集群存储***实现块协议接口的方法，属于一种计算机以及网络信息技术领域，在集群存储***的每个数据节点部署一个虚拟块接口模块，实现虚拟地址映射和写时分配等功能，对上层SCSI Target程序提供块设备接口；虚拟块接口模块包括块设备导出模块、虚拟地址映射模块、写时分配模块、SCST Target程序；块设备导出模块连接集群存储***的集群存储卷，虚拟地址映射模块、写时分配模块均与块设备导出模块连接，SCST Target程序与虚拟地址映射模块、写时分配模块连接。本发明基于集群存储***的高性能、高可扩展性、高可用性、高性价比实现块接口存储服务，满足当前快速发展的信息处理和存储需求。
Description
技术领域
本发明涉及一种计算机以及网络信息技术领域，具体地说是一种基于集群存储***实现块协议接口的方法。
背景技术
随着计算机和网络技术的发展，社会信息化程度的提高，许多面向海量数据的大型应用纷纷涌现，这些应用对存储设备性能需求也逐渐上升到GB级别，而传统的磁盘阵列一般只具备一个或两个控制器，数据接口数量也只有2-4个，单台阵列在实现GB级别带宽需求时已经到达物理硬件的极限且价格昂贵。但一些视频类、高性能计算类的应用其带宽需求早已经到达数十GB，使用普通的单控、双控阵列已经不能适用于此种场合，而多控磁盘阵列其控制器数量一般也只有8个左右，且价格均在百万人民币以上，远不能被这些应用所接受。
存储集群***则以数百至数千个数据节点为用户提供并行存储服务，由于其数据节点采用普通X86硬件架构实现，成本低，易升级，因此采用集群架构构建的存储服务具有高带宽(GB～几十GB)、高可扩展(数百至数千个节点)、高可用(集群内所有节点全冗余配置)、易升级(简单替换某一节点即可)等特点，正在多种行业、多种应用环境中得到普遍的应用。但目前应用的存储集群***仅提供文件接口服务，无法提供块接口服务，这限制了此类存储***在数据库等块接口应用领域的拓展。
因此很有必要研究一种基于集群存储***实现块协议接口的方法，为用户提供高带宽、高可扩展、高可用、易升级、性能价格比良好的块接口服务，满足当前不断发展的信息行业需求。
发明内容
本发明的技术任务是提供一种基于集群存储***的高性能、高可扩展性、高可用性、高性价比实现块接口存储服务，满足当前快速发展的信息处理和存储需求的一种基于集群存储***实现块协议接口的方法。
本发明的技术任务是按以下方式实现的，包括集群存储***，在集群存储***的每个数据节点部署一个虚拟块接口模块，实现虚拟地址映射和写时分配等功能，对上层SCSI Target程序提供块设备接口；虚拟块接口模块包括块设备导出模块、虚拟地址映射模块、写时分配模块、SCST Target程序；块设备导出模块连接集群存储***的集群存储卷，虚拟地址映射模块、写时分配模块均与块设备导出模块连接，SCST Target程序与虚拟地址映射模块、写时分配模块连接。
块设备导出模块负责将集群存储***的集群存储卷中的某一个文件导出为上层应用可见的虚拟块设备；虚拟地址映射模块负责将块设备导出模块导出的虚拟块设备的地址分配工作给SCST Target程序；写时分配模块在SCSTTarget程序向底层集群存储卷写数据的时候自动分配新的存储空间；SCSTTarget程序用于将SCSI数据块映射成可以格式化并读写数据的块设备。
虚拟地址映射模块负责将块设备导出模块导出的虚拟块设备的地址分配工作给SCST Target程序，使上层应用看到一个大于实际集群存储卷文件大小的逻辑地址空间。
SCST Target程序可以是iSCSI Target程序或FC Target程序。
iSCSI：Internet小型计算机***接口(iSCSI：Internet SmallComputer System Interface)，是一种基于TCP/IP的协议，用来建立和管理IP存储设备、主机和客户机等之间的相互连接，并创建存储区域网络。iSCSI的主要功能是在TCP/IP网络上的主机***(启动器initiator)和存储设备(目标器target)之间进行大量数据的封装和可靠传输过程。
FC：光纤信道(Fibre Channel)，简称FC。是一种跟SCSI或IDE有很大不同的接口，它很像以太网的转换开头。以前它是专为网络设计的，后来随着存储器对高带宽的需求，慢慢移植到现在的存储***上来了。光纤通道通常用于连接一个SCSI RAID(或其它一些比较常用的RAID类型)，以满足高端工作或服务器对高数据传输率的要求。
集群存储***对外实现标准文件接口，而上层SCST Target程序只能读写块设备，因此需要块设备导出模块把集群存储卷的文件导出为普通的块设备，从而允许SCST Target程序执行标准的块读写操作。
虚拟地址映射模块负责将执行虚拟块设备的地址分配工作，使上层应用看到一个大于实际集群存储卷文件大小的逻辑地址空间。由块设备导出模块导出的虚拟块设备其大小等同于集群存储卷文件的实际大小，但是SCST Target程序则要求一开始就分配GB甚至TR级的容量。而创建TR级大小的文件对一个具备10GB带宽的存储集群来说将耗费102秒左右，用户显然不能等待如此长的时间，因此需要虚拟地址映射模块上层展现一个基于虚拟地址映射的逻辑地址空间，保证SCST Target程序对块设备的初始化级LUN映射功能的正常运行。
写时分配模块，根据程序定义，在SCST Target程序向底层块设备写数据的时候自动分配新的存储空间，实现存储空间的动态增加，满足容量扩展需求；本发明是基于虚拟地址映射模块对上层展现更大的存储设备大小，底层存储数据的集群存储卷文件则可能仅是实际空间的百分之几，因此当上层应用写入新数据的时候需要对集群存储卷文件实时分配新的空间；写时分配模块执行集群存储卷文件新空间分配时采用负载均衡策略，即在集群存储***的所有节点或节点组上执行分配任务，从而实现容量的动态扩展和性能的均衡提升。
SCST Target程序：可以是iSCSI Target或FC Target，用于将SCSI数据块映射成应用主机可以格式化并读写数据的块设备。
本发明的一种基于集群存储***实现块协议接口的方法具有以下优点：
1、利用集群存储***的高可用性和高可扩展性实现块数据接口，具备极高的可扩展性和良好的可用性；
2、基于价格便宜的普通的硬件平台实现高性能的块接口，具备良好的性能价格比；
3、基于集群存储***实现块接口，能实现容量的动态扩容及性能的动态提升；
4、基于集群存储***实现块接口，适用于存储集群***，同时也适用于基于普通的NAS服务器实现块接口服务；因而，具有很好的推广使用价值。
附图说明
下面结合附图对本发明进一步说明。
附图1为一种基于集群存储***实现块协议接口的方法的结构示意框图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种基于集群存储***实现块协议接口的方法作以下详细地说明。
实施例：
本发明的一种基于集群存储***实现块协议接口的方法，包括集群存储***，在集群存储***的每个数据节点部署一个虚拟块接口模块，实现虚拟地址映射和写时分配等功能，对上层SCSI Target程序提供块设备接口；虚拟块接口模块包括块设备导出模块、虚拟地址映射模块、写时分配模块、SCST Target程序；块设备导出模块连接集群存储***的集群存储卷，虚拟地址映射模块、写时分配模块均与块设备导出模块连接，SCST Target程序与虚拟地址映射模块、写时分配模块连接。
块设备导出模块负责将集群存储***的集群存储卷中的某一个文件导出为上层应用可见的虚拟块设备；虚拟地址映射模块负责将块设备导出模块导出的虚拟块设备的地址分配工作给SCST Target程序；写时分配模块在SCSTTarget程序向底层集群存储卷写数据的时候自动分配新的存储空间；SCSTTarget程序用于将SCSI数据块映射成可以格式化并读写数据的块设备。
虚拟地址映射模块负责将块设备导出模块导出的虚拟块设备的地址分配工作给SCST Target程序，使上层应用看到一个大于实际集群存储卷文件大小的逻辑地址空间。
SCST Target程序可以是iSCSI Target程序或FC Target程序。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (3)
1.一种基于集群存储***实现块协议接口的方法，其特征在于，具体步骤如下：在集群存储***的每个数据节点部署一个虚拟块接口模块，实现虚拟地址映射和写时分配的功能，对上层SCSI Target程序提供块设备接口；所述虚拟块接口模块包括块设备导出模块、虚拟地址映射模块、写时分配模块、SCSITarget程序；块设备导出模块连接集群存储***的集群存储卷，虚拟地址映射模块、写时分配模块均与块设备导出模块连接，SCSI Target程序与虚拟地址映射模块、写时分配模块连接；块设备导出模块负责将集群存储***的集群存储卷中的某一个文件导出为上层应用可见的虚拟块设备；虚拟地址映射模块负责将块设备导出模块导出的虚拟块设备的地址分配工作给SCSI Target程序；写时分配模块在SCSI Target程序向底层集群存储卷写数据的时候自动分配新的存储空问；SCSI Target程序用于将SCSI数据块映射成格式化并读写数据的块设备，使上层应用看到一个大于实际集群存储卷文件大小的逻辑地址空间。
2.根据权利要求1所述的一种基于集群存储***实现块协议接口的方法，其特征在于SCSI Target程序是ISCSI Target程序或Fc Target程序。
3.根据权利要求1所述的一种基于集群存储***实现块协议接口的方法，其特征在于写时分配模块执行集群存储卷文件新的存储空间分配时采用负载均衡策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009102309911A CN101702115B (zh) | 2009-11-27 | 2009-11-27 | 一种基于集群存储***实现块协议接口的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009102309911A CN101702115B (zh) | 2009-11-27 | 2009-11-27 | 一种基于集群存储***实现块协议接口的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101702115A CN101702115A (zh) | 2010-05-05 |
| CN101702115B true CN101702115B (zh) | 2012-04-11 |
Family
ID=42157032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009102309911A Active CN101702115B (zh) | 2009-11-27 | 2009-11-27 | 一种基于集群存储***实现块协议接口的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101702115B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722416A (zh) * | 2012-06-07 | 2012-10-10 | 浪潮电子信息产业股份有限公司 | 一种集群存储***共享块设备格式化的调度方法 |
| CN102833237B (zh) * | 2012-08-14 | 2015-01-14 | 南京斯坦德云科技股份有限公司 | 一种基于桥接的无限带宽协议转换方法及*** |
| CN102882955A (zh) * | 2012-09-18 | 2013-01-16 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储***的扩展方法及装置 |
| CN103607465A (zh) * | 2013-11-27 | 2014-02-26 | 浪潮电子信息产业股份有限公司 | 一种融合链路存储*** |
| CN104158874A (zh) * | 2014-08-12 | 2014-11-19 | 浪潮集团有限公司 | 一种powerpc云存储平台采用scst实现fc通信的方法 |
| CN105812468A (zh) * | 2016-03-15 | 2016-07-27 | 山东超越数控电子有限公司 | 一种基于scst的存储高可用方法 |
| CN109964208B (zh) * | 2017-10-25 | 2021-07-09 | 华为技术有限公司 | 一种双活存储***和地址分配方法 |
| CN108282516B (zh) * | 2017-12-21 | 2021-09-10 | 深圳创新科技术有限公司 | 一种基于iSCSI的分布式存储集群负载均衡方法和装置 |
| CN108334291B (zh) * | 2018-03-07 | 2021-05-18 | 成都创信特电子技术有限公司 | 建立移动终端可信环境的方法 |
| CN109067927A (zh) * | 2018-10-24 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种nas***的启动方法、启动***及相关装置 |
| CN112261079B (zh) * | 2020-09-11 | 2022-05-10 | 苏州浪潮智能科技有限公司 | 一种基于iSCSI的分布式块存储服务链接管理的方法及*** |
-
2009
- 2009-11-27 CN CN2009102309911A patent/CN101702115B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN101702115A (zh) | 2010-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101702115B (zh) | 一种基于集群存储***实现块协议接口的方法 | |
| CN104657316B (zh) | 服务器 | |
| CN103797770B (zh) | 一种共享存储资源的方法和*** | |
| US7953929B1 (en) | Expanding the storage capacity of a virtualized data storage system | |
| CN102405460B (zh) | 虚拟存储***及其运行方法 | |
| US9122697B1 (en) | Unified data services for block and file objects | |
| CN102123176B (zh) | 一种网络存储***空间分配管理方法及装置 | |
| US7421556B2 (en) | Method and apparatus for migrating data between heterogeneous data storage devices | |
| US9329792B2 (en) | Storage thin provisioning and space reclamation | |
| CN100428131C (zh) | 海量存储***中的资源分配方法 | |
| CN101997918A (zh) | 异构san环境中的海量存储资源按需分配的实现方法 | |
| US11262918B1 (en) | Data storage system with uneven drive wear reduction | |
| JP2020511714A (ja) | ストリームを使用するデータの割り振りエリアへの選択的記憶 | |
| US10721304B2 (en) | Storage system using cloud storage as a rank | |
| US10372363B2 (en) | Thin provisioning using cloud based ranks | |
| US20210365206A1 (en) | Reusing overwritten portion of write buffer of a storage system | |
| US11704160B2 (en) | Redistribution of processing groups between server nodes based on hardware resource utilization | |
| CN109302494A (zh) | 一种网络存储***的配置方法、装置、设备及介质 | |
| US10664201B2 (en) | Considering input/output workload and space usage at a plurality of logical devices to select one of the logical devices to use to store an object | |
| CN110196752A (zh) | 数据处理方法、装置及存储介质 | |
| US11366601B2 (en) | Regulating storage device rebuild rate in a storage system | |
| US9146694B2 (en) | Distribution processing unit of shared storage | |
| US11347641B2 (en) | Efficient memory usage for snapshots based on past memory usage | |
| KR101564712B1 (ko) | Ｓｃｓｔ를 이용한 총 플래시 어레이 스토리지 가상화 방법 | |
| US10606506B2 (en) | Releasing space allocated to a space efficient target storage in a copy relationship with a source storage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |