CN101739220A - 一种多控制器存储阵列的设计方法 - Google Patents
一种多控制器存储阵列的设计方法 Download PDFInfo
- Publication number
- CN101739220A CN101739220A CN200910014605A CN200910014605A CN101739220A CN 101739220 A CN101739220 A CN 101739220A CN 200910014605 A CN200910014605 A CN 200910014605A CN 200910014605 A CN200910014605 A CN 200910014605A CN 101739220 A CN101739220 A CN 101739220A
- Authority
- CN
- China
- Prior art keywords
- controller
- unit
- data
- buffer
- buffer unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000013461 design Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims abstract description 4
- 238000004891 communication Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 5
- 230000003139 buffering effect Effects 0.000 claims description 4
- 239000004744 fabric Substances 0.000 claims description 4
- 230000003862 health status Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- 239000000969 carrier Substances 0.000 claims description 2
- 230000036541 health Effects 0.000 claims description 2
- 238000002955 isolation Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 239000013307 optical fiber Substances 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种多控制器存储阵列的设计方法，该方法是***中设置2个以上的控制器实现实时对故障接管、热拔插功能的状态监控，***性能随着控制器个数增加近似线性增长，在该设计中所使用的模块包括：控制器单元、交换单元、数据缓存单元、存储单元、电源散热单元，其中数据缓存单元不依附于控制器，是一个独立的功能单元，控制器单元和缓存单元通过高速网络单元与各种配置管理和状态信息实现互联共享，可以进行灵活的配置，包括从***中在线添加部件或删除部件等操作。这种灵活性体现在将缓存单元从控制器中独立出来，组织成统一独立存储空间，通过网络互联单元进行访问控制，提高了***设计难度，增加了可靠性。
Description
技术领域
本发明涉及一种计算机应用技术，具体地说是一种高可靠，高性能的多控制器存储阵列架构设计方法。
背景技术
存储磁盘阵列***是随着计算机技术发展起来的，特别是随着信息化应用的范围越来越大，互联网技术的兴起，数据承载量越来越大，磁盘阵列技术也向着大容量，高可靠方向发展。最初磁盘阵列形式是低端的DAS(直连存储)产品，随着技术发展和业务需求，SAN(网络存储)逐渐进入主流应用，相对DAS产品，SAN设备具有更加智能，易管理，高性能，支持更多高端应用的特点，其应用也更灵活。
不管是DAS还是SAN产品，控制器部分都是存储阵列的核心组件，其作用包括后端磁盘控制，协议转换，前端服务提供，***管理等主要功能，因此，控制器的可靠性，性能是影响整个***的主要因素。目前，低端磁盘阵列一般配置一个控制器，中高档产品则一般配置两个控制器。两个控制器在一定程度上满足了***应用高可靠的要求，但在一些应用苛刻的场合，双控制器架构性能提升有限，而且双控制器架构仍然存在一定风险，当一个控制器故障后，***性能下降明显。
为了提供存储***的可靠性，有必要采用一种多控制器的设计方法，多控制器可以做到同时工作，负载均衡，性能可以随控制器个数近似线性增长，控制器间实时交互各自的健康状态信息，出现某个控制器故障时能够自动接管，切换，同时***部件可以实现在线热拔插，自动检测，提供***可用性，可维护性，高性能。
双控制器架构设计中，每个控制器上都有一个数据缓冲池，其中保存对后端磁盘IO的数据，两控制器间通过网络连接实现数据交换，保持缓冲池内数据镜像，在某一控制器故障时，另一控制器便可以无缝接管。两控制器间通过交换网络还进行健康状态，管理配置信息的交互。
在多控制器***中，如果仍旧采取控制器加各自缓冲的方式，那么每个控制器上缓冲池的利用率会大大降低，其控制器间的数据通讯负载大大加重，数据缓存的分布策略也较复杂，传统双控制器的设计方法已经不适应多控制器存储架构的方法。
发明内容
本发明涉及的多控存储架构区别于以往的单控或双控存储阵列采用的设计方法。本设计体系中，控制器可以做到多个，多控制器可以实现实时状态监控，故障接管，热拔插等功能，***性能随着控制器个数增加可以近似线性增长。在该设计架构中，主要模块为控制器单元，交换单元，数据缓存单元，存储单元，电源散热单元。数据缓存单元不依附于控制器，是一个独立的功能单元。控制器单元，缓存单元通过高速网络单元实现互联，各种配置管理，状态信息的共享。其中，各个功能模块的作用如下：
1.控制器单元：对前端服务器提供SCSI Target服务，解析各种协议如FCIP，ISCSI、把客户机对存储的读写数据通过互联单元发送到缓存单元中，进行RAID XOR运算，操作后端磁盘IO，将数据写入磁盘中，交换各自的健康状态信息，对外提供管理接口，供管理员进行配置使用。控制器通过交换彼此的状态信息，互相健康，发现异常后立即进行在线切换和隔离报警。当有新的控制器进入***后，会进行广播通知，控制器间自动负载均衡，保证***性能表现良好。
2.缓冲模块单元：其最主要的作用是保存前端客户端发生的IO操作数据。由于写缓冲的速度远大于后端磁盘的写入速度，当前端服务器的请求达到控制器单元后，控制器先将数据和地址信息发送到缓存单元，若某个控制器发生故障，正常控制器便可根据缓存单元中的数据和地址实时接管故障控制器的任务。缓存单元配置为偶数配置，两两缓存单元间保持数据镜像，提高***可用性。缓冲单元按照既定的组织策略，对外形成一个统一的存储空间池，控制器对这一统一空间存储池进行操作。缓存单元和控制器上都有网络通讯接口，通过在相关网络上开发对应的缓存操作协议，实现对统一缓存单元的操作。
3.高速交换单元：处在控制器和缓存单元之间，是两者信息数据交换的通路。高速交换单元采用全双工工作方式，保证数据通路高速运行，保证交换单元不会成为***瓶颈。交换架构采用cross-bar无阻塞交换矩阵架构，多端口设计。***中，采用两套交换单元同时工作，提高***冗余度，增强运行可靠性。
4.存储单元包括FC交换机和磁盘柜，是数据最终载体。磁盘与控制器间采用交换式结构。控制器通过光纤通道与FC交换机连接。每个控制器都有冗余链路连接到后端盘柜，提高***读写性能。
5.电源散热单元：为***提供AC-DC转换，保证***稳定工作。采用1+1冗余架构。
本发明的有益效果是：
基于模块化多控制器的存储阵列架构，主要是指新型体系结构中的控制器、缓存单元、缓存单元作为***内的模块化部件，可以进行灵活的配置，包括从***中在线添加部件或删除部件等操作。这种灵活性体现在添加和删除某一模块时，***会自动进行模块的识别，执行负载均衡动作，从而减少***管理的复杂程度。将缓存单元从控制器中独立出来，组织成统一独立存储空间，通过网络互联单元进行访问控制，提高了***设计难度，增加了可靠性。
附图说明
附图1为多控制器存储阵列拓扑架构示意图。
具体实施方式
下面参照附图，对本发明的内容以一个具体实例来描述实现这一体系结构的详细过程。
正如发明内容中所描述的，本发明体系结构主要包括：缓存模块单元，控制器模块单元、高速缓存交换单元、存储单元-包括FC交换机和磁盘柜、电源和散热单元。
在这一体系结构中所提到的资源模块主要包括控制器单元、缓冲交换单元和缓存单元。控制器单元上包括对外提供存储服务的主机接口如以太网、FC接口、管理配置接口如RS-232、与缓存交换单元相连的网络接口、RAID XOR运算单元、磁盘控制器等。主机的LUN读写请求到达控制器后，进行协议的解析，分离出其中的SCSI数据和命令。读操作时由控制器到后端磁盘读入数据，将数据进行相关协议如FC，ISCSI的封包，由前端接口发送到主机端。若前端主机为写请求，控制器先将数据通过控制器的缓存接口---缓存交换单元---缓存单元这一路径进入缓存单元，同时控制器开始进行后端磁盘的RAID XOR运算，将数据写入后端磁盘中，当数据写入完成后，控制器将缓存单元中的“脏”数据进行清零，标记其状态为可用。控制器间按照在机箱中的插槽位置有不同的地址，控制器间进行不间断的状态信息交换，当有故障控制器时，正常控制器会将故障控制器保留在缓存单元中的数据接管，写入后端盘柜。
缓存交换单元是缓存单元和控制器间的数据通路，因而需要此设备具有较高的通信带宽和较低的通信延迟等物理特性，满足上述要求的高速互连设备可采用Infiniband、PCI-E等新兴的串行高速总线技术。该设备支持全双工无阻塞多端口要求，满足***模块化设计思想。
缓存单元上包含高速内存，内存控制器和网络接口等功能部件。正常情况下，缓存单元进行成对配置，两个缓存单元容量相同，数据内容进行镜像，增加***可靠性。控制器和缓存单元间通讯采用协定的格式，缓存单元组织成一个统一的连续编制的缓冲空间，控制器通过设定的格式和缓存单元进行通讯，操作。
Claims (2)
1.一种多控制器存储阵列的设计方法，其特征在于，***中设置2个以上的控制器实现实时对故障接管、热拔插功能的状态监控，***性能随着控制器个数增加近似线性增长，在该设计中所使用的模块包括：控制器单元、交换单元、数据缓存单元、存储单元、电源散热单元，其中数据缓存单元不依附于控制器，是一个独立的功能单元，控制器单元和缓存单元通过高速网络单元与各种配置管理和状态信息实现互联共享，其中，各个功能模块的作用如下：
控制器单元：对前端服务器提供SCSI Target服务，解析各种协议如FCIP，ISCSI、把客户机对存储的读写数据通过互联单元发送到缓存单元中，进行RAID XOR运算，操作后端磁盘IO，将数据写入磁盘中，交换各自的健康状态信息，对外提供管理接口，供管理员进行配置使用。控制器通过交换彼此的状态信息，互相健康，发现异常后立即进行在线切换和隔离报警。当有新的控制器进入***后，会进行广播通知，控制器间自动负载均衡，保证***性能表现良好。
缓冲模块单元：其最主要的作用是保存前端客户端发生的IO操作数据。由于写缓冲的速度远大于后端磁盘的写入速度，当前端服务器的请求达到控制器单元后，控制器先将数据和地址信息发送到缓存单元，若某个控制器发生故障，正常控制器便可根据缓存单元中的数据和地址实时接管故障控制器的任务。缓存单元配置为偶数配置，两两缓存单元间保持数据镜像，提高***可用性。缓冲单元按照既定的组织策略，对外形成一个统一的存储空间池，控制器对这一统一空间存储池进行操作。缓存单元和控制器上都有网络通讯接口，通过在相关网络上开发对应的缓存操作协议，实现对统一缓存单元的操作。
高速交换单元：处在控制器和缓存单元之间，是两者信息数据交换的通路。高速交换单元采用全双工工作方式，保证数据通路高速运行，保证交换单元不会成为***瓶颈。交换架构采用cross-bar无阻塞交换矩阵架构，多端口设计。***中，采用两套交换单元同时工作，提高***冗余度，增强运行可靠性。
存储单元，包括FC交换机和磁盘柜，是数据最终载体，磁盘与控制器间采用交换式结构，控制器通过光纤通道与FC交换机连接；
电源散热单元：为***提供AC-DC转换，保证***稳定工作，采用1+1冗余架构。
2.根据权利要求1所述的方法，其特征在于，控制器，缓存单元，互联单元的***结构中，缓存单元作为一个独立模块存在，对外形成统一的缓存池来提供服务，控制器对缓冲池进行操作，存储池对每个控制器实现可视和可操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910014605A CN101739220A (zh) | 2009-02-25 | 2009-02-25 | 一种多控制器存储阵列的设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910014605A CN101739220A (zh) | 2009-02-25 | 2009-02-25 | 一种多控制器存储阵列的设计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101739220A true CN101739220A (zh) | 2010-06-16 |
Family
ID=42462753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910014605A Pending CN101739220A (zh) | 2009-02-25 | 2009-02-25 | 一种多控制器存储阵列的设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101739220A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102929560A (zh) * | 2012-09-27 | 2013-02-13 | 浪潮(北京)电子信息产业有限公司 | 一种可动态调整的磁盘阵列***及其调整方法 |
| CN103106048A (zh) * | 2013-01-30 | 2013-05-15 | 浪潮电子信息产业股份有限公司 | 一种多控多活的存储*** |
| CN103152397A (zh) * | 2013-02-06 | 2013-06-12 | 浪潮电子信息产业股份有限公司 | 一种多控存储***设计方法 |
| CN103327074A (zh) * | 2013-05-24 | 2013-09-25 | 浪潮电子信息产业股份有限公司 | 一种全局共享缓存的紧耦合多控多活存储***的设计方法 |
| CN103795753A (zh) * | 2012-10-31 | 2014-05-14 | ***通信集团四川有限公司 | 一种实现san网络数据均衡传输的方法及*** |
| CN104077083A (zh) * | 2014-07-01 | 2014-10-01 | 浪潮(北京)电子信息产业有限公司 | 新加存储方法、装置和*** |
| CN104750433A (zh) * | 2015-03-26 | 2015-07-01 | 浪潮集团有限公司 | 一种基于scst的缓存设计方法 |
| CN105635300A (zh) * | 2016-01-13 | 2016-06-01 | 浪潮(北京)电子信息产业有限公司 | 一种实现nas共享业务高可用的方法及装置 |
| CN103838515B (zh) * | 2012-11-23 | 2016-08-03 | 中国科学院声学研究所 | 一种服务器集群访问调度多控制器磁盘阵列的方法及*** |
| CN106873903A (zh) * | 2016-12-30 | 2017-06-20 | 北京联想核芯科技有限公司 | 数据存储方法及装置 |
| CN107241444A (zh) * | 2017-07-31 | 2017-10-10 | 郑州云海信息技术有限公司 | 一种分布式缓存数据管理***、方法及装置 |
| CN107632788A (zh) * | 2017-09-26 | 2018-01-26 | 郑州云海信息技术有限公司 | 一种多控存储***io调度的方法及多控存储*** |
| WO2018099241A1 (zh) * | 2016-11-30 | 2018-06-07 | 中兴通讯股份有限公司 | 磁盘阵列控制器、数据处理方法及其装置 |
| CN111190546A (zh) * | 2019-12-30 | 2020-05-22 | 深圳创新科软件技术有限公司 | 一种基于alua和本地缓存的分布式块存储性能优化方法 |
| TWI708145B (zh) * | 2019-04-30 | 2020-10-21 | 威聯通科技股份有限公司 | 多控制器儲存系統及儲存裝置 |
| CN112181705A (zh) * | 2020-10-12 | 2021-01-05 | 上海前瞻创新研究院有限公司 | 基于多控制器的管理存储控制方法及存储设备 |
| CN113419977A (zh) * | 2021-05-28 | 2021-09-21 | 济南浪潮数据技术有限公司 | 一种服务器中pcie设备管理***和服务器 |
-
2009
- 2009-02-25 CN CN200910014605A patent/CN101739220A/zh active Pending
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102929560A (zh) * | 2012-09-27 | 2013-02-13 | 浪潮(北京)电子信息产业有限公司 | 一种可动态调整的磁盘阵列***及其调整方法 |
| CN102929560B (zh) * | 2012-09-27 | 2015-06-10 | 浪潮(北京)电子信息产业有限公司 | 一种可动态调整的磁盘阵列***及其调整方法 |
| CN103795753A (zh) * | 2012-10-31 | 2014-05-14 | ***通信集团四川有限公司 | 一种实现san网络数据均衡传输的方法及*** |
| CN103838515B (zh) * | 2012-11-23 | 2016-08-03 | 中国科学院声学研究所 | 一种服务器集群访问调度多控制器磁盘阵列的方法及*** |
| CN103106048A (zh) * | 2013-01-30 | 2013-05-15 | 浪潮电子信息产业股份有限公司 | 一种多控多活的存储*** |
| CN103152397A (zh) * | 2013-02-06 | 2013-06-12 | 浪潮电子信息产业股份有限公司 | 一种多控存储***设计方法 |
| CN103152397B (zh) * | 2013-02-06 | 2017-05-03 | 浪潮电子信息产业股份有限公司 | 一种多协议存储***设计方法 |
| CN103327074A (zh) * | 2013-05-24 | 2013-09-25 | 浪潮电子信息产业股份有限公司 | 一种全局共享缓存的紧耦合多控多活存储***的设计方法 |
| CN104077083A (zh) * | 2014-07-01 | 2014-10-01 | 浪潮(北京)电子信息产业有限公司 | 新加存储方法、装置和*** |
| CN104750433A (zh) * | 2015-03-26 | 2015-07-01 | 浪潮集团有限公司 | 一种基于scst的缓存设计方法 |
| CN105635300A (zh) * | 2016-01-13 | 2016-06-01 | 浪潮(北京)电子信息产业有限公司 | 一种实现nas共享业务高可用的方法及装置 |
| WO2018099241A1 (zh) * | 2016-11-30 | 2018-06-07 | 中兴通讯股份有限公司 | 磁盘阵列控制器、数据处理方法及其装置 |
| CN106873903A (zh) * | 2016-12-30 | 2017-06-20 | 北京联想核芯科技有限公司 | 数据存储方法及装置 |
| CN106873903B (zh) * | 2016-12-30 | 2020-02-18 | 深圳忆联信息***有限公司 | 数据存储方法及装置 |
| CN107241444A (zh) * | 2017-07-31 | 2017-10-10 | 郑州云海信息技术有限公司 | 一种分布式缓存数据管理***、方法及装置 |
| CN107241444B (zh) * | 2017-07-31 | 2020-07-07 | 郑州云海信息技术有限公司 | 一种分布式缓存数据管理***、方法及装置 |
| CN107632788A (zh) * | 2017-09-26 | 2018-01-26 | 郑州云海信息技术有限公司 | 一种多控存储***io调度的方法及多控存储*** |
| TWI708145B (zh) * | 2019-04-30 | 2020-10-21 | 威聯通科技股份有限公司 | 多控制器儲存系統及儲存裝置 |
| US11436184B2 (en) | 2019-04-30 | 2022-09-06 | Qnap Systems, Inc. | Multi-controller storage system and storage apparatus |
| CN111190546A (zh) * | 2019-12-30 | 2020-05-22 | 深圳创新科软件技术有限公司 | 一种基于alua和本地缓存的分布式块存储性能优化方法 |
| CN111190546B (zh) * | 2019-12-30 | 2023-10-20 | 深圳创新科软件技术有限公司 | 一种基于alua和本地缓存的分布式块存储性能优化方法 |
| CN112181705A (zh) * | 2020-10-12 | 2021-01-05 | 上海前瞻创新研究院有限公司 | 基于多控制器的管理存储控制方法及存储设备 |
| CN112181705B (zh) * | 2020-10-12 | 2023-02-03 | 上海前瞻创新研究院有限公司 | 基于多控制器的管理存储控制方法及存储设备 |
| CN113419977A (zh) * | 2021-05-28 | 2021-09-21 | 济南浪潮数据技术有限公司 | 一种服务器中pcie设备管理***和服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101739220A (zh) | 一种多控制器存储阵列的设计方法 | |
| US9250687B1 (en) | High performance flexible storage system architecture | |
| US9804804B2 (en) | Clustered storage network | |
| CN102081561B (zh) | 在存储***的冗余存储控制器之间镜像数据 | |
| US20110145452A1 (en) | Methods and apparatus for distribution of raid storage management over a sas domain | |
| CN1323346C (zh) | 存储*** | |
| CN103064769B (zh) | 双热备服务器*** | |
| CN108696569A (zh) | 在NVMe-oF以太网SSD中提供数据复制的***和方法 | |
| CN102209103A (zh) | 向多个存储控制器多播写请求 | |
| JP2015532985A (ja) | 大規模なデータ記憶および受け渡しシステム | |
| US20180097708A1 (en) | High-availability computer system, working method and the use thereof | |
| CN104135514B (zh) | 融合式虚拟化存储*** | |
| US20120192038A1 (en) | Sas-based semiconductor storage device memory disk unit | |
| CN105872031B (zh) | 存储*** | |
| CN102187324A (zh) | 用于直接附连存储***的活动-活动故障转移 | |
| CN102546813A (zh) | 一种基于x86 PC架构的高性能集群计算*** | |
| CN103092786A (zh) | 一种双控双活存储控制***及方法 | |
| CN104333586A (zh) | 一种基于光纤链路的san存储设计方法 | |
| CN104168323A (zh) | 一种云服务***及方法 | |
| CN103106048A (zh) | 一种多控多活的存储*** | |
| CN111225302B (zh) | 基于虚拟化技术的卫星接收站监控*** | |
| CN111475459A (zh) | 一种9u vpx数据存储服务器及数据处理方法 | |
| CN104461396B (zh) | 一种基于融合架构的分布式存储扩展架构 | |
| CN101118478A (zh) | 缓存管理*** | |
| CN106814976A (zh) | 集群存储***及应用其的数据交互方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20100616 |