JP4985750B2 - Data storage system - Google Patents
Data storage system Download PDFInfo
- Publication number
- JP4985750B2 JP4985750B2 JP2009273376A JP2009273376A JP4985750B2 JP 4985750 B2 JP4985750 B2 JP 4985750B2 JP 2009273376 A JP2009273376 A JP 2009273376A JP 2009273376 A JP2009273376 A JP 2009273376A JP 4985750 B2 JP4985750 B2 JP 4985750B2
- Authority
- JP
- Japan
- Prior art keywords
- disk
- unit
- control
- data
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、コンピュータの外部記憶装置として用いられるデータストレージシステムの構成に関し、特に、ディスクデバイスを多数接続するデータストレージシステムを高性能且つ柔軟に構成できるようなユニットの組み合わせと接続を持つデータストレージシステムに関する。 The present invention relates to a configuration of a data storage system used as an external storage device of a computer, and in particular, a data storage system having a combination of units and connections that can flexibly configure a data storage system to which a large number of disk devices are connected. About.
近年、様々なデータが電子化され、コンピュータ上で扱われるのに従い、データの処理を実行するホストコンピュータとは独立して、大量のデータを効率よく、高い信頼性で格納することのできるデータストレージ装置（外部記憶装置）の重要性が増加している。 In recent years, as various data has been digitized and handled on computers, data storage that can store large amounts of data efficiently and with high reliability, independent of the host computer that executes data processing The importance of devices (external storage devices) is increasing.
このデータストレージ装置として、大量のディスクデバイス（例えば、磁気ディスクや光ディスク）と、これら大量のディスクデバイスを制御するディスクコントローラとから構成されるディスクアレイ装置が利用されている。このディスクアレイ装置は、同時に複数のホストコンピュータからのディスクアクセス要求を受け付けて、大量のディスクに対する制御を行なうことができる。 As this data storage device, a disk array device is used which is composed of a large number of disk devices (for example, magnetic disks and optical disks) and a disk controller which controls the large number of disk devices. This disk array apparatus can simultaneously receive disk access requests from a plurality of host computers and control a large number of disks.
近年では、ディスクデバイスが数１０００台以上、記憶容量では、数百テラバイト以上のディスクデバイス群を１台で制御できるディスクアレイ装置も提供されている。 In recent years, there has also been provided a disk array apparatus that can control a disk device group of several thousand or more disk devices and a storage capacity of several hundred terabytes or more.
このようなディスクアレイ装置は、ディスクのキャッシュの役割を果たすメモリを内蔵する。これにより、ホストコンピュータからリード要求及びライト要求を受信した際の、データへのアクセス時間を短縮し、高性能化を実現できる。 Such a disk array device incorporates a memory that serves as a disk cache. This shortens the data access time when receiving a read request and a write request from the host computer, thereby realizing high performance.
一般に、ディスクアレイ装置は、複数の主要ユニット、即ち、ホストコンピュータとの接続部分であるチャネルアダプタ，ディスクドライブとの接続部分であるディスクアダプタ，キャッシュメモリ，キャッシュメモリの制御を担当するキャッシュ制御部，及び大量のディスクドライブから構成される。 In general, a disk array device includes a plurality of main units, that is, a channel adapter that is a connection part with a host computer, a disk adapter that is a connection part with a disk drive, a cache memory, a cache control unit in charge of controlling the cache memory, And a large number of disk drives.
図１１は、第１の従来技術の説明図である。図１１に示すディスクアレイ装置１０２は、キャッシュマネージャ（キャッシュメモリとキャッシュ制御部）１０が２つそなえられ、且つ各キャッシュマネージャ１０には、チャネルアダプタ１１及びディスクアダプタ１３が接続されている。
FIG. 11 is an explanatory diagram of the first prior art. The
また、２つのキャッシュマネージャ１０，１０は、バス１０ｃによって、互いに通信可能に直接接続されている。この２つのキャッシュマネージャ１０，１０間、並びに、キャッシュマネージャ１０とチャネルアダプタ１１との間、及び、キャッシュマネージャ１０とディスクアダプタ１３との間は、低いレイテンシが要求されるためＰＣＩバスによって接続されている。
The two
更に、チャネルアダプタ１１は、例えば、ファイバチャネルもしくはEthernet（登録商標）によって、ホストコンピュータ（図示略）に接続され、ディスクアダプタ１３は、例えば、ファイバチャネルのケーブルによってディスクエンクロージャ１２の各ディスクドライブに接続されている。
Further, the
また、ディスクエンクロージャ１２は、２つのポート（例えば、ファイバチャネルポート）を有し、これら２つのポートが、異なるディスクアダプタ１３に接続されている。これにより、冗長性を持たせ、耐故障性を高めている。
The
図１２は、第２の従来例のディスクアレイ装置１００の構成図である。図１２に示すように、従来のディスクアレイ装置１００は、主要ユニットであるキャッシュメモリとキャッシュ制御部とをそなえるキャッシュマネージャ（図中ＣＭと表記）１０、ホストコンピュータ（図示略）とのインターフェースであるチャネルアダプタ（図中ＣＡと表記）１１、複数のディスクドライブを備えるディスクエンクロージャ１２、及び、このディスク装置１２とのインターフェースであるディスクアダプタ（図中ＤＡと表記）１３をそなえる。
FIG. 12 is a configuration diagram of the
更に、キャッシュマネージャ１０，チャネルアダプタ１１，及びディスクアダプタ１３間を互いに接続し、これら主要ユニット間のデータ転送と通信を行うためのルータ（Router；図中ＲＴと表記）１４がそなえられている。
Further, a router (Router; denoted as RT in the figure) 14 for connecting the
このディスクアレイ装置１００では、キャッシュマネージャ１０が４つそなえられ、これらのキャッシュマネージャ１０に対応して４つのルータ１４がそなえられている。これらキャッシュマネージャ１０とルータ１４とは、１対１で相互に接続されており、これによって、複数のキャッシュマネージャ１０間の接続が冗長化されて、可用性が高められている（例えば、特許文献１参照）。
In this
即ち、１つのルータ１４の故障した場合にも、別のルータ１４を経由することで複数のキャッシュマネージャ１０間の接続は確保されており、かかる場合にも、ディスクアレイ装置１００は通常の動作を継続することができる。
That is, even when one
また、このディスクアレイ装置１００は、各ルータ１４に、２つのチャネルアダプタ１１と２つのディスクアダプタ１３とが接続され、ディスクアレイ装置１００は合計８つのチャネルアダプタ１１と合計８つのディスクアダプタ１３とをそなえている。
In this
これらのチャネルアダプタ１１及びディスクアダプタ１３は、キャッシュマネージャ１０とルータ１４との相互接続により、全てのキャッシュマネージャ１０との間で通信が可能である。
These
又、チャネルアダプタ１１は、例えば、ファイバチャネルやEthernet（登録商標）によって、データを処理対象とするホストコンピュータ（図示略）に接続されており、ディスクアダプタ１３は、例えば、ファイバチャネルのケーブルによって、ディスクエンクロージャ１２（具体的にはディスクドライブ）に接続される。
The
そして、チャネルアダプタ１１とキャッシュマネージャ１０との間、及びディスクアダプタ１３とキャッシュマネージャ１０との間では、ホストコンピュータからのユーザデータだけではなく、ディスクアレイ装置１００の内部の動作の一貫性を保つための様々な情報のやり取り（例えば、複数のキャッシュメモリ間のデータのミラーリング処理）がなされる。
Between the
キャッシュマネージャ１０，チャネルアダプタ１１及びディスクアダプタ１３と、ルータ１４との間は、ディスクアレイ装置１００とホストコンピュータとの間や、ディスクドライブとの間よりも低いレイテンシ（速い応答速度）を実現できるインターフェースを介して接続される。例えば、ＰＣＩ（Peripheral Component Interconnect）バスのように、ＬＳＩ（Large Scale Integration）やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ１０，チャネルアダプタ１１，及びディスクアダプタ１３と、ルータ１４との間が接続される。
The interface between the
さらに、ディスクドライブを収容するディスクエンクロージャ１２は、２つのファイバチャネルのポートを有し、各ポートには異なるルータ１４配下に属するディスクアダプタ１３が接続される。これにより、ディスクアダプタ１３の故障時もしくはルータ１４の故障時にも、キャッシュマネージャ１０からの接続が切断されることを防止できる。
Further, the
近年の電子化の推進により、より大容量で、高速なデータストレージシステムが要求されている。前述の第１の従来のディスクアレイ装置では、大容量、高速化のため、更に、キャッシュマネージャ１０や、チャネルアダプタ１１、ディスクアダプタ１３を増設する場合には、ディスクエンクロージャ１２のポート数を増加し、且つディスクアダプタ１３とディスクエンクロージャ１２の接続ケーブルの本数を増加させる必要がある。
With the recent advance of computerization, there is a demand for a data storage system with a larger capacity and a higher speed. In the first conventional disk array device described above, when the
ディスクエンクロージャ１２のポート数を増加することは、１つのディスクエンクロージャに接続されるディスクアダプタの数に応じたケーブル数が、増加し、実装空間が大きくなる。即ち、装置の大型化を招く。又、１つのディスクエンクロージャでは、２系統のパスがあれば、十分な冗長構成をとれるため、ポート数を増加することは、得策でない。しかも、接続されるディスクアダプタの数は、一定でなく、ユーザの要求に応じて、変化するため、多数のポートを増設すると、少ないディスクアダプタでは、無駄が生じ、少数のポートを増設すると、多数のディスクアダプタに対応できない。即ち、汎用性を失うことになる。
Increasing the number of ports of the
一方、第２の従来のディスクアレイ装置では、キャッシュマネージャ１０や、チャネルアダプタ１１、ディスクアダプタ１３を増設することは、可能であるが、全て、ルータ１４を介して通信するため、ルータ１４に通信データが集中するため、スループットのネックとなり、高いスループットは期待できない。
On the other hand, in the second conventional disk array device, it is possible to add the
しかも、ディスクアレイ装置１００では、主要ユニットを多数設けた大規模なディスクアレイ装置を構成する場合には、キャッシュマネージャ１０とルータ１４との間の接続線数が急増するため、接続関係が複雑になってしまい、物理的にも実装が困難になる。
In addition, in the
例えば、図１２の構成では、図１３に示すように、４つ（４枚）のキャッシュマネージャ１０と、４つ（４枚）のルータ１４とが、バックパネル１５を経由して接続される実装構造をとる。この場合、前述のように、図１２のように、信号本数は、４×４×（１パス当りの信号本数）となる。例えば、前述のように、１パスを、６４ビットのＰＣＩ（パラレルバス）で接続する場合には、制御線を含め、バックパネル１５上では、１００×１６＝１６００本の信号線となる。この信号線を配線するためには、バックパネル１５のプリント基板は、６層の信号層を必要とする。
For example, in the configuration of FIG. 12, as shown in FIG. 13, four (four)
さらに、大規模構成の場合には、例えば、８つ（４枚）のキャッシュマネージャ１０と、８つ（４枚）のルータ１４とが、バックパネル１５を経由して接続される構成では、信号本数は、１００×８×８＝約６４００本も必要する。このためのバックパネル１５のプリント基板は、４倍の２４層必要となり、実現が困難である。
Furthermore, in the case of a large-scale configuration, for example, in a configuration in which eight (four)
仮に、６４ビットのＰＣＩバスに代え、信号線の少ない４レーンのＰＣＩ−Ｅｘｐｒｅｓｓで接続すると、信号線数は、１６×８×８＝１０２４本となる。しかし、ＰＣＩバスは、６６ＭＨｚであるのに対し、ＰＣＩ−Ｅｘｐｒｅｓｓは、２．５Ｇｂｐｓの高速バスであり、高速バスの信号品質を保つには、高価な基板材料を使用する必要がある。 If, instead of the 64-bit PCI bus, the connection is made with 4-lane PCI-Express with few signal lines, the number of signal lines is 16 × 8 × 8 = 1024. However, while the PCI bus is 66 MHz, the PCI-Express is a 2.5 Gbps high-speed bus, and it is necessary to use an expensive substrate material in order to maintain the signal quality of the high-speed bus.
更に、低速バスであれば、ビア（Ｖｉａ）を使用することで、配線層の入れ替えが可能であるが、高速バスでは、Ｖｉａは、信号品質の低下を招くことになり、避ける必要もある。このため、高速バスでは、全ての信号線が交差しないよう配置する必要があり、同じ本数の低速バスの約２倍の信号層が必要となる。例えば、基板は、１２層の信号層を必要とし、且つ高価な材料で構成する必要があり、これも実現が困難である。 Furthermore, in the case of a low-speed bus, the wiring layer can be replaced by using a via (Via). However, in the high-speed bus, Via causes a decrease in signal quality and must be avoided. For this reason, in a high-speed bus, it is necessary to arrange so that all signal lines do not cross, and about twice as many signal layers as the same number of low-speed buses are required. For example, the substrate requires 12 signal layers and needs to be made of an expensive material, which is also difficult to realize.
しかも、第２の従来のディスクアレイ装置１００では、ルータ１４の一つが故障した場合には、当該ルータ１４の故障と同時に、当該ルータ１４配下に接続されたチャネルアダプタ１１及びディスクアダプタ１３も使えなくなってしまう。
Moreover, in the second conventional
従って、本発明の目的は、各ユニット間のデータ転送を高いスループットで行うとともに、小規模から大規模までの構成を、実装上の問題なく、容易に実現するためのデータストレージシステムを提供することにある。 Accordingly, an object of the present invention is to provide a data storage system for performing data transfer between units with high throughput and easily realizing a configuration from a small scale to a large scale without any problems in mounting. It is in.
又、本発明の他の目的は、あるユニットが故障した場合でも動作可能な冗長性を維持しつつ、小規模から大規模までの構成を、同一のユニットの組み合わせで、容易に実現する柔軟性を持つデータストレージシステムを提供することにある。 Another object of the present invention is the flexibility to easily realize a configuration from a small scale to a large scale by combining the same units while maintaining the redundancy that can operate even when a unit fails. Is to provide a data storage system.
更に、本発明の更に他の目的は、高いスループットと冗長性を保証しつつ、小規模から大規模までの構成を、実装上の問題なく、容易に実現するためのデータストレージシステムを提供することにある。 Furthermore, still another object of the present invention is to provide a data storage system for easily realizing a configuration from a small scale to a large scale without a problem in mounting while ensuring high throughput and redundancy. It is in.
この目的の達成のため、本発明のデータストレージシステムは、データを記憶する複数のディスク記憶デバイスを一対の信号線に対し並列に接続して構成された複数のディスクエンクロージャと、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する複数の制御モジュールとを有し、前記制御モジュールの各々は、前記上位とのインターフェース制御を行う第１のインターフェース部と、前記ディスク記憶デバイスとのインターフェース制御を行う第２のインターフェース部と、前記アクセス指示に応じて、前記第２のインターフェース部より、前記ディスク記憶デバイスをアクセス制御する制御ユニットとを有し、各前記制御モジュールの前記第２のインターフェース部に接続され、前記各制御モジュールの前記第２のインターフェース部と前記複数のディスクエンクロージャとを選択的に切り替える複数の第１のスイッチユニットを搭載する複数の第１の基板と、少なくとも前記制御ユニットと、前記第２のインターフェース部とを設けた複数の第２の基板と、前記複数の第１の基板と、前記複数の第２の基板とが取り付けられ、各前記第２のインターフェース部を前記複数の第１のスイッチユニットの各々に個別のシリアルバスで接続するバックパネルとを設け、前記複数のディスクエンクロージャの各々は、複数のディスク記憶デバイスを一対の信号線に対し並列に接続した単位ディスクエンクロージャを複数直列に接続して構成され、且つ前記複数のディスクエンクロージャの各々の先頭の単位ディスクエンクロージャの一対の信号線の各々が、異なる第１のスイッチユニットに接続された。 In order to achieve this object, the data storage system of the present invention includes a plurality of disk enclosures configured by connecting a plurality of disk storage devices for storing data in parallel to a pair of signal lines , and an access instruction from a host. And a plurality of control modules for controlling access to the disk storage device, each of the control modules including a first interface unit for interface control with the host and an interface with the disk storage device A second interface unit that performs control; and a control unit that controls access to the disk storage device from the second interface unit in response to the access instruction, and the second interface of each of the control modules. Connected to the front of each control module A plurality of first substrates on which a plurality of first switch units for selectively switching between a second interface unit and the plurality of disk enclosures are mounted; at least the control unit; and the second interface unit. a plurality of second substrates, wherein a plurality of first substrate, said plurality of second substrate is mounted, individually each said second interface unit to each of the plurality of first switch units and a back panel for connecting a serial bus is provided for each of said plurality of disk enclosure is constructed by connecting the unit disk enclosures connected in parallel a plurality of disk storage devices to a pair of signal lines in a plurality in series, Each of the pair of signal lines of the head unit disk enclosure of each of the plurality of disk enclosures , It is connected to different first switch units.
更に、本発明では、好ましくは、前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第２のスイッチユニットを有する。 In the present invention, it is preferable that the control module has a communication unit for communicating with another control module, and further, a second switch unit for selectively connecting the communication units of the control modules. Have
更に、本発明では、好ましくは、各制御モジュールの通信ユニットと第２のスイッチユニットとを、前記バックパネルで接続した。 Furthermore, in the present invention, preferably, the communication unit of each control module and the second switch unit are connected by the back panel.
更に、本発明では、好ましくは、前記第１のスイッチユニットと前記複数の記憶デバイスをケーブルで接続した。 Furthermore, in the present invention, preferably, the first switch unit and the plurality of storage devices are connected by a cable.
更に、本発明では、好ましくは、前記記憶デバイスは、複数のアクセスポートを有し、前記複数のアクセスポートに、複数の異なる前記第１のスイッチユニットを接続した。 In the present invention, it is preferable that the storage device has a plurality of access ports, and the plurality of different first switch units are connected to the plurality of access ports.
更に、本発明では、好ましくは、前記制御モジュールは、前記キャッシュ制御ユニットと前記第２のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続した。 In the present invention, it is preferable that the control module connects the cache control unit and the second interface unit with a high-speed serial bus having a plurality of lanes, and also connects the second interface unit and the plurality of second interfaces. 1 switch unit was connected to the back panel by a serial bus.
更に、本発明では、好ましくは、前記高速シリアルバスが、PCI-Expressバスである。 Furthermore, in the present invention, preferably, the high-speed serial bus is a PCI-Express bus.
更に、本発明では、好ましくは、前記シリアルバスが、ファイバチャネルである。 Furthermore, in the present invention, preferably, the serial bus is a fiber channel.
更に、本発明では、好ましくは、前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のインターフェース部とを、低レンテシイの高速シリアスバスで接続した。 In the present invention, it is preferable that the control module connect the cache control unit and the first interface unit with a low-latency high-speed serial bus.
本発明では、複数の制御モジュールの各第２のインターフェースを複数の第１のスイッチユニットに接続し、複数のディスクエンクロージャの各々の先頭の単位ディスクエンクロージャの一対の信号線の各々を、異なる第１のスイッチユニットに接続したため、全ての制御モジュールは、全ての記憶デバイスにアクセスできる冗長性を維持でき、且つこのように接続形式で制御モジュールの数やディスクエンクロージャの数が増大しても、単位ディスクエンクロージャを直列接続し、制御モジュールと第１のスイッチユニットとをバックパネルで、インターフェースを構成する信号数が少ないシリアルバスで接続できるため、プリント基板での実装が可能となる。 In the present invention, to connect each second interface of the plurality of control modules to the plurality of first switch units, each of the pair of signal lines of the head unit disk enclosures of each of the plurality of disk enclosures, different first because connected to the switch unit, all the control modules can maintain redundancy to access all the storage devices, and the number of the number and the disk enclosure of the control module in such a connection type is increased, the unit Since the disk enclosures are connected in series and the control module and the first switch unit can be connected by a back panel and a serial bus with a small number of signals constituting the interface, mounting on a printed circuit board becomes possible.
以下、本発明の実施の形態を、データストレージシステム、リード／ライト処理、実装構造、他の実施の形態の順で説明する。 Hereinafter, embodiments of the present invention will be described in the order of a data storage system, read / write processing, mounting structure, and other embodiments.
［データストレージシステム］
図１は、本発明の一実施の形態のデータストレージシステムの構成図、図２は、図１のコントロールモジュールの構成図、図３は、図１のバックエンドルータとディスクエンクロージャの構成図、図４は、図１及び図３のディスクエンクロージャの構成図である。
[Data storage system]
1 is a configuration diagram of a data storage system according to an embodiment of the present invention, FIG. 2 is a configuration diagram of a control module in FIG. 1, FIG. 3 is a configuration diagram of a back-end router and a disk enclosure in FIG. 4 is a configuration diagram of the disk enclosure of FIGS. 1 and 3. FIG.
図１は、８台のコントロールモジュールを持つ大規模なストレージシステムを例に示す。図１に示すように、ストレージシステム１は、データを保持する複数のディスクエンクロージャ２−０〜２−２５と、図示しないホストコンピュータ（データ処理装置）と、複数のディスクエンクロージャ２−０〜２−２５との間に、配置された複数（ここでは８つ）の制御モジュール４−０〜４−７と、これら複数の制御モジュール４−０〜４−７と複数のディスクエンクロージャ２−０〜２−２５との間に設けられた複数（ここでは８つ）のBack-end Router（第１スイッチユニット；図中ＢＲＴと表記し、以下、ＢＲＴという）５−０〜５−７と、複数（ここでは２つ）のFront-end Router（第２スイッチユニット；図中ＦＲＴと表記、以下、ＦＲＴという）６−０，６−１とを有する。
FIG. 1 shows an example of a large-scale storage system having eight control modules. As shown in FIG. 1, the
制御モジュール４−０〜４−７のそれぞれは、キャッシュマネージャ４０と、チャネルアダプタ（第１インターフェース部；図中ＣＡと表記）４１ａ〜４１ｄと、ディスクアダプタ（第２インターフェース部；図中ＤＡと表記）４２ａ，４２ｂと、ＤＭＡ（Direct Memory Access）エンジン（通信部；図中ＤＭＡと表記）４３とを有する。
Each of the control modules 4-0 to 4-7 includes a
なお、図１では、図の簡略化のため、これらキャッシュマネージャの符号“４０”、チャネルアダプタの符号“４１ａ”，“４１ｂ”，“４１ｃ”，“４１ｄ”、ディスクアダプタの符号“４２ａ”，“４２ｂ”、ＤＭＡの符号“４３”を、制御モジュール４−０に対してのみ付しており、他の制御モジュール４−１〜４−７におけるこれら構成要素の符号は省略している。 In FIG. 1, for simplification of the drawing, these cache manager codes “40”, channel adapter codes “41a”, “41b”, “41c”, “41d”, disk adapter codes “42a”, “42b” and DMA code “43” are given only to the control module 4-0, and the symbols of these components in the other control modules 4-1 to 4-7 are omitted.
図２により、コントロールモジュール４−０〜４−７を説明する。キャッシュマネージャ４０は、ホストコンピュータからの処理要求（リード要求もしくはライト要求）に基づいて、リード／ライト処理を行なうものであり、キャッシュメモリ４０ｂとキャッシュ制御部４０ａとを備える。
The control modules 4-0 to 4-7 will be described with reference to FIG. The
キャッシュメモリ４０ｂは、ディスクエンクロージャ２−０〜２−２５の複数のディスクに保持されたデータの一部を保持する、所謂、複数のディスクに対するキャッシュの役割を果たす。
The
キャッシュ制御部４０ａは、キャッシュメモリ４０ｂ，チャネルアダプタ４１、デバイスアダプタ４２、ＤＭＡ４３の制御を行なう。このため、１つ又は複数（図では、２つ）のＣＰＵ４００，４１０と、メモリコントローラ４２０とを有する。メモリコントローラ４２０は、各メモリのリード／ライトを制御し、且つパスの切り替えを行う。
The
メモリコントローラ４２０は、メモリバス４３４を介しキャッシュメモリ４０ｂと接続し、ＣＰＵバス４３０，４３２を介しＣＰＵ４００，４１０と接続し、更に、メモリコントローラ４２０は、後述する４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４０，４４２を介しディスクアダプタ４２ａ，４２ｂに接続する。同様に、メモリコントローラ４２０は、４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４３，４４４，４４５，４４６を介しチャネルアダプタ４１ａ，４１ｂ、４１ｃ，４１ｄに接続し、４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４７，４４８を介しＤＭＡ４３−ａ，４３−ｂに接続する。
The
後述するように、このＰＣＩ−Ｅｘｐｅｓｓ等の高速シリアルバスは、パケットで通信し、且つシリアルバスを複数レーン設けることにより、信号線本線を減らしても、遅延の少ない、速い応答速度で、所謂、低レンテンシで通信することができる。 As will be described later, this high-speed serial bus such as PCI-Express communicates with packets, and by providing a plurality of lanes for the serial bus, even if the signal line main line is reduced, the delay is low and the response speed is high, so-called It is possible to communicate with low latency.
チャネルアダプタ４１ａ〜４１ｄは、ホストコンピュータに対するインターフェースであり、チャネルアダプタ４１ａ〜４１ｄは、それぞれ異なるホストコンピュータと接続される。また、チャネルアダプタ４１ａ〜４１ｄは、それぞれ対応するホストコンピュータのインターフェース部に、バス、例えば、ファイバチャネル（Fiber Channel）やEthernet（登録商標）によって接続されることが好ましく、この場合、バスとしては、光ファイバや同軸ケーブルが用いられる。
The
さらに、これらチャネルアダプタ４１ａ〜４１ｄそれぞれは、各制御モジュール４−０〜４−７の一部として構成されているが、対応するホストコンピュータと制御モジュール４−０〜４−７とのインターフェース部として、複数のプロトコルをサポートする必要がある。対応するホストコンピュータによって実装すべきプロトコルが同一ではないため、各チャネルアダプタ４１ａ〜４１ｄを必要に応じて容易に交換できるように、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０とは、図７で後述するように、別のプリント基板に実装されている。
Further, each of these
例えば、チャネルアダプタ４１ａ〜４１ｄがサポートすべきホストコンピュータとの間のプロトコルとしては、上述のように、ファイバチャネルや、Ethernet（登録商標）に対応するｉＳＣＳＩ（Internet Small Computer System Interface）等がある。
For example, as described above, the protocol between the host computers to be supported by the
更に、各チャネルアダプタ４１ａ〜４１ｄは、前述のように、ＰＣＩ−Ｅｘｐｒｅｓｓバスのように，ＬＳＩ（Large Scale Integration）やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ４０と直接結合されている。これにより、各チャネルアダプタ４１ａ〜４１ｄとキャッシュマネージャ４０と間に要求される高いスループットを実現することができる。
Further, as described above, each of the
ディスクアダプタ４２ａ，４２ｂは、ディスクエンクロージャ２−０〜２−２５のディスクドライブに対するインターフェースであり、ディスクエンクロージャ２−０〜２−２５に接続されたＢＲＴ５−０〜５−７に接続され，ここでは、４つのＦＣ(Ｆｉｂｅｒ Ｃｈａｎｎｅｌ)ポートを有する。
The
又、各ディスクアダプタ４２ａ、４２ｂは、前述のように、ＰＣＩ−Ｅｘｐｒｅｓｓバスのように，ＬＳＩ（Large Scale Integration）やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ４０と直接結合されている。これにより、各ディスクアダプタ４２ａ、４２ｂとキャッシュマネージャ４０と間に要求される高いスループットを実現することができる。
Further, as described above, each of the
図１及び図３に示すように、ＢＲＴ５−０〜５−７は、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂと各ディスクエンクロージャ２−０〜２−２５とを選択的に切り替えて、通信可能に接続する多ポートスイッチである。
As shown in FIGS. 1 and 3, the BRTs 5-0 to 5-7 selectively select the
図３に示すように、各ディスクディスクエンクロージャ２−０〜２−７は、複数（ここでは２つ）のＢＲＴ５−０，５−１が接続される。図４に示すように、各ディスクエンクロージャ２−０は、各々２つのポートを有する複数台のディスクドライブ２００を搭載し、このディスクエンクロージャ２−０の構成は、４つの接続ポート２１０，２１２，２１４，２１６を有する単位ディスクエンクロージャ２０−０〜２３−０で構成される。これらを、直列接続して、容量の増大を実現する。
As shown in FIG. 3, each of the disk disk enclosures 2-0 to 2-7 is connected with a plurality (two in this case) of BRTs 5-0 and 5-1. As shown in FIG. 4, each disk enclosure 2-0 is equipped with a plurality of
そして、ディスクエンクロージャ２０−０〜２３−０内では、２つのポート２１０，２１２からの一対のＦＣケーブルにより、各ディスクドライブ２００の各ポートが、２つのポート２１０，２１２に接続される。この２つのポート２１０，２１２は、図３で説明したように、異なるＢＲＴ５−０，５−１に接続される。
In the disk enclosures 20-0 to 23-0, each port of each
図１に示すように、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂそれぞれを、すべてのディスクエンクロージャ２−０〜２−２５に接続する。即ち、各制御モジュール４−０〜４−７のディスクアダプタ４２ａは、ディスクエンクロージャ２−０〜２−７に接続されたＢＲＴ５−０（図３参照）と、ディスクエンクロージャ２−８，２−９〜に接続されたＢＲＴ５−２と、ディスクエンクロージャ２−１６、２−１７〜に接続されたＢＲＴ５−４と、ディスクエンクロージャ２−２４，２−２５〜に接続されたＢＲＴ５−６とにそれぞれ接続される。
As shown in FIG. 1, the
又、同様に、各制御モジュール４−０〜４−７のディスクアダプタ４２ｂは、ディスクエンクロージャ２−０〜２−７に接続されたＢＲＴ５−１（図３参照）と、ディスクエンクロージャ２−８，２−９〜に接続されたＢＲＴ５−３と、ディスクエンクロージャ２−１６、２−１７〜に接続されたＢＲＴ５−５と、ディスクエンクロージャ２−２４，２−２５〜に接続されたＢＲＴ５−７とに、それぞれ接続される。
Similarly, the
このように、各ディスクエンクロージャ２−０〜２−３１は、複数（ここでは２つ）のＢＲＴが接続されるとともに、同一のディスクエンクロージャ２−０〜２−３１に接続された２つのＢＲＴのそれぞれに、同一の制御モジュール４−０〜４−７における異なるディスクアダプタ４２ａ，４２ｂが接続される。
As described above, each of the disk enclosures 2-0 to 2-31 is connected to a plurality of (two in this case) BRTs, and two BRTs connected to the same disk enclosure 2-0 to 2-31.
このような構成により、各制御モジュール４−０〜４−７が、いずれのディスクアダプタ４２ａ，４２ｂを通じても、すべてのディスクエンクロージャ（ディスクドライブ）２−０〜２−３１にアクセスできる。
With such a configuration, the control modules 4-0 to 4-7 can access all the disk enclosures (disk drives) 2-0 to 2-31 through any of the
また、これらディスクアダプタ４２ａ，４２ｂのそれぞれは、制御モジュール４−０〜４−７の一部として構成されており、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０の基板上に実装され、各ディスクアダプタ４２ａ，４２ｂは、例えばPCI（Peripheral Component Interconnect）−Expressバスによってキャッシュマネージャ４０と直接結合されており、これにより、各ディスクアダプタ４２ａ，４２ｂとキャッシュマネージャ４０と間に要求される高いスループットを実現することができる。
Each of these
さらに、図２に示すごとく、各ディスクアダプタ４２ａ，４２ｂは対応するＢＲＴ５−０〜５−７にバス、例えば、ファイバチャネル（Fiber Channel）やEthernet（登録商標）、によって接続される。この場合、バスは、後述するように、バックパネルのプリント基板に電気的配線で設けられる。
Further, as shown in FIG. 2, each of the
各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂとＢＲＴ５−０〜５−７との間は、前述のように、全てのディスクエンクロージャと接続するため、１対１のメッシュ接続になるため、制御モジュール４−０〜４−７の数（つまり、ディスクアダプタ４２ａ，４２ｂの数）が増大するほど、接続数が増加して接続関係が複雑になり、物理的な実装が困難になる。しかし、ディスクアダプタ４２ａ，４２ｂとＢＲＴ５−０〜５−７との間の接続に、インターフェースを構成する信号数が少ないファイバチャネルを採用することにより、プリント基板での実装が可能となる。
Between the
なお、各ディスクアダプタ４２ａ，４２ｂと対応するＢＲＴ５−０〜５−７とがファイバチャネル接続される場合、ＢＲＴ５−０〜５−７は，ファイバチャネルのスイッチとなる。また、各ＢＲＴ５−０〜５−７と対応するディスクエンクロージャ２−０〜２−３１との間も、例えば、ファイバチャネルによって接続され、この場合には、モジュールが異なるため、光ケーブル５００，５１０で接続される。
When the
図１に示すように、ＤＭＡエンジン４３は、他の制御モジュール４−０〜４−７と相互に通信を行なうものであり、他の制御モジュール４−０〜４−７間との通信とデータ転送処理を担当する。各制御モジュール４−０〜４−７のＤＭＡエンジン４３それぞれは、制御モジュール４−０〜４−７の一部として構成されており、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０の基板上に実装される。そして、前述の高速シリアルバスによって、キャッシュマネージャ４０と直接結合されるとともに、ＦＲＴ６−０，６−１を介して他の制御モジュール４−０〜４−７のＤＭＡエンジン４３と互いに通信する。
As shown in FIG. 1, the
ＦＲＴ６−０，６−１は、複数（特に３以上、ここでは８つ）の制御モジュール４−０〜４−７のＤＭＡエンジン４３に接続され、これら制御モジュール４−０〜４−７の相互間を選択的に切り替え，通信可能に接続するものである。
The FRTs 6-0 and 6-1 are connected to the
このような構成により、各制御モジュール４−０〜４−７のＤＭＡエンジン４３のそれぞれは、ＦＲＴ６−０，６−１を介して、自身に接続されたキャッシュマネージャ４０と他の制御モジュール４−０〜４−７のキャッシュマネージャ４０との間で、ホストコンピュータからのアクセス要求等に応じて生じる通信やデータ転送処理（例えば、ミラーリング処理）を実行する。
With such a configuration, each of the
また、図２に示すように、各制御モジュール４−０〜４−７のＤＭＡエンジン４３が複数（ここでは２つ）のＤＭＡエンジン４３−ａ，４３−ｂで構成され、これら２つのＤＭＡエンジン４３−ａ，４３−ｂの各々が、各々２つのＦＲＴ６−０，６−１を使用する。
As shown in FIG. 2, the
さらに、ＤＭＡエンジン４３−ａ，４３−ｂは、前述のように、例えば、PCI−Expressバスによって、キャッシュマネージャ４０に接続されており、低レイテシイを実現する。
Further, as described above, the DMA engines 43-a and 43-b are connected to the
また、各制御モジュール４−０〜４−７間（つまり、各制御モジュール４−０〜４−７のキャッシュマネージャ４０間）の通信やデータ転送処理では、データ転送量が多く、通信にかかる時間を短くすることが望ましく、高いスループットと同時に低いレイテンシ（速い応答速度）が要求される。このため、図１、図２に示すように、各制御モジュール４−０〜４−７のDMAエンジン４３とFRT６−０，６−１とは、高いスループットと低いレイテンシとの両方の要求を満たすべく設計された、高速シリアル伝送を利用したバス（PCI-ExpressやRapid-IO）によって、接続される。
Further, in communication and data transfer processing between the control modules 4-0 to 4-7 (that is, between the
これらPCI-ExpressやRapid-IOは、２．５Gbpsの高速シリアル伝送を利用したものであり、これらのバスインターフェースには、LVDS（Low Voltage Differential Signaling）という小振幅差動インターフェースが採用される。 These PCI-Express and Rapid-IO use 2.5 Gbps high-speed serial transmission, and a low-amplitude differential interface called LVDS (Low Voltage Differential Signaling) is adopted for these bus interfaces.
[リード/ライト処理]
次に、図１乃至図４のデータストレージシステムのリード処理を説明する。図５は、図１乃至図２の構成のリード動作の説明図である。
[Read / write processing]
Next, read processing of the data storage system of FIGS. 1 to 4 will be described. FIG. 5 is an explanatory diagram of the read operation of the configuration of FIGS.
先ず、キャッシュマネージャ４０は、ホストコンピュータのいずれかから対応するチャネルアダプタ４１ａ〜４１ｄを介してリード要求を受け取った場合、当該リード要求の対象データをキャッシュメモリ４０ｂが保持していれば、キャッシュメモリ４０ｂに保持された当該対象データを、チャネルアダプタ４１ａ〜４１ｄを介してホストコンピュータに送る。
First, when the
一方、当該対象データがキャッシュメモリ４０ｂに保持されていなければ、キャッシュ制御部４０ａが、当該対象データを保持しているディスクドライブ２００から対象データを、キャッシュメモリ４０ｂ上に読み出してから、対象データを、リード要求を発行したホストコンピュータに送信する。
On the other hand, if the target data is not held in the
このディスクドライブとのリード処理を、図５で説明する。 The read process with this disk drive will be described with reference to FIG.
（１）キャッシュマネージャ４０の制御部４０ａ（ＣＰＵ）は、キャッシュメモリ４０ｂのディスクリプタ領域に、ＦＣヘッダとディスクリプタを作成する。ディスクリプタは、データ転送回路（ＤＭＡ回路）に対して、データ（ＤＭＡ）転送を要求する命令であり、ＦＣヘッダのキャッシュメモリ上のアドレス、転送したいデータのキャッシュメモリ上でのアドレスとデータバイト数、データ転送のディスクの論理アドレスを含む。
(1) The
（２）ディスクアダプタ４２のデータ転送回路を起動する。 (2) The data transfer circuit of the disk adapter 42 is activated.
（３）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからディスクリプタを読み出す。
(3) The activated data transfer circuit of the disk adapter 42 reads the descriptor from the
（４）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからＦＣヘッダを読み出す。
(4) The activated data transfer circuit of the disk adapter 42 reads the FC header from the
（５）ディスクアダプタ４２の起動されたデータ転送回路は、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、ＦＣヘッダを、ファイバーチャネル５００（５１０）より、対象ディスクドライブ２００に転送する。ディスクドライブ２００は、要求された対象データを読み出し、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。
(5) The activated data transfer circuit of the disk adapter 42 decodes the descriptor, obtains the requested disk, head address, and number of bytes, and transfers the FC header to the
（６）ディスクドライブ２００は、要求された対象データを読み出し、送信を完了すると、完了通知を、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。
(6) The
（７）ディスクアダプタ４２の起動されたデータ転送回路は、完了通知を受けると、ディスクアダプタ４２のメモリからリードデータを読み出し、キャッシュメモリ４０ｂに格納する。
(7) Upon receiving the completion notification, the activated data transfer circuit of the disk adapter 42 reads the read data from the memory of the disk adapter 42 and stores it in the
（８）ディスクアダプタ４２の起動されたデータ転送回路は、リード転送が完了すると、キャッシュマネージャ４０に、割り込みによる完了通知を行う。
(8) When the read transfer is completed, the activated data transfer circuit of the disk adapter 42 notifies the
（９）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の割り込み要因を得て、リード転送を確認する。
(9) The
（１０）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の終了ポインタを調べ、リード転送完了を確認する。
(10) The
このように、十分な性能を得るためには、全ての接続が高いスループットを持つ必要があるが、キャッシュ制御部４０ａとディスクアダプタ４２との間には、信号のやり取りが多く（図では、７回）、特に、低いレイテンシのバスが必要となる。
As described above, in order to obtain sufficient performance, all connections need to have high throughput, but there are many signal exchanges between the
この実施例では、PCI-Express(4レーン)と、Fibre Channel(４G)を、どちらも高いスループットの接続として採用しているが、PCI-Expressが低いレイテンシの接続なのに対して、Fibre Channelは比較的レイテンシの大きな(データ転送に時間のかかる) 接続である。 In this example, both PCI-Express (4 lanes) and Fiber Channel (4G) are used as high-throughput connections, but PCI-Express is a low-latency connection, whereas Fiber Channel is a comparison. A connection with a large dynamic latency (data transfer takes time).
そこで、第２の従来技術では、ＣＭ１０とＤＡ１３、ＣＡ１１との間のＲＴ１４（図１２参照）には、レイテンシが高いFibre Channelを採用できないのに対して、本発明では、図１の構成のため、ＢＲＴ５−０〜５−７に，Fibre Channelを採用することができる。
Therefore, in the second conventional technique, the RT 14 (see FIG. 12) between the
低いレイテンシを実現するためには、バスの信号本数をある程度より減らすことができないが、本発明では、ディスクアダプタ４２とＢＲＴ５−０間の接続には、信号線本数の少ないFibre Channelを採用することができ、バックパネル上の信号本数が少なくなり、実装上で有効である。 In order to achieve a low latency, the number of bus signals cannot be reduced to some extent. However, in the present invention, a Fiber Channel with a small number of signal lines is used for the connection between the disk adapter 42 and the BRT 5-0. This reduces the number of signals on the back panel and is effective in mounting.
次に、ライト動作を説明する。ホストコンピュータのいずれかから対応するチャネルアダプタ４１ａ〜４１ｄを介してライト要求を受け取った場合、当該ライト要求のコマンドとライトデータとを受信したチャネルアダプタ４１ａ〜４１ｄは、キャッシュマネージャ４０に対して、ライトデータを書き込むべきキャッシュメモリ４０ｂのアドレスを尋ねる。
Next, the write operation will be described. When a write request is received from any of the host computers via the corresponding
そして、このチャネルアダプタ４１ａ〜４１ｄがキャッシュマネージャ４０からの応答を受け取ると、キャッシュマネージャ４０のキャッシュメモリ４０ｂにライトデータを書き込むとともに、当該キャッシュマネージャ４０とは異なる少なくとも１つのキャッシュマネージャ４０（つまり、異なる制御モジュール４−０〜４−７のキャッシュマネージャ４０）内のキャッシュメモリ４０ｂにもライトデータを書き込む。このため、ＤＭＡエンジン４３を起動し、ＦＲＴ６−０，６−１を介し、他の制御モジュール４−０〜４−７のキャッシュマネージャ４０内のキャッシュメモリ４０ｂにもライトデータを書き込む。
When the
ここで、少なくとも異なる２つの制御モジュール４−０〜４−７のキャッシュメモリ４０ｂにライトデータを書き込むのは、データを２重化（ミラーリング）することで、予期しない制御モジュール４−０〜４−７もしくはキャッシュマネージャ４０のハード故障の場合にも、データの喪失を防ぐためである。
Here, the write data is written to the
最後に、これら複数のキャッシュメモリ４０ｂへのライトデータの書き込みが正常に終了すると、チャネルアダプタ４１ａ〜４１ｄがホストコンピュータ３−０〜３−３１に対して完了通知を行ない、処理を終了する。
Finally, when the writing of the write data to the plurality of
更に、このライトデータを、対象とするディスクドライブに、書き戻す（ライトバックという）必要がある。キャッシュ制御部４０ａは、内部スケジュールに従い、キャッシュメモリ４０ｂのライトデータを、当該対象データを保持しているディスクドライブ２００にライトバックする。このディスクドライブとのライト処理を、図６で説明する。
Furthermore, it is necessary to write back this write data to the target disk drive (referred to as write back). The
（１）キャッシュマネージャ４０の制御部４０ａ（ＣＰＵ）は、キャッシュメモリ４０ｂのディスクリプタ領域に、ＦＣヘッダとディスクリプタを作成する。ディスクリプタは、データ転送（ＤＭＡ）回路に対して、データ（ＤＭＡ）転送を要求する命令であり、ＦＣヘッダのキャッシュメモリ上のアドレス、転送したいデータのキャッシュメモリ上でのアドレスとデータバイト数、データ転送のディスクの論理アドレスを含む。
(1) The
（２）ディスクアダプタ４２のデータ転送回路を起動する。 (2) The data transfer circuit of the disk adapter 42 is activated.
（３）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからディスクリプタを読み出す。
(3) The activated data transfer circuit of the disk adapter 42 reads the descriptor from the
（４）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからＦＣヘッダを読み出す。
(4) The activated data transfer circuit of the disk adapter 42 reads the FC header from the
（５）ディスクアダプタ４２の起動されたデータ転送回路は、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、キャッシュメモリ４０ｂからデータを読み出す。
(5) The activated data transfer circuit of the disk adapter 42 decodes the descriptor, obtains the requested disk, head address, and number of bytes, and reads the data from the
（６）読み出し完了後、ディスクアダプタ４２のデータ転送回路は、ＦＣヘッダとデータを、ファイバーチャネル５００（５１０）より、対象ディスクドライブ２００に転送する。ディスクドライブ２００は、転送されたデータを内臓するディスクに書き込む。
(6) After the reading is completed, the data transfer circuit of the disk adapter 42 transfers the FC header and data to the
（７）ディスクドライブ２００は、データの書き込みを完了すると、完了通知を、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。
(7) Upon completion of data writing, the
（８）ディスクアダプタ４２の起動されたデータ転送回路は、完了通知を受けると、キャッシュマネージャ４０に、割り込みによる完了通知を行う。
(8) Upon receiving the completion notification, the activated data transfer circuit of the disk adapter 42 notifies the
（９）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の割り込み要因を得て、ライト動作を確認する。
(9) The
（１０）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の終了ポインタを調べ、ライト動作完了を確認する。
(10) The
この図６でも、図５でも、矢印は、データなどのパケットの転送を示し、コの字型の矢印は、データのリードを表しており、一方のデータ要求に対してデータが送り返されているのを示す。このように、ＤＡ内の制御回路の起動と終了状態の確認が必要となるため、一回のデータ転送を行うのにＣＭ４０とＤＡ４２の間では、７回のやり取りが行われている。ＤＡ４２とディスク２００の間は２回である。
In both FIG. 6 and FIG. 5, the arrow indicates the transfer of a packet such as data, and the U-shaped arrow indicates the read of data, and data is sent back in response to one data request. Of As described above, since it is necessary to confirm the start and end state of the control circuit in the DA, seven exchanges are performed between the
これによって、キャッシュ制御部４０とディスクアダプタ４２との間の接続に、低いレイテンシが要求され、一方、ディスクアダプタ４２とディスクデバイス２００とは、信号本数の少ないインタフェースを利用できることが理解できる。
Thus, it can be understood that a low latency is required for the connection between the
［実装構造］
図７は、本発明による制御モジュールの実装構成例を示す図、図８は、図７の制御モジュールとディスクエンクロージャとを含む実装構成例を示す図、図９及び図１０は、かかる実装構成によるデータストレージシステムのブロック図である。
[Mounting structure]
FIG. 7 is a diagram showing an example of the mounting configuration of the control module according to the present invention, FIG. 8 is a diagram showing an example of the mounting configuration including the control module and the disk enclosure of FIG. 7, and FIGS. 1 is a block diagram of a data storage system.
図８に示すように、ストレージ装置の筐体の上側には、４台のディスクエンクロージャ２−０，２−１，２−８，２−９が搭載される。ストレージ装置の下側半分は、制御回路を搭載する。この下側半分は、図７のように、バックパネル７によって前後に分割されている。バックパネル７の前方、後方には、それぞれスロットが設けられる。図９の大規模構成のストレージシステムでは、前方側（Ｆｒｏｎｔ）には、８枚（８個）のＣＭ４−０〜４−７が、後方には、２枚（２個）のＦＲＴ６−０，６−１、８枚（８個）のＢＲＴ５−０〜５−７及び、電源制御などを担当するサービスプロセッサＳＶＣ(図１、図９では図示しない)が配置される。 As shown in FIG. 8, four disk enclosures 2-0, 2-1, 2-8, 2-9 are mounted on the upper side of the housing of the storage apparatus. The lower half of the storage device is equipped with a control circuit. As shown in FIG. 7, the lower half is divided back and forth by the back panel 7. Slots are provided in front and rear of the back panel 7, respectively. In the large-scale storage system of FIG. 9, eight (8) CMs 4-0 to 4-7 are on the front side (Front), and two (2) FRTs 6-0, 6-1 and 8 (eight) BRTs 5-0 to 5-7 and a service processor SVC (not shown in FIGS. 1 and 9) in charge of power control and the like are arranged.
図７では、８枚のＣＭ４−０〜４−７と２枚のＦＲＴ６−０，６−１が、バックパネル７を経由して、４レーンのPCI-Expressで接続される。ＰＣＩ−Ｅｘｐｅｓｓは、４本（差動、両方向のため）の信号線であり、４レーン分で、１６本の信号線となるから、この信号本数は１６×１６＝２５６本となる。また、８枚のＣＭ４−０〜４−７と８枚のＢＲＴ５−０〜５−７がバックパネル７を経由して、Fibre Channelで接続される。Fibre Channelは、差動、両方向のため、１×２×２＝４の信号線であり、この信号本数は、８×８×４＝２５６本となる。 In FIG. 7, eight CMs 4-0 to 4-7 and two FRTs 6-0 and 6-1 are connected via the back panel 7 by 4-lane PCI-Express. PCI-Express is four signal lines (because of differential and bi-directional), and there are 16 signal lines for 4 lanes, so the number of signals is 16 × 16 = 256. Also, eight CMs 4-0 to 4-7 and eight BRTs 5-0 to 5-7 are connected via the back panel 7 via Fiber Channel. Since the Fiber Channel is differential and bidirectional, there are 1 × 2 × 2 = 4 signal lines, and the number of signals is 8 × 8 × 4 = 256.
このように、接続箇所毎にバスを使い分けることにより、図９のような大規模構成のストレージシステムでも、ＣＭ４−０〜４−７の８枚、ＦＲＴ６−０，６−１の２枚、ＢＲＴ５−０〜５−７の８枚の接続が、５１２本の信号線によって実現できる。この信号線数は、バックパネル基板７に十分に実装可能な信号数であり、また基板の信号層数も６層で十分であり、コスト的にも実現可能な範囲内にある。 In this way, by using a different bus for each connection location, even in a large-scale storage system as shown in FIG. 9, eight CM4-0 to 4-7, two FRT6-0 and 6-1, BRT5 Eight connections of −0 to 5-7 can be realized by 512 signal lines. The number of signal lines is the number of signals that can be sufficiently mounted on the back panel substrate 7, and the number of signal layers of the substrate is sufficient with six layers, and is in a range that can be realized in terms of cost.
又、図８では、４台のディスクエンクロージャ２−０，２−１，２−８，２−９（図９参照）を搭載するが、他のディスクエンクロージャ２−３〜２−７、２−１０〜２−３１は、別の筐体に設けられる。 In FIG. 8, four disk enclosures 2-0, 2-1, 2-8, and 2-9 (see FIG. 9) are mounted, but the other disk enclosures 2-3 to 2-7, 2- 10-2-31 are provided in another housing.
更に、図１０のような中規模ストレージシステムでも、同様の構成で実現できる。即ち、４台のＣＭ４−０〜４−３、４台のＢＲＴ５−０〜５−３、２台のＦＲＴ６−０〜６−１、１６モジュールのディスクエンクロージャ２−０〜２−１５の構成でも、同一のアーキテクチャで実現できる。 Furthermore, even a medium-scale storage system as shown in FIG. 10 can be realized with the same configuration. That is, even in the configuration of four CM4-0 to 4-3, four BRT5-0 to 5-3, two FRT6-0 to 6-1 and 16 module disk enclosures 2-0 to 2-15. Can be realized with the same architecture.
しかも、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂそれぞれは、ＢＲＴにより、すべてのディスクドライブ２００に接続され、各制御モジュール４−０〜４−７が、いずれのディスクアダプタ４２ａ，４２ｂを通じても、すべてのディスクドライブにアクセスできる。
Moreover, each of the
また、これらディスクアダプタ４２ａ，４２ｂそれぞれは、制御モジュール４−０〜４−７の主要ユニットであるキャッシュマネージャ４０の基板上に実装され、各ディスクアダプタ４２ａ，４２ｂは、例えばPCI−Express等の低レンテシイバスによってキャッシュマネージャ４０と直接結合でき、高いスループットを実現することができる。
Each of these
更に、各制御モジュール４−０〜４−７のディスクアダプタ４２ａ，４２ｂとBRT５−０〜５−７との間は、１対１のメッシュ接続になるため、システムがそなえる制御モジュール４−０〜４−７の数（つまり、ディスクアダプタ４２ａ，４２ｂの数）が増大しても、ディスクアダプタ４２ａ，４２ｂとBRT５−０〜５−７との間の接続に、インターフェースを構成する信号数が少ないファイバチャネルを採用することができ、実装の課題を解決することができる。
Further, since the one-to-one mesh connection is made between the
また、各制御モジュール４−０〜４−７間（つまり、各制御モジュール４−０〜４−７のキャッシュマネージャ４０間）の通信やデータ転送処理では、データ転送量が多く、通信にかかる時間を短くすることが望ましく、高いスループットと同時に低いレイテンシ（速い応答速度）が要求されるため、図２に示すごとく、各制御モジュール４−０〜４−７のDMAエンジン４３とFRT６−０，６−１とは、高いスループットと低いレイテンシとの両方の要求を満たすべく設計された、高速シリアル伝送を利用したバスPCI-Expressによって接続されている。
Further, in communication and data transfer processing between the control modules 4-0 to 4-7 (that is, between the
［他の実施の形態］
前述の実施の形態では、制御モジュール内の信号線を、PCI-Expressで説明したが, Rapid-IO等の他の高速シリアルバスを利用できる。制御モジュール内のチャネルアダプタやディスクアダプタの数は、必要に応じて、増減できる。
[Other embodiments]
In the above-described embodiment, the signal lines in the control module have been described by PCI-Express, but other high-speed serial buses such as Rapid-IO can be used. The number of channel adapters and disk adapters in the control module can be increased or decreased as necessary.
又、ディスクドライブとしては、ハードディスクドライブ、光ディスクドライブ、光磁気ディスクドライブ等の記憶デバイスを適用できる。 As the disk drive, a storage device such as a hard disk drive, an optical disk drive, or a magneto-optical disk drive can be applied.
以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。 As mentioned above, although this invention was demonstrated by embodiment, in the range of the meaning of this invention, this invention can be variously deformed, These are not excluded from the scope of the present invention.
（付記１）データを記憶する複数の記憶デバイスと、上位からのアクセス指示に応じて、前記記憶デバイスをアクセス制御する複数の制御モジュールとを有し、前記制御モジュールは、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、前記キャッシュメモリの制御を行うキャッシュ制御ユニットと、前記上位とのインターフェース制御を行う第１のインターフェース部と、前記複数の記憶デバイスとのインターフェース制御を行う第２のインターフェース部とを有し、更に、前記複数の制御モジュールと前記複数の記憶デバイスとの間に設けられ、各制御モジュールの前記第２のインターフェース部と前記複数の記憶デバイスとを選択的に切り替える複数の第１のスイッチユニットを設け、前記複数の制御モジュールと前記複数の第１のスイッチユニットとをバックパネルで接続したことを特徴とするデータストレージシステム。 (Additional remark 1) It has a some storage device which memorize | stores data, and a some control module which carries out access control of the said storage device according to the access instruction from a high-order, The said control module is memorize | stored in the said storage device Interface control with a plurality of storage devices, a cache memory that stores a part of the data, a cache control unit that controls the cache memory, a first interface unit that performs interface control with the host, and the storage device A second interface unit, and is provided between the plurality of control modules and the plurality of storage devices, and selectively selects the second interface unit and the plurality of storage devices of each control module. A plurality of first switch units for switching to the plurality of control modules. Data storage system is characterized in that connecting the first switch unit le and the plurality in the back panel.
（付記２）前記制御モジュールは、キャッシュ制御ユニットと前記第２のインターフェース部とを、低レンテシイの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記１のデータストレージシステム。
(Supplementary Note 2) The control module connects the cache control unit and the second interface unit with a low-latency high-speed serial bus, and connects the second interface unit and the plurality of first switch units. The data storage system according to
（付記３）前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第２のスイッチユニットを有することを特徴とする付記１のデータストレージシステム。
(Additional remark 3) The said control module has a communication unit for communicating with the said other control module, and also has a 2nd switch unit which selectively connects the communication unit of each said control module. The data storage system of
（付記４）各制御モジュールの通信ユニットと第２のスイッチユニットとを、前記バックパネルで接続したことを特徴とする付記３のデータストレージシステム。 (Additional remark 4) The data storage system of Additional remark 3 characterized by connecting the communication unit of each control module, and the 2nd switch unit with the said back panel.
（付記５）前記第１のスイッチユニットと前記複数の記憶デバイスをケーブルで接続したことを特徴とする付記１のデータストレージシステム。
(Supplementary note 5) The data storage system according to
（付記６）前記記憶デバイスは、複数のアクセスポートを有し、前記複数のアクセスポートに、複数の異なる前記第１のスイッチユニットを接続したことを特徴とする付記１のデータストレージシステム。
(Supplementary note 6) The data storage system according to
（付記７）前記制御モジュールは、前記キャッシュ制御ユニットと前記第２のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記２のデータストレージシステム。 (Supplementary Note 7) The control module connects the cache control unit and the second interface unit with a high-speed serial bus having a plurality of lanes, and includes the second interface unit and the plurality of first switch units. The data storage system according to appendix 2, wherein the back panel is connected by a serial bus.
（付記８）前記高速シリアルバスが、PCI-Expressバスであることを特徴とする付記２のデータストレージシステム。 (Supplementary note 8) The data storage system according to supplementary note 2, wherein the high-speed serial bus is a PCI-Express bus.
（付記９）前記シリアルバスが、ファイバチャネルであることを特徴とする付記２のデータストレージシステム。 (Supplementary note 9) The data storage system according to supplementary note 2, wherein the serial bus is a fiber channel.
（付記１０）前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のインターフェース部とを、低レンテシイの高速シリアスバスで接続したことを特徴とする付記２のデータストレージシステム。 (Supplementary note 10) The data storage system according to supplementary note 2, wherein the control module connects the cache control unit and the first interface unit with a low-latency high-speed serial bus.
（付記１１）上位からのアクセス指示に応じて、データを記憶する複数の記憶デバイスをアクセス制御するデータストレージ制御装置において、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、前記キャッシュメモリの制御を行うキャッシュ制御ユニットと、前記上位とのインターフェース制御を行う第１のインターフェース部と、前記複数の記憶デバイスとのインターフェース制御を行う第２のインターフェース部とを有する複数の制御モジュールと、前記複数の制御モジュールと前記複数の記憶デバイスとの間に設けられ、各制御モジュールの前記第２のインターフェース部と前記複数の記憶デバイスとを選択的に切り替える複数の第１のスイッチユニットを有し、前記複数の制御モジュールと前記複数の第１のスイッチユニットとをバックパネルで接続したことを特徴とするデータストレージ制御装置。 (Supplementary Note 11) In a data storage control apparatus that controls access to a plurality of storage devices that store data in response to an access instruction from a host, a cache memory that stores a part of the data stored in the storage device, A plurality of control modules having a cache control unit that controls the cache memory, a first interface unit that performs interface control with the host, and a second interface unit that performs interface control with the plurality of storage devices; A plurality of first switch units that are provided between the plurality of control modules and the plurality of storage devices and selectively switch between the second interface unit of each control module and the plurality of storage devices. And the plurality of control modules and the plurality of first modules. Data storage control apparatus according to claim and a switch unit that is connected with the back panel.
（付記１２）前記制御モジュールは、キャッシュ制御ユニットと前記第２のインターフェース部とを、低レンテシイの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記１１のデータストレージ制御装置。
(Supplementary Note 12) The control module connects the cache control unit and the second interface unit with a low-latency high-speed serial bus, and connects the second interface unit and the plurality of first switch units. The data storage control device according to
（付記１３）前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第２のスイッチユニットを有することを特徴とする付記１１のデータストレージ制御装置。
(Additional remark 13) The said control module has a communication unit for communicating with the said other control module, and also has a 2nd switch unit which selectively connects the communication unit of each said control module. The data storage control device according to
（付記１４）各制御モジュールの通信ユニットと第２のスイッチユニットとを、前記バックパネルで接続したことを特徴とする付記１３のデータストレージ制御装置。
(Supplementary note 14) The data storage control device according to
（付記１５）前記第１のスイッチユニットと前記複数の記憶デバイスをケーブルで接続したことを特徴とする付記１のデータストレージ制御装置。
(Supplementary note 15) The data storage control device according to
（付記１６）複数の異なる前記第１のスイッチユニットは、複数のアクセスポートを有する前記記憶デバイスの各々に接続したことを特徴とする付記１１のデータストレージ制御装置。
(Supplementary note 16) The data storage control device according to
（付記１７）前記制御モジュールは、前記キャッシュ制御ユニットと前記第２のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第２のインターフェース部と前記複数の第１のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記１２のデータストレージ制御装置。
(Supplementary Note 17) The control module connects the cache control unit and the second interface unit with a high-speed serial bus having a plurality of lanes, and also includes the second interface unit and the plurality of first switch units. The data storage control device according to
（付記１８）前記高速シリアルバスが、PCI-Expressバスであることを特徴とする付記１２のデータストレージ制御装置。
(Supplementary note 18) The data storage control device according to
（付記１９）前記シリアルバスが、ファイバチャネルであることを特徴とする付記１２のデータストレージ制御装置。
(Supplementary note 19) The data storage control device according to
（付記２０）前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のインターフェース部とを、低レンテシイの高速シリアスバスで接続したことを特徴とする付記１２のデータストレージ制御装置。
(Supplementary note 20) The data storage control device according to
複数の制御モジュールの各第２のインターフェースを複数の第１のスイッチユニットに接続し、複数のディスクエンクロージャの各々の先頭の単位ディスクエンクロージャの一対の信号線の各々を、異なる第１のスイッチユニットに接続したため、全ての制御モジュールは、全ての記憶デバイスにアクセスできる冗長性を維持でき、且つこのように接続形式で制御モジュールの数やディスクエンクロージャの数が増大しても、単位ディスクエンクロージャを直列接続し、制御モジュールと第１のスイッチユニットとをバックパネルで、インターフェースを構成する信号数が少ないシリアルバスで接続できるため、プリント基板での実装が可能となる。このため、大規模から小規模までのアーキテクチャを統一化するのに有効であり、装置のコストダウンに寄与できる。 Connect each second interface of the plurality of control modules to the plurality of first switch units, each of the pair of signal lines of the head unit disk enclosures of each of the plurality of disk enclosures, the different first switch units As a result, all control modules can maintain redundancy to access all storage devices, and even if the number of control modules and disk enclosures increases in this way, unit disk enclosures are connected in series. Since the control module and the first switch unit can be connected by a back panel and connected by a serial bus with a small number of signals constituting the interface, mounting on a printed circuit board is possible. For this reason, it is effective in unifying the architecture from a large scale to a small scale, and can contribute to the cost reduction of the apparatus.
１ ストレージシステム
２−０〜２−３５ ディスクエンクロージャ
４−０〜４−７ 制御ユニット
５−０〜５−７ バックエンドルータ
６−０〜６−１ フロントエンドルータ
７ バックパネル
４０ 制御モジュール
４０a キャッシュ制御ユニット
４０ｂ キャッシュメモリ
４１ チャネルアダプタ
４２ デバイスアダプタ
４３ 通信ユニット（DMAエンジン）
1 Storage system 2-0 to 2-35 Disk enclosure 4-0 to 4-7 Control unit 5-0 to 5-7 Backend router 6-0 to 6-1 Frontend router 7
Claims (2)
上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する複数の制御モジュールとを有し、
前記制御モジュールの各々は、
前記上位とのインターフェース制御を行う第１のインターフェース部と、
前記ディスク記憶デバイスとのインターフェース制御を行う第２のインターフェース部と、
前記アクセス指示に応じて、前記第２のインターフェース部より、前記ディスク記憶デバイスをアクセス制御する制御ユニットとを有し、
各前記制御モジュールの前記第２のインターフェース部に接続され、前記各制御モジュールの前記第２のインターフェース部と前記複数のディスクエンクロージャとを選択的に切り替える複数の第１のスイッチユニットを搭載する複数の第１の基板と、
少なくとも前記制御ユニットと、前記第２のインターフェース部とを設けた複数の第２の基板と、
前記複数の第１の基板と、前記複数の第２の基板とが取り付けられ、各前記第２のインターフェース部を前記複数の第１のスイッチユニットの各々に個別のシリアルバスで接続するバックパネルとを設け、
前記複数のディスクエンクロージャの各々は、複数のディスク記憶デバイスを一対の信号線に対し並列に接続した単位ディスクエンクロージャを複数直列に接続して構成され、且つ前記複数のディスクエンクロージャの各々の先頭の単位ディスクエンクロージャの一対の信号線の各々が、異なる第１のスイッチユニットに接続された
ことを特徴とするデータストレージシステム。 A plurality of disk enclosures configured by connecting a plurality of disk storage devices for storing data in parallel to a pair of signal lines ;
A plurality of control modules for controlling access to the disk storage device in response to an access instruction from a host;
Each of the control modules
A first interface unit that performs interface control with the host;
A second interface unit for performing interface control with the disk storage device;
A control unit for controlling access to the disk storage device from the second interface unit in response to the access instruction;
A plurality of first switch units that are connected to the second interface unit of each of the control modules and selectively switch between the second interface unit and the plurality of disk enclosures of each of the control modules. A first substrate;
A plurality of second substrates provided with at least the control unit and the second interface unit;
Wherein a plurality of first substrate, said plurality of second substrate is mounted, and a back panel for connecting each said second interface in a separate serial bus to each of the plurality of first switch units Provided ,
Each of the plurality of disk enclosures is configured by connecting a plurality of unit disk enclosures in which a plurality of disk storage devices are connected in parallel to a pair of signal lines, and the first unit of each of the plurality of disk enclosures A data storage system , wherein each of a pair of signal lines of a disk enclosure is connected to a different first switch unit .
前記制御ユニットにバスで接続され、他の前記制御モジュールと通信するための通信ユニットを有し、
更に、前記各制御モジュールの通信ユニットを選択的に接続する第２のスイッチユニットを、前記バックパネルに搭載し、
前記各制御モジュールの通信ユニットを、前記第２のスイッチユニットとを、前記バックパネルで電気的に接続する
ことを特徴とする請求項１のデータストレージシステム。 The first substrate is
A communication unit connected to the control unit by a bus and communicating with the other control module;
Furthermore, a second switch unit for selectively connecting the communication units of the respective control modules is mounted on the back panel,
The data storage system according to claim 1 , wherein the communication unit of each control module is electrically connected to the second switch unit by the back panel .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009273376A JP4985750B2 (en) | 2009-12-01 | 2009-12-01 | Data storage system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009273376A JP4985750B2 (en) | 2009-12-01 | 2009-12-01 | Data storage system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005022121A Division JP4440127B2 (en) | 2004-11-30 | 2005-01-28 | Data storage system and data storage control device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010049716A JP2010049716A (en) | 2010-03-04 |
| JP4985750B2 true JP4985750B2 (en) | 2012-07-25 |
Family
ID=42066681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009273376A Expired - Fee Related JP4985750B2 (en) | 2009-12-01 | 2009-12-01 | Data storage system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4985750B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6540204B2 (en) | 2015-04-30 | 2019-07-10 | 富士通株式会社 | Relay device |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63285634A (en) * | 1987-05-19 | 1988-11-22 | Nec Corp | Information processor |
| JP2686393B2 (en) * | 1992-03-31 | 1997-12-08 | 富士通株式会社 | Magnetic disk drive with off-track measurement function |
| DE4345477C2 (en) * | 1992-05-26 | 2000-11-23 | Fujitsu Ltd | Magnetic disk drive |
| JPH0695942A (en) * | 1992-09-11 | 1994-04-08 | Sharp Corp | Computer device having double filing function |
| JPH08263225A (en) * | 1995-03-22 | 1996-10-11 | Mitsubishi Electric Corp | Data storage system and storage managing method |
| JPH10301683A (en) * | 1997-04-25 | 1998-11-13 | Hitachi Ltd | Storage sub system |
| US6636934B1 (en) * | 1999-06-30 | 2003-10-21 | Emc Corporation | Fiber channel port by-pass selector section for dual ported disk drives |
| JP2001256003A (en) * | 2000-03-10 | 2001-09-21 | Hitachi Ltd | Disk array controller, its disk array control unit and its expanding method |
| JP4025032B2 (en) * | 2001-06-26 | 2007-12-19 | 株式会社日立製作所 | Disk control device and data access method thereof |
| US20030079018A1 (en) * | 2001-09-28 | 2003-04-24 | Lolayekar Santosh C. | Load balancing in a storage network |
| JP2003162377A (en) * | 2001-11-28 | 2003-06-06 | Hitachi Ltd | Disk array system and method for taking over logical unit among controllers |
| JP3714613B2 (en) * | 2001-12-12 | 2005-11-09 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Storage device, information processing device including the storage device, and information storage system recovery method |
| JP4166516B2 (en) * | 2002-06-14 | 2008-10-15 | 株式会社日立製作所 | Disk array device |
| JP2004118644A (en) * | 2002-09-27 | 2004-04-15 | Hitachi Ltd | Disk array control system |
| JP4330889B2 (en) * | 2003-01-20 | 2009-09-16 | 株式会社日立製作所 | Method for installing software in storage device control apparatus, control method for storage device control apparatus, and storage device control apparatus |
| JP2004280364A (en) * | 2003-03-14 | 2004-10-07 | Hitachi Ltd | Back plane mounting active module |
| JP4322031B2 (en) * | 2003-03-27 | 2009-08-26 | 株式会社日立製作所 | Storage device |
| JP2004240979A (en) * | 2004-02-06 | 2004-08-26 | Toshiba Corp | Method for presenting service in train and service presentation system |
-
2009
- 2009-12-01 JP JP2009273376A patent/JP4985750B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010049716A (en) | 2010-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4413184B2 (en) | Data storage system and data storage control device | |
| KR100740080B1 (en) | Data storage system and data storage control apparatus | |
| US20140223097A1 (en) | Data storage system and data storage control device | |
| US7467238B2 (en) | Disk controller and storage system | |
| JP5903801B2 (en) | Communication apparatus and ID setting method | |
| JP2007122477A (en) | Raid system, raid controller and its rebuild/copyback processing method | |
| CN102081561A (en) | Mirroring data between redundant storage controllers of a storage system | |
| CN100347655C (en) | Data storage system and data storage control device | |
| JP2007206766A (en) | Data storage system, data storage control device, and failure part diagnostic method | |
| JP4441286B2 (en) | Storage system | |
| US7487293B2 (en) | Data storage system and log data output method upon abnormality of storage control apparatus | |
| US7426658B2 (en) | Data storage system and log data equalization control method for storage control apparatus | |
| JP4985750B2 (en) | Data storage system | |
| JP4440127B2 (en) | Data storage system and data storage control device | |
| US7096286B2 (en) | Disk array device and method of changing the configuration of the disk array device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120416 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4985750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |