JP4477437B2 - ストレージ装置、そのクラスタ間データ通信方法、及びそのクラスタ通信制御プログラム - Google Patents

ストレージ装置、そのクラスタ間データ通信方法、及びそのクラスタ通信制御プログラム Download PDF

Info

Publication number
JP4477437B2
JP4477437B2 JP2004197259A JP2004197259A JP4477437B2 JP 4477437 B2 JP4477437 B2 JP 4477437B2 JP 2004197259 A JP2004197259 A JP 2004197259A JP 2004197259 A JP2004197259 A JP 2004197259A JP 4477437 B2 JP4477437 B2 JP 4477437B2
Authority
JP
Japan
Prior art keywords
cluster
packet
path
data
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004197259A
Other languages
English (en)
Other versions
JP2006018689A (ja
Inventor
崇仁 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004197259A priority Critical patent/JP4477437B2/ja
Priority to US10/944,851 priority patent/US7228369B2/en
Publication of JP2006018689A publication Critical patent/JP2006018689A/ja
Application granted granted Critical
Publication of JP4477437B2 publication Critical patent/JP4477437B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14—Multichannel or multilink protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G06F11/201—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Description

本発明は、１以上の記憶装置がそれぞれに設けられ、該１以上の記憶装置を制御する複数のクラスタを備えているストレージ制御装置、そのクラスタ間データ通信方法、及びそのクラスタ間通信制御プログラムに関する。
半導体記憶装置を記憶媒体とするコンピュータの主記憶のＩ／Ｏ性能に比べて、ハードディスクドライブ（以下「ＨＤＤ」という。）を備えているディスクサブシステムのＩ／Ｏ性能は３〜４桁程度小さく、従来からこの差を縮めること、すなわちディスクサブシステムのＩ／Ｏ性能を向上させる努力がなされている。ディスクサブシステムのＩ／Ｏ性能を向上させるための１つの方法として、複数のＨＤＤでシステムを構成し、データを複数のＨＤＤに格納する、いわゆるディスクアレイと呼ばれるシステムが知られている。こういったストレージシステムでは、Ｉ／Ｏ性能と共に、高信頼性、高可用性、さらに接続可能なホストコンピュータやＨＤＤの数に対する拡張性が要求されている。
一般に、高信頼性を得るために、様々な処理において動作チェックを行い、障害を検知して、データの整合性を保っている。また、高可用性を得るために、ＨＤＤをはじめ、バスなども冗長化されている。しかし、高い拡張性を得るために、ディスアレイを制御するディスク制御装置の１台あたりのホストコンピュータやＨＤＤの接続可能数を大きくすることはコストの増大を招いてしまう。
そこで、低コストで実現可能な接続可能数の限られたディスク制御装置を１つのクラスタとし、それを複数、内部ネットワークで相互接続し、１つの大規模なディスクサブシステムとする技術が知られている。ここでは、こういったディスク制御装置をクラスタ型ディスク制御装置と呼ぶ。このクラスタ型ディスク制御装置に関しては、例えば、以下の特許文献１に記載されている。
一般にクラスタ型ディスク制御装置において、クラスタ間を結ぶパスの帯域は、１つのクラスタ内部のネットワークの帯域に比べると狭い。特許文献１に記載の技術では、キャッシュメモリに格納されるデータの転送を行うネットワークと、ディスクサブシステム内で制御を行うために必要なデータの転送を行うネットワークとをそれぞれ持たせている。一般に、前者のデータは、比較的データサイズが大きくデータの転送には大量のデータを転送するスループット性能が要求され、後者のデータは、比較的データサイズは小さいがデータの転送には短時間でデータの転送を終了するレスポンス性能が要求される。特許文献１に記載の技術では、クラスタ間をパスに関してもネットワークが分離されているため、クラスタ間のデータ転送に関しても、スループット性能、レスポンス性能に対する効果がある。具体的には、特許文献１に記載の技術では、各クラスタ間を複数のアクセスパスで接続している。複数のアクセスパスのうち、１つは、ＨＤＤに格納される又は格納されていた実データを転送するための専用パスとして使用され、他の１つは、実データの転送制御に必要な制御系データを転送するための制御系データ専用パスとして使用されている。また、各専用パスは、このシステムの信頼性を確保するために冗長構成が取られている、つまり、それぞれ、少なくとも２本ずつ設けられている。
なお、以下では、ディスク制御装置をストレージ制御装置、ディスク制御装置のクラスタを単にクラスタとも言う。
ＵＳ６，６４７，４６１ Ｂ２ 図６
以上のように、特許文献１に記載のクラスタ型ストレージ制御装置は、実データの転送用の専用パスと制御系データ専用パスとが設けられているため、データ系アクセスのスループット性能の向上及び制御系アクセスのレスポンス性能の向上の両立が図られている。しかし、それぞれ専用パスを設けることで、その製造コストが比較的高いものになってしまう。
そこで、本発明は、比較的簡単な構成で製造コストを抑えつつも、以上の従来技術と同等又はそれ以上の性能を有するストレージ制御装置、そのクラスタ間データ通信方法、及びそのクラスタ間通信制御プログラムを提供することを目的とする。
前記目的を達成するためのストレージ装置は、データが格納される１以上の記憶装置がそれぞれ接続され、前記１以上の記憶装置を制御する、第一のクラスタと、第二のクラスタと、を備えているストレージ装置において、前記第一のクラスタと前記第二のクラスタとは、複数の、送信方向が異なる一対の信号線からなるパスで接続され、前記第一のクラスタ及び前記第二のクラスタは、前記複数のパスを介して、前記データに対するリード又はライト要求を指示する制御系パケットと、前記リード要求に対するデータを含むパケットと、前記データに対するライト要求のデータを含むパケットを送受信し、前記第一のクラスタがリード要求を受信した際に、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、前記第一のクラスタは、前記複数のパスのうち１つである第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信し、前記第二のクラスタは、前記第一のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信し、前記第一のクラスタがライト要求を受信した際に、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信し、前記第一のクラスタは、前記複数のパスのうち他の１つである第二のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信することを特徴とする。
さらに、前記ストレージ装置において、前記第一のクラスタは、前記第一のクラスタが受信したリード要求及びライト要求の回数が所定の回数を越え、前記所定の回数のうち前記リード要求の回数が所定の割合以上である際に、前記第一のクラスタがリード要求を受信し、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信し、前記第二のクラスタは、前記第一のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信し、前記第一のクラスタがライト要求を受信し、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信し、前記第一のクラスタは、前記第一のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信し、前記第一のクラスタが受信したリード要求及びライト要求の回数が前記所定の回数を越え、前記所定の回数のうち前記ライト要求の回数が所定の割合以上である際に、前記第一のクラスタがリード要求を受信し、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信し、前記第二のクラスタは、前記第二のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信し、前記第二のクラスタがライト要求を受信し、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信し、前記第一のクラスタは、前記第二のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信する。
また、前記目的を達成するためのストレージ装置のクラスタ間データ通信方法は、データが格納される１以上の記憶装置がそれぞれ接続され、前記１以上の記憶装置を制御する、第一のクラスタと、第二のクラスタと、を備えているストレージ装置のクラスタ間データ通信方法において、前記第一のクラスタと前記第二のクラスタとは、複数の、送信方向が異なる一対の信号線からなるパスで接続され、前記第一のクラスタ及び前記第二のクラスタは、前記複数のパスを介して、前記データに対するリード又はライト要求を指示する制御系パケットと、前記リード要求に対するデータを含むパケットと、前記データに対するライト要求のデータを含むパケットを送受信し、前記第一のクラスタがリード要求を受信した際に、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、前記第一のクラスタは、前記複数のパスのうち１つである第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信し、前記第二のクラスタは、前記第一のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信し、前記第一のクラスタがライト要求を受信した際に、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信し、前記第一のクラスタは、前記複数のパスのうち他の１つである第二のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信する、ことを特徴とする
また、前記目的を達成するためのストレージ装置のクラスタ間通信制御プログラムは、データが格納される１以上の記憶装置がそれぞれに接続され、前記１以上の記憶装置を制御する、第一のクラスタと、第二のクラスタと、を備えるストレージ装置に実行させるクラスタ間通信制御プログラムにおいて、前記第一のクラスタと前記第二のクラスタとは、複数の、送信方向が異なる一対の信号線からなるパスで接続され、前記第一のクラスタ及び前記第二のクラスタに、前記複数のパスを介して、前記データに対するリード又はライト要求を指示する制御系パケットと、前記リード要求に対するデータを含むパケットと、前記データに対するライト要求のデータを含むパケットを送受信させ、前記第一のクラスタがリード要求を受信した際に、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、前記第一のクラスタに、前記複数のパスのうち１つである第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信させ、前記第二のクラスタに、前記第一のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信させ、前記第一のクラスタがライト要求を受信した際に、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、前記第一のクラスタに、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信させ、前記第一のクラスタに、前記複数のパスのうち他の１つである第二のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信させること、を特徴とする。
本発明によれば、データ系パケットと制御系パケットとが競合しないよう、クラスタ間パスを有効活用できるので、少ない数のクラスタ間パスでも、データ系アクセスのスループット性能の向上及び制御系アクセスのレスポンス性能の向上の両立を図ることができると共に、製造コストの向上を抑えることができる。
以下、本発明に係るストレージシステムの一実施形態について、図面を参照して説明する。
本実施形態のストレージシステムは、図１に示すように、複数のクラスタ１０Ａ，１０Ｂを有するストレージ制御装置１と、各クラスタ１０Ａ，１０Ｂに接続されている複数のＨＤＤ３，３とを備えている。また、本実施形態のストレージシステムは、クラスタ１０が有するインタフェース（以下、「チャネル」とも言う）を介してホストコンピュータ２と接続されている。
ストレージ制御装置１は、チャネルを介してホストコンピュータ２に接続されていると共に、同じくチャネルを介して複数のＨＤＤ３，３と接続されている。チャネルとしては、例えば、ＳＣＳＩ(Small Computer System Interface)やFibre Channelなどが用いられる。特に、ストレージ制御装置１とホストコンピュータ２の間は、Fibre Channelなどで構成されるＳＡＮ（Storage Area Network）を介して接続してもよい。
ストレージ制御装置１の各クラスタ１０Ａ，１０Ｂは、それぞれ、ホストコンピュータ２との間での通信制御を行うチャネル制御部４と、複数のＨＤＤ３に対するアクセスを制御するディスク制御部５と、プロセッサを有するプロセッサ部６と、ＨＤＤ３に書き込むデータ又は書き込まれていたデータが一時的に格納されるキャッシュメモリを有するキャッシュメモリ部７と、キャッシュメモリのディレクトリ情報や論理ボリュームの構成情報等が格納される共有メモリを有する共有メモリ部８と、以上の各部４〜８を相互に接続すると共に他のクラスタと接続される内部スイッチ９Ａ，９Ｂと、を備えている。
各クラスタ１０Ａ，１０Ｂのチャネル制御部４は、前述したチャネルにより、ホストコンピュータ２に接続され、各クラスタ１０Ａ，１０Ｂのディスク制御部５も、前述したチャネルにより、複数のＨＤＤ３と接続されている。なお、以下では、ＨＤＤ３に格納される又は格納されていたデータ（以下、「実データ」）の読み出し及び書き込みをストレージ制御装置１が行う際に、ストレージ制御装置１内で実データの読み出し及び書き込みを各部に指示するパケット、及びその指示の処理状態（結果）や実データを含むパケットをデータ系パケットとする。また、ストレージ制御装置１内でのデータ系パケットの送受信をデータ系アクセスとする。一方、例えば共有メモリ部８に格納されるデータ、具体的にはストレージ制御装置１の各部を制御するために必要な情報をストレージ制御装置１内でやりとりするパケットを制御系パケットとし、この制御系パケットの送受信を制御系アクセスとする。
複数のクラスタ１０Ａ，１０Ｂの相互間は、２本のクラスタ間パス１１Ａ，１１Ｂで接続されている。各クラスタ１０Ａ，１０Ｂ相互がクラスタ間パス１１Ａ，１１Ｂを用いて通信することにより、そのクラスタ自身に直接接続されていないＨＤＤ３に格納されたデータにアクセスでき、各ホストコンピュータ２，２には1台のストレージ制御装置１として認識させることが可能である。このように、本実施形態では、クラスタ１０Ａ，１０Ｂ相互間を２本のクラスタ間パス１１Ａ，１１Ｂで接続している関係で、各クラスタ１０Ａ，１０Ｂには、クラスタ間パス１１Ａに接続されている内部スイッチ９Ａと、クラスタ間パス１１Ｂに接続されている内部スイッチ９Ｂとがある。
各クラスタ間パス１１Ａ，１１Ｂは、いずれも、図２に示すように、全二重通信パスであり、１つのパスは、通信方向が異なる一対の物理信号線１２０，１２０を有している。なお、ここでは、送信方向が異なる一対の物理信号線１２０，１２０でクラスタ間パス１１を構成しているが、さらに多くの物理信号線１２０でクラスタ間パス１１を構成し、帯域を拡大してもよい。各物理信号線１２０の両端には、それぞれ、送信側に送信Ｉ／Ｆ部１２２が接続され、受信側に受信Ｉ／Ｆ部１２１が接続されている。これら受信Ｉ／Ｆ１２１及び送信Ｉ／Ｆ部１２２は、いずれも、内部スイッチ９内に設けられている。また、前述したクラスタ１０の各部４〜８の内部にも、内部スイッチ９と通信するために、同様に、受信Ｉ／Ｆ１２１及び送信Ｉ／Ｆ部１２２が設けられている。
例えば、前段から送信要求を受けた送信Ｉ／Ｆ部１２２は、送信するパケットに物理信号線１２０の両端での通信を保証するための付加情報を加え、物理信号線１２０で伝送できるように符号化（例えば８ｂ／１０ｂ変換）を行い伝送する。物理信号線１２０が光ファイバで構成される場合は、ここで電気−光変換も行う。反対に受信側では、物理信号線１２０が光ファイバで構成される場合は光−電気変換を行い、復号化をし、付加情報から正しくパケットを受信したことを確認し、次段にパケットを転送する。この際、受信Ｉ／Ｆ部１２１は、同じ側の送信Ｉ／Ｆ部１２２に受信通知信号線１２３を用いて受信を通知し、この送信Ｉ／Ｆ部１２２は、物理信号線１２０の両端での通信を保証するための受領確認パケットや流量制御パケットなどの下位プロトコルパケットをパケット送信元の受信Ｉ／Ｆ部１２１に送信する。この下位プロトコルパケットを受信したパケット送信元の受信Ｉ／Ｆ部１２１は、その内容に従って、同じ側の送信Ｉ／Ｆ部に対して、次のパケットの送信許可や送信抑制などを行う（下位プロトコルパケットは、前段から送信要求を受け送信するパケットとはプロトコル層が異なる）。
次に、図３を用いてプロセッサ部６の詳細構成について説明する。
プロセッサ部６は、各種プログラムを実行するプロセッサ６１と、メモリコントローラやバス変換回路といった回路を含む周辺回路部６２と、各種プログラムやデータ等が格納されているメインメモリ６３と、他の各部と通信するための内部ネットワークＩ／Ｆ部６４と、前述の送信Ｉ／Ｆ部１２２及び受信Ｉ／Ｆ部１２１と、を備えている。
プロセッサ６１は、周辺回路部６２を介して、メインメモリ６３や内部ネットワークＩ／Ｆ部６４に接続され、メインメモリ６３に格納された制御プログラム６３１に従って動作する。また、メインメモリ６３には、ストレージ制御装置１に接続されたホストコンピュータ２から発行されるＩ／Ｏがどのような傾向にあるかを示すホストアクセス統計情報６３２も格納されている。プロセッサ６１は、ホストコンピュータ２からのリード要求及びライト要求の数をそれぞれカウントし、メインメモリ６３に、ホストアクセス統計情報６３２として格納する。なお、このホストアクセス統計情報６３２は、単に、リード要求及びライト要求の数ではなく、どのような時間帯にリード要求が多く、ライト要求が少ないか等のように、一定の統計解析を行った結果であってもよい。
内部ネットワークＩ／Ｆ部６４は、パケットを作成するパケット作成部６４１と、受信パケットを分解してその内容を解析するパケット解析部６４２と、２本のクラスタ間パス１１，１１のうちどちらのパスを利用するかを選択するパス選択部６４３を有している。パケット作成部６４１は、プロセッサ６１の要求に従って後述のパケットを作成し、送信Ｉ／Ｆ部１２２に対して、作成したパケットの送信要求を行う。その際、パス選択部６４３は、プロセッサ６１により予め設定された設定レジスタ６４４の内容に従いパケットの要求発行先に応じて、どのパスにパケットを送信するか選択する。パケット解析部６４２は、発行した要求パケットに対して、各部から返信された応答パケットを受信Ｉ／Ｆ部１２１を介して受信し、要求パケットのシーケンスＩＤと応答パケットのシーケンスＩＤとの対応を確認し、応答パケットがリード応答パケットであれば周辺回路部６２を介してプロセッサ６１に、リード応答パケット中に含まれるデータを送付する。なお、設定レジスタ６４４の内容に関しては、後述する。
次に、図４を用いて、共有メモリ部８の詳細構成について説明する。
共有メモリ部８は、キャッシュメモリのディレクトリ情報や論理ボリュームの構成情報等が格納される共有メモリ８１と、この共有メモリ８１に対するアクセスを行うメモリコントローラ８２と、他の各部と通信するための内部ネットワークＩ／Ｆ部８３と、前述の送信Ｉ／Ｆ部１２２及び受信Ｉ／Ｆ部１２１と、を備えている。
内部ネットワークＩ／Ｆ部８３は、パケットを作成するパケット作成部８３１と、受信パケットを分解してその内容を解析するパケット解析部８３２と、２本のパスのうちどちらのパスを利用するかを選択するパス選択部８３３を有している。ところで、前述のプロセッサ部６は、要求パケットを発行するのに対し、この共有メモリ部８は、要求パケットを発行せずに応答パケットを発行する点で、両者は相違する。この相違により、内部ネットワークＩ／Ｆ部８３の構造、特に、パス選択部８３３の構造が、プロセッサ部６の内部ネットワークＩ／Ｆ部６４のパス選択部６４３と異なる。受信Ｉ／Ｆ部１２１が要求パケットを受信し、これをパケット解析部８３２が受け取ると、受信した要求パケットの転送に使用されたパスに対応するパス番号をパス選択部８３３の要求パケットパス情報部８３６に書き込むと共に、要求パケットに記載された要求をメモリコントローラ８２に送付する。メモリコントローラ８２は、この要求を処理し、共有メモリ８１からのデータ等をパケット作成部８３１に送って、応答パケットの作成を要求する。パケット作成部８３１は、メモリコントローラ８２からの要求に従って、メモリコントローラ８２からのデータ等を含む応答パケットを作成する。それと共に、パス選択部８３３は、後述のパス選択テーブル８３５を参照して、要求パケットパス情報部８３６に記載されたパス番号に対応するパスを選択する。パケット作成部８３１は、パス選択部８３３が選択したパスに、送信Ｉ／Ｆ部１２２から応答パケットを送信させる。
次に、図５を用いて、キャッシュメモリ部７の詳細構成について説明する。
キャッシュメモリ部７は、基本的に前述の共有メモリ部８と同様で、共有メモリ部８の共有メモリ８１の替わりに存在するキャッシュメモリ７１と、このキャッシュメモリ７１に対するアクセスを行うメモリコントローラ７２と、他の各部と通信するための内部ネットワークＩ／Ｆ部７３と、前述の送信Ｉ／Ｆ部１２２及び受信Ｉ／Ｆ部１２１と、を備えている。
内部ネットワークＩ／Ｆ部７３は、パケットを作成するパケット作成部７３１と、受信パケットを分解してその内容を解析するパケット解析部７３２と、２本のパスのうちどちらのパスを利用するかを選択するパス選択部７３３と、を有している。このパス選択部７３３は、共有メモリ部８のパス選択部８３３が要求パケットパス情報８３６とパス選択テーブル８３５とを有しているのに対して、要求パケットパス情報７３６のみを有している。キャッシュメモリ部７では、受信Ｉ／Ｆ部１２１が要求パケットを受信し、これをパケット解析部７３２が受け取ると、受信した要求パケットの転送に使用されたパスに対応する番号をパス選択部８３３の要求パケットパス情報部７３６に書き込むと共に、要求パケットに記載された要求をメモリコントローラ７２に送付する。メモリコントローラ７２は、この要求を処理し、キャッシュメモリ７１からのデータ等をパケット作成部７３１に送って、応答パケットの作成を要求する。パケット作成部７３１は、メモリコントローラ７２からの要求に従って、メモリコントローラ７２からのデータ等を含む応答パケットを作成する。それと共に、パス選択部７３３は、要求パケットパス情報部７３６に記載されたパス番号と同じパス番号のパスを選択する。パケット作成部７３１は、パス選択部７３３が選択したパスに、送信Ｉ／Ｆ部１２２から応答パケットを送信させる。
なお、キャッシュメモリ部７と共有メモリ部８とをまとめて一つのメモリ部とする場合、このメモリ部では、パケットを転送するパスを選択するときに、転送対象のパケットがデータ系パケットであるか制御系パケットであるかを識別する必要がある。この場合、このメモリ部は、上述した共有メモリ部８の要求パケットパス情報部８３６に格納された情報、及びパス選択テーブル８３５に格納された情報の双方を有する。そして、このメモリ部は、これらの情報を用いてパスの選択を実行する。
次に、図６を用いて、チャネル制御部４の詳細構成について説明する。
チャネル制御部４は、ホストコンピュータ２との間のチャネルを制御するチャネル制御回路４１と、他の各部と通信するための内部ネットワークＩ／Ｆ部８３と、を備えている。
内部ネットワークＩ／Ｆ部８３は、基本的に共有メモリ部８の内部ネットワークＩ／Ｆ部と同様である。但し、チャネル制御部４は、データ系アクセスと制御系アクセスの両方を行うので、前述したキャッシュメモリ部７と共有メモリ部８の共通化を行う場合のように、パケットの判断が必要となる。チャネル制御回路４１は、設定レジスタ４１２の設定内容に基づきチャネルを制御し、転送リスト４１１に基づきキャッシュメモリ部７にデータ系アクセスを発行して、ホストコンピュータ２へキャッシュメモリ上のデータの転送や、ホストコンピュータ２からのデータをキャッシュメモリ上に転送などを行う。なお、転送リスト４１１は、制御系アクセスにより使用するパスと転送アドレスおよびデータ長などを設定されたもので、プロセッサ部６により作成される。また、ディスク制御部５においても、ホストコンピュータ２の代わりにＨＤＤ３がチャネル制御回路４１に接続されるが、構造は同様である。
次に、図７を用いて、内部スイッチ部９Ａ，９Ｂの詳細構成について説明する。
各内部スイッチ９Ａ，９Ｂは、接続されるパスそれぞれに対して、受信Ｉ／Ｆ部１２１、送信Ｉ／Ｆ部１２２、アドレス解析部９４、競合解決部９３、セレクタ９５を持つ。受信Ｉ／Ｆ部１２１は、アドレス解析部９４に接続されている。また、送信Ｉ／Ｆ部１２２は、セレクタ９５に接続され、セレクタ９５は、セレクタ９５に対して指示を与える各アドレス解析部９４，９４に、データ信号線９１，９１を介して接続されている。競合解決部９３は、要求信号線９２及び許可信号線（図示せず）を介して、アドレス解析部９４と接続されている。以下に、受信Ｉ／Ｆ部１２１がパケットを受信し、受信したパケットを送信Ｉ／Ｆ部１２２に転送する流れを説明する。受信Ｉ／Ｆ部１２１が、パケットを受信すると、アドレス解析部９４は、受信Ｉ／Ｆ部１２１が受信したパケットの要求発行先アドレスまたは応答発行先アドレスを参照し、受信したパケットを転送すべきパスを決定する。さらにアドレス解析部９４は、転送すべきパスの送信Ｉ／Ｆ部１２２に接続されるセレクタ９５に指示を与える競合解決部９３に、要求信号線９２を介して転送の要求を行う。転送の要求を受けた競合解決部９３は、複数のアドレス解析部９４からの転送要求の状況を比較しラウンドロビンアルゴリズムなどに基づき、複数のアドレス解析部９４のうちの１つを決定する。そして、競合解決部９３は、決定した１つのアドレス解析部９４、つまりセレクタ９５に転送の許可を与えるアドレス解析部９４に対して、このセレクタ９５につながるデータ信号線９１を選択するように指示すると共に、許可信号線を介して転送の許可を通知する。転送の許可を受けたアドレス解析部９４は、データ信号線９１とセレクタ９５を経て、転送するべきパスに接続された送信Ｉ／Ｆ部１２２にパケットを転送する。
次に、図８を用いて、ストレージ制御装置１の内部で送受信されるパケットのデータ構成について説明する。なお、以下で説明するリード要求パケット、リード応答パケット、ライト要求パケット及びライト応答パケットのそれぞれは、データ系パケット及び制御系パケットの双方に存在する。そこで、これらを明確に区別するために、データ系パケットについては、データ系リード要求（リード応答、ライト要求、ライト応答）パケットと称し、制御系パケットについては、制御系リード要求（リード応答、ライト要求、ライト応答）パケットと称する。
同図（ａ）は、制御系及びデータ系リード要求パケット１４１のデータ構成を示している。制御系リード要求パケットは、例えば、プロセッサ部６のプロセッサ６１が共有メモリ部８の共有メモリ８１の内容を参照する際に発行される（図１１におけるＳ５）。この制御系リード要求パケットは、図３を用いて前述したプロセッサ部６において、プロセッサ６１からの指示に従って、パケット作成部６４１が作成する。また、データ系リード要求パケットは、例えば、チャネル制御部４がキャッシュメモリ部７の実データをリードする際に発行される（図１１におけるＳ１９）。このデータ系リード要求パケットは、図６を用いて前述したチャネル制御部４において、パケット作成部８３１が生成する。以上のリード要求パケット１４１は、このパケットがリード要求であることを示すパケット種別欄１３１と、リードしたいデータの長さを示すデータ長欄１３２と、後に返信されてくるリード応答パケットとの対応をとるためのシーケンスＩＤ欄１３３と、パケット発行元を示す要求発行元アドレス欄１３４と、パケットの送り先を示す要求発行先アドレス欄１３５を含む。
同図（ｂ）は、制御系及びデータ系リード応答パケット１４２のデータ構成を示している。制御系リード応答パケットは、例えば、プロセッサ部６から発行された制御系リード要求パケットを受け取った共有メモリ部８が、共有メモリ８１の内容を返信する際に発行される（図１１におけるＳ６）。また、データ系リード応答パケットは、例えば、チャネル制御部４からデータ系リード要求パケットを受け取ったキャッシュメモリ部７が、キャッシュメモリ７１内の実データを送信する際に発行される（図１１におけるＳ２０）。リード応答パケット１４２は、このパケットがリード応答であることを示すパケット種別欄１３１と、返信するデータの長さを示すデータ長欄１３２と、対応するリード要求パケット１４１と同じ内容のシーケンスＩＤ欄１３３と、パケット発行元を示す応答発行元アドレス欄１３６と、パケットの送り先を示す応答発行先アドレス欄１３７と、データ１３８と、メモリにおいて問題なく処理されたことやメモリによりエラー訂正がなされたなどの状態を示すステータス欄１３９を含む。応答発行先アドレス１３７は、対応するリード要求パケット１４１の要求発行元アドレス１３４と同じ内容になる。なお、制御系リード応答パケットは、図４を用いて前述した共有メモリ部８において、メモリコントローラ８２が共有メモリ８１から読み出すデータ１３８、及びこのデータ１３８と共にパケット作成部８３１に渡されるステータス１３９に基づいて、パケット作成部８３１によって作成される。また、データ系リード応答パケットは、図５を用いて前述したキャッシュメモリ部８において、メモリコントローラ７２がキャッシュメモリ７１から読み出す実データ１３８、及びこの実データ１３８と共にパケット作成部７３１に渡されるステータス１３９に基づいて、パケット作成部７３１によって作成される。
同図（ｃ）は、制御系及びデータ系ライト要求パケット１４３のデータ構成を示している。制御系ライト要求パケットは、例えば、プロセッサ部６がディスク制御部５のデータ転送を設定する場合などに発行され(図１４におけるＳ３８)、データ系ライト要求パケットは、例えば、チャネル制御部４がキャッシュメモリ部７に実データを書き込む場合などに発行される（図１４におけるＳ４９）。ライト要求パケット１４３は、このパケットがライト要求であることを示すパケット種別欄１３１と、リード要求パケット１４１と同様に、データ長欄１３２、シーケンスＩＤ欄１３３、要求発行元アドレス欄１３４と、要求発行先アドレス欄１３５を含み、さらに書き込むデータ１３８を持つ。
同図（ｄ）は、制御系及びデータ系ライト応答パケット１４４のデータ構成を示している。制御系ライト応答パケットは、例えば、制御系ライト要求パケットを受け取ったディスク制御部５が、正しく設定が終了したことを通知するために発行され（図１４におけるＳ３９）、データ系ライト応答パケットは、例えば、データ系ライト要求パケットを受け取ったキャッシュメモリ部７が、メモリライトが終了したことなどを通知するために発行される（図１４におけるＳ５０）。特に、高信頼性が要求されるストレージ制御装置１では、ライトアクセスであっても、正しく処理されたことを確認する必要がある。ライト応答パケット１４４は、このパケットがライト応答であることを示すパケット種別欄１３１と、データ長欄１３２、シーケンスＩＤ欄１３３、応答発行元アドレス欄１３６、応答発行先アドレス欄１３７と、ステータス欄１３９を含む。
次に、図９を用いて、以上で説明した各パケットにおけるパケット種別欄１３１の詳細構成について説明する。パケット種別欄１３１は、リード／ライトフィールド１３１１と、要求／応答フィールド１３１２と、使用パスフィールド１３１３とを有している。リード／ライトフィールド１３１１と、要求／応答フィールド１３１２とにより、そのパケットの種別が、リード要求、リード応答、ライト要求、ライト応答のいずれかであることを示している。また、使用パスフィールド１３１３は、２本のクラスタ間パス１１Ａ，１１Ｂのうちいずれを使用するかを示すデータが格納される。この使用パスフィールド１３１３のデータは、例えば、共通メモリ部９のパス選択部８３３で、受信したパケットの使用パスに応じて、送信するパケットの使用パスを決定する際に使用される。
次に、図１０（ａ）を用いて、共有メモリ部８やチャネル制御部４のパス選択部８３３に設けられているパス選択テーブル８３５について説明する。
このパス選択テーブル８３５は、受信した要求パケットの転送で使用されたパスのパス番号を記した制御系要求パケットパス番号欄８３５ａと、それに対する応答パケットを送信すべきパスのパス番号を記した制御系応答パケットパス番号欄８３５ｂとを持つ。制御系応答パケットパス番号欄８３５ｂは障害に対処するためなどから、プロセッサ６１により書き換えが可能である。しかし、正常状態においては、制御系要求パケットパス番号８３５ａと制御系応答パケットパス番号８３５ｂはそれぞれ異なるパス番号が設定されている。従って、例えば、共有メモリ部８やチャネル制御部４が、他のクラスタ１０Ｂからクラスタ間パス１１Ａで、要求パケットを受信した場合、正常状態では、クラスタ間パス１１Ｂを用いて、応答パケットを他のクラスタＢへ送信することになる。なお、同図では、例として、制御系要求パケットパス番号欄８３５ａのパス番号に対して、制御系応答パケットパス番号欄８３５ｂのパス番号を１つずらしてサイクリックに設定している。
次に、図１０（ｂ）を用いて、プロセッサ部６等のパス選択部６４３に設けられている設定レジスタ６４４について説明する。
プロセッサ部６の設定レジスタ６４４は、要求発行先欄６４４ａと要求パケット発行パス番号欄６４４ｂとを持つ。要求パケット発行パス番号欄６４４ｂは書き換え可能であり、プロセッサ６１が制御系パケット発行時やホストコンピュータ２からのＩ／Ｏ処理を開始した時、または定期的に行われるホストアクセス統計情報６３２の解析を行った場合などに、この欄は書き換えられる。
次に、図１１〜図１３を用いて、ホストコンピュータ２からリード要求を受け取った際のストレージ制御装置１の動作について説明する。なお、ここでは、リード要求を受けたクラスタ１０Ａとは異なるクラスタ１０Ｂに接続されているＨＤＤ３に該当データが存在し、このクラスタ１０Ｂのキャッシュメモリ部７にはホストコンピュータ２から要求されたデータがないものとする。
なお、本実施形態における制御系パケットの転送方法の概要は以下の通りになる。まず、制御系パケットを転送するクラスタ１０（以下、「転送元クラスタ１０」とする）は、自身がデータ系パケットの送信（ライト処理）又は受信（リード処理）を行っているか判断する。そして、ライト処理を行っている場合、転送元クラスタ１０は、そのライト処理に使用されるクラスタ間パス１１と異なるクラスタ間パス１１を用いて制御系パケットを他のクラスタ（以下、「転送先クラスタ１０」とする）へ転送する。また、リード処理を行っている場合、転送元クラスタ１０は、そのリード処理に使用されるクラスタ間パス１１と同じクラスタ間パス１１を用いて、制御系パケットを転送先クラスタ１０へ転送する。一方、制御系パケットを受け取った転送先クラスタ１０は、この制御系パケットの送信に使用されたクラスタ間パス１１とは異なるクラスタ間パスを用いて、この制御系パケットの応答である制御系応答パケットを、転送元クラスタ１０へ送信する。
なお、後述するように、転送元クラスタ１０は、自身がデータ１３８を含むデータ系パケットの送信（ライト処理）と受信(リード処理)とのうち、いずれを多くを処理しているかの傾向を把握して、この傾向に従って制御系パケットの転送に使用するパスを決定してもよい。
図１１に示すように、クラスタ１０Ａのチャネル制御部４は、ホストコンピュータ２からＩ／Ｏ（リード）要求を受信すると（Ｓ１）、このリード要求の受信をプロセッサ部６に通知するために、制御系ライト要求パケットをプロセッサ部６に送信し（Ｓ２）、この制御系ライト要求パケットに対する制御系ライト応答パケットを待つ（Ｓ３）。なお、このステップ３、更に、後述のステップ９，１４，１６，１８、図１４及び図１５中のステップ３３，３９，４４，４６，５２では、制御系応答パケットの受信を待たないで次の処理を行う場合もある。プロセッサ部６のパケット解析部６４２は、このＩ／Ｏ要求パケットを解析して、このＩ／Ｏ要求がリードであること、および対象データのアドレスとデータサイズを取得し、これをプロセッサ６１に渡す（Ｓ４）。
そして、プロセッサ６１は、図１７に示す処理を実行する。この処理では、ホストコンピュータ２からのＩ／Ｏ要求がリード要求であるかライト要求であるかを判断し（Ｓ５０）、リード要求であればデータ系パケットの転送パスと同じパスで制御系パケットを転送するよう、パス選択部６４３の設定レジスタ６４４を設定し（Ｓ５１）、ライト要求であればデータ系パケットの転送パスと異なるパスで制御系パケットを転送するよう、パス選択部６４３の設定レジスタ６４４を設定する（Ｓ５２）。この場合、Ｉ／Ｏ要求がリード要求であるため、パス選択部６４３の設定レジスタ６４４には、データ系パケットの転送パスと同じパスで制御系パケットを転送するよう、設定される。より、具体的には、データ系パケットの転送パスは、２つのクラスタ間パス１１Ａ，１１Ｂのうち、クラスタ間パス１１Ａに予め定めておく。したがって、ストレージ制御装置１がリード要求を受け取った後の制御系パケットの転送パスは、クラスタ間パス１１Ａとなる。例えば、ホストコンピュータ２からＩ／Ｏ要求を受けたクラスタ１０Ａの番号が「１」で、データ系パケットの転送パスがパス番号「０」のクラスタ間パス１１Ａに設定されている場合、図１０（ｂ）に示すように、このクラスタ番号「１」のクラスタ１０Ａから、クラスタ番号「０」のクラスタ１０Ｂに制御系パケットを転送する際には、制御用パケットの転送パスは、パス番号「０」のクラスタ間パス１１Ａになる。
さらに、プロセッサ部６は、他のクラスタ１０Ｂの構成情報や、このクラスタ１０Ｂのキャッシュメモリ部７のディレクトリ情報を取得すべく、このクラスタ１０Ｂの共有メモリ部８に対して制御系リード要求パケットを送信する（Ｓ５）。この際、プロセッサ部６のパケット作成部６４１は、プロセッサ６１からの指示で図８（ａ）に示す制御系リード要求パケット１４１を生成する。また、パス選択部６４３は、設定レジスタ６４４を参照して、このリード要求パケット１４１の転送に使用するクラスタ間パス１１Ａ，１１Ｂを決定する。この場合、図１０（ｂ）を用いて前述したように、設定レジスタ６４４には、転送先クラスタのクラスタ番号が「０」のときには、パス番号０、つまりクラスタ間パス１１Ａを使用するように設定されているので、パス選択部６４３は、クラスタ間パス１１Ａを使用するようにセレクタを設定する。この結果、制御系リード要求パケットは、クラスタ間パス１１Ａに接続されている送信Ｉ／Ｆ部１２２を介して、内部スイッチ部９Ａから、クラスタ間パス１１Ａ及び他のクラスタ１０Ｂの内部スイッチ９Ａを経て、他のクラスタ１０Ｂの共有メモリ部８へ転送される。
他のクラスタ１０Ｂの共有メモリ部８は、制御系リード要求パケットを受けて、構成情報やディレクトリ情報を含む制御系リード応答パケットを要求元クラスタ１０Ａのプロセッサ部６に返す（Ｓ６）。この際、他のクラスタ１０Ｂの共有メモリ部８のパケット解析部８３２は、制御系リード要求パケットを受けて、前述したように、このリード要求パケットを解析して、このパケット中に含まれている使用パスフィールド１３１３（図９）から、このリード要求パケットの受信で使用されたパスの番号を取得し、このパス番号をパス選択部８３３の要求パケットパス情報部８３６に書き込むと共に、要求パケットに記載された要求をメモリコントローラ８２に送付する。メモリコントローラ８２は、この要求を処理し、共有メモリ８１からの構成情報やディレクトリ情報等をパケット作成部８３１に送って、制御系応答パケットの作成を要求する。パケット作成部８３１は、メモリコントローラ８２からの要求に従って、メモリコントローラ８２からのデータ等を含む制御系応答パケットを作成する。それと共に、パス選択部８３３は、パス選択テーブル８３５を参照して、要求パケットパス情報部８３６に記載されたパス番号に対応するパスを選択する。この場合、図１０（ａ）に示すように、パス選択テーブル８３５には、制御系要求パケットのパス番号が「０」（クラスタ間パス１１Ａ）に対して、応答パケットパス番号が「１」（クラスタ間パス１１Ｂ）が設定されているので、パス選択部８３３は、クラスタ間パス１１Ｂを使用するようにセレクタを設定する。この結果、制御系リード応答パケットは、クラスタ間パス１１Ｂに接続されている送信Ｉ／Ｆ部１２２を介して、内部スイッチ部９Ｂから、クラスタ間パス１１Ｂ及び要求元クラスタ１０Ａの内部スイッチ９Ｂを経て、要求元クラスタ１０Ａのプロセッサ部６へ転送される。
要求元クラスタ１０Ａのプロセッサ６部は、他のクラスタ１０Ｂの共有メモリ部８から制御系リード応答パケットを受信すると（Ｓ６）、このリード応答パケットに含まれている構成情報やディレクトリ情報を参照し、ホストコンピュータ２に返すべきデータが他のクラスタ１０Ｂのキャッシュメモリ部７に存在するか判定する。ここでは前述したように、キャッシュメモリ部７に該当データが存在しないので、他のクラスタ１０Ｂのディスク制御部５にＨＤＤ３から該当データをキャッシュメモリ部７に転送させるために、転送リストを作成する。また、ここで、要求元のクラスタ１０Ａのチャネル制御部４に、他のクラスタ１０Ｂのキャッシュメモリ部７からホストコンピュータ２に転送させるための転送リストも作成しておく（Ｓ７）。そして、プロセッサ部６は、前述の転送リストのデータを含む制御系ライト要求パケットを、Ｉ／Ｏ要求の対象となるデータが存在するＨＤＤ３を制御するディスク制御部５に送付し（Ｓ８）、この応答を受信する（Ｓ９）。なお、プロセッサ部６から他のクラスタ１０Ｂに、転送リストを転送するクラスタ間パスとしては、ステップ５で制御系リード要求パケットの転送時に使用したクラスタ間パス１１Ａが使用され、他のクラスタ１０のディスク制御部５からの制御系応答パケットを転送するクラスタ間パスとしては、転送リストの転送時に使用したクラスタ間パス１１Ａとは異なるクラスタ間パス１１Ｂが使用される。
転送リストを受信した他のクラスタ１０Ｂのディスク制御部５は、転送リストに基づきＨＤＤ３を制御してデータをリードする（Ｓ１０）。さらに、ディスク制御部５は、このＨＤＤ３からのデータを転送リストに基づいたキャッシュメモリ部７のアドレス領域にライトし、つまりデータ系ライト要求パケットを送信し（Ｓ１１）、キャッシュメモリ部７からのデータ系ライト応答パケットを受信する（Ｓ１２）。ディスク制御部５は、この応答を受信すると、キャッシュメモリ部７にデータを格納したことを要求元クラスタ１０Ａのプロセッサ部６に通知すべく、制御系ライト要求パケットを送信し（Ｓ１３）、この応答を受信する（Ｓ１４）。

通知を受けた要求元クラスタ１０Ａのプロセッサ部６は、Ｓ７で作成した転送リストをチャネル制御部４に送付すると共に（Ｓ１５，Ｓ１６）、他のクラスタ１０Ｂのキャッシュメモリ部７にデータが格納されたので、他のクラスタ１０Ｂの共有メモリ部８のディレクトリ情報を更新する（Ｓ１７，Ｓ１８）。要求元のチャネル制御部４は、転送リストに基づき、他のクラスタ１０Ｂのキャッシュメモリ部７に該当データに関するデータ系リード要求パケットを送信する（Ｓ１９）。この際、要求元チャネル制御部４のパス選択部８３３は、このリード要求はデータ系アクセスであるため、設定レジスタ８３４を参照して、クラスタ間パス１１Ａを選択する。このため、Ｓ１９のデータ系リード要求パケットは、クラスタ間パス１１Ａを介して、他のクラスタ１０Ｂのキャッシュメモリ部７へ送られる。他のクラスタ１０Ｂのキャッシュメモリ部７は、このリード要求に対して、該当データを要求元チャネル制御部４へ転送する、つまり、データ系リード応答パケットを送信する（Ｓ２０）。この際、他のクラスタ１０Ｂのキャッシュメモリ部７では、パケット解析部７３２がデータ系リード要求パケットを解析して、このパケット中に含まれている使用パスフィールド１３１３（図９）からデータ系リード要求パケットの受信で使用されたパスの番号を取得し、このパス番号をパス選択部７３３の要求パケットパス情報部７３６に書き込むと共に、要求パケットに記載された要求をメモリコントローラ７２に送付する。メモリコントローラ７２は、この要求を処理し、キャッシュメモリ７１からの該当データをパケット作成部７３１に送って、リード応答パケットの作成を要求する。パケット作成部７３１は、メモリコントローラ７２からの要求に従って、メモリコントローラ７２からのデータ等を含むデータ系リード応答パケットを作成する。それと共に、パス選択部７３３は、要求パケットパス情報部７３６に記載されたパス番号と同じ番号のパスを選択する。つまり、データ系リード要求パケットのパス番号が「０」（クラスタ間パス１１Ａ）であるから、データ系リード応答パケットのパス番号も「０」となり、クラスタ間パス１１Ａを使用するようにセレクタが設定される。この結果、該当データを含むデータ系リード応答パケットは、クラスタ間パス１１Ａに接続されている送信Ｉ／Ｆ部１２２を介して、内部スイッチ部９Ａから、クラスタ間パス１１Ａ及び要求元のクラスタ１０Ａの内部スイッチ９Ａを経て、要求元クラスタ１０Ａのチャネル制御部４へ転送される。
他のクラスタ１０Ｂから、該当データを含むデータ系リード応答パケットを受信したチャネル制御部４は、この該当データをホストコンピュータ２に転送して、ホストコンピュータ２からのリード要求処理を終了する。
本実施形態では、図１３に示すように、クラスタ１０Ｂからクラスタ１０Ａへのデータ系リード応答パケットのパスとして、クラスタ間パス１１Ａを用いる場合（Ｓ２０）、クラスタ１０Ａからクラスタ１０Ｂの共有メモリ部８へ制御系リード要求パケットを送る場合（Ｓ５）には、データ系リード応答パケットが転送されるクラスタ間パス１１Ａが用いられ、クラスタ１０Ｂからクラスタ１０Ａへ制御系リード応答パケットを送る場合（Ｓ６）には、データ系リード応答パケットが転送されるクラスタ間パス１１Ａと異なるクラスタ間パス１１Ｂが用いられるので、データ系パケットと制御系パケットとがクラスタ間パス１１Ａ，１１Ｂで競合することがない。このため、仮に、クラスタ間パス１１Ａを用いて、クラスタ１０Ｂからクラスタ１０Ａへのデータ系リード応答パケットを転送している際中に、さらに、ホストコンピュータ２からリード要求を受け付けて、クラスタ１０Ａからクラスタ１０Ｂの共有メモリ部８へ制御系リード要求パケットを送っても（Ｓ５）、また、クラスタ１０Ｂからクラスタ１０Ａへ制御系リード応答パケットを送っても（Ｓ６）、これらの制御系パケットの転送が、先のリード要求によるデータ系リード応答パケットの転送（Ｓ２０）で、遅れてしまうことはない。
なお、以上では、他のクラスタ１０Ｂのディスク制御部５が読み出した実データを、他のクラスタ１０Ｂのキャッシュメモリ部７に一旦格納し（Ｓ１１，Ｓ１２）、このキャッシュメモリ部７に格納された実データを要求元クラスタ１０Ａのチャネル制御部４へ転送したが（Ｓ１９，Ｓ２０）、図１２に示すように、他のクラスタ１０Ｂのディスク制御部５が読み出した実データを、要求元クラスタ１０Ａのキャッシュメモリ部７に格納し（Ｓ１１ａ，Ｓ１２ａ）、このキャッシュメモリ部７に格納された実データを要求元クラスタ１０Ａのチャネル制御部４へ転送するようにしてもよい（Ｓ１９ａ，Ｓ２０ａ）。この場合、他のクラスタ１０Ｂのディスク制御部５が読み出した実データを、要求元クラスタ１０Ａのキャッシュメモリ部７に格納する際（Ｓ１１ａ）に使用するクラスタ間パスは、先の例と同様に、クラスタ間パス１１Ａであり、先の例と同様の効果を得ることができる。
また、以上の例で、他のクラスタ１０Ｂのキャッシュメモリ部７に該当データが存在する場合は、Ｓ８〜Ｓ１４ならびにＳ１７，Ｓ１８のアクセスは起こらない。
次に、図１４〜図１６を用いて、ホストコンピュータ２からライト要求を受け取った際のストレージ制御装置１の動作について説明する。なお、ここでは、ライト要求を受けたクラスタ１０Ａとは異なるクラスタ１０Ｂに接続されているＨＤＤ３に該当データを格納し、このクラスタ１０Ｂのキャッシュメモリ部７にはライト要求のデータを格納する空きがないものとする。
図１４に示すように、クラスタ１０Ａのチャネル制御部４は、ホストコンピュータ２からＩ／Ｏ（ライト）要求を受信すると（Ｓ３１）、ライト要求の受信を通知するために、制御系ライト要求パケットをプロセッサ部６に送信し（Ｓ３２）、その応答である制御系ライト応答パケットを待つ（Ｓ３３）。プロセッサ部６のパケット解析部６４２は、この制御系ライト要求パケットに含まれるＩ／Ｏ要求の内容を解析して、このＩ／Ｏ要求がライトであること、および対象データのアドレスとデータサイズを取得し、これをプロセッサ６１に渡す（Ｓ３４）。
そして、プロセッサ６１は、リード要求時と同様に、図１７に示す処理を実行する。この処理では、ホストコンピュータ２からのＩ／Ｏ要求がリード要求であるかライト要求であるかを判断し（Ｓ５０）、ここでは、Ｉ／Ｏ要求がライト要求であるので、データ系パケットの転送パスと異なるパスで制御系パケットを転送するよう、パス選択部６４３の設定レジスタ６４４を設定する（Ｓ５１）。この場合、データ系パケットの転送パスは、２つのクラスタ間パス１１Ａ，１１Ｂのうち、予めクラスタ間パス１１Ａに設定されているため、ライト要求時の制御系パケットの転送パスは、クラスタ間パス１１Ｂとなる。
さらに、プロセッサ６部は、他のクラスタ１０Ｂの構成情報や、このクラスタ１０Ｂのキャッシュメモリ部７のディレクトリ情報を取得すべく、このクラスタ１０Ｂの共有メモリ部８に対して制御系リード要求パケットを送信する（Ｓ３５）。この際、プロセッサ部６のパケット作成部６４１は、プロセッサ６１からの指示で図８（ａ）に示す制御系リード要求パケット１４３を作成する。また、パス選択部６４３は、設定レジスタ６４４を参照して、このリード要求パケット１４３の転送に使用するクラスタ間パス１１Ａ，１１Ｂを決定する。この場合、前述したように、設定レジスタ６４４には、制御系パケットの転送パスはクラスタ間パス１１Ｂが設定されているので、パス選択部６４３は、このクラスタ間パス１１Ｂを使用するようにセレクタを設定する。この結果、制御系リード要求パケットは、クラスタ間パス１１Ｂに接続されている送信Ｉ／Ｆ部１２２を介して、内部スイッチ部９Ｂから、クラスタ間パス１１Ｂ及び他のクラスタ１０Ｂの内部スイッチ９Ｂを経て、他のクラスタ１０Ｂの共有メモリ部８へ転送される。
他のクラスタ１０Ｂの共有メモリ部８は、制御系リード要求パケットを受けて（Ｓ３５）、構成情報やディレクトリ情報を含む制御系リード応答パケットを要求元クラスタ１０Ａのプロセッサ部６に返す（Ｓ３６）。この際、他のクラスタ１０Ｂの共有メモリ部８のパケット解析部８３２は、このリード要求パケットを受けて、前述したように、リード要求パケットを解析して、このパケット中に含まれている使用パスフィールド１３１３（図９）から、このリード要求パケットの受信で使用されたパスの番号を取得し、このパス番号をパス選択部８３３の要求パケットパス情報部８３６に書き込むと共に、要求パケットに記載された要求をメモリコントローラ８２に送付する。メモリコントローラ８２は、この要求を処理し、共有メモリ８１からの構成情報やディレクトリ情報等をパケット作成部８３１に送って、リード応答パケットの作成を要求する。パケット作成部８３１は、メモリコントローラ８２からの要求に従って、メモリコントローラ８２からのデータ等を含む制御系リード応答パケットを作成する。それと共に、パス選択部８３３は、パス選択テーブル８３５を参照して、要求パケットパス情報部８３６に記載されたパス番号に対応するパスを選択する。この場合、パス選択テーブル８３５には、要求パケットの受信で使用されたパスのパス番号に対して、送信する応答パケットで使用されるパスのパス番号が異なる番号に設定されているので、パス選択部８３３は、クラスタ間パス１１Ａを使用するようにセレクタを設定する。この結果、制御系リード応答パケットは、クラスタ間パス１１Ａに接続されている送信Ｉ／Ｆ部１２２を介して、内部スイッチ部９Ａから、クラスタ間パス１１Ａ及び要求元クラスタ１０Ａの内部スイッチ９Ａを経て、要求元クラスタ１０Ａのプロセッサ部６へ転送される。
要求元クラスタ１０Ａのプロセッサ６部は、他のクラスタ１０Ｂの共有メモリ部８から制御系リード応答パケットを受信すると（Ｓ３６）、このリード応答パケットに含まれている構成情報やディレクトリ情報を参照し、ホストコンピュータ２から要求されたデータを格納すべき領域が他のクラスタ１０Ｂのキャッシュメモリ部７に存在するか判定する。ここでは前述したように、キャッシュメモリ部７に該当データを格納する領域が存在しないので、キャッシュメモリ部７に格納されているデータの一部をＨＤＤ３に格納し、キャッシュメモリ部７のキャッシュメモリ７１に空き領域を作る。このため、要求元のプロセッサ部６のプロセッサ６１は、他のクラスタ１０Ｂのディスク制御部５に、キャッシュメモリ部７からＨＤＤ３にデータを転送させるために、転送リストを作成する。また、ここでは、要求元のチャネル制御部４から他のクラスタ１０Ｂのキャッシュメモリ部７にデータを転送させるための転送リストも作成しておく（Ｓ３７）。要求元のプロセッサ部６は、前述の転送リストを、空き領域となる領域に存在しているデータを格納するＨＤＤ３のディスク制御部５に送付する（Ｓ３８，Ｓ３９）。転送リストを受信したディスク制御部５は、転送リストに基づきキャッシュメモリ部７から該当データをリードし、つまりキャッシュメモリ部７へデータ系リード要求パケットを送信して（Ｓ４０）、キャッシュメモリ部７からデータ系リード応答パケットを受信し（Ｓ４１）、そのパケットに含まれているデータをＨＤＤ３に格納する（Ｓ４２）。データの格納が終了すると、ディスク制御部５は、ＨＤＤ３にデータを格納したことを要求元のプロセッサ部６に通知する（Ｓ４３，Ｓ４４）。通知を受けたプロセッサ部６は、Ｓ３７で作成した転送リストをチャネル制御部４に送付する（Ｓ４５，Ｓ４６）。チャネル制御部４は、データを受信する準備ができたことをホストコンピュータ２に通知し（Ｓ４７）、それに応じてホストコンピュータ２は、ライトデータを転送してくる（Ｓ４８）。ライトデータを受信したチャネル制御部４は、転送リストに基づき、ホストコンピュータ２から受信したライトデータを他のクラスタ１０Ｂのキャッシュメモリ部７にライトする、つまりキャッシュメモリ部７へデータ系ライト要求パケットを送信し（Ｓ４９）、キャッシュメモリ部７からデータ系ライト応答パケットを受信する（Ｓ５０）。この際、チャネル制御部４のパス選択部８３３は、設定レジスタ８４３に設定されているパス番号に基づいて、ライト要求パケットを送るクラスタ間パスを決定する。この場合、設定レジスタ８４３には、他のクラスタ１０Ｂにデータ系パケットを送る際の使用パスとして、クラスタ間パスＡが予め設定されているので、パス選択部８３３は、クラスタ間パス１１Ａを使用するようにセレクタを設定する。この結果、データ系ライト要求パケットは、クラスタ間パス１１Ａに接続されている送信Ｉ／Ｆ部１２２を介して、内部スイッチ部９Ａから、クラスタ間パス１１Ａ及び他のクラスタ１０Ｂの内部スイッチ９Ａを経て、他のクラスタ１０Ｂのキャッシュメモリ部７へ転送される。また、要求元のプロセッサ部６は、他のクラスタ１０Ｂのキャッシュメモリ部７にデータが格納されたので、他のクラスタ１０Ｂの共有メモリ部８のディレクトリ情報を更新し（Ｓ５１，Ｓ５２）、ホストコンピュータ２からのライト要求処理を終了する。なお、他のクラスタ１０Ｂでは、その後、キャッシュメモリ部７に格納されたライトデータをＨＤＤ３に格納する。
本実施形態では、図１６に示すように、クラスタ１０Ａからクラスタ１０Ｂへのデータ系ライト要求パケットのパスとして、クラスタ間パス１１Ａを用いる場合（Ｓ４９）、クラスタ１０Ａからクラスタ１０Ｂの共有メモリ部８へ制御系リード要求パケットを送る場合（Ｓ３５）には、データ系ライト要求パケットが転送されるクラスタ間パス１１Ａとは異なるクラスタ間パス１１Ｂが用いられ、クラスタＢからクラスタＡへ制御系リード応答パケットを送る場合（Ｓ３６）には、データ系ライト要求パケットが転送されるクラスタ間パス１１Ａが用いられるので、データ系パケットと制御系パケットとがクラスタ間パス１１Ａ，１１Ｂで競合することがない。このため、仮に、クラスタ間パス１１Ａを用いて、クラスタ１０Ａからクラスタ１０Ｂへのデータ系ライト要求パケットを転送している際中に、さらに、ホストコンピュータ２からライト要求を受け付けて、クラスタ１０Ａからクラスタ１０Ｂの共有メモリ部８へ制御系リード要求パケットを送っても（Ｓ３５）、また、クラスタ１０Ｂからクラスタ１０Ａへ制御系リード応答パケットを送っても（Ｓ３６）、これらの制御系パケットの転送が、先のライト要求によるデータ系ライト要求パケットの転送（Ｓ２０）で、遅れてしまうことはない。
なお、以上では、他のクラスタ１０Ｂのキャッシュメモリ部７からＨＤＤ３へ実データを格納した後（Ｓ４０，Ｓ４１）、要求元のチャネル制御部４から他のクラスタ１０Ｂのキャッシュメモリ部７へライトデータを転送したが（Ｓ４９，Ｓ５０）、図１５に示すように、要求元のキャッシュメモリ部７から他のクラスタ１０ＢのＨＤＤ３に実データを格納した後（Ｓ４０ａ，Ｓ４１ａ）、要求元のチャネル制御部４から同じく要求元のキャッシュメモリ部７へライトデータを格納するようにしてもよい（Ｓ４９ａ，Ｓ５０ａ）。この場合、要求元のキャッシュメモリ部７から他のクラスタ１０ＢのＨＤＤ３に実データを格納する際（ＳＳ４１ａ）に使用するクラスタ間パスは、先の例と同様に、クラスタ間パス１１Ａであり、先の例と同様の効果を得ることができる。
また、以上の例で、他のクラスタ１０Ｂのキャッシュメモリ部７に空き領域が存在する場合は、Ｓ３８〜Ｓ４４のアクセスは起こらない。
以上は、ホストコンピュータ２からＩ／Ｏ要求を受信する毎に、このＩ／Ｏ要求がリード要求であるかライト要求であるかを判断し、このＩ／Ｏ要求の内容に応じて、制御系パケットの転送に使用するクラスタ間パスを定めているが、必ずしも、Ｉ／Ｏ要求を受信する毎に、このＩ／Ｏ要求の内容に応じて、制御系パケットの転送に使用するクラスタ間パスを改めて定める必要はない。
例えば、ホストコンピュータ２からのＩ／Ｏ要求の傾向が、リード要求又はライト要求に偏った場合には、この傾向に応じて、制御系パケットの転送に使用するクラスタ間パスを定めるようにしてもよい。
具体的には、プロセッサ部６のプロセッサ６１が、ホストコンピュータ２からのＩ／Ｏ要求をチャネル制御部４を介して受信するとメインメモリ６３のホストアクセス統計情報６３２に、リード要求又はライト要求が１回あったことを格納すると共に、図１８に示す処理を実行する。この処理で、プロセッサ６１は、メインメモリ６３のホストアクセス統計情報６３２を参照して、ホストＩ／Ｏの回数が予め定めた回数、例えば、１００回を超えたか否かを判断する（Ｓ６１）。予め定められた回数を超えていなければ、前述の図１７に示すＳ５０の処理に移行し、予め定められた回数を超えていれば、再び、ホストアクセス統計情報６３２を参照して、今までの全Ｉ／Ｏ要求のうちリード要求が７０％を超えているか又はライト要求が７０％を超えているか、つまり、今までのＩ／Ｏ要求の傾向として、リード要求に偏っているか又はライト要求に偏っているかを判断する（Ｓ６２）。リード要求もライト要求も７０％を超えていなければ、図１７のＳ５０の処理に移行し、リード要求が７０％を超えていれば、データ系パケットの転送パスと同じパスで制御系パケットを転送するよう、パス選択部６４３の設定レジスタ６４４を設定する（Ｓ６３）。また、ライト要求が７０％を超えていれば、データ系パケットの転送パスと異なるパスで制御系パケットを転送するよう、パス選択部６４３の設定レジスタ６４４を設定する（Ｓ６４）。
すなわち、以上の処理では、Ｉ／Ｏ要求がリード要求に偏っている場合には、実際に、ホストコンピュータ２から受信したＩ／Ｏ要求がリード要求であるかライト要求であるかに関係なく、図１７において、リード要求を受信したときと同じ処理を行い、Ｉ／Ｏ要求がライト要求に偏っている場合には、実際に、ホストコンピュータ２から受信したＩ／Ｏ要求がリード要求であるかライト要求であるかに関係なく、図１７において、ライト要求を受信したときと同じ処理を行う。
例えば、Ｉ／Ｏ要求がリード要求に偏っている場合、データ系パケットの転送パスと同じパスで制御系パケットを転送するよう設定レジスタ６４４が設定されるので、リード要求を受けた直後に、ライト要求を受けた場合、データ系リード応答パケットを転送するパスと、制御系応答パケットを転送するパスとが競合してしまうが、最初にリード要求を受けてから、このリード要求の処理が終了するまでに、多くのリード要求を受けた場合には、全体として、データ系パケットと制御系パケットとの競合が少なくなる。従って、このように、Ｉ／Ｏ要求の傾向に基づいて、制御系パケットの転送パスを定めることで、データ系パケットと制御系パケットとの競合が一時生じることがあるものの、全体として両パケットの競合を少なくすることができる。
次に、２本のクラスタ間パス１１Ａ，１１Ｂのうち、いずれかに障害が発生した場合の処理について、図１９に示すフローチャートに従って説明する。
２本のクラスタ間パス１１Ａ，１１Ｂのうち、いずれかに障害が発生した場合、プロセッサ部６のプロセッサ６１は、例えば、要求パケットに対する応答パケットの返答がある期間以上ない場合には、応答パケットが送られてくるはずのクラスタ間パスに障害が発生したことを検知する（Ｓ７１）。なお、正常時において、応答パケットが送られるクラスタ間パスは、要求パケットを送るクラスタ間パスと異なるクラスタ間パスであるから、プロセッサ６１は、要求パケットを送るクラスタ間パスを認識している関係で、その応答パケットが送られてくるクラスタ間パスも認識している。
プロセッサ６１は、いずれかのクラスタ間パスに障害が発生したことを検知すると、パス選択部６４３の設定レジスタ６４４を、障害が発生したクラスタ間パスを使用しないように設定する（Ｓ７２）。次に、各チャネル制御部４、ディスク制御部５、共有メモリ部８のパス選択テーブル８３５の、制御系応答パケットパス番号欄８３５ｂ（図１０（ａ）に示す）に障害が発生したパス番号がなくなるように更新する。例えば、該当する欄に対しては、対応する制御系要求パケットパス番号８３５ａと同じに更新する（Ｓ７３）。そして、全ての部位の更新が完了するまでＳ７３，７４の処理を繰り返す。
以上のように、本実施形態では、クラスタ間パスの数量が少なくても、クラスタ間パスを有効に利用することにより、データ系アクセスのスループット性能の向上及び制御系アクセスのレスポンス性能の向上の両立を図ることができる。しかも、いずれかのクラスタ間パスに障害が発生しても、クラスタ間でパケット送信が保証されているので、信頼性も確保することができる。
なお、以上の実施形態では、２つのクラスタ１０Ａ，１０Ｂを備えているストレージ制御装置１を例にしたが、３以上のクラスタを備えている場合であっても、本発明を適用できることは言うまでもない。この場合も、図２０（ａ）に示すように、各クラスタ１０Ａ,１０Ｂ，１０Ｃ相互間で２本のクラスタ間パス１１Ａ，１１Ｂを設けるようにする。また、例えば、同図（ｂ）に示すように、中継装置Ｘを設け、この中継装置Ｘに対して、各クラスタから２本のクラスタ間パス１１Ａ，１１Ｂを接続するようにしてもよい。なお、同図（ａ）の内部スイッチ部９Ａ，９Ｂや同図（ｂ）の中継装置Ｘでは、クラスタ間パス１１Ａが２本以上、クラスタ間パス１１Ｂが２本以上接続されるので、これら内部スイッチ９Ａ，９Ｂ又は中継装置Ｘでは、パケット内の使用パスフィールド１３１３（図９に示す）を参照して、何番のクラス間パスを用いるべきか判断する必要がある。
本発明に係る一実施形態におけるストレージシステムの構成を示すブロック図である。 本発明に係る一実施形態におけるパスの構成を示す説明図である。 本発明に係る一実施形態におけるプロセッサ部の構成を示すブロック図である。 本発明に係る一実施形態における共有メモリ部の構成を示すブロック図である。 本発明に係る一実施形態におけるキャッシュメモリ部の構成を示すブロック図である。 本発明に係る一実施形態におけるチャネル制御部の構成を示すブロック図である。 本発明に係る一実施形態における内部スイッチ部の構成を示すブロック図である。 本発明に係る一実施形態における内部ネットワーク内で送受信されるパケットのデータ構成を示す説明図で、同図（ａ）はリード要求パケットのデータ構成を示し、同図（ｂ）はリード応答パケットのデータ構成を示し、同図（ｃ）はライト要求パケットのデータ構成を示し、同図（ｄ）はライト応答パケットのデータ構成を示している。 図８におけるパケット種別欄の詳細構成を示す説明図である。 本発明に係る一実施形態におけるテーブル等の構成を示す説明図で、同図（ａ）はパス選択テーブルの構成を示し、同図（ｂ）は設定レジスタの構成を示している。 本発明に係る一実施形態におけるストレージ制御装置のリード要求を受信した際の動作を示すシーケンス図である。 本発明に係る一実施形態におけるストレージ制御装置のリード要求を受信した際の他の動作を示すシーケンス図である。 本発明に係る一実施形態のリード要求受信時における各種パケットの利用クラスタ間パスを示す説明図である。 本発明に係る一実施形態におけるストレージ制御装置のライト要求を受信した際の動作を示すシーケンス図である。 本発明に係る一実施形態におけるストレージ制御装置のライト要求を受信した際の他の動作を示すシーケンス図である。 本発明に係る一実施形態のライト要求受信時における各種パケットの利用クラスタ間パスを示す説明図である。 本発明に係る一実施形態における設定レジスタの設定手順を示すフローチャートである。 本発明に係る一実施形態における設定レジスタの設定手順を示す他のフローチャートである。 本発明に係る一実施形態におけるパスに障害が発生したときのプロセッサの処理を示すフローチャートである。 本発明に係る他の実施形態におけるクラスタ相互間の接続形態を示す説明図で、同図（ａ）はクラスタ相互間をクラスタ間パスでのみ接続する形態を示し、同図（ｂ）はクラスタ相互間をクラスタ間パス及び中継装置で接続する形態を示している。
符号の説明
１：ストレージ制御装置、２：ホストコンピュータ、３：ハードディスクドライブ、４：チャネル制御部、５：ディスク制御部、６：プロセッサ部、７：キャッシュメモリ部、８：共有メモリ部、９：内部スイッチ部、１０Ａ，１０Ｂ，１０Ｃ：クラスタ，１１Ａ，１１Ｂ：クラスタ間パス、４１：チャネル制御回路、６１：プロセッサ、６２：周辺回路部、６３：メインメモリ、６４,７３,８３：内部ネットワークＩ／Ｆ部、７１：キャッシュメモリ、７２，８２：メモリコントローラ、８１：メモリモジュール、１２０：物理信号線、１２１：受信Ｉ／Ｆ部、１２２：送信Ｉ／Ｆ部、１２３：受信通知信号、６３１：制御プログラム、６３２：ホストアクセス統計情報、６４１,７３１,８３１：パケット作成部、６４２,７３２,８３２：パケット解析部、６４３,７３３,８３３：パス選択部、６４４，８３４：設定レジスタ、７３６,８３６：要求パケットパス情報、８３５：パス選択テーブル。

Claims (19)

  1. データが格納される１以上の記憶装置がそれぞれ接続され、前記１以上の記憶装置を制御する、第一のクラスタと、第二のクラスタと、を備えているストレージ装置において、
    前記第一のクラスタと前記第二のクラスタとは、複数の、送信方向が異なる一対の信号線からなるパスで接続され、
    前記第一のクラスタ及び前記第二のクラスタは、前記複数のパスを介して、前記データに対するリード又はライト要求を指示する制御系パケットと、前記リード要求に対するデータを含むパケットと、前記データに対するライト要求のデータを含むパケットを送受信し、
    前記第一のクラスタがリード要求を受信した際に、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記複数のパスのうち１つである第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信し、
    前記第二のクラスタは、前記第一のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信し、
    前記第一のクラスタがライト要求を受信した際に、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信し、
    前記第一のクラスタは、前記複数のパスのうち他の１つである第二のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信する
    ことを特徴とするストレージ装置。
  2. 請求項１に記載のストレージ装置において、
    前記第一のクラスタは、
    前記第一のクラスタが受信したリード要求及びライト要求の回数が所定の回数を越え、前記所定の回数のうち前記リード要求の回数が所定の割合以上である際に、
    前記第一のクラスタがリード要求を受信し、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信し、
    前記第二のクラスタは、前記第一のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信し、
    前記第一のクラスタがライト要求を受信し、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信し、
    前記第一のクラスタは、前記第一のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信し、
    前記第一のクラスタが受信したリード要求及びライト要求の回数が前記所定の回数を越え、前記所定の回数のうち前記ライト要求の回数が所定の割合以上である際に、
    前記第一のクラスタがリード要求を受信し、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信し、
    前記第二のクラスタは、前記第二のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信し、
    前記第二のクラスタがライト要求を受信し、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信し、
    前記第一のクラスタは、前記第二のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信する、
    ことを特徴とするストレージ装置。
  3. 請求項１又は２に記載のストレージ装置において、
    前記第二のクラスタは、前記第一のクラスタから送られてきた制御系要求パケットに対する制御系応答パケットが使用するパスとして、前記制御系要求パケットが送信されたパスと異なるパスを選択する、
    ことを特徴とするストレージ装置。
  4. 請求項１又は２に記載のストレージ装置において、
    前記第一のクラスタが前記リード要求を受信した際に、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに、前記リード要求の制御系パケットである制御系リード要求パケットを送信し、
    前記第二のクラスタは、前記第二のパスを介して前記第一のクラスタに、前記制御系リード要求パケットに対する応答である制御系リード応答パケットを送信し、
    前記第一のクラスタは、前記制御系リード応答パケットに基づいて、前記リード要求の対象となるデータをリードするためのデータ系リード要求パケットを作成し、前記第一のパスを介して前記第二のクラスタに、前記データ系リード要求パケットを送信し、
    前記第二のクラスタは、前記第一のパスを介して前記第一のクラスタに、前記データ系リード要求パケットに対する応答であるデータ系リード応答パケットを送信する、
    ことを特徴とするストレージ装置。
  5. 請求項１から４のいずれか一項に記載のストレージ装置において、
    前記第一のクラスタは、前記複数のパスの通信障害を検知するパス障害検知部を有し、
    前記第一のクラスタは、前記パス障害検知部が前記複数のパスのうちのいずれかのパスの通信障害を検知すると、通信障害を起こしていないパスを選択する、
    ことを特徴とするストレージ装置。
  6. 請求項２から５のいずれか一項に記載のストレージ装置において、
    前記第一のクラスタは、前記記憶装置に格納する前記データを一時的に格納するキャッシュメモリ部と、前記第一のクラスタに接続された記憶装置に対するリード要求又はライト要求を処理する記憶装置制御部と、前記第一のクラスタに接続された記憶装置及び前記第二のクラスタに接続された記憶装置を制御するプロセッサ部と、を有する、
    ことを特徴とするストレージ装置。
  7. 請求項３又は４に記載のストレージ装置において、
    前記第一のクラスタ及び前記第二のクラスタの各々は、前記記憶装置に格納する前記データを一時的に格納するキャッシュメモリ部と、自身に接続された記憶装置に対してアクセスする記憶装置制御部と、クラスタ内外の前記記憶装置制御部を制御するプロセッサ部と、前記制御系パケットのデータが格納される共有メモリ部と、を有する、
    ことを特徴とするストレージ装置。
  8. 請求項６又は７に記載のストレージ装置において、
    前記第一のクラスタは、前記第一のクラスタに接続された外部装置とデータを送受信する通信制御部をさらに有し、
    前記通信制御部は、受信したパケットに対する応答のパケットを前記第二のクラスタへ送る際に使用するパスを選択するパス選択部を有する、
    ことを特徴とするストレージ装置。
  9. 請求項６から８のいずれか一項に記載のストレージ装置において、
    前記第一のクラスタの記憶装置制御部は、受信したパケットに対する応答のパケットを前記第二のクラスタへ送る際に使用するパスを選択するパス選択部を有する、
    ことを特徴とするストレージ装置。
  10. 請求項６から９のいずれか一項に記載のストレージ装置において、
    前記第一のクラスタのキャッシュメモリ部は、受信したパケットに対する応答のパケットを前記第二のクラスタへ送る際に使用するパスを選択するパス選択部を有する、
    ことを特徴とするストレージ装置。
  11. データが格納される１以上の記憶装置がそれぞれ接続され、前記１以上の記憶装置を制御する、第一のクラスタと、第二のクラスタと、を備えているストレージ装置のクラスタ間データ通信方法において、
    前記第一のクラスタと前記第二のクラスタとは、複数の、送信方向が異なる一対の信号線からなるパスで接続され、
    前記第一のクラスタ及び前記第二のクラスタは、前記複数のパスを介して、前記データに対するリード又はライト要求を指示する制御系パケットと、前記リード要求に対するデータを含むパケットと、前記データに対するライト要求のデータを含むパケットを送受信し、
    前記第一のクラスタがリード要求を受信した際に、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記複数のパスのうち１つである第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信し、
    前記第二のクラスタは、前記第一のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信し、
    前記第一のクラスタがライト要求を受信した際に、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信し、
    前記第一のクラスタは、前記複数のパスのうち他の１つである第二のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信する、
    ことを特徴とするストレージ装置のクラスタ間データ通信方法。
  12. 請求項１１に記載のストレージ装置のクラスタ間データ通信方法において、
    前記第一のクラスタは、
    前記第一のクラスタが受信したリード要求及びライト要求の回数が所定の回数を越え、前記所定の回数のうち前記リード要求の回数が所定の割合以上である際に、
    前記第一のクラスタがリード要求を受信し、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信し、
    前記第二のクラスタは、前記第一のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信し、
    前記第一のクラスタがライト要求を受信し、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信し、
    前記第一のクラスタは、前記第一のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信し、
    前記第一のクラスタが受信したリード要求及びライト要求の回数が前記所定の回数を越え、前記所定の回数のうち前記ライト要求の回数が所定の割合以上である際に、
    前記第一のクラスタがリード要求を受信し、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信し、
    前記第二のクラスタは、前記第二のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信し、
    前記第二のクラスタがライト要求を受信し、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信し、
    前記第一のクラスタは、前記第二のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信する、
    ことを特徴とするストレージ装置のクラスタ間データ通信方法。
  13. 請求項１１又は１２に記載のストレージ装置のクラスタ間データ通信方法において、
    前記第二のクラスタは、前記第一のクラスタから送られてきた制御系要求パケットに対する制御系応答パケットが使用するパスとして、前記制御系要求パケットが送信されたパスと異なるパスを選択する、
    ことを特徴とするストレージ装置のクラスタ間データ通信方法。
  14. 請求項１１又は１２に記載のストレージ装置のクラスタ間データ通信方法において、
    前記第一のクラスタが前記リード要求を受信した際に、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに、前記リード要求の制御系パケットである制御系リード要求パケットを送信し、
    前記第二のクラスタは、前記第二のパスを介して前記第一のクラスタに、前記制御系リード要求パケットに対する応答である制御系リード応答パケットを送信し、
    前記第一のクラスタは、前記制御系リード応答パケットに基づいて、前記リード要求の対象となるデータをリードするためのデータ系リード要求パケットを作成し、前記第一のパスを介して前記第二のクラスタに、前記データ系リード要求パケットを送信し、
    前記第二のクラスタは、前記第一のパスを介して前記第一のクラスタに、前記データ系リード要求パケットに対する応答であるデータ系リード応答パケットを送信する、
    ことを特徴とするストレージ装置のクラスタ間データ通信方法。
  15. 請求項１１から１４のいずれか一項に記載のストレージ装置のクラスタ間データ通信方法において、
    前記第一のクラスタは、前記複数のパスの通信障害を検知するパス障害検知工程を実行し、
    前記第一のクラスタは、前記パス障害検知工程で前記複数のパスのうちのいずれかのパスの通信障害を検知すると、通信障害を起こしていないパスを選択する、
    ことを特徴とするストレージ装置のクラスタ間データ通信方法。
  16. データが格納される１以上の記憶装置がそれぞれに接続され、前記１以上の記憶装置を制御する、第一のクラスタと、第二のクラスタと、を備えるストレージ装置に実行させるクラスタ間通信制御プログラムにおいて、
    前記第一のクラスタと前記第二のクラスタとは、複数の、送信方向が異なる一対の信号線からなるパスで接続され、
    前記第一のクラスタ及び前記第二のクラスタに、前記複数のパスを介して、前記データに対するリード又はライト要求を指示する制御系パケットと、前記リード要求に対するデータを含むパケットと、前記データに対するライト要求のデータを含むパケットを送受信させ、
    前記第一のクラスタがリード要求を受信した際に、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタに、前記複数のパスのうち１つである第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信させ、
    前記第二のクラスタに、前記第一のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信させ、
    前記第一のクラスタがライト要求を受信した際に、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタに、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信させ、
    前記第一のクラスタに、前記複数のパスのうち他の１つである第二のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信させること、
    を特徴とするストレージ装置のクラスタ間通信制御プログラム。
  17. 請求項１６に記載のクラスタ間通信制御プログラムにおいて、
    前記第一のクラスタは、
    前記第一のクラスタが受信したリード要求及びライト要求の回数が所定の回数を越え、前記所定の回数のうち前記リード要求の回数が所定の割合以上である際に、
    前記第一のクラスタがリード要求を受信し、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタに、前記第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信させ、
    前記第二のクラスタに、前記第一のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信させ、
    前記第一のクラスタがライト要求を受信し、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタに、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信させ、
    前記第一のクラスタに、前記第一のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信させ、
    前記第一のクラスタが受信したリード要求及びライト要求の回数が前記所定の回数を越え、前記所定の回数のうち前記ライト要求の回数が所定の割合以上である際に、
    前記第一のクラスタがリード要求を受信し、前記リード要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタに、前記第一のパスを介して前記第二のクラスタに前記リード要求の制御系パケットを送信させ、
    前記第二のクラスタに、前記第二のパスを選択して前記第一のクラスタに前記リード要求に対するデータを含むパケットを送信させ、
    前記第二のクラスタがライト要求を受信し、前記ライト要求の対象となるデータが前記第二のクラスタに接続された記憶装置に格納されている場合、
    前記第一のクラスタに、前記第一のパスを介して前記第二のクラスタに前記ライト要求の制御系パケットを送信させ、
    前記第一のクラスタに、前記第二のパスを選択して前記第二のクラスタに前記ライト要求のデータを含むパケットを送信させる、
    ことを特徴とするストレージ装置のクラスタ間通信制御プログラム。
  18. 請求項１６又は１７に記載のクラスタ間通信制御プログラムにおいて、
    前記第一のクラスタに、前記複数のパスの通信障害を検知するパス障害検知工程を実行させ、
    前記第一のクラスタに、前記パス障害検知工程で前記複数のパスのうちのいずれかのパスの通信障害を検知すると、通信障害を起こしていないパスを選択させる、
    ことを特徴とするストレージ装置のクラスタ間通信制御プログラム。
  19. 請求項１６又は１７に記載のクラスタ間通信制御プログラムにおいて、
    前記第一のクラスタが前記リード要求を受信した際に、
    前記第一のクラスタは、前記第一のパスを介して前記第二のクラスタに、前記リード要求の制御系パケットである制御系リード要求パケットを送信し、
    前記第二のクラスタは、前記第二のパスを介して前記第一のクラスタに、前記制御系リード要求パケットに対する応答である制御系リード応答パケットを送信し、
    前記第一のクラスタは、前記制御系リード応答パケットに基づいて、前記リード要求の対象となるデータをリードするためのデータ系リード要求パケットを作成し、前記第一のパスを介して前記第二のクラスタに、前記データ系リード要求パケットを送信し、
    前記第二のクラスタは、前記第一のパスを介して前記第一のクラスタに、前記データ系リード要求パケットに対する応答であるデータ系リード応答パケットを送信する、
    ことを特徴とするストレージ装置のクラスタ間通信制御プログラム。
JP2004197259A 2004-07-02 2004-07-02 ストレージ装置、そのクラスタ間データ通信方法、及びそのクラスタ通信制御プログラム Expired - Fee Related JP4477437B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004197259A JP4477437B2 (ja) 2004-07-02 2004-07-02 ストレージ装置、そのクラスタ間データ通信方法、及びそのクラスタ通信制御プログラム
US10/944,851 US7228369B2 (en) 2004-07-02 2004-09-21 Clustered storage system and inter-cluster data communication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004197259A JP4477437B2 (ja) 2004-07-02 2004-07-02 ストレージ装置、そのクラスタ間データ通信方法、及びそのクラスタ通信制御プログラム

Publications (2)

Publication Number Publication Date
JP2006018689A JP2006018689A (ja) 2006-01-19
JP4477437B2 true JP4477437B2 (ja) 2010-06-09

Family

ID=35515267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004197259A Expired - Fee Related JP4477437B2 (ja) 2004-07-02 2004-07-02 ストレージ装置、そのクラスタ間データ通信方法、及びそのクラスタ通信制御プログラム

Country Status (2)

Country Link
US (1) US7228369B2 (ja)
JP (1) JP4477437B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8190780B2 (en) * 2003-12-30 2012-05-29 Sap Ag Cluster architecture having a star topology with centralized services
US7526479B2 (en) * 2003-12-30 2009-04-28 Sap Ag Configuration manager in enterprise computing system
US8312045B2 (en) * 2003-12-30 2012-11-13 Sap Ag Configuration data content for a clustered system having multiple instances
US7519600B1 (en) 2003-12-30 2009-04-14 Sap Aktiengesellschaft System and method for managing multiple application server clusters using a hierarchical data object and a multi-parameter representation for each configuration property
US8601099B1 (en) 2003-12-30 2013-12-03 Sap Ag System and method for managing multiple sever node clusters using a hierarchical configuration data structure
US9229646B2 (en) * 2004-02-26 2016-01-05 Emc Corporation Methods and apparatus for increasing data storage capacity
US7613138B2 (en) * 2005-05-23 2009-11-03 Microsoft Corporation Separating control and data in wireless networks
JP4643543B2 (ja) * 2006-11-10 2011-03-02 株式会社東芝 キャッシュ一貫性保証機能を有するストレージクラスタシステム
CN101296176B (zh) * 2007-04-25 2010-12-22 阿里巴巴集团控股有限公司 一种基于群集的数据处理方法和装置
JP2009266119A (ja) * 2008-04-28 2009-11-12 Hitachi Ltd ストレージ装置及びデータ転送方法
JP4746651B2 (ja) * 2008-07-31 2011-08-10 シャープ株式会社 画像送信装置
US8448004B2 (en) * 2008-10-27 2013-05-21 Netapp, Inc. Power savings using dynamic storage cluster membership
US8621569B1 (en) * 2009-04-01 2013-12-31 Netapp Inc. Intercluster relationship management
JP5821041B2 (ja) * 2011-02-10 2015-11-24 富士通株式会社 データ転送装置およびストレージ装置
US9009196B2 (en) * 2011-03-16 2015-04-14 Microsoft Technology Licensing, Llc Discovery and client routing to database nodes
US8862828B2 (en) * 2012-06-28 2014-10-14 Intel Corporation Sub-numa clustering
US10073779B2 (en) 2012-12-28 2018-09-11 Intel Corporation Processors having virtually clustered cores and cache slices
JP2015097006A (ja) * 2013-11-15 2015-05-21 富士通株式会社 ストレージ制御装置、制御方法、及びプログラム
US9690706B2 (en) 2015-03-25 2017-06-27 Intel Corporation Changing cache ownership in clustered multiprocessor
US10742731B2 (en) * 2015-06-10 2020-08-11 International Business Machines Corporation Maintaining service configuration consistency across nodes of a clustered file system
US9940213B2 (en) * 2015-06-10 2018-04-10 International Business Machines Corporation Integrating external services with a clustered file system
CN107229517A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 任务调度方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4958273A (en) * 1987-08-26 1990-09-18 International Business Machines Corporation Multiprocessor system architecture with high availability
US5452421A (en) * 1992-09-23 1995-09-19 International Business Machines Corporation System for using register sets and state machines sets to communicate between storage controller and devices by using failure condition activity defined in a request
US6006300A (en) * 1997-08-01 1999-12-21 International Business Machines Corporation System for isolating high-band-width signals transmitted between latency and jitter sensitive devices coupled to a secondary bus from operations on a primary bus
US6240467B1 (en) * 1998-10-07 2001-05-29 International Business Machines Corporation Input/output operation request handling in a multi-host system
US6542961B1 (en) 1998-12-22 2003-04-01 Hitachi, Ltd. Disk storage system including a switch
JP2001256003A (ja) * 2000-03-10 2001-09-21 Hitachi Ltd ディスクアレイ制御装置、そのディスクアレイ制御ユニットおよびその増設方法
US6850997B1 (en) * 2000-09-27 2005-02-01 International Business Machines Corporation System, method, and program for determining the availability of paths to a device
US6829685B2 (en) * 2001-11-15 2004-12-07 International Business Machines Corporation Open format storage subsystem apparatus and method
US7024530B2 (en) * 2003-03-14 2006-04-04 International Business Machines Corporation Method, system, and program for establishing and using a point-in-time copy relationship
US8249097B2 (en) * 2003-07-14 2012-08-21 Broadcom Corporation Method and system for an integrated host PCI I/O bridge and dual port gigabit Ethernet controller
US7085907B2 (en) 2004-02-17 2006-08-01 International Business Machines Corporation Dynamic reconfiguration of memory in a multi-cluster storage control unit
US8335909B2 (en) * 2004-04-15 2012-12-18 Raytheon Company Coupling processors to each other for high performance computing (HPC)

Also Published As

Publication number Publication date
JP2006018689A (ja) 2006-01-19
US20060004796A1 (en) 2006-01-05
US7228369B2 (en) 2007-06-05

Similar Documents

Publication Publication Date Title
JP4477437B2 (ja) ストレージ装置、そのクラスタ間データ通信方法、及びそのクラスタ通信制御プログラム
JP4775846B2 (ja) 物理リンクの割当てを制御するコンピュータシステム及び方法
JP5087249B2 (ja) ストレージシステムおよびストレージシステムの制御方法
CN100437459C (zh) 数据存储***和数据存储控制装置
US7133967B2 (en) Storage system, controller, control method and program product therefor
US8495014B2 (en) Asynchronous remote copy system and storage control method
US7395392B2 (en) Storage system and storage control method
EP2075983A2 (en) Storage subsystem
US20080195831A1 (en) Data transfer apparatus and data transfer method
JP2004302713A (ja) 記憶システム及びその制御方法
JP2005149082A (ja) ストレージ制御装置、及びストレージ制御装置の制御方法
WO2013128494A1 (en) Storage system and data transfer control method
JP2007065751A (ja) ストレージシステム及び記憶制御方法
US20050262390A1 (en) Method and apparatus for constructing redundant array of independent disks system using disk drives
JP4451687B2 (ja) ストレージシステム
US7752340B1 (en) Atomic command retry in a data storage system
US8312234B2 (en) Storage system configured from plurality of storage modules and method for switching coupling configuration of storage modules
JP4433372B2 (ja) データアクセスシステム及び方法
JP5102917B2 (ja) ストレージ装置及びアクセス命令送信方法
JP2007004710A (ja) ストレージアクセス方式、データ転送装置、ストレージアクセス方法、及びプログラム
JP4936088B2 (ja) ディスクアレイ装置、ディスクアレイシステム、及びキャッシュ制御方法
WO2019043815A1 (ja) ストレージシステム
US10289576B2 (en) Storage system, storage apparatus, and communication method
JP2007004707A (ja) インタフェース装置、記憶装置、制御方法、及びシステム
JP2006085215A (ja) ディスクアレイ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100311

R151 Written notification of patent or utility model registration

Ref document number: 4477437

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees