JP7080863B2 - ストレージ装置 - Google Patents

Description

本開示は、ストレージ装置に関する。

ストレージ装置は、ストレージ装置に接続したホストコンピュータおよびストレージ装置内の記憶媒体との間のデータ転送を制御するストレージコントローラを備える。ストレージコントローラは、ホストコンピュータを接続するフロントエンドインタフェース、記憶媒体としての多数のドライブを接続するバックエンドインタフェース、ストレージ装置を制御するためのプロセッサおよびプロセッサに接続されたメモリ等を含む。

また、プロセッサ、フロントエンドインタフェースおよびバックエンドインタフェース等を接続するための通信ネットワークの標準規格の１つとして、ＰＣＩ Ｅｘｐｒｅｓｓ（以降ＰＣＩｅ）が知られている。さらに、ストレージ装置を利用するユーザの利用規模に合わせるため、ストレージ装置は、複数台のストレージ装置を相互接続するためのインタコネクトも含むことが多い。

ミッションクリティカル業務で使われるストレージ装置において、最も重要視される要素の１つが可用性である。ストレージ装置は、この可用性を提供するために、例えば、上述したストレージコントローラを冗長構成にする、デュアルコントローラアーキテクチャを用いる。

デュアルコントローラアーキテクチャにおいて、コントローラ間を接続するためのインタフェースとして、例えばＰＣＩｅ、Ｉｎｆｉｎｉｂａｎｄがある。デュアルコントローラのうち、片側のコントローラが何らかの要因で使用不能に陥った時、もう片側の正常なコントローラが異常を検知し、使用不能なコントローラが復旧するまでの間、ホストコンピュータからのＩ／Ｏを継続することで、可用性を保証する。

近年、単一ドライブ容量増加、及び仮想化技術の進展により、複数のホストコンピュータ、あるいはアプリケーションで使うデータが単一ドライブで混在することが多い。したがって、例えば単一ドライブで異常を検知された場合、双方のコントローラに対して、異常を通知する必要がある。それは、ストレージ装置は、双方のコントローラが協調して動作しており、双方のコントローラに異常発生を通知することで、速やかに矛盾なく適切な処理を行う必要があるためである。

一方、フラッシュメモリの低価格化、使いこなしが進み、フラッシュメモリをドライブに搭載したＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）のストレージ装置への搭載が進んでいる。このようなＳＳＤの普及に伴い、近年、上述した処理時間の増大の解消を目的の１つとする新たな通信プロトコルとしてＮＶＭ Ｅｘｐｒｅｓｓ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ Ｅｘｐｒｅｓｓ）が策定された。ＮＶＭ Ｅｘｐｒｅｓｓはプロトコル階層としてはアプリケーション層に位置し、物理層はＰＣＩｅを用いる。

ところで、ＰＣＩ Ｅｘｐｒｅｓｓドメインは、ルートコンプレックスと呼ばれるデバイスを頂点に、スイッチ、ブリッジ、及びエンドポイントデバイスがツリー上に接続される構造をとる。ルートコンプレックスは、ＰＣＩ Ｅｘｐｒｅｓｓシステムにおける一番根元に位置するデバイスである。

ブリッジは、多くの場合、レガシーデバイス、例えばＰＣＩあるいはＰＣＩ－ＸエンドポイントとＰＣＩ Ｅｘｐｒｅｓｓで接続するためのプロトコル変換をするために用いられる。スイッチは、ＰＣＩ Ｅｘｐｒｅｓｓのポート数を増やすために用いる。エンドポイントは、例えば、ハードディスク、ＳＳＤなどＩ／Ｏを行うデバイスのことである。ＰＣＩ Ｅｘｐｒｅｓｓの仕様上、エンドポイントは、１つのＰＣＩ Ｅｘｐｒｅｓｓドメインにしか属することができない。

ミッションクリティカル業務で使われるストレージ装置において、最も重要視される要素の１つが高性能である。ストレージ装置は、先に述べた可用性と高性能を提供するために、ストレージコントローラから任意のドライブにアクセスできるような構成を採る。ストレージコントローラは、ルートコンプレックス、ルートポートを持つ複数のプロセッサを含む。さらに、装置規模に応じて、ストレージ装置は複数のストレージコントローラを含む。ところが、ＰＣＩ Ｅｘｐｒｅｓｓの仕様上、エンドポイントである、ＮＶＭｅをサポートするＳＳＤは、１つのＰＣＩ Ｅｘｐｒｅｓｓシステム、すなわち、１つのプロセッサの配下にしか属することができない。すなわち、ストレージコントローラから任意のドライブにアクセスできるような構成を採ることができない。

これを解決する手段として、Ｎｏｎ－Ｔｒａｎｓｐａｒｅｎｔ Ｂｒｉｄｇｅ（以降ＮＴＢ）がある。ＮＴＢを用いたストレージ装置は、例えば、特許文献１に開示されている特許文献１は、ストレージ制御部と記憶デバイスとの間を接続するバックエンドスイッチを介して、ストレージ制御部間の効率的な通信を可能とする技術を開示している。スイッチを論理分割した仮想スイッチ（ＶＳ）をルートポート毎に設け、その間をバックエンドスイッチのＮＴＢでつなぐ。ドライブは、ＰＣＩ Ｅｘｐｒｅｓｓの仕様に従い、いずれかのＶＳに属する。

ここで、可用性の観点に着目すると、ドライブ側のＰＣＩポートでエラーを検出した場合、ドライブは、通常は当該ドライブが属するルートポートに通知する。ドライブは、プロセッサ主記憶の所定の領域にその旨を通知するメモリライト命令を発行する。その際、ＰＣＩ Ｅｘｐｒｅｓｓ仕様に従い、ドライブからの通知先は１箇所である。

特開２０１８－１９０３６８号公報

ＮＴＢ技術と特許文献１で開示された技術を用いることで、ストレージコントローラから任意のドライブにアクセスできるような構成が可能となる。しかしながら、特許文献１は、３以上のストレージコントローラの場合を開示していない。

一方、特許文献１で開示されたバックエンドスイッチ内の仮想スイッチは、ＰＣＩ Ｅｘｐｒｅｓｓ仕様から、ルートコンプレックス（例えばプロセッサ）毎に必要である。特許文献１では、１以上のバックエンドスイッチ間でＮＴＢを適用することで、ストレージコントローラから任意のドライブにアクセスすることが可能となる。特許文献１では、ドライブは、バックエンドスイッチに含まれる１つの仮想スイッチに関連付けられている。

これらは、以下の課題を含んでいる。すなわち、プロセッサ数が増えると、仮想スイッチの数も増えるため、プロセッサが任意のドライブにアクセスする場合、通過する仮想スイッチの数がドライブ間で異なる。言い換えると、プロセッサが任意のドライブにアクセスする場合、仮想スイッチ渡りに伴う性能不均一化による性能のばらつきが発生する。結果的に性能が低いドライブアクセスに引きずられ、システム全体の性能低下する恐れがある。また、いくつもの仮想スイッチを通過するため、ストレージ装置を設計するに当たりアドレス変換の設計が煩雑となる。

他方、ＰＣＩポートが異常を起こしている場合、プロセッサはドライブと通信できないため、アクセスしたプロセッサに対して、タイムアウトが発生する。この場合、異常検出に時間を要するので、プロセッサに速やかにエラーを通知して、ドライブアクセスを停止し、障害処理を行ったほうが良い。先に述べたように、複数プロセッサが存在する場合には、当該ドライブにアクセス可能なプロセッサ全てに異常検出の旨を通知することが重要であるが、ＰＣＩ Ｅｘｐｒｅｓｓ仕様のままでは単一プロセッサにしか通知できない。

したがって、安定した処理性能と適切な障害処理を実施可能なストレージ装置および情報処理方法が望まれる。

本開示の一態様のストレージ装置は、複数のコントローラと、複数の記憶ドライブと、前記複数のコントローラそれぞれに接続される複数のコントローラ側ポートと、前記複数の記憶ドライブそれぞれに接続される複数のドライブ側ポートと、を含むスイッチ装置と、を含み、前記スイッチ装置は、前記複数のコントローラ側ポートと前記複数のドライブ側ポートとの間において、アドレスの変換を行う。

本開示の一態様によれば、ストレージ装置において、安定した処理性能と適切な障害処理が可能となる。

ストレージ装置に含まれるノードの構成を示す図である。 ストレージ装置に含まれるドライブボックスの構成例を示す図である。 ストレージ装置の一例を示す図である。 ストレージ装置において、ドライブ側で発生した異常をプロセッサへの通知する手順を示したフローチャートである。 ドライブボックスから受領した異常通知に対するプロセッサの処理手順を示したフローチャートである。 ストレージ装置における、メッセージ送信先管理テーブルを示す図である。

以下、図面を参照しながら本発明の実施の形態を説明する。なお、以下の説明では、「管理テーブル」等の表現にて各種情報を説明することがあるが、各種情報は、テーブル以外のデータ構造で表現されていてもよい。また、データ構造に依存しないことを示すために「管理テーブル」を「管理情報」と呼ぶことができる。

また、「プログラム」を主語として処理を説明する場合がある。そのプログラムは、プロセッサ、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実行されるもので、定められた処理をするものである。なお、適宜に記憶資源（例えばメモリ）および通信インタフェース装置（例えば、通信ポート）を用いながら行うため、処理の主語がプロセッサとされてもよい。プロセッサは、ＣＰＵの他に専用ハードウェアを有していても良い。コンピュータプログラムは、プログラムソースから各コンピュータにインストールされても良い。プログラムソースは、例えば、プログラム配布サーバまたは記憶メディアなどで提供されるものであっても良い。

また、各要素は番号などで識別可能であるが、識別可能な情報であれば、名前など他種の識別情報が用いられても良い。本発明の図および説明において同一部分には同一符号を付与しているが、本発明が本実施例に制限されることは無く、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。また、特に限定しない限り、各構成要素は複数でも単数でも構わない。

以下に、ストレージ装置および情報処理方法、例えば、記憶ドライブ（以下、単にドライブとも呼ぶ）としてＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）が搭載されたストレージ装置に適用して好適である、ストレージ装置および情報処理方法を開示する。より具体的には、以下に開示するストレージ装置の構成例は、記憶ドライブを含むドライブボックス内のＰＣＩｅ（ＰＣＩ Ｅｘｐｒｅｓｓ）スイッチ（物理スイッチ）が、複数のストレージコントローラと複数の記憶ドライブとの間の通信においてプロトコル変換を行う。これにより、安定した処理性能と適切な障害処理を速やかに実施可能とする。ドライブは、例えば、ＮＶＭ Ｅｘｐｒｅｓｓ（ＮＶＭｅ）をサポートする。なお、仮想スイッチに代えて物理スイッチが使用されてもよい。

以下、図面を用いて本実施の形態の詳細について説明する。なお、ＰＣＩｅ規格及びＮＶＭｅ規格の詳細は、公知であり、その詳細な説明は省略し、本実施の形態の説明上必要な事項についてのみ適宜説明するものとする。

図１は、本実施形態における、ストレージ装置に含まれるノードの構成を示す図である。ストレージ装置は、１または複数のドライブ（ＳＳＤ等）（図１において不図示）と、１または複数のノードと、を含む。ノードは、ドライブに対するデータの入出力を制御する１または複数のストレージコントローラ（単にコントローラとも呼ぶ）を含む。

本実施形態のノード１００は、可用性を重視し、サービスを継続して提供するために２つのコントローラ１０５Ａ、１０５Ｂを含む。２つのコントローラ１０５Ａ、１０５Ｂは、本例において同一の構成および機能を有する。ストレージコントローラ１０５Ａはプロセッサ（ＣＰＵ）１１０Ａ、フロントエンドインタフェース１１５Ａ、バックエンドインタフェース１２０Ａ、インタコネクトインタフェース１２５Ａ、及びメモリ１３０Ａを含む。ストレージコントローラ１０５Ｂはプロセッサ１１０Ｂ、フロントエンドインタフェース１１５Ｂ、バックエンドインタフェース１２０Ｂ、インタコネクトインタフェース１２５Ｂ、及びメモリ１３０Ｂを含む。

以下において、ストレージコントローラ１０５、プロセッサ１１０、及びフロントエンドインタフェース１１５は、それぞれ、任意のストレージコントローラ、任意のプロセッサ、任意のフロントエンドインタフェースを表す。バックエンドインタフェース１２０、インタコネクトインタフェース１２５、及びメモリ１３０は、それぞれ、任意のバックエンドインタフェース、任意のインタコネクトインタフェース、及び任意のメモリを表す。

プロセッサ１１０は、フロントエンドインタフェース１１５等のストレージコントローラ１０５内の各構成要素を制御する。例えば、プロセッサ１１０は、フロントエンドインタフェース１１５のデータ転送パラメータを設定する。プロセッサ１１０は、ノード１００内の障害を監視し、障害を検出した場合には障害に対応する処理を実行する。

フロントエンドインタフェース１１５は、ホストコンピュータ（図示せず）に接続されるインタフェースを含み、受信したホストコンピュータからのパケットや、ホストコンピュータに送信するパケットに対して所定のプロトコル処理を施す。ホストコンピュータは、プロセッサおよびメモリ等の情報処理資源を備えたコンピュータ装置であり、例えば、オープン系のサーバや、メインフレームコンピュータなどから構成される。ホストコンピュータは、ネットワークを介してストレージ装置にライトコマンドやリードコマンドを送信する。

例えば、フロントエンドインタフェース１１５は、受信したホストコンピュータからのパケットから、後述するドライブにおけるリードデータまたはライトデータの格納場所及びそのパケットの容量などの情報を取得する。また、フロントエンドインタフェース１１５は、パケットに含まれるコマンドを特定し、また、受信したパケットをストレージコントローラ１０５内部で用いられる形に変換する。

フロントエンドインタフェース１１５は、ホストコンピュータに送信するパケットに関して、ストレージコントローラ１０５とホストコンピュータとの間の通信プロトコルに基づいて、送信先となるホストコンピュータの識別データや、当該ホストコンピュータへのコマンドに関連する制御データ等をリードデータに付加することにより、ホストコンピュータに送信可能なパケットを生成する。

バックエンドインタフェース１２０は、プロセッサ１１０が、後述するドライブボックス及びドライブボックス内のドライブとデータ通信を行えるようにするためのインタフェースである。バックエンドインタフェース１２０の外側のプロトコルとプロセッサ１１４側のプロトコルとが異なる場合、バックエンドインタフェース１２０は、プロトコル変換を行う。例えば、プロセッサ１１４側のプロトコルはＰＣＩｅであり、バックエンドインタフェース１２０の外側のプロトコルは、ＰＣＩｅ、Ｆｉｂｒｅ Ｃｈａｎｎｅｌ、又はＥｔｈｅｒｎｅｔ（登録商標）である。

バックエンドインタフェース１２０は、ノード１００とドライブボックスと接続するためのバックエンドポート（ダウンストリームポート）を含む。図１の構成例において、ストレージコントローラ１０５Ａ内の１つのバックエンドインタフェース１２０Ａは、バックエンドポート１２２Ａ－１及び１２２Ａ－２を含み、もう１つのバックエンドインタフェース１２０Ａは、バックエンドポート１２２Ａ－３及び１２２Ａ－４を含む。ストレージコントローラ１０５Ｂ内の１つのバックエンドインタフェース１２０Ｂは、バックエンドポート１２２Ｂ－１及び１２２Ｂ－２を含み、もう１つのバックエンドインタフェース１２０Ｂは、バックエンドポート１２２Ｂ－３及び１２２Ｂ－４を含む。

バックエンドポートは、バックエンドインタフェース内のスイッチの一部であってもよい。バックエンドインタフェース１２０は、プロセッサの一部であってもよい。この場合、ドライブボックスと接続するためのバックエンドポートは、プロセッサに内蔵されていてもよい。

インタコネクトインタフェース１２５は、複数（図１の構成例においてでは２つ）のストレージコントローラ１０５間の通信インタフェースである。ストレージコントローラ１０５間の通信は、例えば、インタフェースカードを用いたＩｎｆｉｎｉｂａｎｄ、もしくは、Ｅｔｈｅｒｎｅｔを使用してもよく、または、ＮＴＢ（Ｎｏｎ Ｔｒａｎｓｐａｒｅｎｔ Ｂｒｉｄｇｅ）を適用したＰＣＩ Ｅｘｐｒｅｓｓを使用してもよい。プロセッサ１１０間、またはメモリ１３０間でデータ通信できる任意のインタフェースが使用可能である。

図２は、ストレージ装置に含まれるドライブボックス２００の構成例を示す図である。

ドライブボックス２００は、ＰＣＩｅスイッチ２０５Ａ及び２０５Ｂ（以降任意のＰＣＩｅスイッチをＰＣＩｅスイッチ２０５と表記）、並びに、記憶ドライブ２３０、２４０、２５０及び２６０を含む。

ＰＣＩｅスイッチ２０５Ａは、ルートコンプレックス接続仮想スイッチ２１０Ａ、２１０Ｂ、アドレス変換部２２５Ａ、２２５Ｂ、ドライブ接続仮想スイッチ２２０Ａ、及びスイッチ制御モジュール２１５Ａを含む。ＰＣＩｅスイッチ２０５Ｂは、ルートコンプレックス接続仮想スイッチ２１０Ｃ、２１０Ｄ、アドレス変換部２２５Ｃ、２２５Ｄ、ドライブ接続仮想スイッチ２２０Ｂ、及びスイッチ制御モジュール２１５Ｂを含む。ＰＣＩｅスイッチ２０５Ａ、２０５Ｂは、それぞれ、ストレージコントローラが接続される複数のコントローラ側ポート（それぞれ仮想ポートまたは物理ポート）と、記憶ドライブが接続される複数のドライブ側ポート（それぞれ仮想ポートまたは物理ポート）とを含む。

以下において、ＰＣＩｅスイッチ２０５、ルートコンプレックス接続仮想スイッチ（コントローラ側スイッチ）２１０、アドレス変換部２２５、ドライブ接続仮想スイッチ（ドライブ側スイッチ）２２０及びスイッチ制御モジュール２１５は、それぞれ、任意のＰＣＩｅスイッチ、任意のルートコンプレックス接続仮想スイッチ、任意のアドレス変換部、任意のドライブ接続仮想スイッチ及び任意のスイッチ制御モジュール任意を表す。

ＰＣＩｅスイッチ２０５は、例えば、プロセッサ及びメモリを含む。プロセッサは、メモリに格納されているプログラムに従って動作することで、ルートコンプレックス接続仮想スイッチ、アドレス変換部、ドライブ接続仮想スイッチ及びスイッチ制御モジュールとして機能する。ＰＣＩｅスイッチ２０５は、プロセッサに加えて、所定の演算を行う論理回路を含むことができる。仮想スイッチにより、ストレージ装置のスケーラビリティを向上する。

ドライブボックス２００は、さらに、ドライブ接続仮想スイッチとドライブとの間の接続パス２３５Ａ、２３５Ｂ、２４５Ａ、２４５Ｂ、２５５Ａ、２５５Ｂ、２６５Ａ、２６５Ｂ、を含む。

ＰＣＩｅスイッチ２０５は、ストレージコントローラ１０５のバックエンドインタフェース１２０と、ドライブとを接続するためのデバイスである。ストレージ装置の可用性向上及び高性能化のため、ドライブは、２つのポート、いわゆるデュアルポートドライブであることが多い。そのため、ストレージ装置は、デュアルポートドライブの各ポートに接続するよう２つのＰＣＩｅスイッチ２０５を含む 。

ルートコンプレックス接続仮想スイッチ２１０は、ＰＣＩｅスイッチ２０５内に構成される論理的（仮想的）なＰＣＩｅスイッチである。ルートコンプレックス接続仮想スイッチ２１０は、プロセッサに含まれるＰＣＩｅドメインのルートコンプレックスと後述するドライブ接続仮想スイッチ２２０との間を接続する。より具体的には、ルートコンプレックス接続仮想スイッチ２１０は、ストレージコントローラのバックエンドインタフェース１２０とドライブ接続仮想スイッチ２２０との間を接続する。各ドライブに対して複数のプロセッサからアクセス可能とするように、基本的に、各ドライブにアクセスするプロセッサの数と同数のルートコンプレックス接続仮想スイッチ２１０が実装される。

ドライブ接続仮想スイッチ２２０は、ルートコンプレックス接続仮想スイッチ２１０と同様に、ＰＣＩｅスイッチ２０５内に構成される論理的（仮想的）なＰＣＩｅスイッチである。ドライブ接続仮想スイッチ２２０は、ルートコンプレックス接続仮想スイッチ２１０とドライブとを接続する。ドライブ接続仮想スイッチ２２０は、図２に示すように、ＰＣＩｅスイッチ２０５内で単一であってもよいし、複数のドライブ接続仮想スイッチがＰＣＩｅスイッチ２０５に構成されてもよい。

アドレス変換部２２５は、アドレス変換情報を参照して、ルートコンプレックス接続仮想スイッチ２１０の通信プロとコルと、ドライブ接続仮想スイッチ２２０の通信プロトコルとの間の、変換を行う。アドレス変換部２２５は、例えば、Ｎｏｎ－Ｔｒａｎｓｐａｒｅｎｔ Ｂｒｉｄｇｅ（ＮＴＢ）である。

アドレス変換部２２５は、ルートコンプレックス接続仮想スイッチ２１０に到着したＰＣＩｅパケットの制御情報を、送信先ドライブが含まれるＰＣＩｅドメインで適合される制御情報に変換する。制御情報は、ＰＣＩｅパケットのヘッダ情報、アクセス先のアドレスを含む。アドレス変換部２２５は、ドライブ接続仮想スイッチ２２０に到着したＰＣＩｅパケットの制御情報を、送信先プロセッサが含まれるＰＣＩｅドメインで適合される制御情報に変制換する。制御情報は、ＰＣＩｅパケットのヘッダ情報及び送信先アドレスを含む。

上述のように、ＰＣＩｅスイッチ２０５は、ルートコンプレックス接続仮想スイッチ２１０、ドライブ接続仮想スイッチ２２０、及び、ルートコンプレックス接続仮想スイッチ２１０とドライブ接続仮想スイッチ２２０との間のアドレス変換部２２５を含む。これらによる効果は以下のとおりである。

ストレージコントローラのプロセッサ１１０から見ると、プロセッサ１１０からドライブへのアクセスは、ルートコンプレックス接続仮想スイッチ２１０、アドレス変換部２２５、ドライブ接続仮想スイッチ２２０を経由する。これは、ドライブ全てに対して同様である。すなわち、プロセッサ１１０は任意のドライブに対して、同一距離でアクセスすることができる。従って、図２のような構成を採ることで、ストレージ装置として安定した処理性能を提供することが可能となる。

ドライブ２３０、２４０、２５０、２６０は、ＮＶＭｅをサポートし、ホストコンピュータのデータを格納する装置である。ドライブ２３０、２４０、２５０、２６０は、フラッシュメモリ等の不揮発メモリを搭載したＳＳＤや、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、相変化メモリ（Ｐｈａｓｅ－Ｃｈａｎｇｅ Ｍｅｍｏｒｙ）、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の種々の媒体を用いることもできる。なお、複数のＰＣＩｅスイッチ２０５を連結し、ドライブを更に接続した多段接続構成をストレージ装置に適用してもよい。

一般的にストレージ装置は、複数のドライブからＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋｓ）グループを構成し、そのＲＡＩＤグループによって構成される論理的な記憶領域である論理ボリュームに、ホストコンピュータから送信されたデータを格納してもよい。ＲＡＩＤグループを構成するドライブに障害が生じた場合、ストレージ装置は、その障害が発生したドライブに格納されているデータを、同一のＲＡＩＤグループに属する他のドライブのデータ及びパリティを用いて復元することができる。

図３は、本実施の形態における、ストレージ装置３００の一例を示す図である。ストレージ装置３００は、２つのノード１００－１、１００－２（以降任意ノードをノード１００と表記）と４つのドライブボックス２００－１、２００－２、２００－３、２００－４（以降任意ドライブボックスをドライブボックス２００と表記）、そして、ノード１００とドライブボックス２００間を接続するリンク３１０、とを含む。

ノード１００－１は、２つのストレージコントローラ１０５Ａ－１、１５０Ｂ－１を含む。ストレージコントローラ１０５Ａ－１は、メモリ１３０Ａ－１、プロセッサ１１０Ａ－１、及び２つのバックエンドインタフェース１２０Ａ－１を含む。ストレージコントローラ１０５Ｂ－１は、メモリ１３０Ｂ－１、プロセッサ１１０Ｂ－１、及び２つのバックエンドインタフェース１２０Ｂ－１を含む。

ノード１００－２は、２つのストレージコントローラ１０５Ａ－２、１５０Ｂ－２を含む。ストレージコントローラ１０５Ａ－２は、メモリ１３０Ａ－２、プロセッサ１１０Ａ－２、及び２つのバックエンドインタフェース１２０Ａ－２を含む。ストレージコントローラ１０５Ｂ－２は、メモリ１３０Ｂ－２、プロセッサ１１０Ｂ－２、及び２つのバックエンドインタフェース１２０Ｂ－２を含む。

ドライブボックス２００－１は、２つのＰＣＩｅスイッチ２０５Ａ－１、２０５Ｂ－１を含む。ドライブボックス２００－２は、２つのＰＣＩｅスイッチ２０５Ａ－２、２０５Ｂ－２を含む。ドライブボックス２００－３は、２つのＰＣＩｅスイッチ２０５Ａ－３、２０５Ｂ－３を含む。ドライブボックス２００－４は、２つのＰＣＩｅスイッチ２０５Ａ－４、２０５Ｂ－４を含む。ノード１００及びドライブボックス２００の構成要素の詳細は、図１、図２を参照して説明した通りである。

図３で示したストレージ装置３００では、単一ストレージコントローラ１０５から４つのドライブボックス２００全てにアクセスできるようにリンク３１０を接続している。ストレージ装置の可用性の観点から、ノード１００が何らかの異常で使用不能になった場合に、正常ノード１００から継続してアクセスできるように、例えば、偶数番号のストレージコントローラ１０５は、ドライブボックス２００の偶数番号のＰＣＩｅスイッチ２０５と接続する。

このようにすることで、ノード内ストレージコントローラ、または、ノードが何らかの異常で使用不能になった場合に、正常なストレージコントローラ、または正常なノードからストレージ装置３００の全ドライブに継続してアクセスでき、ストレージ装置全体の可用性を維持できる。

図４は、本実施の形態のストレージ装置３００において、ドライブ側で発生した異常をプロセッサへの通知する手順を示したフローチャートである。本手順により、ドライブ側で発生した異常に対し、適切な障害処理を速やかに実施可能となる。図４が示すフローチャートの実施主体は、図２で示すスイッチ制御モジュール２１５である。まず、ステップ４０５において、スイッチ制御モジュール２１５は、接続されているドライブのポート異常を検出していなければ（４０５：ＮＯ）、ステップ４１０に進む。スイッチ制御モジュール２１５は、ドライブのポート異常を検出した場合（４０５：ＹＥＳ）は、ステップ４１５に進む。

ステップ４１０において、スイッチ制御モジュール２１５は、通常処理を行う。通常処理の例は、ＰＣＩｅスイッチ２０５全体の状態監視、ストレージコントローラのプロセッサとの通信制御、ＰＣＩｅスイッチ２０５で発生した異常に対する処理などを含む。スイッチ制御モジュール２１５は、通常処理の一環でドライブのポート異常検出確認を実施する。

ステップ４１５において、スイッチ制御モジュール２１５は、ストレージコントローラのプロセッサ１１０にドライブのポート異常を通知するための、ドライブのポート異常を示すメッセージを作成する。メッセージは、ドライブの識別子及び異常の種類の情報を含む。

ステップ４１８において、スイッチ制御モジュール２１５は、ステップ４１５で生成したメッセージを、どのプロセッサ１１０に対して送信するかを決定する。スイッチ制御モジュール２１５は、メッセージ送信先管理テーブル６００を参照して、メッセージを送信するプロセッサ１１０及び経路を決定する。メッセージ送信先管理テーブル６００に関しては、後述する。

ステップ４２０において、スイッチ制御モジュール２１５は、ステップ４１０で作成したメッセージの送信先プロセッサ１１０それぞれに対する、書き込み先アドレスを確認する。書き込み先アドレスは、送信先プロセッサのメモリ１３０内のアドレスを示す。スイッチ制御モジュールは、書き込み先アドレスを確認するため、例えば、ＰＣＩｅスイッチ２０５内のＰＣＩｅコンフィグレーションレジスタに設けられているメッセージアドレスフィールドを参照する。

ステップ４２５において、スイッチ制御モジュール２１５は、ステップ４１５で生成したメッセージを、ステップ４２０で確認したメモリ１３０の書き込み先アドレスに書き込むライト命令を、ストレージコントローラのプロセッサ１１０に対して発行する。プロセッサ１１０は、ライト命令に従ってメッセージを指定された書き込みアドレスに書き込む。

続いて、ステップ４３０において、スイッチ制御モジュール２１５は、他方のストレージコントローラのプロセッサ１１０に対して、ステップ４１５で生成したメッセージをステップ４２０で確認した書き込み先アドレスに書き込むライト命令を発行して、終了する。

図４で示したフローチャートによって、記憶ドライブにアクセス可能ないずれのプロセッサ（コントローラ）に対しても、ドライブ側の異常を通知することができるため、ストレージ装置として適切な障害処理を速やかに実施できる。

図５は、ドライブボックスから受領した異常通知に対するプロセッサの処理手順を示したフローチャートである。図５のフローチャートの処理により、記憶ドライブ側で発生した異常に対し、適切な障害処理を速やかに実施可能とする。

図５で示したフローチャートの実施主体は、ストレージコントローラのプロセッサ１１０で動作する制御プログラムである。なお、この制御プログラムは、プロセッサ１１０が使用するメモリ１３０に格納される。

まず、制御プログラムは、ステップ５０５において通常処理を行う。ここでの通常処理とは、ストレージ装置を制御するための処理、ホストコンピュータからのリード処理、ライト処理、プロセッサ１１０のメモリ１３０に設けられたキャッシュ領域に格納されたデータをドライブに格納するデステージング処理、その他、ビジネス継続性を提供するための機能にかかる処理、などである。

その中で、制御プログラムは、ＰＣＩｅスイッチ２０５から受信した、記憶ドライブについての異常通知を確認する。この処理は、通常処理の中で、一定周期で実施してもよいし、割り込みに応じて即時に実施してもよい。

ステップ５１０において、制御プログラムは、異常通知を確認する条件が不成立の場合（５１０：ＮＯ）、ステップ５０５に戻る。制御プログラムは、ドライブからの異常通知を確認する条件が成立している場合（５１０：ＹＥＳ）、ステップ５１５に進む。

ステップ５１５において、制御プログラムは、記憶ドライブについての異常通知を格納するためのメモリ１３０における領域をチェックする。ステップ５２０において、制御プログラムは、異常通知が格納されていなければステップ５０５に戻る。制御プログラムは、異常通知が格納されていればステップ５２５に進む。

ステップ５２５において、制御プログラムは、格納された異常通知を参照し、異常が発生した記憶ドライブを特定する。ステップ５３０において、制御プログラムは、メモリ１３０に格納されている発行済みＩＯ要求を管理する管理情報を参照して、ステップ５２５にて特定した記憶ドライブに対して発行済みのＩＯ要求があるかどうかを確認する。さらに、制御プログラムは、メモリ１３０内のＩＯ要求キューを参照して、ステップ５２５にて特定した記憶ドライブに対して未発行ＩＯ要求があるかどうかを確認する。

ステップ５３５において、制御プログラムは、ステップ５３５にて確認した、ステップ５２５にて特定したドライブに対する発行済みのＩＯ要求、および未発行ＩＯ要求を取り消す（Ａｂｏｒｔまたはキャンセル）する。これにより、異常の記憶ドライブへのＩＯ要求の発行を避け、また、未完了のＩＯ要求を適切に処理することができる。

ステップ５３５までの処理を実施することで、ステップ５２５で特定したドライブにアクセス可能なすべてのプロセッサが、ＩＯを停止することが可能となる。これによって、ステップ５２５で特定したドライブへのＩＯによるタイムアウトを未然に回避することができるため、適切な障害処理を速やかに実施できる。

ステップ５４０において、制御プログラムは、ステップ５２５にて特定した異常を通知したドライブに対して他の制御プログラムが障害処理を実施しているかを確認する。障害処理を実施している制御プログラムの情報は、例えば、ストレージコントローラ１０５それぞれの共有メモリ領域に格納されている。もし、ステップ５２５にて特定した異常を通知したドライブに対して他の制御プログラムが障害処理を実施している場合、適切に障害処理を完了させるために、実施中の障害処理に任せステップ５０５に戻る。

ステップ５２５にて特定した異常を通知したドライブに対して他の制御プログラムが障害処理を実施していない場合、該制御プログラムがステップ５２５にて特定した異常を通知したドライブの回復処理５４５を担当する。これにより、適切に回復処理が実行される。ここでの回復処理は、例えば、ＰＣＩｅスイッチの障害情報のクリア、ドライブポートの初期化、などである。

図５で示したフローチャートを実施することで、制御プログラムは、ドライブ側で発生した異常に対し、適切な障害処理を速やかに実施することができる。

図６は、本実施形態のストレージ装置３００における、メッセージ送信先管理テーブルを示す図である。ノード＃欄６０５は、ストレージ装置３００におけるノードにつけられた通し番号を示す。例えば、図３において、ノード１００－１の番号はノード＃０、ノード１００－２の番号はノード＃１とすることができる。

ＣＴＬ＃欄６１０は、ストレージ装置３００におけるノードを構成するストレージコントローラにつけられた通し番号を示す。例えば、図３において、ノード１００－１のストレージコントローラ１０５Ａ－１の番号はＣＴＬ＃０、ノード１００－１のストレージコントローラ１０５Ｂ－１の番号はＣＴＬ＃１とすることができる。

ＣＰＵ＃欄６１５は、ストレージ装置３００におけるストレージコントローラに含まれるプロセッサにつけられた通し番号を示す。例えば、図３において、ノード１００－１のプロセッサ１１０Ａ－１の番号はＣＰＵ＃０、ノード１００－１のプロセッサ１１０Ｂ－１の番号はＣＰＵ＃１とすることができる。

Ｐｏｒｔ＃欄６２０は、ストレージ装置３００におけるノードとドライブボックスとの間の通信ポートにつけられた通し番号を示す。例えば、図１において、バックエンドポート１２２Ａ－１の番号をＰｏｒｔ＃０、バックエンドポート１２２Ａ－２の番号をＰｏｒｔ＃１、バックエンドポート１２２Ａ－３の番号Ｐｏｒｔ＃２、バックエンドポート１２２Ａ－４の番号をＰｏｒｔ＃３とすることができる。

上述のように、各レコードは、メッセージの送信先のプロセッサ及びメッセージが経由するポート（プロセッサとＰＣＩｅスイッチとが通信を行う経路）を示す。一つのＰＣＩｅスイッチは、１又は複数のポートを介して、一つのプロセッサと通信を行う。

Ｓｅｎｄ Ｔａｒｇｅｔ欄６２５は、スイッチ制御モジュールが、図４のステップ４１５にて生成したメッセージを送信するように選択された送信先を示す。例えば、図６において、ノード＃０、ＣＴＬ＃０、ＣＰＵ＃０、Ｐｏｒｔ＃０のＳｅｎｄ Ｔａｒｇｅｔ欄６２５の値は「１」である。ノード＃０、ＣＴＬ＃０、ＣＰＵ＃０、Ｐｏｒｔ＃２のレコードの、Ｓｅｎｄ Ｔａｒｇｅｔ欄６２５の値は「０」である。

図６のメッセージ送信先管理テーブル６００のＳｅｎｄ Ｔａｒｇｅｔ欄６２５において、「１」は、レコードがメッセージ送信先であることを示す。Ｓｅｎｄ Ｔａｒｇｅｔ「０」をメッセージの送信先としない、とする。すなわち、ノード＃０、ＣＴＬ＃０、ＣＰＵ＃０、Ｐｏｒｔ＃０はメッセージの送信先であり、ノード＃０、ＣＴＬ＃０、ＣＰＵ＃０、Ｐｏｒｔ＃２はメッセージの送信先としない。

図６のメッセージ送信先管理テーブル６００は、ストレージコントローラのプロセッサ１１０で動作する制御プログラムが生成し、これをスイッチ制御モジュールが参照可能なＰＣＩｅスイッチ内のメモリ（図示せず）に格納する。そして、ストレージコントローラのプロセッサ１１０は、バックエンドインタフェースの稼働状況などに応じて、適宜メッセージ送信先管理テーブルを更新し、その都度ＰＣＩｅスイッチ内のメモリに格納する。

図６のメッセージ送信先管理テーブル６００の効果について説明する。まず、スイッチ制御モジュールは、このメッセージ送信先管理テーブル６００を参照することで、図４のステップ４１５で生成したメッセージの送信すべき送信先を確認できる。これにより、スイッチ制御モジュールの負荷を軽減できる。

例えば、１つのプロセッサに対して、複数のバックエンドポートが備わっている場合に、複数のバックエンドポートを均等に使ってドライブボックスのドライブと通信している場合、いずれかのバックエンドポートを使ってメッセージを送信すればよいので、図６のノード＃０、ＣＴＬ＃０、ＣＰＵ＃１、Ｐｏｒｔ＃０のみ、Ｓｅｎｄ Ｔａｒｇｅｔ欄６２５の値を「１」にし、その他Ｐｏｒｔ＃１からＰｏｒｔ＃３のＳｅｎｄ Ｔａｒｇｅｔ欄６２５の値を「０」としてもよい。

また、場合によっては、ストレージ装置３００のバックエンドインタフェース１２０が何らかの要因で使用不能になっていることもあり得る。その際、ストレージコントローラのプロセッサ１１０は、使用不能になっているバックエンドポートのＳｅｎｄ Ｔａｒｇｅｔ欄６２５の値を「０」と設定する。そうすることによって、スイッチ制御モジュール２１５は、メッセージ送信先管理テーブルを参照することで、使用不能なバックエンドインタフェース（バックエンドポート）を把握できるため、不要なメッセージ送信を回避できる。これにより、スイッチ制御モジュールの負荷を軽減できる。また、使用不能なバックエンドインタフェースにメッセージを送信したことによるエラーを回避できる。

上述のように、本実施形態のストレージ装置において、スイッチ装置（ＰＣＩｅスイッチ）は、プロセッサとの通信プロトコルと、記憶ドライブとの間の通信プロトコルとの間の変換を行う。これによって、プロセッサと記憶ドライブとの間の通信性能が均一化される。

さらに、スイッチ装置は、記憶ドライブとの通信における異常を検知すると、接続されているプロセッサから選択したプロセッサそれぞれに異常を通知するメッセージを送信する。これにより、異常に対して速やかな処理が可能となる。なお、本実施形態の特徴は、上記構成例の通信プロトコルと異なる通信プロトコルを使用するストレージ装置に適用できる。

上述した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

さらに上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

さらに各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記億装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記億媒体に置いてもよい。さらに制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００……ノード、１０５Ａ，１０５Ｂ……ストレージコントローラ、２００……ドライブボックス、２０５Ａ、２０５Ｂ……ＰＣＩｅスイッチ、２２０Ａ，２２０Ｂ……スイッチ制御モジュール、２２５Ａ、２２５Ｂ……アドレス変換部

Claims (9)

1. 複数のコントローラと、
   複数の記憶ドライブと、
   複数のスイッチ装置と、を含み、
   前記複数のスイッチ装置の各スイッチ装置は、
   複数のコントローラ側ポートを介して前記複数のコントローラ内の互いに異なるコントローラとそれぞれ通信する複数のコントローラ側スイッチと、
   複数のドライブ側ポートを介して、前記複数の記憶ドライブそれぞれと通信するドライブ側スイッチと、
   前記複数のコントローラ側スイッチと前記ドライブ側スイッチとの間においてアドレス変換を行うアドレス変換部と、を含み、
   前記ドライブ側スイッチは前記複数のコントローラ側スイッチに接続され、
   前記複数の記憶ドライブの各記憶ドライブは、前記複数のスイッチ装置に接続されており、
   前記複数のスイッチ装置の各スイッチ装置は、前記複数のドライブ側ポートの一つのポートにおいて異常を検出すると、前記異常を通知するコントローラを指定する情報を参照して、前記異常を通知するコントローラを前記複数のコントローラから選択する、ストレージ装置。
2. 請求項１に記載のストレージ装置であって、
   前記複数のコントローラ側スイッチ及び前記ドライブ側スイッチは、それぞれ、仮想スイッチである、ストレージ装置。
3. 複数のコントローラと、
   複数の記憶ドライブと、
   前記複数のコントローラそれぞれに接続される複数のコントローラ側ポートと、前記複数の記憶ドライブそれぞれに接続される複数のドライブ側ポートと、を含むスイッチ装置と、を含み、
   前記スイッチ装置は、
   前記複数のコントローラ側ポートと前記複数のドライブ側ポートとの間において、アドレスの変換を行い、
   前記複数のドライブ側ポートの一つのポートにおいて異常を検出すると、前記異常を示すメッセージを、前記複数のコントローラ側ポートそれぞれを介して、前記複数のコントローラに通知する、ストレージ装置。
4. 請求項３に記載のストレージ装置であって、
   前記異常を通知されたコントローラは、前記異常が検出された前記一つのポートへ発行済み及び発行されるＩＯ要求を取り消す、ストレージ装置。
5. 請求項３に記載のストレージ装置であって、
   前記複数のコントローラにおける一つのコントローラは、他のコントローラが前記異常からの回復処理を行っていない場合に、前記異常からの回復処理を行う、ストレージ装置。
6. 複数のスイッチ装置を含むストレージ装置における、通信方法であって、
   前記複数のスイッチ装置の各スイッチ装置は、
   複数のコントローラ側スイッチと、
   ドライブ側スイッチと、
   アドレス変換部と、を含み、
   前記通信方法は、
   前記複数のコントローラ側スイッチが、複数のコントローラ側ポートを介して複数のコントローラ内の互いに異なるコントローラとそれぞれ通信し、
   前記ドライブ側スイッチが、複数のドライブ側ポートを介して複数の記憶ドライブと通信し、
   前記アドレス変換部が前記複数のコントローラ側スイッチと前記ドライブ側スイッチとの間においてアドレス変換を行い、
   前記ドライブ側スイッチが、前記複数のコントローラ側スイッチと通信し、
   前記複数の記憶ドライブの各記憶ドライブが、前記複数のスイッチ装置と通信し、
   前記複数のスイッチ装置の各スイッチ装置が、前記複数のドライブ側ポートの一つのポートにおいて異常を検出すると、前記異常を通知するコントローラを指定する情報を参照して、前記異常を通知するコントローラを前記複数のコントローラから選択する、通信方法。
7. ストレージ装置におけるスイッチ装置の通信方法であって、
   前記スイッチ装置が、複数のコントローラ側ポートそれぞれを介して複数のコントローラと通信を行い、
   前記スイッチ装置が、複数のドライブ側ポートそれぞれを介して、複数の記憶ドライブと通信を行い、
   前記スイッチ装置が、前記複数のコントローラ側ポートと前記複数のドライブ側ポートとの間において、アドレスの変換を行い、
   前記スイッチ装置が、前記複数のドライブ側ポートの一つのポートにおいて異常を検出すると、前記異常を示すメッセージを、前記複数のコントローラ側ポートそれぞれを介して、前記複数のコントローラに通知する、スイッチ装置の通信方法。
8. 複数のコントローラと、
   複数の記憶ドライブと、
   複数のスイッチ装置と、を含み、
   前記複数のスイッチ装置の各スイッチ装置は、
   複数のコントローラ側ポートを介して前記複数のコントローラ内の互いに異なるコントローラとそれぞれ通信する複数のコントローラ側スイッチと、
   複数のドライブ側ポートを介して、前記複数の記憶ドライブそれぞれと通信するドライブ側スイッチと、
   前記複数のコントローラ側スイッチと前記ドライブ側スイッチとの間においてアドレス変換を行うアドレス変換部と、を含み、
   前記ドライブ側スイッチは前記複数のコントローラ側スイッチに接続され、
   前記複数の記憶ドライブの各記憶ドライブは、前記複数のスイッチ装置に接続されており、
   前記複数の記憶ドライブ及び前記複数のスイッチ装置を収容する、ドライブボックスと、
   複数のノードと、を含み、
   前記複数のノードの各ノードは、前記複数のコントローラ内のコントローラを含み、
   前記ドライブボックス内の前記複数のスイッチ装置は、前記複数のノードの一つのノード内の互いに異なるコントローラにそれぞれ接続されている、ストレージ装置。
9. 請求項８に記載のストレージ装置であって、
   前記複数のスイッチ装置それぞれの前記複数のコントローラ側スイッチは、互いに異なるノードのコントローラにそれぞれ接続されている、ストレージ装置。

Images