JP2005276094A - 分散ストレージ装置のファイル管理方法及び分散ストレージシステム並びにプログラム - Google Patents

Abstract

【課題】レプリケーションを有効に利用して、ロケーションデータベースへの問い合わせを低減させてデータのアクセスを迅速に行う。
【解決手段】分散配置された複数のストレージ装置＃０〜３を複数のグループＡ、Ｂに割り当てて、各グループに属するストレージ装置の全てのファイルの所在を示すファイル管理データベース２４を、同一グループのストレージ装置間で同期を取り、グループにファイルのアクセスがあったときには、ファイル管理データベース２４に基づいてファイルが格納されているストレージ装置を決定し、アクセスを行い、アクセス要求が更新のときには、ファイルの書き込みを行い、グループが異なるストレージ装置に対して書き込んだファイルのレプリカを転送する。
【選択図】図２

Description

本発明は、ネットワークを介して記憶装置を分散して配置し、各記憶装置に格納されたファイルを相互にレプリケーションを行う分散ストレージシステムの改良に関する。

クライアント／サーバ型の分散ストレージシステム（または装置）としては、Andrew File System（以下、ＡＦＳという）が知られている（非特許文献１）。

これは、各ファイルにロケーションフィールドを備えた識別子を付加し、このファイルの位置をロケーションフィールドの情報により取得して、目的とするファイルにアクセスするものである。このため、ロケーションフィールドを管理するロケーションデータベースを任意のネットワーク上に設置しておき、クライアントはファイルにアクセスする際に、まず、識別子に含まれたロケーションフィールドについてロケーションデータベースへ問い合わせを行い、ロケーションデータベースが回答した位置に対してアクセスを行っている。

そして、一回アクセスされたファイルは、ストレージ装置やキャッシュサーバなどにキャッシュされ、次回からのアクセス速度を向上させている。
「最前線UNIXのカーネル」 ユーレッシュ・ヴァハリア著、徳田英幸、中村明、戸部義人、津田悦幸 訳、株式会社ピアソン・エデュケーション、２０００年５月１５日発行、第３７１頁〜３７８頁、（原著 UNIX Internals:The New Frontiers by Uresh Vahalia pubkished by Prentice Hall,Inc. 1996）

しかしながら、上記従来例では、ローカルのストレージ装置にファイルがある場合には、迅速にファイルの読み書きを行うことができるが、ローカルのストレージ装置にファイルがない場合には、ロケーションデータベースへ問い合わせを行い必要があり、ロケーションデータベースからの回答を待って、目的のストレージ装置にリモートアクセスするため、このリモートアクセスを迅速に行うことができないという問題があった。

また、リモートアクセスによりキャッシュへアクセスする場合には、データの整合性を確保するために排他制御を必要としているため、可用性が低下するという問題がある。例えば同一のファイルに対して複数の書き込み要求があったときには、最先のクライアントの書き込み要求を受け付けて、後の書き込み要求を拒否することになる。

さらに、各ストレージ装置のバックアップを取る際には、基準となるストレージ装置のオリジナルのデータを、リモートにある他のストレージ装置に複写するレプリケーションを行うが、ロケーションデータベースに問い合わせを行うと、必ずオリジナルのデータが格納されたストレージ装置を指示されるため、至近のストレージ装置にレプリケーションがあったとしても利用することができない、という問題があった。

そこで本発明は、上記問題点に鑑みてなされたもので、レプリケーションを有効に利用して、ロケーションデータベースへの問い合わせを低減させてデータのアクセスを迅速に行うことを目的とする。

本発明は、分散配置された複数のストレージ装置を複数のグループに割り当てて、前記グループに属するストレージ装置の全てのファイルの所在を示すファイル管理情報を、同一グループのストレージ装置間で同期を取り、前記グループにファイルのアクセスがあったときには、ファイル管理情報に基づいてファイルが格納されているストレージ装置を決定し、アクセスを行う。

また、アクセス要求が更新のときには、ファイルの書き込みを行い、グループが異なるストレージ装置に対して書き込んだファイルのレプリカを転送する。

したがって、本発明は、グループ内のファイル管理情報を同期させることにより、分散レプリケーションシステムに対するアクセス要求が、いずれのストレージ装置に対して行われても処理することが可能となり、特定の装置にアクセスが集中するのを防ぐことができる。

加えて、各グループのストレージ装置は、同一のファイル管理情報を同期して持つため、いずれかのストレージ装置に障害が発生しても、同じグループ内のストレージ装置のファイル管理情報を用いることで、容易かつ迅速に復旧することが可能となり、分散レプリケーションシステムの信頼性を向上させることができる。

そして、各グループには他のグループのレプリカも格納し、アクセス要求に対して提供することができるので、アクセス要求が多数のグループへ発行されるのを抑制でき、アクセス速度の向上を図ることができる。

また、レプリカを他のグループへ格納することで、耐障害性を向上させることができ、分散レプリケーションシステムの信頼性を向上させることができる。

以下、本発明の一実施形態を添付図面に基づいて説明する。

図１は、本発明を適用する分散ストレージシステム（分散レプリケーションシステム）の構成図である。図１では、多数のストレージ装置♯０〜♯５とグループ管理サーバ（またはＮＩＳサーバ）１がネットワーク１０を介して接続され、分散レプリケーションシステムを構築した例を示している。なお、ネットワーク１０はインターネット、ＷＡＮあるいはＬＡＮなどを示す。

ストレージ装置♯０は、データとしてのファイル２３を格納するディスク２１と、ディスク２１に格納されるファイル及び同一のグループのストレージ装置に格納されたファイルの位置を管理するファイル管理データベース２４を格納するディスク２２を備え、これらディスク２１、２２はサーバ２によって制御される。

そして、サーバ２は、クライアントコンピュータ（図示省略）や他のサーバまたはストレージ装置からの参照要求や更新要求に応じて、ディスク２１のファイル２３に対して参照または更新を行う。

他のストレージ装置＃１〜＃５も同様に構成され、ストレージ装置＃１は、サーバ３がディスク３１、３２内のファイル３３、ファイル管理データベース３４を制御し、ストレージ装置＃２は、サーバ４がディスク４１、４２内のファイル４３、ファイル管理データベース４４を制御し、ストレージ装置＃３は、サーバ５がディスク５１、５２内のファイル５３、ファイル管理データベース５４を制御する。なお、ストレージ装置＃４、＃５も同様の構成であるので、詳細については省略した。なお、サーバ２〜５は、それぞれ図示しないＣＰＵやメモリ及びインターフェースを備えるものである。

グループ管理サーバ１は、ＣＰＵ、メモリ及びインターフェース等から構成される制御部１１とディスク１２を有し、ディスク１２には各ストレージ装置＃０〜＃５を複数のグループ単位で管理するグループ管理データベース１３が格納されている。

グループ管理サーバ１は、多数のストレージ装置＃０〜＃５を、予め設定した複数のグループ単位で管理するもので、図２に示すように、グループ名毎にストレージ装置の識別子（番号）を対応付けたグループ管理データベース１３によって、予め設定したグループにストレージ装置をそれぞれ割り当てる。

図１では、ストレージ装置＃０、＃１がグループＡに割り当てられ、ストレージ装置＃２、＃３がグループＢに、ストレージ装置＃４、＃５がグループＣに割り当てられた場合を示す。

これら各グループ内では、物理的に異なるストレージ装置間で、全てのデータ（ファイル）の位置（ディレクトリパスなど）についてファイル管理データベース２４、３４、４４、５４によりデータの位置を同期している。

そして、各グループ間では、他のグループへレプリケーションを転送し、転送されたレプリケーションの位置も、ファイル管理データベース２４〜５４により保持されるとともに、グループ内で同期が行われる。このレプリケーション先は、各ストレージ装置毎に予め設定したり、あるいはグループ管理サーバ１で予め設定しておく。

例えば、図２において、グループＡのストレージ装置＃０、＃１は、グループＢのストレージ装置＃２へレプリケーションを行う。そして、グループＡのファイルの複製は、グループＢ内のファイル管理データベース４４、５４にも記載されるので、ファイルの参照要求に対してオリジナルのファイルに加えてレプリケーションも利用することができるので、ファイルのアクセスに要する時間短縮して、アクセスの高速化を図ることができる。

以下、図２を参照しながらグループＡとグループＢで行われる、データの位置（以下、ファイルの位置とする）の共有と、レプリケーションの生成及び転送について詳述する。

まず、グループ管理サーバ１は、グループの設定と、各グループに所属するストレージ装置及び順位を管理するグループ管理データベース１３を備える。

グループ管理データベース１３には、管理者などにより予め設定されたグループが格納されており、各グループ毎に所属するストレージ装置が格納されている。図２において、グループＡには、ストレージ装置＃０、＃１の順で所属し、グループＢにはストレージ装置＃２、＃３の順で所属している。グループ管理データベース１３が格納するストレージ装置の識別子としては、例えば、図５に示すように、ストレージ装置のＩＰアドレスを所定の順序で格納する。なお、ＩＰアドレスに代わってＭＡＣアドレスなど、ネットワーク上で一意に定まる識別子であればよい。

各グループの先頭に記載されたストレージ装置は、グループの代表となるストレージ装置を示しており、後述するように、グループ管理データベース１３は、参照要求や更新要求の問い合わせがあると、先頭のグループに格納された先頭のストレージ装置に対して問い合わせを行うように応答する。

図２において、各ストレージ装置＃０〜＃３では、それぞれファイル管理データベース２４、３４、４４、５４がサーバ２〜５上で稼動しており、同一グループのストレージ装置のファイル管理データベースが相互に同期し、同一グループ内のファイル管理データベースの内容は等しい内容を保持する。すなわち、同一グループ内ではファイル管理データベースを共有することとなる。

例えば、ストレージ装置＃０、＃１で構成されるグループＡでは、ストレージ装置＃０のファイル管理データベース２４と３４は同一の内容となっており、ストレージ装置＃０のディスク２１のファイル２３に変更があると、ファイル管理データベース２４を更新するとともに、同一グループ内の他のストレージ装置＃１のファイル管理データベースと３４にも同一の情報を更新して、相互に同期を取る。

また、図２で示すように、グループＡについて見るとストレージ装置＃０のディスク２１にファイル「ＡＡＡ」と「ＢＢＢ」が格納され、ストレージ装置＃１のディスク３１にファイル「ＣＣＣ」、「ＤＤＤ」が格納されている場合、グループＡ内のファイル管理データベース２４、３４は、ファイル名「ＡＡＡ」に対応したストレージ装置の番号「＃０」がファイルの識別子として設定される。同様に、ファイル名「ＢＢＢ」に対応するストレージ装置の番号「＃０」と、ファイル名「ＣＣＣ」に対応するストレージ装置の番号「＃１」及びファイル名「ＤＤＤ」に対応するストレージ装置の番号「＃１」がそれぞれ設定される。

そして、ファイル管理データベース２４、３４は同一の内容となるよう、グループＡ内のファイルに変化があると同期を取る。したがって、ストレージ装置＃０、＃１が格納しているファイル２３、３３はそれぞれ異なるが、ファイル管理データベース２４、３４は、グループＡ内の全てのファイル名についてストレージ装置の情報（位置を示す識別子）を保持している。このファイルの位置を示す識別子としては、図４で示すようにファイル名とＩＰアドレスを対応付けて１レコードとし、ファイルが格納されている位置を示す。

グループＢのストレージ装置＃２、＃３のファイル管理データベース４４、５４も同様であり、ストレージ装置＃３に格納されたファイル「ＥＥＥ」、「ＦＦＦ」の位置情報を等しく保持している。

このため、ファイルを検索する際には、同一のグループ内であれば、どのストレージ装置に問い合わせを行っても同じ応答となる。ただし、クライアントコンピュータや他のグループ等からアクセスを受け付ける際に、同一グループ内のどのストレージ装置に問い合わせを行えばよいのかを設定しておく必要があるため、グループ管理データベース１３の各グループの先頭に記載されたストレージ装置を、そのグループの代表となるストレージ装置としておき、代表ストレージ装置がダウンした場合には、これに替わってグループ管理データベース１３に記載されている次のストレージ装置へアクセスを行う。

ここで、グループとストレージ装置の登録について図６を参照しながら説明する。

図６は、グループ管理サーバ１の図示しないコンソールにおける表示のイメージを示している。

まず、所定の操作を行って、ストレージ装置を登録するグループ名を入力する画面Ｓ１０１を呼び出す。画面上のグループ入力欄１３１に所望のグループ名を入力する。

次に、ストレージ装置の識別子を登録する画面（Ｓ１０２）に移行して、識別子入力欄１３２に、ストレージ装置の識別子（ここでは、ＩＰアドレス）を入力する。最後に、識別子入力欄１３１にリターンを入力して処理を終了する（Ｓ１０３）。

同一のグループに複数のストレージ装置を登録する場合には、上記Ｓ１０２でＩＰアドレスを複数回入力する。

上記操作によりグループ管理データベース１３のグループに対してストレージ装置を割り当てることができる。

＜ファイルの更新＞
次に、図３を参照しながらファイルの更新要求があったときの各ストレージ装置の動作について説明する。なお、図３は、データの流れを示す説明図である。

図３では、グループＡのストレージ装置＃０に対して、ファイル名「ＧＧＧ」のファイルが追加された場合を示す。

ストレージ装置＃０は、図示しないクライアントコンピュータ等からファイル名「ＧＧＧ」のファイルの更新要求を受け付けて、ディスク２１にファイルＧＧＧを書き込む（Ｓ１）。

ストレージ装置＃０のファイル管理データベース２４は、ファイルＧＧＧが追加されたことから、ファイル名「ＧＧＧ」のレコードを作成し、対応するストレージ装置番号に＃０を書き込んで、ファイルＧＧＧを登録する（Ｓ２）。なお、ファイルＧＧＧはオリジナルのファイルであるため、図示はしないが、ファイル管理データベース２４にオリジナルであることを示す情報を付加しても良い。

新たなファイルＧＧＧの登録を行ったファイル管理データベース２４は、同一グループ内の他のストレージ装置（＃１）に対してファイル管理データベースに変更があったことを通知し、変更の内容（ファイル名とストレージ装置番号）を送信し、グループ内でファイル管理データベースの同期を行う（Ｓ３）。これにより、グループＡ内の全てのファイル管理データベース２４、３４が同一の内容となる。

次に、ストレージ装置＃０は、ファイルの追加があったことから、予め設定した転送先（ここではストレージ装置＃２）へレプリケーションを転送する（Ｓ４）。

レプリケーションを受信したストレージ装置＃２は、自分のディスク４１にファイルＧＧＧを追加する（Ｓ５）。

ストレージ装置＃２のファイル管理データベース４４は、ファイルＧＧＧが追加されたことから、ファイル名「ＧＧＧ」のレコードを作成し、対応するストレージ装置番号に自分の装置番号＃２を書き込んで、ファイルＧＧＧを登録する（Ｓ６）。新たなファイルＧＧＧの登録を行ったファイル管理データベース４４は、同一グループＢ内の他のストレージ装置（＃３）に対してファイル管理データベースに変更があったことを通知し、変更の内容（ファイル名とストレージ装置番号）を送信し、グループ内でファイル管理データベースの同期を行う（Ｓ７）。これにより、グループＢ内の全てのファイル管理データベース４４、５４が同一の内容となる。

ここで、レプリケーションを受信したグループＢのストレージ装置＃２は、レプリケーションをオリジナルと同様にファイル管理データベース２４へ登録することにより、分散レプリケーションシステムに対する参照要求のアクセス速度を向上させることができる。つまり、グループ管理サーバ１は、アクセス要求に対してグループ管理データベース１３のグループを順次提供するため、レプリケーションの保存先でも参照を可能にすることで、アクセス回数（問い合わせ回数）を削減することができる。

ただし、レプリケーションの保存先では、このレプリケーションに対して更新を行わないようにするため、ファイル管理データベースにレプリケーションを示すフラグまたはオリジナルかレプリカのいずれかであるかを示す情報を付加しておき、ファイルの更新についてはオリジナルのファイルに行う必要がある。

＜アクセス要求＞
次に、分散レプリケーションシステムに対するアクセス要求に対する手順について、図７のフローチャートを参照しながら説明する。

図１のネットワーク１０に接続されたクライアントコンピュータ等がファイルを検索する場合、まず、最初にグループ管理サーバ１に問い合わせを行うと、グループ管理サーバ１は最初のグループの代表となるストレージ装置の位置（アドレス）を応答する。

クライアントコンピュータの要求を受けた代表ストレージ装置は、Ｓ１１において、ファイル管理データベースを検索し、自装置内に要求されたファイルがあれば、Ｓ１３へ進んでディスクにアクセスを行う。

一方、自装置にない場合は、Ｓ１２へ進んでファイル管理データベースを検索して自グループ内にあれば、クライアントコンピュータに該当するストレージ装置の識別子を通知する。この通知を受けたクライアントコンピュータは該当するストレージ装置にアクセスし、Ｓ１３にて要求したファイルに対してアクセスする。

Ｓ１２において自グループにない場合には、Ｓ１４へ進み、クライアントコンピュータはグループ管理サーバ１のグループ管理データベース１３に、次のグループと代表となるストレージ装置を問い合わせる。

そして、Ｓ１５で該当するストレージ装置に問い合わせを行い、Ｓ１６で応答があればＳ１７へ進み、上記Ｓ１１、Ｓ１２と同様に選択したグループの代表装置のファイル管理データベースに要求したファイルがあるか否かを判定する。選択したグループにファイルがあれば、Ｓ１３で該当ストレージ装置に対してアクセスを行う。

一方、上記Ｓ１６で応答がない場合には、該当するグループの代表となるストレージ装置に障害が発生している可能性が高いので、グループ管理サーバ１に再度問い合わせて、該当するグループの他のストレージ装置を確認する。他のストレージ装置があれば、Ｓ１５へ戻って問い合わせを行う。

また、上記Ｓ１７で選択したグループに要求したファイルが存在しない場合には、Ｓ１４に戻り、グループ管理サーバ１に対して次のグループ及び代表となるストレージ装置を要求する。

以上の手順で、グループ管理サーバ１のグループ管理データベース１３に設定されたグループの代表となるストレージ装置を順次検索し、目的とするファイルを検索し、アクセスを行う。

例えば、図示しないクライアントコンピュータがファイル「ＥＥＥ」にアクセスする場合、グループ管理サーバ１のグループ管理データベース１３から、グループＡのストレージ装置＃０にアクセスする。図２で示したように、ストレージ装置＃０のファイル管理データベース２４にはグループＡ内にファイル名「ＥＥＥ」は存在しないので、クライアントコンピュータは次のグループをグループ管理サーバ１に要求する。

グループ管理サーバ１は、グループ管理データベース１３に設定された第２のグループであるグループＢの代表となるストレージ装置＃２を返す。クライアントコンピュータはストレージ装置＃２にファイル名「ＥＥＥ」の位置を問い合わせると、ファイル管理データベース４４は、ストレージ装置＃３に存在することを伝える。こうして、クライアントコンピュータは、各グループの代表となるストレージ装置に対して順次問い合わせることで、ファイルの位置を検索するのである。ただし、一度アクセスを行えば、前記従来例と同様にストレージ装置のキャッシュやキャッシュサーバ（図示省略）などにキャッシュされ、次回からのアクセス速度を向上させている。

＜ストレージ装置の追加＞
次に、図８を参照しながら、グループに新たなストレージ装置を追加する場合について説明する。図８はグループＡにストレージ装置＃４を追加する一例を示す。

ストレージ装置＃４は、上記ストレージ装置と同様にサーバとディスク６１、ファイル管理データベース６４を備え、このストレージ装置＃４をネットワーク１０に接続する。

ファイル管理データベース６４に対して、グループＡの他のストレージ装置のファイル管理データベース（ここでは、＃１のファイル管理データベース３４）と同期を取るよう指令する（Ｓ２１）。なお、この指令は管理者などにより、グループ管理サーバ１やストレージ装置＃４等で行われる。

新たに追加するストレージ装置＃４は、同一グループ内の他のファイル管理データベース３４からファイル名とストレージ装置番号を読み込んで、ファイル管理データベース６４に登録する（Ｓ２２）。

次に、管理者などの操作により上記図６で示した手順で、グループ管理サーバ１のグループ管理データベース１３にストレージ装置＃４をグループＡに登録する（Ｓ２３）。

グループ管理データベース１３は、テーブルが更新されたことから、各グループに対して、ストレージ装置＃４がグループＡに登録されたことをブロードキャストする（Ｓ２４）。これにより、各ストレージ装置は、ストレージ装置＃４を認識することができる。

新たにストレージ装置を通知する場合では、まず、ファイル管理データベースを所属するグループのファイル管理データベースに一致させておき、その後、グループ管理データベース１３へ登録し、同期及び登録が完了した後にブロードキャストを行うことで、新たに加わったストレージ装置にアクセスが発生しても要求に応えることが可能となる。

次に、図９を参照しながら、グループからストレージ装置を削除する場合について説明する。図９はグループＢからストレージ装置＃３を削除する一例を示す。

ストレージ装置＃３を削除する場合には、まず、Ｓ３１で、グループ管理データベース１３のグループＢからストレージ装置＃３を削除する。以降、グループＢに対してアクセス要求があっても、グループ管理サーバ１がストレージ装置＃３を通知するのを防止できる。

次に、グループ管理データベース１３は、グループＢからストレージ装置＃３を削除したことを各グループのストレージ装置へブロードキャストする。次に、ストレージ装置＃３と同一グループ内のファイル管理データベースから、ストレージ装置＃３が格納していたファイルの情報を削除する。この例では、グループＢがストレージ装置＃２、＃３で構成されていたので、ストレージ装置＃２のファイル管理データベース４４からストレージ装置番号が＃３のレコードを削除する（Ｓ３３）。

次に、削除されるストレージ装置＃３内のファイルを他のグループへコピーして待避させる（Ｓ３４）。ここでは、グループＡのストレージ装置＃０にファイルＥＥＥをコピーし、ストレージ装置＃１にファイルＦＦＦをコピーする例を示す。なお、このコピー先は、グループ管理サーバ１等から指令すればよい。

ストレージ装置＃０は、グループＢのストレージ装置＃３からファイルＥＥＥを読み込んで、自ディスク２１へ書き込み、ストレージ装置＃１は、グループＢのストレージ装置＃３からファイルＦＦＦを読み込んで、自ディスク２１へ書き込む。

ストレージ装置＃０のファイル管理データベース２４は、ファイルＥＥＥが追加されたことから、ファイルＥＥＥのレコードを追加し、ストレージ装置＃１のファイル管理データベース３４は、ファイルＦＦＦが追加されたことから、ファイルＦＦＦのレコードを追加する（Ｓ３５）。

そして、グループＡのファイル管理データベース２４、３４は互いに変更が生じたことから、相互に同期を取って変更のあったレコードを送信して、同一の内容に更新する（Ｓ３６、Ｓ３７）
以上のように、ストレージ装置を削除する場合には、まず、グループ管理サーバ１のグループ管理データベース１３から、該当ストレージ装置を削除し、その後、ブロードキャストすることにより、アクセス要求に対して各装置が削除されるストレージ装置を指定するのを防止できる。そして、削除されるストレージ装置と同一グループ内のファイル管理データベースから、該当ストレージ装置のレコードを削除することで、このグループにアクセス要求が発生しても、削除されるストレージ装置を指定するのを防止できる。

さらに、削除されるストレージ装置のファイルを、異なるグループにコピーし、格納先のストレージ装置をオリジナルの格納位置としてそれぞれファイル管理データベースに登録することで、削除されるストレージ装置が取り外された後でも、分散レプリケーションシステム内で該当ファイルを保持し、アクセス要求に対して応答することができる。

次に、ストレージ装置をグループ間で移動する場合について図１０を参照しながら説明する。

なお、削除されるストレージ装置のファイルのコピー先は同一グループ内の他ストレージ装置であっても良い。

＜ストレージ装置の移動＞
図１０は、グループＢに所属するストレージ装置＃３をグループＡに移動する例を示す。

まず、最初に上記削除と同様にして、グループ管理データベース１３のグループＢから移動するストレージ装置＃３を削除する（Ｓ４１）。

そして、グループＢに所属する全てのファイル管理データベースからストレージ装置＃３が記載されたレコードを削除する。この例では、ストレージ装置＃２のファイル管理データベース４４について、ストレージ装置＃３が保持しているファイルＥＥＥ、ＦＦＦのレコードを削除する。同時に、移動するストレージ装置＃３のファイル管理データベース５４からグループＢのストレージ装置（自装置は除く）を含むレコードを削除する（Ｓ４２）。これにより、移動元のグループＢのファイル管理データベースからストレージ装置＃３が消去され、移動するストレージ装置＃３のファイル管理データベース５４からグループＢに関する情報が消去される。

次に、ストレージ装置＃３の移動先となるグループＡのファイル管理データベース２４、３４とファイル管理データベース５４の同期を取る（Ｓ４３）。ストレージ装置＃３は、ファイルＥＥＥ、ＦＦＦを格納しているので、グループＡのファイル管理データベース２４、３４にファイルＥＥＥ、ＦＦＦのレコードを追加するとともに、これらのファイルがストレージ装置＃３に属するように設定する。同時にストレージ装置＃３のファイル管理データベース５４にグループＡのファイル情報を追加する。すなわち、ストレージ装置＃０のファイルＡＡＡ、ＢＢＢとストレージ装置＃１のファイルＣＣＣ，ＤＤＤのレコードを追加する（Ｓ４４）。

そして、同期が完了した後に、グループ管理データベース１３でグループＡにストレージ装置＃３を追加し（Ｓ４５）、その後、各ストレージ装置に対して、ストレージ装置＃３がグループＡへ移動したことをブロードキャストする（Ｓ４６）。

図１１は、上記ストレージ装置のグループ間で移動させる場合のグループ管理サーバ１で行われる処理の一例を示すフローチャートである。

まず、Ｓ１４１では、グループ管理データベース１３から移動するストレージ装置の記録を削除する。次に、Ｓ１４２では、移動するストレージ装置を選択してからＳ１４３へ進んで、ファイル管理データベース（この場合ストレージ装置＃３のファイル管理データベース５４）から移動元のグループのストレージ装置に関するレコードを削除するよう指令する。その後、Ｓ１４４で、移動先のグループのファイル管理データベースと同期を取るように指令する。

同期が完了すると、Ｓ１４５で、ファイル管理データベースに移動先のファイルの情報を追加するように指令を行う。

次に、Ｓ１４６では、グループ管理データベース１３に基づいて各ストレージ装置に対して順次アクセスして、移動元と移動先の環境を整えるため、グループ管理データベース１３から移動するストレージ装置を除いて順次選択を行う。

Ｓ１４７では、選択したストレージ装置が移動元と同一のグループのストレージ装置であるか否かを判定し、同一グループであれば、Ｓ１４８に進んで、移動元に残るストレージ装置であるから、このファイル管理データベースから移動するストレージ装置の情報を削除する。

そして、Ｓ１５１へ進んで、全てのストレージ装置に検索が終了したか否かを判定し、終了した場合にはＳ１５２へ進み、終了していない場合には、グループ管理データベース１３から次のストレージ装置を選択するためＳ１４６に戻る。

一方、上記Ｓ１４７で同一グループではないと判定された場合には、Ｓ１４９に進んで、移動先のグループに属するストレージ装置であるか否かを判定する。移動先のグループであればＳ１５０に進んで、このストレージ装置のファイル管理データベースに移動するストレージ装置が保有するファイルの情報を同期するよう指令するとともに、移動するストレージ装置の情報を登録させる。

そして、再びＳ１５１に進んで全てのストレージ装置についてアクセスが終了したかを判定する。なお、上記Ｓ１４９の判定で、移動先のグループではない場合にはＳ１５１に進む。

上記Ｓ１４６〜Ｓ１５１のループが終了すると、移動先と移動元のストレージ装置のファイル管理データベースが移動後の状態に更新される。

そして、Ｓ１５２では、グループ管理データベース１３の移動先のグループに、移動するストレージ装置を追加し、次に、Ｓ１５３で全ストレージ装置に対して、ストレージ装置の移動があったことをブロードキャストして処理を終了する。

このように、ストレージ装置をグループ間で移動する際には、グループ管理データベース１３から移動するストレージ装置を削除した後、移動元、移動先及び移動するストレージ装置の各ファイル管理データベースを更新または同期させ、この後に、グループ管理データベース１３の新たなグループにストレージ装置を追加してからブロードキャストを行う。これにより、移動中に移動対象のストレージ装置にアクセスが生じるのを確実に防いで、円滑に移動を完了することができる。

＜ストレージ装置の障害復旧＞
図１２は、ストレージ装置に障害が発生した後の復旧の手順を示す。この例では、グループＢのストレージ装置＃２に障害が発生し、新たな装置に交換した後に、データの復旧を行う一例を示しており、ストレージ装置＃２はレプリケーションにより、ストレージ装置＃０、＃１に複製を転送しておいたものとする。なお、レプリケーションの情報はグループ管理サーバ１が保持するものとする。

まず、グループ管理データベース１３は、新たなハードウェアに交換したストレージ装置＃２に対し、ファイル管理データベース４４を構築するように指令するとともに、各グループのストレージ装置の情報を提供する（Ｓ５１）。この場合、ストレージ装置＃２が所属するグループＢのストレージ装置＃２、＃３の情報を提供する。

次に、ストレージ装置＃２のファイル管理データベース４４は、同じグループＢのストレージ装置＃３のファイル管理データベース５４から、ファイルの情報を読み込んでファイル管理データベース４４を復旧する（Ｓ５２）
さらに、ストレージ装置＃２は、グループ管理サーバ１からレプリケーションの情報を取得して、レプリケーション先のグループＡのストレージ装置＃０、＃１から、障害発生前にストレージ装置＃２が格納していたファイルＡＡＡとＣＣＣを読み込み、ディスク４１に書き込む。

こうして、同一グループ内の他のストレージ装置＃３のファイル管理データベース５４から、ファイルの構成を復旧し、また、レプリケーション先の他のグループから複製を取得することで、容易かつ迅速にストレージ装置＃３の復旧を行うことができ、対障害性の高いシステムを提供することができる。なお、復旧の期間中は、グループ管理サーバ１が復旧中のストレージ装置＃３に対するアクセスを制限すればよい。あるいは、復旧の期間中は、ストレージ装置＃２のサーバ４が、アクセス要求を制限してもよい。

以上のように、各ストレージ装置にファイル管理データベースを備え、グループ管理サーバ１のグループ管理データベース１３により、ファイル管理データベースを同期するグループ単位で、グループ内のファイル管理データベースを同期させることにより、分散レプリケーションシステムに対するアクセス要求がグループ管理サーバ１に集中するのを防ぐことができる。

加えて、各グループのストレージ装置は、同一のファイル管理データベースを同期して持つため、いずれかのストレージ装置に障害が発生しても、同じグループ内のストレージ装置のファイル管理データベースを用いることで、容易かつ迅速に復旧することが可能となり、分散レプリケーションシステムの信頼性を向上させることができる。

そして、各グループには他のグループのレプリケーションも格納し、アクセス要求に対して提供することができるので、クライアントコンピュータなどからのアクセス要求が多数のグループへ発行されるのを抑制でき、アクセス速度の向上を図ることができる。

また、レプリケーションを他のグループへ格納することで、耐障害性を向上させることができ、分散レプリケーションシステムの信頼性を向上させることができる。

また、各グループ内では全てのストレージ装置のファイル管理データベースが同一であるため、アクセス要求は各グループに対していずれかひとつのストレージ装置（例えば、代表ストレージ装置）へ要求するだけでよいので、問い合わせの回数を低減し、ネットワークのトラフィックや管理サーバ１の負荷の低減を図ることができる。

図１３は、上述したレプリケーションの情報をグループ管理サーバ１で制御する一例を示す。

グループ管理サーバ１は、各ストレージ装置のファイル管理データベースを同期させるグループ管理データベース１３に加えて、各ストレージ装置のレプリケーション先を設定するレプリケーショングループ管理データベース１３０を備える。

上記したように、ファイル管理データベースを同期するグループＡ、Ｂを同期グループとすると、各同期グループのストレージ装置のレプリケーションを、他の同期グループのストレージ装置に転送する相手が同一とならないようにグループ化したものが、レプリケーショングループである。このレプリケーショングループを管理するレプリケーショングループ管理データベース１３０は、管理者などにより予め設定されたものである。

レプリケーショングループ管理データベース１３０は、レプリケーショングループ名とストレージ装置のリストから構成され、例えば、図示のように、レプリケーショングループＡ（図中Ｒｅｐｌｉ Ａ）には、同期グループＡのストレージ装置＃０と、同期グループＢのストレージ装置＃２が所属し、レプリケーショングループＢには、同期グループＡのストレージ装置＃０と、同期グループＢのストレージ装置＃２が所属する。

各ストレージ装置はレプリケーショングループ管理データベース１３０から、レプリケーション先を取得して複製を転送する。

例えば、ストレージ装置＃０は、ディスク２１のファイルが更新されると、レプリケーショングループＡの定義に従って同期グループＢのストレージ装置＃２へレプリケーションを転送する。同様に、同期グループＢのストレージ装置＃２は同期グループＡのストレージ装置＃０へレプリケーションを行う。

一方、ストレージ装置＃０と同一の同期グループＡに属するストレージ装置＃１は、ストレージ装置＃０とは異なるレプリケーショングループＢに属し、同期グループＢのストレージ装置＃３との間でレプリケーションを行う。

すなわち、レプリケーショングループを構成するストレージ装置が、同一の同期グループとならないようにレプリケーショングループを設定することで、各ストレージ装置のファイルの複製が、異なる同期グループに転送されて参照要求に対して提供することができるので、参照要求の際にはアクセスする同期グループの数（回数）を低減し、アクセス要求に対する応答を好意率良く行うことが可能となる。

また、レプリケーションは必ず他の同期グループに格納されるので、耐障害性を向上させることができ、特に、同一グループ内のストレージ装置のレプリケーション先を、他の同期グループで異なるストレージ装置とすることで、耐障害性をさらに高めることができる。

またレプリケーションの管理は、上述のように各ストレージ装置のファイル管理データベースで行うことができ、分散レプリケーションシステム全体のファイルの数が増えた場合であっても、管理に要する労力が増大するのを防ぐことができる
なお、上記においては、レプリケーショングループに２つのストレージ装置を設けた例を示したが、３つ以上のストレージ装置を設定してもよく、互いにレプリケーションを持つことで、耐障害性をさらに向上させることができる。

＜変形例１＞
図１４は、各グループのストレージ装置に、グループ管理データベース１３のサブセットを備えるようにしたものである。

グループＡ、Ｂの各ストレージ装置＃０〜＃３に備えるグループ管理データベースサブセット１３Ａ〜１３Ｄは、自グループ内のストレージ装置リストについては同一であるが、他のグループのストレージ装置には代表するストレージ装置を一つ設定する。

例えば、グループＡのストレージ装置＃０では、グループ管理データベースサブセット１３Ａに、隣のグループＢについてストレージ装置＃２を代表ストレージ装置として設定し、同グループＡのストレージ装置＃１では、グループ管理データベースサブセット１３Ｂに、隣のグループＢについてストレージ装置＃３を代表ストレージ装置として設定しておく。

ストレージ装置毎に異なる他のグループの代表ストレージ装置を設定しておくことで、他グループ等からのアクセスがあったときに、ストレージ装置毎に異なる他の代表ストレージ装置を応答することで、特定のストレージ装置にアクセスが集中して負荷が増大するのを防止でき、負荷の分散を図ることができる。

また、グループ管理サーバ１に障害が発生している場合でも、いずれかのストレージ装置に問い合わせることで、アクセス先を検索することができ、耐障害性を向上させることができる。

逆に、他のグループの代表ストレージ装置に障害が発生している場合では、アクセス要求を受けたストレージ装置がグループ管理サーバ１のグループ管理データベース１３に問い合わせて、他のストレージ装置のアドレスを応答することができる。

なお、図示はしないが、各ストレージ装置がグループ管理データベース１３を持ち、各グループ間及びグループ内で同期を取るようにしても良い。この場合、グループ管理データベース１３は不要となり、分散レプリケーションシステムの構成を簡易にすることができる。

＜変形例２＞
図１５は、各グループ間のレプリケーションを上記ファイル単位のレプリケーションに代えてボリューム単位のレプリケーションとしたものである。

この例では、グループＡのストレージ装置＃０がグループＸのストレージ装置＃５へボリュームベースレプリケーションを行うように設定されている。なお、ストレージ装置＃５は、上記図１に示した他のストレージ装置と同様に、サーバ（図示省略）、ディスク７１、ファイル管理データベース７４を備える。

ストレージ装置＃０に更新要求があると、ストレージ装置＃０は自ディスク２１にファイルＧＧＧを書き込む（Ｓ６１）
ストレージ装置＃０では、ファイル管理データベース２４にファイルＧＧＧの名称と、格納したストレージ装置の識別子を登録する（Ｓ６２）。

次に、ストレージ装置＃０は、ディスク２１の内容をストレージ装置＃５のディスク７１に転送し、ボリュームベースレプリケーションを実行する（Ｓ６３）。

次に、ストレージ装置＃０は、サーバ２からストレージ装置＃５のサーバに対して変更のあったファイルを通知する（Ｓ６４）。

次に、ストレージ装置＃５のサーバは、この通知に基づいて、ファイル管理データベース７４に更新のあったファイルＧＧＧを登録する（Ｓ６５）。

こうして、ストレージ装置＃０でファイルの更新があると、ディスク２１からディスク７１にボリュームベースレプリケーションを実行し、ファイル管理データベース２４を更新した後に、ストレージ装置＃０のサーバ２がストレージ装置＃５のサーバへファイル情報を通知することで、ストレージ装置＃５のファイル管理データベース７４を更新することができる。

このように、ボリュームベースレプリケーションの場合では、ファイル情報を別途通知することで、レプリケーションを格納するストレージ装置＃５のファイル管理データベースを更新することができる。

＜変形例３＞
図１６は、上記変形例２のファイルの通知をディスクから行うようにしたもので、その他は前記変形例２と同様である。

この場合では、ストレージ装置のサーバとディスクの間に、新たなインターフェースを設けて、ディスク間のボリュームベースレプリケーションが完了すると、ディスク７１がサーバ側に変更の通知を行うものである。

ストレージ装置＃０に更新要求があると、上記変形例２のＳ６１〜Ｓ６３と同様に、ストレージ装置＃０が自ディスク２１にファイルＧＧＧを書き込んだ後、ファイル管理データベース２４を更新し、ストレージ装置＃０は、ディスク２１の内容をストレージ装置＃５のディスク７１に転送し、ボリュームベースレプリケーションを実行する（Ｓ７１〜Ｓ７３）。

次に、ストレージ装置＃５のディスク７１は、サーバへ変更のあったファイルを通知する（Ｓ７４）。サーバはこの通知に基づいて、ファイル管理データベース７４に更新のあったファイルＧＧＧを登録する（Ｓ７５）
＜変形例４＞
上記実施形態では、ストレージ装置をサーバとディスクから構成する例について説明したが、サーバ２〜５をコントローラに置き換え、ＮＡＳ（Network Attached Storage）としてもよい。

あるいは、ストレージ装置内にＮＡＳとＳＡＮ（Storage Area Network）が内包されていても良い。

以上のように、本発明に係る分散レプリケーションシステムでは、ストレージ装置をグループに分けて、グループ単位でファイルの所在を記述したファイル管理データベースを同期させておくので、アクセス要求に対して少ない問い合わせ回数で応答することができ、また、耐障害性も向上するので、高速かつ信頼性の高いサイトやサービスに適用することができる。

本発明の一実施形態を示すシステム構成図。 グループ管理サーバと各ストレージ装置のグループを示す説明図。 ファイルの更新の際の手順を示す説明図。 ファイル管理データベースの内容を示す説明図。 グループ管理データベースの内容を示す説明図。 グループにストレージ装置を追加する様子を示す画面イメージ。 アクセス要求に対する処理手順を示すフローチャート。 グループにストレージ装置を追加する場合の手順示す説明図。 グループからストレージ装置を削除する場合の手順を示す説明図。 グループ間でストレージ装置を移動する場合の手順を示す説明図。 グループ間でストレージ装置を移動する場合にグループ管理サーバで行われる処理の一例を示すフローチャート。 障害の発生したストレージ装置を復旧する場合の手順を示す説明図。 レプリケーションの管理をグループ管理サーバで行う場合の説明図。 ストレージ装置にグループ管理データベースのサブセットを設ける場合の説明図。 ストレージ装置間でボリュームベースレプリケーションを行う場合の手順を示す説明図。 ストレージ装置間でボリュームベースレプリケーションを行う場合の他の手順を示す説明図。

符号の説明

１ グループ管理サーバ
２〜５ サーバ
１３ グループ管理データベース
２４、３４、４４、５４ ファイル管理データベース
♯０、♯１、♯２、＃３ ストレージ装置

Claims (16)

1. 分散配置された複数のストレージ装置に格納されるファイルの管理方法であって、
   前記ストレージ装置を複数のグループに割り当てる処理と、
   前記グループに属するストレージ装置の全てのファイルの所在を示すファイル管理情報を、同一グループのストレージ装置間で同期を取る処理と、
   前記グループにファイルのアクセスがあったときには、前記ファイル管理情報に基づいてストレージ装置を決定する処理と、
   を含むことを特徴とする分散ストレージ装置のファイル管理方法。
2. 前記ファイル管理情報は、自グループのストレージ装置に格納された全てのファイルの所在を含み、
   前記グループにファイルのアクセスがあったときには、自グループの前記ファイル管理情報に基づいてストレージ装置を検索する処理と、
   自グループ内にアクセス対象のファイルがないときには、他のグループに前記ファイルの問い合わせを行う処理と、
   を含むことを特徴とする請求項１に記載の分散ストレージ装置のファイル管理方法。
3. 前記ストレージ装置を複数のグループに割り当てる処理は、
   前記ファイル管理情報を同期させるグループと、
   前記グループが異なるストレージ装置間でレプリカを転送するレプリケーショングループと、を有し、
   前記レプリケーショングループには、前記グループが異なるストレージ装置を割り当てることを特徴とする請求項１に記載の分散ストレージ装置のファイル管理方法。
4. 前記ストレージ装置から他のグループへレプリカを転送する処理と、
   前記転送されたレプリカをストレージ装置に格納する処理と、
   前記格納したレプリカを前記他のグループのファイル管理情報に追加する処理と、
   を含むことを特徴とする請求項１または請求項３に記載の分散ストレージ装置のファイル管理方法。
5. 前記ファイル管理情報は、ファイルの所在を示す識別子と、前記ストレージ装置に格納されたファイルがオリジナルかレプリカのいずれであるかを示す情報を有し、
   前記グループにファイルのアクセスがあったときには、当該アクセスが参照要求のときには、オリジナルまたはレプリカのいずれかのファイルの所在を通知し、当該アクセスが更新要求のときには、オリジナルのファイルの所在を通知することを特徴とする請求項４に記載の分散ストレージ装置のファイル管理方法。
6. 前記ストレージ装置が所属するグループを変更するときには、前記ファイル管理情報から、変更前に属していたグループのファイルの所在に関する情報を削除した後、変更後のグループのファイルの所在に関する情報を前記ファイル管理情報に追加する処理と、
   変更があったことを全グループに通知する処理と、
   を含むことを特徴とする請求項１に記載の分散ストレージ装置のファイル管理方法。
7. 前記ストレージ装置を障害から復旧する際には、同一グループ内の他のストレージ装置のファイル管理情報を取得する処理と、
   前記他のグループに格納されたファイルを取得する処理と、
   を含むことを特徴とする請求項３に記載の分散ストレージ装置のファイル管理方法。
8. アクセス要求を受け付けるサーバと、ファイルを格納するディスク装置とから構成されたストレージ装置を複数分散配置した分散ストレージシステムにおいて、
   前記ストレージ装置毎に設定されたグループを識別するグループ識別部と、
   同一のグループ内のストレージ装置に格納されたファイルの所在を共有するファイル管理情報格納部と、
   前記アクセス要求が更新要求のときには、要求のあったファイルを前記ディスク装置に書き込むとともに、ファイル管理情報格納部のファイルの情報を更新する情報更新部と、
   前記ファイルのレプリカを他のグループのストレージ装置に転送するレプリケーション部とを備えたことを特徴とする分散ストレージシステム。
9. 前記レプリケーション部は、ディスク装置間でボリューム単位のコピーを行い、
   前記サーバはコピー先の他のグループのサーバに対してディスク装置間コピーが発生したことを通知することを特徴とする請求項８に記載の分散ストレージシステム。
10. 前記レプリケーション部は、ディスク装置間でボリューム単位のコピーを行い、
    前記コピー先のディスク装置が、コピー先のサーバに対して通知を行うインターフェースを備えたことを通知することを特徴とする請求項８に記載の分散ストレージシステム。
11. アクセス要求を受け付ける制御部と、ファイルを格納するディスク装置とから構成されたＮＡＳ装置を複数分散配置した分散ストレージシステムにおいて、
    前記ＮＡＳ装置毎に設定されたグループを識別するグループ識別部と、
    同一のグループ内のＮＡＳ装置に格納されたファイルの所在を共有するファイル管理情報格納部と、
    前記アクセス要求が更新要求のときには、要求のあったファイルを前記ディスク装置に書き込むとともに、ファイル管理情報格納部のファイルの情報を更新する情報更新部と、
    前記ファイルのレプリカを他のグループのＮＡＳ装置に転送するレプリケーション部とを備えたことを特徴とする分散ストレージシステム。
12. 前記レプリケーション部は、ディスク装置間でボリューム単位のコピーを行い、
    前記制御部はコピー先の他のグループの制御部に対してディスク装置間コピーが発生したことを通知することを特徴とする請求項１１に記載の分散ストレージシステム。
13. アクセス要求を受け付けて、要求されたファイルについて参照または更新を行うディスク装置を備えたストレージ装置において、
    予め設定されたグループの情報を格納するグループ情報格納部と、
    同一のグループ内のストレージ装置に格納されたファイルの所在を記憶するファイル管理情報格納部と、
    前記ファイルを前記ディスク装置に書き込む際には、前記ファイル管理情報格納部のファイルの情報を更新する情報更新部と、
    同一グループ内のストレージ装置に対してファイル管理情報格納部を同期させる同期部と、
    前記ファイルのレプリカを予め設定された他のグループのストレージ装置に転送するレプリケーション部と、
    を備えたことを特徴とするストレージ装置。
14. ストレージ装置に格納されたファイルを管理するプログラムであって、
    前記ストレージ装置を複数のグループに割り当てる手順と、
    前記割り当てられたグループに属するストレージ装置の全てのファイルの所在を示すファイル管理情報を、同一グループの他のストレージ装置との間で同期を取る手順と、
    前記ファイルのアクセス要求があったときには、前記ファイル管理情報に基づいてストレージ装置を決定する手順と、
    をコンピュータに機能させることを特徴とするプログラム。
15. 前記アクセス要求が更新のときには、ファイルの書き込みを行う手順と、
    前記グループが異なるストレージ装置に対して前記書き込んだファイルのレプリカを転送する手順と、
    を含むことを特徴とする請求項１４に記載のプログラム。
16. 前記グループが異なるストレージ装置から転送されたファイルのレプリカを書き込む処理と、
    当該ファイルの情報を前記ファイル管理情報に追加する手順と、
    を含むことを特徴とする請求項１４に記載のプログラム。

Images