JP7316322B2 - 管理システム、データリバランス管理方法、及びデータリバランス管理プログラム - Google Patents

Description

本発明は、複数のノードにより構成されるストレージシステムにおけるデータのリバランスの技術に関する。

複数台のサーバに搭載された記憶デバイスをソフトウェア機能によって統合し、サーバ上で仮想的なストレージが構成されたＨＣＩ（Ｈｙｐｅｒ―Ｃｏｎｖｅｒｇｅｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）システムが知られている。

ＨＣＩシステムにおいては、各ノードのＩ／Ｏ負荷が不均等になったり、ノードや記憶デバイスを増設したり、交換したりした場合には、データのリバランス処理を実行することが行われる。

リバランス処理によると、使用率の高い記憶デバイスのデータが使用率の低い記憶デバイスに移動される。

関連する技術として、例えば、特許文献１には、計算機システムに含まれる１以上の計算機に接続され圧縮機能を有する記憶デバイスを少なくとも１つ含んだ複数の記憶デバイスに対応した複数の物理容量を示す情報を含んだ容量情報を基に、リバランス機能を有するエンティティに対する論理容量配分に関する定義を含む指示内容を決定する技術が開示されている。

国際公開第２０１８／１０９８１６号

例えば、リバランス処理中は、各ノードのＩ／Ｏ性能が低下し、各ノード上で稼働するシステムの性能へ影響を与えてしまう。このようなリバランス処理による稼働するシステムの性能への影響を回避するために、リバランス処理を、夜間や休日などのシステム停止時にユーザが手動実行することが多く、ユーザの運用負荷を高めている。

本発明は、上記事情に鑑みなされたものであり、その目的は、データのリバランスを適切に行うことのできる技術を提供することにある。

上記目的を達成するため、一観点に係る管理システムは、制御対象の記憶デバイスに対するデータの入出力を制御する複数のノードを有し、所定のデータ単位を複数の記憶デバイスに冗長格納して管理するストレージシステムにおけるデータのリバランスを管理する管理システムであって、前記管理システムは、プロセッサ部を有し、前記プロセッサ部は、複数の前記ノードのデータの入出力の負荷情報を取得し、所定のリバランス対象のデータ単位の送信元として、前記負荷情報に基づいて、前記複数のノードの中からする１つのノードを決定し、前記リバランス対象のデータ単位を、前記決定したノードから所定の転送先のノードに送信させる。

本発明によれば、データのリバランスを適切に行うことができる。

図１は、一実施形態に係る計算機システムの全体構成図である。 図２は、一実施形態に係る計算機の構成図である。 図３は、一実施形態に係るバックアップシステムの構成図である。 図４は、一実施形態に係る管理システムの構成図である。 図５は、一実施形態に係るリバランス優先度テーブルの構成図である。 図６は、一実施形態に係るリバランス経路テーブルの構成図である。 図７は、一実施形態に係る枯渇条件テーブルの構成図である。 図８は、一実施形態に係るノード容量テーブルの構成図である。 図９は、一実施形態に係るノードＩ／Ｏテーブルの構成図である。 図１０は、一実施形態に係るバックアップ情報テーブルの構成図である。 図１１は、一実施形態に係るテーブル更新処理のフローチャートである。 図１２は、一実施形態に係る容量及びＩ／Ｏ情報通知処理のフローチャートである。 図１３は、一実施形態に係るバックアップ情報通知処理のフローチャートである。 図１４は、一実施形態に係るリバランス制御処理のフローチャートである。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号を使用し、同種の要素を区別する場合は、要素のＩＤを使用することがある。例えば、ノードを区別しない場合には、「ノード２２０」と言い、ノードを区別する場合には、「ノードｎ１」、「ノードｎ２」、「ノードｎ３」のようにいう。

また、以下の説明では、「インターフェース部」は、１以上のインターフェースを含む。１以上のインターフェースは、１以上の同種のインターフェースデバイス（例えば１以上のＮＩＣ（Network Interface Card））であってもよいし２以上の異種のインターフェースデバイス（例えばＮＩＣとＨＢＡ（Host Bus Adapter））であってもよい。

また、以下の説明では、「記憶部」は、１以上のメモリを含む。少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。記憶部は、主に、プロセッサ部による処理の際に使用される。

また、以下の説明では、「プロセッサ部」は、１以上のプロセッサを含む。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサである。１以上のプロセッサの各々は、シングルコアでもよいしマルチコアでもよい。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。

また、以下の説明では、「ＡＡＡテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡテーブル」を「ＡＡＡ情報」ということができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。

また、以下の説明では、「ｋｋｋ部」の表現にて処理部（機能）を説明することがあるが、処理部は、１以上のコンピュータプログラムがプロセッサ部によって実行されることで実現されてもよいし、１以上のハードウェア回路（例えばＦＰＧＡまたはＡＳＩＣ（Application Specific Integrated Circuit））によって実現されてもよい。プログラムがプロセッサ部によって処理部が実現される場合、定められた処理が、適宜に記憶資源（例えばメモリ）及び／または通信インターフェースデバイス（例えば通信ポート）等を用いながら行われるため、処理部はプロセッサ部の少なくとも一部とされてもよい。処理部を動作主体として説明された処理は、プロセッサ部あるいはそのプロセッサ部を有する装置が行う処理としてもよい。また、プロセッサ部は、処理の一部または全部を行うハードウェア回路を含んでもよい。プログラムは、プログラムソースからプロセッサにインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各処理部の説明は一例であり、複数の処理部が１つの処理部にまとめられたり、１つの処理部が複数の処理部に分割されたりしてもよい。

また、以下の説明では、「プログラム」を動作主体として処理を説明する場合があるが、プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜に記憶部及びインターフェース部のうちの少なくとも１つを用いながら行うため、処理の動作主体が、プロセッサ部（或いは、プロセッサ部を有する計算機）とされてもよい。プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

図１は、一実施形態に係る計算機システムの全体構成図である。

計算機システム１は、ストレージシステム２０と、管理システム１００と、バックアップシステム３００と、バックアップ装置の一例としてのバックアップ保存装置４００とを含む。ストレージシステム２０と、管理システム１００と、バックアップシステム３００と、バックアップ保存装置４００とは、ネットワーク１０を介して通信可能に接続されている。ネットワーク１０は、例えばＩＰ（Internet Protocol）ネットワークである。なお、バックアップ保存装置４００は、バックアップシステム３００上に構成されてもよく、要は、ネットワーク１０を介してバックアップデータにアクセスできる装置であればよい。

管理システム１００は、マネージャ１１０を実行する。

バックアップシステム３００は、バックアップマネージャ３１０を実行する。バックアップ保存装置４００は、バックアップシステム３００によりバックアップされたストレージシステム２０のボリュームのデータ（バックアップデータ）４１０を格納する。

ストレージシステム２０は、１以上の計算機２００（例えば計算機Ａ及びＢ）を含み、複数のノード２２０を含む。計算機２００は、１以上のノード２２０と、１以上の記憶デバイス２１０とを含む。ノード２２０は、計算機２００において実行されるコンピュータプログラムの一例でよい。計算機２００のノード２２０と、記憶デバイス２１０とは、同数であり、１対１で対応している。図１においては、ノードｎ１～ｎ３は、それぞれ、記憶デバイスＡ～Ｃに対応している。ストレージシステム２０においては、同一のボリューム（データ単位の一例）が冗長性を確保するために、複数のノード２２０に対応する複数の記憶デバイス２１０に格納されている。

図２は、一実施形態に係る計算機の構成図である。

計算機２００は、記憶デバイス２１０と、プロセッサ２１１と、メモリ２１２と、ネットワークＩ／Ｆ（ネットワークインターフェイス）２１３と、を有する。

記憶デバイス２１０は、典型的には、物理的な不揮発性の記憶デバイスであり、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）である。記憶デバイス２１０は、各種データを記憶する。

ネットワークＩ／Ｆ２１３は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、ネットワーク１０を介して他の装置（例えば、管理システム１００、バックアップシステム３００）と通信する。

プロセッサ２１１は、メモリ２１２及び／または記憶デバイス２１０に格納されているプログラムに従って各種処理を実行する。

メモリ２１２は、記憶部の一例であり、ノード２２０を格納する。ノード２２０は、プロセッサ２１１によって実行される。

ノード２２０は、そのノード２２０に対応した記憶デバイス２１０の論理記憶空間を、例えば、計算機２００内のアプリケーションや、計算機２００外のアプリケーションに提供する。ノード２２０は、論理記憶空間に対するＩ／Ｏ要求を受け付け、そのＩ／Ｏ要求に従い、そのノード２２０に対応する記憶デバイス２１０に対してデータのライトまたはリードを実行する（Ｉ／Ｏコマンドを記憶デバイス２１０に送信する）。ノード２２０は、その対応する記憶デバイス２１０に対するライト対象のデータ（ライト対象データのＩ／Ｏ要求）を、例えばデータの冗長性維持のために、他の記憶デバイス２１０に接続されているノード２２０（例えば、他の計算機２００内のノード２２０）に転送することができる。ノード２２０は、例えばＳＤＳ（Software Defined Storage）でよい。ノード２２０は、ストレージサービス２２１を有する。

ストレージサービス２２１は、Ｉ／Ｏ要求を受け付けそのＩ／Ｏ要求に従い記憶デバイス２１０に対してデータのライトまたはリードを実行する仮想的なコントローラである仮想的なストレージコントローラに相当する。ストレージサービス２２１は、容量監視部２２２と、容量通知部２２３と、Ｉ／Ｏ監視部２２４と、Ｉ／Ｏ通知部２２５と、リバランス部２２６と、データ差分管理部２２７と、バックアップ情報監視部２２８と、バックアップ情報通知部２２９とを有する。

容量監視部２２２は、自身が属するノード２２０（自ノードという）に対応する記憶デバイス２１０の論理容量及び物理容量を監視する（例えば定期的にチェックする）。容量通知部２２３は、容量監視部２２２により特定された論理容量及び物理容量をマネージャ１１０に通知する。

Ｉ／Ｏ監視部２２４は、自ノードの記憶デバイス２１０に対するＩ／Ｏ負荷を監視する。Ｉ／Ｏ通知部２２５は、Ｉ／Ｏ監視部２２４により特定されたＩ／Ｏ負荷をマネージャ１１０に通知する。リバランス部２２６は、マネージャ１１０からの指示に従ってデータを転送するリバランス処理を実行する。データ差分管理部２２７は、所定の時点のデータ（ボリューム）からの差分断面を示す情報（差分断面情報）を管理する。バックアップ情報監視部２２８は、自ノードの記憶デバイス２１０のデータのバックアップを監視する。バックアップ情報通知部２２９は、バックアップ情報監視部２２８により特定されたバックアップの情報をマネージャ１１０に通知する。

図３は、一実施形態に係るバックアップシステムの構成図である。

バックアップシステム３００は、プロセッサ３０１と、メモリ３０２と、入力デバイス３０３と、出力デバイス３０４と、ネットワークＩ／Ｆ３０５と、を有する。

入力デバイス３０３は、例えばキーボード及びポインティングデバイスであり、各種入力を受け付ける。出力デバイス３０４は、例えば液晶ディスプレイ等の表示デバイスであり、各種情報を表示出力する。入力デバイス３０３及び出力デバイス３０４を、例えばタッチパネルのような一体構成としてもよい。

ネットワークＩ／Ｆ３０５は、例えば、有線ＬＡＮカードや無線ＬＡＮカードなどのインターフェースであり、ネットワーク１０を介して他の装置（例えば、計算機２００、バックアップ保存装置４００）と通信する。

プロセッサ３０１は、メモリ３０２に格納されているプログラムに従って各種処理を実行する。

メモリ３０２は、記憶部の一例であり、バックアップマネージャ３１０を格納する。バックアップマネージャ３１０は、プロセッサ３０１によって実行される。

バックアップマネージャ３１０は、バックアップサービス３２０を有する。

バックアップサービス３２０は、ストレージシステム２０の記憶デバイス２１０に格納されているデータのバックアップデータを、バックアップ保存装置４００に格納させる処理を行う。データのバックアップは、例えば、ボリューム（データ単位の一例）を単位として行われる。バックアップサービス３２０は、バックアップ情報通知部３２１を有する。バックアップ情報通知部３２１は、記憶デバイス２１０に格納されているデータのバックアップに関する情報（バックアップ情報）を計算機２００に送信する。バックアップ情報は、バックアップしたボリュームの識別子（ボリュームＩＤ）と、バックアップしたデータのバックアップ時のデータ差分断面情報と、バックアップハッシュとを含む。

図４は、一実施形態に係る管理システムの構成図である。

管理システム１００は、プロセッサ１０１と、メモリ１０２と、入力デバイス１０３と、出力デバイス１０４と、ネットワークＩ／Ｆ１０５と、を有する。

入力デバイス１０３は、例えばキーボード及びポインティングデバイスであり、各種入力を受け付ける。出力デバイス１０４は、例えば液晶ディスプレイ等の表示デバイスであり、各種情報を表示出力する。入力デバイス１０３及び出力デバイス１０４を、例えばタッチパネルのような一体構成としてもよい。

プロセッサ１０１は、メモリ１０２に格納されているプログラムに従って各種処理を実行する。

メモリ１０２は、記憶部の一例であり、マネージャ１１０を格納する。ネージャ１１０は、プロセッサ１０１によって実行される。

マネージャ１１０は、データマネージメントサービス１１１を有する。

データマネージメントサービス１１１は、ノード２２０から各種情報を取得し、各種情報に基づいて、リバランスするデータ単位の送信経路（少なくとも送信元のノード）を決定し、決定した内容に対応するデータのリバランス処理の指示をノード２２０に送信する処理を実行する。データマネージメントサービス１１１は、テーブル設定部１１８と、容量情報受信部１１９と、Ｉ／Ｏ情報受信部１２０と、枯渇検知部１２１と、バックアップ情報受信部１２２と、バックアップデータ検知部１２３と、リバランス選択部１２４と、リバランス指示部１２５とを有する。また、データマネージメントサービス１１１は、リバランス優先度テーブル１１２と、リバランス経路テーブル１１３と、枯渇条件テーブル１１４と、ノード容量テーブル１１５と、ノードＩ／Ｏテーブル１１６と、バックアップ情報テーブル１１７とを管理する。

テーブル設定部１１８は、テーブル１１２～１１４の設定及び更新を行う。容量情報受信部１１９は、各ノード２２０から記憶デバイス２１０の容量情報を受信し、ノード容量テーブル１１５に登録する。Ｉ／Ｏ情報受信部１２０は、各ノード２２０から記憶デバイス２１０のＩ／Ｏ情報を受信し、ノードＩ／Ｏテーブル１１６に登録する。枯渇検知部１２１は、各ノード２２０の記憶デバイス２１０の容量枯渇を検知する。バックアップ情報受信部１２２は、バックアップシステム３００からバックアップしたデータのバックアップ情報を受信し、バックアップ情報テーブル１１７に登録する。バックアップデータ検知部１２３は、データのバックアップデータが存在するか否かを検知する。リバランス選択部１２４は、リバランス対象のボリュームのデータを転送する経路を選択する処理を行う。リバランス指示部１２５は、リバランス選択部１２４により選択された経路でボリュームを転送させる指示をノード２２０のリバランス部２２６に送信する。

図５は、一実施形態に係るリバランス優先度テーブルの構成図である。

リバランス優先度テーブル１１２は、リバランス処理の優先度を管理するテーブルであり、リバランス処理毎のエントリ（行）を格納する。リバランス優先度テーブル１１２のエントリは、リバランスＩＤ１１２ａと、ボリュームＩＤ１１２ｂと、優先度１１２ｃとのカラムを有する。

リバランスＩＤ１１２ａには、リバランス処理を識別する識別子（リバランスＩＤ）が格納される。ボリュームＩＤ１１２ｂには、エントリに対応するリバランス処理の対象となるボリュームの識別子（ボリュームＩＤ）が格納される。優先度１１２ｃには、エントリに対応するリバランス処理の優先度が格納される。本実施形態では、優先度の値が小さいほど優先度が高いことを表している。

例えば、１番目の行によれば、リバランスＩＤがｒ１で識別されるリバランス処理は、ボリュームＩＤがｖ２，ｖ３のボリュームが対象であり、リバランス処理の優先度が“２”であることを示している。また、１番目の行と２番目の行とによれば、ボリュームＩＤがｖ１のボリュームのリバランス処理より、ボリュームＩＤがｖ２，ｖ３のボリュームのリバランス処理の方が、優先度が高い（値が小さい）ことから、ボリュームＩＤがｖ１のボリュームのリバランス処理を優先して実施することを示している。

図６は、一実施形態に係るリバランス経路テーブルの構成図である。

リバランス経路テーブル１１３は、リバランスを行う経路を管理するテーブルであり、経路毎のエントリを格納する。経路は、少なくともノードを含み、ケーブルや、通信Ｉ／Ｆの物理的なポートや、仮想的ポートを含んでもよい。リバランス経路テーブル１１３のエントリは、ノードＩＤ１１３ａと、ボリュームＩＤ１１３ｂと、経路ＩＤ１１３ｃとのカラムを有する。

ノードＩＤ１１３ａには、エントリに対応する経路に属するノード２２０の識別子（ノードＩＤ）が格納される。なお、本実施形態では、ノードＩＤ１１３ａには、ノード２２０ではないが、バックアップ保存装置４００を示すＩＤも格納される。図６では、ｂ１のように、ｂが含まれるノードＩＤがバックアップ保存装置のＩＤを示している。ボリュームＩＤ１１３ｂには、エントリに対応する経路でリバランス（転送）できるボリュームのＩＤ（ボリュームＩＤ）が格納される。経路ＩＤ１１３ｃには、エントリに対応する経路のＩＤ（経路ＩＤ）が格納される。ここで、経路としては、ノード２２０を含み、ケーブルや、Ｉ／Ｆの物理的なポートや、仮想的なポートを含んでもよい。

リバランス経路テーブル１１３においては、同一のボリュームに対して複数の経路が登録されている。

例えば、２番目の行によれば、ボリュームＩＤがｖ３のボリュームについて、ノードＩＤがｎ１のノード２２０（ノードｎ１）に繋がる経路ＩＤがｅ５の経路があることを示し、４番目の行によれば、ボリュームＩＤがｖ３のボリュームについて、ノードＩＤがｎ３のノード２２０（ノードｎ３）に繋がる経路ＩＤがｅ１０の経路があることを示している。これら行によると、ボリュームＩＤがｖ３のボリュームは、ノードｎ１に繋がるｅ５の経路と、ノードｎ３に繋がるｅ１０の経路とのいずれかの経路により転送することができることがわかる。

図７は、一実施形態に係る枯渇条件テーブルの構成図である。

枯渇条件テーブル１１４は、枯渇条件に関する情報を格納する。枯渇条件テーブル１１４は、ノード２２０毎のエントリを格納する。枯渇条件テーブル１１４のエントリは、ノードＩＤ１１４ａと、容量枯渇条件１１４ｂと、Ｉ／Ｏ帯域枯渇条件１１４ｃとのカラムを有する。

ノードＩＤ１１４ａには、エントリに対応するノード２２０のノードＩＤが格納される。容量枯渇条件１１４ｂには、エントリに対応するノード２２０での記憶デバイス２１０の記憶容量が枯渇していると判断される枯渇条件（容量枯渇条件）が格納される。Ｉ／Ｏ帯域枯渇条件１１４ｃには、エントリに対応するノード２２０でのＩ／Ｏ帯域が枯渇していると判断される枯渇条件（Ｉ／Ｏ帯域枯渇条件）が格納される。

例えば、１番目の行によれば、ノードｎ１の容量枯渇条件は、記憶デバイス２１０の残りの物理容量（物理残容量）が１０ＧＢ未満であり、Ｉ／Ｏ帯域枯渇条件は、ノードｎ１のＩ／Ｏ帯域の残量（残Ｉ／Ｏ帯域量）が１０ｋｂｐｓ未満であることを示している。

図８は、一実施形態に係るノード容量テーブルの構成図である。

ノード容量テーブル１１５は、ノード２２０に対応する記憶デバイス２１０の論理容量及び物理容量の情報を格納する。ノード容量テーブル１１５は、ノード毎のエントリを格納する。ノード容量テーブル１１５のエントリは、ノードＩＤ１１５ａと、論理使用容量１１５ｂと、論理残容量１１５ｃと、物理使用容量１１５ｄと、物理残容量１１５ｅとのカラムを有する。

ノードＩＤ１１５ａには、エントリに対応するノード２２０のノードＩＤが格納される。論理使用容量１１５ｂには、エントリに対応するノード２２０に対応する記憶デバイス２１０の記憶領域の論理的な容量（論理容量）の中の使用している容量（論理使用容量）が格納される。論理残容量１１５ｃには、エントリに対応するノード２２０に対応する記憶デバイス２１０の論理容量の中の未使用で残っている容量（論理残容量）が格納される。物理使用容量１１５ｄには、エントリに対応するノード２２０に対応する記憶デバイス２１０の記憶領域の物理的な容量（物理容量）の中の使用している容量（物理使用容量）が格納される。物理残容量１１５ｅには、エントリに対応するノード２２０に対応する記憶デバイス２１０の物理容量の中の未使用で残っている容量（物理残容量）が格納される。

例えば、１番目の行によれば、ノードｎ１の論理使用容量が４００ＧＢであり、論理残容量が２００ＧＢであり、物理使用容量が６０ＧＢであり、物理残容量が１４０ＧＢであることを示している。

図９は、一実施形態に係るノードＩ／Ｏテーブルの構成図である。

ノードＩ／Ｏテーブル１１６は、経路毎のＩ／Ｏ負荷情報を格納する。ノードＩ／Ｏテーブル１１６は、経路毎のエントリを格納する。ノードＩ／Ｏテーブル１１６のエントリは、経路ＩＤ１１６ａと、ノードＩＤ１１６ｂと、Ｉ／Ｏ帯域使用量１１６ｃと、残Ｉ／Ｏ帯域量１１６ｄとのカラムを有する。

経路ＩＤ１１６ａには、エントリに対応する経路の経路ＩＤが格納される。ノードＩＤ１１６ｂには、エントリに対応する経路に含まれるノード２２０のノードＩＤが格納される。Ｉ／Ｏ帯域使用量１１６ｃには、エントリに対応する経路におけるＩ／Ｏ帯域の使用量（Ｉ／Ｏ帯域使用量）が格納される。残Ｉ／Ｏ帯域量１１６ｄには、エントリに対応する経路における残っているＩ／Ｏ帯域の量（残Ｉ／Ｏ帯域量）が格納される。

例えば、１番目の行によれば、経路ｅ１は、ノードｎ１が含まれており、Ｉ／Ｏ帯域使用量が３００ｋｂｐｓであり、残Ｉ／Ｏ帯域量が０ｋｂｐｓであることを示している。

図１０は、一実施形態に係るバックアップ情報テーブルの構成図である。

バックアップ情報テーブル１１７は、バックアップシステム３００によりバックアップされたボリュームの情報（バックアップ情報）を格納する。バックアップ情報テーブル１１７は、ボリュームのバックアップ処理毎のエントリを格納する。バックアップ情報テーブル１１７のエントリは、バックアップＩＤ１１７ａと、ボリュームＩＤ１１７ｂと、データ差分断面情報１１７ｃと、バックアップハッシュ１１７ｄとのカラムを有する。

バックアップＩＤ１１７ａには、エントリに対応するバックアップ処理に対応する識別子（バックアップＩＤ）が格納される。ボリュームＩＤ１１７ｂには、エントリに対応するバックアップ処理の対象のボリュームのボリュームＩＤが格納される。データ差分断面情報１１７ｃには、エントリに対応するボリュームの所定の時点の状態との差分部分を特定可能な情報（データ差分断面情報）を示す情報が格納される。このデータ差分断面情報を比較することにより、同一のボリュームに対して差分がある部分を把握することができる。バックアップハッシュ１１７ｄには、エントリに対応するボリュームについてのハッシュ値が格納される。

例えば、１番目の行によれば、バックアップＩＤがｂ１のバックアップ処理では、ボリュームＩＤがｖ２のボリュームをバックアップし、そのボリュームのデータ差分断面情報が２０２００１０５＿ｖ０００２＿１０９２１３１のデータであり、ボリュームのハッシュ値が７８ｔｆｆａ９７８ｓ３ｊであることを示している。

次に、計算機システム１における処理動作について説明する。

まず、管理システム１００によるテーブル更新処理について説明する。

図１１は、一実施形態に係るテーブル更新処理のフローチャートである。テーブル更新処理は、ユーザ（例えば管理者）により設定が更新される際に実施される。

テーブル設定部１１８は、ユーザから、入力デバイス１０３経由で、各ノード２２０に関する情報（例えばノードＩＤ）の入力を受ける（ステップＳ１１）。

テーブル設定部１１８は、ユーザから、入力デバイス１０３経由で、ノード２２０について、そのノード２２０に対応した記憶デバイス２１０の枯渇条件に関する情報の入力を受ける（ステップＳ１２）。

テーブル設定部１１８は、ステップＳ１１，Ｓ１２で受けた情報を枯渇条件テーブル１１４に登録する、すなわち、枯渇条件テーブル１１４を更新する（ステップＳ１３）。この際、記憶デバイス２１０とノード２２０は1対１で対応しているため、テーブル設定部１１８は、記憶デバイス２１０に関する情報からノード２２０を一意に決定することができる。なお、容量枯渇条件１１４ｂと、Ｉ／Ｏ帯域枯渇条件１１４ｃとに予め初期値が登録されていてもよい。この場合には、ステップＳ１２をスキップしてもよい。

テーブル設定部１１８は、ユーザから、入力デバイス１０３経由で、ノード２２０が有するリバランス部２２６の機能に関する情報（例えば、リバランスＩＤ、ボリュームＩＤ）を受ける（ステップＳ１４）。

テーブル設定部１１８は、ユーザから、入力デバイス１０３経由で、リバランス部２２６によるリバランス処理の優先度に関する情報（例えば優先度の値）を受ける（ステップＳ１５）。

テーブル設定部１１８は、ステップＳ１４，Ｓ１５で受けた情報をリバランス優先度テーブル１１２に登録する、つまり、リバランス優先度テーブル１１２を更新する（ステップＳ１６）。なお、リバランスＩＤ及びボリュームＩＤは、予めリバランス優先度テーブル１１２に登録されていてもよい。この場合には、ステップＳ１４をスキップしてもよい。

テーブル設定部１１８は、ユーザから、入力デバイス１０３経由で、ノード２２０が有するボリュームをバックアップしたバックアップデータに関する情報（例えば、ボリュームＩＤ、そのボリュームのバックアップ先のバックアップ保存装置４００のＩＤ）を受ける（ステップＳ１７）。

テーブル設定部１１８は、ユーザから、入力デバイス１０３経由で、ボリュームのリバランス処理における経路（リバランス経路）に関する情報（例えば経路ＩＤ）を受ける（ステップＳ１８）。

テーブル設定部１１８は、ステップＳ１７，Ｓ１８で受けた情報をリバランス経路テーブル１１３に登録する、つまり、リバランス経路テーブル１１３を更新する（ステップＳ１９）。

次に、計算機２００の各ノード２２０のストレージサービス２２１により実施される容量及びＩ／Ｏ情報通知処理について説明する。

図１２は、一実施形態に係る容量及びＩ／Ｏ情報通知処理のフローチャートである。この容量及びＩ／Ｏ情報通知処理は、例えば、定期的に実施される。ここで、図１２の説明において、ストレージサービス２２１を含んだノード２２０を対象ノード２２０といい、対象ノード２２０に対応する記憶デバイス２１０を対象記憶デバイス２１０という。

容量監視部２２２は、対象記憶デバイス２１０に容量情報を要求し（ステップＳ２１）、対象記憶デバイス２１０から容量情報として、対象記憶デバイス２１０の論理使用容量、論理残容量、物理使用容量、及び物理残容量を示す情報を受信する（ステップＳ２２）。

Ｉ／Ｏ監視部２２４は、対象ノード２２０から、対象ノード２２０におけるＩ／Ｏ情報として、対象ノード２２０の各経路におけるＩ／Ｏ帯域使用量及び残Ｉ／Ｏ帯域量を取得する（ステップＳ２３）。

容量通知部２２３及びＩ／Ｏ通知部２２５は、ステップＳ２２で容量監視部２２２が受信した容量情報と、ステップＳ２３でＩ／Ｏ監視部２２４が取得したＩ／Ｏ情報とを管理システム１００のマネージャ１１０に通知する（ステップＳ２４）。なお、管理システム１００のマネージャ１１０は、容量情報及びＩ／Ｏ情報を受信する度に、次のような更新処理を実施する。すなわち、容量情報受信部１１９は、受信した容量情報（論理使用容量、論理残容量、物理使用容量及び物理残容量を示す情報）を、ノード容量テーブル１１５に登録し、Ｉ／Ｏ情報受信部１２０は、受信したＩ／Ｏ情報（対象ノード２２０の各経路におけるＩ／Ｏ帯域使用量及び残Ｉ／Ｏ帯域量）を、ノードＩ／Ｏテーブル１１６に登録する。これにより、管理システム１００においては、ノード容量テーブル１１５及びノードＩ／Ｏテーブル１１６には、各ノード２２０における最新の状態が反映されることとなる。

次に、計算機２００の各ノード２２０のストレージサービス２２１により実施されるバックアップ情報通知処理について説明する。

図１３は、一実施形態に係るバックアップ情報通知処理のフローチャートである。このバックアップ情報通知処理は、例えば、定期的に実施される。

バックアップ情報監視部２２８は、バックアップシステム３００にバックアップ情報を要求し（ステップＳ４１）、バックアップシステム３００のバックアップマネージャ３１０からバックアップ情報として、バックアップしたボリュームに対応するバックアップＩＤと、データ差分断面情報、及びバックアップハッシュを受信する（ステップＳ４２）。

バックアップ情報通知部２２９は、ステップＳ４２でバックアップ情報監視部２２８が受信したバックアップ情報を管理システム１００のマネージャ１１０に通知する（ステップＳ４３）。なお、管理システム１００のマネージャ１１０は、バックアップ情報を受信する度に、次のような更新処理を実施する。すなわち、バックアップ情報受信部１２２は、受信したバックアップ情報を、バックアップ情報テーブル１１７に登録する。これにより、管理システム１００においては、バックアップ情報テーブル１１７には、バックアップシステム３００でバックアップされたボリュームについての最新の状態が反映されることとなる。

次に、管理システム１００のマネージャ１１０により実施されるリバランス制御処理について説明する。

図１４は、一実施形態に係るリバランス制御処理のフローチャートである。リバランス制御処理は、定期的に実施されてもよい。また、リバランス制御処理は、各ノード２２０に対応する記憶デバイス２２１０の物理容量の使用率（物理容量使用率）の差が所定の閾値を超えた時に実施されてもよい。例えば、閾値を２０％とし、ノードｎ１、ノードｎ２、ノードｎ３の物理容量使用率が２０％，３０％、５０％とすると、ノードｎ１とノードｎ３との物理容量使用率の差が３０％であり、閾値を超えているので、リバランス制御処理を実行するようにしてもよい。

枯渇検知部１２１は、枯渇検知処理を実施していないノードである未実施ノードがあるか否かを判定する（ステップＳ５１）。この結果、未実施ノードがない場合（ステップＳ５１：ＮＯ）には、枯渇検知部１２１は、リバランス制御処理を終了する。

一方、未実施ノードがある場合（ステップＳ５１：ＹＥＳ）、枯渇検知部１２１は、未実施ノードに対応した記憶デバイス２１０が容量枯渇しているか否かを、枯渇条件テーブル１１４とノード容量テーブル１１５を参照して判断する（ステップＳ５２）。

例えば、図７の枯渇条件テーブル１１４において、ノードｎ１の枯渇条件から、ノードｎ１では、物理残容量が１０ＧＢ未満である時に枯渇と判断される。ノード容量テーブル１１５において、ノードｎ１は、論理残容量は２００ＧＢであり、物理残容量は１４０ＧＢである。ノードｎ１の枯渇条件が満たされていないため、ノードｎ１については枯渇と判断されない。一方、例えば、枯渇条件テーブル１１４において、ノードｎ２の枯渇条件から、ノードｎ２では物理残容量が１０ＧＢ未満の時に枯渇と判断される。ノード容量テーブル１１５において、ノードｎ２の論理残容量は２００ＧＢであり、物理残容量は８ＧＢである。ノードｎ２の枯渇条件が満たされているため、ノードｎ２については枯渇と判断される。

ステップＳ５２において、枯渇が検知されない場合（ステップＳ５２：ＮＯ）、枯渇検知部１２１は、処理をステップＳ５１に進める。

一方、ステップＳ５２で、枯渇が検知された場合（ステップＳ５２：ＹＥＳ）、リバランス選択部１２４は、枯渇条件テーブル１１４、リバランス経路テーブル１１３、及びリバランス優先度テーブル１１２を参照して枯渇に対象可能なリバランス処理を検索し、リバランス処理を実施できるか否かを判定する（ステップＳ５３）。このように枯渇が検知された場合にリバランス処理の検索へと進むので、枯渇が検知されないといったリバランスが不要状況のときにまでリバランス処理を走らせることを避けることができる。

例えば、ステップＳ５２でノードｎ２における枯渇が検知されている場合、リバランス選択部１２４は、リバランス経路テーブル１１３からノードｎ２に対応する記憶デバイス２１０にはボリュームｖ１が格納されていることがわかる。また、リバランス優先度テーブル１１２から、ボリュームｖ１はリバランス処理ｒ２でリバランスが実施可能なことがわかる。

ステップＳ５３において、リバランス処理を実施できないと判定した場合（ステップＳ５３：ＮＯ）、リバランス選択部１２４は、容量不足である警告をユーザに通知し（例えば警告を出力デバイス１０４に表示し）（ステップＳ６１）、処理をステップＳ５１に進める。

一方、実施可能なリバランス処理が見つかった場合（ステップＳ５３：ＹＥＳ）、リバランス選択部１２４は、リバランス優先度テーブル１１２を参照して、実施するリバランス処理を選択する（ステップＳ５４）。例えば、もし仮に、ボリュームｖ１と、ボリュームｖ３に対するリバランス処理が実施可能である場合には、リバランス優先度テーブル１１２の優先度１１２ｃを参照すると、ボリュームｖ１についてのリバランス処理（リバランスＩＤｒ２）の優先度は、“１”であり、ボリュームｖ３についてのリバランス処理（リバランスＩＤｒ１）の優先度は“２”であり、リバランス処理（リバランスＩＤｒ２）の優先度が最も高いことがわかる。このため、リバランス選択部１２４は、リバランスＩＤがｒ２のリバランス処理を選択する。このように、複数のリバランス処理を実施可能な場合には優先度の最も高いリバランス処理を優先して選択することができる。

次いで、リバランス選択部１２４は、リバランス経路テーブル１１３とノードＩ／Ｏテーブル１１６と、を参照し、リバランス処理に対する設定情報に従って、リバランス処理の対象のボリューム（対象ボリューム）についてのリバランスで使用する経路を選択する（ステップＳ５５）。

ここで、リバランス処理に対する設定情報は、例えば、ユーザによって予め設定されている情報であり、ストレージシステム２０のノード２２０の性能を優先する性能優先設定（第１設定）と、データを転送先のノード２２０が使用可能となるまでの速度（転送処理効率）を優先する速度優先設定（第２設定）とがある。

性能優先設定の場合には、リバランス選択部１２４は、リバランス経路テーブル１１３を参照し、対象ボリュームを含む経路を特定し、ノードＩ／Ｏテーブル１１６を参照し、特定した経路の中でＩ／Ｏ負荷が最も低い（例えば、残Ｉ／Ｏ帯域量が最も多い）経路を1つ選択する。これにより、対象ボリュームの転送元のノード２２０が決定される。

一方、速度優先設定の場合には、リバランス選択部１２４は、リバランス経路テーブル１１３を参照し、対象ボリュームを含む全ての経路を特定し、それらの経路が複数あれば、その中の複数の経路を選択する。ここで、選択する複数の経路は、特定した全ての経路であってもよいし、複数の経路の中の一部の経路でもよい。また、リバランス選択部１２４は、特定した経路の中のＩ／Ｏ負荷が所定の負荷以下である複数の経路を選択するようにしてもよい。これにより、対象ボリュームの転送元の複数のノード２２０が決定される。

次いで、リバランス選択部１２４は、ステップＳ５４で選択されたリバランス処理を、ステップＳ５５で決定された経路によりリバランス処理を実行させるための指示内容を決定する（ステップＳ５６）。なお、同一のボリュームについて複数の経路によりリバランスする場合には、各経路毎に同一のボリュームの異なる範囲を並行して転送させる指示内容に決定する。なお、指示内容において、対象ボリュームの送信先のノードは、所定のノード、例えば、物理残容量が多いノードとしてもよい。

次いで、リバランス選択部１２４は、指示内容がバックアップデータを利用する内容が含まれているか否かを判定する（ステップＳ５７）。

この結果、指示内容がバックアップデータを利用する内容が含まれていない場合（ステップＳ５７：ＮＯ）には、リバランス選択部１２４は、処理をステップＳ５９に進める一方、指示内容がバックアップデータを利用する内容が含まれている場合（ステップＳ５７：ＹＥＳ）には、リバランス選択部１２４は、指示内容に対して、バックアップデータに対して、現在のデータとの差分を解消させるための指示（差分追い付き指示：例えば、バックアップデータのデータ差分断面情報）を含め（ステップＳ５８）、処理をステップＳ５９に進める。

ステップＳ５９では、リバランス指示部１２５は、リバランス選択部１２４によって作成された指示内容を、リバランス処理に関与するノード２２０（例えば、経路におけるデータの送信元となるノード）に対して送信する。

指示内容を受信したノード２２０のリバランス部２２６は、指示内容に従ってリバランス処理を実行する。例えば、リバランス部２２６は、指示内容に従った経路により対象ボリュームを、転送先に転送する。また、指示内容に差分追い付き指示が含まれている場合には、データ差分管理部２２７は、指示に含まれるデータ差分断面情報と、バックアップデータに対応する対象ボリュームの現在のデータ差分断面情報とに基づいて、対象ボリュームとバックアップデータとの差分を特定し、その差分に対応するデータを、リバランス先に送信し、差分に対応するデータにより更新させる。リバランス部２２６は、リバランスが終了した場合には、リバランス終了をマネージャ１１０に返す。

マネージャ１１０のリバランス指示部１２５は、リバランス部２２６からリバランス終了の通知を受信すると（ステップＳ６０）、処理をステップＳ５１に進める。

上記したリバランス制御処理によると、性能優先設定がされている場合においては、Ｉ／Ｏ負荷が最も少ない1つの経路（例えば、ノード２２０）を用いて、対象ボリュームが転送されることとなる。これにより、ストレージシステム２０におけるリバランス処理による性能の低下の影響を低減することができる。また、ノード２２０でなく、バックアップ保存装置４００を含む経路により対象ボリュームを転送するようにすると、ストレージシステム２０の性能の低下を防止することができる。

また、速度優先設定がされている場合においては、複数のノード２２０を含む複数の経路により対象ボリュームの異なる部分が並行して転送されることとなる。これにより、転送先のノード２２０に対して早期に対象ボリュームを転送させることができ、転送先のノード２２０の対象ボリュームを早期に利用可能にすることができる。

なお、リバランス制御処理は、定期的に実行することに限られず、例えば、ストレージシステム２０に対して新たなノード２２０を追加した場合や、ストレージシステム２０の故障したノード２２０を新たなノード２２０に交換した場合に実行するようにしてもよい。この場合におけるリバランス制御処理としては、例えば、新たなノード２２０に対してリバランス処理で転送すべき各ボリュームを対象に、ステップＳ５４～Ｓ６０の処理を繰り返し実行するようにすればよい。

なお、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

例えば、上記実施形態では、計算機システム１に、バックアップシステム３００及びバックアップ保存装置４００を備えるようにしていたが、バックアップシステム３００及びバックアップ保存装置４００を備えていなくてもよい。

また、上記実施形態では、リバランス処理の設定として、ノードの性能を優先する性能優先設定と、データを転送先のノードが使用可能となるまでの速度を優先する速度優先設定とを選択して設定可能であったが、本発明はこれに限られず、性能優先設定または速度優先設定のいずれかに固定的に設定されていてもよい。

１…計算機システム、１０…ネットワーク、２０…ストレージシステム、１００…管理システム、１０１…プロセッサ、１１０…マネージャ、２００…計算機、２１０…記憶デバイス、２２０…ノード、３００…バックアップシステム、４００…バックアップ保存装置

Claims (8)

1. 制御対象の記憶デバイスに対するデータの入出力を制御する複数のノードを有し、所定のデータ単位を複数の記憶デバイスに冗長格納して管理するストレージシステムにおけるデータのリバランスを管理する管理システムであって、
   前記管理システムは、プロセッサ部を有し、
   前記プロセッサ部は、
   複数の前記ノードのデータの入出力の負荷情報を取得し、
   所定のリバランス対象のデータ単位の送信元として、前記負荷情報に基づいて、前記複数のノードの中から１つのノードを決定し、
   前記リバランス対象のデータ単位を、前記決定したノードから所定の転送先のノードに送信させ、
   前記プロセッサ部は、
   リバランス対象のデータ単位の転送に対して、各ストレージシステムの性能維持を重視する第１設定、または前記データ単位の転送処理効率を重視する第２設定とのいずれかの設定を受け付け、
   前記第１設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記負荷情報に基づいて、前記複数のノードの中から１つのノードを決定し、
   前記第２設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスに接続された複数のノードの中の複数のノードを決定し、
   所定のリバランス対象のデータ単位の送信元として、複数のノードが決定された場合に、前記リバランス対象のデータ単位の異なる部分を前記複数のノードから所定の転送先のノードに並行して送信させる
   管理システム。
2. 前記プロセッサ部は、
   前記第２設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記負荷情報に基づいて、前記リバランス対象のデータ単位を格納している記憶デバイスに接続された複数のノードの中から複数のノードを決定する
   請求項１に記載の管理システム。
3. 前記プロセッサ部は、
   所定のリバランス対象のデータ単位の送信元として、前記負荷情報が所定の負荷以下の複数のノードを決定する
   請求項２に記載の管理システム。
4. 前記負荷情報は、各データ単位にアクセスできる経路毎の負荷情報であり、
   前記プロセッサ部は、
   前記負荷情報に基づいて、所定のリバランス対象のデータ単位を送信する経路として、前記負荷情報に基づいて、前記リバランス対象のデータ単位を送信可能な経路の中から１つの経路を決定し、
   前記リバランス対象のデータ単位を、前記決定した経路により読み出して所定の転送先のノードに送信させる
   請求項１に記載の管理システム。
5. 前記ストレージシステムに格納されているデータ単位について所定の時点のデータが所定のバックアップ装置に格納されており、
   前記プロセッサ部は、前記バックアップ装置に格納されているデータ単位を示すバックアップ情報を取得し、
   前記バックアップ情報に基づいて、前記リバランス対象のデータ単位が前記バックアップ装置に格納されているか否かを判定し、
   所定のリバランス対象のデータ単位の所定時点のデータがバックアップ装置に格納されている場合に、所定のリバランス対象のデータ単位の送信元を、前記バックアップ装置に決定し、
   前記バックアップ装置から読み出して前記転送先のノードに接続された記憶デバイスに格納させるとともに、前記格納されたデータに対して前記所定の時点からの前記データ単位の変更差分を反映させる
   請求項１に記載の管理システム。
6. 前記ストレージシステムに格納されているデータ単位について所定の時点のデータ単位のデータが所定のバックアップ装置に格納されており、
   前記プロセッサ部は、前記バックアップ装置に格納されているデータ単位を示すバックアップ情報を取得し、
   所定のリバランス対象のデータ単位の所定時点のデータがバックアップ装置に格納されている場合に、前記所定のリバランス対象のデータ単位の送信元として、前記負荷情報と前記バックアップ装置の入出力の負荷情報とに基づいて、前記複数のノードと前記バックアップ装置との中から１つを決定し、
   送信元として前記バックアップ装置が決定された場合に、前記バックアップ装置から読み出して前記転送先のノードに接続された記憶デバイスに格納させるとともに、前記格納されたデータに対して前記所定の時点からの前記データ単位の変更差分を反映させる
   請求項１に記載の管理システム。
7. 制御対象の記憶デバイスに対するデータの入出力を制御する複数のノードを有し、所定のデータ単位を複数の記憶デバイスに冗長格納して管理するストレージシステムによるデータのリバランスを管理する管理システムによるデータリバランス管理方法であって、
   前記管理システムは、
   複数の前記ノードのデータの入出力の負荷情報を取得し、
   所定のリバランス対象のデータ単位の送信元として、前記負荷情報に基づいて、前記複数のノードの中から１つのノードを決定し、
   前記リバランス対象のデータ単位を、前記決定したノードから所定の転送先のノードに送信させ、
   リバランス対象のデータ単位の転送に対して、各ストレージシステムの性能維持を重視する第１設定、または前記データ単位の転送処理効率を重視する第２設定とのいずれかの設定を受け付け、
   前記第１設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記負荷情報に基づいて、前記複数のノードの中から１つのノードを決定し、
   前記第２設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスに接続された複数のノードの中の複数のノードを決定し、
   所定のリバランス対象のデータ単位の送信元として、複数のノードが決定された場合に、前記リバランス対象のデータ単位の異なる部分を前記複数のノードから所定の転送先のノードに並行して送信させる
   データリバランス管理方法。
8. 制御対象の記憶デバイスに対するデータの入出力を制御する複数のノードを有し、所定のデータ単位を複数の記憶デバイスに冗長格納して管理するストレージシステムにおけるデータのリバランスを管理するコンピュータに実行されるデータリバランス管理プログラムであって、
   前記コンピュータに、
   複数の前記ノードのデータの入出力の負荷情報を取得させ、
   所定のリバランス対象のデータ単位の送信元として、前記負荷情報に基づいて、前記複数のノードの中から１つのノードを決定させ、
   前記リバランス対象のデータ単位を、前記決定したノードから所定の転送先のノードに送信させ、
   リバランス対象のデータ単位の転送に対して、各ストレージシステムの性能維持を重視する第１設定、または前記データ単位の転送処理効率を重視する第２設定とのいずれかの設定を受け付けさせ、
   前記第１設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記負荷情報に基づいて、前記複数のノードの中から１つのノードを決定させ、
   前記第２設定を受け付けている場合に、所定のリバランス対象のデータ単位の送信元として、前記リバランス対象のデータ単位を格納している記憶デバイスに接続された複数のノードの中の複数のノードを決定させ、
   所定のリバランス対象のデータ単位の送信元として、複数のノードが決定された場合に、前記リバランス対象のデータ単位の異なる部分を前記複数のノードから所定の転送先のノードに並行して送信させる
   データリバランス管理プログラム。