JP5309816B2 - Data management program, data management apparatus, and data management method - Google Patents
Data management program, data management apparatus, and data management method Download PDFInfo
- Publication number
- JP5309816B2 JP5309816B2 JP2008230661A JP2008230661A JP5309816B2 JP 5309816 B2 JP5309816 B2 JP 5309816B2 JP 2008230661 A JP2008230661 A JP 2008230661A JP 2008230661 A JP2008230661 A JP 2008230661A JP 5309816 B2 JP5309816 B2 JP 5309816B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- slice
- save
- storage
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は複数のストレージ装置に格納されたデータを管理するためのデータ管理プログラム、データ管理装置、およびデータ管理方法に関し、特に二重化されたデータを管理するためのデータ管理プログラム、データ管理装置、およびデータ管理方法に関する。 The present invention relates to a data management program, a data management device, and a data management method for managing data stored in a plurality of storage devices, and more particularly to a data management program, a data management device, and a data management program for managing duplicated data. The present invention relates to a data management method.
コンピュータシステムでは、多数のユーザが使用する大量のデータを管理する必要がある。このような大量のデータを管理するためのシステムの１つとして、マルチノードストレージシステムがある。 In a computer system, it is necessary to manage a large amount of data used by many users. One system for managing such a large amount of data is a multi-node storage system.
マルチノードストレージシステムは、複数のノードで構成されるストレージシステムである。例えば、マルチノードストレージシステムには、アクセスノード、制御ノード、およびディスクノードで構成される。アクセスノードは、ディスクノードに格納されたデータへのアクセス環境をユーザに提供するコンピュータである。ユーザは、アクセスノードに対してデータへのアクセス要求を出すことで、ディスクノードに格納されたデータにアクセスすることができる。制御ノードは、マルチノードストレージシステムで提供されるデータの保守管理をコンピュータである。例えば、制御ノードは、仮想的に定義した論理ボリュームと、ディスクノードが管理するストレージ装置内の記憶領域との対応関係を管理する。ディスクノードは、ストレージ装置を有しており、ストレージ装置の記憶領域を、一定の大きさで区切ったスライスと呼ぶ領域で管理する。 A multi-node storage system is a storage system composed of a plurality of nodes. For example, a multi-node storage system includes an access node, a control node, and a disk node. The access node is a computer that provides the user with an access environment to data stored in the disk node. The user can access the data stored in the disk node by issuing a data access request to the access node. The control node is a computer that manages maintenance of data provided in the multi-node storage system. For example, the control node manages the correspondence between the virtually defined logical volume and the storage area in the storage device managed by the disk node. The disk node has a storage device, and manages the storage area of the storage device in an area called a slice divided by a certain size.
マルチノードストレージシステムでは、同一のデータを異なる複数のディスクノードで管理する。すなわち、同じデータが、異なるディスクノードに属する２つのスライスに格納される。このようにデータを冗長化することで、１つのディスクノードに障害が発生してもデータを失わずに済む。 In a multi-node storage system, the same data is managed by a plurality of different disk nodes. That is, the same data is stored in two slices belonging to different disk nodes. By making the data redundant in this way, even if a failure occurs in one disk node, the data is not lost.
なお、ディスクノードに障害が発生すると、そのディスクノードに格納されたデータが使用できなくなり、データの二重化状態が失われる。その場合、制御ノードがディスクノードに指示を出し、リカバリ処理が開始される。リカバリ処理とは、データの二重化を復旧する処理である。 When a failure occurs in a disk node, the data stored in the disk node cannot be used, and the data duplex state is lost. In that case, the control node issues an instruction to the disk node, and the recovery process is started. The recovery process is a process for recovering data duplication.
リカバリ処理では、制御ノードが、障害などでアクセスができなくなったスライスとペアを組んでいたスライス（二重化が失われたスライス）を特定する。次に、制御ノードは、二重化が失われたスライスとペアを組む別のスライス（これをリザーブスライスと呼ぶ）を確保する。そして、制御ノードは、確保したリザーブスライスに対してデータコピーを行うように、二重化が失われたスライスを管理するディスクノードに指示する。このようなリカバリ処理により、マルチノードストレージシステムでは、ディスクノードで障害が発生してもデータの二重化状態が回復される。 In the recovery process, the control node identifies a slice that has paired with a slice that has become inaccessible due to a failure or the like (a slice in which duplexing has been lost). Next, the control node secures another slice (referred to as a reserve slice) that forms a pair with the slice from which duplexing has been lost. Then, the control node instructs the disk node that manages the slice from which duplexing has been lost so as to copy data to the reserved slice that has been secured. With such a recovery process, in the multi-node storage system, the data duplex state is recovered even if a failure occurs in the disk node.
ところで、障害とは別の理由で、ディスクノードの機能を停止する場合がある。例えばディスクノードのハードウェアを、より性能の高い別のハードウェアと入れ替える場合などである。このような場合、データの退避処理（evacuate処理）が行われる。退避処理とは、指定したディスクノードが管理するデータを他のノードにコピーする処理である。管理者は、退避処理の後に指定したディスクノードを新しいハードウェアと交換する。ディスクノードを交換後、そのディスクノードが再度マルチノードストレージシステムに組み込まれる。なお、ディスクノードのハードウェアの交換時に限らず、ディスクノードのＯＳ（Operating System）などの再起動を伴うソフトウェアのアップグレード時にも退避処理が行われる。ディスクノードのメンテナンス時に退避処理を行うことにより、データの二重化を維持したままハードウェアのグレードアップなどの作業が可能となる。 By the way, the function of the disk node may be stopped for a reason different from the failure. For example, the hardware of the disk node may be replaced with another hardware with higher performance. In such a case, data evacuation processing is performed. The save process is a process for copying data managed by a specified disk node to another node. The administrator replaces the specified disk node after replacement processing with new hardware. After exchanging the disk node, the disk node is incorporated into the multi-node storage system again. Note that the save processing is performed not only when the hardware of the disk node is replaced, but also when the software is upgraded with restart of the OS (Operating System) of the disk node. By performing backup processing during disk node maintenance, it is possible to perform operations such as upgrading the hardware while maintaining duplication of data.
なお、退避処理に要する時間は、ディスクノードが管理しているストレージ装置の記憶容量に大きく依存する。最近のストレージ装置の大容量化に伴い退避処理の時間も長くなる傾向にある。退避処理に長時間を要することにより、退避処理中に、退避処理対象とは別のディスクノードに障害が発生する可能性も高くなる。退避処理中に退避処理対象ではないディスクノードに障害が発生すると退避処理が打ち切られ、リカバリ処理が実行される。
しかし、退避処理を中止してリカバリ処理を実行した場合、退避処理対象のディスクノードのスライスが、リザーブスライスとして選択される場合がある。すると、退避処理対象のディスクノードのスライスにデータがコピーされる。この場合、リカバリ完了後に退避処理を中止したディスクノードの退避処理を再度続行すると、中止前よりも退避させなければならないデータ量が増え、退避処理が完了するまでの時間が長期化してしまう。 However, when the save process is canceled and the recovery process is executed, the slice of the disk node that is the save process target may be selected as the reserve slice. Then, data is copied to the slice of the disk node to be saved. In this case, if the evacuation process of the disk node for which the evacuation process is stopped after the recovery is completed is continued again, the amount of data that must be evacuated increases before the cancellation, and the time until the evacuation process is completed becomes longer.
本発明はこのような点に鑑みてなされたものであり、リカバリ処理に起因して退避処理実行時間が長期化するのを防止できるデータ管理プログラムを提供することを目的とする。 The present invention has been made in view of these points, and an object of the present invention is to provide a data management program capable of preventing the save processing execution time from being prolonged due to the recovery processing.
上記課題を解決するために、以下のような機能を実現するデータ管理装置が提供される。データ管理装置は、複数のストレージ装置に格納されたデータを管理するために、退避処理実行手段、障害検出手段、退避処理中止指示手段、復旧対象データ判定手段、冗長データコピー先選択手段、および冗長データコピー手段を有する。 In order to solve the above-described problems, a data management apparatus that realizes the following functions is provided. In order to manage data stored in a plurality of storage devices, the data management device includes a save processing execution means, a failure detection means, a save processing stop instruction means, a recovery target data determination means, a redundant data copy destination selection means, and a redundancy It has a data copy means.
退避処理実行手段は、任意のストレージ装置を指定した退避要求が入力されると、指定された退避処理対象ストレージ装置の識別情報を記憶手段に格納し、退避処理対象ストレージ装置に格納されている全データを他のストレージ装置にコピーする退避処理を実行する。障害検出手段は、障害が発生した障害ストレージ装置を検出する。退避処理中止指示手段は、退避処理中に障害検出手段で障害の発生が検出された場合、退避処理実行手段による退避処理を中止させる。復旧対象データ判定手段は、障害検出手段で検出された障害ストレージ装置の障害により二重化状態が損なわれたデータを復旧対象データとする。冗長データコピー先選択手段は、記憶手段を参照し、復旧対象データの冗長データコピー先を、退避処理対象ストレージ装置以外のストレージ装置の記憶領域から優先的に選択する。冗長データコピー手段は、冗長データコピー先選択手段で選択された冗長データコピー先の記憶領域に、復旧対象データをコピーする。 When an evacuation request specifying an arbitrary storage device is input, the evacuation processing execution unit stores the identification information of the specified evacuation processing target storage device in the storage unit, and stores all the information stored in the evacuation processing target storage device. Execute save processing to copy data to another storage device. The failure detection means detects a failed storage device in which a failure has occurred. The save process stop instructing unit stops the save process by the save process executing unit when the failure detection unit detects a failure during the save process. The recovery target data determination means sets the data whose duplex state has been lost due to the failure of the failed storage device detected by the failure detection means as the recovery target data. The redundant data copy destination selection unit refers to the storage unit and preferentially selects the redundant data copy destination of the recovery target data from the storage area of the storage device other than the save processing target storage device. The redundant data copy means copies the recovery target data to the redundant data copy destination storage area selected by the redundant data copy destination selection means.
また、データ管理装置と同様の機能をコンピュータに実行させるデータ管理プログラム、およびデータ管理装置で実行される処理をコンピュータで実行するデータ管理方法が提供される。 Also provided are a data management program for causing a computer to execute the same function as that of the data management device, and a data management method for executing processing executed by the data management device on the computer.
上記データ管理プログラム、データ管理装置、およびデータ管理方法では、退避処理対象のストレージ装置内のデータ量を増加させずにリカバリ処理が実行され、退避処理実行時間の長期化を防止できる。 In the data management program, the data management device, and the data management method, the recovery process is executed without increasing the amount of data in the storage apparatus that is the save process target, and the save process execution time can be prevented from prolonging.
以下、本発明の実施の形態を図面を参照して説明する。
図１は、実施の形態の概要を示す図である。実施の形態では、複数のストレージ装置１ａ，１ｂ，１ｃ，１ｄに格納されたデータを管理するために、退避処理実行手段２、障害検出手段４、退避処理中止指示手段５、復旧対象データ判定手段６、冗長データコピー先選択手段７、および冗長データコピー手段８を有する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing an outline of the embodiment. In the embodiment, in order to manage data stored in a plurality of
なお、図１の例では、ストレージ装置１ａ，１ｂ，１ｃ，１ｄ内が単位記憶領域（スライス）に分割され、二重化されたスライスに同じ識別番号を付している。
退避処理実行手段２は、任意のストレージ装置を指定した退避要求が入力されると、指定された退避処理対象ストレージ装置の識別情報を記憶手段３に格納する。図１の例では、ストレージ装置１ｃが、退避処理対象ストレージ装置である。また、退避処理実行手段２は、退避処理対象ストレージ装置に格納されている全データを他のストレージ装置にコピーする退避処理を実行する。図１の例では、ストレージ装置１ｃに格納されているデータが、他のストレージ装置１ａ，１ｂ，１ｄにコピーされる。
In the example of FIG. 1, the
When a save request designating an arbitrary storage device is input, the save processing execution means 2 stores the identification information of the designated save processing target storage device in the storage means 3. In the example of FIG. 1, the
障害検出手段４は、障害が発生した障害ストレージ装置を検出する。図１の例では、ストレージ装置１ｄに障害が発生している。
退避処理中止指示手段５は、退避処理中に障害検出手段４で障害の発生が検出された場合、退避処理実行手段２による退避処理を中止させる。図１の例では、識別番号「１」のスライスのデータと、識別番号「３」のスライスのデータとのコピーが終了した時点で、退避処理が中止されたものとする。すなわち、識別番号「２」のスライスのデータのコピーは実行されていない（退避処理が未処理である）。
The failure detection means 4 detects a failed storage device in which a failure has occurred. In the example of FIG. 1, a failure has occurred in the
The save process stop instructing
復旧対象データ判定手段６は、障害検出手段４で検出された障害ストレージ装置の障害により二重化状態が損なわれたデータを復旧対象データとする。例えば、復旧対象データ判定手段６は、正常に動作しているストレージ装置１ａ，１ｂ，１ｃから格納されているデータの情報を収集し、各データの対応関係を調査することで、二重化状態が損なわれているデータを検出し、検出したデータを復旧対象データとする。図１の例では、識別番号「２」、「３」、「５」のスライスのデータが復旧対象データとなる。
The recovery target
冗長データコピー先選択手段７は、記憶手段３を参照して退避処理対象ストレージ装置を認識する。次に、冗長データコピー先選択手段７は、復旧対象データの冗長データコピー先を、退避処理対象ストレージ装置以外のストレージ装置の記憶領域から優先的に選択する。図１の例では、ストレージ装置１ａ，１ｂの記憶領域が優先的に冗長データコピー先として選択される。なお、冗長データコピー先を選択する場合、コピー元の復旧対象データが格納されたストレージ装置とは異なるストレージ装置内の記憶領域が選択される。
The redundant data copy
冗長データコピー手段８は、冗長データコピー先選択手段で選択された冗長データコピー先の記憶領域に、復旧対象データをコピーする。
このような機能によって、退避処理実行手段２による退避処理実行中にストレージ装置の障害が検出されると、退避処理中止指示手段５による退避処理が中止され、リカバリ処理が開始される。リカバリ処理では、復旧対象データ判定手段６により復旧対象データが特定される。次に、冗長データコピー先選択手段７により、復旧対象データの冗長データコピー先が選択される。その際、退避処理対象ストレージ装置以外のストレージ装置の記憶領域から優先的に選択される。そして、冗長データコピー手段８により、冗長データコピー先の記憶領域に復旧対象データがコピーされる。
The redundant data copy means 8 copies the recovery target data to the redundant data copy destination storage area selected by the redundant data copy destination selection means.
With such a function, when a failure of the storage apparatus is detected during execution of the save process by the save
このように、リカバリ処理において退避処理対象ストレージ装置以外のストレージ装置の記憶領域から優先的に冗長データコピー先を選択するようにしたため、退避処理対象ストレージ装置の記憶領域が冗長データコピー先として選択されることを防止できる。その結果、リカバリ処理の実行に起因して退避対象データが増大することがなくなり、退避処理の長期化が防止される。 As described above, since the redundant data copy destination is preferentially selected from the storage area of the storage device other than the save processing target storage device in the recovery process, the storage area of the save processing target storage device is selected as the redundant data copy destination. Can be prevented. As a result, the save target data does not increase due to the execution of the recovery process, thereby preventing the save process from being lengthened.
ところで、図１に示した機能は、マルチノードストレージシステムに適用することができる。マルチノードストレージシステムでは、各ストレージ装置が個別のディスクノードで管理されている。そのため、ディスクノードに対してネットワーク経由でコピー指示を出すことで、ディスクノード間でデータをコピーさせることができる。そこで、退避処理や障害検出時のリカバリ処理は、ディスクノードにネットワークで接続された制御ノードからの遠隔制御によって実行することが可能となる。以下に、マルチノードストレージシステムを用いた実施の形態を詳細に説明する。 Incidentally, the function shown in FIG. 1 can be applied to a multi-node storage system. In a multi-node storage system, each storage device is managed by an individual disk node. Therefore, data can be copied between the disk nodes by issuing a copy instruction to the disk nodes via the network. Therefore, the save process and the recovery process when a failure is detected can be executed by remote control from a control node connected to the disk node via a network. In the following, an embodiment using a multi-node storage system will be described in detail.
図２は、本実施の形態のマルチノードストレージシステム構成例を示す図である。本実施の形態では、ネットワーク１０を介して、複数のディスクノード１００，２００，３００，４００、制御ノード５００、アクセスノード３０，４０、および管理ノード５０が接続されている。ディスクノード１００，２００，３００，４００それぞれには、ストレージ装置１１０，２１０，３１０，４１０が接続されている。
FIG. 2 is a diagram illustrating a configuration example of a multi-node storage system according to the present embodiment. In the present embodiment, a plurality of
ストレージ装置１１０には、複数のハードディスク装置（ＨＤＤ）１１１，１１２，１１３，１１４が実装されている。ストレージ装置２１０には、複数のＨＤＤ２１１，２１２，２１３，２１４が実装されている。ストレージ装置３１０には、複数のＨＤＤ３１１，３１２，３１３，３１４が実装されている。ストレージ装置４１０には、複数のＨＤＤ４１１，４１２，４１３，４１４が実装されている。各ストレージ装置１１０，２１０，３１０，４１０は、内蔵するＨＤＤを用いたＲＡＩＤシステムである。本実施の形態では、各ストレージ装置１１０，２１０，３１０，４１０のＲＡＩＤ５のディスク管理サービスを提供する。
A plurality of hard disk devices (HDDs) 111, 112, 113, and 114 are mounted on the
ディスクノード１００，２００，３００，４００は、例えば、ＩＡ（Intel Architecture）と呼ばれるアーキテクチャのコンピュータである。ディスクノード１００，２００，３００，４００は、接続されたストレージ装置１１０，２１０，３１０，４１０に格納されたデータを管理し、管理しているデータをネットワーク１０経由で端末装置２１，２２，２３に提供する。また、ディスクノード１００，２００，３００，４００は、冗長性を有するデータを管理している。すなわち、同一のデータが、少なくとも２つのディスクノードで管理されている。
The
制御ノード５００は、ディスクノード１００，２００，３００，４００を管理する。例えば、制御ノード５００は、管理ノード５０から新たなストレージ装置の追加要求を受け取ると、新たな論理ボリュームを定義し、その論理ボリュームを介して追加されたストレージ装置に格納されていたデータにアクセスできるようにする。
The
アクセスノード３０，４０には、ネットワーク２０を介して複数の端末装置２１，２２，２３が接続されている。アクセスノード３０，４０には、論理ボリュームが定義されている。そして、アクセスノード３０，４０は、端末装置２１，２２，２３からの論理ボリューム上でのデータのアクセス要求に応答して、ディスクノード１００，２００，３００，４００内の対応するデータへアクセスする。
A plurality of
管理ノード５０は、管理者がマルチノードストレージシステムの運用を管理するために使用するコンピュータである。例えば、管理ノード５０では、マルチノードストレージシステムにおける論理ボリュームの使用量などの情報を収集し、運用状況を画面に表示する。
The
図３は、制御ノードのハードウェア構成例を示す図である。制御ノード５００は、ＣＰＵ（Central Processing Unit）５０１によって装置全体が制御されている。ＣＰＵ５０１には、バス５０７を介してＲＡＭ（Random Access Memory）５０２、ハードディスクドライブ（ＨＤＤ:Hard Disk Drive）５０３、グラフィック処理装置５０４、入力インタフェース５０５、および通信インタフェース５０６が接続されている。
FIG. 3 is a diagram illustrating a hardware configuration example of the control node. The
ＲＡＭ５０２は、制御ノード５００の主記憶装置として使用される。ＲＡＭ５０２には、ＣＰＵ５０１に実行させるＯＳのプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ５０２には、ＣＰＵ５０１による処理に必要な各種データが格納される。ＨＤＤ５０３は、制御ノード５００の二次記憶装置として使用される。ＨＤＤ５０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
The
グラフィック処理装置５０４には、モニタ１１が接続されている。グラフィック処理装置５０４は、ＣＰＵ５０１からの命令に従って、画像をモニタ１１の画面に表示させる。モニタ１１としては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置がある。
A
入力インタフェース５０５には、キーボード１２とマウス１３とが接続されている。入力インタフェース５０５は、キーボード１２やマウス１３から送られてくる信号を、バス５０７を介してＣＰＵ５０１に送信する。なお、マウス１３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
A
通信インタフェース５０６は、ネットワーク１０に接続されている。通信インタフェース５０６は、ネットワーク１０を介して、他のコンピュータとの間でデータの送受信を行う。
The
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。なお、図３には、制御ノード５００のハードウェア構成を示しているが、ディスクノード１００，２００，３００，４００、アクセスノード３０，４０、および管理ノード５０も同様のハードウェア構成で実現することができる。
With the hardware configuration as described above, the processing functions of the present embodiment can be realized. Although FIG. 3 shows the hardware configuration of the
図４は、論理ボリュームのデータ構造を示す図である。本実施の形態では、論理ボリューム６０には論理ボリューム識別子「ＬＶＯＬ−Ｘ」が付与されている。ネットワーク経由で接続された４台のディスクノード１００，２００，３００，４００には、個々のノードの識別のためにそれぞれ「ＤＰ−Ａ」、「ＤＰ−Ｂ」、「ＤＰ−Ｃ」、「ＤＰ−Ｄ」というノード識別子が付与されている。そして、各ディスクノード１００，２００，３００，４００に接続されているストレージ装置１１０，２１０，３１０，４１０は、ディスクノード１００，２００，３００，４００のノード識別子によってネットワーク１０で一意に識別される。
FIG. 4 is a diagram showing the data structure of the logical volume. In this embodiment, the logical volume identifier “LVOL-X” is assigned to the
各ディスクノード１００，２００，３００，４００が有するストレージ装置１１０，２１０，３１０それぞれにおいてＲＡＩＤ５のストレージシステムが構成されている。各ストレージ装置１１０，２１０，３１０，４１０で提供される記憶機能は、複数のスライス１１５ａ〜１１５ｆ，２１５ａ〜２１５ｆ，３１５ａ〜３１５ｆ，４１５ａ〜４１５ｆに分割されて管理されている。
A
論理ボリューム６０は、セグメント６１〜６６という単位で構成される。セグメント６１〜６６の記憶容量は、ストレージ装置１１０，２１０，３１０，４１０における管理単位であるスライスの記憶容量と同じである。例えば、スライスの記憶容量が１ギガバイトとするとセグメントの記憶容量も１ギガバイトである。論理ボリューム６０の記憶容量はセグメント１つ当たりの記憶容量の整数倍である。セグメント６１〜６６は、それぞれプライマリスライス６１ａ，６２ａ，６３ａ，６４ａ，６５ａ，６６ａとセカンダリスライス６１ｂ，６２ｂ，６３ｂ，６４ｂ，６５ｂ，６６ｂとの組（スライスペア）で構成される。
The
同一セグメントに属する２つのスライスは別々のディスクノードに属する。個々のスライスを管理する領域には論理ボリューム識別子やセグメント情報や同じセグメントを構成するスライス情報の他にフラグがあり、そのフラグにはプライマリあるいはセカンダリなどを表す値が格納される。 Two slices belonging to the same segment belong to different disk nodes. In addition to the logical volume identifier, segment information, and slice information constituting the same segment, an area for managing individual slices has a flag, and a value representing primary or secondary is stored in the flag.
図４の例では、論理ボリューム６０内のスライスの識別子を、「Ｐ」または「Ｓ」のアルファベットと数字との組合せで示している。「Ｐ」はプライマリスライスであることを示している。「Ｓ」はセカンダリスライスであることを示している。アルファベットに続く数字は、何番目のセグメントに属するのかを表している。例えば、１番目のセグメント６１のプライマリスライスが「Ｐ１」で示され、セカンダリスライスが「Ｓ１」で示される。
In the example of FIG. 4, the identifier of the slice in the
図５は、ディスクノードとアクセスノードとの機能を示すブロック図である。アクセスノード３０は、論理ボリュームアクセス制御部３１を有している。論理ボリュームアクセス制御部３１は、端末装置２１，２２，２３からの論理ボリューム６０内のデータを指定したアクセス要求に応じて、指定されたデータを管理するディスクノードに対してデータアクセスを行う。具体的には、論理ボリュームアクセス制御部３１は、アクセス対象のデータが記憶された論理ボリューム６０内のブロックを特定する。次に、論理ボリュームアクセス制御部３１は、特定したブロックに対応するセグメントを特定する。さらに、論理ボリュームアクセス制御部３１は、セグメントを構成するプライマリスライスに対応するディスクノードおよびそのディスクノード内のスライスを特定する。そして、論理ボリュームアクセス制御部３１は、特定したディスクノードに対して、特定したスライスへのアクセス要求を出力する。アクセスノード４０も、アクセスノード３０と同様の機能を有している。
FIG. 5 is a block diagram illustrating functions of the disk node and the access node. The
ディスクノード１００は、Ｉ／Ｆ部１２０、デバイス制御部１３０、スライス情報記憶部１４０、および制御部１５０を有する。
Ｉ／Ｆ部１２０は、所定の通信プロトコルにより、他の装置とネットワーク１０を介したデータ通信を実現するための通信機能である。デバイス制御部１３０は、ストレージ装置１１０を制御する。
The
The I /
スライス情報記憶部１４０は、ストレージ装置１１０のスライスを管理するためのスライス情報を記憶する記憶機能である。例えば、ディスクノード１００のＲＡＭ内の記憶領域の一部がスライス情報記憶部１４０として使用される。なお、スライス情報は、スライス毎に設けられたメタデータを集めたものである。メタデータは、対応するスライスが割り当てられたセグメントや、スライスペアにおいて対となる他のスライスを示す情報である。
The slice
制御部１５０は、データアクセス制御部１５１、ハートビート送信部１５２、データ管理部１５３を有する。
データアクセス制御部１５１は、アクセスノードからのアクセス要求（リード要求またはライト要求）を受け付けた場合に、スライス情報記憶部１４０を参照して、アクセス対象のスライスを判断する。そして、データアクセス制御部１５１は、ストレージ装置１１０内のアクセス要求に応じたデータにアクセスする。例えば、アクセス要求がリード要求であれば、データアクセス制御部１５１は、ストレージ装置１１０からデータを取得し、アクセスノード３０に送信する。また、アクセス要求がライト要求であれば、データアクセス制御部１５１は、ストレージ装置１１０にデータを書き込む。
The
When receiving an access request (read request or write request) from an access node, the data
ハートビート送信部１５２は、ディスクノード１００およびストレージ装置１１０が正常動作していることを制御ノード５００に定期的に通知する。具体的には、ハートビート送信部１５２は、ディスクノード１００およびストレージ装置１１０が正常に動作している場合、定期的に制御ノード５００へ正常に動作していることを示す正常通知（ハートビート）を送信する。制御ノード５００では、ディスクノード１００からのハートビートが一定時間途絶えた場合に、ディスクノード１００での障害が発生したことを認識する。
The
データ管理部１５３は、制御ノード５００からスライス情報の更新指示を受け付けた場合に、スライス情報記憶部１４０に記憶されているスライス情報を更新する。スライス情報の更新処理としては、例えば、スライスのプライマリ化がある。データ管理部１５３は、プライマリ化指示を受け付けた場合、スライス情報記憶部１４０内のプライマリ化指示に含まれるスライスＩＤで示されるメタデータの属性を「プライマリ（Ｐ）」に更新する。
When the
また、データ管理部１５３は、スライス割当指示を受け付けた場合、スライス割当指示に含まれるスライスＩＤをキーにして、スライス情報記憶部１４０からメタデータを特定する。データ管理部１５３は、特定したメタデータの内容を、スライス割当指示で指定された内容（割当先のセグメントやペアとなる他のスライスの情報が含まれる）に応じて更新する。ストレージ装置１１０のスライスをセグメントに割り当てた場合、データ管理部１５３は、他のディスクノードで管理されているペアとなるスライスからデータを取得し、新たに割り当てられたスライスに格納する。
Further, when receiving the slice allocation instruction, the
なお、データ管理部１５３は、スライス情報内のメタデータを更新すると、ストレージ装置１１０内の対応するメタデータも更新する。これにより、ストレージ装置１１０内のメタデータとスライス情報記憶部１４０内のメタデータとの同一性が維持される。さらに、データ管理部１５３は、制御ノード５００から、スライス情報取得要求を受け取ると、スライス情報記憶部１４０内のスライス情報を制御ノード５００に送信する。
Note that when the metadata in the slice information is updated, the
退避処理やリカバリ処理が行われる場合、制御ノード５００からディスクノード１００にストレージ装置１１０内のデータのコピー指示が出される。データ管理部１５３は、制御ノード５００からのコピー指示を受け取ると、ストレージ装置１１０内のデータを他のディスクノードに転送する。
When the save process or the recovery process is performed, the
さらに、データ管理部１５３は、プライマリスライスとセカンダリスライスとのデータの冗長性確保処理を行う。具体的には、データ管理部１５３は、データアクセス制御部１５１によってライト要求に基づくデータの書き込みが行われた場合、データが書き込まれたスライス（プライマリスライス）に対応するセカンダリスライスを管理するディスクノードのデータ管理部と連携動作し、セカンダリスライス内のデータを更新する。
Further, the
なお、ディスクノード２００，３００，４００もディスクノード１００と同様の機能を有している。
次に、スライス情報記憶部１４０に格納されるデータについて詳細に説明する。
The
Next, data stored in the slice
図６は、スライス情報記憶部のデータ構造例を示す図である。スライス情報記憶部１４０には、メタデータテーブル１４１が格納されている。メタデータテーブル１４１には、ディスクノードＩＤ、スライスＩＤ、状態、論理ボリュームＩＤ、セグメントＩＤ、ペアのディスクノードＩＤ、およびペアのスライスＩＤの欄が設けられている。メタデータテーブル１４１内の横方向に並べられた情報同士が互いに関連付けられ、メタデータを示す１つのレコードを構成している。
FIG. 6 is a diagram illustrating a data structure example of the slice information storage unit. The slice
ディスクノードＩＤの欄は、ストレージ装置１１０を管理しているディスクノード１００の識別情報（ディスクノードＩＤ）が設定される。
スライスＩＤの欄には、メタデータに対応するスライスのストレージ装置１１０内での識別情報（スライスＩＤ）が設定される。
In the disk node ID column, identification information (disk node ID) of the
In the slice ID column, identification information (slice ID) in the
状態の欄には、スライスの状態を示す状態フラグが設定される。スライスが論理ボリュームのセグメントに割り当てられていない場合、状態フラグ「Ｆ」が設定される。論理ボリュームのセグメントのプライマリストレージに割り当てられている場合、状態フラグ「Ｐ」が設定される。論理ボリュームのセグメントのセカンダリストレージに割り当てられている場合、状態フラグ「Ｓ」が設定される。 In the status column, a status flag indicating the status of the slice is set. If the slice is not assigned to a segment of the logical volume, the status flag “F” is set. When the logical volume segment is assigned to the primary storage, the status flag “P” is set. When the logical volume segment is allocated to the secondary storage, the status flag “S” is set.
論理ボリュームＩＤの欄には、スライスに対応するセグメントが属する論理ボリュームを識別するための識別情報（論理ボリュームＩＤ）が設定される。
ペアのディスクノードＩＤの欄には、ペアのスライス（同じセグメントに属する別のスライス）を有するストレージ装置を管理するディスクノードの識別情報（ディスクノードＩＤ）が設定される。
Identification information (logical volume ID) for identifying the logical volume to which the segment corresponding to the slice belongs is set in the logical volume ID column.
In the paired disk node ID column, identification information (disk node ID) of a disk node that manages a storage device having a pair of slices (another slice belonging to the same segment) is set.
ペアのスライスＩＤの欄には、ペアのスライスを、そのスライスが属するストレージ装置内で識別するための識別情報（スライスＩＤ）が設定される。
次に、制御ノード５００の機能を詳細に説明する。制御ノード５００は、論理ボリュームを管理すると共に、ディスクノード１００，２００，３００，４００に障害が発生したときのリカバリ処理を行う。また、制御ノード５００は、システム管理者からの操作入力などに応答し、いずれかのストレージ装置に格納されているデータの退避処理を行う。
In the pair slice ID column, identification information (slice ID) for identifying the pair slice within the storage apparatus to which the slice belongs is set.
Next, the function of the
図７は、制御ノードの機能を示すブロック図である。制御ノード５００は、インタフェース（Ｉ／Ｆ）部５１０、記憶部５２０、および制御部５３０を有する。Ｉ／Ｆ部５１０は、所定の通信プロトコルにより、ディスクノード１００，２００，３００，４００、アクセスノード３０，４０、および管理ノード５０と、ネットワーク１０を介したデータ通信を実現するための通信機能である。
FIG. 7 is a block diagram illustrating functions of the control node. The
記憶部５２０は、各種情報を記憶する記憶機能である。例えば、ＲＡＭ５０２の記憶領域の一部を、記憶部５２０として利用することができる。記憶部５２０には、スライス情報テーブル５２１、セグメント情報テーブル５２２、復旧対象リスト５２３、退避対象スライスリスト５２４、および退避処理対象ディスクノードリスト５２５が記憶されている。
The
スライス情報テーブル５２１は、各ディスクノード１００，２００，３００，４００から収集したメタデータ（ストレージ装置内の各スライスに関して、割り当てられたセグメント、および対となる他のスライスが示された情報）が登録されたデータテーブルである。スライス情報テーブル５２１は、制御部５３０内のスライス情報収集部５３２によって作成される。
In the slice information table 521, metadata collected from each of the
セグメント情報テーブル５２２は、論理ボリュームを構成する各セグメントに対して割り当てられたスライスを示す情報である。セグメント情報テーブル５２２は、スライス情報収集部５３２によって、ディスクノード１００，２００，３００，４００から収集したメタデータ基づいて生成される。
The segment information table 522 is information indicating a slice allocated to each segment constituting the logical volume. The segment information table 522 is generated based on the metadata collected from the
復旧対象リスト５２３は、リカバリ処理の対象となるセグメントを示す情報である。復旧対象リスト５２３は、制御部５３０内の復旧対象抽出部５３３によって生成される。
退避対象スライスリスト５２４は、退避処理を実行する際に、データを退避させるべきスライスのリストである。退避対象スライスリスト５２４は、制御部５３０内の退避制御部５３５によって生成される。
The
The save
退避処理対象ディスクノードリスト５２５は、退避処理の対象となっているディスクノードのリストである。退避対象スライスリスト５２４は、制御部５３０内の退避制御部５３５によって生成される。
The save process target
制御部５３０は、監視部５３１、スライス情報収集部５３２、復旧対象抽出部５３３、二重化制御部５３４、および退避(Evacuate)制御部５３５を有する。
監視部５３１は、ディスクノード１００，２００，３００，４００が正常に動作しているか否かを監視する処理部である。具体的には、監視部５３１は、ディスクノード１００，２００，３００，４００から定期的に送られてくるハートビートを受信する。そのとき、監視部５３１は、ハートビートの受信時刻を、ディスクノードに対応付けて記憶する。そして、監視部５３１は、前回のハートビート受信から所定期間以上経過しても次のハートビートを送ってこないディスクノードがあると、そのディスクノードに障害が発生したものと判断する。
The
The
スライス情報収集部５３２は、システムの運用開始時にディスクノード１００，２００，３００，４００からスライス情報を収集し、スライス情報テーブル５２１とセグメント情報テーブル５２２とを生成する。また、スライス情報収集部５３２は、監視部５３１によってディスクノード１００，２００，３００，４００のいずれかに異常が発生したことが検知された場合に、正常に動作しているディスクノードからスライス情報（メタデータの集合）を収集する。そして、スライス情報収集部５３２は、収集したスライス情報に基づいて、スライス情報テーブル５２１とセグメント情報テーブル５２２とを新たに生成する。
The slice
復旧対象抽出部５３３は、監視部５３１によりディスクノードの障害が検出されると、復旧対象のセグメントを検出する。具体的には、復旧対象抽出部５３３は、障害発生により再生成されたセグメント情報テーブル５２２に基づいて、復旧対象のセグメントを抽出する。復旧対象のセグメントとは、プライマリスライスまたはセカンダリスライスの一方のみが記憶されているセグメントである。そして、復旧対象抽出部５３３は、復旧対象のセグメントを示す情報を復旧対象リスト５２３に格納する。
When the
二重化制御部５３４は、セグメントのデータの二重化が保たれるように、セグメントへのスライス割当を制御する。すなわち、ディスクノードの障害により二重化状態が崩れたセグメントが発生すると、そのセグメントのリカバリ処理（二重化回復処理）を行う。リカバリ処理は、復旧対象のセグメントに割り当てられているスライスを、正常に動作しているストレージ管理装置の空きスライスと二重化させる処理である。リカバリ処理は、大別するとプライマリ化処理、空きスライス割当処理、およびスライス情報更新処理に分かれる。
The
プライマリ化処理は、復旧対象のセグメントに現在割り当てられているスライスをすべてプライマリにする処理である。具体的には、二重化制御部５３４は、復旧対象リスト５２３とセグメント情報テーブル５２２とから、復旧対象セグメントに割り当てられているスライスのディスクノードＩＤおよびスライスＩＤを取得する。そして、二重化制御部５３４は、取得した復旧対象のスライスのディスクノードＩＤに該当するストレージ装置を有するディスクノードに対して、プライマリ化指示を送信する。プライマリ化指示で指定されたスライスは、そのプライマリか指示を受け取ったディスクノードによって、属性がプライマリに変更される。
The primary processing is processing for making all slices currently allocated to the recovery target segment primary. Specifically, the
続いて、二重化制御部５３４は、空きスライス割当処理を行う。具体的には、二重化
制御部５３４は、スライス情報テーブル５２１から、復旧対象のセグメントに現在割り当てられているスライス（プライマリスライス）とは異なるストレージ装置に属するスライスで、いずれのセグメントにも割り当てられていないスライス（空きスライス）を検索する。
Subsequently, the
そして、二重化制御部５３４は、検索されたスライスの１つを選択し、復旧対象のセグメントのセカンダリスライスとして割り当てる。この際、二重化制御部５３４は、退避処理対象ディスクノードリスト５２５を参照し、退避処理対象のディスクノードの存否を確認する。退避処理対象のディスクノードがある場合、二重化制御部５３４は、そのディスクノードが管理するスライスは、空きスライス割当処理におけるセカンダリスライスとしての選択する優先順位を最も低くする。すなわち、退避処理対象のディスクノード以外のディスクノードが管理するスライスの中に空きスライスが無くなったときにのみ、退避処理対象のディスクノードが管理するスライスが、復旧対象のセグメントに割り当てられる。
Then, the
さらに、二重化制御部５３４は、セカンダリスライスとするスライスへのデータコピー指示を、プライマリスライスを管理するディスクノードに対して送信する。データコピー指示には、セカンダリスライスを管理するディスクノードのディスクノードＩＤと、セカンダリスライスのスライスＩＤとが含まれる。データコピー指示を受け取ったディスクノードは、プライマリスライスのデータをセカンダリスライスを管理するディスクノードに転送する。データを受け取ったディスクノードは、そのデータをセカンダリスライスに格納する。これにより、復旧対象のセグメントのデータが二重化される。
Furthermore, the
そして、二重化制御部５３４は、復旧対象のセグメントのプライマリスライスとセカンダリスライスとのそれぞれを管理するディスクノードに対して、スライス情報更新指示を送信し、復旧対象リスト５２３の内容を消去する。スライス情報更新指示には、復旧対象のセグメントに割り当てられたスライスのメタデータが含まれる。スライス情報更新指示を受け取ったディスクノードは、スライス情報更新指示に含まれるメタデータにより、スライス情報記憶部とストレージ装置とのメタデータを更新する。
Then, the
退避制御部５３５は、管理者による操作入力などに基づいて退避処理を行う。具体的には、退避制御部５３５は、退避処理対象のストレージ装置を指定した退避指示を受け取ると、指定されたストレージ装置を管理するディスクノードのディスクノードＩＤを退避処理対象ディスクノードリスト５２５に登録する。次に退避制御部５３５は、スライス情報テーブル５２１を参照し、退避処理対象のストレージ装置のスライスのうち、セグメントに割り当てられているスライス（状態が「Ｐ」または「Ｓ」）を検出する。そして退避制御部５３５は、検出したスライス（退避処理対象スライス）に関するディスクノードＩＤとスライスＩＤとを、退避対象スライスリスト５２４に登録する。
The save
次に退避制御部５３５は、セグメント情報テーブル５２２を参照し、退避処理対象スライスがプライマリスライスか否かを判断する。退避処理対象スライスがプライマリスライスであれば、退避制御部５３５は、同じセグメントに割り当てられたセカンダリスライスを管理するディスクノードに対して、プライマリスライスへの変更指示（プライマリ化指示）を送信する。
Next, the save
さらに、退避制御部５３５は、退避処理対象のディスクノード以外のディスクノードが管理する空きスライスの中から、退避処理対象スライスのデータを退避させるためのスライスを選択する。そして、退避制御部５３５は、退避処理対象のディスクノードに対して、選択したスライスへのデータコピー指示を送信する。退避制御部５３５は、ディスクノードからコピー完了の応答を受け取ると、コピー先のディスクノードに対してスライス情報更新指示を送信する。退避処理対象スライスが複数ある場合、退避制御部５３５は、退避処理対象スライスを１つずつ選択する。そして、退避制御部５３５は、前に選択した退避処理対象スライスのデータのコピーが終了すると、次の退避処理対象スライスのデータコピー指示を送信する。
Further, the save
退避制御部５３５は、選択した１つの退避処理対象スライスのデータコピーが終了するごとに、コピー先のディスクノードに対してセグメント情報の更新指示を送信する。すなわち退避制御部５３５は、コピー先のスライスを、コピー元のスライスと同じセグメントのセカンダリスライスとするメタデータを、コピー先のスライスを管理するディスクノードに送信する。
The save
なお、退避制御部５３５は、退避処理中に、退避処理対象のディスクノード以外のディスクノードで障害が検出されると、退避処理を中止する。中止した退避処理は、リカバリ処理の完了後に再開される。例えば、退避制御部５３５は、二重化制御部５３４によるリカバリ処理の完了を検知すると、中止していた退避処理を再開する。また、退避制御部５３５は、二重化制御部５３４によるリカバリ処理の完了後、管理者からの再開指示があったときに中止していた退避処理を再開するようにしてもよい。
If a failure is detected in a disk node other than the disk node that is the save process during the save process, the save
ところで、図１に示した各機能と図７に示した機能との対応関係は次の通りである。図１の退避処理実行手段２と退避処理中止指示手段５との機能は、図７の退避制御部５３５に含まれる。図１の記憶手段３の機能は、図７の記憶部５２０に含まれる。図１の障害検出手段４の機能は、図７の監視部５３１に含まれる。図１の復旧対象データ判定手段６、冗長データコピー先選択手段７、および冗長データコピー手段８の機能は、図７の二重化制御部５３４に含まれる。
Incidentally, the correspondence relationship between the functions shown in FIG. 1 and the functions shown in FIG. 7 is as follows. The functions of the save
次に、記憶部５２０に格納される情報について詳細に説明する。
図８は、スライス情報テーブルのデータ構造例を示す図である。スライス情報テーブル５２１には、ディスクノードＩＤ、スライスＩＤ、状態、論理ボリュームＩＤ、セグメントＩＤ、ペアのディスクノードＩＤ、およびペアのスライスＩＤの欄が設けられている。スライス情報テーブル５２１内の横方向に並べられた情報同士が互いに関連付けられ、メタデータを示す１つのレコードを構成している。スライス情報テーブル５２１の各欄に設定される情報は、メタデータテーブル１４１の同名の欄と同じ情報である。ただし、スライス情報テーブル５２１は、ディスクノード１００のメタデータテーブル１４１とは異なり、複数のディスクノード１００，２００，３００，４００から収集したすべてのスライス情報に含まれるメタデータが登録されている。
Next, information stored in the
FIG. 8 is a diagram illustrating an exemplary data structure of the slice information table. The slice information table 521 includes columns for disk node ID, slice ID, status, logical volume ID, segment ID, paired disk node ID, and paired slice ID. Information arranged in the horizontal direction in the slice information table 521 is associated with each other to form one record indicating metadata. Information set in each column of the slice information table 521 is the same information as the column of the same name in the metadata table 141. However, unlike the metadata table 141 of the
図９は、セグメント情報テーブルのデータ構造例を示す図である。セグメント情報テーブル５２２には、論理ボリュームＩＤ、セグメントＩＤ、プライマリ情報、およびセカンダリ情報の欄が設けられている。 FIG. 9 is a diagram illustrating an exemplary data structure of the segment information table. The segment information table 522 has columns for logical volume ID, segment ID, primary information, and secondary information.
論理ボリュームＩＤの欄には、マルチノードストレージシステムで定義された論理ボリュームの識別情報（論理ボリュームＩＤ）が設定される。セグメントＩＤの欄には、論理ボリュームに定義されたセグメントの識別情報（セグメントＩＤ）が設定される。 In the logical volume ID column, identification information (logical volume ID) of the logical volume defined in the multi-node storage system is set. In the segment ID column, segment identification information (segment ID) defined in the logical volume is set.
プライマリ情報の欄には、対応するセグメントに割り当てられたプライマリスライスに関する情報が設定される。プライマリ情報の欄は、ディスクノードＩＤとスライスＩＤとの欄に細分化されている。ディスクノードＩＤの欄には、プライマリスライスとして割り当てられたスライスを管理するディスクノードの識別情報（ディスクノードＩＤ）が設定される。スライスＩＤの欄には、プライマリスライスとして割り当てられたスライスの識別情報（スライスＩＤ）が設定される。 In the primary information column, information related to the primary slice assigned to the corresponding segment is set. The primary information column is subdivided into disk node ID and slice ID columns. In the column of the disk node ID, identification information (disk node ID) of the disk node that manages the slice assigned as the primary slice is set. In the slice ID column, identification information (slice ID) of a slice assigned as the primary slice is set.
セカンダリ情報の欄には、対応するセグメントに割り当てられたセカンダリスライスに関する情報が設定される。セカンダリ情報の欄は、ディスクノードＩＤとスライスＩＤとの欄に細分化されている。ディスクノードＩＤの欄には、セカンダリスライスとして割り当てられたスライスを管理するディスクノードの識別情報（ディスクノードＩＤ）が設定される。スライスＩＤの欄には、セカンダリスライスとして割り当てられたスライスの識別情報（スライスＩＤ）が設定される。 In the secondary information column, information on the secondary slice assigned to the corresponding segment is set. The column of secondary information is subdivided into columns of disk node ID and slice ID. In the column of disk node ID, identification information (disk node ID) of a disk node that manages a slice assigned as a secondary slice is set. In the slice ID column, identification information (slice ID) of a slice assigned as a secondary slice is set.
図１０は、復旧対象リストのデータ構造例を示す図である。復旧対象リスト５２３には、論理ボリュームＩＤとセグメントＩＤとの欄が設けられている。
論理ボリュームＩＤの欄には、リカバリ処理による復旧対象となるセグメントが属する論理ボリュームの識別情報（論理ボリュームＩＤ）が設定される。セグメントのＩＤの欄には、リカバリ処理による復旧対象となるセグメントの識別情報（セグメントＩＤ）が設定される。
FIG. 10 is a diagram illustrating an example of the data structure of the recovery target list. The
In the logical volume ID column, identification information (logical volume ID) of the logical volume to which the segment to be recovered by the recovery process belongs is set. In the segment ID column, identification information (segment ID) of a segment to be restored by the recovery process is set.
図１１は、退避対象スライスリストのデータ構造例を示す図である。退避対象スライスリスト５２４には、ディスクノードＩＤとスライスＩＤとの欄が設けられている。退避対象スライスリスト５２４内の横方向に並べられた情報同士が互いに関連付けられ、退避処理対象スライスを示す１つのレコードを構成している。
FIG. 11 is a diagram illustrating an example of the data structure of the save target slice list. The save
ディスクノードＩＤの欄には、退避処理の対象となるスライスを管理するディスクノードの識別情報（ディスクノードＩＤ）が設定される。スライスＩＤの欄には、退避処理の対象となるスライスの識別情報（スライスＩＤ）が設定される。 In the disk node ID column, identification information (disk node ID) of a disk node that manages a slice to be saved is set. In the slice ID field, identification information (slice ID) of a slice to be saved is set.
図１２は、退避処理対象ディスクノードリストのデータ構造例を示す図である。退避処理対象ディスクノードリスト５２５には、退避処理対象となっているディスクノードの識別情報（ディスクノードＩＤ）が設定される。
FIG. 12 shows an example of the data structure of the save process target disk node list. In the save process target
以上のような構成のシステムにより、退避処理やリカバリ処理が実行される。そして、退避処理中に退避処理対象のディスクノードとは別のディスクノードに障害が発生すると、退避処理を中止してリカバリ処理が開始される。以下、退避処理とリカバリ処理とについて詳細に説明する。 The save process and the recovery process are executed by the system configured as described above. If a failure occurs in a disk node other than the disk node that is the save process target during the save process, the save process is stopped and the recovery process is started. Hereinafter, the saving process and the recovery process will be described in detail.
図１３は、退避処理の手順を示すフローチャートである。以下、図１３に示す処理をステップ番号に沿って説明する。なお、退避処理は、ディスクノードを指定した退避処理の指示が入力されたときに開始される。 FIG. 13 is a flowchart showing the procedure of the saving process. In the following, the process illustrated in FIG. 13 will be described in order of step number. The save process is started when a save process instruction specifying a disk node is input.
［ステップＳ１１］退避制御部５３５は、退避処理の指示で指定されたディスクノード（退避処理対象ディスクノード）のディスクノードＩＤが登録された退避処理対象ディスクノードリスト５２５を生成する。そして、退避制御部５３５は、生成した退避処理対象ディスクノードリスト５２５を記憶部５２０に格納する。
[Step S11] The save
［ステップＳ１２］退避制御部５３５は、退避対象スライスリスト５２４を生成する。具体的には、退避制御部５３５は、スライス情報テーブル５２１を参照し、退避処理対象ディスクノードが管理するスライスのうち、論理ボリュームのセグメントに割り当てられているスライス（退避対象スライス）のメタデータを検索する。セグメントに割り当てられているスライスとは、状態の欄に「Ｐ（プライマリスライス）」または「Ｓ（セカンダリスライス）」のフラグが設定されたスライスである。退避制御部５３５は、検出した各メタデータのディスクノードＩＤとスライスＩＤとの組みを退避対象スライスリスト５２４に設定する。そして、退避制御部５３５は、生成した退避対象スライスリスト５２４を、記憶部５２０に格納する。
[Step S12] The save
［ステップＳ１３］退避制御部５３５は、退避対象スライスリスト５２４から退避対象スライスを１つ選択する。具体的には、退避制御部５３５は、退避対象スライスリスト５２４から、１つのレコード（ディスクノードＩＤとスライスＩＤとの組み）を選択する。
[Step S13] The save
［ステップＳ１４］退避制御部５３５は、選択したスライスがプライマリスライスか否かを判断する。具体的には、退避制御部５３５は、スライス情報テーブル５２１から、ステップＳ１３で選択したスライスのディスクノードＩＤとスライスＩＤとの組みに対応するメタデータを検索する。そして、退避制御部５３５は、検出したメタデータの状態が「Ｐ（プライマリスライス）」であれば、選択したスライスがプライマリスライスであると判断する。選択したスライスがプライマリスライスであれば、処理がステップＳ１５に進められる。選択したスライスがセカンダリスライスであれば、処理がステップＳ１６に進められる。
[Step S14] The save
［ステップＳ１５］退避制御部５３５は、選択したスライスとペアのスライスのプライマリ化処理を行う。具体的には、退避制御部５３５は、ステップＳ１４で検出したメタデータにおけるペアのディスクノードＩＤおよびペアのスライスＩＤによって、ペアのスライスを特定する。選択したスライスがプライマリスライスであるため、ペアのスライスはセカンダリスライスである。そこで、退避制御部５３５は、セカンダリスライスを管理するディスクノードに対して、プライマリ化（メタデータの属性を「Ｐ」に変更）の指示を送信する。プライマリ化指示には、プライマリ化すべきスライスのスライスＩＤが含まれる。
[Step S15] The save
プライマリ化指示を受信したディスクノードでは、指定されたスライスのメタデータの属性を「Ｐ」に変更する。プライマリ化を行ったディスクノードは、プライマリ化完了応答を退避制御部５３５に返す。プライマリ化完了応答を受け取った退避制御部５３５は、スライス情報テーブル５２１とセグメント情報テーブル５２２を更新する。すなわち、プライマリ化させたスライスのメタデータの属性が「Ｐ」に変更され、選択された退避対象スライスのメタデータの属性が「Ｓ」に変更される。
In the disk node that has received the primary instruction, the metadata attribute of the designated slice is changed to “P”. The disk node that has made the primary returns a primary completion completion response to the save
［ステップＳ１６］退避制御部５３５は、退避対象スライスのデータを、他のスライスにコピーする。具体的には、退避制御部５３５は、スライス情報テーブル５２１を参照し、選択した退避対象スライスのペアのスライスとは異なるディスクノードで管理された空きスライスを１つ選択する。そして、退避制御部５３５は、退避対象スライスを管理するディスクノードに対して、退避対象スライスの空きスライスへのデータコピー指示を送信する。このデータコピー指示には、退避対象スライスのスライスＩＤ、コピー先のディスクノードのディスクノードＩＤ、および選択した空きスライスのスライスＩＤが含まれる。
[Step S16] The save
データコピー指示を受け取ったディスクノードは、退避対象スライス内のデータを、指定された空きスライスにコピーする。データコピーを行ったディスクノードは、データコピー完了応答を退避制御部５３５に返す。
The disk node that has received the data copy instruction copies the data in the save target slice to the designated empty slice. The disk node that has performed the data copy returns a data copy completion response to the save
［ステップＳ１７］退避制御部５３５は、メタデータを更新する。具体的には、退避制御部５３５は、データのコピー先となったスライスを管理するディスクノードに対して、その空きスライスを、選択した退避対象スライスと同じセグメントのセカンダリスライスとして割り当てることを示すスライス情報更新指示を送信する。スライス情報更新指示を受け取ったディスクノードは、指定された内容でデータコピー先となったスライスのメタデータを更新する。メタデータを更新したディスクノードは、退避制御部５３５に対してメタデータ更新完了応答を返す。メタデータ更新完了応答を受け取った退避制御部５３５は、スライス情報テーブル５２１とセグメント情報テーブル５２２を更新する。
[Step S17] The save
［ステップＳ１８］退避制御部５３５は、退避対象スライスを退避対象スライスリスト５２４から削除する。
［ステップＳ１９］退避制御部５３５は、退避対象スライスリスト５２４に未選択の退避対象スライスがあるか否かを判断する。未選択の退避対象スライスがあれば、処理がステップＳ１３に進められる。すべての退避対象スライスについての退避処理が完了していれば、処理がステップＳ２０に進められる。
[Step S18] The save
[Step S19] The save
［ステップＳ２０］退避制御部５３５は、退避処理対象ディスクノードを退避処理対象ディスクノードリスト５２５から削除する。その後、処理が終了する。
このように、退避処理では、退避対象スライスが１つずつ選択され、順次処理される。退避処理が完了する前にディスクノードの障害が検出されると、退避処理は中止される。退避処理が中止されても、退避処理対象ディスクノードリスト５２５の内容は維持される。
[Step S20] The save
Thus, in the save process, save target slices are selected one by one and sequentially processed. If a disk node failure is detected before the save process is completed, the save process is stopped. Even when the save process is stopped, the contents of the save process target
次に、リカバリ処理について詳細に説明する。
図１４は、リカバリ処理の手順を示すフローチャートである。以下、図１４に示す処理をステップ番号に沿って説明する。なお、図１４の処理は、ディスクノードからのハートビートが所定時間以上途絶えたときに実行される。
Next, the recovery process will be described in detail.
FIG. 14 is a flowchart showing the procedure of the recovery process. In the following, the process illustrated in FIG. 14 will be described in order of step number. Note that the processing in FIG. 14 is executed when the heartbeat from the disk node stops for a predetermined time or more.
［ステップＳ３１］監視部５３１は、ディスクノードからのハードビートが所定時間途絶えたことにより、そのディスクノードの異常を検出する。
［ステップＳ３２］二重化制御部５３４は、退避制御部５３５による退避処理中か否かを判断する。退避処理中でなければ、処理がステップＳ３３に進められる。退避処理中であれば、処理がステップＳ３４に進められる。
[Step S31] The
[Step S32] The
［ステップＳ３３］制御部５３０内の各要素が連携して、通常リカバリ処理を実行する。この処理の詳細は後述する。その後、リカバリ処理が終了する。
［ステップＳ３４］制御部５３０内の各要素が連携して、退避処理中リカバリ処理を実行する。この処理の詳細は後述する。その後、リカバリ処理が終了する。
[Step S33] Each element in the
[Step S34] Each element in the
このように、リカバリ処理は、退避処理中か否かによって処理内容が異なってくる。以下、通常リカバリ処理と退避処理中リカバリ処理との詳細な手順について説明する。
図１５は、通常リカバリ処理の手順を示すフローチャートである。以下、図１５に示す処理をステップ番号に沿って説明する。
As described above, the contents of the recovery process differ depending on whether or not the save process is in progress. Hereinafter, detailed procedures of the normal recovery process and the recovery process during the save process will be described.
FIG. 15 is a flowchart showing the procedure of normal recovery processing. In the following, the process illustrated in FIG. 15 will be described in order of step number.
［ステップＳ４１］スライス情報収集部５３２は、正常なディスクノードからスライス情報を収集する。具体的には、スライス情報収集部５３２は、監視部５３１から、異常を検出したディスクノードのディスクノードＩＤを取得する。次に、スライス情報収集部５３２は、異常を検出したディスクノード以外の各ディスクノードに対して、スライス情報取得要求を送信する。スライス情報取得要求を受信した各ディスクノードは、スライス情報記憶部に格納されているスライス情報（スライス毎のメタデータ）をスライス情報収集部５３２に送信する。スライス情報収集部５３２は、各ディスクノードが送信したスライス情報を受信する。
[Step S41] The slice
［ステップＳ４２］スライス情報収集部５３２は、スライス情報テーブル５２１とセグメント情報テーブル５２２とを再構成する。具体的には、スライス情報収集部５３２は、収集したスライス情報に基づいてスライス情報テーブルを生成し、記憶部５２０内のスライス情報テーブル５２１を更新する。さらに、スライス情報収集部５３２は、収集したスライス情報に基づいてセグメント情報テーブルを生成し、記憶部５２０内のセグメント情報テーブル５２２を更新する。なお、セグメント情報テーブル５２２を生成する際には、スライス情報収集部５３２は、収集したスライス情報の各メタデータの状態を参照する。そして、スライス情報収集部５３２は、メタデータの状態が「Ｐ」であれば、そのメタデータの情報を、セグメント情報テーブル５２２のプライマリ情報の欄に設定する。また、スライス情報収集部５３２は、メタデータの状態が「Ｓ」であれば、そのメタデータの情報を、セグメント情報テーブル５２２のセカンダリ情報の欄に設定する。この際、障害が発生したディスクノードからはスライス情報が収集されないため、再構築したセグメント情報テーブル５２２では、障害が発生したディスクノードで管理するスライスを割り当てていたセグメントのプライマリ情報またはセカンダリ情報の欄は空欄となる。
[Step S42] The slice
［ステップＳ４３］復旧対象抽出部５３３は、復旧対象リスト５２３を作成する。具体的には、復旧対象抽出部５３３は、セグメント情報テーブル５２２を参照し、プライマリ情報とセカンダリ情報とのいずれかの欄が空欄となっているセグメントを抽出する。そして、復旧対象抽出部５３３は、抽出したセグメントの情報（論理ボリュームＩＤとセグメントＩＤ）を復旧対象リスト５２３に登録する。これにより、異常が検出されたディスクノードが管理するスライスが割り当てられていたセグメント（復旧対象セグメント）を示す情報が登録された復旧対象リスト５２３が生成される。生成された復旧対象リスト５２３は、記憶部５２０に格納される。
[Step S43] The recovery
［ステップＳ４４］二重化制御部５３４は、復旧対象セグメントの既割当スライスをプライマリスライスとする。具体的には、二重化制御部５３４は、復旧対象リスト５２３から、復旧対象セグメントのディスクノードＩＤおよびセグメントＩＤを取得する。そして、二重化制御部５３４は、セグメント情報テーブル５２２を参照し、復旧対象セグメントに割り当てられている既存のスライス（既割当スライス）がプライマリスライスかセカンダリスライスかを判断する。既割当スライスがセカンダリスライスであれば、二重化制御部５３４は、その既割当スライスのディスクノードＩＤに該当するディスクノードに対してプライマリ化指示を送信する。すると、既割当スライスがプライマリスライスに変更される。
[Step S44] The
［ステップＳ４５］二重化制御部５３４は、復旧対象セグメントに対して、セカンダリスライスを割り当てる。具体的には、二重化制御部５３４は、スライス情報テーブル５２１を参照し、復旧対象セグメントの既割当スライスとは別のディスクノードで管理されている空きスライス（状態が「Ｆ」のスライス）を１つ選択する。そして、二重化制御部５３４は、選択したスライスを復旧対象セグメントのセカンダリスライスとして割り当てる。なお、この時点では、スライス情報テーブル５２１では、割り当てたスライスの状態が「Ｒ」（リザーブスライスであることを示す）に設定される。そして、後述するメタデータの更新処理が完了したときに、そのスライスの状態が「Ｓ」（セカンダリスライス）に変更される。
[Step S45] The
［ステップＳ４６］二重化制御部５３４は、復旧対象セグメントの既割当スライス（プライマリスライス）から新たに割り当てたスライス（セカンダリスライス）へのデータコピーを指示する。具体的には、二重化制御部５３４は、プライマリスライスを管理するディスクノードに対して、セカンダリスライスのディスクノードＩＤとスライスＩＤとを指定したデータコピー指示を送信する。
[Step S46] The
［ステップＳ４７］二重化制御部５３４は、スライス情報更新指示をプライマリスライスとセカンダリスライスとを管理するディスクノードに送信する。送信されるスライス情報更新指示には、既割当スライスを復旧対象セグメントのプライマリライスとし、ステップＳ４５で割り当てたスライスを復旧対象セグメントのセカンダリスライスとすることが示される。各ディスクノードでは、スライス情報記憶部とストレージ装置とのそれぞれに格納されたメタデータが更新される。ディスクノードは、メタデータを更新すると、スライス情報更新完了の応答を二重化制御部５３４に送信する。二重化制御部５３４は、ディスクノードからスライス情報更新完了の応答が返されると、スライス情報テーブル５２１とセグメント情報テーブル５２２とを更新する。
[Step S47] The
このようにして、退避処理を実行していないときのリカバリ処理が完了する。次に、退避処理中のリカバリ処理を詳細に説明する。
図１６は、退避処理中リカバリ処理を示す第１のフローチャートである。以下、図１６に示す処理をステップ番号に沿って説明する。
In this way, the recovery process when the save process is not executed is completed. Next, the recovery process during the save process will be described in detail.
FIG. 16 is a first flowchart showing recovery processing during save processing. In the following, the process illustrated in FIG. 16 will be described in order of step number.
［ステップＳ５１］退避制御部５３５は、退避処理を中止する。具体的には、二重化制御部５３４から退避制御部５３５へ退避処理中止の指示が出される。退避制御部５３５は、退避処理中止の指示に応答して、退避処理を中止する。その際、退避対象スライスリスト５２４の内容はクリアされるが、退避処理対象ディスクノードリスト５２５の内容は維持される。
[Step S51] The save
［ステップＳ５２］スライス情報収集部５３２は、正常なディスクノードからスライス情報を収集する。この処理の詳細は、図１５のステップＳ４１と同様である。
［ステップＳ５３］スライス情報収集部５３２は、スライス情報テーブル５２１とセグメント情報テーブル５２２とを再構成する。この処理の詳細は、図１５のステップＳ４２と同様である。
[Step S52] The slice
[Step S53] The slice
［ステップＳ５４］復旧対象抽出部５３３は、復旧対象リスト５２３を作成する。この処理の詳細は、図１５のステップＳ４３と同様である。
［ステップＳ５５］二重化制御部５３４は、復旧対象セグメントの既割当スライスをプライマリスライスとする。この処理の詳細は、図１５のステップＳ４４と同様である。
[Step S54] The recovery
[Step S55] The
［ステップＳ５６］二重化制御部５３４は、未処理の復旧対象セグメントに退避対象スライスをもつセグメントがあるか否かを判断する。具体的には、二重化制御部５３４は、復旧対象リスト５２３を参照して、復旧対象セグメントを判断する。なお、二重化制御部５３４は、復旧対象セグメントに対して二重化復旧のためにセカンダリスライスが割り当てられているか否かの情報を内部で記憶しており、セカンダリスライスが割り当てられていない復旧対象セグメントを未処理と認識する。次に、二重化制御部５３４は、セグメント情報テーブル５２２を参照して、未処理の復旧対象セグメントに割り当てられている既割当スライスを判断する。さらに、二重化制御部５３４は、退避対象ディスクノードリスト５２５を参照し、既割当スライスが退避対象ディスクノードに属しているスライスならば退避対象スライスに該当し、この退避対象スライスを持つセグメントが該当する復旧対象セグメントと判断する。該当する復旧対象セグメントがあれば処理がステップＳ５７に進められる。該当する復旧対象セグメントがなければ、処理がステップＳ６１（図１７参照）に進められる。
[Step S56] The
［ステップＳ５７］二重化制御部５３４は、退避対象スライスが割り当てられた未処理の復旧対象セグメントを１つ選択する。
［ステップＳ５８］二重化制御部５３４は、選択した復旧対象セグメントに、退避対象ディスクノード以外のディスクノードで管理されているスライスを割り当てる。具体的には、二重化制御部５３４は、スライス情報テーブル５２１から、退避対象ディスクノード以外のディスクノードに対応するスライスから、空きスライス（状態が「Ｆ」）を１つ選択する。そして、選択したスライスを、ステップＳ５７で選択した復旧対象セグメントのセカンダリスライスとして割り当てる。その後、処理がステップＳ５６に進められる。
[Step S57] The
[Step S58] The
図１７は、退避処理中リカバリ処理を示す第２のフローチャートである。以下、図１７に示す処理をステップ番号に沿って説明する。
［ステップＳ６１］二重化制御部５３４は、未処理の復旧対象セグメントがあるか否かを判断する。具体的には、二重化制御部５３４は、復旧対象リスト５２３を参照して、復旧対象セグメントを判断する。そして、二重化制御部５３４は、復旧対象セグメントのうち、セカンダリスライスを割り当てていないセグメントがあれば、未処理の復旧対象セグメントがあると判断する。未処理の復旧対象セグメントがある場合、処理がステップＳ６２に進められる。未処理の復旧対象セグメントがない場合、処理がステップＳ７４（図１８参照）に進められる。
FIG. 17 is a second flowchart showing the recovery process during the save process. In the following, the process illustrated in FIG. 17 will be described in order of step number.
[Step S61] The
［ステップＳ６２］二重化制御部５３４は、退避対象ディスクノード以外のディスクノードに空きスライスがあるか否かを判断する。具体的には、二重化制御部５３４は、スライス情報テーブル５２１から、退避対象ディスクノード以外のディスクノードに対応するスライスのうち、空きスライス（状態が「Ｆ」）があるか否かを判断する。空きスライスがあれば、処理がステップＳ６３に進められる。空きスライスがなければ、処理がステップＳ７１（図１８に示す）に進められる。
[Step S62] The
［ステップＳ６３］二重化制御部５３４は、未処理の復旧対象セグメントを１つ選択する。
［ステップＳ６４］二重化制御部５３４は、ステップＳ６３で選択した復旧対象セグメントに、退避対象ディスクノード以外のディスクノードで管理されているスライスを割り当てる。具体的には、二重化制御部５３４は、スライス情報テーブル５２１から、退避対象ディスクノード以外のディスクノードに対応するスライスから、空きスライス（状態が「Ｆ」）を１つ選択する。そして、選択したスライスを、ステップＳ６３で選択した復旧対象セグメントのセカンダリスライスとして割り当てる。その後、処理がステップＳ６１に進められる。
[Step S63] The
[Step S64] The
図１８は、退避処理中リカバリ処理を示す第３のフローチャートである。以下、図１８に示す処理をステップ番号に沿って説明する。
［ステップＳ７１］二重化制御部５３４は、未処理の復旧対象セグメントを１つ選択する。
FIG. 18 is a third flowchart showing the recovery process during the save process. In the following, the process illustrated in FIG. 18 will be described in order of step number.
[Step S71] The
［ステップＳ７２］二重化制御部５３４は、ステップＳ７１で選択した復旧対象セグメントに、退避対象ディスクノードで管理されているスライスを割り当てる。具体的には、二重化制御部５３４は、スライス情報テーブル５２１から、退避対象ディスクノードに対応するスライスから、空きスライス（状態が「Ｆ」）を１つ選択する。そして、選択したスライスを、ステップＳ７１で選択した復旧対象セグメントのセカンダリスライスとして割り当てる。
[Step S72] The
［ステップＳ７３］二重化制御部５３４は、未処理の復旧対象セグメントがあるか否かを判断する。未処理の復旧対象セグメントがあれば、処理がステップＳ７１に進められる。未処理の復旧対象セグメントがなければ、処理がステップＳ７４に進められる。
[Step S73] The
［ステップＳ７４］二重化制御部５３４は、復旧対象セグメントの既割当スライス（プライマリスライス）から新たに割り当てたスライス（セカンダリスライス）へのデータコピーを指示する。具体的には、二重化制御部５３４は、プライマリスライスを管理するディスクノードに対して、セカンダリスライスのディスクノードＩＤとスライスＩＤとを指定したデータコピー指示を送信する。
[Step S74] The
［ステップＳ７５］二重化制御部５３４は、スライス情報更新指示をプライマリスライスとセカンダリスライスとを管理するディスクノードに送信する。送信されるスライス情報更新指示には、既割当スライスを復旧対象セグメントのプライマリライスとし、ステップＳ４５で割り当てたスライスを復旧対象セグメントのセカンダリスライスとすることが示される。各ディスクノードでは、スライス情報記憶部とストレージ装置とのそれぞれに格納されたメタデータが更新される。ディスクノードは、メタデータを更新すると、スライス情報更新完了の応答を二重化制御部５３４に送信する。二重化制御部５３４は、ディスクノードからスライス情報更新完了の応答が返されると、スライス情報テーブル５２１とセグメント情報テーブル５２２とを更新する。
[Step S75] The
［ステップＳ７６］二重化制御部５３４は、退避処理を再実行するか否かを判断する。例えば、リカバリ処理終了後に中止した退避処理を再実行する旨の指示が予め入力されていた場合、退避処理を再実行すると判断する。また、二重化制御部５３４は、退避処理の再実行の有無を問い合わせる画面を表示し、管理者からの再実行の要否を示す操作入力に基づいて、退避処理再開の要否を判断してもよい。退避処理を再実行する場合、処理がステップＳ７７に進められる。退避処理を再実行しない場合、退避処理中リカバリ処理が終了する。
[Step S76] The
［ステップＳ７７］二重化制御部５３４は、退避処理の再実行を退避制御部５３５に送信する。これにより、退避制御部５３５により退避処理が再実行される。再実行される退避処理の詳細は、図１３に示した処理と同様である。ただし、退避処理対象ディスクノードリスト５２５については中止された退避処理において作成されたものが使用される。そのため、再実行された退避処理では、ステップＳ１１に示す退避処理対象ディスクノードリスト作成処理は行われない。二重化制御部５３４が退避処理再開指示を出力すると、退避処理中リカバリ処理が終了する。
[Step S77] The
以上のような手順でリカバリ処理が行われる。以下に、退避処理中に障害が発生したときのスライス割当状態の遷移について説明する。
図１９は、退避処理中に障害が発生したときのスライス割当の状態遷移を示す図である。図１９において、ストレージ装置１１０，２１０，３１０，４１０を管理するディスクノードのディスクノードＩＤを、各ストレージ装置１１０，２１０，３１０，４１０の下に示している。また、ストレージ装置１１０，２１０，３１０，４１０内のスライスのスライスＩＤを、各スライスの左に示している。
The recovery process is performed in the above procedure. Hereinafter, the transition of the slice allocation state when a failure occurs during the saving process will be described.
FIG. 19 is a diagram showing a state transition of slice assignment when a failure occurs during the saving process. In FIG. 19, the disk node ID of the disk node that manages the
第１の状態［ＳＴ１］は、退避処理開始時のスライス割当状態を示している。図１９の例では、ストレージ装置３１０の退避処理が開始されている。ストレージ装置３１０には、３つのスライスがセグメントに割り当てられている。そこで、ストレージ装置３１０のスライスＩＤ「２」のスライスのデータをストレージ装置２１０のスライスＩＤ「２」のスライスに退避させ、ストレージ装置３１０のスライスＩＤ「３」のスライスのデータをストレージ装置４１０のスライスＩＤ「２」のスライスに退避させ、ストレージ装置３１０のスライスＩＤ「６」のスライスのデータをストレージ装置１１０のスライスＩＤ「２」のスライスに退避させるものとする。
The first state [ST1] indicates the slice allocation state at the start of the save process. In the example of FIG. 19, the save processing for the
この場合、ストレージ装置３１０内の退避対象スライスが順に選択され、退避先のスライスにデータがコピーされる。なお、ストレージ装置３１０のスライスＩＤ「３」のスライスは、セグメントＩＤ「３」のセグメントのプライマリリスライスである。そこで、セグメントＩＤ「３」のセグメントのセカンダリスライス（ストレージ装置２１０のスライスＩＤ「３」のスライス）のプライマリ化を行った後、データコピーが行われる。
In this case, the save target slices in the
このような退避処理中に、退避対象のストレージ装置３１０以外のストレージ装置に障害が発生すると、退避処理は中止される。
第２の状態［ＳＴ２］は、障害発生時のスライス割当状態を示している。図１９の例では、ストレージ装置３１０のスライスＩＤ「６」のスライスのデータを退避させる前に、ストレージ装置４１０に障害が発生している。この場合、退避処理が中止される。
If a failure occurs in a storage device other than the
The second state [ST2] indicates the slice allocation state when a failure occurs. In the example of FIG. 19, a failure has occurred in the
第３の状態［ＳＴ３］は、退避処理中止後のスライス割当状態を示している。退避処理が中止されたため、依然として、ストレージ装置３１０のスライスＩＤ「６」のスライスは、セグメントＩＤ「２」のセグメントに割り当てられている。なお、退避処理が中止されても、ストレージ装置が退避処理の対象であることを示す情報は維持される。
The third state [ST3] indicates a slice allocation state after the save process is stopped. Since the saving process is stopped, the slice with the slice ID “6” of the
退避処理が中止されると、リカバリ処理が開始される。リカバリ処理では、まずスライス情報テーブル５２１とセグメント情報テーブル５２２とが再構成される。
図２０は、再構成されたスライス情報テーブルの例を示す図である。再構成されたスライス情報テーブル５２１には、障害が発生したディスクノード４００（ディスクノードＩＤ「ＤＰ−Ｄ」）のメタデータは含まれていない。そのため、正常動作している３台のディスクノード１００，２００，３００から収集したメタデータから、セグメント情報テーブル５２２が再構成される。
When the save process is stopped, the recovery process is started. In the recovery process, first, the slice information table 521 and the segment information table 522 are reconfigured.
FIG. 20 is a diagram illustrating an example of a reconfigured slice information table. The reconfigured slice information table 521 does not include the metadata of the disk node 400 (disk node ID “DP-D”) where the failure has occurred. Therefore, the segment information table 522 is reconstructed from the metadata collected from the three normally operating
図２１は、再構成されたセグメント情報テーブルの例を示す図である。再構成されたセグメント情報テーブル５２２では、１つのスライスしか割り当てられていないセグメントが存在する。このセグメントが、復旧対象セグメントとして選択される。 FIG. 21 is a diagram illustrating an example of a reconfigured segment information table. In the reconfigured segment information table 522, there is a segment to which only one slice is allocated. This segment is selected as a recovery target segment.
次に、退避処理中のリカバリ処理におけるスライス割当の状態遷移例について説明する。
図２２は、退避処理中のリカバリ処理におけるスライス割当の状態遷移を示す図である。リカバリ処理を行う場合、障害が発生したストレージ装置４１０に格納されていたスライスが割り当てられていたセグメントがリカバリ対象となる。そして、リカバリ対象のセグメントに割り当てられている別のセグメントのデータを用いて、データの二重化が実行される。データの二重化を行う場合、退避処理対象のストレージ装置３１０のスライスが優先的に処理される。
Next, an example of state transition of slice allocation in the recovery process during the save process will be described.
FIG. 22 is a diagram illustrating state transition of slice allocation in the recovery process during the save process. When performing the recovery process, the segment to which the slice stored in the
第４の状態［ＳＴ４］は、退避対象スライスのリカバリ処理時のスライス割当状態を示している。図２２の例では、ストレージ装置４１０のスライスＩＤ「６」のスライスが、セグメントＩＤ「２」のセグメントに対して、プライマリスライスとして割り当てられている。またこのセグメントには、退避処理対象のストレージ装置３１０のスライスＩＤ「６」のスライスが、セカンダリスライスとして割り当てられている。そこで、ストレージ装置３１０のスライスＩＤ「６」のスライスをプライマリスライスに変更した後、そのスライスのデータのコピーが行われる。図２２の例では、ストレージ装置３１０のスライス番号「６」の退避対象スライスのデータが、ストレージ装置１１０のスライス番号「２」のスライスにコピーされている。
The fourth state [ST4] indicates the slice allocation state during the recovery process of the save target slice. In the example of FIG. 22, the slice with the slice ID “6” of the
その後、退避処理対象のストレージ装置３１０以外のストレージ装置１１０，２１０に格納されているデータのリカバリ処理が行われる。
第５の状態［ＳＴ５］は、退避対象ではないスライスのリカバリ処理時のスライス割当状態を示している。図２２の例では、ストレージ装置１１０のスライスＩＤ「２」のスライスのデータが、ストレージ装置２１０のスライスＩＤ「１」のスライスにコピーされる。また、ストレージ装置２１０のスライスＩＤ「３」のスライスのデータが、ストレージ装置１１０のスライスＩＤ「５」のスライスにコピーされる。
Thereafter, recovery processing of data stored in the
The fifth state [ST5] indicates a slice allocation state at the time of recovery processing of a slice that is not a save target. In the example of FIG. 22, the data of the slice with the slice ID “2” in the
第６の状態［ＳＴ６］は、リカバリ処理終了時の状態を示している。リカバリ処理が終了したことにより、ストレージ装置４１０のスライスが割り当てられていたセグメントは、正常に動作しているストレージ装置１１０，２１０，３１０のスライスが二重化して割り当てられている。また、退避処理対象のストレージ装置３１０は、リカバリ処理時のコピー先として選択される優先順位が最も低いため、リカバリ処理により新たにデータがコピーされずに済んでいる。
The sixth state [ST6] indicates a state at the end of the recovery process. As a result of the completion of the recovery process, the segment to which the slice of the
リカバリ処理終了後、中止した退避処理を再開することができる。
図２３は、再開した退避処理におけるスライス割当の状態遷移を示す図である。第７の状態［ＳＴ７］は、退避処理再開時のスライス割当状態を示している。図２３の例では、空きスライスは、ストレージ装置２１０のスライスＩＤ「６」のスライスのみである。そこで、ストレージ装置２１０のスライスＩＤ「６」のスライスに、退避対象スライスの退避が行われる。
After the recovery process is completed, the canceled save process can be resumed.
FIG. 23 is a diagram illustrating a state transition of slice allocation in the resumed save process. The seventh state [ST7] indicates the slice allocation state when the save process is resumed. In the example of FIG. 23, the empty slice is only the slice with the slice ID “6” of the
なお、退避対象スライスであるストレージ装置３１０のスライスＩＤ「６」のスライスは、プライマリスライスである。そこで、そのスライスとペアを組んでいるストレージ装置１１０のスライスＩＤ「２」のスライスが、プライマリスライスに変更される。
Note that the slice with the slice ID “6” of the
第８の状態［ＳＴ８］は、退避処理終了後のスライス割当状態を示している。退避処理が終了したことにより、ストレージ装置３１０内のスライスはすべて空きスライスとなっている。
The eighth state [ST8] shows the slice allocation state after the end of the save process. Since the saving process is completed, all the slices in the
このようにして、再開した退避処理が実行される。退避処理対象のストレージ装置３１０のスライスは、リカバリ処理におけるリザーブスライスとして選択される優先順位が低い。そのため、退避処理を中止してリカバリ処理が実行されても、退避対象スライス数が増加せずに済む。その結果、再開した退避処理では、中止時点で未処理だった退避対象スライスのデータを退避させるだけで済む。すなわち、退避処理中に退避処理対象のストレージ装置とは異なるストレージ装置が故障してリカバリ処理が実行されても、退避処理の長期化が防止される。
In this way, the resumed save process is executed. The slice of the
しかも、リカバリ処理において、退避処理対象ディスクノードで管理されているスライスのコピー先の選択を優先して実行する。これにより、未処理の復旧対象セグメントがあるにも拘わらず退避処理対象ディスクノード以外のディスクノードに空きスライスが無くなってしまった場合であっても、未処理の復旧対象セグメントに割り当てるスライスを確実に選択できる。 In addition, in the recovery process, selection of the copy destination of the slice managed by the save process target disk node is executed with priority. This ensures that the slices to be allocated to the unprocessed recovery target segment can be ensured even when there are no free slices in the disk nodes other than the save processing target disk node even though there are unprocessed recovery target segments. You can choose.
すなわち、リカバリ処理で未処理の復旧対象セグメントに割り当てるスライスを選択する場合、既に割り当てられているスライスとは異なるディスクノードで管理されているスライスを選択する必要がある。退避処理対象ディスクノード以外のディスクノードに空きスライスが無くなってしまった場合、空きスライスは退避処理対象ディスクノードにしか存在しない。このとき、未処理の復旧対象セグメントの既に割り当てられているスライスが退避処理対象ディスクノードで管理されている場合、二重化のためのペアとなるスライスの選択の余地が無くなってしまう。退避処理対象ディスクノードで管理されているスライスのコピー先の選択を優先して実行しておけば、このようなペアとなるスライスが選択できないという事態の発生を回避することができる。 That is, when selecting a slice to be allocated to an unprocessed recovery target segment in the recovery process, it is necessary to select a slice managed by a disk node different from the already allocated slice. When there is no free slice in a disk node other than the save process target disk node, the free slice exists only in the save process target disk node. At this time, if a slice that has already been allocated to an unprocessed recovery target segment is managed by the save processing target disk node, there is no room for selection of a pair of slices for duplexing. If priority is given to the selection of the copy destination of the slice managed by the save process target disk node, such a situation that the paired slice cannot be selected can be avoided.
さらに、上記実施の形態では、退避対象スライスがプライマリスライスの場合、ペアとなるスライスをプライマリ化した後、データのコピーを実行する。これにより、アクセスノード３０，４０からのデータアクセスを、データコピー処理を行っていないストレージノードに対して行わせることができる。すなわち、アクセスノード３０，４０は、制御ノード５００からセグメント情報テーブル５２２に示される情報を取得し、常にプライマリスライスに対してデータアクセスを行う。アクセスノード３０，４０がデータアクセスを行ったときに、アクセス先のスライスが、アクセス対象のセグメントのプライマリスライスではない場合、アクセスノード３０，４０は、制御ノード５００から最新のセグメント情報テーブル５２２を取得し、改めてプライマリスライスにアクセスを行う。このように、アクセスノード３０，４０が常にプライマリスライスにアクセスするように制御されていることから、退避処理によるコピー元のスライスがプライマリスライスの場合、ペアとなるスライスをプライマリ化することで、退避対象スライスへのアクセスを防止できる。その結果、退避処理のためのデータコピーとアクセスノード３０，４０からのアクセスが同一セグメントに同時に行われることがなくなり、アクセス効率の低下を防止できる。
Furthermore, in the above embodiment, when the save target slice is a primary slice, data is copied after the paired slice is made primary. As a result, data access from the
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、制御ノードやディスクノードが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disc）などがある。 The above processing functions can be realized by a computer. In that case, a program describing the processing contents of the functions that the control node and the disk node should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium. Examples of the computer-readable recording medium include a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory. Examples of the magnetic recording device include a hard disk device (HDD), a flexible disk (FD), and a magnetic tape. Optical disks include DVD (Digital Versatile Disc), DVD-RAM, CD-ROM (Compact Disc Read Only Memory), CD-R (Recordable) / RW (ReWritable), and the like. Magneto-optical recording media include MO (Magneto-Optical disc).
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 When distributing the program, for example, a portable recording medium such as a DVD or a CD-ROM in which the program is recorded is sold. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。 The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.
なお、本発明は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。
以上説明した実施の形態の主な技術的特徴は、以下の付記の通りである。
The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
The main technical features of the embodiment described above are as follows.
（付記１） 複数のストレージ装置に格納されたデータの管理をコンピュータに実行させるデータ管理プログラムであって、
前記コンピュータを、
任意のストレージ装置を指定した退避要求が入力されると、指定された退避処理対象ストレージ装置の識別情報を記憶手段に格納し、前記退避処理対象ストレージ装置に格納されている全データを他のストレージ装置にコピーする退避処理を実行する退避処理実行手段、
障害が発生した障害ストレージ装置を検出する障害検出手段、
前記退避処理中に前記障害検出手段で障害の発生が検出された場合、前記退避処理実行手段による前記退避処理を中止させる退避処理中止指示手段、
前記障害検出手段で検出された前記障害ストレージ装置の障害により二重化状態が損なわれたデータを復旧対象データとする復旧対象データ判定手段、
前記記憶手段を参照し、前記復旧対象データの冗長データコピー先を、前記退避処理対象ストレージ装置以外のストレージ装置の記憶領域から優先的に選択する冗長データコピー先選択手段、
前記冗長データコピー先選択手段で選択された前記冗長データコピー先の記憶領域に、前記復旧対象データをコピーする冗長データコピー手段、
として機能させるデータ管理プログラム。
(Supplementary note 1) A data management program for causing a computer to manage data stored in a plurality of storage devices,
The computer,
When an evacuation request designating an arbitrary storage device is input, the identification information of the designated evacuation processing target storage device is stored in the storage means, and all the data stored in the evacuation processing target storage device is stored in another storage device Save processing execution means for executing save processing to be copied to the device,
Failure detection means for detecting a failed storage device in which a failure has occurred;
A evacuation process stop instruction means for suspending the evacuation process by the evacuation process execution means when an occurrence of a failure is detected by the failure detection means during the evacuation process;
Recovery target data determination means for setting recovery target data to data whose duplex state has been lost due to a failure of the failed storage device detected by the failure detection means;
A redundant data copy destination selection unit that refers to the storage unit and preferentially selects a redundant data copy destination of the recovery target data from a storage area of a storage device other than the save processing target storage device;
Redundant data copy means for copying the recovery object data to the redundant data copy destination storage area selected by the redundant data copy destination selection means;
Data management program to function as.
（付記２） 前記冗長データコピー先選択手段は、前記復旧対象データの総量に対して、前記退避処理対象ストレージ装置以外のストレージ装置内の空き領域が不足している場合、不足しているデータ容量分だけ、前記退避処理対象ストレージ装置内の空き領域を前記冗長データコピー先として選択することを特徴とする付記１記載のデータ管理プログラム。
(Supplementary Note 2) If the redundant data copy destination selection unit has insufficient free space in the storage device other than the save processing target storage device with respect to the total amount of the recovery target data, the insufficient data capacity The data management program according to
（付記３） 前記冗長データコピー先選択手段は、前記退避処理対象ストレージ装置内に格納されている前記復旧対象データの前記冗長データコピー先を決定後、前記退避処理対象ストレージ装置以外のストレージ装置に格納されている前記復旧対象データの前記冗長データコピー先を決定することを特徴とする付記１記載のデータ管理プログラム。
(Supplementary Note 3) After the redundant data copy destination selection unit determines the redundant data copy destination of the recovery target data stored in the save processing target storage device, the redundant data copy destination selection unit sends the redundant data copy destination selection unit to a storage device other than the save processing target storage device. The data management program according to
（付記４） 前記復旧対象データ判定手段は、前記障害検出手段で検出された前記障害ストレージ装置以外の正常ストレージ装置に格納されているデータ同士の対応関係を調査し、対応関係にある他のデータが存在しないデータを前記復旧対象データとすることを特徴とする付記１記載のデータ管理プログラム。
(Additional remark 4) The said recovery object data determination means investigates the correspondence of the data stored in normal storage apparatuses other than the said failure storage apparatus detected by the said failure detection means, and other data in correspondence The data management program according to
（付記５） 前記復旧対象データ判定手段は、仮想的に設けられた論理ボリュームの記憶領域を構成する複数のセグメントへの前記複数のストレージ装置の記憶領域を構成するスライスの割当関係を示すメタデータを、前記複数のストレージ装置から収集し、収集した前記メタデータに基づいて、１つのスライスしか割り当てられていないセグメントを復旧対象セグメントとし、前記復旧対象セグメントに割り当てられているスライス内のデータを前記復旧対象データとすることを特徴とする付記１記載のデータ管理プログラム。
(Additional remark 5) The said recovery object data determination means is the metadata which shows the allocation relationship of the slice which comprises the storage area of the said some storage apparatus to the some segment which comprises the storage area of the logical volume provided virtually Are collected from the plurality of storage devices, and based on the collected metadata, a segment to which only one slice is allocated is set as a recovery target segment, and data in the slice allocated to the recovery target segment is set as the recovery target segment. The data management program according to
（付記６） 前記退避処理実行手段は、前記退避処理が中止された場合、前記冗長データコピー手段によるコピー処理が終了後、前記退避対象ストレージ装置内のデータの退避処理を再実行することを特徴とする付記１記載のデータ管理プログラム。
(Additional remark 6) The said save process execution means re-executes the save process of the data in the said storage object storage apparatus, after the copy process by the said redundant data copy means is complete | finished, when the said save process is stopped. The data management program according to
（付記７） 前記複数のストレージ装置はそれぞれ個別のディスクノードで管理されており、
前記退避処理実行手段は、前記退避処理対象ストレージ装置に格納されているデータのコピー先となる退避データコピー先を、前記退避処理対象ストレージ装置以外のストレージ装置の空き領域から選択し、前記退避処理対象ストレージ装置を管理する前記ディスクノードに、前記退避データコピー先への前記退避処理対象ストレージ装置内のデータのコピーを実行させることを特徴とする付記１記載のデータ管理プログラム。
(Appendix 7) Each of the storage devices is managed by an individual disk node,
The save processing execution unit selects a save data copy destination as a copy destination of data stored in the save processing target storage device from free areas of storage devices other than the save processing target storage device, and performs the save processing. The data management program according to
（付記８） 前記複数のストレージ装置はそれぞれ個別のディスクノードで管理されており、
前記冗長データコピー手段は、前記復旧対象データが格納された前記ストレージ装置を管理する前記ディスクノードに、前記冗長データコピー先選択手段で選択された前記冗長データコピー先への前記復旧対象データのコピーを実行させることを特徴とする付記１記載のデータ管理プログラム。
(Appendix 8) Each of the storage devices is managed by an individual disk node.
The redundant data copy means copies the recovery target data to the redundant data copy destination selected by the redundant data copy destination selection means to the disk node that manages the storage device in which the recovery target data is stored. The data management program according to
（付記９） 複数のストレージ装置に格納されたデータの管理をコンピュータに実行させるデータ管理装置であって、
任意のストレージ装置を指定した退避要求が入力されると、指定された退避処理対象ストレージ装置の識別情報を記憶手段に格納し、前記退避処理対象ストレージ装置に格納されている全データを他のストレージ装置にコピーする退避処理を実行する退避処理実行手段と、
障害が発生した障害ストレージ装置を検出する障害検出手段と、
前記退避処理中に前記障害検出手段で障害の発生が検出された場合、前記退避処理実行手段による前記退避処理を中止させる退避処理中止指示手段と、
前記障害検出手段で検出された前記障害ストレージ装置の障害により二重化状態が損なわれたデータを判断し、復旧対象データとする復旧対象データ判定手段と、
前記記憶手段を参照し、前記復旧対象データの冗長データコピー先を、前記退避処理対象ストレージ装置以外のストレージ装置の記憶領域から優先的に選択する冗長データコピー先選択手段と、
前記冗長データコピー先選択手段で選択された前記冗長データコピー先の記憶領域に、前記復旧対象データをコピーする冗長データコピー手段と、
を有するデータ管理装置。
(Supplementary Note 9) A data management apparatus that causes a computer to manage data stored in a plurality of storage apparatuses,
When an evacuation request designating an arbitrary storage device is input, the identification information of the designated evacuation processing target storage device is stored in the storage means, and all the data stored in the evacuation processing target storage device is stored in another storage device Save processing execution means for executing save processing to be copied to the device;
Failure detection means for detecting a failed storage device in which a failure has occurred;
A saving process stop instruction means for stopping the saving process by the saving process execution means when the failure detection means detects a failure during the saving process;
A recovery target data determination unit that determines data that has been duplicated due to a failure of the failed storage device detected by the failure detection unit, and sets the data as a recovery target data;
A redundant data copy destination selection means for preferentially selecting a redundant data copy destination of the recovery target data from a storage area of a storage device other than the save processing target storage device with reference to the storage means;
Redundant data copy means for copying the recovery target data to the storage area of the redundant data copy destination selected by the redundant data copy destination selection means;
A data management device.
（付記１０） 複数のストレージ装置に格納されたデータの管理をコンピュータに実行させるデータ管理方法であって、
前記コンピュータが、
任意のストレージ装置を指定した退避要求が入力されると、指定された退避処理対象ストレージ装置の識別情報を記憶手段に格納し、前記退避処理対象ストレージ装置に格納されている全データを他のストレージ装置にコピーする退避処理を実行し、
障害が発生した障害ストレージ装置を検出し、
前記退避処理中に障害の発生が検出された場合、前記退避処理を中止させ、
前記障害ストレージ装置の障害により二重化状態が損なわれたデータを復旧対象データとし、
前記記憶手段を参照し、前記復旧対象データの冗長データコピー先を、前記退避処理対象ストレージ装置以外のストレージ装置の記憶領域から優先的に選択し、
選択された前記冗長データコピー先の記憶領域に、前記復旧対象データをコピーする、
ことを特徴とするデータ管理方法。
(Supplementary Note 10) A data management method for causing a computer to manage data stored in a plurality of storage devices,
The computer is
When an evacuation request designating an arbitrary storage device is input, the identification information of the designated evacuation processing target storage device is stored in the storage means, and all the data stored in the evacuation processing target storage device is stored in another storage device Execute save processing to copy to the device,
Detect the failed storage device that failed,
If a failure is detected during the save process, the save process is stopped,
The data whose duplex state has been lost due to the failure of the failed storage device is the recovery target data,
With reference to the storage means, a redundant data copy destination of the recovery target data is preferentially selected from storage areas of storage devices other than the save processing target storage device, and
Copying the recovery target data to the selected storage area of the redundant data copy destination;
A data management method characterized by the above.
１ａ，１ｂ，１ｃ，１ｄ ストレージ装置
２ 退避処理実行手段
３ 記憶手段
４ 障害検出手段
５ 退避処理中止指示手段
６ 復旧対象データ判定手段
７ 冗長データコピー先選択手段
８ 冗長データコピー手段
1a, 1b, 1c,
Claims (7)
前記コンピュータに、
任意のストレージ装置を指定した退避要求が入力されると、指定された退避処理対象ストレージ装置の識別情報を記憶手段に格納し、前記退避処理対象ストレージ装置に格納されているデータを他のストレージ装置にコピーする退避処理を実行し、
前記退避処理中に、いずれかのストレージ装置での障害の発生が検出された場合、前記退避処理を中止させ、
該ストレージ装置の障害により二重化状態が損なわれたデータを復旧対象データとし、
前記記憶手段を参照し、該復旧対象データの冗長データコピー先を、前記退避処理対象ストレージ装置以外のストレージ装置の記憶領域から優先的に選択し、
選択された該冗長データコピー先の記憶領域に、該復旧対象データをコピーする、
処理を実行させるデータ管理プログラム。 A data management program for causing a computer to manage data stored in a plurality of storage devices,
To the computer,
When saving request specifying any storage device is input, the designated save processing target storage device stores the identification information in the storage means, the evacuation processing target storage unit stored with the Lud over data other have the run the save processing to be copied to the storage device,
During pre-Symbol saving process, when the occurrence of failure in one of the storage device is detected, it stops the pre Symbol saving process,
The data duplication state has been compromised by the failure of the storage system and recovery target data,
Referring to the storage means, a redundant data copy destination of the restoration target data, preferentially selected from the storage area of the save processing target storage device other than the storage device,
To select the storage area of the redundant data copy destination has been, to copy the recovery target data,
Data management program that executes processing .
任意のストレージ装置を指定した退避要求が入力されると、指定された退避処理対象ストレージ装置の識別情報を記憶手段に格納し、前記退避処理対象ストレージ装置に格納されているデータを他のストレージ装置にコピーする退避処理を実行する退避処理実行手段と、
障害が発生したストレージ装置を検出する障害検出手段と、
前記退避処理中に前記障害検出手段で障害の発生が検出された場合、前記退避処理実行手段による前記退避処理を中止させる退避処理中止指示手段と、
前記障害検出手段で検出された該ストレージ装置の障害により二重化状態が損なわれたデータを判断し、復旧対象データとする復旧対象データ判定手段と、
前記記憶手段を参照し、該復旧対象データの冗長データコピー先を、前記退避処理対象ストレージ装置以外のストレージ装置の記憶領域から優先的に選択する冗長データコピー先選択手段と、
前記冗長データコピー先選択手段で選択された該冗長データコピー先の記憶領域に、該復旧対象データをコピーする冗長データコピー手段と、
を有するデータ管理装置。 A data management device for managing data stored in a plurality of storage devices,
When saving request specifying any storage device is input, the designated save processing target storage device stores the identification information in the storage means, the evacuation processing target storage unit stored with the Lud over data other have the Save processing execution means for executing save processing to be copied to the storage device;
And failure detection means for detecting a storage device fails,
A saving process stop instruction means for stopping the saving process by the saving process execution means when the failure detection means detects a failure during the saving process;
A recovery target data determination unit that determines data that has been duplicated due to a failure of the storage device detected by the failure detection unit, and sets the data as a recovery target data;
Referring to the storage means, a redundant data copy destination of the restoration target data, and the redundant data copy destination selection means for selecting preferentially from the storage area of the save processing target storage device other than the storage device,
In the storage area of the redundant data copy destination selected by the redundant data copy destination selection means, and the redundant data copying means for copying the recovery target data,
A data management device.
コンピュータが、
任意のストレージ装置を指定した退避要求が入力されると、指定された退避処理対象ストレージ装置の識別情報を記憶手段に格納し、前記退避処理対象ストレージ装置に格納されているデータを他のストレージ装置にコピーする退避処理を実行し、
前記退避処理中に、いずれかのストレージ装置での障害の発生が検出された場合、前記退避処理を中止させ、
該ストレージ装置の障害により二重化状態が損なわれたデータを復旧対象データとし、
前記記憶手段を参照し、該復旧対象データの冗長データコピー先を、前記退避処理対象ストレージ装置以外のストレージ装置の記憶領域から優先的に選択し、
選択された該冗長データコピー先の記憶領域に、該復旧対象データをコピーする、
ことを特徴とするデータ管理方法。
A data management method for managing data stored in a plurality of storage devices,
Computer is,
When saving request specifying any storage device is input, the designated save processing target storage device stores the identification information in the storage means, the evacuation processing target storage unit stored with the Lud over data other have the Execute save processing to copy to the storage device,
During pre-Symbol saving process, when the occurrence of failure in one of the storage device is detected, to stop the evacuation process,
The data duplication state has been compromised by the failure of the storage system and recovery target data,
Referring to the storage means, a redundant data copy destination of the restoration target data, preferentially selected from the storage area of the save processing target storage device other than the storage device,
The storage area of the selected the redundant data copy destination, copying the recovery target data,
A data management method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008230661A JP5309816B2 (en) | 2008-09-09 | 2008-09-09 | Data management program, data management apparatus, and data management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008230661A JP5309816B2 (en) | 2008-09-09 | 2008-09-09 | Data management program, data management apparatus, and data management method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010066862A JP2010066862A (en) | 2010-03-25 |
| JP5309816B2 true JP5309816B2 (en) | 2013-10-09 |
Family
ID=42192418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008230661A Expired - Fee Related JP5309816B2 (en) | 2008-09-09 | 2008-09-09 | Data management program, data management apparatus, and data management method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5309816B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7179947B2 (en) * | 2018-09-21 | 2022-11-29 | 株式会社日立製作所 | Storage system and storage control method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4711688B2 (en) * | 2003-05-21 | 2011-06-29 | 富士通株式会社 | Storage system |
| JP4296120B2 (en) * | 2004-04-09 | 2009-07-15 | 富士通株式会社 | Redundant configuration restoration method, data management system, and redundant configuration restoration program |
| JP4757300B2 (en) * | 2006-03-31 | 2011-08-24 | 富士通株式会社 | Volume management apparatus and volume management method |
| JP4767139B2 (en) * | 2006-09-15 | 2011-09-07 | 富士通株式会社 | Storage management program, storage management device, and storage management method |
| US8321171B2 (en) * | 2006-12-13 | 2012-11-27 | Telecom Italia S.P.A. | Sensor network including spatially distributed sensor nodes in an area for detection of mobile entities in the area |
-
2008
- 2008-09-09 JP JP2008230661A patent/JP5309816B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010066862A (en) | 2010-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5396836B2 (en) | Data distribution control program, storage management program, control node, and disk node | |
| JP5412882B2 (en) | Logical volume configuration information providing program, logical volume configuration information providing method, and logical volume configuration information providing apparatus | |
| US8413133B2 (en) | Software update management apparatus and software update management method | |
| US8433947B2 (en) | Computer program, method, and apparatus for controlling data allocation | |
| CN102652423B (en) | Method and system for cluster selection and cooperative replication | |
| US8458398B2 (en) | Computer-readable medium storing data management program, computer-readable medium storing storage diagnosis program, and multinode storage system | |
| JP5158074B2 (en) | Storage management program, storage management method, storage management device, and storage system | |
| JP5218284B2 (en) | Virtual disk management program, storage device management program, multi-node storage system, and virtual disk management method | |
| JP4519179B2 (en) | Logical volume management program, logical volume management apparatus, logical volume management method, and distributed storage system | |
| JP5699852B2 (en) | Information processing apparatus, storage control method, and program | |
| JP2005018510A (en) | Data center system and its control method | |
| JP2005242403A (en) | Computer system | |
| JP2003345531A (en) | Storage system, management server, and its application managing method | |
| JP4783076B2 (en) | Disk array device and control method thereof | |
| US7849264B2 (en) | Storage area management method for a storage system | |
| US20050198411A1 (en) | Commingled write cache in dual input/output adapter | |
| JP5309816B2 (en) | Data management program, data management apparatus, and data management method | |
| JP5195213B2 (en) | Update control program, update control apparatus, and update control method | |
| JP5348300B2 (en) | Data management program and multi-node storage system | |
| JP5640480B2 (en) | Data management program, storage system, and data management method | |
| JP2010277342A (en) | Management program, management device, and management method | |
| JPWO2008126169A1 (en) | Storage management program, storage management method, and storage management device | |
| JP2008305223A (en) | Restore control program, restore control method, restore control device, and restore control system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130604 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130617 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |