JP4341072B2 - データ配置管理方法及びシステムと装置およびプログラム - Google Patents
データ配置管理方法及びシステムと装置およびプログラム Download PDFInfo
- Publication number
- JP4341072B2 JP4341072B2 JP2004364952A JP2004364952A JP4341072B2 JP 4341072 B2 JP4341072 B2 JP 4341072B2 JP 2004364952 A JP2004364952 A JP 2004364952A JP 2004364952 A JP2004364952 A JP 2004364952A JP 4341072 B2 JP4341072 B2 JP 4341072B2
- Authority
- JP
- Japan
- Prior art keywords
- file
- data
- server
- log
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/119—Details of migration of file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Mobile Radio Communication Systems (AREA)
Description
前記複数のストレージ装置のうちの少なくとも一つのストレージ装置内に配置されているデータオブジェクトに関するアクセスコンテキストを解析し、前記データオブジェクトを、前記複数のストレージ装置のうち前記一つのストレージ装置とは異なる他のストレージ装置へ再配置させるか否かを決定するステップと、
前記再配置の決定を受けて、前記一つのストレージ装置内の前記データオブジェクトを前記他のストレージ装置に移行させるステップと、
を含む。
前記スイッチ機能が、クライアントからのファイルアクセスのログ情報をとる処理と、
前記分析機能が、取得された前記ファイルアクセスのログ情報に基づき、前記クライアントが属する拠点とは別の拠点のサーバのストレージ装置から、前記クライアントが属する拠点又は近傍の拠点のサーバに移行するデータを決定し、前記スイッチ機能にデータの移行を指示する処理と、
前記スイッチ機能が、前記分析機能からの指示に基づき、データを移行する処理と、
を実行させるプログラムよりなる。
まず、スイッチ装置200を経由して、クライアント100とサーバ300でやり取りされるファイルアクセスプロトコルのデータのログを採取する手順について説明する。
本実施の形態では、ログデータから移行候補を抽出するにあたり、以下の4つの単位で候補の選択が可能である。
(b)操作ユーザを基準とした、ディレクトリ単位での移行候補の抽出;
(c)操作グループを基準とした、ファイル単位での移行候補の抽出;
(d)操作グループを基準とした、ディレクトリ単位での移行候補の抽出;
まず、上記(a)の操作ユーザを基準とし、ログ格納部401にて保存されているログから、各ファイルのアクセスコンテキストを算出し、移行対象となるファイルを決定するまでの手順を説明する。
(0-3日前のUser AのWRITEの回数)×1=W1
(4-7日前のUser AのREADの回数)×0.1=R2
(4-7日前のUser AのWRITEの回数)×1=W2
(8-30日前のUser AのREADの回数)×01=R3
(8-30日前のUser AのWRITEの回数)×1=W3
(1-3ヶ月前のUser AのREADの回数)×0.1=R4
(1-3ヶ月前のUser AのWRITEの回数)×1=W4
次に、(b)の操作ユーザを基準とし、ログ格納部401にて保存されているログから、各ディレクトリのアクセスコンテキストを算出し、移行対象となるディレクトリを決定するまでの手順を述べる。
次に、上記(c)の操作グループを基準とし、ログ格納部401にて保存されているログから、各ファイルのアクセスコンテキストを算出し、移行対象となるファイルを決定するまでの手順を述べる。前記操作グループのグループとは、ユーザ(もしくはクライアント)が所属している拠点をグループ化したものである。
“/test/test3”、
“/Dir/File4”、
“/Dir/File5”、
“/sample/sample1”、
“/sample/sample2”
であり、
移行対象外のファイルは、
“/test/test3”となる。
次に、上記(d)の操作グループを基準とし、ログ格納部401にて保存されているログから、各ディレクトリのアクセスコンテキストを算出し、移行対象となるディレクトリを決定するまでの手順を述べる。
“/Dir”、
“/sample”
であり、移行対象外のディレクトリはないことになる。
また、各拠点の分析装置400に設定されているルール内のパラメータは、各拠点の(常に高いファイルアクセスが求められるなどの)重要度に応じて設定するなど、必ずしも同一としなくても良いが、分析作業とファイル移行作業を実施する時間は全拠点で同一時間帯に設定する。
複数のスイッチ装置200間で連係して、スイッチ装置200配下にある複数のサーバ300の複数のファイルシステム3をクライアント100に対して統合されたストレージリソースとして提供するための前提知識として、スイッチ装置200単体動作時に複数のサーバの複数のファイルシステムをクライアント100に対して統合されたストレージリソースとして提供するための動作手順について以下に説明する。
次に、ログデータから抽出されたデータ移行候補の情報を基に、拠点間でデータの再配置を実施する手順を述べる。
図1に示した例では、拠点数が2つであるため、ログデータより抽出された移行候補を移行するか否かを一意に判断できる。拠点数が3つ以上である場合には、各拠点の分析装置400から移行候補が得られた場合には、同一の移行候補が、複数の拠点の分析装置400で抽出される可能性がある。このような場合、どの拠点のサーバ300へデータを移行するかの判断基準は、以下のような手法が適宜選択される。
図1、図2、5、7、10に示したシステム、及びルールの例では、全ての拠点において同一となる、ログ情報の分析から、データ再配置を実施する実行時間を設定していたが、少なくとも1つの拠点又は全ての拠点に関して、所定の評価値に基づき、該拠点へのデータ再配置周期を可変に設定する構成としてもよい。拠点に関する評価値としては、ファイルアクセスサービスの使用量の額であってもよい。具体的には、例えば図2に示した分析装置400のデータ移行指示部403は、各拠点で支払うファイルアクセスサービス使用料に応じて、自拠点へのデータ再配置作業の実行周期を可変させる制御を行う。ファイルアクセスサービス使用料の額に応じて、自拠点へのデータ再配置作業の実行周期を変化させる場合、例えば、ファイルアクセスサービス使用料を多く支払った拠点に対しては、データ再配置の実行周期をより短周期に設定し、ユーザによるファイルアクセスの後、間もなくデータ再配置候補の抽出を実施して、自拠点(すなわちファイルアクセスサービス使用料を多く支払った拠点)にデータ再配置させることで、即座に高速なレスポンスが得られるサービス環境を実現させる。このように、ファイルアクセスサービス使用料として支払った金額によって、自拠点へのデータ再配置の周期を変化させ、全く再配置作業をしないサービスレベル環境から、より、データ再配置作業の実施周期の短いサービスレベル環境まで、段階的に、複数のサービスレベルが設定される。
2 広域ネットワーク
3 ファイルシステム
4 記憶装置
100 クライアント
200 スイッチ装置(スイッチ)
201 パケット処理部
202 ファイルアクセス管理部
203 オブジェクトID書き換え部
204 擬似ファイルシステム
205 ファイルシステム補完処理部
206 データ移行処理部
207 ログ選別部
300 サーバ
400 分析装置
401 ログ格納部
402 ログ成型部
403 データ移行指示部
404 記憶装置
500 ルール
501 分析結果
502 ルール
503 分析結果
504 ルール
505〜507 分析結果
508 ルール
509 分析結果
600〜602 ディレクトリ
Claims (30)
- 少なくとも1つのクライアントと、
前記クライアントとネットワークを介して接続され、それぞれがストレージ装置を備え、前記クライアントからの要求に対する応答を提供する複数のファイルサーバと、
前記クライアントと前記ファイルサーバの間に論理的に配置され、分析装置に接続されたスイッチ装置と、を備え、
前記スイッチ装置は、
前記クライアントからの要求を受け、前記要求を解析し、前記要求のうち、データの読み出し、更新、削除、及び、名前の変更のうちの少なくとも1つの要求について、
操作種別ごとの実行ログを、
操作が実行された日時、
操作を実行したユーザ名、
操作を実行したクライアント名又はアドレス、
操作を実行したファイルサーバ名又はアドレス、及び、
操作を実行したファイルまでのパス名、
と関連付けて記憶手段に保存する手段と、を有し、
前記分析装置は、
前記保存された実行ログと、ユーザ又はユーザが所属しているグループ情報とを基に、各ユーザ又はグループがファイル及び/又はディレクトリに対してアクセスした回数を、操作要求の種類により定めた重み係数、および、アクセスされた時期によって定めた重み係数を乗じて、総和をとることにより算出により求められる値をアクセスコンテキストとして導出する手段と、
前記アクセスコンテキストの導出の際、導出対象となるファイル及び/又はディレクトに対して削除要求のログがあった場合には、同一パス名、及びファイル名となるログ情報が前記削除要求ログの後に存在しない場合に、前記削除要求ログに関するファイル及び/又はディレクトリのアクセスコンテキストを導出しない手段と、
前記アクセスコンテキストの導出の際、導出対象となるファイル及び/又はディレクトに対して名前変更要求のログがあった場合には、変更前の名前のログと、変更後の名前のログとを同一ファイル及び/ディレクトリのログとして扱い、新しい名前を用いてアクセスコンテキストを導出する手段と、
前記アクセスコンテキストに基づき、導出されたアクセスコンテキストの値が、予め決められたある一定以上の値となっていた場合に、利用される可能性が高いファイル、ディレクトリと判定し、前記ファイル、ディレクトリをその利用可能性が高いユーザ又はユーザが所属しているグループの近傍に位置するストレージ装置に移行してデータの再配置を行う手段と、
前記データ再配置先の判定の際、移行候補となる同一のファイル及び/又はディレクトリが、複数のユーザ又はユーザが所属しているグループにおいてアクセスコンテキストの値が一定以上の値となり、かつ、前記複数のユーザ又はユーザが所属するグループが複数の拠点に分散していた場合、ユーザ又はユーザが所属しているグループが所属する拠点毎及び/又はアクセスするストレージ装置の領域毎に割り当てられた優先度に基づき再配置させるか、又は前記複数の拠点間にある1つの拠点に移行させる手段と、を備えている、ことを特徴とするストレージシステム。 - 前記スイッチ装置は、前記スイッチ装置又は通信手段を介して接続される他のスイッチ装置配下にある複数のサーバの複数のファイルシステムを、クライアントに対して、統合されたストレージリソースとして提供する、ことを特徴とする請求項1記載のストレージシステム。
- 前記スイッチ装置は、前記クライアントから送信されたオブジェクトに関する要求を、前記オブジェクトを管理する前記サーバに転送し、
前記要求に対する前記サーバからの応答を前記要求の送信元であるクライアントに転送し、
転送する応答に前記オブジェクトを識別するために、前記サーバで生成された元オブジェクトIDが含まれている場合には、前記元オブジェクトIDに対応するオブジェクトを管理するサーバを、他のサーバから識別するためのサーバ識別情報を挿入して、前記元オブジェクトIDを書き換え、
転送する要求に、前記書き換えられたオブジェクトIDが含まれている場合には、前記書き換えられたオブジェクトIDを前記元オブジェクトIDに復元する手段を備えている、ことを特徴とする請求項1記載のストレージシステム。 - 前記スイッチ装置は、前記複数のファイルシステムのディレクトリツリーを組み合わせた1つの統合ディレクトリツリーとして管理される擬似ファイルシステムを備え、
前記統合ディレクトリツリーにおけるディレクトリツリーのつなぎ目の情報を記憶管理する、ことを特徴とする請求項1記載のストレージシステム。 - ネットワークを介して相互に接続される複数の拠点のそれぞれが、前記スイッチ装置を備え、さらに、前記スイッチ装置に接続される分析装置を備え、
前記スイッチ装置は、前記クライアントからのファイルアクセスのログ情報をとり、
前記分析装置は、ファイルアクセスのログ情報に基づき、前記クライアントが属する拠点とは別の拠点のサーバのストレージ装置から、前記クライアントが属する拠点又は近傍の拠点のサーバに移行するデータを決定し、前記スイッチ装置にデータの移行を指示する手段を備え、
前記スイッチ装置は、前記分析装置からの指示に基づき、前記別の拠点のサーバのストレージ装置から、前記クライアントが属する拠点又は近傍の拠点のサーバのストレージ装置へデータを移行させる、ことを特徴とする請求項1記載のストレージシステム。 - 前記分析装置は、前記スイッチ装置での前記クライアントによるファイルアクセスのログ情報を受け取り、
ファイルアクセス操作の種別に応じたポイントと、
前記ポイントに掛ける重み情報であって、前記ファイルアクセスが現在よりどのくらい前に行われたかという時間的条件に応じて規定される重み情報と、
に基づき、前記サーバへのファイルアクセスのログ情報を数値化データとして求め、
前記数値化されたログ情報の値を、規則に規定された移行条件と照合し、移行条件を満たしている場合、前記ファイルアクセス対象のファイル及び/又はディレクトリを、前記サーバのストレージ装置から、前記クライアントの属するローカルシステムのサーバのストレージ装置に移行させるように、前記スイッチ装置に指示し、
前記スイッチ装置は、前記分析装置からの指示に基づき、前記クライアントの属するローカルシステムのサーバのストレージ装置へファイル及び/又はディレクトリを移行する、ことを特徴とする請求項5記載のストレージシステム。 - 前記スイッチ装置は、前記クライアントから送信されたファイルアクセス要求パケットと前記サーバから送信されたファイルアクセス応答パケットを受信して、パケット内のデータを抽出するパケット処理部と、
前記パケット処理部で抽出されたデータの処理の決定と管理を行うファイルアクセス管理部と、
ファイルアクセスプロトコル内に含まれるオブジェクト識別子であって、サーバで生成されたファイル、ディレクトリを識別するための前記オブジェクト識別子に対して、どのサーバに格納されているオブジェクトかを前記スイッチ装置が判断するために、前記オブジェクト識別子に、データを格納しているサーバの識別子を組み込み、サーバの識別子が組み込まれている前記オブジェクト識別子を、前記サーバが生成した元のオブジェクト識別子に戻す処理を行うオブジェクトID書き換え部と、
前記ファイルアクセス管理部からのファイルアクセスプロトコルのデータに基づいて、クライアントおよびサーバに対して送信するデータを再構成するファイルシステム補完処理部と、
複数の拠点のそれぞれにおける、複数のファイルシステムの一元化の構成を管理する擬似ファイルシステムと、
拠点内、及び拠点間のサーバ間でのデータ移動を行い、データ移動の前後でクライアントに対して、データ移動実行の動作を隠蔽するために、ファイルシステム補完処理部及び擬似ファイルシステムの情報を変更するデータ移行処理部と、
前記ファイルアクセス管理部から取得したファイルアクセスプロトコルのデータのうち、ログとして必要となる情報を抽出するログ選別部と、
を含む、ことを特徴とする請求項1記載のストレージシステム。 - 前記分析装置は、前記スイッチ装置の前記ログ選別部により抽出されたログ情報を格納するログ格納部と、
前記ログ格納部に格納されているログ情報から、アクセスコンテキスト算出のための、ログ情報を成型して、アクセスコンテキスト情報を算出するログ成型部と、
前記ログ成型部で算出された、アクセスコンテキスト情報を基に、再配置するデータを決定し、前記スイッチ装置の前記データ移行処理部に対して、再配置対象のデータの移行を指示するデータ移行指示部と、
を含む、ことを特徴とする請求項5記載のストレージシステム。 - 前記分析装置は、前記ログ情報から移行候補を抽出するにあたり、
ユーザを基準とした、ファイル単位でのアクセスコンテキストによる移行候補の抽出、
ユーザを基準とした、ディレクトリ単位でのアクセスコンテキストによる移行候補の抽出、
グループを基準とした、ファイル単位でのアクセスコンテキストによる移行候補の抽出、
グループを基準とした、ディレクトリ単位でのアクセスコンテキストによる移行候補の抽出、
のうちのいずれかで行う、ことを特徴とする請求項5記載のストレージシステム。 - 前記規則は、
1回の読み出し操作又は更新操作を表すログに与えられるポイントと、
操作の実行日時によって前記ポイントに掛け合わせる重みと、
移行対象ファイル又はディレクトリの条件と、
を含む、ことを特徴とする請求項6記載のストレージシステム。 - 前記規則は、ログ情報の分析と、ファイル又はディレクトリの移行作業の時間帯を含む、ことを特徴とする請求項10記載のストレージシステム。
- 前記分析装置は、前記クライアントからのファイルアクセス対象の操作に関して、前記操作の回数にポイントを乗算した値に、操作の実行日時に応じて規定される重みを乗じた値を、ログされているアクセス対象の操作に関して総和をとることで、ファイルアクセスのログ情報を数値化する、ことを特徴とする請求項5記載のストレージシステム。
- 前記分析装置は、ファイルアクセスのログ情報に基づき、前記クライアントが属する拠点のサーバのストレージ装置から、他の拠点のサーバへのデータの移行を行わないファイル及び又はディレクトリを決定する手段を備えている、ことを特徴とする請求項5記載のストレージシステム。
- 前記分析装置は、拠点に関する所定の評価値に応じて、前記拠点へのデータ再配置の実行周期を可変制御する手段を備えている、ことを特徴とする請求項5記載のストレージシステム。
- 前記分析装置において、少なくとも一つの拠点へのデータの再配置の実行、非実行が選択自在とされてなる、ことを特徴とする請求項5記載のストレージシステム。
- 少なくとも1つのクライアントと、
前記クライアントとネットワークを介して接続され、それぞれがストレージ装置を備え、前記クライアントからの要求に対する応答を提供する複数のファイルサーバと、
前記クライアントと前記ファイルサーバの間に論理的に配置され、分析装置に接続されたスイッチ装置と、を有するストレージシステムのデータ配置管理方法であって、
前記スイッチ装置は、
前記クライアントからの要求を受け、前記要求を解析し、前記要求のうち、データの読み出し、更新、削除、及び、名前の変更のうちの少なくとも1つの要求について、
操作種別ごとの実行ログを、
操作が実行された日時、
操作を実行したユーザ名、
操作を実行したクライアント名又はアドレス、
操作を実行したファイルサーバ名又はアドレス、及び、
操作を実行したファイルまでのパス名、
と関連付けて記憶手段に保存し、
前記分析装置は、
前記保存された実行ログと、ユーザ又はユーザが所属しているグループ情報とを基に、各ユーザ又はグループがファイル及び/又はディレクトリに対してアクセスした回数を、操作要求の種類により定めた重み係数、および、アクセスされた時期によって定めた重み係数を乗じて、総和をとることにより算出により求められる値をアクセスコンテキストとして導出し、
前記アクセスコンテキストの導出の際、導出対象となるファイル及び/又はディレクトに対して削除要求のログがあった場合には、同一パス名、及びファイル名となるログ情報が前記削除要求ログの後に存在しない場合に、前記削除要求ログに関するファイル及び/又はディレクトリのアクセスコンテキストを導出せず、
前記アクセスコンテキストの導出の際、導出対象となるファイル及び/又はディレクトに対して名前変更要求のログがあった場合には、変更前の名前のログと、変更後の名前のログとを同一ファイル及び/ディレクトリのログとして扱い、新しい名前を用いてアクセスコンテキストを導出し、
前記アクセスコンテキストに基づき、導出されたアクセスコンテキストの値が、予め決められたある一定以上の値となっていた場合に、利用される可能性が高いファイル、ディレクトリと判定し、前記ファイル、ディレクトリをその利用可能性が高いユーザ又はユーザが所属しているグループの近傍に位置するストレージ装置に移行してデータの再配置を行い、
前記データ再配置先の判定の際、移行候補となる同一のファイル及び/又はディレクトリが、複数のユーザ又はユーザが所属しているグループにおいてアクセスコンテキストの値が一定以上の値となり、かつ、前記複数のユーザ又はユーザが所属するグループが複数の拠点に分散していた場合、ユーザ又はユーザが所属しているグループが所属する拠点毎及び/又はアクセスするストレージ装置の領域毎に割り当てられた優先度に基づき再配置させるか、又は前記複数の拠点間にある1つの拠点に移行させることを特徴とするデータ配置管理方法。 - 前記スイッチ装置は、前記スイッチ装置又は通信手段を介して接続される他のスイッチ装置配下にある複数のサーバの複数のファイルシステムを、クライアントに対して、統合されたストレージリソースとして提供する、ことを特徴とする請求項16記載のデータ配置管理方法。
- 前記スイッチ装置は、前記クライアントから送信されたオブジェクトに関する要求を、前記オブジェクトを管理する前記サーバに転送し、
前記要求に対する前記サーバからの応答を前記要求の送信元であるクライアントに転送し、
転送する応答に前記オブジェクトを識別するために、前記サーバで生成された元オブジェクトIDが含まれている場合には、前記元オブジェクトIDに対応するオブジェクトを管理するサーバを、他のサーバから識別するためのサーバ識別情報を挿入して、前記元オブジェクトIDを書き換え、
転送する要求に、前記書き換えられたオブジェクトIDが含まれている場合には、前記書き換えられたオブジェクトIDを前記元オブジェクトIDに復元する、ことを特徴とする請求項16記載のデータ配置管理方法。 - 前記スイッチ装置は、前記複数のファイルシステムのディレクトリツリーを組み合わせた1つの統合ディレクトリツリーとして管理される擬似ファイルシステムを備え、
前記統合ディレクトリツリーにおけるディレクトリツリーのつなぎ目の情報を記憶管理する、ことを特徴とする請求項16記載のデータ配置管理方法。 - ネットワークを介して相互に接続される複数の拠点のそれぞれが、前記スイッチ装置を備え、さらに、前記スイッチ装置に接続される分析装置を備え、
前記スイッチ装置は、前記クライアントからのファイルアクセスのログ情報をとるステップと、
前記分析装置が、ファイルアクセスのログ情報に基づき、前記クライアントが属する拠点とは別の拠点のサーバのストレージ装置から、前記クライアントが属する拠点又は近傍の拠点のサーバに移行するデータを決定し、前記スイッチ装置にデータの移行を指示するステップと、
前記スイッチ装置は、前記分析装置からの指示に基づき、前記別の拠点のサーバのストレージ装置から、前記クライアントが属する拠点又は近傍の拠点のサーバのストレージ装置へデータを移行するステップと、を含むことを特徴とする請求項16記載のデータ配置管理方法。 - 前記分析装置は、前記スイッチ装置での前記クライアントによるファイルアクセスのログ情報を受け取り、
ファイルアクセス操作の種別に応じたポイントと、
前記ポイントに掛ける重み情報であって、前記ファイルアクセスが現在よりどのくらい前に行われたかという時間的条件に応じて規定される重み情報と、
に基づき、前記サーバへのファイルアクセスのログ情報を数値化データとして求め、
前記数値化されたログ情報の値を、規則に規定された移行条件と照合し、移行条件を満たしている場合、前記ファイルアクセス対象のファイル及び/又はディレクトリを、前記サーバのストレージ装置から、前記クライアントの属するローカルシステムのサーバのストレージ装置に移行させるように、前記スイッチ装置に指示し、
前記スイッチ装置は、前記分析装置からの指示に基づき、前記クライアントの属するローカルシステムのサーバのストレージ装置へファイル及び/又はディレクトリを移行する、ことを特徴とする請求項20記載のデータ配置管理方法。 - 前記スイッチ装置は、前記クライアントから送信されたファイルアクセス要求パケットと前記サーバから送信されたファイルアクセス応答パケットを受信して、パケット内のデータを抽出するパケット処理部と、
前記パケット処理部で抽出されたデータの処理の決定と管理を行うファイルアクセス管理部と、
ファイルアクセスプロトコル内に含まれるオブジェクト識別子であって、サーバで生成されたファイル、ディレクトリを識別するための前記オブジェクト識別子に対して、どのサーバに格納されているオブジェクトかを前記スイッチ装置が判断するために、前記オブジェクト識別子に、データを格納しているサーバの識別子を組み込み、サーバの識別子が組み込まれている前記オブジェクト識別子を、前記サーバが生成した元のオブジェクト識別子に戻す処理を行うオブジェクトID書き換え部と、
前記ファイルアクセス管理部からのファイルアクセスプロトコルのデータに基づいて、クライアントおよびサーバに対して送信するデータを再構成するファイルシステム補完処理部と、
複数の拠点のそれぞれにおける、複数のファイルシステムの一元化の構成を管理する擬似ファイルシステムと、
拠点内、及び拠点間のサーバ間でのデータ移動を行い、データ移動の前後でクライアントに対して、データ移動実行の動作を隠蔽するために、ファイルシステム補完処理部及び擬似ファイルシステムの情報を変更するデータ移行処理部と、
前記ファイルアクセス管理部から取得したファイルアクセスプロトコルのデータのうち、ログとして必要となる情報を抽出するログ選別部と、
を含む、ことを特徴とする請求項16記載のデータ配置管理方法。 - 前記分析装置は、前記スイッチ装置の前記ログ選別部により抽出されたログ情報を格納するログ格納部と、
前記ログ格納部に格納されているログ情報から、アクセスコンテキスト算出のための、ログ情報を成型して、アクセスコンテキスト情報を算出するログ成型部と、
前記ログ成型部で算出された、アクセスコンテキスト情報を基に、再配置するデータを決定し、前記スイッチ装置の前記データ移行処理部に対して、再配置対象のデータの移行を指示するデータ移行指示部と、
を含む、ことを特徴とする請求項20記載のデータ配置管理方法。 - 前記分析装置は、前記ログ情報から移行候補を抽出するにあたり、
ユーザを基準とした、ファイル単位でのアクセスコンテキストによる移行候補の抽出、
ユーザを基準とした、ディレクトリ単位でのアクセスコンテキストによる移行候補の抽出、
グループを基準とした、ファイル単位でのアクセスコンテキストによる移行候補の抽出、
グループを基準とした、ディレクトリ単位でのアクセスコンテキストによる移行候補の抽出、
のうちのいずれかで行う、ことを特徴とする請求項20記載のデータ配置管理方法。 - 前記規則は、
1回の読み出し操作又は更新操作を表すログに与えられるポイントと、
操作の実行日時によって前記ポイントに掛け合わせる重みと、
移行対象ファイル又はディレクトリの条件と、
を含む、ことを特徴とする請求項21記載のデータ配置管理方法。 - 前記規則は、ログ情報の分析と、ファイル又はディレクトリの移行作業の時間帯を含む、ことを特徴とする請求項25記載のデータ配置管理方法。
- 前記分析装置は、前記クライアントからのファイルアクセス対象の操作に関して、前記操作の回数にポイントを乗算した値に、操作の実行日時に応じて規定される重みを乗じた値を、ログされているアクセス対象の操作に関して総和をとることで、ファイルアクセスのログ情報を数値化する、ことを特徴とする請求項20記載のデータ配置管理方法。
- 前記分析装置は、ファイルアクセスのログ情報に基づき、前記クライアントが属する拠点のサーバのストレージ装置から、他の拠点のサーバへのデータの移行を行わないファイル及び又はディレクトリを決定する、ことを特徴とする請求項20記載のデータ配置管理方法。
- 前記分析装置は、拠点に関する所定の評価値に応じて、前記拠点へのデータ再配置の実行周期を可変制御する、ことを特徴とする請求項20記載のデータ配置管理方法。
- 前記分析装置において、少なくとも一つの拠点へのデータの再配置の実行、非実行が選択自在とされてなる、ことを特徴とする請求項20記載のデータ配置管理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004364952A JP4341072B2 (ja) | 2004-12-16 | 2004-12-16 | データ配置管理方法及びシステムと装置およびプログラム |
CN200510131696.2A CN1794729B (zh) | 2004-12-16 | 2005-12-16 | 数据配置管理方法及***和装置 |
US11/305,142 US7765217B2 (en) | 2004-12-16 | 2005-12-16 | System and method for managing and arranging data based on an analysis of types of file access operations |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004364952A JP4341072B2 (ja) | 2004-12-16 | 2004-12-16 | データ配置管理方法及びシステムと装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006172217A JP2006172217A (ja) | 2006-06-29 |
JP4341072B2 true JP4341072B2 (ja) | 2009-10-07 |
Family
ID=36641917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004364952A Expired - Fee Related JP4341072B2 (ja) | 2004-12-16 | 2004-12-16 | データ配置管理方法及びシステムと装置およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7765217B2 (ja) |
JP (1) | JP4341072B2 (ja) |
CN (1) | CN1794729B (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8224837B2 (en) * | 2005-06-29 | 2012-07-17 | Oracle International Corporation | Method and mechanism for supporting virtual content in performing file operations at a RDBMS |
US8639655B2 (en) * | 2006-08-31 | 2014-01-28 | Red Hat, Inc. | Dedicating threads to classes of LDAP service |
JP5137409B2 (ja) | 2007-02-05 | 2013-02-06 | 株式会社日立製作所 | ファイル格納方法及び計算機システム |
JP5111898B2 (ja) | 2007-03-09 | 2013-01-09 | 株式会社日立製作所 | ファイル管理方法及び計算機システム |
JP2008234264A (ja) * | 2007-03-20 | 2008-10-02 | Nec Software Chubu Ltd | ファイルサーバの負荷分散装置、負荷分散装置用プログラム、及び負荷分散方法 |
JP4919851B2 (ja) * | 2007-03-23 | 2012-04-18 | 株式会社日立製作所 | ファイルレベルの仮想化を行う中間装置 |
JP4931660B2 (ja) * | 2007-03-23 | 2012-05-16 | 株式会社日立製作所 | データ移行処理装置 |
KR101109603B1 (ko) * | 2007-03-29 | 2012-01-31 | 삼성전자주식회사 | 응용 프로그램 실행 방법 및 장치 |
US9298417B1 (en) * | 2007-07-25 | 2016-03-29 | Emc Corporation | Systems and methods for facilitating management of data |
US8185712B2 (en) * | 2007-08-08 | 2012-05-22 | International Business Machines Corporation | System and method for intelligent storage migration |
KR20090017170A (ko) * | 2007-08-14 | 2009-02-18 | 삼성전자주식회사 | 미디어 파일 관리 방법 및 장치 |
JP4907482B2 (ja) * | 2007-09-27 | 2012-03-28 | 株式会社日立製作所 | 計算機システム及びファイル管理方法 |
US9218137B2 (en) * | 2008-03-05 | 2015-12-22 | International Business Machines Corporation | System and method for providing data migration services |
JP2009245004A (ja) * | 2008-03-28 | 2009-10-22 | Nippon Telegraph & Telephone West Corp | 双方向データ配置システム、アクセス解析サーバ、データ移動サーバ、双方向データ配置方法、及び、プログラム |
US8219582B2 (en) * | 2008-04-25 | 2012-07-10 | International Business Machines Corporation | System, method, and computer readable media for identifying a user-initiated log file record in a log file |
US20090287789A1 (en) * | 2008-05-16 | 2009-11-19 | Square D Company | Web browser accessible MODBUS TCP/IP activity log |
US8781127B2 (en) * | 2008-09-05 | 2014-07-15 | Vixs Systems, Inc. | Device with privileged memory and applications thereof |
US20110019240A1 (en) * | 2009-07-21 | 2011-01-27 | Harris Technology, Llc | Digital control and processing of transferred Information |
JP2011034157A (ja) * | 2009-07-30 | 2011-02-17 | Hitachi Ltd | 計算機システム及び単一ネームスペースの管理方法 |
JP2012014236A (ja) * | 2010-06-29 | 2012-01-19 | Ntt Docomo Inc | ファイル圧縮装置、方法、プログラム |
JP5708197B2 (ja) * | 2011-04-21 | 2015-04-30 | 富士ゼロックス株式会社 | 情報処理装置およびプログラム |
US8650166B1 (en) * | 2011-07-11 | 2014-02-11 | Symantec Corporation | Systems and methods for classifying files |
WO2013103006A1 (ja) * | 2012-01-05 | 2013-07-11 | 株式会社日立製作所 | 計算機システムの管理装置及び管理方法 |
US9779008B2 (en) * | 2012-02-21 | 2017-10-03 | Disney Enterprises, Inc. | File monitoring |
JP5909760B2 (ja) * | 2012-05-22 | 2016-04-27 | 西日本電信電話株式会社 | 配置先決定システム、配置先決定方法及びコンピュータプログラム |
JP2014238753A (ja) * | 2013-06-10 | 2014-12-18 | 株式会社エヌ・ティ・ティ・データ | 連携装置、連携方法、連携プログラム |
JP6439475B2 (ja) * | 2015-02-09 | 2018-12-19 | 富士通株式会社 | 情報処理装置、情報処理システム及び制御プログラム |
US10069699B2 (en) * | 2015-02-26 | 2018-09-04 | Nippon Telegraph And Telephone Corporation | Monitoring device information analyzing device and method, and non-transitory storage medium storing program |
CN106294440B (zh) * | 2015-05-27 | 2019-06-07 | 阿里巴巴集团控股有限公司 | 数据实时迁移的方法和装置 |
US11256799B2 (en) | 2017-08-29 | 2022-02-22 | Seagate Technology Llc | Device lifecycle distributed ledger |
US20190207748A1 (en) * | 2017-12-29 | 2019-07-04 | Seagate Technology Llc | Blockchain storage device |
JP6616854B2 (ja) * | 2018-02-02 | 2019-12-04 | フューチャー株式会社 | 移行単位分析装置、移行単位分析方法及び移行単位分析プログラム |
US11120131B2 (en) | 2018-07-30 | 2021-09-14 | Rubrik, Inc. | Ransomware infection detection in filesystems |
US11308194B2 (en) | 2018-10-31 | 2022-04-19 | Seagate Technology Llc | Monitoring device components using distributed ledger |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5313631A (en) * | 1991-05-21 | 1994-05-17 | Hewlett-Packard Company | Dual threshold system for immediate or delayed scheduled migration of computer data files |
US5367698A (en) * | 1991-10-31 | 1994-11-22 | Epoch Systems, Inc. | Network file migration system |
US5537585A (en) * | 1994-02-25 | 1996-07-16 | Avail Systems Corporation | Data storage management for network interconnected processors |
US6442585B1 (en) * | 1997-11-26 | 2002-08-27 | Compaq Computer Corporation | Method for scheduling contexts based on statistics of memory system interactions in a computer system |
JP4304746B2 (ja) * | 1999-01-06 | 2009-07-29 | ソニー株式会社 | ファイルの置き換え方法及び装置 |
US6275898B1 (en) * | 1999-05-13 | 2001-08-14 | Lsi Logic Corporation | Methods and structure for RAID level migration within a logical unit |
US6751612B1 (en) * | 1999-11-29 | 2004-06-15 | Xerox Corporation | User query generate search results that rank set of servers where ranking is based on comparing content on each server with user query, frequency at which content on each server is altered using web crawler in a search engine |
US20010027491A1 (en) * | 2000-03-27 | 2001-10-04 | Terretta Michael S. | Network communication system including metaswitch functionality |
US6938039B1 (en) * | 2000-06-30 | 2005-08-30 | Emc Corporation | Concurrent file across at a target file server during migration of file systems between file servers using a network file system access protocol |
DE60131900T2 (de) * | 2000-10-26 | 2008-12-04 | Flood, James C. jun., Portland | Verfahren und system zur verwaltung von verteilten inhalten und verwandten metadaten |
US20020138559A1 (en) * | 2001-01-29 | 2002-09-26 | Ulrich Thomas R. | Dynamically distributed file system |
US20030046357A1 (en) * | 2001-08-30 | 2003-03-06 | International Business Machines Corporation | Intelligent content placement in a distributed computing network |
US7509316B2 (en) * | 2001-08-31 | 2009-03-24 | Rocket Software, Inc. | Techniques for performing policy automated operations |
JP3879594B2 (ja) | 2001-11-02 | 2007-02-14 | 日本電気株式会社 | スイッチ方法、装置およびプログラム |
US7024427B2 (en) * | 2001-12-19 | 2006-04-04 | Emc Corporation | Virtual file system |
JP3727896B2 (ja) | 2002-03-29 | 2005-12-21 | 株式会社東芝 | Hsmシステムおよび同システムのマイグレーション制御方法 |
JP2004054607A (ja) | 2002-07-19 | 2004-02-19 | Nec Corp | スイッチ装置、分散オブジェクト管理方法およびプログラム |
JP2004086299A (ja) * | 2002-08-23 | 2004-03-18 | Fujitsu Ltd | トランザクション処理システムにおけるデータ操作永続化方法及びリモートデータベースに対するデータ操作プログラム |
JP2004220450A (ja) * | 2003-01-16 | 2004-08-05 | Hitachi Ltd | ストレージ装置、その導入方法、及びその導入プログラム |
JP4322031B2 (ja) | 2003-03-27 | 2009-08-26 | 株式会社日立製作所 | 記憶装置 |
US7146477B1 (en) * | 2003-04-18 | 2006-12-05 | Advanced Micro Devices, Inc. | Mechanism for selectively blocking peripheral device accesses to system memory |
US7143170B2 (en) * | 2003-04-30 | 2006-11-28 | Akamai Technologies, Inc. | Automatic migration of data via a distributed computer network |
JP4339627B2 (ja) | 2003-05-23 | 2009-10-07 | 株式会社日立製作所 | パーソナルストレージサービス提供方法 |
JP4383132B2 (ja) * | 2003-09-02 | 2009-12-16 | 株式会社日立製作所 | 仮想化制御装置及び計算機システム |
JP4520755B2 (ja) * | 2004-02-26 | 2010-08-11 | 株式会社日立製作所 | データ移行方法およびデータ移行装置 |
JP4744171B2 (ja) * | 2005-03-18 | 2011-08-10 | 株式会社日立製作所 | 計算機システム及び記憶制御方法 |
-
2004
- 2004-12-16 JP JP2004364952A patent/JP4341072B2/ja not_active Expired - Fee Related
-
2005
- 2005-12-16 US US11/305,142 patent/US7765217B2/en not_active Expired - Fee Related
- 2005-12-16 CN CN200510131696.2A patent/CN1794729B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20060149748A1 (en) | 2006-07-06 |
JP2006172217A (ja) | 2006-06-29 |
CN1794729A (zh) | 2006-06-28 |
US7765217B2 (en) | 2010-07-27 |
CN1794729B (zh) | 2014-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4341072B2 (ja) | データ配置管理方法及びシステムと装置およびプログラム | |
US7574443B2 (en) | Scalable clustered storage system | |
US7107323B2 (en) | System and method of file distribution for a computer system in which partial files are arranged according to various allocation rules | |
JP5106045B2 (ja) | 検索エンジン連携ファイル共有システム | |
US6078955A (en) | Method for controlling a computer system including a plurality of computers and a network processed as a user resource | |
US20050125456A1 (en) | File migration method based on access history | |
US20070038689A1 (en) | File management program, file management apparatus and file management method | |
US20070038697A1 (en) | Multi-protocol namespace server | |
US20110167045A1 (en) | Storage system and its file management method | |
JP2005078612A (ja) | ファイル共有システム及びファイル共有装置間のファイル移行方法 | |
JP2015530629A (ja) | 移行先ファイルサーバ及びファイルシステム移行方法 | |
JP2008015984A (ja) | データ移行装置及び方法並びにプログラム | |
JP2004280283A (ja) | 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法 | |
US8521687B2 (en) | Apparatus, system, and method for selecting optimal replica sources in a grid computing environment | |
JP2008276488A (ja) | ストレージシステムおよびストレージシステムの情報移行方法 | |
JP4327869B2 (ja) | 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法 | |
JP2011081579A (ja) | Itシステム仮想化における仮想リソースのシステム運用管理方法およびシステム | |
JP2004302564A (ja) | ネームサービス提供方法及びその実施装置並びにその処理プログラム | |
US8015207B2 (en) | Method and apparatus for unstructured data mining and distributed processing | |
JP6278938B2 (ja) | ストレージ管理装置、ストレージ管理方法、及び、プログラム | |
JP4005102B2 (ja) | ゲートウェイ装置 | |
Branco et al. | Managing very-large distributed datasets | |
US20040148361A1 (en) | System and method for migrating directories over a wide-area network | |
US20240111733A1 (en) | Data analytics systems for file systems including tiering | |
JPH11120059A (ja) | ネットワークシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081227 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090203 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20090305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090406 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20090508 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090615 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090628 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4341072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |