JP4341072B2 - データ配置管理方法及びシステムと装置およびプログラム - Google Patents

データ配置管理方法及びシステムと装置およびプログラム Download PDF

Info

Publication number
JP4341072B2
JP4341072B2 JP2004364952A JP2004364952A JP4341072B2 JP 4341072 B2 JP4341072 B2 JP 4341072B2 JP 2004364952 A JP2004364952 A JP 2004364952A JP 2004364952 A JP2004364952 A JP 2004364952A JP 4341072 B2 JP4341072 B2 JP 4341072B2
Authority
JP
Japan
Prior art keywords
file
data
server
log
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004364952A
Other languages
English (en)
Other versions
JP2006172217A (ja
Inventor
聡 山川
隆史 鳥居
善裕 梶木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2004364952A priority Critical patent/JP4341072B2/ja
Priority to CN200510131696.2A priority patent/CN1794729B/zh
Priority to US11/305,142 priority patent/US7765217B2/en
Publication of JP2006172217A publication Critical patent/JP2006172217A/ja
Application granted granted Critical
Publication of JP4341072B2 publication Critical patent/JP4341072B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/119Details of migration of file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、複数のストレージ装置におけるデータの再配置技術に関し、特に、クライアントとサーバでやり取りされる通信の情報を情報源としてファイルやディレクトリの格納場所を決定するデータ配置管理方法及びシステムと装置およびプログラムに関する。
集中化したストレージリソースのデータを複数のクライアントで共有する手段として、NFS(Network File System)やCIFS(Common Internet File System)といったデファクトスタンダードのプロトコルを介した、リモートファイルアクセスサービスが挙げられる。前記プロトコルを介するサーバ装置としては、NAS(Network Attached Storage)やファイルサーバなどがあり、前記のプロトコルにより、様々なクライアントと接続することが可能となっている。
これらの装置の一般的な特徴として、複数の装置間で連係して、互いのストレージリソースに相互アクセス等をするなどの標準化された仕組みを備えていず、クライアントへ提供するファイルアクセスのサービスは、NASやサーバ自身の管理するストレージリソースに限られている。
特許文献1、2では、クライアントとNASなどのファイルサーバ間のネットワークに、NFSやCIFSなどの業界標準のファイルアクセス・プロトコルを解釈することにより、パケット内の情報の一部を変更し転送するなどの機能を持ったスイッチ装置を導入することによって、クライアントおよびサーバに特殊なソフトウェアやハードウェアを導入することなく、複数のサーバのストレージリソースをあたかも1つのストレージリソースとしてクライアントに提供する機能が提供され、さらに、サーバ間でのデータのマイグレーション(再配置)機能を用いることにより、ファイルサーバの追加やリプレースなどの管理作業を軽減することが可能となっている。
集中化したストレージリソースのデータを複数のクライアントで共有する他の手段として、Webサーバなどの読み出し専用のコンテンツを提供するサービスが挙げられる。Webサーバによるコンテンツデータの提供は、一般に、インターネットなどを介して、遠隔地にあるクライアントからもデータの読み出しも可能となっているが、通常、ローカルエリアのデータにアクセスする場合と比べると、そのレスポンスタイムは長い。そこで、クライアントが一度アクセスしたデータを一時保存しておくキャッシュサーバをクライアントの設置された近傍に配置することで、該クライアントからはローカルエリアに配置されたデータと同等の高速なデータの読み出しを実現可能とし、遠隔地のデータへのアクセスにより生じる遅延を軽減する手法が用いられている。
特開2003−203029号公報 特開2004−54607号公報
NFSやCIFSといった業界標準のファイルアクセスプロトコルは、元々、LAN(Local Area Network)など、データアクセスの際に短い時間での応答が期待できるネットワーク環境で利用することを前提として設計されており、このため、WAN(Wide Area Network)やインターネットなどの比較的応答時間の長いネットワーク環境で利用すると、使い勝手が大幅に低下してしまう。
このような応答時間が長くなることによる使い勝手の低下を防ぐために、クライアントの近傍で一度アクセスしたデータをキャッシュするようなキャッシュサーバを配置する手法を適用し、応答時間を短くすることも可能である。
しかしながら、キャッシュサーバが一般に扱うデータは、Webコンテンツなどの読み出し専用のデータであることから、NFSやCIFSのプロトコルで行なわれるデータの更新に対応しづらいという問題がある。例えば、ファイルを扱うユーザの拠点が比較的離れたところに多数散在し、キャッシュサーバも各拠点に複数存在する場合には、ファイルへの更新要求が発生した際に、各キャッシュサーバに、更新のあるファイルを通知し、データの整合性を維持するために、本当にデータを更新してよいのかどうかの判断を行なわなければならない。このため、ユーザがアクセスする際に、多数の拠点間通信が発生することになり、ユーザのファイルアクセス要求に対する応答時間にも影響を与える。その結果、使い勝手が低下する可能性がある。
したがって、本発明の目的は、ファイルアクセスにかかるレスポンスタイムを短縮し、ユーザの利便性を向上させることを可能とするシステム及び方法と装置ならびにプログラムを提供することにある。
また、本発明は、上記目的を達成するとともに、さらに、拠点間に分散した複数のファイルサーバのストレージリソースを、各拠点に設置されている複数のクライアントから仮想的に一元化して提供することを可能とするシステム及び方法と装置ならびにプログラムを提供することも、その目的としている。
前記課題を解決する本発明の1つのアスペクト(側面)に係るシステムは、ネットワークを介して互いに通信接続される複数のストレージ装置と、前記複数のストレージ装置のうちの少なくとも一つのストレージ装置内に配置されているデータオブジェクトに関するアクセスコンテキストを解析し、前記データオブジェクトを、前記複数のストレージ装置のうち前記一つのストレージ装置とは異なる他のストレージ装置へ再配置させるか否か決定する手段と、前記再配置の決定を受けて、前記一つのストレージ装置内の前記データオブジェクトを前記他のストレージ装置に移行させる手段と、を備えている。
本発明の他のアスペクトに係るシステムは、少なくとも1つのクライアントと、ストレージ装置を有する少なくとも1つのサーバとの間に論理的に配置され、前記クライアントに対して複数のストレージ装置を仮想的に一元化したファイルアクセスを提供するスイッチ装置を備え、前記スイッチ装置は、前記クライアントからあるストレージ装置へのファイルアクセスのログ情報を取得し、さらに、前記ログ情報と、移行対象を決めるための予め定められた規則とに基づき、前記あるストレージ装置から別のストレージ装置へ移行するデータを決定する手段を含む。
本発明において、前記スイッチ装置は、前記ファイルアクセスのログの取得の際、前記クライアントの実行した操作内容もログとして取得し、アクセスコンテキストの算出の際に、操作を区別してアクセスコンテキストを算出し、頻繁に更新される可能性のある生成中のファイルや、読み出し要求のみが行なわれる可能性のある完成後のファイルといった特性に従い、ユーザ、もしくはグループを単位としたファイル、もしくはディレクトリのアクセスコンテキストとして算出することで、最も利用される可能性の高いファイル、ディレクトリを優先的に抽出する手段を含む構成としてもよい。
NASやファイルサーバなどのファイルデータの利用環境においては、単純にユーザの近傍でデータをキャッシュすることで応答時間を短くするのではなく、データ自体の格納先をユーザの近傍のストレージ装置に再配置し、ユーザのファイルアクセスの際に、一時データであるキャッシュデータとしてデータを配置せずに、データ本体を配置することで、データの整合性保持にかかる拠点間通信を削減し、さらに応答時間を短くしている。
本発明によれば、前記データの格納先の変更作業に関しては、上記特許文献1、2で挙げられているような、複数のファイルサーバのストレージリソースを仮想的に一元化するスイッチ装置を活用し、さらにスイッチ装置とファイルサーバを各拠点に配備する。
本発明において、前記スイッチ装置は、従来からのストレージリソースを一元化する手段と、クライアントへのデータアクセスサービスを無停止のままファイルサーバ間でファイルのデータの再配置を可能とするデータマイグレーション(移行)手段に加え、データの利用状況を把握するために、ユーザからのアクセス要求のうちデータの読み出しに関する要求、データの更新に関する要求、削除に関する要求、名前の変更に関する要求の4種類の操作種別ごとの実行ログを、操作が実行された日時、操作を実行したユーザ名、操作を実行したクライアント名(不明の場合はIPアドレス)、操作を実行したファイルサーバ名(不明の場合はIPアドレス)、操作を実行したファイルまでのパス名と関連づけて保存する手段と、前記実行ログから各ユーザがアクセスした各ファイルに対するアクセスコンテキストを計算する手段と、実行ログに記載されたパス名から、各ユーザがアクセスした各ディレクトリに対するアクセスコンテキストを計算する手段を備えた構成としてもよい。
さらに、本発明において、前記スイッチ装置は、前記ログ情報と、ユーザが所属しているグループ情報を基に、各グループがアクセスした各ファイルに対するアクセスコンテキストを計算する手段と、各グループがアクセスした各ディレクトリに対するアクセスコンテキストを計算する手段を備えた構成としてもよい。
また、本発明において、前記スイッチ装置は、各拠点に配備されたどのスイッチ装置からも同一の仮想化されたストレージリソースにアクセスするための連係手段と、各スイッチ装置で計算されたアクセスコンテキストの情報を共有する手段を備えた構成としてもよい。
本発明において、前記アクセスコンテキストを導出する手段は、ファイルの読み出し操作、ファイルの更新操作などの操作ごとにアクセスコンテキスト(スコア)算出のための重みを変化させることによって、ユーザによって生成中のファイルであるか、ユーザによって完成された後のファイルであるかどうかのファイルの特性に従ってアクセスコンテキストを算出する構成としてもよい。
本発明の他のアスペクトに係る方法は、ネットワークを介して接続される複数のストレージ装置を有するストレージシステムのデータ配置管理方法であって、
前記複数のストレージ装置のうちの少なくとも一つのストレージ装置内に配置されているデータオブジェクトに関するアクセスコンテキストを解析し、前記データオブジェクトを、前記複数のストレージ装置のうち前記一つのストレージ装置とは異なる他のストレージ装置へ再配置させるか否かを決定するステップと、
前記再配置の決定を受けて、前記一つのストレージ装置内の前記データオブジェクトを前記他のストレージ装置に移行させるステップと、
を含む。
本発明の他のアスペクトに係る方法は、少なくとも1つのクライアントと、前記クライアントとネットワークを介して接続され、それぞれがストレージ装置を備えた複数のファイルサーバと、を有するストレージシステムのデータ配置管理方法であって、前記ストレージ装置のデータのアクセスのログ情報に基づき、前記クライアント近傍に位置しない前記ストレージ装置のデータのうち前記クライアントからのアクセスコンテキストが移行条件をみたすデータを決定するステップと、前記データを前記クライアント近傍のストレージ装置に再配置するステップと、を含む。
本発明の他のアスペクトに係るプログラムは、少なくとも1つのクライアントと、ストレージ装置を有する少なくとも1つのサーバとの間に論理的に配置され、クライアントに対して複数のストレージ装置を仮想的に一元化したファイルアクセスを提供するスイッチ機能と、前記クライアントによるファイルアクセスの頻度情報を算出する分析機能と、を備えた管理装置を構成するコンピュータに、
前記スイッチ機能が、クライアントからのファイルアクセスのログ情報をとる処理と、
前記分析機能が、取得された前記ファイルアクセスのログ情報に基づき、前記クライアントが属する拠点とは別の拠点のサーバのストレージ装置から、前記クライアントが属する拠点又は近傍の拠点のサーバに移行するデータを決定し、前記スイッチ機能にデータの移行を指示する処理と、
前記スイッチ機能が、前記分析機能からの指示に基づき、データを移行する処理と、
を実行させるプログラムよりなる。
本発明を適用したスイッチ装置を用いることにより、拠点間に分散した複数のファイルサーバのストレージリソースを、各拠点に設置されている複数のクライアントから仮想的に一元化して提供することが可能となる。
また、本発明を適用したスイッチ装置による、クライアントの操作要求に関連するログ情報の取得手段と、前記ログ情報から、ファイルの読み出しやデータの更新を区別してアクセスコンテキストを算出する手段により、ユーザによって頻繁に更新される可能性のある生成中のファイルや、ユーザからは読み出し要求のみが行なわれる可能性のある完成後のファイルといった特性に従い、ユーザ、もしくはグループを単位としたファイル、もしくはディレクトリのアクセスコンテキストとして算出することで、最も利用される可能性の高いファイルを推定し、そのユーザやグループが利用しているクライアントの拠点にあるファイルサーバへデータを移行することで、ファイルアクセスにかかるレスポンスタイムを短くし、ユーザの利便性を向上させることが可能となる。
次に、本発明を実施する最良の形態のシステム構成について図面を参照して説明する。図1は、本発明の実施形態におけるシステム構成を示している。本実施の形態では、少なくとも2台以上のクライアント100、少なくとも2台以上のスイッチ装置200、少なくとも2台以上のサーバ300、少なくとも2台以上の分析装置400により構成され、各装置は、少なくとも2箇所以上の拠点に分散している。1つの拠点は、少なくとも1台以上のクライアント100、スイッチ装置200、少なくとも1台以上のサーバ300、分析装置400により構成され、LANなどのローカルネットワーク1に接続されている。ローカルネットワーク1は、WAN(Wide Area Network)やインターネットなどの広域ネットワーク2に接続されており、各拠点のローカルネットワーク1間での通信が可能となっているとする。
サーバ300は、ファイルシステム3、および記憶装置(ストレージ装置)4を備えており、NFSやCIFSといったファイルアクセスプロトコルを介して、外部の装置から、サーバ300の管理しているファイルシステム3、および記憶装置(ストレージ装置)4に格納されているデータにアクセス可能な状態となっている。
クライアント100は、NFS、CIFSといったファイルアクセスプロトコルを用い、スイッチ装置200を介してサーバ300が管理しているデータにアクセスするものとする。
また、本実施の形態では、クライアント100が、拠点間を跨いだ通信を行なう際は、スイッチ装置200を必ず介して通信を行なうものとする。
各拠点のスイッチ装置200は、ローカルな拠点のクライアント100、及び、リモート拠点のクライアント100に対して、拠点内、拠点間のファイルシステムへの一元化したファイルアクセスサービスを提供する。
図2は、スイッチ装置200と分析装置400の内部構成の一例を示す図である。図2を参照すると、スイッチ装置200は、クライアント100から送信されたファイルアクセス要求パケットとサーバ300から送信されたファイルアクセス応答パケットを受信して、パケット内のデータを抽出するパケット処理部201と、パケット処理部201で抽出されたデータの処理の決定と管理を行なうファイルアクセス管理部202と、ファイルアクセスプロトコル内に含まれるサーバ300が生成したファイル、ディレクトリなどを識別するためのオブジェクト識別子に対して、どのサーバに格納されているオブジェクトかをスイッチ装置200自身が判断するために、前記オブジェクト識別子にデータを格納しているサーバの識別子を組み込む作業と、サーバの識別子が組み込まれているオブジェクト識別子を、サーバ300が生成した元のオブジェクト識別子に戻す作業を行なうオブジェクトID書き換え部203と、複数のサーバ300が管理している複数のファイルシステム3を一元化するために、ファイルアクセス管理部202で送られたファイルアクセスプロトコルのデータに基づいて、クライアント100およびサーバ300に対して送信するデータを再構成するファイルシステム補完処理部205と、複数のファイルシステムの一元化の構成を管理している擬似ファイルシステム204と、複数のファイルシステム、もしくは複数のサーバ300間でのデータ移動を実施し、また、データ移動の前後でクライアント100に対して、データ移動実行の動作を隠蔽するために、ファイルシステム補完処理部205や擬似ファイルシステム204の情報を変更するデータ移行処理部206と、ファイルアクセス管理部202から取得したファイルアクセスプロトコルのデータのうち、ログとして必要となるデータのみを抽出するログ選別部207により構成される。
分析装置400は、スイッチ装置200のログ選別部207により抽出されたログ格納部401と、ログ格納部401に格納されているログデータから、アクセス文脈(アクセスコンテキスト)などの情報の算出を行い、及び、アクセスコンテキストの算出前にログデータを成型するログ成型部402と、ログ成型部402で算出されたアクセスコンテキストなどの情報を基に、データの再配置を計画し、スイッチ装置200のデータ移行処理部206に対して、データの移行を指示するデータ移行指示部403とを備えて構成される。
ログ格納部401には、記憶装置404が備えられており、スイッチ装置200から送られたログデータと、ログ成型部402において算出されたアクセスコンテキスト(例えばファイルアクセスのログ情報を数値化したデータ)と、成型されたログデータが格納される。
なお、本実施の形態では、スイッチ装置200と分析装置400とは、別の装置構成とされ、ローカルネットワーク1を介してデータの送受信を行なうが、必ずしも別の装置構成とする必要はなく、1つの装置として構成してもよい。例えば分析装置400の機能をスイッチ装置に組み込んでもよい。
本実施の形態では、スイッチ装置200により、拠点に点在するサーバ300のファイルシステム3が、各拠点のクライアント100に対して一元化して見える環境において、スイッチ装置200を経由したクライアント100からのファイルアクセス要求をログデータとして残し、分析装置400において、前記ログデータから各拠点のクライアント100の利用頻度の高いファイルデータを、ある一定の基準を用いて求め、クライアント100の利用頻度の高いファイルデータを、前記クライアント100の拠点のサーバ300に自律的に移行させる。
<ファイルアクセスログ採取の手順>
まず、スイッチ装置200を経由して、クライアント100とサーバ300でやり取りされるファイルアクセスプロトコルのデータのログを採取する手順について説明する。
クライアント100から送信されたファイルアクセス要求は、スイッチ装置200のパケット処理部201において、パケット内のデータ部分が抽出され、ファイルアクセス管理部202に転送された後、ファイルアクセス管理部202にて解析されたデータのコピーがログ選別部207に転送される。
前記データには、その操作要求を識別するための実行ID、読み出し、書き込みといった操作要求の種類、要求送信元のクライアント名(不明の場合はIPアドレス)、要求実行ユーザ名、操作要求の対象となるパス名(もしくはファイル名や、オブジェクト識別子)、要求送信先のサーバ名(不明の場合はIPアドレス)が含まれる。ただし、操作要求がオブジェクトの名前変更要求であった場合、変更前、変更後の2つの操作要求のパス名を含むこととする。
さらに、サーバ300から返送されたファイルアクセス応答は、スイッチ装置200のパケット処理部201において、パケットのデータ部分が抽出され、ファイルアクセス管理部202に転送された後、ファイルアクセス管理部202にて解析されたデータのコピーがログ選別部207に転送される。前記データには、その操作を識別するための実行ID、要求成功可否の情報が含まれる。
ログ選別部207では、ユーザのファイルの利用状況の判断、つまり、実際にユーザが意図してファイルにアクセスした場合の操作状況をログとして残すために、ファイルの読み出し要求、ファイルの書き込み要求、ファイルの削除要求、ファイルの名前変更要求の4種類に分類される操作要求のみを選別し、操作を識別するための実行IDを用いて、要求データと応答データの整合をとり、操作が成功したもののみをログとして登録する。
また、ログ選別部207は、各操作要求の情報に、操作を実行した日時(もしくはファイルアクセス管理部202からデータを取得した日時)、要求送信元のクライアント名(不明の場合はIPアドレス)、要求実行ユーザ名、操作対象となるパス名(もしくはファイル名や、オブジェクト識別子)、要求送信先のサーバ名(不明の場合はIPアドレス)を関連付けてログを生成する。
ログ選別部207において生成されたログは、分析装置400のログ格納部401へ定期的に転送され、記憶装置404に格納される。
このようにして収集されたログデータを基に、管理者により予め決められたルール(後述)により、データ移行の候補となるファイルやディレクトリを抽出する作業に移行する。
<ログデータからの移行候補の抽出方法>
本実施の形態では、ログデータから移行候補を抽出するにあたり、以下の4つの単位で候補の選択が可能である。
(a)操作ユーザを基準とした、ファイル単位での移行候補の抽出;
(b)操作ユーザを基準とした、ディレクトリ単位での移行候補の抽出;
(c)操作グループを基準とした、ファイル単位での移行候補の抽出;
(d)操作グループを基準とした、ディレクトリ単位での移行候補の抽出;
上記(a)は、操作ユーザと操作対象ファイルという1:1の関連性をもつログデータのみを情報源として移行候補を抽出しているのに対し、上記(b)、(c)、(d)は、前記ログデータに加え、ディレクトリの階層情報やユーザの所属している拠点のグループ情報を情報源として活用して移行候補を抽出する。
グループを基準として移行候補を抽出することにより、個々人ではあまりアクセスコンテキストは高くないもの、グループ全員が常にアクセスしているため、実は非常にアクセスコンテキストの高くなっているデータを抽出することができる。また、ディレクトリ単位での移行候補を抽出することにより、あるユーザにとっては、普段アクセスしていない自分の所属している拠点外のサーバに格納されているデータであっても、関連性のあるファイルがまとめられているディレクトリ階層構造の性質により、将来アクセスする可能性のあるデータを、自分の所属している拠点に先読みで移行させることが可能となる。
<操作ユーザを基準とした、ファイル単位でのアクセスコンテキストおよび移行候補の抽出手順>
まず、上記(a)の操作ユーザを基準とし、ログ格納部401にて保存されているログから、各ファイルのアクセスコンテキストを算出し、移行対象となるファイルを決定するまでの手順を説明する。
分析装置400のデータ移行指示部403と、ログ成型部402には、予め管理者により、図3に示すようなファイルデータの移行対象を決定するためのルール500が登録されているものとする。
ルール500には、1回の読み出し(READ)、もしくは更新操作(WRITE)を表すログに与えられるポイントと、操作の実行日時によってポイントに掛け合わせる重みと、移行対象ファイルの条件(前記重みを掛け合わせた合計のポイントがこの条件を満たしているかどうか)、ログデータの分析とファイルデータの移行作業(データ再配置)の実施時間が規定されている。図3のルール500では、READとWRITEのポイントは0.1と1、操作実行日時に応じた重みは、0−3日、4−7日、8−30日、1−3月に応じてそれぞれ、×1000、×100、×10、×1とされ、移行対象ファイルの条件として10000ポイント以上、実行時間は、毎日 1:00〜5:00の時刻とする、と規定されている。図3のルール500に示した、ポイント、重み、条件、実行時間は、あくまでも一例であり、本発明を適用する環境に合わせて、管理者が各パラメータを決定するものとする。
前記パラメータのうち、READ、WRITEのポイントの割り付けについては、例えば、WRITEのポイントを、READのポイントよりも大きな値にすることで、ユーザによって生成中のファイルを優先的に移行対象とすることができる。また、READのポイントをWRITEのポイントよりも大きな値にすることによって、ユーザによって完成されたファイルを優先的に移行対象とすることができる。
分析装置400のログ成型部402は、ログ格納部401からログデータを読み出し、前記ルール500にしたがって、図4の分析結果501の例に示すように、ユーザ(もしくはクライアント)ごとにアクセスされた各ファイルのアクセス毎のポイントを算出し、ファイルアクセスのアクセスコンテキストの解析結果を生成する。
アクセスコンテキストの解析結果は、対象となるユーザ名、もしくはクライアント名(不明の場合IPアドレス)と、そのユーザが操作要求を行なったファイルのパス名、もしくはファイル名やオブジェクト識別子)と、送信先のサーバ名(不明の場合IPアドレス)が記載される。
ルール500の場合、"User A"のあるファイルのアクセスコンテキスト算出のためのポイントの算出式は、以下の通りとなる。
(0-3日前のUser AのREADの回数)×0.1=R1
(0-3日前のUser AのWRITEの回数)×1=W1
(4-7日前のUser AのREADの回数)×0.1=R2
(4-7日前のUser AのWRITEの回数)×1=W2
(8-30日前のUser AのREADの回数)×01=R3
(8-30日前のUser AのWRITEの回数)×1=W3
(1-3ヶ月前のUser AのREADの回数)×0.1=R4
(1-3ヶ月前のUser AのWRITEの回数)×1=W4
(User Aでの、あるファイルに対するポイント)=(R1+W1)×1000+(R2+W2)×100+(R3+W3)×10+(R4+W4)×1
このポイント(スコア)の算出の際、操作ユーザに依らず、あるポイント算出対象のファイルに対して、削除要求のログ(履歴)があった場合は、同一パス名、及びファイル名となるログ情報が、該削除要求ログの後に存在しない場合、分析結果として、計上しないこととする。
また、操作ユーザに依らず、あるポイントの算出対象のファイルに対して、名前(パス名)変更要求のログがあった場合には、変更前の名前のログと、変更後の名前のログと、を同一ファイルのログとして扱い、新しい名前を用いて、ポイントを算出する。
また、あるポイント算出対象のファイルに対して、操作ユーザに依らず、そのファイルの最新のログに記載されている要求送信先のサーバ名(不明の場合IPアドレス)と異なるログデータは、ポイント算出に用いないこととする。
図3のルール500と、図4の分析結果501の例の場合、前記分析結果を算出した分析装置400と同じ拠点にあるサーバ300が”Server A”、他の拠点にあるサーバ300が”Server B”であった場合、最終的にデータ移行(”Server B”から”Server A”へ移行)の候補として残るファイルは、”Server B”の“/Dir/File4”となる。
また、”Server A”上にあるため、データの移行の候補ではないが、”/test/test3”のファイルについては、ルール500内の移行対象ファイルの条件を超えているため、他の拠点で移行候補として挙げられていても、他の拠点への移行を実施しない、移行対象外のデータとする。
ログ成型部402において、ログに登録されている全ての操作ユーザ関する分析結果501の生成、およびデータ移行の候補を抽出した後、ログ成型部402は、ログ格納部401へ生成した分析結果501と、移行候補のファイルのパス名と、移行対象外のファイルのパス名をデータとして格納する。
<操作ユーザを基準とした、ディレクトリ単位でのアクセスコンテキストおよび移行候補の抽出手順>
次に、(b)の操作ユーザを基準とし、ログ格納部401にて保存されているログから、各ディレクトリのアクセスコンテキストを算出し、移行対象となるディレクトリを決定するまでの手順を述べる。
分析装置400のデータ移行指示部403、ログ成型部402には、予め管理者により、図5に示すようなディレクトリデータの移行対象を決定するためのルール502が登録されているものとする。
ルール502には、ルール500と同様のパラメータが記載されているが、移行対象ファイルの条件の代わりに、移行対象ディレクトリの条件が記載される。同様にして、図5のルール502に示したパラメータはあくまでも一例であり、本発明を適用する環境に合わせて、管理者が各パラメータを決定するものとする。
分析装置400のログ成型部402では、ログ格納部401からログデータを読み出し、前記ルール502にしたがって、図4の分析結果501の例に示すようにユーザ(もしくはクライアント)ごとにアクセスされた各ファイルのポイントを、上記(a)の場合と同様にして算出する。
さらに、分析装置400のログ成型部402では、分析結果501のパス名のデータを解析して、ディレクトリ単位でのポイントを集計し、図6の例に示すように分析結果503を生成する。なお、ディレクトリ単位でのポイントの集計は、各ディレクトリの配下のディレクトリエントリのポイントを足し合わせることで求め、最下層のディレクトリから上位ディレクトリへ順にポイントを算出する。
図5のルール502と図6の分析結果503の例の場合、前記分析結果を算出した分析装置400と同じ拠点にあるサーバ300が”Server A”、他の拠点にあるサーバ300が”Server B”であった場合、最終的にデータ移行(”Server B”から”Server A”へ移行)の候補として残るディレクトリは、”Server B”の“/Dir”であり、移行対象外となるディレクトリは、”Server A”の“/sample”となる。
ログ成型部402において、ログに登録されている全ての操作ユーザに関する分析結果501と、ディレクトリに関する分析結果503の生成、およびデータ移行の候補を抽出した後、ログ成型部402は、ログ格納部401へ生成した分析結果501、503と、移行候補のディレクトリのパス名と、移行対象外のディレクトリのパス名を格納する。
<操作グループを基準とした、ファイル単位でのアクセスコンテキストおよび移行候補の抽出手順>
次に、上記(c)の操作グループを基準とし、ログ格納部401にて保存されているログから、各ファイルのアクセスコンテキストを算出し、移行対象となるファイルを決定するまでの手順を述べる。前記操作グループのグループとは、ユーザ(もしくはクライアント)が所属している拠点をグループ化したものである。
分析装置400のデータ移行指示部403、ログ成型部402には、予め管理者により、図7に示すようなファイルデータの移行対象を決定するためのルール504が登録されているものとする。
ルール504には、ルール500と同様のパラメータに加え、拠点とその拠点に所属するユーザ名(もしくはクライアント名かIPアドレス)をパラメータとして登録する。図7のルール504に示したパラメータはあくまでも一例であり、本発明を適用する環境に合わせて、管理者が各パラメータを決定するものとする。
分析装置400のログ成型部402では、ログ格納部401からログデータを読み出し、前記ルール504にしたがって、図8の分析結果505(ユーザA)、および分析結果506(ユーザB)の例に示すようにユーザ(もしくはクライアント)ごとにアクセスされた各ファイルのポイントを、上記(a)の場合と同様にして算出する。
さらに、分析装置400のログ成型部402では、グループに所属する全てのユーザの分析結果505、506を用いて、同じパス名となるファイルのポイントを足し合わせ、図9の例に示すように分析結果507を生成する。
図7のルール504と図9の分析結果507の例の場合、前記分析結果を算出した分析装置400と同じ拠点にあるサーバ300が”Server A”、他の拠点にあるサーバ300が”Server B”であった場合、最終的にデータ移行の候補として残るファイルは、
“/test/test3”、
“/Dir/File4”、
“/Dir/File5”、
“/sample/sample1”、
“/sample/sample2”
であり、
移行対象外のファイルは、
“/test/test3”となる。
ログ成型部402において、ログに登録されている全ての操作ユーザに関する分析結果505、506と、操作グループに関する分析結果507の生成、およびデータ移行の候補を抽出した後、ログ成型部402は、ログ格納部401へ生成した分析結果505、506、507と、移行候補のファイルのパス名と、移行対象外のファイルのパス名を格納する。
<操作グループを基準とした、ディレクトリ単位でのアクセスコンテキストおよび移行候補の抽出手順>
次に、上記(d)の操作グループを基準とし、ログ格納部401にて保存されているログから、各ディレクトリのアクセスコンテキストを算出し、移行対象となるディレクトリを決定するまでの手順を述べる。
分析装置400のデータ移行指示部403、ログ成型部402には、予め管理者により、図10に示すようなディレクトリデータの移行対象を決定するためのルール508が登録されているものとする。
ルール508には、ルール504と同様のパラメータが記載されている。ルール508には、移行対象ファイルとするための条件の代わりに、移行対象ディレクトリとするための条件が記載される。
同様にして、図10のルール508に示したパラメータはあくまでも一例であり、本発明を適用する環境に合わせて、管理者が各パラメータを決定するものとする。
分析装置400のログ成型部402では、ログ格納部401からログデータを読み出し、前記ルール508にしたがって、図8の分析結果505、および506の例に示すようにユーザ(もしくはクライアント)ごとにアクセスされた各ファイルのポイントを(a)の場合と同様にして算出する。
また、分析装置400のログ成型部402では、グループに所属する全てのユーザの分析結果505、506を用いて、同じパス名となるファイルのポイントを足し合わせ、分析結果507を生成し、さらに、分析結果507のパス名のデータを解析して、ディレクトリ単位でのポイントを集計し、図11の例に示すように分析結果509を生成する。なお、ディレクトリ単位でのポイントの集計は、各ディレクトリエントリのポイントを足し合わせることで求め、最下層のディレクトリから上位ディレクトリへの順にポイントを算出する。
図10のルール508と図11の分析結果509の例の場合、前記分析結果を算出した分析装置400と同じ拠点にあるサーバ300が”Server A”、他の拠点にあるサーバ300が”Server B”であった場合、最終的にデータ移行の候補として残るディレクトリは、
“/Dir”、
“/sample”
であり、移行対象外のディレクトリはないことになる。
ログ成型部402において、ログに登録されている全ての操作ユーザに関する分析結果505、506と、操作グループに関する分析結果507と、ディレクトリに関する分析結果509の生成、およびデータ移行の候補を抽出した後、ログ成型部402は、ログ格納部401へ生成した分析結果505、506、507、509と、移行候補のディレクトリのパス名と、移行対象外のディレクトリのパス名を格納する。
以上、4つの分析手法により、各拠点に設置されている分析装置400は、自身に設定されているルールに基づいて移行候補を抽出するが、抽出対象の形式(ファイル、もしくはディレクトリ)が同一となる分析手法をすべての分析装置400で用いることとする。
また、各拠点の分析装置400に設定されているルール内のパラメータは、各拠点の(常に高いファイルアクセスが求められるなどの)重要度に応じて設定するなど、必ずしも同一としなくても良いが、分析作業とファイル移行作業を実施する時間は全拠点で同一時間帯に設定する。
以上のようにして、各拠点に設置されている分析装置400に設定されているルールに基づき、移行候補を抽出し、次に示す複数のスイッチ装置200間での連係動作と連動して、データ移行作業に移る。
<複数のスイッチ間での連係動作手順>
複数のスイッチ装置200間で連係して、スイッチ装置200配下にある複数のサーバ300の複数のファイルシステム3をクライアント100に対して統合されたストレージリソースとして提供するための前提知識として、スイッチ装置200単体動作時に複数のサーバの複数のファイルシステムをクライアント100に対して統合されたストレージリソースとして提供するための動作手順について以下に説明する。
まず、クライアント100は、スイッチ装置200を介してスイッチ装置200が構成している擬似ファイルシステム204で統合されたストレージリソースにマウントを実行し、ファイル、ディレクトリなどのオブジェクトを指定するために、ファイルアクセスプロトコル上で定義されている最初のオブジェクト識別子を得る。
オブジェクト識別子は、サーバ300が生成したオブジェクト識別子にスイッチ装置200がサーバ300のあて先を示すサーバ識別子を組み込んだものとする。前記サーバ識別子は、サーバのアドレス情報(IPアドレスやサーバ名)に関連付けられて、ファイルアクセス管理部202に登録される。
本実施形態では、サーバ300が生成したオブジェクト識別子の名前をサーバオブジェクト識別子、スイッチ装置200がサーバ識別子を組み込んだオブジェクト識別子の名前をスイッチオブジェクト識別子と定義する。
また、クライアント100は、ファイルアクセスプロトコルを使って統合されたストレージリソースにアクセスする際は、前記スイッチオブジェクト識別子を用いて操作対象を指定し、ファイルやディレクトリにアクセスするもととする。
擬似ファイルシステム204は、図12に示した、2つのファイルシステムを統合した場合の擬似ファイルシステム構成例のように、複数のサーバの複数のファイルシステムのディレクトリツリーを組み合わせて、一つのディレクトリツリーとして構成するための情報を管理している。前記情報には、図12の例の場合であれば、2つのディレクトリツリーのつなぎ目となるディレクトリ(ファイルシステムAのディレクトリA601、ファイルシステムBのディレクトリtest)のサーバオブジェクト識別子と、各ファイルシステム上でのルートディレクトリからのパス名(ディレクトリ名)と、前記つなぎ目の親ディレクトリ602のサーバオブジェクト識別子と、各ファイルシステム上でのルートディレクトリからのパス名(ディレクトリ名)と、前記各ディレクトリの格納先であるサーバの情報(IPアドレスやサーバ名など)が含まれる。
このように、擬似ファイルシステム204で管理されているディレクトリツリーのつなぎ目のデータは、ファイルシステム全体の情報量に比べて非常に少なく、スイッチ装置200の起動時に擬似ファイルシステム204から読みだされ、ファイルアクセス管理部202に登録される。
以上のような前提のもと、クライアント100から送信された操作要求がスイッチ装置200を経由してサーバ300に送信され、サーバ300から再度スイッチ装置200を経由してクライアント100に応答が戻るまでの、クライアント100によるストレージリソースへのファイルアクセス手順について説明する。
クライアント100からスイッチ装置200に対して送信されたファイルアクセス要求パケットは、パケット処理部201によってパケットに含まれる全てのデータが抽出され、ファイルアクセス管理部202へ送られる。
ファイルアクセス管理部202では、スイッチオブジェクト識別子をオブジェクトID書き換え部203へ転送することにより、サーバ識別子とサーバオブジェクト識別子を取り出し、前記ファイルアクセス要求の転送先のサーバ識別子に関連付けられたサーバのアドレス情報から転送先のサーバ300を決定する。
また、ファイルアクセス管理部202は、サーバ300からの応答に備えて、ファイルアクセス要求に含まれている前記要求を識別するための識別子(実行ID)と要求元であるクライアント100のIPアドレス、もしくはクライアント名を関連付けてファイルアクセス管理部202内に登録する。また、前記サーバオブジェクト識別子や、ファイルアクセス要求に含まれる操作対象のディレクトリ名と、ファイルアクセス管理部202に登録されている擬似ファイルシステムのつなぎ目のサーバオブジェクト識別子情報やディレクトリ名と比較することにより、複数ファイルシステムのつなぎ目への操作要求であるかどうかを判断する。
つなぎ目への操作要求でない場合は、スイッチオブジェクト識別子からサーバオブジェクト識別子にデータを変更したファイルアクセス要求パケットをパケット処理部201が生成し、前記要求パケットをサーバ識別子により判明したデータの格納先であるサーバ300へ送信してサーバ300からの応答を待つ。
つなぎ目への操作要求あった場合には、クライアント100から送信されたファイルアクセス要求に含まれている書込みや読み出しといった操作内容により、ディレクトリツリーのつなぎ目が通常のツリーと同様であるかのようにつじつまを合わせるために、つなぎ目を構成している2つのファイルシステム上で管理されているデータにそれぞれアクセスしてデータを取り出す必要があるかどうかの有無を判断する。
つなぎ目を構成している2つのファイルシステム上で管理されているデータにそれぞれアクセスしてデータを取り出す必要がない場合には、つなぎ目以外へのファイルアクセス要求と同様にして、サーバ識別子により判明したデータの格納先であるサーバ300へ、スイッチオブジェクト識別子からサーバオブジェクト識別子に変更したファイルアクセス要求パケットを転送して応答を待つ。
つなぎ目を構成している2つのファイルシステム上で管理されているデータにそれぞれアクセスしてデータを取り出す必要がある場合には、ファイルアクセス管理部202から、クライアントからの要求の操作内容と、つなぎ目を構成している2つのディレクトリと関連付けられたサーバオブジェクト識別子とサーバのアドレス情報をファイルシステム補完処理部205へ転送し、2つのファイルシステムから必要となるデータを取り出すためのファイルアクセス要求を新たに生成し、ファイルアクセス管理部202で前記要求の実行IDを登録して、パケット処理部201を介して、該2つのファイルシステムの格納先であるサーバへ要求を転送して応答を待つ。
サーバ300からの応答パケットがスイッチ装置200に送信されると、パケット処理部201でパケット内に含まれるデータが抽出され、ファイルアクセス管理部202へ送られる。
ファイルアクセス管理部202では、前記データから実行IDを抽出し、要求元のクライアント100を特定し、前記データにサーバオブジェクト識別子が含まれていれば、オブジェクトID書き換え部203でスイッチオブジェクト識別子に変換する。
ファイルアクセス管理部202は、要求元クライアント100を特定した後、応答データをパケット処理部201へ渡し、ファイルアクセス応答をクライアント100へ返答する。
応答データを、ファイルアクセス管理部202で受け取った際、実行IDが自身の発行したものであった場合、つまり、擬似ファイルシステム204上のつなぎ目に相当するクライアントのファイルアクセス要求への対応として、複数のファイルシステムからのデータの取得要求を行なった場合は、必要である場合は、クライアントの前記ファイルアクセス要求に関連する全ての応答が戻ってきた時点で、ファイルシステム補完処理部205で、得られた応答データをつなぎ目として、つじつまが合うように合成して、該ファイルアクセス要求に対する応答データを生成する。
応答データの生成後、ファイルアクセス管理部202で、該応答データの元となるクライアントの該ファイルアクセス要求の実行IDを探し、転送先のクライアントを決定した後、パケット処理部201を介して、該クライアントへファイルアクセス応答を転送する。
以上のようにして、スイッチ装置200を介して、クライアントによるファイルアクセス要求とサーバによる応答を転送するが、図1に示すように、スイッチ装置200が複数拠点にまたがり、各拠点のクライアント100に対して、同一の統合されたストレージリソース(ディレクトリツリー)を提供するためには、同一の擬似ファイルシステムのデータを各拠点のスイッチ装置200で共有する必要がある。
また、スイッチ装置200からの要求の転送先が、該スイッチ装置200の配置されている以外の拠点に存在するサーバ300への要求であった場合は、その要求を他の拠点へ転送する必要がある。
擬似ファイルシステム204については、スイッチ装置200によるデータ再配置作業を実行しない限り、変更されないため、通常は、スイッチ装置200の起動前に他の拠点のスイッチ装置200の所在(IPアドレスなど)を、スイッチ装置200内に予め登録し、同一の擬似ファイルシステム204の情報を設定しておく。スイッチ装置200の起動時に、登録されている他のスイッチ装置200と、ファイルアクセス管理部202と介して通信することにより、自身が登録している擬似ファイルシステム204と、他のスイッチ装置200が登録している擬似ファイルシステム204とが、同一の設定であることを確認する。また、擬似ファイルシステムの別の共有手法として、親となるスイッチ装置200を予め決めておき、親以外のスイッチ装置200は、起動時に親となるスイッチ装置200から擬似ファイルシステムの設定データを取得する手法を用いても良い。
ファイルアクセスに関する拠点間の通信は、全てスイッチ装置200間で行なうこととするため、各拠点のスイッチ装置200は、起動時に、擬似ファイルシステム204を設定する際、擬似ファイルシステム204上の複数のファイルシステムにまたがるディレクトリツリーのつなぎ目に相当する部分のディレクトリのサーバオブジェクト識別子、パス名(ディレクトリ名)、そのディレクトリ格納しているサーバのアドレス情報(IPアドレスやサーバ名)の3種のデータのうち、他の拠点のサーバ300に格納されているディレクトリの場合は、そのディレクトリに関するサーバのアドレス情報については、そのサーバ300が所属している拠点に設置されているスイッチ装置200のアドレス情報(IPアドレスやスイッチ名)を設定データとして保存する。
また、スイッチオブジェクト識別子内に含まれるサーバ識別子と関連付けられたサーバのアドレス情報(IPアドレスやサーバ名)についても、他拠点のサーバ300であれば、該サーバ300が所属する拠点に設置されたスイッチ装置200のアドレス情報(IPアドレスやサーバ名)を関連付ける。
以上のことにより、クライアント100からのファイルアクセス要求をスイッチ装置200にて受信した際、ファイルアクセス要求データ内のスイッチオブジェクト識別子から得られたサーバ識別子に関連付けられたサーバアドレス情報が、他の拠点のスイッチ装置200のアドレス情報であった場合、該アドレス情報を基に、ファイルアクセス管理部202から、他のスイッチ装置200へファイルアクセス要求を転送する。スイッチ装置200は、他拠点から、拠点間を跨るファイルアクセス要求を受け取った場合においても、拠点内のクライアント100からのファイルアクセス要求と同様に、処理を実行する。
拠点間のNASの仮想化について説明する。NFSでは、擬似ファイルシステム204に拠点情報(ファイルハンドルに基づく管理情報)を追加し、全拠点で同一の擬似ファイルシステムを保有する。例えばNFSによるパケット転送の場合、ファイルハンドル内の識別子で拠点の判別が行われる。NFSパケットの転送において、スイッチ装置200は、自拠点の識別子の場合、自拠点NASへ転送し、他拠点の識別子の場合、該当他拠点のスイッチ装置200に転送する。一方、CIFSの場合、ファイル仮想化管理情報の擬似ファイルシステム204に拠点情報(パス名に基づく管理情報)を追加し、全拠点のスイッチ装置200において同一の仮想化管理情報(例えば擬似ファイルシステム204)を共用し、CIFSパケットの転送において、スイッチ装置200は、パス名で識別し、自拠点管理のパス名の場合、自拠点NASへ転送し、他拠点管理のパス名の場合、該当他拠点のスイッチ装置200に転送する。
<データ移行手順>
次に、ログデータから抽出されたデータ移行候補の情報を基に、拠点間でデータの再配置を実施する手順を述べる。
各拠点には、それぞれ分析装置400が備えられているが、これら複数の分析装置400のうち一台を、親の分析装置400であると予め設定しておく。該親の分析装置400に対しては、各拠点のその他の分析装置400からデータ移行候補のデータを転送し、該親の分析装置400が、最終的に移行するデータを決定する。以下では、図1の拠点Aの分析装置400が、親の分析装置400であると設定されているものとする。
また、候補の抽出の手法に関しては、上記(d)の手法が用いられており、図10のルール508から図11の分析結果509が拠点Aの分析装置400で算出され、データ移行の候補となるディレクトリが、“/Dir”、“/sample”であり、拠点Bの分析装置400では、図13の分析結果510が算出され、データ移行となる候補のディレクトリが“/test”であり、データ移行対象外のディレクトリが“/sample”であるものとする。
拠点Aの分析装置400は、ログデータからデータ移行候補の抽出まで終了した後、拠点Bの分析装置400からの分析結果の送信を待つ。
拠点Bの分析装置400は、データ移行の候補の抽出が終了した時点で、分析結果510、データの移行候補のディレクトリのパス名、データの移行対象外となるディレクトリのパス名を、親の分析装置である拠点Aの分析装置400へデータ移行指示部403を経由して送信する。
拠点Aの分析装置400内のデータ移行指示部403は、分析結果509と分析結果510と、各拠点の分析装置400の移行候補と移行対象外ディレクトリを照合し、移行対象外となっていない移行候補のみを抽出し、“/Dir”を、拠点Bのサーバ300から拠点Aのサーバ300へ移行し、“/test”を、拠点Aのサーバ300から拠点Bのサーバ300へ移行する、ことを決定する。
また、拠点Aの分析装置400のデータ移行指示部403は、拠点Aのスイッチ装置200のデータ移行処理部206に問い合わせ、擬似ファイルシステム204の情報を入手し、現在の擬似ファイルシステムの構成情報と照らし合わせ、移行先を確定させる。
移行前の状態が、図12の擬似ファイルシステムの構成であり、ファイルシステムAが拠点Aのサーバ300のファイルシステム3のツリー構成、ファイルシステムBが拠点Bのサーバ300のファイルシステム3のツリー構成であった場合、移行後のデータ配置と擬似ファイルシステムの構成は、図14の構成となる。
移行が決定した移行元のディレクトリおよび移行先のディレクトリは、親である拠点Aの分析装置400から拠点Bの分析装置400へ伝えられ、データの移行作業に移る。
データの移行に関しては、各拠点のスイッチ装置200が担当し、自拠点のサーバ300のデータを、他拠点へ移行させる作業を担当する。
したがって、該例の場合は、拠点Aのスイッチ装置200が“/test”の移行を担当し、拠点Bのスイッチ装置200が“/Dir”の移行を担当する。
次に、各拠点の分析装置400のデータ移行指示部403は、自分の割り当てられた移行元と移行先の情報を、スイッチ装置200のデータ移行処理部206へ通知する。
データ移行指示部403から、移行元と移行先の情報を受けたデータ移行処理部206は、該情報を基に、移行元となるサーバ300からその移行元の配下のオブジェクトのサーバオブジェクト識別子とオブジェクト名を、該(移行元)サーバ300の配置されているスイッチ装置200を経由して収集し、テーブル情報化する。
同時に、該(移行元)サーバ300の配置されている該スイッチ装置200も同様にして同様の情報をテーブル情報化する。
データ移行処理部206は、該テーブル情報化が終了した後、移行元の上位のディレクトリからデータを読み出し、移行先のサーバ300へ書き出す。
この移行元からのデータの読み出し、および移行先への書き込みの際、移行作業を実施しているデータ移行処理部206は、移行元のオブジェクトのサーバオブジェクト識別子を、移行先のサーバオブジェクト識別子と関連付けて、該テーブル情報に登録する。
データ移行作業を実施するデータ移行処理部206は、以上のデータの移行操作を、全移行対象領域に対して実行して移行を完了させた後、移行完了後の図14の擬似ファイルシステムの設定となるように、各拠点のスイッチ装置200の擬似ファイルシステム204に対して、更新通知を行い、更新終了後に移行元のサーバ300内の移行済みのデータを削除する。
該テーブル情報は、クライアント100から移行作業中のオブジェクトにアクセス要求があった場合に用いられ、該要求が移行対象向けのものであった場合、移行作業を実施しているスイッチ装置200に該要求を転送し、移行対象が移行済みであれば移行先のサーバ300へ要求を転送し、移行対象が移行前であれは、移行元のサーバ300向けとして該移行元のサーバ300が配置されているスイッチ装置200へ転送して応答を待つ。
<3拠点以上でのシステム構成の場合のデータ移行先の決め方>
図1に示した例では、拠点数が2つであるため、ログデータより抽出された移行候補を移行するか否かを一意に判断できる。拠点数が3つ以上である場合には、各拠点の分析装置400から移行候補が得られた場合には、同一の移行候補が、複数の拠点の分析装置400で抽出される可能性がある。このような場合、どの拠点のサーバ300へデータを移行するかの判断基準は、以下のような手法が適宜選択される。
1)分析結果で算出されたポイントが大きい拠点を優先する。
2)拠点に予め優先度をつけその優先順位で決定する。
3)拠点間の地理的距離、もしくは、平均レスポンスタイムを基準にして、複数の移行候補の拠点間の中間となる拠点に配置する。
上記2)について説明する。この場合、例えば拠点毎に優先度を変えるか、あるいは、特定のデータ領域毎に優先度を変えるようにしてもよい。拠点毎に優先度を変える場合、拠点毎に、データ配置の優先度が設定される。例えば3拠点A、B、Cについて、拠点の優先度に応じてポイント算出用の係数が決定され、求められたポイント値に係数を掛けたものを最終スコアとするようにしてもよい。領域毎に、拠点の優先度を可変に設定する場合、特定の領域(ディレクトリツリー)で優先度を変える。例えばスコア集計の際に係数を変える。あるいは、同点の場合、優先順位とする。例えばストレージ装置のルートディレクトリ/rootの下に4つのディレクトリ/Dir1、/Dir2、/Dir3、/Dir4があり、3拠点A、B、Cが存在する場合、拠点A、B、Cの優先度を、/Dir1に対して1、2、3(同一の移行候補/Dir1が、複数の拠点拠で抽出された場合、拠点Aが最も優先度が高い)、/Dir2に対して2、1、3(同一の移行候補/Dir2が、複数の拠点拠で抽出された場合、拠点Bが最も優先度が高い)、/Dir3について2、3、1(同一の移行候補/Dir3が、複数の拠点拠で抽出された場合、拠点Cが最も優先度が高い)、/Dir4について1、3、2(同一の移行候補/Dir4が、複数の拠点拠で抽出された場合、拠点Aが最も優先度が高い)のように設定してもよい。
上記3)について説明する。上記1)、2)でポイントが同点となる2つの拠点が存在した場合、コスト(例えば、地理的距離もしくは、平均レスポンスタイム)の最適化を図るべく、例えば該拠点間の中間の拠点が選択される。また、複数拠点のポイント差が一定範囲に収まっている場合には、複数の移行候補の拠点間の中間となる拠点にデータを移行させるようにしてもよい。
<料金に連動したデータ再配置周期の変更による複数サービスレベルの設定>
図1、図2、5、7、10に示したシステム、及びルールの例では、全ての拠点において同一となる、ログ情報の分析から、データ再配置を実施する実行時間を設定していたが、少なくとも1つの拠点又は全ての拠点に関して、所定の評価値に基づき、該拠点へのデータ再配置周期を可変に設定する構成としてもよい。拠点に関する評価値としては、ファイルアクセスサービスの使用量の額であってもよい。具体的には、例えば図2に示した分析装置400のデータ移行指示部403は、各拠点で支払うファイルアクセスサービス使用料に応じて、自拠点へのデータ再配置作業の実行周期を可変させる制御を行う。ファイルアクセスサービス使用料の額に応じて、自拠点へのデータ再配置作業の実行周期を変化させる場合、例えば、ファイルアクセスサービス使用料を多く支払った拠点に対しては、データ再配置の実行周期をより短周期に設定し、ユーザによるファイルアクセスの後、間もなくデータ再配置候補の抽出を実施して、自拠点(すなわちファイルアクセスサービス使用料を多く支払った拠点)にデータ再配置させることで、即座に高速なレスポンスが得られるサービス環境を実現させる。このように、ファイルアクセスサービス使用料として支払った金額によって、自拠点へのデータ再配置の周期を変化させ、全く再配置作業をしないサービスレベル環境から、より、データ再配置作業の実施周期の短いサービスレベル環境まで、段階的に、複数のサービスレベルが設定される。
このサービスレベルを設けるにあたっては、ファイルアクセスサービス使用料として支払った金額により、拠点ごとのデータ再配置実行時間の周期が異なるため、例えば、ログ情報の分析については、最もデータ再配置周期の短い拠点に合わせて、全拠点で実施し、各拠点で得られたログ情報の分析結果に基づき、データ再配置を実行する拠点のオブジェクトに対してのみ、データ再配置候補の抽出と、データ再配置作業とを実行するように構成される。
本発明によれば、距離的に離れた拠点間でデータを共有する際、データの特徴(例えば、作成途中のファイルであるか、完成後のファイル)や、拠点の重要度などの特徴に基づいて、アクセスコンテキストを算出するための重みを変更するなどの手法により、利用頻度の高いデータを自動的に利用頻度の高い拠点に移動させることができる。
これにより、より高速なレスポンスタイムでのファイルアクセス環境の生成を自動的に実現し、ファイルアクセス操作の利便性を向上させると共に、組織の変更によりユーザの所属する拠点が変更された場合であっても、データの格納されている所在を気にすることなく、利用頻度の高いデータがユーザの近くに配置されるため、データの格納先にともなう煩わしさを無くし、データ管理そのものの負荷を軽減させることができる。
さらに、データの再配置周期を変動させることで、高速なレスポンスタイムでのファイルアクセス環境の生成間隔を制御し、複数のファイルアクセスサービスレベルを設定することにより、支払った料金に応じたファイルアクセスサービスを提供することができる。
なお、本実施例の変形例として、アクセスコンテキストの解析結果に基づくデータの再配置制御として、以下のような制御を行ってもよい。例えば、図1において、アクセコンテキストとして、拠点Bのクライアント100から、拠点Aのサーバ300に配置されるファイル(ディレクトリ)へのリードアクセスがあった場合、該リードコンテキストに基づき、該ファイル(ディレクトリ)を拠点Bのサーバ300に複製(コピー)し、拠点Bのクライアント100から該拠点Bのサーバ300に複製された該ファイル(ディレクトリ)へのライトアクセスが行われた場合、該拠点Bのサーバ300側に複製された該ファイル(ディレクトリ)を、実ファイル(ディレクトリ)とする制御を行ってもよい。
以上本発明を上記実施形態に即して説明したが、本発明は、上記実施形態の構成にのみ限定されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
本発明の一実施の形態のシステム構成を示す図である。 本発明の一実施の形態のスイッチ、分析装置の構成を示す図である 本発明の一実施形態における分析装置に設定されるルールの一例を示す図である。 本発明の一実施形態における分析装置により算出された分析結果の例を示す図である。 本発明の一実施形態における分析装置に設定されるルールの例を示す図である。 本発明の一実施形態における分析装置により算出された分析結果の例を示す図である。 本発明の一実施形態における分析装置に設定されるルールのさらに別の例を示す図である 本発明の一実施形態における分析装置により算出された分析結果の例を示す図である 本発明の一実施形態における分析装置により算出された分析結果の例を示す図である 本発明の一実施形態における分析装置に設定されるルールの例を示した図である 本発明の一実施形態における分析装置により算出された分析結果の例を示す図である。 本発明の一実施形態における擬似ファイルシステムの構成例を示す図である。 本発明の一実施形態における分析装置により算出された分析結果の例を示す図である。 本発明の一実施形態におけるデータ移動後における擬似ファイルシステムの構成例を示す図である
符号の説明
1 ローカルネットワーク
2 広域ネットワーク
3 ファイルシステム
4 記憶装置
100 クライアント
200 スイッチ装置(スイッチ)
201 パケット処理部
202 ファイルアクセス管理部
203 オブジェクトID書き換え部
204 擬似ファイルシステム
205 ファイルシステム補完処理部
206 データ移行処理部
207 ログ選別部
300 サーバ
400 分析装置
401 ログ格納部
402 ログ成型部
403 データ移行指示部
404 記憶装置
500 ルール
501 分析結果
502 ルール
503 分析結果
504 ルール
505〜507 分析結果
508 ルール
509 分析結果
600〜602 ディレクトリ

Claims (30)

  1. 少なくとも1つのクライアントと、
    前記クライアントとネットワークを介して接続され、それぞれがストレージ装置を備え、前記クライアントからの要求に対する応答を提供する複数のファイルサーバと、
    前記クライアントと前記ファイルサーバの間に論理的に配置され、分析装置に接続されたスイッチ装置と、を備え、
    前記スイッチ装置は、
    前記クライアントからの要求を受け、前記要求を解析し、前記要求のうち、データの読み出し、更新、削除、及び、名前の変更のうちの少なくとも1つの要求について、
    操作種別ごとの実行ログを、
    操作が実行された日時、
    操作を実行したユーザ名、
    操作を実行したクライアント名又はアドレス、
    操作を実行したファイルサーバ名又はアドレス、及び、
    操作を実行したファイルまでのパス名、
    と関連付けて記憶手段に保存する手段と、を有し、
    前記分析装置は、
    前記保存された実行ログと、ユーザ又はユーザが所属しているグループ情報とを基に、各ユーザ又はグループがファイル及び/又はディレクトリに対してアクセスした回数を、操作要求の種類により定めた重み係数、および、アクセスされた時期によって定めた重み係数を乗じて、総和をとることにより算出により求められる値をアクセスコンテキストとして導出する手段と、
    前記アクセスコンテキストの導出の際、導出対象となるファイル及び/又はディレクトに対して削除要求のログがあった場合には、同一パス名、及びファイル名となるログ情報が前記削除要求ログの後に存在しない場合に、前記削除要求ログに関するファイル及び/又はディレクトリのアクセスコンテキストを導出しない手段と、
    前記アクセスコンテキストの導出の際、導出対象となるファイル及び/又はディレクトに対して名前変更要求のログがあった場合には、変更前の名前のログと、変更後の名前のログとを同一ファイル及び/ディレクトリのログとして扱い、新しい名前を用いてアクセスコンテキストを導出する手段と、
    前記アクセスコンテキストに基づき、導出されたアクセスコンテキストの値が、予め決められたある一定以上の値となっていた場合に、利用される可能性が高いファイル、ディレクトリと判定し、前記ファイル、ディレクトリをその利用可能性が高いユーザ又はユーザが所属しているグループの近傍に位置するストレージ装置に移行してデータの再配置を行う手段と、
    前記データ再配置先の判定の際、移行候補となる同一のファイル及び/又はディレクトリが、複数のユーザ又はユーザが所属しているグループにおいてアクセスコンテキストの値が一定以上の値となり、かつ、前記複数のユーザ又はユーザが所属するグループが複数の拠点に分散していた場合、ユーザ又はユーザが所属しているグループが所属する拠点毎及び/又はアクセスするストレージ装置の領域毎に割り当てられた優先度に基づき再配置させるか、又は前記複数の拠点間にある1つの拠点に移行させる手段と、を備えている、ことを特徴とするストレージシステム。
  2. 前記スイッチ装置は、前記スイッチ装置又は通信手段を介して接続される他のスイッチ装置配下にある複数のサーバの複数のファイルシステムを、クライアントに対して、統合されたストレージリソースとして提供する、ことを特徴とする請求項1記載のストレージシステム。
  3. 前記スイッチ装置は、前記クライアントから送信されたオブジェクトに関する要求を、前記オブジェクトを管理する前記サーバに転送し、
    前記要求に対する前記サーバからの応答を前記要求の送信元であるクライアントに転送し、
    転送する応答に前記オブジェクトを識別するために、前記サーバで生成された元オブジェクトIDが含まれている場合には、前記元オブジェクトIDに対応するオブジェクトを管理するサーバを、他のサーバから識別するためのサーバ識別情報を挿入して、前記元オブジェクトIDを書き換え、
    転送する要求に、前記書き換えられたオブジェクトIDが含まれている場合には、前記書き換えられたオブジェクトIDを前記元オブジェクトIDに復元する手段を備えている、ことを特徴とする請求項1記載のストレージシステム。
  4. 前記スイッチ装置は、前記複数のファイルシステムのディレクトリツリーを組み合わせた1つの統合ディレクトリツリーとして管理される擬似ファイルシステムを備え、
    前記統合ディレクトリツリーにおけるディレクトリツリーのつなぎ目の情報を記憶管理する、ことを特徴とする請求項1記載のストレージシステム。
  5. ネットワークを介して相互に接続される複数の拠点のそれぞれが、前記スイッチ装置を備え、さらに、前記スイッチ装置に接続される分析装置を備え、
    前記スイッチ装置は、前記クライアントからのファイルアクセスのログ情報をとり、
    前記分析装置は、ファイルアクセスのログ情報に基づき、前記クライアントが属する拠点とは別の拠点のサーバのストレージ装置から、前記クライアントが属する拠点又は近傍の拠点のサーバに移行するデータを決定し、前記スイッチ装置にデータの移行を指示する手段を備え、
    前記スイッチ装置は、前記分析装置からの指示に基づき、前記別の拠点のサーバのストレージ装置から、前記クライアントが属する拠点又は近傍の拠点のサーバのストレージ装置へデータを移行させる、ことを特徴とする請求項1記載のストレージシステム。
  6. 前記分析装置は、前記スイッチ装置での前記クライアントによるファイルアクセスのログ情報を受け取り、
    ファイルアクセス操作の種別に応じたポイントと、
    前記ポイントに掛ける重み情報であって、前記ファイルアクセスが現在よりどのくらい前に行われたかという時間的条件に応じて規定される重み情報と、
    に基づき、前記サーバへのファイルアクセスのログ情報を数値化データとして求め、
    前記数値化されたログ情報の値を、規則に規定された移行条件と照合し、移行条件を満たしている場合、前記ファイルアクセス対象のファイル及び/又はディレクトリを、前記サーバのストレージ装置から、前記クライアントの属するローカルシステムのサーバのストレージ装置に移行させるように、前記スイッチ装置に指示し、
    前記スイッチ装置は、前記分析装置からの指示に基づき、前記クライアントの属するローカルシステムのサーバのストレージ装置へファイル及び/又はディレクトリを移行する、ことを特徴とする請求項5記載のストレージシステム。
  7. 前記スイッチ装置は、前記クライアントから送信されたファイルアクセス要求パケットと前記サーバから送信されたファイルアクセス応答パケットを受信して、パケット内のデータを抽出するパケット処理部と、
    前記パケット処理部で抽出されたデータの処理の決定と管理を行うファイルアクセス管理部と、
    ファイルアクセスプロトコル内に含まれるオブジェクト識別子であって、サーバで生成されたファイル、ディレクトリを識別するための前記オブジェクト識別子に対して、どのサーバに格納されているオブジェクトかを前記スイッチ装置が判断するために、前記オブジェクト識別子に、データを格納しているサーバの識別子を組み込み、サーバの識別子が組み込まれている前記オブジェクト識別子を、前記サーバが生成した元のオブジェクト識別子に戻す処理を行うオブジェクトID書き換え部と、
    前記ファイルアクセス管理部からのファイルアクセスプロトコルのデータに基づいて、クライアントおよびサーバに対して送信するデータを再構成するファイルシステム補完処理部と、
    複数の拠点のそれぞれにおける、複数のファイルシステムの一元化の構成を管理する擬似ファイルシステムと、
    拠点内、及び拠点間のサーバ間でのデータ移動を行い、データ移動の前後でクライアントに対して、データ移動実行の動作を隠蔽するために、ファイルシステム補完処理部及び擬似ファイルシステムの情報を変更するデータ移行処理部と、
    前記ファイルアクセス管理部から取得したファイルアクセスプロトコルのデータのうち、ログとして必要となる情報を抽出するログ選別部と、
    を含む、ことを特徴とする請求項1記載のストレージシステム。
  8. 前記分析装置は、前記スイッチ装置の前記ログ選別部により抽出されたログ情報を格納するログ格納部と、
    前記ログ格納部に格納されているログ情報から、アクセスコンテキスト算出のための、ログ情報を成型して、アクセスコンテキスト情報を算出するログ成型部と、
    前記ログ成型部で算出された、アクセスコンテキスト情報を基に、再配置するデータを決定し、前記スイッチ装置の前記データ移行処理部に対して、再配置対象のデータの移行を指示するデータ移行指示部と、
    を含む、ことを特徴とする請求項5記載のストレージシステム。
  9. 前記分析装置は、前記ログ情報から移行候補を抽出するにあたり、
    ユーザを基準とした、ファイル単位でのアクセスコンテキストによる移行候補の抽出、
    ユーザを基準とした、ディレクトリ単位でのアクセスコンテキストによる移行候補の抽出、
    グループを基準とした、ファイル単位でのアクセスコンテキストによる移行候補の抽出、
    グループを基準とした、ディレクトリ単位でのアクセスコンテキストによる移行候補の抽出、
    のうちのいずれかで行う、ことを特徴とする請求項5記載のストレージシステム。
  10. 前記規則は、
    1回の読み出し操作又は更新操作を表すログに与えられるポイントと、
    操作の実行日時によって前記ポイントに掛け合わせる重みと、
    移行対象ファイル又はディレクトリの条件と、
    を含む、ことを特徴とする請求項6記載のストレージシステム。
  11. 前記規則は、ログ情報の分析と、ファイル又はディレクトリの移行作業の時間帯を含む、ことを特徴とする請求項10記載のストレージシステム。
  12. 前記分析装置は、前記クライアントからのファイルアクセス対象の操作に関して、前記操作の回数にポイントを乗算した値に、操作の実行日時に応じて規定される重みを乗じた値を、ログされているアクセス対象の操作に関して総和をとることで、ファイルアクセスのログ情報を数値化する、ことを特徴とする請求項5記載のストレージシステム。
  13. 前記分析装置は、ファイルアクセスのログ情報に基づき、前記クライアントが属する拠点のサーバのストレージ装置から、他の拠点のサーバへのデータの移行を行わないファイル及び又はディレクトリを決定する手段を備えている、ことを特徴とする請求項5記載のストレージシステム。
  14. 前記分析装置は、拠点に関する所定の評価値に応じて、前記拠点へのデータ再配置の実行周期を可変制御する手段を備えている、ことを特徴とする請求項5記載のストレージシステム。
  15. 前記分析装置において、少なくとも一つの拠点へのデータの再配置の実行、非実行が選択自在とされてなる、ことを特徴とする請求項5記載のストレージシステム。
  16. 少なくとも1つのクライアントと、
    前記クライアントとネットワークを介して接続され、それぞれがストレージ装置を備え、前記クライアントからの要求に対する応答を提供する複数のファイルサーバと、
    前記クライアントと前記ファイルサーバの間に論理的に配置され、分析装置に接続されたスイッチ装置と、を有するストレージシステムのデータ配置管理方法であって、
    前記スイッチ装置は、
    前記クライアントからの要求を受け、前記要求を解析し、前記要求のうち、データの読み出し、更新、削除、及び、名前の変更のうちの少なくとも1つの要求について、
    操作種別ごとの実行ログを、
    操作が実行された日時、
    操作を実行したユーザ名、
    操作を実行したクライアント名又はアドレス、
    操作を実行したファイルサーバ名又はアドレス、及び、
    操作を実行したファイルまでのパス名、
    と関連付けて記憶手段に保存し、
    前記分析装置は、
    前記保存された実行ログと、ユーザ又はユーザが所属しているグループ情報とを基に、各ユーザ又はグループがファイル及び/又はディレクトリに対してアクセスした回数を、操作要求の種類により定めた重み係数、および、アクセスされた時期によって定めた重み係数を乗じて、総和をとることにより算出により求められる値をアクセスコンテキストとして導出し、
    前記アクセスコンテキストの導出の際、導出対象となるファイル及び/又はディレクトに対して削除要求のログがあった場合には、同一パス名、及びファイル名となるログ情報が前記削除要求ログの後に存在しない場合に、前記削除要求ログに関するファイル及び/又はディレクトリのアクセスコンテキストを導出せず、
    前記アクセスコンテキストの導出の際、導出対象となるファイル及び/又はディレクトに対して名前変更要求のログがあった場合には、変更前の名前のログと、変更後の名前のログとを同一ファイル及び/ディレクトリのログとして扱い、新しい名前を用いてアクセスコンテキストを導出し、
    前記アクセスコンテキストに基づき、導出されたアクセスコンテキストの値が、予め決められたある一定以上の値となっていた場合に、利用される可能性が高いファイル、ディレクトリと判定し、前記ファイル、ディレクトリをその利用可能性が高いユーザ又はユーザが所属しているグループの近傍に位置するストレージ装置に移行してデータの再配置を行い、
    前記データ再配置先の判定の際、移行候補となる同一のファイル及び/又はディレクトリが、複数のユーザ又はユーザが所属しているグループにおいてアクセスコンテキストの値が一定以上の値となり、かつ、前記複数のユーザ又はユーザが所属するグループが複数の拠点に分散していた場合、ユーザ又はユーザが所属しているグループが所属する拠点毎及び/又はアクセスするストレージ装置の領域毎に割り当てられた優先度に基づき再配置させるか、又は前記複数の拠点間にある1つの拠点に移行させることを特徴とするデータ配置管理方法。
  17. 前記スイッチ装置は、前記スイッチ装置又は通信手段を介して接続される他のスイッチ装置配下にある複数のサーバの複数のファイルシステムを、クライアントに対して、統合されたストレージリソースとして提供する、ことを特徴とする請求項16記載のデータ配置管理方法。
  18. 前記スイッチ装置は、前記クライアントから送信されたオブジェクトに関する要求を、前記オブジェクトを管理する前記サーバに転送し、
    前記要求に対する前記サーバからの応答を前記要求の送信元であるクライアントに転送し、
    転送する応答に前記オブジェクトを識別するために、前記サーバで生成された元オブジェクトIDが含まれている場合には、前記元オブジェクトIDに対応するオブジェクトを管理するサーバを、他のサーバから識別するためのサーバ識別情報を挿入して、前記元オブジェクトIDを書き換え、
    転送する要求に、前記書き換えられたオブジェクトIDが含まれている場合には、前記書き換えられたオブジェクトIDを前記元オブジェクトIDに復元する、ことを特徴とする請求項16記載のデータ配置管理方法。
  19. 前記スイッチ装置は、前記複数のファイルシステムのディレクトリツリーを組み合わせた1つの統合ディレクトリツリーとして管理される擬似ファイルシステムを備え、
    前記統合ディレクトリツリーにおけるディレクトリツリーのつなぎ目の情報を記憶管理する、ことを特徴とする請求項16記載のデータ配置管理方法。
  20. ネットワークを介して相互に接続される複数の拠点のそれぞれが、前記スイッチ装置を備え、さらに、前記スイッチ装置に接続される分析装置を備え、
    前記スイッチ装置は、前記クライアントからのファイルアクセスのログ情報をとるステップと、
    前記分析装置が、ファイルアクセスのログ情報に基づき、前記クライアントが属する拠点とは別の拠点のサーバのストレージ装置から、前記クライアントが属する拠点又は近傍の拠点のサーバに移行するデータを決定し、前記スイッチ装置にデータの移行を指示するステップと、
    前記スイッチ装置は、前記分析装置からの指示に基づき、前記別の拠点のサーバのストレージ装置から、前記クライアントが属する拠点又は近傍の拠点のサーバのストレージ装置へデータを移行するステップと、を含むことを特徴とする請求項16記載のデータ配置管理方法。
  21. 前記分析装置は、前記スイッチ装置での前記クライアントによるファイルアクセスのログ情報を受け取り、
    ファイルアクセス操作の種別に応じたポイントと、
    前記ポイントに掛ける重み情報であって、前記ファイルアクセスが現在よりどのくらい前に行われたかという時間的条件に応じて規定される重み情報と、
    に基づき、前記サーバへのファイルアクセスのログ情報を数値化データとして求め、
    前記数値化されたログ情報の値を、規則に規定された移行条件と照合し、移行条件を満たしている場合、前記ファイルアクセス対象のファイル及び/又はディレクトリを、前記サーバのストレージ装置から、前記クライアントの属するローカルシステムのサーバのストレージ装置に移行させるように、前記スイッチ装置に指示し、
    前記スイッチ装置は、前記分析装置からの指示に基づき、前記クライアントの属するローカルシステムのサーバのストレージ装置へファイル及び/又はディレクトリを移行する、ことを特徴とする請求項20記載のデータ配置管理方法。
  22. 前記スイッチ装置は、前記クライアントから送信されたファイルアクセス要求パケットと前記サーバから送信されたファイルアクセス応答パケットを受信して、パケット内のデータを抽出するパケット処理部と、
    前記パケット処理部で抽出されたデータの処理の決定と管理を行うファイルアクセス管理部と、
    ファイルアクセスプロトコル内に含まれるオブジェクト識別子であって、サーバで生成されたファイル、ディレクトリを識別するための前記オブジェクト識別子に対して、どのサーバに格納されているオブジェクトかを前記スイッチ装置が判断するために、前記オブジェクト識別子に、データを格納しているサーバの識別子を組み込み、サーバの識別子が組み込まれている前記オブジェクト識別子を、前記サーバが生成した元のオブジェクト識別子に戻す処理を行うオブジェクトID書き換え部と、
    前記ファイルアクセス管理部からのファイルアクセスプロトコルのデータに基づいて、クライアントおよびサーバに対して送信するデータを再構成するファイルシステム補完処理部と、
    複数の拠点のそれぞれにおける、複数のファイルシステムの一元化の構成を管理する擬似ファイルシステムと、
    拠点内、及び拠点間のサーバ間でのデータ移動を行い、データ移動の前後でクライアントに対して、データ移動実行の動作を隠蔽するために、ファイルシステム補完処理部及び擬似ファイルシステムの情報を変更するデータ移行処理部と、
    前記ファイルアクセス管理部から取得したファイルアクセスプロトコルのデータのうち、ログとして必要となる情報を抽出するログ選別部と、
    を含む、ことを特徴とする請求項16記載のデータ配置管理方法。
  23. 前記分析装置は、前記スイッチ装置の前記ログ選別部により抽出されたログ情報を格納するログ格納部と、
    前記ログ格納部に格納されているログ情報から、アクセスコンテキスト算出のための、ログ情報を成型して、アクセスコンテキスト情報を算出するログ成型部と、
    前記ログ成型部で算出された、アクセスコンテキスト情報を基に、再配置するデータを決定し、前記スイッチ装置の前記データ移行処理部に対して、再配置対象のデータの移行を指示するデータ移行指示部と、
    を含む、ことを特徴とする請求項20記載のデータ配置管理方法。
  24. 前記分析装置は、前記ログ情報から移行候補を抽出するにあたり、
    ユーザを基準とした、ファイル単位でのアクセスコンテキストによる移行候補の抽出、
    ユーザを基準とした、ディレクトリ単位でのアクセスコンテキストによる移行候補の抽出、
    グループを基準とした、ファイル単位でのアクセスコンテキストによる移行候補の抽出、
    グループを基準とした、ディレクトリ単位でのアクセスコンテキストによる移行候補の抽出、
    のうちのいずれかで行う、ことを特徴とする請求項20記載のデータ配置管理方法。
  25. 前記規則は、
    1回の読み出し操作又は更新操作を表すログに与えられるポイントと、
    操作の実行日時によって前記ポイントに掛け合わせる重みと、
    移行対象ファイル又はディレクトリの条件と、
    を含む、ことを特徴とする請求項21記載のデータ配置管理方法。
  26. 前記規則は、ログ情報の分析と、ファイル又はディレクトリの移行作業の時間帯を含む、ことを特徴とする請求項25記載のデータ配置管理方法。
  27. 前記分析装置は、前記クライアントからのファイルアクセス対象の操作に関して、前記操作の回数にポイントを乗算した値に、操作の実行日時に応じて規定される重みを乗じた値を、ログされているアクセス対象の操作に関して総和をとることで、ファイルアクセスのログ情報を数値化する、ことを特徴とする請求項20記載のデータ配置管理方法。
  28. 前記分析装置は、ファイルアクセスのログ情報に基づき、前記クライアントが属する拠点のサーバのストレージ装置から、他の拠点のサーバへのデータの移行を行わないファイル及び又はディレクトリを決定する、ことを特徴とする請求項20記載のデータ配置管理方法。
  29. 前記分析装置は、拠点に関する所定の評価値に応じて、前記拠点へのデータ再配置の実行周期を可変制御する、ことを特徴とする請求項20記載のデータ配置管理方法。
  30. 前記分析装置において、少なくとも一つの拠点へのデータの再配置の実行、非実行が選択自在とされてなる、ことを特徴とする請求項20記載のデータ配置管理方法。
JP2004364952A 2004-12-16 2004-12-16 データ配置管理方法及びシステムと装置およびプログラム Expired - Fee Related JP4341072B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004364952A JP4341072B2 (ja) 2004-12-16 2004-12-16 データ配置管理方法及びシステムと装置およびプログラム
CN200510131696.2A CN1794729B (zh) 2004-12-16 2005-12-16 数据配置管理方法及***和装置
US11/305,142 US7765217B2 (en) 2004-12-16 2005-12-16 System and method for managing and arranging data based on an analysis of types of file access operations

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004364952A JP4341072B2 (ja) 2004-12-16 2004-12-16 データ配置管理方法及びシステムと装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2006172217A JP2006172217A (ja) 2006-06-29
JP4341072B2 true JP4341072B2 (ja) 2009-10-07

Family

ID=36641917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004364952A Expired - Fee Related JP4341072B2 (ja) 2004-12-16 2004-12-16 データ配置管理方法及びシステムと装置およびプログラム

Country Status (3)

Country Link
US (1) US7765217B2 (ja)
JP (1) JP4341072B2 (ja)
CN (1) CN1794729B (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224837B2 (en) * 2005-06-29 2012-07-17 Oracle International Corporation Method and mechanism for supporting virtual content in performing file operations at a RDBMS
US8639655B2 (en) * 2006-08-31 2014-01-28 Red Hat, Inc. Dedicating threads to classes of LDAP service
JP5137409B2 (ja) 2007-02-05 2013-02-06 株式会社日立製作所 ファイル格納方法及び計算機システム
JP5111898B2 (ja) 2007-03-09 2013-01-09 株式会社日立製作所 ファイル管理方法及び計算機システム
JP2008234264A (ja) * 2007-03-20 2008-10-02 Nec Software Chubu Ltd ファイルサーバの負荷分散装置、負荷分散装置用プログラム、及び負荷分散方法
JP4919851B2 (ja) * 2007-03-23 2012-04-18 株式会社日立製作所 ファイルレベルの仮想化を行う中間装置
JP4931660B2 (ja) * 2007-03-23 2012-05-16 株式会社日立製作所 データ移行処理装置
KR101109603B1 (ko) * 2007-03-29 2012-01-31 삼성전자주식회사 응용 프로그램 실행 방법 및 장치
US9298417B1 (en) * 2007-07-25 2016-03-29 Emc Corporation Systems and methods for facilitating management of data
US8185712B2 (en) * 2007-08-08 2012-05-22 International Business Machines Corporation System and method for intelligent storage migration
KR20090017170A (ko) * 2007-08-14 2009-02-18 삼성전자주식회사 미디어 파일 관리 방법 및 장치
JP4907482B2 (ja) * 2007-09-27 2012-03-28 株式会社日立製作所 計算機システム及びファイル管理方法
US9218137B2 (en) * 2008-03-05 2015-12-22 International Business Machines Corporation System and method for providing data migration services
JP2009245004A (ja) * 2008-03-28 2009-10-22 Nippon Telegraph & Telephone West Corp 双方向データ配置システム、アクセス解析サーバ、データ移動サーバ、双方向データ配置方法、及び、プログラム
US8219582B2 (en) * 2008-04-25 2012-07-10 International Business Machines Corporation System, method, and computer readable media for identifying a user-initiated log file record in a log file
US20090287789A1 (en) * 2008-05-16 2009-11-19 Square D Company Web browser accessible MODBUS TCP/IP activity log
US8781127B2 (en) * 2008-09-05 2014-07-15 Vixs Systems, Inc. Device with privileged memory and applications thereof
US20110019240A1 (en) * 2009-07-21 2011-01-27 Harris Technology, Llc Digital control and processing of transferred Information
JP2011034157A (ja) * 2009-07-30 2011-02-17 Hitachi Ltd 計算機システム及び単一ネームスペースの管理方法
JP2012014236A (ja) * 2010-06-29 2012-01-19 Ntt Docomo Inc ファイル圧縮装置、方法、プログラム
JP5708197B2 (ja) * 2011-04-21 2015-04-30 富士ゼロックス株式会社 情報処理装置およびプログラム
US8650166B1 (en) * 2011-07-11 2014-02-11 Symantec Corporation Systems and methods for classifying files
WO2013103006A1 (ja) * 2012-01-05 2013-07-11 株式会社日立製作所 計算機システムの管理装置及び管理方法
US9779008B2 (en) * 2012-02-21 2017-10-03 Disney Enterprises, Inc. File monitoring
JP5909760B2 (ja) * 2012-05-22 2016-04-27 西日本電信電話株式会社 配置先決定システム、配置先決定方法及びコンピュータプログラム
JP2014238753A (ja) * 2013-06-10 2014-12-18 株式会社エヌ・ティ・ティ・データ 連携装置、連携方法、連携プログラム
JP6439475B2 (ja) * 2015-02-09 2018-12-19 富士通株式会社 情報処理装置、情報処理システム及び制御プログラム
US10069699B2 (en) * 2015-02-26 2018-09-04 Nippon Telegraph And Telephone Corporation Monitoring device information analyzing device and method, and non-transitory storage medium storing program
CN106294440B (zh) * 2015-05-27 2019-06-07 阿里巴巴集团控股有限公司 数据实时迁移的方法和装置
US11256799B2 (en) 2017-08-29 2022-02-22 Seagate Technology Llc Device lifecycle distributed ledger
US20190207748A1 (en) * 2017-12-29 2019-07-04 Seagate Technology Llc Blockchain storage device
JP6616854B2 (ja) * 2018-02-02 2019-12-04 フューチャー株式会社 移行単位分析装置、移行単位分析方法及び移行単位分析プログラム
US11120131B2 (en) 2018-07-30 2021-09-14 Rubrik, Inc. Ransomware infection detection in filesystems
US11308194B2 (en) 2018-10-31 2022-04-19 Seagate Technology Llc Monitoring device components using distributed ledger

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313631A (en) * 1991-05-21 1994-05-17 Hewlett-Packard Company Dual threshold system for immediate or delayed scheduled migration of computer data files
US5367698A (en) * 1991-10-31 1994-11-22 Epoch Systems, Inc. Network file migration system
US5537585A (en) * 1994-02-25 1996-07-16 Avail Systems Corporation Data storage management for network interconnected processors
US6442585B1 (en) * 1997-11-26 2002-08-27 Compaq Computer Corporation Method for scheduling contexts based on statistics of memory system interactions in a computer system
JP4304746B2 (ja) * 1999-01-06 2009-07-29 ソニー株式会社 ファイルの置き換え方法及び装置
US6275898B1 (en) * 1999-05-13 2001-08-14 Lsi Logic Corporation Methods and structure for RAID level migration within a logical unit
US6751612B1 (en) * 1999-11-29 2004-06-15 Xerox Corporation User query generate search results that rank set of servers where ranking is based on comparing content on each server with user query, frequency at which content on each server is altered using web crawler in a search engine
US20010027491A1 (en) * 2000-03-27 2001-10-04 Terretta Michael S. Network communication system including metaswitch functionality
US6938039B1 (en) * 2000-06-30 2005-08-30 Emc Corporation Concurrent file across at a target file server during migration of file systems between file servers using a network file system access protocol
DE60131900T2 (de) * 2000-10-26 2008-12-04 Flood, James C. jun., Portland Verfahren und system zur verwaltung von verteilten inhalten und verwandten metadaten
US20020138559A1 (en) * 2001-01-29 2002-09-26 Ulrich Thomas R. Dynamically distributed file system
US20030046357A1 (en) * 2001-08-30 2003-03-06 International Business Machines Corporation Intelligent content placement in a distributed computing network
US7509316B2 (en) * 2001-08-31 2009-03-24 Rocket Software, Inc. Techniques for performing policy automated operations
JP3879594B2 (ja) 2001-11-02 2007-02-14 日本電気株式会社 スイッチ方法、装置およびプログラム
US7024427B2 (en) * 2001-12-19 2006-04-04 Emc Corporation Virtual file system
JP3727896B2 (ja) 2002-03-29 2005-12-21 株式会社東芝 Hsmシステムおよび同システムのマイグレーション制御方法
JP2004054607A (ja) 2002-07-19 2004-02-19 Nec Corp スイッチ装置、分散オブジェクト管理方法およびプログラム
JP2004086299A (ja) * 2002-08-23 2004-03-18 Fujitsu Ltd トランザクション処理システムにおけるデータ操作永続化方法及びリモートデータベースに対するデータ操作プログラム
JP2004220450A (ja) * 2003-01-16 2004-08-05 Hitachi Ltd ストレージ装置、その導入方法、及びその導入プログラム
JP4322031B2 (ja) 2003-03-27 2009-08-26 株式会社日立製作所 記憶装置
US7146477B1 (en) * 2003-04-18 2006-12-05 Advanced Micro Devices, Inc. Mechanism for selectively blocking peripheral device accesses to system memory
US7143170B2 (en) * 2003-04-30 2006-11-28 Akamai Technologies, Inc. Automatic migration of data via a distributed computer network
JP4339627B2 (ja) 2003-05-23 2009-10-07 株式会社日立製作所 パーソナルストレージサービス提供方法
JP4383132B2 (ja) * 2003-09-02 2009-12-16 株式会社日立製作所 仮想化制御装置及び計算機システム
JP4520755B2 (ja) * 2004-02-26 2010-08-11 株式会社日立製作所 データ移行方法およびデータ移行装置
JP4744171B2 (ja) * 2005-03-18 2011-08-10 株式会社日立製作所 計算機システム及び記憶制御方法

Also Published As

Publication number Publication date
US20060149748A1 (en) 2006-07-06
JP2006172217A (ja) 2006-06-29
CN1794729A (zh) 2006-06-28
US7765217B2 (en) 2010-07-27
CN1794729B (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
JP4341072B2 (ja) データ配置管理方法及びシステムと装置およびプログラム
US7574443B2 (en) Scalable clustered storage system
US7107323B2 (en) System and method of file distribution for a computer system in which partial files are arranged according to various allocation rules
JP5106045B2 (ja) 検索エンジン連携ファイル共有システム
US6078955A (en) Method for controlling a computer system including a plurality of computers and a network processed as a user resource
US20050125456A1 (en) File migration method based on access history
US20070038689A1 (en) File management program, file management apparatus and file management method
US20070038697A1 (en) Multi-protocol namespace server
US20110167045A1 (en) Storage system and its file management method
JP2005078612A (ja) ファイル共有システム及びファイル共有装置間のファイル移行方法
JP2015530629A (ja) 移行先ファイルサーバ及びファイルシステム移行方法
JP2008015984A (ja) データ移行装置及び方法並びにプログラム
JP2004280283A (ja) 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法
US8521687B2 (en) Apparatus, system, and method for selecting optimal replica sources in a grid computing environment
JP2008276488A (ja) ストレージシステムおよびストレージシステムの情報移行方法
JP4327869B2 (ja) 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法
JP2011081579A (ja) Itシステム仮想化における仮想リソースのシステム運用管理方法およびシステム
JP2004302564A (ja) ネームサービス提供方法及びその実施装置並びにその処理プログラム
US8015207B2 (en) Method and apparatus for unstructured data mining and distributed processing
JP6278938B2 (ja) ストレージ管理装置、ストレージ管理方法、及び、プログラム
JP4005102B2 (ja) ゲートウェイ装置
Branco et al. Managing very-large distributed datasets
US20040148361A1 (en) System and method for migrating directories over a wide-area network
US20240111733A1 (en) Data analytics systems for file systems including tiering
JPH11120059A (ja) ネットワークシステム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090203

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090406

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090508

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090628

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4341072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees