JP5060789B2 - クラスタ化nasシステムの間でデータをミラーリングする方法 - Google Patents

クラスタ化nasシステムの間でデータをミラーリングする方法 Download PDF

Info

Publication number
JP5060789B2
JP5060789B2 JP2007010155A JP2007010155A JP5060789B2 JP 5060789 B2 JP5060789 B2 JP 5060789B2 JP 2007010155 A JP2007010155 A JP 2007010155A JP 2007010155 A JP2007010155 A JP 2007010155A JP 5060789 B2 JP5060789 B2 JP 5060789B2
Authority
JP
Japan
Prior art keywords
file
file system
storage
storage system
directory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007010155A
Other languages
English (en)
Other versions
JP2007220096A (ja
Inventor
純一 原
学 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JP2007220096A publication Critical patent/JP2007220096A/ja
Application granted granted Critical
Publication of JP5060789B2 publication Critical patent/JP5060789B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1435Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1824Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0617Improving the reliability of storage systems in relation to availability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F2003/0697Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers device management, e.g. handlers, drivers, I/O schedulers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、コンピュータストレージシステムに、および、より具体的には、ファイルサーバまたはNFSバージョン4機能を有するネットワーク接続ストレージ(Network Attached Storage;NAS)システムに関係する。
歴史的に、複数のホストでファイルを共有するために、NFS(Network File System)プロトコルバージョン2または3のようなプロトコルが使用されて来た。NFSは分散型のファイルシステムであり、Sun Microsystem Computer Corporationによってもともとは開発された関連ネットワークプロトコルであるが、IETF(Internet Engineering Task Force)が今やNFS規格に責任を負っている。
以前のおよび現在のNFSバージョン2および3において、ファイルシステムのネームスペース(またはディレクトリ・ツリー)は各サーバ内に組み立てられている。従って、第一のファイルサーバ上のファイルシステムが新しいサーバに移動される時に、クライアント自身が、新しいファイルサーバ上の移動されたファイルシステムをアクセスするために新しいサーバに要求を送るそれらのターゲットを変更する必要がある。
近年、NFSバージョン4が提案され、いくつかのプラットホーム上で開発され、実施されている。NFSバージョン4において、ファイルシステムのネームスペースは参照子を利用する複数のサーバ上で組み立てられることが可能である。参照子はクライアントにファイルシステムの新しい位置を知らせる属性である。古いサーバ上のファイルシステムが新しいサーバに移動される時に、およびクライアントが古いサーバ上のファイルシステムをアクセスすることを試みる時に、クライアントは、アクセス要求を新しいサーバに向け直す(リダイレクション)ことが可能なように、参照子によってファイルシステムの新しい位置を知らせられる。従って、ファイルシステムが他のサーバに移動された後でさえも、クライアントはファイルシステムを明確に(ファイルシステムの新しい位置を意識することなく)アクセスすることが可能である。この特徴は“グローバルネームスペース”と呼ばれ、この特徴を有するファイルシステムは“グローバルファイルシステム” と呼ばれる。
更に、リモートコピーのようなデータ複製技術は、元のデータが失われるかまたは崩される状況に対する準備にストレージシステムにおいてしばしば使用される。リモートコピーは遠隔配置されたファイルサーバまたはNAS(Network Attached Storage)システム内においてファイルシステムの同期または非同期コピーを保持する技術である。従来、各ファイルシステムは各サーバ内だけに構築されることが可能であるので、リモートコピー技術は単一のファイルサーバ上のファイルシステムを単一のリモートファイルサーバにコピーするために使用される。
一つの側面の下で、本発明はリモートコピーが実施される場合に複数のサーバの中でグローバルファイルシステムを分割する方法を提供する。他の側面の下では、本発明はリモートコピーが実施される場合に二つ以上のサーバに広がるグローバルファイルシステムを単一のファイルシステムに統合する方法を提供する。
一つの実施例において、本発明の方法はリモートコピーが設定される場合にグローバルファイルシステムのデータを単一のサーバにまとめることを含む。この方法の下で、第一のNASシステムが遠隔配置NASシステムでリモートコピーに対して設定される時に、NASシステムはグローバルファイルシステム内の参照子をディレクトリで置き換え、これらを遠隔配置NASシステムに送る。次に、グローバルファイルシステムを作り上げる他のNASシステムは参照子を置き換えるディレクトリの下でファイルとディレクトリを遠隔配置NASシステムに送る。
他の実施例において、本発明の方法はリモートコピーが設定される場合に複数のサーバの中でグローバルファイルシステムのデータを分割することを含む。この方法の下で、NASシステムが遠隔配置NASシステムでリモートコピーに対して設定される時に、NASシステムは特定のディレクトリを参照子で置き換え、これらを遠隔配置NASシステムに送る。次に、NASシステムは参照子で置き換えられたディレクトリの下のファイルとディレクトリを異なる遠隔配置NASシステムに送る。
従って、本発明の下で、NFSバージョン4が実施されたシステムにおいて、クライアントからファイルシステムへのアクセス負荷が複数のファイルサーバに分散されることが可能なようにリモートコピーが設定される場合に、ファイルサーバ上のファイルシステムが複数のファイルサーバの間で分割される場合がある。代わりに、ファイルシステムの実データが管理と他のオーバヘッドの必要性を低減するために単一のファイルサーバに統合されることが可能なようにリモートコピーが設定される場合に、複数のサーバ上に分散されたファイルシステムが単一のリモートファイルサーバに統合される場合がある。
本発明のこれらのおよび他の特徴と利点は、好適な実施例の次の詳細説明から、この技術に通常に精通する人達に明かになる。
本発明の後述の詳細な説明において、開示内容の一部分を形成する添付の図面が参照され、および本発明が実施される特定の実施例が図示によって示されるが、限定されることはない。図面において、同じ参照番号はいくつかの図を通して実質的に同様な構成部分を示す。さらに、図面、前述の議論、および後述の説明は典型的なおよび説明的なだけであり、本発明の範囲またはこの適用範囲をいかなる形式でも限定するものではない。
システム構成例
図1は第一の実施例内の方法と装置が適用されるシステムの構成例を示す。システムは複数のローカルサイトNASシステム101と122、一つ以上のリモートサイトNASシステム123と124、管理ホスト113、一つ以上のローカルサイトNASクライアント120、および一つ以上のリモートサイトNASクライアント125から成る。ここで、この実施例において、リモートサイトNASシステム124は必ずしも必要ではない。
ローカルサイトNASシステム101と122のそれぞれはNASコントローラ102とストレージシステム103を含む。NASコントローラ102はCPU104、メモリ105、ネットワークアダプタ106、およびストレージアダプタ107を含む。これらの構成要素はバス108を経由して互いに接続される。ストレージシステム103はディスクコントローラ109、キャッシュメモリ110、ディスクドライブ111、およびストレージインタフェース112を含む。これらの構成要素はバス113を経由して互いに接続される。NASコントローラ102とストレージシステム103はストレージアダプタ107とストレージインタフェース112を経由して互いに接続される。ここで、ファイバチャネルまたはSCSIのようなインタフェースがストレージインタフェース112に対して使用されることができる。これらのケースで、ホストバスアダプタ(HBA)はストレージアダプタ107に対して使用される。また、ストレージシステム103は外部に配置され、これらのインタフェースを経由してNASコントローラ102に接続される場合がある。
ローカルサイトNASシステム101と122はネットワークアダプタ106を経由して管理ホスト113、ローカルサイトNASクライアント120、およびリモートサイトNASシステム123と124に接続される。この発明を実現するプログラムのいくつかはNASコントローラ102内のCPU104を使用してローカルサイトNASシステム101と122上で走行し、メモリ105または他のタイプのコンピュータで読み出し可能な媒体内に保存される場合がある。
リモートサイトNASシステム123と124のそれぞれはローカルサイトNASシステム101および122と同じ構成要素を有する。この発明を実現するプログラムのいくつかは各リモートサイトNASシステム上のNASコントローラ内のCPUを使用してリモートサイトNASシステム123と124上で走行し、メモリまたは他のタイプのコンピュータで読み出し可能な媒体内に保存される場合がある。
管理ホスト113はCPU114、メモリ115、ネットワークアダプタ116、ストレージアダプタ117、およびストレージシステム119を含む。これらの構成要素はバス118を経由して互いに接続される。管理ホスト113はネットワークアダプタ116を経由してローカルサイトNASシステム101と122に接続される。ストレージシステム119はローカルサイトNASシステム101と122内のストレージシステム103と同じ構成要素を含み、外部に配置され接続される場合がある。この発明を実現するプログラムのいくつかはCPU114を使用して管理ホスト113上で走行し、メモリ115または他のタイプのコンピュータで読み出し可能な媒体内に保存される場合がある。ローカルサイトNASクライアント120とリモートサイトNASクライアント125のそれぞれは管理ホスト113と同じ構成要素を含む。
ローカルサイトNASシステム101と122、管理ホスト113、およびローカルサイトNASクライアント120はローカルサイトLAN121を経由して互いに接続され、リモートサイトNASシステム123と124、およびリモートサイトNASクライアント125はリモートサイトLAN126を経由して互いに接続される。また、ローカルサイトNASシステム101と122がリモートサイトNASシステム123と124にデータを転送可能なように、ローカルサイトLAN120とリモートサイトLAN126はWAN128を経由して互いに接続される。ネットワーク上でローカルサイトNASシステム1 101はホスト名“nas1”を有し、ローカルサイトNASシステム2 102はホスト名“nas2”を有する。また、ネットワーク上でリモートサイトNASシステム1 123はホスト名“nas3”を有し、リモートサイトNASシステム2 124はホスト名“nas4”を有する。
機能図例
図2は第一の実施例内のシステムの機能図例を示す。ローカルサイトNASシステム101と122、およびリモートサイトNASシステム123と124のそれぞれのNASコントローラ102内に、NFSv4サーバ201、リモートコピーマネジャ202、ローカルファイルシステム203、およびボリュームマネジャ204がある。NFSv4サーバ201はローカルファイルシステム203が搭載する一つ以上のボリューム205内にNFSバージョン4プロトコルを通してファイルを送り出す(ファイルをアクセス可能にする)。ローカルファイルシステム203はNFSv4サーバ201からファイルI/O要求を受信し、ボリュームマネジャ204に適切なブロックI/O要求を発行する。一つ以上のボリューム205はローカルファイルシステム203によって管理されるローカルファイルシステムデータ206を含み、これは以下にさらに図3に関連して説明される。
リモートコピーマネジャ202は管理ホスト113または他のNASシステムからの命令に従って他のNASシステムとのグローバルファイルシステムのリモートコピーを設定することが可能である。また、リモートコピーマネジャ202は管理ホスト113からの命令に従ってファイルシステム内の参照子を検索し、管理ホスト113に参照子情報を返す場合がある。さらに、リモートコピーマネジャ202は参照子と同じ属性(名前、許可、など)を有するディレクトリで参照子を置き換え、反対に、同じ属性を有する参照子でディレクトリを置き換えることが可能である。ボリュームマネジャ204はストレージシステム103内の一つ以上のディスクドライブ111を使用して一つ以上のボリューム205を生成することが可能である。
管理ホスト113内に、リモートコピー命令モジュール208がある。リモートコピー命令モジュール208はローカルサイトNASシステム101と122から参照子情報を収集し、図12に示されるグローバルネームスペース管理テーブル1201を管理し、これは以下により詳細に説明される。また、リモートコピー命令モジュール208はリモートサイトNASシステム123または124とのグローバルファイルシステムのリモートコピーを設定することをローカルサイトNASシステム101と122に命令する。
グローバルファイルシステム及びグローバルネームスペース
グローバルファイルシステムは複数のファイルサーバまたはNASシステム上に組み立てられたファイルシステムである。グローバルファイルシステムにおいて、ファイルシステムのネームスペース(またはディレクトリツリー)は複数のファイルサーバまたはNASシステムに渡って拡大できる。複数のファイルサーバまたはNASシステムに渡って拡大するネームスペースはグローバルネームスペースと呼ばれる。ファイルまたはディレクトリが他のファイルサーバまたはNASシステムに移動されても、グローバルネームスペースの機能を使用することによって、クライアントはファイルサーバまたはNASシステムの物理的な位置に関係なくファイルとディレクトリをアクセス可能である。NFSバージョン4プロトコルにおいて、グローバルネームスペースの機能は参照子を導入することによって実現され、これは以下により詳細に説明される。
ローカルファイルシステムのデータ構造
ローカルファイルシステムはそれによってファイルサーバまたはNASシステムのそれぞれがそれら自身内のファイルとディレクトリを管理するファイルシステムである。各ファイルサーバまたはNASシステムは異なるファイルシステムを使用可能である。図3は、ローカルファイルシステム203に対して必要なデータ206がボリューム205内に保存される方法を示す。ブートセクタ301は、システムを必要に応じてブートするプログラムを保存するために通常使用される。ローカルファイルシステム203はブートセクタ301内のデータを変更しない。しかしながら、ボリューム205の残りの部分はローカルファイルシステム203によって使用されることができる。
ローカルファイルシステム203はボリューム205の残りの部分を一つ以上のブロックグループ302に分割する場合がある。各ブロックグループ302はスーパブロック303、ブロックグループ記述子304、データブロックビットマップ305、inodeビットマップ306、inodeテーブル307、およびデータブロック308を含む。スーパブロック303はブロックグループ302の位置情報を保存するために使用される。全てのブロックグループ302はスーパブロック303の同じコピーを有する。ブロックグループ記述子304はブロックグループ302の管理情報を保存する。データブロックビットマップ305はどのデータブロック308が使用中であるかを示す。同様な方法で、inodeビットマップ306はinodeテーブル307内のどのinode309が使用中であるかを示す。
図4はinodeテーブル307内の各inode309がどんな種類のデータを有するかを示す。inodeは特定のファイルまたはディレクトリに割り当てられたディスクブロックの一部または全部の位置を記述するファイルシステム内の継続的データ構造である。従って、各inode309は各ファイルまたはディレクトリの以下のような属性を保存する:
inode番号401:inodeに対するユニークな番号;
ファイルタイプ402:inodeが何に使用されるか(ファイル、ディレクトリ等);
ファイルサイズ403:ファイルのサイズ;
アクセス許可404 :ユーザ(オーナ)、グループなどに対するアクセス許可を表すビット列;
ユーザID405 :ファイルを所有するユーザのID番号;
グループID406 :ユーザ(オーナ)が属するグループのID番号;
生成時刻407 :ファイルが生成された時刻;
最終修正時刻408 :ファイルが修正された時刻;
最終アクセス時刻409:ファイルが最後にアクセスされた時刻;
ブロックポインタ410:実データが保存されているデータブロックへのポインタ
図5はinodeとデータブロックの間の論理的関係を示す。各inodeはファイルまたはディレクトリを示すために使用可能である。もしもinodeがファイルを示すならば(もしもそのファイルタイプが、図5内のinode504および507のように、“ファイル”ならば)、inodeから指し示されたデータブロックはファイルの実データを含む。もしもファイルが複数のディスクブロック308(10ブロックのような)内に保存されるならば、10ディスクブロック308のアドレスはブロックポインタ410に記録される。各ブロックポインタ410はボリューム205内の論理ブロックアドレス(LBA)として表現される。一方で、もしもinodeがディレクトリを示すならば(もしもファイルタイプフィールドが、501と503のように、“ディレクトリ”ならば)、ブロックポインタ410から指し示されたデータブロック308はディレクトリ内にinode番号401および全てのファイルとディレクトリ(サブディレクトリ)の名前のリストを保存する。従って、図5において、ルートinode501はディレクトリのファイルタイプ510を含み、データブロック502を指し示すブロックポインタ511を含む。データブロック502は“usr”ディレクトリinode503を特定するinode番号32、およびファイル“hoge”inode504を特定するinode番号26のようなinode番号のリストを保存する。ファイルinode504は“hoge”のファイルデータであるデータブロック506へのブロックポインタを含む。inode503は、ファイル“gcc”inode507を特定するinode42を含むinode番号のリストを保存するデータブロック505へのブロックポインタを含む。ファイルinode507は“gcc”のファイルデータを保存するデータブロック508へのブロックポインタを含む。
NFSv4を使用したファイルサーバ上のファイルへのアクセス
図6はローカルサイトNASクライアント120がローカルサイトNASシステム1 101内のファイルをアクセスする方法を示すためのファイルとディレクトリの配置例を示す。この例において、全てのファイルとディレクトリは一つのローカルサイトNASシステム1 101内に配置されているので、ファイルシステム内に参照子は無い。図6において、ボリューム601内のファイルシステムは“/export1”ルートディレクトリ602、“/bin”ディレクトリ603、“/usr”ディレクトリ604、“/src”ディレクトリ605、および“readme”ファイル606を含む。従って、ファイル606は“/export1/usr/src/readme”としてルートへのそのパスによって特定されることができる。
図7はローカルサイトNASクライアント120がファイル606“/export1/usr/src/readme”をアクセスするためにローカルサイトNASシステム1 101に発行するオペレーションを示す。NFSバージョン4プトロコルはクライアントに“file handle”または“fh”によってサーバでのファイルまたはディレクトリを参照させる。また、NFSバージョン4プトロコルは複数のファイルオペレーションをサーバに送るための単一の要求にグループ化することをクライアントに可能にする合成RPC(Remote Procedure Call)と呼ばれる機能を有する。NFSバージョン4において、作業はオペレーションを通して達成される。オペレーションは合成処理手順の部分を形成するファイルシステムの動作である。サーバは順番にオペレーションの応答を単一の応答にグループ化する。サーバ上で、評価は、サーバ上の最初のエラーまたは最後のオペレーションまで進行し、これに対してサーバが全ての評価されたオペレーションに対して応答を返す。
図7において、各オペレーション後の括弧内の内容はローカルサイトNASクライアント120によって提供されるオペレーションの引数、またはローカルサイトNASシステム1 101から返される値を示す。ローカルサイトNASクライアント120によって発行される第一の合成処理手順701はPUTROOTFH、LOOKUP、GETATTR、およびGETFHオペレーションを含み、702に示されるようにローカルサイトNASシステム1によって応答される。
PUTROOTFHオペレーションはサーバのファイルツリーのルートに“現在の”file handleを設定することをサーバ(nas1)に命令する。ルートfile handleはNFSバージョン4プロトコル内の特別のfile handleの一つである。ルートfile handleはNFSサーバでのファイルシステムネームスペースの“概念的な”ルートである。クライアントはPUTROOTFHオペレーションを用いてルートfile handleを使用するかまたは開始する。一度このPUTROOTFHオペレーションが使用されると、次にクライアントはLOOKUPオペレーションでサーバのファイルツリーの全体を見廻すことが可能である。
LOOKUPオペレーションは、サーバ上の特定のファイル名またはディレクトリ名を捜し、ファイルまたはディレクトリに対するfile handleを返すことをサーバに命令する。
GETATTRオペレーションは現在のfile handleによって特定されたファイルシステムオブジェクトに対するファイルタイプまたはファイルサイズのような属性を取得する。
GETFHオペレーションは現在のfile handleを取得する。
従って、ローカルサイトNASクライアント120によって発行された第一の合成オペレーション701への応答で、ローカルサイトNASシステム1 101は“/export1”に対するfile handleをクライアントに返す。
第二の合成オペレーション703はローカルサイトNASクライアント120によって発行され、PUTFH、OPEN、GETFH、およびREADオペレーションを含み、704に示されるように、ローカルサイトNASシステム1 101によって受信され、応答される。
PUTFHオペレーションはオペレーションの引数として提供されたfile handleで現在のfile handleを置き換える(このケースにおいて、“/export1”に対するfile handleはクライアントによって提供される)。
OPENオペレーションはオペレーションの引数として提供されたfile handleでファイルをオープンすることをサーバに命令する(このケースにおいて、“/export1/usr/src/readme”に対するfile handleが提供される)。
READオペレーションはファイルを読み出し、データをクライアントに返すことをサーバに命令する。従って、ローカルサイトNASクライアント120によって発行された第二の合成703に応答して、ローカルサイトNASシステム1 101は“/export1/usr/src/readme”内のデータを返す。
NFSv4を使用した参照子によるファイルシステム内のファイルへのアクセス
0070 図8は、ローカルサイトNASクライアント120が図6内において以前に説明されたファイルシステム内に参照子がある状況においてローカルサイトNASシステム1 101内のファイルをアクセスする方法を示すための、ファイル、ディレクトリ、および参照子の配置例を示す。図8の例において、ローカルサイトNASシステム1 101上のディレクトリ“/export1/usr/src”605(図6)の下のファイルとディレクトリはローカルサイトNASシステム2 122上の“/export2”803に移動されており、および“/export1/usr/src”605は現在ローカルサイトNASシステム1 101上で参照子802によって置き換えられている。ファイルとディレクトリがローカルサイトNASシステム2 122(そのホスト名は”nas2“である)上の“/export2”803に移動されることを示す参照子情報を表現するために、表現は“nas2:/export2”である。同様に、ローカルサイトNASシステム2 122上の“readme”ファイル804は“nas2:/export2/readme”として表される。
図9は、ローカルサイトNASクライアント120がファイル“/export1/usr/src/readme”をアクセスするためにローカルサイトNASシステム1 101に発行するオペレーションを示す。ローカルサイトNASクライアント120によって発行された第一の合成オペレーション901およびローカルサイトNASシステム1から合成902への応答902は図7内に示された例の合成オペレーション701と702と同じである。合成オペレーション903への応答で、“/export1/usr/src”はもはやローカルサイトNASシステム1 101内に配置されていないので、オペレーション904内のローカルサイトNASシステム1 101はエラーコード“NFS4ERR_MOVED”を返し、“/export1/usr/src/readme”に対するオープンオペレーションは失敗する。
エラーコード“NFS4ERR_MOVED”を受信した後に、ローカルサイトNASクライアント120はどのディレクトリの下でファイルが移動されたかを決定するために他の合成オペレーション処理手順905を発行する。合成オペレーション905への応答で、ローカルサイトNASシステム1 101は再び“NFS4ERR_MOVED”を返す。しかし、今度は、“/export1/usr/src”に対するGETATTRオペレーションへの応答で、ローカルサイトNASシステム1 101は“fs_locations”を返す。“fs_locations”は参照子情報を含む構造である。このケースで、“fs_locations”は参照子情報“nas2:/export2”を含む。この情報に関して、ローカルサイトNASクライアント120はどの位置にオペレーションをリダイレクトしなければならないかを決定可能である。このケースで、ローカルサイトNASクライアント120は望みのファイルが“nas2:/export2”内に配置されていることを参照子情報から決定可能である。従って、ローカルサイトNASクライアント120はオペレーション908で返された“export2”に対するfile handleを取得するために他の合成オペレーション907を発行する。次に、ローカルサイトNASクライアント120はローカルサイトNASシステム2 122上のファイル“/export2/readme”をアクセスするためにオペレーション909を発行し、ローカルサイトNASシステム2 122によるオペレーション910はNASクライアント120に“readme”のデータを返す。
参照子の実施例
図10はファイルシステム内の参照子の実施例を示す。この例で、参照子は参照子ファイルとして実施される。また、例は、図8に示されているように、ディレクトリ“src”の下のファイルシステム(またはファイルとディレクトリ)がローカルサイトNASシステム2 122に移動されるケースを示す。従って、図10はデータブロック1002を指し示すブロックポインタを含むルートディレクトリinode1001を示す。データブロック1002はinode番号32を有する“usr”の名前のディレクトリinodeとしてinode1003を特定する。inode1003はデータブロック1004を指し示すブロックポインタを含み、これは68のinode番号を有するディレクトリ“src”上の情報を含む。しかし、実際のディレクトリ“src”inodeに関する情報を含むよりも、ディレクトリ“src”に対するinode情報は参照子inode1005で置き換えられている。参照子ファイルに対するinodeにおいて、ファイルタイプフィールド402はinode1005に示される“参照子”を示す。inode1005内のブロックポインタ410から指し示されるデータブロック1006はターゲット1007とパス1008を含むディレクトリ“src”の新しい位置のリストを保存する。ターゲット1007は、ディレクトリ“src”の下のファイルシステムまたはファイルとディレクトリが移動されたNASシステムのホスト名を示し、このケースではこれは“nas2”である。パス1008は、新しいNASシステムnas2内で移動されたデータが保存されるディレクトリへのパスを示す。この例で、行1009は“src”の下のファイルとディレクトリが“:/export2”に移動されたことを示す。
リモートコピー
リモートコピーは遠隔配置ファイルサーバまたはNASシステム上にファイルシステムの同期または非同期コピーを保持するためのメカニズムである。リモートコピーメカニズムにおいて、オリジナルファイルシステム(またはソースファイルシステム)を有する一次ファイルサーバはオリジナルファイルシステムがコピーされる二次サーバに関連している。関連性が設定された後に、一次ファイルサーバ上のオリジナルファイルシステム内の全てのまたは特定のファイルとディレクトリは二次ファイルサーバにコピーされる。この処理は“初期コピー”と呼ばれる。初期コピーが完了した後に、一次ファイルサーバ上のオリジナルファイルシステムへの全ての書き込みI/Oは二次ファイルサーバに送られ、ファイルシステムのコピーがオリジナルファイルシステムと同期するように二次ファイルサーバ上のコピーされたファイルシステムに適用される。この処理は“更新コピー”と呼ばれる。
リモートコピーメカニズムを実施するための多様な方法がある。サーバベースのファイルリモートコピーはリモートコピーメカニズムの一般的な実施の一つである。サーバベースのファイルリモートコピーの例はNASシステムのNASコントローラ上でリモートコピー機能を実行する方法である。この方法で、NASコントローラ上のファイルシステムは一次ファイルサーバ上のオリジナルファイルシステムに適用される全ての書き込みI/OをWAN(wide area network)などを経由して遠隔配置NASシステムに転送する。
ファイルシステムの統合
図11は本発明の一つの実施例の下のファイルシステムの統合の例を示す。ローカルサイトにおいて、グローバルファイルシステムは、図8と10に関して以前に説明されたように、ローカルサイトNASシステム1 101とローカルサイトNASシステム2 122上に構成される。本発明の下で、グローバルファイルシステムのデータは、リモートコピーがローカルサイトNASシステム101、122のそれぞれとリモートサイトNASシステム1 123(nas3)の間で設定される場合に、リモートサイトNASシステム1 123に統合される。本発明は参照子とリモートコピーコマンドを使用してこれを可能にし、従って、二つのリモートNASシステム上にファイルシステムの同一のコピーを単に生成するよりも、本発明のこの実施例はリモートコピーが単一のリモートサイトNASシステム上の単一の統合されたファイルシステムに作成されることを可能にし、結果として、管理上のオーバヘッド、機器の必要性などを低減する。
グローバルネームスペース管理テーブル
管理ホスト113はローカルサイトNASシステム上に構成されたグローバルファイルシステムのリモートコピーを実行することをローカルサイトNASシステム101と122に命令する。どのNASシステムがグローバルファイルシステムの全てのネームスペースを保持するためにリモートコピーを設定することを命令されるかを決定するために、管理ホスト113は図12に示されるグローバルネームスペース管理テーブル1201を管理し、参照する。グローバルネームスペース管理テーブル1201はどんなローカルサイトNASシステムがグローバルファイルシステムを形成するかを示す。テーブル1201の列はグローバルネームスペースの名前1202、グローバルネームスペース内のパス1203、ターゲット1204、およびパス1205を含む。グローバルネームスペースの名前1202は管理ユーザによって命名され入力されることのできる、グローバルネームスペースに対する任意の名前である。ターゲット1204はグローバルネームスペースの部分を管理するローカルサイトNASシステムサーバのホスト名を示し、パス1205はその部分を管理するローカルサイトNASシステム内のローカルパス(マウントポイント)を示す。
テーブル1201の行1206と1207は図11内に示される状況を示す。行1205は、グローバルネームスペースの“/”(ルート)がホスト名“nas1”を有するローカルサイトNASシステム1 101によって管理され、ローカルサイトNASシステム1 101上のそのローカルパスは“/export1”であることを示す。行1207は、グローバルネームスペース内の“/usr/src”の下のファイルとディレクトリはホスト名“nas2”を有するローカルサイトNASシステム2 122によって管理され、ローカルサイトNASシステム2 122上のそのローカルパスは“/export2”であることを示す。
グローバルネームスペース管理テーブルに必要な情報の収集
図13は、ローカルサイトNASシステム101と122からグローバルネームスペース管理テーブル1201を生成するための情報を収集するために管理ホスト113によって実行される処理手順の流れ図を示す。
ステップ1301:管理ホスト113は全てのローカルサイトNASシステム101と122に参照子情報要求をブロードキャストし、これは各ローカルNASシステムにそれが参照子を有するかを決定することを指示する。
ステップ1302:管理ホスト113から参照子情報要求を受信した後に、ローカルサイトNASシステム101と122のそれぞれは、それぞれ、それぞれによって送り出された全てのファイルシステム内の参照子を検索する。
ステップ1303:ローカルサイトNASシステム101と122のそれぞれは検索の結果が何らかの参照子ファイルを生成したかを決定する。
ステップ1304:もしもローカルサイトNASシステムがそれ自身によって送り出されたファイルシステム内に何らの参照子ファイルも見つけないならば、参照子情報としてNULLを設定する。
ステップ1305:もしもローカルサイトNASシステムがそれ自身によって送り出されたファイルシステム内に参照子ファイルを見つけるならば、ローカルサイトNASシステムは参照子ファイルから参照子情報を回収する。
ステップ1306:ローカルサイトNASシステムは管理ホスト113に参照子情報を返す。
ステップ1307:全てのローカルサイトNASシステム101と122から参照子情報を受信した後に、管理ホスト113はグローバルネームスペース管理テーブル1201を生成する。
図14は、ローカルサイトNASシステム101と122のそれぞれが管理ホスト113に返す参照子情報1401を示す。ローカルサイトNASシステム101と122のそれぞれはそれ自身のホスト名1402、ローカル送り出しディレクトリ1403、参照子ファイルのローカル位置1404、参照子ファイルが示すターゲットホスト名1405、および参照子ファイルが示すターゲットホスト内のターゲットパス1406を返す。行1407は、ローカルサイトNASシステム1 101(nas1)が図8、10、11の状況で管理ホスト113に返す参照子情報を示す。ローカルサイトNASシステム1 101は図8、11に示されるようにそのファイルシステム内に参照子ファイル802を有しているので、NASシステム1 101は参照子ファイルから参照子情報を回収し、管理ホスト113に情報を返す。一方で、行1408に示されるように、ローカルサイトNASシステム2 122はそのファイルシステム内に参照子ファイルを有していないので、ローカルサイトNASシステム2 122は1402のそれ自身のホスト名nas2と1403のそのローカル送り出しディレクトリ“/export2”を除けばNULLで埋められた参照子情報を返す。他の参照子情報がローカルサイトNASシステム1 101内のローカル送り出しディレクトリを示すので、ローカルサイトNASシステム101と122から返された参照子情報から、管理ホスト113は、ローカルサイトNASシステム1 101がグローバルファイルシステムのルート(/)を管理することを決定することが可能である。
リモートコピーの設定
リモートコピーによってコピーされるグローバルファイルシステムはグローバルネームスペースの名前1202を使用して管理ホスト113上の管理ユーザによって特定される。また、ターゲットホストおよびグローバルファイルシステムがコピーされるべきディレクトリは管理ユーザによって特定される。管理ユーザがグローバルネームスペースの名前と管理ホスト113上のターゲットホスト/ディレクトリを特定した後に、管理ホスト113は、グローバルファイルシステムを統合しつつリモートコピーを設定することをローカルサイトNASシステム101と122に命令する。従って、第一のNASシステム上のファイルシステムの第一の部分と第二のNASシステム上のファイルシステムの第二の部分はリモートコピーが設定され実行される場合に第三のNASシステム上にコピーされ統合される。リモートコピーは全てのネームスペースを保持するためにグローバルファイルシステムを構成する全てのローカルサイトNASシステム101と122上に設定されるべきである。従って、全てのローカルサイトNASシステムに命令する方法が必要である。二つの可能な方法は、(1)中央制御による命令と(2)命令のリダイレクションを含む。
統合 − 中央制御による命令
第一の方法、中央制御による命令の下で、管理ホスト113自身は図15に示されるようにリモートコピーを設定するために全てのローカルサイトNASシステム101と122に命令する。図15において、第一の矢印1501は管理ホスト113からローカルサイトNASシステム1 101へ設定されたリモートコピー/統合の命令を示す。第二の矢印1502は、ローカルサイトNASシステム1 101が初期コピーを完了した後にローカルサイトNASシステム2 122に管理ホスト113によって送られるリモートコピー/統合の命令を示す。
図16は、管理ホスト113が、中央制御による命令を通してリモートコピーを設定することをローカルサイトNASシステム101と122に命令する際に従う処理のフロー図を示す。
ステップ1601:管理ホスト113はグローバルネームスペース管理テーブル1201からグローバルファイルシステムを作り上げる全てのホスト名とパスを回収する。
ステップ1602:管理ホスト113は、そのホスト名がステップ1601でグローバルネームスペース管理テーブル1201内で見つかったグローバルファイルシステムのルート(/)を管理するローカルサイトNASシステムにSETUP REMOTE COPY要求を送る。SETUP REMOTE COPY要求は図17のテーブル1701に示された情報を含む。ローカルサイトNASシステム1 101に対して、要求は図17の行1706に示されるパラメータを含み、一方で、ローカルサイトNASシステム2 122に対して、要求は行1707に示されるパラメータを含む。列1702(ローカルソースディレクトリ)はローカルサイトNASシステム上のどのローカルディレクトリがコピーされるべきかを特定する。列1703(ターゲットホスト名)はローカルディレクトリがどのリモートサイトNASシステムにコピーされるかを特定する。列1704(ターゲットディレクトリ)はローカルディレクトリがターゲットリモートサイトNASシステム上のどのディレクトリにコピーされるかを特定する。列1705(取り去られる参照子ファイル)は統合処理の間に参照子ファイルと同じ属性を有するディレクトリで置き換えられるべき参照子ファイルを特定する。もしも複数の取り去られる参照子ファイルがあると、参照子ファイルへの複数のパスがこの列で特定される。
ステップ1604:管理ホスト113からSETUP REMOTE COPY要求を受信した(ステップ1603)後に、グローバルファイルシステムのルート(/)を有するローカルサイトNASシステム(このケースでは、ローカルサイトNASシステム1 101)は全てのファイルとディレクトリを特定されたリモートサイトNASシステム(このケースでは、リモートサイトNASシステム1 123)に送る。
ステップ1605:ローカルサイトNASシステム1 101は取り去られる参照子ファイルがSETUP REMOTE COPY要求内で特定されているかをチェックする。もしも特定された参照子ファイルが無いと、ステップ1607に進む。
ステップ1606:もしも取り去られるように特定された参照子ファイルがあると、ローカルサイトNASシステム1 101は参照子ファイルと同じ属性(名前、許可、等)を有するディレクトリをターゲットホスト(このケースでは、リモートサイトNASシステム2 123)に送る。これに応答して、リモートサイトNASシステム1 123はディレクトリで参照子ファイルを上書きする。
ステップ1607:ローカルサイトNASシステム1 101は初期コピー完了メッセージを管理ホスト113に送る。
ステップ1608:管理ホスト113はグローバルファイルシステムを構成する他のローカルサイトNASシステムがあるかをチェックする。もしも無いと、処理は終了する。
ステップ1609:もしもグローバルファイルシステムを構成する他のローカルサイトNASシステムがあると、管理ホスト113はSETUP REMOTE COPY要求を他のローカルサイトNASシステムに送る(図15の矢印1502で表現されているように)。このケースでは、ローカルサイトNASシステム2 122が要求を受信する。この要求には、図17の矢印1707に示されるパラメータが含まれる。
ステップ1610:要求を受信した後に、ローカルサイトNASシステム2 122はステップ1604からステップ1607の上記で説明された同じステップを処理する。一度最後のローカルサイトNASシステムが初期コピー完了メッセージを送ると、処理は終了し、グローバルファイルシステムの全体がターゲットホスト上に統合されたことになる。さらに、例は二つだけのローカルサイトNASシステム上に展開されるグローバルファイルシステムを統合するが、本発明は任意の数のローカルサイトNASシステム等からファイルシステムを統合するために使用できることは明かである。
統合−命令リダイレクション
リモートコピー命令による統合を命令する第二の方法は命令リダイレクションを含み、ここでは管理ホスト113はグローバルファイルシステムのルート(/)を有するローカルサイトNASシステム(このケースでは、ローカルサイトNASシステム1 101)だけにリモートコピーを起動することを命令する。次に、ローカルサイトNASシステム1 101はローカルサイトNASシステム内の参照子が示す他のローカルサイトNASシステムに命令をリダイレクトする。第二の方法は図18に示されており、ここでは第一の矢印1801は管理ホストからローカルサイトNASシステム1 101へのリモートコピー/統合命令を示す。次に、ローカルサイトNASシステム1 101は、第二の矢印1802で示されているように、それに対してローカルサイトNASシステム1 101が参照子ファイルを有する他のNASシステムにリモートコピー/統合命令をリダイレクトする。
図19は、管理ホスト113が図11に示される結果を達成するために命令リダイレクションを通してリモートコピーを設定し、ファイルシステムを統合することをローカルサイトNASシステムに命令する処理を示すフロー図を示す。
ステップ1901:管理ホスト113は、グローバルファイルシステムの部分を作り上げるまたは形成する全てのホスト名とパスをグローバルネームスペース管理テーブル1201から回収する。
ステップ1902:管理ホスト113は、そのホスト名がステップ1901でグローバルネームスペース管理テーブル1201内に見つけられたグローバルファイルシステムのルート(/)を管理するホストにSETUP REMOTE COPY要求を送る。要求は図23内のテーブル2301に示される情報を含む。列2302(ソースホスト名)は続くパラメータが適用されるべきローカルサイトNASシステムのホスト名を特定する。列2303(ローカルソースディレクトリ)はローカルサイトNASシステム上のどのローカルディレクトリがコピーされるべきかを特定する。列2304(ターゲットホスト名)はローカルディレクトリがどのリモートサイトNASシステムにコピーされるかを特定する。列2305(ターゲットディレクトリ)はローカルディレクトリがターゲットリモートサイトNASシステム上のどのディレクトリにコピーされるかを特定する。列2306(取り去られる参照子ファイル)は参照子ファイルと同じ属性を有するディレクトリで置き換えられるべき参照子ファイルを特定する。もしも取り去られる複数の参照子ファイルがあると、参照子ファイルへの複数のパスがこの列で特定される。従って、ローカルサイトNASシステム1 101はテーブル2301の行2307内の情報を利用する。
ステップ1904:管理ホスト113からSETUP REMOTE COPY要求を受信した(1903)後に、ローカルサイトNASシステムは、それ自身の設定ホスト名とパラメータ内のソースホスト名列2302を比較することによってそれ自身に対するパラメータセットがSETUP REMOTE COPY要求のパラメータ内に含まれているかをチェックする。このケースで、ローカルNASシステム1 101は名前“nas1”を有する行2307を見つける。もしもローカルサイトNASシステムがそれ自身に対するパラメータセットを見つけないと、処理はステップ1911に進む。
ステップ1905:グローバルファイルシステムのルート(/)を有するローカルサイトNASシステム(このケースでは、ローカルサイトNASシステム1 101)はそれ自身に対するパラメータセット内で特定された特定のリモートサイトNASシステム(このケースでは、リモートサイトNASシステム1 123)に全てのファイルとディレクトリを送る。
ステップ1906:ローカルサイトNASシステム1 101は取り去られる参照子ファイルがそれ自身に対するパラメータセット内で特定されているかをチェックする。もしも特定された参照子ファイルがないと、処理はステップ1911に進む。
ステップ1907:もしも取り去られるように特定された参照子ファイルがあると、ローカルサイトNASシステム1 101は参照子ファイルと同じ属性(名前、許可、等)を有するディレクトリをターゲットリモートサイトNASシステム(このケースでは、リモートサイトNASシステム1 123)に送る。これに応答して、リモートサイトNASシステム1 123はディレクトリで参照子ファイルを上書きする。
ステップ1908:ローカルサイトNASシステム1 101はターゲット1007(図10参照)として取り去られる参照子ファイル内で示されたローカルサイトNASシステムに“SETUP REMOTE COPY”要求を送るかまたはリダイレクトする。このケースでは、ローカルサイトNASシステム2 122が要求を受信する。要求で、図23の行2308内に示されるパラメータが特定され、一方で、送るNASシステム、ローカルサイトNASシステム1 101に対するパラメータセットは取り去られる。
ステップ1909:ローカルサイトNASシステム2 122はステップ1903からステップ1911の同じステップを処理する。この処理は、グローバルファイルシステムの大きさと構造に依存して、NASシステムの任意の数に対して繰り返し実行できる。
ステップ1910:ローカルサイトNASシステム1 101はステップ1908で“SETUP REMOTE COPY”要求を送る全てのローカルサイトNASシステムから“INITIAL COPY COMPLETED”メッセージを受信するまで待つ。
ステップ1911:ローカルサイトNASシステム1 101は管理ホスト113に“INITIAL COPY COMPLETED”メッセージを送る。従って、グローバルファイルシステムの全体は、図15に示されるように、コピーされ、単一のリモートNASシステム位置に統合され、この位置はオリジナルファイルシステム上の将来のI/Oオペレーションに対するリモートコピー機能の目的である。
ファイルシステムの分割
本発明の追加の実施例の下で、本発明は二つ以上のNASシステムの中でファイルシステムを分割するために使用される場合がある。すなわち、リモートコピーが設定され、ルートを含むファイルシステムコピーの一部分が第一のNASシステム上に配置され、一つ以上のディレクトリとファイルを含むファイルシステムの第二の部分が第二のNASシステム上に配置されるように実行される場合にファイルツリーが分割される。この実施例の下で、システム構成は図1において説明された前の実施例と同じである。システムは一つ以上のローカルサイトNASシステム101と122、複数のリモートサイトNASシステム123と124、管理ホスト113、一つ以上のローカルサイトNASクライアント120、および一つ以上のリモートサイトNASクライアント125から構成される。ここで、この実施例において、ローカルサイトNASシステム122は必ずしも必要ではない。さらに、機能図は図2において説明された実施例と同じである。図20は、リモートコピーコマンドを使用してグローバルファイルシステムを分割することによって達成される結果を示す例を示す。ローカルサイトにおいて、ファイルシステムは単一のローカルサイトNASシステム1 101内に構成される。図20において、リモートコピーがローカルサイトNASシステム 101とリモートサイトNASシステム123及び124のそれぞれとの間で設定される場合に、ファイルシステムのコピーデータはリモートサイトNASシステム1 123とリモートサイトNASシステム2 124の間で分割される。これは、特定のリモートサイトNASシステム上のアクセス負荷を低減する、より小さい容量のリモートシステムの使用を可能にする等、のようないくつかの環境において望ましい場合がある。
管理ホスト113は図12において説明された実施例と同じグローバルファイルシステムネームスペース管理テーブル1201を管理する。さらに、この実施例に対するフロー図は図13において説明された実施例に対するものと同じである。従って、この実施例のこれらの部分の追加の説明は必要ない。
分割中のリモートコピーの設定
コピーされるグローバルファイルシステムはグローバルネームスペースの名前1202を使用して管理ホスト113上の管理ユーザによって特定される。また、その中でグローバルファイルシステムがコピーされるべきターゲットホストとディレクトリは管理ユーザによって特定される。さらに、管理ユーザは、グローバルファイルシステムがどのディレクトリの下で分割(コピー)されるべきか、そのターゲットホスト、およびそのターゲットディレクトリを特定する。管理ユーザが管理ホスト113上でこれらを特定した後に、管理ホスト113は、グローバルファイルシステムを分割しつつグローバルファイルシステムのリモートコピーを設定することをローカルサイトNASシステム 101に命令する。
図21は、管理ホスト113が、ファイルシステムを分割しつつリモートコピーを設定することをローカルサイトNASシステム 101に命令する処理を示すフロー図を示す。
ステップ2101:管理ホスト113はグローバルネームスペース管理テーブル1201からグローバルファイルシステムを構成する全てのホスト名とパスを回収する。
ステップ2102:管理ホスト113は、そのホスト名がステップ2101でグローバルネームスペース管理テーブル1201内に見つけられたグローバルファイルシステムのルート(/)を管理するホストにSETUP REMOTE COPY要求を送る。要求は図22のテーブル2201で行2206と2207に示されるパラメータを含む。テーブル2201で、列2202はソースディレクトリを含み、列2203はそこで各ソースディレクトリがコピーされるターゲットホスト名を含み、列2204はターゲットディレクトリの名前を示し、列2205は他のターゲットに送られるディレクトリを示す。
ステップ2103:管理ホスト113からSETUP REMOTE COPY要求を受信した後に、ローカルサイトNASシステム(このケースでは、ローカルサイトNASシステム1 101)は、第一のパラメータセット(このケースでは、行2206)として特定される他のターゲットホスト2205に送られるディレクトリとして特定されるディレクトリを除いて、全てのファイルとディレクトリを特定のリモートサイトNASシステム(このケースでは、リモートサイトNASシステム1 123)に送る。
ステップ2104:ローカルサイトNASシステム1 101は他のターゲットに送られるディレクトリが第一のパラメータセット(列2205)で特定されるかをチェックする。もしも特定されるディレクトリが無いと、ステップ2106に進む。
ステップ2105:もしも他のターゲットに送られるディレクトリがあると、ローカルサイトNASシステム1 101は特定されたリモートサイトNASシステム1 123にディレクトリの代わりに参照子ファイルを送る。ローカルNASシステム1 101によって送られた参照子ファイルはオリジナルディレクトリと同じ属性(名前、許可、等)を有し、新しいターゲットへの参照子情報(このケースでは、テーブル2201の行2207に記された“nas4:/copy2”)を有する。これに応答して、リモートサイトNASシステム1 123は参照子ファイルでオリジナルディレクトリ“src”を上書きする。
ステップ2106:ローカルサイトNASシステム1 101は管理ホスト113からのSETUP REMOTE COPY要求に含まれるパラメータ内に他のパラメータセットがあるかをチェックする。このケースでは、他のパラメータセットがある(行2207)。従って、ローカルサイトNASシステム1は次のパラメータセット(行2207)を使用してステップ2103に戻る。しかし、今度は、ステップ2104に達すると、行2207の列2205はNULLを示し、参照子ファイルは送られないで、処理はステップ2106と2107に進む。
ステップ2107:ローカルサイトNASシステム1 101は“INITIAL COPY COMPLETE”メッセージを管理ホスト113に送る。これは、ファイルシステムが図20に示される方法でコピーされ分割されたこと、およびリモートNASシステム123、124がローカルサイトNASシステム1 101上のファイルシステムからのリモートコピーの目的として設定されることを示す。
前述の説明から、本発明はNFSバージョン4の機能を有するファイルサーバまたはNASシステム上のファイルシステムを管理するためのシステムと方法を教えていることは明かである。従って、本発明の下で、NFSバージョン4プロトコルを使用する複数のファイルサーバ上に構成されたファイルシステムのコピーデータはリモートコピーが設定される場合に統合されることができる。代わりに、単一のファイルサーバ上に構成されたファイルシステムのコピーデータはリモートコピーが設定される時に複数のサーバの中で分割されることができる。さらに、特定の実施例がこの明細書で図示され、説明されたが、この技術に通常程度に精通した人達は、同じ目的を達成することを意図する任意の脚色が開示された特定の実施例に置き換えられることができることを理解する。この開示内容は本発明の任意のおよび全ての適応または変化を包括することを意図しており、上記の説明は説明的な形で行われたが、限定的なものではないことが理解される。従って、本発明の範囲は、添付の特許請求項に関して、この特許請求項に与えられた同等物の全範囲と共に、適切に決定されるべきである。
添付の図面は、上記の一般的な説明、および下記の好適な実施例の詳細な説明と関連して、ここで考慮する本発明の最善の好適な実施例の原理を図示し説明するのに役に立つ。
図1は本発明の方法と装置が適用されるシステムの典型的な構成を示す。 図2は本発明のシステムの典型的な機能図を示す。 図3はローカルファイルシステムに必要とされるデータがボリューム内に保存される方法を示す。 図4はinodeテーブル内の各inodeに対して保存されるデータの種類を示す。 図5はinodeとデータブロックの間の論理的関係を示す。 図6は実施例を説明するために使用されるファイルとディレクトリの典型的な配置を示す。 図7はローカルサイトNASクライアントがファイルをアクセスするためにローカルサイトNASシステム1に発行するオペレーションを示す。 図8は実施例を説明するために使用されるファイル、ディレクトリ、および参照子の典型的な配置を示す。 図9はローカルサイトNASクライアントがファイル“/export1/usr/src/readme”をアクセスするためにローカルサイトNASシステム1に発行するオペレーションを示す。 図10は参照子の実施例を示す。 図11は本発明の方法の下でのファイルシステムの統合の例を示す。 図12はグローバルネームスペース管理テーブルを示す。 図13は管理ホストがローカルサイトNASシステムからグローバルネームスペース管理テーブルを作成するための情報を収集するフロー図を示す。 図14はローカルサイトNASシステムのそれぞれが管理ホストに返す参照子情報を示す。 図15はリモートコピーを設定するためのローカルサイトNASシステムへの管理ホストの命令を示す。 図16は管理ホストが中央制御による命令を通してリモートコピーを設定するようにローカルサイトNASシステムに命令するフロー図を示す。 図17は中央制御による命令を通してのローカルサイトNASシステムへのSETUP REMOTE COPY要求内に含まれる情報を示す。 図18は命令のリダイレクションを通してリモートコピーを設定することを命令することを示す。 図19は命令のリダイレクションを通してリモートコピーを設定するフロー図を示す。 図20はグローバルファイルシステムの分割を示す。 図21はリモートコピーを設定するフロー図を示す。 図22はローカルサイトNASシステムへのSETUP REMOTE COPY要求内に含まれる情報を示す。 図23は命令のリダイレクションを通してのローカルサイトNASシステムへのSETUP REMOTE COPY要求内に含まれる情報を示す。

Claims (10)

  1. 第一のファイルシステムを保存する第一のストレージシステムと、
    第二のファイルシステムを保存する第二のストレージシステムと、
    第三のファイルシステムを保存する第三のストレージシステムと、
    第四のファイルシステムを保存する第四のストレージシステムと、
    前記第一、前記第二、前記第三及び前記第四のストレージシステムを管理する管理コンピュータと
    を備え、
    前記第一のファイルシステムと前記第二のファイルシステムとを統合する場合、
    前記第一のファイルシステムは、
    前記第二のファイルシステムを指し示す参照子を含み、
    前記管理コンピュータは、
    前記第一及び前記第二のストレージシステムのそれぞれと前記第三のストレージシステムとの間でリモートコピーの関係を設定し、前記第一のファイルシステムを前記第三のストレージシステムにコピーする際、前記第一のファイルシステムと前記第二のファイルシステムとを統合するように前記第一のストレージシステムに命令し、
    前記第一のストレージシステムは、
    前記管理コンピュータからの命令を受け付けると、全てのディレクトリ及びファイルを前記第三のストレージシステムに送信し、前記第二のファイルを指し示す参照子を取り去り、取り去った参照子を同一属性のディレクトリに置き換え、置き換えたディレクトリを前記第三のストレージシステムに送信し、前記管理コンピュータからの命令を前記参照子が指し示す前記第二のストレージシステムにリダイレクトし、
    前記第二のストレージシステムは、
    前記第一のストレージシステムからのリダイレクトを受け付けると、全てのディレクトリ及びファイルを前記第三のストレージシステムに送信し、
    前記第三のストレージシステムは、
    前記第一ストレージシステムからのディレクトリ及びファイルと前記第二ストレージシステムからのディレクトリ及びファイルとを統合する一方で、
    前記第一のファイルシステムを前記第三のファイルシステムと前記第四のファイルシステムとに分割する場合、
    前記第三のファイルシステムは、
    前記第四のファイルシステムを指し示す参照子を含み、
    前記管理コンピュータは、
    前記第一のストレージシステムと前記第三及び前記第四のストレージシステムとの間でリモートコピーの関係を設定し、前記第第一のファイルシステムを前記第三及び前記第四のストレージシステムにコピーする際、前記第一のファイルシステムを前記第三のファイルシステムと前記第四のファイルシステムとに分割しつつコピーするように前記第一のストレージシステムに命令し、
    前記第一のストレージシステムは、
    前記管理コンピュータからの命令を受け付けると、前記第四のストレージシステムに送信するディレクトリを除いた全てのディレクトリ及びファイルを前記第三のストレージシステムに送信し、前記第四のファイルシステムを指し示す参照子を前記第三のストレージシステムに送信し、一方で前記第四のストレージシステムに送信するディレクトリを前記第四のストレージシステムに送信することにより、前記第一のファイルシステムを前記第三のファイルシステムと前記第四のファイルシステムとに分割する
    ことを特徴とするシステム。
  2. 請求項に記載のシステムであって、
    前記管理コンピュータは、
    前記第一のファイルシステムが前記第三のストレージシステムにコピーされた後に、前記第二のファイルシステムのコピーが前記第三のストレージシステム上で前記第一のファイルシステムのコピーと統合されるように、リモートコピーを設定して前記第二のファイルシステムを前記第三のストレージシステムにコピーすることを前記第二のストレージシステムに命令する
    ことを特徴とするシステム。
  3. 請求項1に記載のシステムであって、
    前記第二のファイルシステムを指し示す参照子は
    前記第二のストレージシステムと前記第二のファイルシステムに対応する前記第二のストレージシステム上に保存された一つ以上のディレクトリとファイルのパスを特定する情報を含み、
    前記第四のファイルシステムを指し示す参照子は、
    前記第四のストレージシステム及び前記第四のファイルシステムに対応する前記第四のストレージシステム上に保存された一つ以上のディレクトリとファイルのパスを特定する情報を含む
    ことを特徴とするシステム。
  4. 請求項1に記載のシステムであって、
    前記第一のファイルシステムは一つ以上の第一のディレクトリと一つ以上の第一のファイルを含むファイルシステムであり、前記第二のファイルシステムは一つ以上の第二のディレクトリと一つ以上の第二のファイルを含む前記ファイルシステムの一部分であり、前記第二のファイルシステムを指し示す参照子を使用して、前記第一のファイルシステム及び前記第二のファイルシステムは完全なファイルシステムとしてアクセスされる
    ことを特徴とするシステム。
  5. 請求項に記載のシステムであって、
    前記第一のファイルシステムは一つ以上の第一のディレクトリと第一のファイルを有する第一の部分及び一つ以上の第二のディレクトリと第二のファイルを有する第二の部分を含むファイルシステムであり、前記第ファイルシステムは前記第一のファイルシステムの前記第一の部分のコピーであり、前記第ファイルシステムは前記第一のファイルシステムの前記第二の部分のコピーであり、前記第と第のストレージシステム上の前記第一のファイルシステムのコピーが前記第ファイルシステムと前記第ファイルシステムで作り上げられ、前記第四のファイルシステムを指し示す参照子を使用して、完全なファイルシステムとしてアクセスされる
    ことを特徴とするシステム。
  6. 請求項1に記載のシステムであって、
    前記ストレージシステムはネットワークを経由して互いにコミュニケーションを行うネットワーク接続ストレージ(NAS)システムである
    ことを特徴とするシステム。
  7. 第一のファイルシステムを保存する第一のNASシステムと、
    第二のファイルシステムを保存する第二のNASシステムと、
    第三のファイルシステムを保存する第三のNASシステムと、
    第四のファイルシステムを保存する第四のNASシステムと、
    前記第一、前記第二、前記第三及び前記第四のNASシステムを管理する管理コンピュータと
    を備えたシステム内のファイルシステムを統合及び分割する方法において、
    前記第一のファイルシステムと前記第二のファイルシステムとを統合する方法においては、
    前記第一のファイルシステムは、
    前記第二のファイルシステムを指し示す参照子を含み、
    前記管理コンピュータが、
    前記第一及び前記第二のストレージシステムのそれぞれと前記第三のストレージシステムとの間でリモートコピーの関係を設定し、前記第一のファイルシステムを前記第三のストレージシステムにコピーする際、前記第一のファイルシステムと前記第二のファイルシステムとを統合するように前記第一のストレージシステムに命令するステップと、
    前記第一のストレージシステムが、
    前記管理コンピュータからの命令を受け付けると、全てのディレクトリ及びファイルを前記第三のストレージシステムに送信し、前記第二のファイルを指し示す参照子を取り去り、取り去った参照子を同一属性のディレクトリに置き換え、置き換えたディレクトリを前記第三のストレージシステムに送信し、前記管理コンピュータからの命令を前記参照子が指し示す前記第二のストレージシステムにリダイレクトするステップと、
    前記第二のストレージシステムが、
    前記第一のストレージシステムからのリダイレクトを受け付けると、全てのディレクトリ及びファイルを前記第三のストレージシステムに送信するステップと、
    前記第三のストレージシステムが、
    前記第一ストレージシステムからのディレクトリ及びファイルと前記第二ストレージシステムからのディレクトリ及びファイルとを統合するステップとを含み、
    前記第一のファイルシステムを前記第三のファイルシステムと前記第四のファイルシステムとに分割する方法においては、
    前記第三のファイルシステムは、
    前記第四のファイルシステムを指し示す参照子を含み、
    前記管理コンピュータが、
    前記第一のストレージシステムと前記第三及び前記第四のストレージシステムとの間でリモートコピーの関係を設定し、前記第第一のファイルシステムを前記第三及び前記第四のストレージシステムにコピーする際、前記第一のファイルシステムを前記第三のファイルシステムと前記第四のファイルシステムとに分割しつつコピーするように前記第一のストレージシステムに命令するステップと、
    前記第一のストレージシステムが、
    前記管理コンピュータからの命令を受け付けると、前記第四のストレージシステムに送信するディレクトリを除いた全てのディレクトリ及びファイルを前記第三のストレージシステムに送信し、前記第四のファイルシステムを指し示す参照子を前記第三のストレージシステムに送信し、一方で前記第四のストレージシステムに送信するディレクトリを前記第四のストレージシステムに送信することにより、前記第一のファイルシステムを前記第三のファイルシステムと前記第四のファイルシステムとに分割するステップと
    含むことを特徴とする方法。
  8. 請求項に記載の統合する方法において
    前記第一のNASシステムが、
    前記第三のNASシステムへの前記第一のファイルシステムの初期コピーの完了を示すメッセージを前記管理コンピュータに送るステップと、
    前記管理コンピュータが、
    前記第二のファイルシステムのリモートコピーを設定し、前記第二のファイルシステムを指し示す参照子が同一属性のディレクトリに置き換えられたときの該ディレクトリに対応する前記第二のファイルシステムのコピーを前記第三のNASシステムに送ることを前記第二のNASシステムに命令するステップと
    をさらに含むことを特徴とする方法。
  9. 請求項に記載の統合する方法において
    前記第一のNASシステムが、
    前記第二のファイルシステムのリモートコピーを設定し、前記第二のファイルシステムを指し示す参照子が同一属性のディレクトリに置き換えられたときの該ディレクトリに対応する前記第二のファイルシステムのコピーを前記第三のNASシステムに送ることを前記第二のNASシステムに命令するステップをさらに含む
    ことを特徴とする方法。
  10. 請求項に記載の統合する方法において
    前記第二のファイルシステムを指し示す参照子、前記第二のストレージシステムと前記第二のファイルシステムに対応する前記第二のストレージシステム上に保存された一つ以上のディレクトリとファイルのパスを特定する情報を含み、
    請求項7に記載の分割する方法において、
    前記第四のファイルシステムを指し示す参照子は、前記第四のストレージシステムと前記第四のファイルシステムに対応する前記第四のストレージシステム上に保存された一つ以上のディレクトリとファイルのパスを特定する情報を含む
    ことを特徴とする方法。
JP2007010155A 2006-02-14 2007-01-19 クラスタ化nasシステムの間でデータをミラーリングする方法 Expired - Fee Related JP5060789B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/353,078 2006-02-14
US11/353,078 US7461222B2 (en) 2006-02-14 2006-02-14 Method for mirroring data between clustered NAS systems

Publications (2)

Publication Number Publication Date
JP2007220096A JP2007220096A (ja) 2007-08-30
JP5060789B2 true JP5060789B2 (ja) 2012-10-31

Family

ID=38370122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007010155A Expired - Fee Related JP5060789B2 (ja) 2006-02-14 2007-01-19 クラスタ化nasシステムの間でデータをミラーリングする方法

Country Status (2)

Country Link
US (3) US7461222B2 (ja)
JP (1) JP5060789B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7805401B2 (en) * 2003-04-14 2010-09-28 Novell, Inc. Method and apparatus for splitting a replicated volume
US7617216B2 (en) * 2005-09-07 2009-11-10 Emc Corporation Metadata offload for a file server cluster
US7461222B2 (en) * 2006-02-14 2008-12-02 Hitachi, Ltd. Method for mirroring data between clustered NAS systems
US7526668B2 (en) * 2006-06-08 2009-04-28 Hitachi, Ltd. Failover method of remotely-mirrored clustered file servers
JP2008035453A (ja) * 2006-08-01 2008-02-14 Fujitsu Ltd プレゼンス情報管理システム、プレゼンスサーバ装置、ゲートウェイ装置及びクライアント装置
US8312046B1 (en) * 2007-02-28 2012-11-13 Netapp, Inc. System and method for enabling a data container to appear in a plurality of locations in a super-namespace
JP4273527B2 (ja) * 2007-04-13 2009-06-03 コニカミノルタビジネステクノロジーズ株式会社 データ管理装置及び制御プログラム並びに制御方法
US8412896B1 (en) 2007-04-27 2013-04-02 Netapp, Inc. Method and system for transparent restore of junction file types
US8332375B2 (en) 2007-08-29 2012-12-11 Nirvanix, Inc. Method and system for moving requested files from one storage location to another
US9088591B2 (en) * 2008-04-28 2015-07-21 Vmware, Inc. Computer file system with path lookup tables
US8170990B2 (en) * 2008-05-30 2012-05-01 Hitachi, Ltd. Integrated remote replication in hierarchical storage systems
WO2010037117A1 (en) 2008-09-29 2010-04-01 Nirvanix, Inc. Client application program interface for network-attached storage system
US20100082675A1 (en) * 2008-09-30 2010-04-01 Hitachi, Ltd Method and apparatus for enabling wide area global name space
US8244870B2 (en) * 2008-11-18 2012-08-14 Raytheon Company Distributing traffic to multiple GNS devices
JP5735124B2 (ja) * 2011-10-28 2015-06-17 株式会社日立製作所 ストレージシステム、及びオブジェクト管理方法
EP2791831B1 (en) 2012-01-25 2020-03-11 Hitachi, Ltd. Single instantiation method using file clone and file storage system utilizing the same
US9646023B1 (en) * 2013-03-13 2017-05-09 Western Digital Technologies, Inc. Devices and methods configured for automated duplication of network shared folders
US9886216B2 (en) 2014-04-08 2018-02-06 Western Digital Technologies, Inc. Distributed remote data storage access
US20150293699A1 (en) 2014-04-11 2015-10-15 Graham Bromley Network-attached storage enhancement appliance
US20160124990A1 (en) * 2014-11-05 2016-05-05 Netapp, Inc. System and method for determining occurrences of data corruption in a file system under active use

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529944B1 (en) * 1999-01-06 2003-03-04 Emc Corporation Host system for remote control of mass storage volumes using cascading commands
US6356941B1 (en) * 1999-02-22 2002-03-12 Cyber-Ark Software Ltd. Network vaults
US6931410B2 (en) * 2002-01-11 2005-08-16 International Business Machines Corporation Method, apparatus, and program for separate representations of file system locations from referring file systems
JP4266096B2 (ja) * 2002-03-26 2009-05-20 株式会社日立製作所 ファイル保管システムとnasサーバ
US7152069B1 (en) * 2002-10-15 2006-12-19 Network Appliance, Inc. Zero copy writes through use of mbufs
JP4320195B2 (ja) * 2003-03-19 2009-08-26 株式会社日立製作所 ファイルストレージサービスシステム、ファイル管理装置、ファイル管理方法、id指定型nasサーバ、および、ファイル読出方法
JP4575119B2 (ja) * 2004-11-25 2010-11-04 株式会社日立製作所 ストレージシステム
JP4813843B2 (ja) * 2005-08-04 2011-11-09 株式会社日立製作所 ストレージ装置、ディスクキャッシュ制御方法及びディスクキャッシュの容量割当方法
US7865462B2 (en) * 2006-01-03 2011-01-04 Hitachi, Ltd. Apparatus and method for replicating data in file system
US7461222B2 (en) * 2006-02-14 2008-12-02 Hitachi, Ltd. Method for mirroring data between clustered NAS systems

Also Published As

Publication number Publication date
US7865681B2 (en) 2011-01-04
US20070192551A1 (en) 2007-08-16
JP2007220096A (ja) 2007-08-30
US7461222B2 (en) 2008-12-02
US20090049263A1 (en) 2009-02-19
US20110072229A1 (en) 2011-03-24
US8046555B2 (en) 2011-10-25

Similar Documents

Publication Publication Date Title
JP5060789B2 (ja) クラスタ化nasシステムの間でデータをミラーリングする方法
US8176008B2 (en) Apparatus and method for replicating data in file system
JP4451293B2 (ja) 名前空間を共有するクラスタ構成のネットワークストレージシステム及びその制御方法
JP4547264B2 (ja) プロキシ・キャッシュに関する装置および方法
JP4547263B2 (ja) データをネットワーク中で処理する装置および方法
JP5066415B2 (ja) ファイルシステム仮想化のための方法および装置
US7363352B2 (en) Method for accessing distributed file system
JP4776342B2 (ja) ストレージシステムでオブジェクトレベルのスナップショットを生成するシステムと方法
US7836017B1 (en) File replication in a distributed segmented file system
JP4297706B2 (ja) 記憶システム
US9449007B1 (en) Controlling access to XAM metadata
US20080027998A1 (en) Method and apparatus of continuous data protection for NAS
JP4806572B2 (ja) データミラーリングによって参照負荷を分散するストレージシステムにおけるアクセスの制御
US20070088702A1 (en) Intelligent network client for multi-protocol namespace redirection
US7805401B2 (en) Method and apparatus for splitting a replicated volume
US20070038697A1 (en) Multi-protocol namespace server
US20070055703A1 (en) Namespace server using referral protocols
JP2007272874A (ja) クラスタ化ファイルシステムにおいてデータのバックアップを取る方法
US9727588B1 (en) Applying XAM processes
JP4327869B2 (ja) 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法
JP4005102B2 (ja) ゲートウェイ装置
US20080243962A1 (en) Method and apparatus for providing and managing a virtual storage namespace

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120806

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees