JP2007164394A - ストレージ切替システム、ストレージ切替方法、管理サーバ、管理方法および管理プログラム - Google Patents
ストレージ切替システム、ストレージ切替方法、管理サーバ、管理方法および管理プログラム Download PDFInfo
- Publication number
- JP2007164394A JP2007164394A JP2005358520A JP2005358520A JP2007164394A JP 2007164394 A JP2007164394 A JP 2007164394A JP 2005358520 A JP2005358520 A JP 2005358520A JP 2005358520 A JP2005358520 A JP 2005358520A JP 2007164394 A JP2007164394 A JP 2007164394A
- Authority
- JP
- Japan
- Prior art keywords
- computer
- server
- management
- switch
- network connection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2046—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share persistent storage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/2025—Failover techniques using centralised failover control functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/2028—Failover techniques eliminating a faulty processor or activating a spare
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2038—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with a single idle spare processing component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】計算機の障害発生時にもセキュアに引き継ぎを行うことを目的とする。
【解決手段】管理サーバ１０は、現用のサーバ２０の障害を検知した場合、その計算機２０の代替となる他のサーバと当該現用のサーバ２０とのネットワーク接続形態を変更し、変更後のネットワーク接続形態をネットワークＳＷ４０に指示して、ネットワーク接続形態を論理的に設定させ、他のサーバに関し、障害が検知されたサーバ２０に応じたディスクに対するアクセス制御を行うようにディスクアレイ装置５０に指示する。
【選択図】図１
【解決手段】管理サーバ１０は、現用のサーバ２０の障害を検知した場合、その計算機２０の代替となる他のサーバと当該現用のサーバ２０とのネットワーク接続形態を変更し、変更後のネットワーク接続形態をネットワークＳＷ４０に指示して、ネットワーク接続形態を論理的に設定させ、他のサーバに関し、障害が検知されたサーバ２０に応じたディスクに対するアクセス制御を行うようにディスクアレイ装置５０に指示する。
【選択図】図１
Description
本発明は、ネットワーク接続されたストレージ装置のデータセキュリティを確保する技術に関する。
近年、ネットワークブート方式によりコンピュータをブートする技術が確立されている。たとえば、PXE（Preboot eXecution Environment）やEtherBoot、iBootによるネットワークブート方式がある。しかし、これらの方式では、ブートファイルの共有を可能にしているため、セキュリティ上の問題がある。すなわち、計算機が、本来使用できないブートファイルを使用してネットワークブートを行うおそれがある。あるいは、予定外の計算機がブートファイルを使用してネットワークブートを行った結果、本来アクセスできない情報にアクセスし得る。
そこで従来、計算機がアクセスするストレージ装置をＶＬＡＮ（Virtual LAN）技術により切り替える方法が開示されている（例えば、特許文献１参照）。ＶＬＡＮ技術は、仮想的なネットワークセグメントを設定する技術であり、このＶＬＡＮ技術により、ネットワーク装置の物理的な接続形態とは独立にネットワーク接続形態を論理的に変更することが可能となる。ＶＬＡＮ技術によりネットワークセグメントの設定が異なれば、たとえ同じネットワーク装置の隣接ポート間であっても、隣接ポートにつながれた各装置間では互いに通信を行うことができない。
このような方法により切り替えを行えば、本来アクセス権限がない計算機からのストレージ装置へのアクセスを阻止することが可能となり、これによって、ストレージ装置に対するデータのセキュリティを向上させることが可能となる。つまり、セキュアなＩＰプロトコルストレージデバイスを提供することが可能となる。
特開２００３−２０４３４８号公報
このような方法により切り替えを行えば、本来アクセス権限がない計算機からのストレージ装置へのアクセスを阻止することが可能となり、これによって、ストレージ装置に対するデータのセキュリティを向上させることが可能となる。つまり、セキュアなＩＰプロトコルストレージデバイスを提供することが可能となる。
しかしながら、特許文献１の方法では、計算機に障害が発生した場合、その計算機からのアクセスが許可されていたストレージ装置内のデータのセキュリティを確保しつつ、他の計算機に引き継ぐことができないという問題があった。
そこで、本発明は、計算機の障害発生時にもセキュアに引き継ぎを行うことを目的とする。
そこで、本発明は、計算機の障害発生時にもセキュアに引き継ぎを行うことを目的とする。
前記課題を解決するため、本発明では、ストレージ装置と、前記ストレージ装置および計算機の間のネットワーク接続形態を論理的に設定するスイッチと、前記スイッチおよび前記ストレージ装置との通信を行う管理サーバとを備えたストレージ切替システムであって、前記ストレージ装置は、少なくとも１のディスクと、前記計算機に応じ前記ディスクに対するアクセス制御を行うコントローラとを含んで構成され、前記管理サーバは、メモリと処理装置とを含んで構成され、前記メモリは、前記スイッチで設定された前記ネットワーク接続形態を管理する。また、前記管理サーバの制御装置は、現用の前記計算機の障害を検知した場合、その計算機の代替となる他の計算機と当該現用の計算機との前記ネットワーク接続形態を前記メモリを参照して変更し、変更後のネットワーク接続形態を前記スイッチに指示して、前記スイッチに前記ネットワーク接続形態を論理的に設定させ、前記ストレージ装置のコントローラは、前記他の計算機に関し、前記障害が検知された計算機に応じた前記ディスクに対するアクセス制御を行う。
本発明によれば、計算機の障害発生時にもセキュアに引き継ぎを行うことができる。
図１は実施の形態におけるストレージ切替システム１の構成例を示す図である。ストレージ切替システム１は、管理サーバ１０と、複数のサーバ（計算機）２０Ａ、２０Ｂ、２０Ｃ（個々のサーバをサーバ２０ともいう）と、制御ＬＡＮ用ネットワークＳＷ３０と、ＩＰストレージ用ネットワークＳＷ４０と、ディスクアレイ装置（ストレージ装置ともいう）５０とを含んで構成されている。なお、図１では、１台のディスクアレイ装置５０が示されているが、複数のディスクアレイ装置５０をＩＰストレージネットワークＳＷ４０に接続するようにしてもよい。
管理サーバ１０は、ディスクアレイ装置５０により実現されるストレージ装置を切替えるための管理機能を有する計算機である。管理サーバ１０は、サーバ２０を管理するサーバ管理機構（処理装置）１０２と、ストレージ装置を利用したネットワークブートを管理するブート管理機構（処理装置）１０３とを含んで構成される。ブート管理機構１０３は、後記するセキュリティ設定機構１０４とネットワークＳＷ管理機構１０５とを含んでいる。なお、サーバ管理機構１０２やブート管理機構１０３は、メモリに格納された管理プログラムに従って動作する。なお、管理プログラムは、ＣＤ-ＲＯＭ等のコンピュータ読み込み可能な記録媒体から読み込むようにしてもよい。
サーバ２０Ａ、２０Ｂ、２０Ｃは、利用者がアプリケーションプログラムなどを稼動させるための計算機であり、ネットワークブート機能をもつ。サーバ２０Ａ、２０Ｂ、２０Ｃの各々は、ネットワークインタフェースカード（ＮＩＣともいう）１１１、１１２を有する。
ＮＩＣ１１１は、制御ＬＡＮに接続するためのＮＩＣであり、たとえば、イーサネット（登録商標）上のＴＣＰ／ＩＰなど、一般的なネットワークプロトコルに対応可能な機能を備えていればよい。他方、ＮＩＣ１１２は、前記した通常のネットワークプロトコルに対応できる機能のほか、ネットワークブートを行うブート機能をもつ。
ＮＩＣ１１１は、制御ＬＡＮに接続するためのＮＩＣであり、たとえば、イーサネット（登録商標）上のＴＣＰ／ＩＰなど、一般的なネットワークプロトコルに対応可能な機能を備えていればよい。他方、ＮＩＣ１１２は、前記した通常のネットワークプロトコルに対応できる機能のほか、ネットワークブートを行うブート機能をもつ。
また、サーバ２０Ａ、２０Ｂ、２０Ｃは、障害を検知するＢＭＣ（Baseboard Management Controller）１１３の機能をもつ。この機能により、サーバ２０Ａ、２０Ｂ、２０Ｃが正常に動作していない場合、当該サーバの異常が管理サーバ１０に通知される。
制御ＬＡＮ用ネットワークＳＷ３０およびＩＰストレージ用ネットワークＳＷ４０は、いずれもネットワークの交換機能をもつ。制御ＬＡＮ用ネットワークＳＷ３０は、前記した一般的なネットワークプロトコルに対応可能な構成であればよい。
他方、ＩＰストレージ用ネットワークＳＷ４０は、一般的なネットワークプロトコルのほか、ＶＬＡＮ（Virtual LAN）に対応するためのネットワークＳＷ設定機構１１４をもつ。ネットワークＳＷ設定機構１１４は、ＶＬＡＮなどのネットワークに関する設定を行う機能をもつ。この機能により、ＩＰストレージ用ネットワークＳＷ４０は、サーバ２０がアクセス可能なディスクアレイ装置５０を制限し、セキュリティを確保する。
他方、ＩＰストレージ用ネットワークＳＷ４０は、一般的なネットワークプロトコルのほか、ＶＬＡＮ（Virtual LAN）に対応するためのネットワークＳＷ設定機構１１４をもつ。ネットワークＳＷ設定機構１１４は、ＶＬＡＮなどのネットワークに関する設定を行う機能をもつ。この機能により、ＩＰストレージ用ネットワークＳＷ４０は、サーバ２０がアクセス可能なディスクアレイ装置５０を制限し、セキュリティを確保する。
ディスクアレイ装置５０は、複数の物理ディスク装置１１０とディスクアレイ管理機構（コントローラ）１１５とを含んで構成されている。本実施の形態では、物理ディスク装置１１０は、ディスクアレイ管理機構１１５の管理機能によって、図示しない論理ディスク（仮想ディスクともいう）としてもアクセスされる構成としているが、このような構成に限られない。たとえば、ディスクアレイ装置５０は、物理ディスク装置１１０への直接的なアクセスを行うように構成してもよい。
ディスクアレイ管理機構１１５は、複数の物理ディスク装置１１０を含むディスクアレイを構成し、一または複数の物理ディスクから形成された論理ディスクを有する。論理ディスクは、例えば、ＲＡＩＤ（Redundant Arrays of Independent Disks）グループを論理的に分割して作られた各領域を意味する。
ディスクアレイ管理機構１１５は、セキュリティ機構１１６を含み、セキュリティ管理機構１１６は、アクセスコントロール機構１１７を含む。セキュリティ機構１１６は、アクセスコントロール機構１１７を用い、論理ディスクへのアクセスを制御している。このように構成することにより、論理ディスクに対する不正なアクセスあるいはアクセスミスがあった場合でも、そのアクセスを拒否することが可能となる。
ディスクアレイ管理機構１１５は、複数の物理ディスク装置１１０を含むディスクアレイを構成し、一または複数の物理ディスクから形成された論理ディスクを有する。論理ディスクは、例えば、ＲＡＩＤ（Redundant Arrays of Independent Disks）グループを論理的に分割して作られた各領域を意味する。
ディスクアレイ管理機構１１５は、セキュリティ機構１１６を含み、セキュリティ管理機構１１６は、アクセスコントロール機構１１７を含む。セキュリティ機構１１６は、アクセスコントロール機構１１７を用い、論理ディスクへのアクセスを制御している。このように構成することにより、論理ディスクに対する不正なアクセスあるいはアクセスミスがあった場合でも、そのアクセスを拒否することが可能となる。
サーバ２０は、図２に示すように、メモリ２０１と、プロセッサ２０２と、ＮＩＣ１１１、１１２と、ＢＭＣ１１３とを含んで構成されている。メモリ２０１は、プロセッサ２０２に利用可能な半導体メモリであればよく、特に種類や規格についての制約はない。メモリ２０１には、サーバ制御機構２０３やエージェント２０４等の各プログラムが格納されている。
サーバ制御機構２０３は、管理サーバ１０のサーバ管理機構１０２からの指示に従って、サーバ２０の動作を制御する。エージェント２０４は、管理サーバ１０のブート管理機構１０３から送られてきたプログラムであり、ブートに関する情報を管理サーバ１０との間のやり取りを通じて、サーバ２０のブート動作を制御する。
サーバ制御機構２０３は、管理サーバ１０のサーバ管理機構１０２からの指示に従って、サーバ２０の動作を制御する。エージェント２０４は、管理サーバ１０のブート管理機構１０３から送られてきたプログラムであり、ブートに関する情報を管理サーバ１０との間のやり取りを通じて、サーバ２０のブート動作を制御する。
プロセッサ２０２は、所定の演算機能を備えた演算処理装置であればよく、特に種類や規格についての制約はない。
ＮＩＣ１１１は、通信機構２０５を含んで構成され、この通信機構２０５は、たとえばＴＣＰ／ＩＰなど、一般的な通信プロトコルで通信を行う機能をもつ。ＮＩＣ１１２は、前記した通信機構２０５の通信機能のほか、ブート機構２０６を含んでいる。ブート機構２０６は、ＰＸＥ（Preboot eXecution Environment）方式でネットワークブートを行う機能をもつ。なお、ネットワークブートは、PXE方式に限らず、Eterboot方式やiboot方式などの方式で実現するようにしてもよい。
ＢＭＣ１１３は、通信機構２０５を含んで構成され、サーバ２０に障害が生じたときに、通信機構２０５を用いて障害の発生を管理サーバ１０に通知する。
ＮＩＣ１１１は、通信機構２０５を含んで構成され、この通信機構２０５は、たとえばＴＣＰ／ＩＰなど、一般的な通信プロトコルで通信を行う機能をもつ。ＮＩＣ１１２は、前記した通信機構２０５の通信機能のほか、ブート機構２０６を含んでいる。ブート機構２０６は、ＰＸＥ（Preboot eXecution Environment）方式でネットワークブートを行う機能をもつ。なお、ネットワークブートは、PXE方式に限らず、Eterboot方式やiboot方式などの方式で実現するようにしてもよい。
ＢＭＣ１１３は、通信機構２０５を含んで構成され、サーバ２０に障害が生じたときに、通信機構２０５を用いて障害の発生を管理サーバ１０に通知する。
次に、管理サーバ１０のサーバ管理機構１０２の構成例を図３に基づいて説明する。本実施の形態においては、サーバ管理機構１０２は、管理サーバ１０に含まれることとしているが、管理サーバ１０以外の他の計算機に含むようにしてもよい。
図３に示すように、サーバ管理機構１０２は、サーバ管理テーブル（メモリ）３０１と、障害回復機構３０２と、エージェント管理機構３０３とを含んで構成されている。サーバ管理テーブル３０１は、各サーバの稼動状態などを管理するテーブルであり、後記する図５で詳述する。障害回復機構３０２は、ＢＭＣ１１３からの障害を示す通知を受け、サーバ２０の障害を回復する。本実施の形態では、たとえば、障害回復機構３０２は、サーバ２０をリセットするようにしてもよい。
図３に示すように、サーバ管理機構１０２は、サーバ管理テーブル（メモリ）３０１と、障害回復機構３０２と、エージェント管理機構３０３とを含んで構成されている。サーバ管理テーブル３０１は、各サーバの稼動状態などを管理するテーブルであり、後記する図５で詳述する。障害回復機構３０２は、ＢＭＣ１１３からの障害を示す通知を受け、サーバ２０の障害を回復する。本実施の形態では、たとえば、障害回復機構３０２は、サーバ２０をリセットするようにしてもよい。
次に、管理サーバ１０のブート管理機構１０３の構成例を図４に基づいて説明する。図４に示すブート管理機構１０３は、セキュリティ設定機構１０４と、ネットワークＳＷ管理機構１０５と、ＤＨＣＰ（Dynamic Host Configuration Protocol）／ＴＦＴＰ（Trivial File Transfer Protocol）サーバ１０６とを含んで構成されている。
ネットワークＳＷ管理機構１０５は、ネットワークＳＷリモート設定機構３０６およびネットワーク管理テーブル（メモリ）３０７を含んで構成され、ブート管理のうちのネットワークＳＷの設定や管理に関わる操作を実行する。
ネットワークＳＷリモート設定機構３０６は、ＩＰストレージ用ネットワークＳＷ４０に対してネットワーク制御用ＬＡＮに対するＶＬＡＮなどの設定を行う機能をもつ。
なお、ネットワークＳＷリモート設定機構３０６は、前記したＩＰストレージ用ネットワークＳＷ４０のネットワークＳＷ設定機構１１４をネットワーク経由で呼び出すものであり、ネットワークＳＷ設定機構１１４と同様の設定機能をもつ。
ネットワーク管理テーブル３０７は、個々のサーバ２０がどのＶＬＡＮに属するかなどを管理するためのテーブルであり、後記する図６で詳述する。
ネットワークＳＷ管理機構１０５は、ネットワークＳＷリモート設定機構３０６およびネットワーク管理テーブル（メモリ）３０７を含んで構成され、ブート管理のうちのネットワークＳＷの設定や管理に関わる操作を実行する。
ネットワークＳＷリモート設定機構３０６は、ＩＰストレージ用ネットワークＳＷ４０に対してネットワーク制御用ＬＡＮに対するＶＬＡＮなどの設定を行う機能をもつ。
なお、ネットワークＳＷリモート設定機構３０６は、前記したＩＰストレージ用ネットワークＳＷ４０のネットワークＳＷ設定機構１１４をネットワーク経由で呼び出すものであり、ネットワークＳＷ設定機構１１４と同様の設定機能をもつ。
ネットワーク管理テーブル３０７は、個々のサーバ２０がどのＶＬＡＮに属するかなどを管理するためのテーブルであり、後記する図６で詳述する。
セキュリティ設定機構１０４は、ネットワーク経由でディスクアレイ装置５０のセキュリティ機構１１６（図１参照）を呼び出し、セキュリティに関する項目を設定する。たとえば、アクセスコントロール機構１１７によってアクセスコントロールテーブル１１８（図８参照）の内容を設定することなどにより、ディスクアレイ装置５０へのアクセス制限を可能にする。
ＤＨＣＰ／ＴＦＴＰサーバ１０６は、ＵＮＩＸ（登録商標）が稼動する計算機などに装備される公知のＤＨＣＰサーバおよびＴＦＴＰサーバと同等の機能をもつ。ＤＨＣＰはDynamic Host Configuration Protocolの略、ＴＦＴＰはTrivial File Transfer Protocolの略である。
ＤＨＣＰサーバは、クライアントの計算機からの要求に応じて、そのクライアント計算機で用いるべきＩＰアドレスを割当てる機能をもつ。ＴＦＴＰサーバは、ネットワークブートなどを行うために要求されたファイルをユーザ名やパスワード認証無しに送り出す機能をもつ。なお、ＴＦＴＰサーバは、予め設定されたＩＰアドレスからの要求にのみ応答するようになっている場合もあるが、要求元のＩＰアドレスをチェックせずに応答する場合もある。
また、ＤＨＣＰ／ＴＦＴＰサーバ１０６は、サーバ２０がブートするときに用いるエージェント２０４を配布する。
ＤＨＣＰサーバは、クライアントの計算機からの要求に応じて、そのクライアント計算機で用いるべきＩＰアドレスを割当てる機能をもつ。ＴＦＴＰサーバは、ネットワークブートなどを行うために要求されたファイルをユーザ名やパスワード認証無しに送り出す機能をもつ。なお、ＴＦＴＰサーバは、予め設定されたＩＰアドレスからの要求にのみ応答するようになっている場合もあるが、要求元のＩＰアドレスをチェックせずに応答する場合もある。
また、ＤＨＣＰ／ＴＦＴＰサーバ１０６は、サーバ２０がブートするときに用いるエージェント２０４を配布する。
次に、サーバ管理テーブル３０１（図３参照）の構成例を図５に基づいて詳述する。図５に示すように、サーバ管理テーブル３０１は、サーバ識別子４０１、プロセッサ種別４０２、メモリ容量４０３、ブートディスク４０４、ＶＬＡＮＩＤ４０５、ＩＰアドレス４０６および状態４０７の各項目を含んで構成されている。サーバ識別子４０１は、サーバ２０を識別するための情報であり、これを用いることにより、個々のサーバ２０を一意に識別することが可能となる。
プロセッサ種別４０２は、サーバ２０が備えているプロセッサ２０２の種別を示す項目である。たとえば、プロセッサ種別４０２で指定された値（たとえばサーバ１など）が同じプロセッサは、同じブートディスクからブートすることができることを意味する。このため、個々のサーバ２０について、どのブートディスクからブートすることが可能かを判断することが可能となる。ただし、プロセッサ種別４０２で指定された値が異なる場合であっても、プロセッサの種類などによっては、異なるプロセッサ同士でも同じブートディスクを利用してブートすることが可能なこともある。
メモリ容量４０３は、サーバ２０のメモリ容量を示す項目である。稼動中のサーバと、そのメモリ容量４０３が同じかあるいは近似するサーバは、その稼動中のサーバの予備として、候補にあげられることになる。
ブートディスク４０４は、各サーバが用いるブートディスクのディスク番号を示す項目である。ブートディスクのディスク番号が決まっている場合、ブートディスク４０４の項目には、そのディスク番号（たとえば、ＬＵ１）を保持している。この項目を用いることによって、ブートに用いるブートディスクのディスク番号が固定されている場合でも、そのディスク番号をサーバ管理テーブル３０１で管理することが可能となり、ネットワークブートを行うことが可能となる。
なお、ブートディスク４０４の項目には、物理ディスク装置や論理ディスク装置のディスク番号を格納するようにしてもよい。
なお、ブートディスク４０４の項目には、物理ディスク装置や論理ディスク装置のディスク番号を格納するようにしてもよい。
ＶＬＡＮ ＩＤ４０５は、サーバ２０がアクセス可能なＶＬＡＮのＩＤを示す項目である。稼動中や停止状態のサーバには、ＶＬＡＮのＩＤ（たとえば、ＶＬＡＮ１など）が割当てられるが、予備や障害の状態のサーバには、デフォルトＶＬＡＮが割当てられる。
ＩＰアドレス４０６は、サーバ２０が有する２つのＮＩＣ１１１、１１２のうち、ＩＰストレージ用ネットワークにアクセスするためのＮＩＣ１１２に割当てられているＩＰアドレスを記録している項目である。ＮＩＣ１１２のＩＰアドレスは、ＤＨＣＰ／ＴＦＴＰサーバ２０４によって割当てられたものであり、状況が異なれば、同じサーバでも異なるＩＰアドレスが割当てられる可能性がある。
状態４０７は、サーバ２０がどのような状態にあるかを示す項目である。サーバ２０の状態として、たとえば、稼動中、停止、予備および障害の４つがある。このうち、稼動中は、サーバ２０が利用可能な状態で正常に稼動している状態を表す。
停止は、サーバ２０が停止している正常状態を表す。もし、この状態のときに、システム管理者によって、当該サーバ２０のブート処理が実行されれば、そのサーバ２０は稼動し、停止から稼動中の状態に移行することになる。
予備は、当該サーバ２０それ自体は正常な待機中の状態を表す。この予備状態のときは、停止の場合と異なり、システム管理者によって、そのまま即時にブート処理が実行できない。このため、予備から稼働中の状態に即時に移行させることができない。予備の状態にあるサーバ２０の場合、まず、そのサーバ２０に関して、サーバ管理テーブル３０１（図５参照）のブートディスク４０４およびＶＬＡＮＩＤ４０５の項目を障害が発生したサーバと同じ値に設定する必要があるからである。
障害は、サーバ２０に障害がある状態を表す。たとえば、プロセッサの高温度などが障害としてあげられる。この障害の状態では、障害状態にあるサーバを予備とすることができないので、本実施の形態では、予備と障害の２つの状態を区別して管理している。
停止は、サーバ２０が停止している正常状態を表す。もし、この状態のときに、システム管理者によって、当該サーバ２０のブート処理が実行されれば、そのサーバ２０は稼動し、停止から稼動中の状態に移行することになる。
予備は、当該サーバ２０それ自体は正常な待機中の状態を表す。この予備状態のときは、停止の場合と異なり、システム管理者によって、そのまま即時にブート処理が実行できない。このため、予備から稼働中の状態に即時に移行させることができない。予備の状態にあるサーバ２０の場合、まず、そのサーバ２０に関して、サーバ管理テーブル３０１（図５参照）のブートディスク４０４およびＶＬＡＮＩＤ４０５の項目を障害が発生したサーバと同じ値に設定する必要があるからである。
障害は、サーバ２０に障害がある状態を表す。たとえば、プロセッサの高温度などが障害としてあげられる。この障害の状態では、障害状態にあるサーバを予備とすることができないので、本実施の形態では、予備と障害の２つの状態を区別して管理している。
次に、ネットワーク管理テーブル３０７（図４参照）の構成例を図６に基づいて詳述する。図６に示すように、ネットワーク管理テーブル３０７は、サーバ識別子４１１、ＳＷ識別子４１２、ポート番号４１３、ＶＬＡＮＩＤ４１４およびｔａｇＶＬＡＮ４１５の項目を含む。サーバ識別子４１１は、サーバ２０を識別するための情報であり、ＳＷ識別子４１２は、ＩＰストレージ用ネットワークＳＷ４０を識別するための情報である。このように、ネットワーク管理テーブル３０７では、管理サーバ１０とサーバ２０とＩＰストレージ用ネットワークＳＷ４０を含むネットワーク接続形態を管理する。
ポート番号４１３は、ＩＰストレージ用ネットワークＳＷ４０のどのポート（ネットワークポート）にサーバ２０が接続されているかを記録する項目である。ＶＬＡＮＩＤ４１４は、それぞれのサーバ２０が属するＶＬＡＮのＩＤを記録する項目である。なお、サーバ２０が属するＶＬＡＮのＩＤは１つとは限らない。
ｔａｇ ＶＬＡＮ４１５は、管理サーバ１０またはサーバ２０がｔａｇ ＶＬＡＮに対応しているか否かを示す項目である。この項目には、複数のＶＬＡＮを同時に扱う機能をもつｔａｇＶＬＡＮの場合には「○」、他方、その機能をもたない場合には「×」を記録している。なお、本実施の形態においては、管理サーバ１０のみがｔａｇＶＬＡＮに対応可能な構成としているが、ディスクアレイ装置５０が、複数のサーバ２０にアクセス共有されるように構成した場合には、ディスクアレイ装置５０もｔａｇ ＶＬＡＮに対応可能な構成とし、また、サーバ２０もｔａｇ ＶＬＡＮに対応する構成としてもよい。
ｔａｇ ＶＬＡＮ４１５は、管理サーバ１０またはサーバ２０がｔａｇ ＶＬＡＮに対応しているか否かを示す項目である。この項目には、複数のＶＬＡＮを同時に扱う機能をもつｔａｇＶＬＡＮの場合には「○」、他方、その機能をもたない場合には「×」を記録している。なお、本実施の形態においては、管理サーバ１０のみがｔａｇＶＬＡＮに対応可能な構成としているが、ディスクアレイ装置５０が、複数のサーバ２０にアクセス共有されるように構成した場合には、ディスクアレイ装置５０もｔａｇ ＶＬＡＮに対応可能な構成とし、また、サーバ２０もｔａｇ ＶＬＡＮに対応する構成としてもよい。
次に、ＩＰストレージ用ネットワークＳＷ４０の設定例を図７に基づいて説明する。この設定例では、ＩＰストレージ用ネットワークＳＷ４０は、ネットワークＳＷ管理機構１０５のネットワークＳＷリモート設定機構３０６によって、ＶＬＡＮの設定などを行う機能をもつ。ＶＬＡＮの設定などを行う際、ネットワークＳＷリモート設定機構３０６は、ネットワーク管理テーブル３０７（図６参照）を参照して、ＳＷ識別子４１２、ポート番号４１３およびＶＬＡＮＩＤ４１４の各々で指定された値に従って、ポートに応じたＶＬＡＮの設定を行う。このような設定は、ネットワーク管理テーブル３０７の内容が更新されるたびに行われる。
具体的には、図７では、ポートＰ５が管理サーバ１０に、ポートＰ１がサーバ２０Ａに、ポートＰ３がサーバ２０Ｃにそれぞれつながれている。また、ＩＰストレージ用ネットワークＳＷ４０のポートＰ１にはＶＬＡＮ１が設定され、ポートＰ３にはＶＬＡＮ２が設定されている。さらに、管理サーバ１０がつながれているポートＰ５には、ＶＬＡＮ１、ＶＬＡＮ２およびＶＬＡＮ３が設定されている。これにより、図７に示すＶＬＡＮ１とＶＬＡＮ２とが設定される。
このとき、図６のネットワーク管理テーブル３０７では、サーバ２０Ａの識別子（サーバ１）がＶＬＡＮ１に属し、サーバ２０Ｃの識別子（サーバ３）がＶＬＡＮ２に属している。また、ポート番号４１３とＶＬＡＮ ＩＤ４１４との関係において、ポートＰ１のポート番号（１）とＶＬＡＮ１との対応関係が記録され、また、ポートＰ３のポート番号（３）とＶＬＡＮ２との対応関係が記録されている。さらに、ポートＰ５のポート番号（５）とＶＬＡＮ１、ＶＬＡＮ２、ＶＬＡＮ３との対応関係が記録されている。
このとき、図６のネットワーク管理テーブル３０７では、サーバ２０Ａの識別子（サーバ１）がＶＬＡＮ１に属し、サーバ２０Ｃの識別子（サーバ３）がＶＬＡＮ２に属している。また、ポート番号４１３とＶＬＡＮ ＩＤ４１４との関係において、ポートＰ１のポート番号（１）とＶＬＡＮ１との対応関係が記録され、また、ポートＰ３のポート番号（３）とＶＬＡＮ２との対応関係が記録されている。さらに、ポートＰ５のポート番号（５）とＶＬＡＮ１、ＶＬＡＮ２、ＶＬＡＮ３との対応関係が記録されている。
次に、セキュリティ機構１１６（図１参照）の構成例を図８に基づいて説明する。この構成例では、セキュリティ機構１１６は、アクセスコントロール機構１１７およびアクセスコントロールテーブル（メモリ）１１８を含んで構成されている。アクセスコントロール機構１１７は、アクセスコントロールテーブル１１８を参照して、サーバ２０からのアクセスが許可されたものか否かを判定し、許可されたものではない場合は、アクセスを拒否する。
アクセスコントロールテーブル１１８は、サーバ２０がどのディスク装置をアクセスするかを管理するためのものである。具体的には、アクセスコントロールテーブル１１８は、サーバ識別子５０１、仮想ディスク番号５０２および物理ディスク番号５０３の各項目を含んで構成されている。
サーバ識別子５０１には、サーバ２０のＩＰアドレスをサーバの識別子として記録する。サーバ２０のＩＰアドレスを当該サーバの識別子として記録すれば、その識別子を基に仮想ディスク装置へのアクセス制御をアクセスコントロール機構１１７で行うことが可能となる。
なお、サーバ２０のＩＰアドレスは、複数のセグメントに割り当てられることもある。
アクセスコントロールテーブル１１８は、サーバ２０がどのディスク装置をアクセスするかを管理するためのものである。具体的には、アクセスコントロールテーブル１１８は、サーバ識別子５０１、仮想ディスク番号５０２および物理ディスク番号５０３の各項目を含んで構成されている。
サーバ識別子５０１には、サーバ２０のＩＰアドレスをサーバの識別子として記録する。サーバ２０のＩＰアドレスを当該サーバの識別子として記録すれば、その識別子を基に仮想ディスク装置へのアクセス制御をアクセスコントロール機構１１７で行うことが可能となる。
なお、サーバ２０のＩＰアドレスは、複数のセグメントに割り当てられることもある。
仮想ディスク番号５０２と物理ディスク番号５０３の各項目は、サーバ２０からのアクセスがあった場合の仮想ディスクと物理ディスクの対応関係を管理するために用いられる。なお、仮想ディスク番号５０２で指定された値は、サーバ２０からのアクセスを許可するディスク番号であり、ディスクアレイ装置５０の中には、このディスク番号に対応する物理ディスク装置１１０は存在しない。それに対して、物理ディスク番号５０３で指定された値は、すべてディスクアレイ装置５０の中の物理ディスク装置１１０に対応している。
これらサーバ識別子５０１、仮想ディスク番号５０２および物理ディスク番号５０３の各々で指定された値を用いれば、サーバ２０ごとに、アクセスされる仮想ディスクのディスク番号と、実際にディスクアレイ装置５０に存在する物理ディスク装置１１０との対応関係を設定することが可能となる。
これらサーバ識別子５０１、仮想ディスク番号５０２および物理ディスク番号５０３の各々で指定された値を用いれば、サーバ２０ごとに、アクセスされる仮想ディスクのディスク番号と、実際にディスクアレイ装置５０に存在する物理ディスク装置１１０との対応関係を設定することが可能となる。
たとえば、サーバ２０がＬＵ０からしかブートできないように設定されている場合などは、物理ディスク番号にＬＵ０がない限り、サーバ２０は、ネットワークブートができないことになる。しかし、アクセスコントロール機構１１７が、仮想ディスク番号５０２および物理ディスク番号５０３の項目によって示されている対応関係を用いて、仮想ディスク番号５０２から物理ディスク番号５０３への変換を行って物理ディスク装置１１０へのアクセスを行えば、実際にそのディスク番号に対応する物理ディスク装置がなくても、サーバ２０はブートすることが可能となる。
次に、サーバ２０とディスクアレイ装置５０との間におけるアクセス方法について図９に基づいて説明する。図９に示すように、サーバ２０Ａ、２０Ｂは、ＩＰストレージ用ネットワークＳＷ４０を介して、ディスクアレイ装置５０のコマンド処理部１０９にアクセスする。コマンド処理部１０９は、たとえばｉＳＣＳＩ(Internet Small Computer System Interface)のコマンドを処理し、物理ディスク装置１１０に対するデータの読み書きを行う。
また、コマンド処理部１０９は、サーバ２０からのアクセスに関する情報をセキュリティ機構１１６に渡す。セキュリティ機構１１６では、前記したように、アクセスコントロール機構１１７が、アクセスコントロールテーブル１１８を参照して、サーバ２０からのアクセスが許可されたものか否かを判定し、判定の結果、許可されたものではない場合、アクセスを拒否することとなる。
また、コマンド処理部１０９は、サーバ２０からのアクセスに関する情報をセキュリティ機構１１６に渡す。セキュリティ機構１１６では、前記したように、アクセスコントロール機構１１７が、アクセスコントロールテーブル１１８を参照して、サーバ２０からのアクセスが許可されたものか否かを判定し、判定の結果、許可されたものではない場合、アクセスを拒否することとなる。
次に、複数のサーバ２０がディスクアレイ装置５０の物理ディスク装置１１０を用いる方法を図１０に基づいて説明する。図１０において、サーバ１（サーバ２０Ａを指す。以下同じ）およびサーバ２（サーバ２０Ｂを指す。以下同じ）は、それぞれ別のネットワークセグメント、すなわちＶＬＡＮに属し、互いにＩＰストレージ用ネットワーク内では直接やり取りできないようになっている。
サーバ１およびサーバ２は、ＩＰストレージ用ネットワークＳＷ４０を経由して、ディスクアレイ装置５０にアクセスする。このような場合に、たとえば、サーバ１が、仮想ディスク番号がＬＵ０、ＬＵ１、ＬＵ２の論理ディスク装置６１２、６１３、６１４に対応する仮想ディスク装置６１０にアクセスする場合、アクセスコントロール機構１１７による仮想ディスク番号から物理ディスク番号への変換処理により、物理ディスク番号がＬＵ１０、ＬＵ１１、ＬＵ１７の物理ディスク装置６１７、６１８、６１９にアクセスすることとなる。
サーバ１およびサーバ２は、ＩＰストレージ用ネットワークＳＷ４０を経由して、ディスクアレイ装置５０にアクセスする。このような場合に、たとえば、サーバ１が、仮想ディスク番号がＬＵ０、ＬＵ１、ＬＵ２の論理ディスク装置６１２、６１３、６１４に対応する仮想ディスク装置６１０にアクセスする場合、アクセスコントロール機構１１７による仮想ディスク番号から物理ディスク番号への変換処理により、物理ディスク番号がＬＵ１０、ＬＵ１１、ＬＵ１７の物理ディスク装置６１７、６１８、６１９にアクセスすることとなる。
同様に、サーバ２は、ＩＰストレージ用ネットワークＳＷ４０を経由して、ディスクアレイ装置５０にアクセスする。このような場合に、たとえば、サーバ２が、仮想ディスク番号がＬＵ０およびＬＵ１のディスク装置６１５、６１６に対応する仮想ディスク装置６１１にアクセスする場合、アクセスコントロール機構１１７による仮想ディスク番号から物理ディスク番号への変換処理により、物理ディスク番号がＬＵ２１、ＬＵ２２の物理ディスク装置６２０、６２１にアクセスすることとなる。
次に、サーバ２０Ａに障害が発生したときのサーバ２０の切替え例を図１１および図１２に基づいて説明する。
まず、図１１を参照して障害発生前のＩＰストレージ用ネットワークＳＷ４０などの状態を説明する。この状態では、現用のサーバ２０Ａおよび予備のサーバ２０ＤがＩＰストレージ用ネットワークＳＷ４０に接続されている。そして、現用のサーバ２０ＡがＶＬＡＮ１に設定されている。つまり、サーバ２０Ａは、ディスクアレイ装置５０に有する物理ディスク装置１１０（ブートディスクに相当するもの）にアクセス可能な状態になっている。
そして、ネットワークＳＷ管理機構１０５に含まれているネットワークＳＷ設定機構３０６が、ネットワーク管理テーブル３０７を参照して、ＩＰストレージ用ネットワークＳＷ４０の設定を変更することが可能な状態になっている。
まず、図１１を参照して障害発生前のＩＰストレージ用ネットワークＳＷ４０などの状態を説明する。この状態では、現用のサーバ２０Ａおよび予備のサーバ２０ＤがＩＰストレージ用ネットワークＳＷ４０に接続されている。そして、現用のサーバ２０ＡがＶＬＡＮ１に設定されている。つまり、サーバ２０Ａは、ディスクアレイ装置５０に有する物理ディスク装置１１０（ブートディスクに相当するもの）にアクセス可能な状態になっている。
そして、ネットワークＳＷ管理機構１０５に含まれているネットワークＳＷ設定機構３０６が、ネットワーク管理テーブル３０７を参照して、ＩＰストレージ用ネットワークＳＷ４０の設定を変更することが可能な状態になっている。
続いて、図１２を参照して障害発生後のＩＰストレージ用ネットワークＳＷ４０などの状態を説明する。この状態を説明する前に、現用のサーバ２０Ａに障害が発生した場合の動作について説明しておく。
この場合、まず、サーバ２０ＡのＢＭＣ１１３（図１参照）が、管理サーバ１０のブート管理機構１０３（図１参照）に対し、当該サーバ２０Ａの異常を示す通知を発し、管理サーバ１０のサーバ管理機構１０２（図１参照）がサーバ管理テーブル３０１（図５参照）の内容を変更する。たとえば、障害が発生したサーバ２０Ａのサーバ識別子（サーバ１に相当）に対応する状態４０７に障害を記録する。
そして、ネットワークＳＷリモート設定機構３０６が、変更されたサーバ管理テーブル３０１を参照して、障害が発生したサーバ２０ＡをＶＬＡＮ１から切り離し、新たに現用として用いるサーバ２０ＤをＶＬＡＮ１に追加する。たとえば、ネットワーク管理テーブル３０７のサーバ識別子とＶＬＡＮ ＩＤ４１４とに、対応する値を削除したり追加する。
これにより、ブートディスクとして用いられる物理ディスク装置１１０は、ＶＬＡＮ１に接続されたサーバ２０Ｄのみからアクセスが許可されることになり、サーバ２０Ａからサーバ２０Ｄへの引継ぎを行う場合においても、セキュリティが保たれることとなる。
なお、その後、サーバ２０Ｄは、ネットワークブートして、現用のサーバとして利用可能な状態になる。
この場合、まず、サーバ２０ＡのＢＭＣ１１３（図１参照）が、管理サーバ１０のブート管理機構１０３（図１参照）に対し、当該サーバ２０Ａの異常を示す通知を発し、管理サーバ１０のサーバ管理機構１０２（図１参照）がサーバ管理テーブル３０１（図５参照）の内容を変更する。たとえば、障害が発生したサーバ２０Ａのサーバ識別子（サーバ１に相当）に対応する状態４０７に障害を記録する。
そして、ネットワークＳＷリモート設定機構３０６が、変更されたサーバ管理テーブル３０１を参照して、障害が発生したサーバ２０ＡをＶＬＡＮ１から切り離し、新たに現用として用いるサーバ２０ＤをＶＬＡＮ１に追加する。たとえば、ネットワーク管理テーブル３０７のサーバ識別子とＶＬＡＮ ＩＤ４１４とに、対応する値を削除したり追加する。
これにより、ブートディスクとして用いられる物理ディスク装置１１０は、ＶＬＡＮ１に接続されたサーバ２０Ｄのみからアクセスが許可されることになり、サーバ２０Ａからサーバ２０Ｄへの引継ぎを行う場合においても、セキュリティが保たれることとなる。
なお、その後、サーバ２０Ｄは、ネットワークブートして、現用のサーバとして利用可能な状態になる。
次に、障害が発生したサーバの回復処理に関する処理手順を図１３に基づいて説明する。
ステップＳ５では、管理サーバ１０が、障害が発生したサーバブレード（サーバ２０ともいう）のＩＰアドレスを取得してそのサーバブレードの障害を検知すると、管理サーバ１０では、障害回復機構３０２が、障害が発生したサーバブレードに対し、リセットの指示を出す。サーバブレードは、ユニット単位でサーバを装着したもので、単一のＯＳの管理下で動作する複数のＣＰＵを装備している。なお、サーバは、ブレードであってもよいし、スタンドアロンであってもよい。
ステップＳ１０では、サーバブレードのサーバ制御機構２０３（図２参照）が、障害回復機構３０２による指示により、サーバブレードをリセットして立ち上がりはじめ、ＮＩＣ１１２のブート機構２０６（図２参照）が管理サーバ１０に対してＤＨＣＰの要求を送る。
ステップＳ１５では、管理サーバ１０のＤＨＣＰ／ＴＦＴＰサーバ１０６は、要求があったサーバブレードについてのＩＰアドレスを割り当てる。割り当てられたＩＰアドレスは、サーバブレードのＮＩＣ１１２に含まれているブート機構２０６に送られる。
ステップＳ５では、管理サーバ１０が、障害が発生したサーバブレード（サーバ２０ともいう）のＩＰアドレスを取得してそのサーバブレードの障害を検知すると、管理サーバ１０では、障害回復機構３０２が、障害が発生したサーバブレードに対し、リセットの指示を出す。サーバブレードは、ユニット単位でサーバを装着したもので、単一のＯＳの管理下で動作する複数のＣＰＵを装備している。なお、サーバは、ブレードであってもよいし、スタンドアロンであってもよい。
ステップＳ１０では、サーバブレードのサーバ制御機構２０３（図２参照）が、障害回復機構３０２による指示により、サーバブレードをリセットして立ち上がりはじめ、ＮＩＣ１１２のブート機構２０６（図２参照）が管理サーバ１０に対してＤＨＣＰの要求を送る。
ステップＳ１５では、管理サーバ１０のＤＨＣＰ／ＴＦＴＰサーバ１０６は、要求があったサーバブレードについてのＩＰアドレスを割り当てる。割り当てられたＩＰアドレスは、サーバブレードのＮＩＣ１１２に含まれているブート機構２０６に送られる。
ステップＳ２０では、サーバブレードのブート機構２０６は、管理サーバ１０の障害回復機構３０２に対してＡｇｔ（エージェントを意味する。以下同じ）２０４の転送を要求する。この要求は、たとえば、ＤＨＣＰのオプションを与えることで、ＰＸＥのブートイメージ転送の仕掛けを呼び出すようにしてもよい。
ステップＳ２５では、その要求に応答し、管理サーバ１０の障害回復機構３０２が、サーバブレードのサーバ制御機構２０３に対してＡｇｔ２０４を転送する。
ステップＳ３０では、サーバブレードのブート機構２０６が、サーバ制御機構２０３に対して、Ａｇｔ２０４の実行要求を行う。
ステップＳ２５では、その要求に応答し、管理サーバ１０の障害回復機構３０２が、サーバブレードのサーバ制御機構２０３に対してＡｇｔ２０４を転送する。
ステップＳ３０では、サーバブレードのブート機構２０６が、サーバ制御機構２０３に対して、Ａｇｔ２０４の実行要求を行う。
ステップＳ３５では、当該実行要求を受けて、Ａｇｔ２０４は、ＮＩＣ１１２のＩＰアドレスを管理サーバ１０の障害回復機構３０２（図３参照）に転送する。
ステップＳ４０では、管理サーバ１０の障害回復機構３０２は、ＩＰストレージ用ネットワークＳＷ４０に設定を指示する（詳細は図１４参照）。ステップＳ４５では、管理サーバ１０のセキュリティ設定機構１０４は、ディスクアレイ装置５０のセキュリティ機構１１６に対して、アクセスコントロールの設定を指示する（詳細は図１５参照）。
ステップＳ４０では、管理サーバ１０の障害回復機構３０２は、ＩＰストレージ用ネットワークＳＷ４０に設定を指示する（詳細は図１４参照）。ステップＳ４５では、管理サーバ１０のセキュリティ設定機構１０４は、ディスクアレイ装置５０のセキュリティ機構１１６に対して、アクセスコントロールの設定を指示する（詳細は図１５参照）。
ここまでの設定が完了すると、ステップＳ５０では、管理サーバ１０の障害回復機構は、設定完了をサーバブレードのＡｇｔ２０４に通知する。なお、Ａｇｔ２０４は、ステップＳ３５でＩＰアドレスを転送した後、設定完了待ち状態になっている。
ステップＳ６０では、Ａｇｔ２０４は、前記した設定完了の通知を受けた後、ＯＳ（Operating System）をロードし起動する。このようにしてサーバブレードは、稼動中の状態になる。
ステップＳ６０では、Ａｇｔ２０４は、前記した設定完了の通知を受けた後、ＯＳ（Operating System）をロードし起動する。このようにしてサーバブレードは、稼動中の状態になる。
図１４は障害回復機構の処理手順を示す図である。
まず、管理サーバ１０の障害回復機構３０２（図３参照）は、サーバ２０の障害検知を行う（Ｓ１００）。そして、サーバ管理テーブル３０１から、障害が発生したサーバが使用していたＶＬＡＮＩＤを取得する（Ｓ１０５）。次に、障害回復機構３０２は、サーバ管理テーブル３０１（図５参照）から予備サーバを検索する（Ｓ１１０）。
Ｓ１１５では、障害回復機構３０２は、サーバ管理テーブル３０１を参照し、検索された予備サーバの状態を稼動中に変更する。次に、障害回復機構３０２は、検索した予備サーバのＶＬＡＮＩＤを障害が発生したサーバが使用していたＶＬＡＮＩＤに設定する（Ｓ１２０）。これにより、障害が発生したサーバ２０と同じエージェント２０４によりネットワークブートできる状態になる。
まず、管理サーバ１０の障害回復機構３０２（図３参照）は、サーバ２０の障害検知を行う（Ｓ１００）。そして、サーバ管理テーブル３０１から、障害が発生したサーバが使用していたＶＬＡＮＩＤを取得する（Ｓ１０５）。次に、障害回復機構３０２は、サーバ管理テーブル３０１（図５参照）から予備サーバを検索する（Ｓ１１０）。
Ｓ１１５では、障害回復機構３０２は、サーバ管理テーブル３０１を参照し、検索された予備サーバの状態を稼動中に変更する。次に、障害回復機構３０２は、検索した予備サーバのＶＬＡＮＩＤを障害が発生したサーバが使用していたＶＬＡＮＩＤに設定する（Ｓ１２０）。これにより、障害が発生したサーバ２０と同じエージェント２０４によりネットワークブートできる状態になる。
そして、障害回復機構３０２は、障害が発生したサーバのＶＬＡＮＩＤをデフォルトＶＬＡＮに設定する（Ｓ１２５）。そして、障害回復機構３０２は、サーバ管理テーブル３０１（図５参照）を参照し、障害発生のサーバのブートディスクの値を予備サーバに対応付けることにより、ブートディスクの設定変更を行う（Ｓ１３０）。そして、ネットワーク管理テーブル３０７（図６参照）を参照して、ネットワークＳＷの設置変更を行う（Ｓ１３５）。具体的には、ＶＬＡＮＩＤに対応する値を入れる。次に、セキュリティ設定機構１０４を呼び出して（Ｓ１４０）、処理を終了する。呼び出されたセキュリティ設定機構１０４による処理を図１５に示す。
図１５はセキュリティ設定機構における処理手順を示す図である。この処理は、図１３のステップＳ４５と図１４のステップＳ１４０の各処理に相当する。
管理サーバ１０のセキュリティ設定機構１０４（図４参照）は、ディスクアレイ装置５０内のアクセスコントロールテーブル１１８（図８参照）を取得し、そのテーブル１１８から、障害が発生したサーバ２０を検索する（Ｓ１５０）。この検索は、障害検知時に取得したサーバ２０のＩＰアドレスを基に行う。次に、障害が発生したサーバ２０に関するＩＰアドレス、すなわち、ステップＳ３５（図１３参照）で転送されたＩＰアドレスをアクセスコントロールテーブル１１８（図８参照）の予備サーバのＩＰアドレス（サーバ識別子５０１の値）に変更し（Ｓ１５５）、処理を終了する。この処理が完了すると、障害が発生したサーバ２０はネットワークから切り離された状態になり、また、予備サーバが代替サーバとして稼動することとなる。
管理サーバ１０のセキュリティ設定機構１０４（図４参照）は、ディスクアレイ装置５０内のアクセスコントロールテーブル１１８（図８参照）を取得し、そのテーブル１１８から、障害が発生したサーバ２０を検索する（Ｓ１５０）。この検索は、障害検知時に取得したサーバ２０のＩＰアドレスを基に行う。次に、障害が発生したサーバ２０に関するＩＰアドレス、すなわち、ステップＳ３５（図１３参照）で転送されたＩＰアドレスをアクセスコントロールテーブル１１８（図８参照）の予備サーバのＩＰアドレス（サーバ識別子５０１の値）に変更し（Ｓ１５５）、処理を終了する。この処理が完了すると、障害が発生したサーバ２０はネットワークから切り離された状態になり、また、予備サーバが代替サーバとして稼動することとなる。
図１６はサーバの切替え前後の状態を示す図である。ここでは、サーバ１からサーバ４へ切替える場合を例示している。
切替え前、稼動中のサーバ１は、ＩＰストレージ用ネットワークＳＷ４０を介して、仮想ディスクＬＵ０、ＬＵ１、ＬＵ２にアクセスし、サーバ４は、それらの仮想ディスクＬＵ０、ＬＵ１、ＬＵ２にアクセスできない。なお、仮想ディスクＬＵ０、ＬＵ１、ＬＵ２へのアクセスは、アクセスコントロール機構１１７によって、物理ディスク装置ＬＵ１０、ＬＵ１１、ＬＵ１７へのアクセスに変換される。
そして、サーバ１からサーバ４へ切替えが行われると、サーバ４が、サーバ１がアクセスしていた仮想ディスクＬＵ０、ＬＵ１、ＬＵ２にＩＰストレージ用ネットワークＳＷ４０を介してアクセスできることとなる。このようにして、サーバ２０の障害発生時にもセキュアに引き継ぎを行うことができる。
切替え前、稼動中のサーバ１は、ＩＰストレージ用ネットワークＳＷ４０を介して、仮想ディスクＬＵ０、ＬＵ１、ＬＵ２にアクセスし、サーバ４は、それらの仮想ディスクＬＵ０、ＬＵ１、ＬＵ２にアクセスできない。なお、仮想ディスクＬＵ０、ＬＵ１、ＬＵ２へのアクセスは、アクセスコントロール機構１１７によって、物理ディスク装置ＬＵ１０、ＬＵ１１、ＬＵ１７へのアクセスに変換される。
そして、サーバ１からサーバ４へ切替えが行われると、サーバ４が、サーバ１がアクセスしていた仮想ディスクＬＵ０、ＬＵ１、ＬＵ２にＩＰストレージ用ネットワークＳＷ４０を介してアクセスできることとなる。このようにして、サーバ２０の障害発生時にもセキュアに引き継ぎを行うことができる。
なお、本発明は、前記実施の形態に限定されない。管理サーバ等を含むストレージ切替システム１のハードウェア構成、データ構造および処理の流れは、本発明の趣旨を逸脱しない限り、変更して構成するようにしてもよい。たとえば、ルータなどを用いて適用するようにしてもよい。
また、前記実施の形態では、管理サーバ１０がサーバ２０のＢＭＣ１１３から障害情報を取得するように記載したが、これはサーバ２０が単体として動作する場合における障害情報の取得方法であり、その他の実施の形態でブレードサーバとして動作する場合における方法が考えられる。例えば、図１７のストレージ切替システム１ａ（ＩＰストレージ用ネットワークＳＷ４０およびディスクアレイ装置５０は図示せず）に示すように、シャーシ７０が通常用ネットワークＳＷ６０を介して管理サーバ１０に通信可能となっている構成がある。シャーシ７０は、１以上のサーバ２０およびシャーシ管理モジュール８０を備える。管理サーバ１０が障害情報を取得する場合には、管理サーバ１０が通常用ネットワークＳＷ６０を介してシャーシ管理モジュール８０に要求する。そして、シャーシ管理モジュール８０がシャーシ７０内の各サーバ２０（２０Ａ、２０Ｂ）から障害情報を収集し、その障害情報を管理サーバ１０に送信する。
さらに、障害情報の取得方法として、サーバ２０上で動作するサーバ管理ソフトウェアから取得する方法（例えば、Watchdogなど）がある。
１ ストレージ切替システム
１０ 管理サーバ
２０ サーバ
４０ ＩＰストレージ用ネットワークＳＷ
５０ ディスクアレイ装置
１０ 管理サーバ
２０ サーバ
４０ ＩＰストレージ用ネットワークＳＷ
５０ ディスクアレイ装置
Claims (10)
- ストレージ装置と、前記ストレージ装置および計算機の間のネットワーク接続形態を論理的に設定するスイッチと、前記スイッチおよび前記ストレージ装置との通信を行う管理サーバとを備えたストレージ切替システムであって、
前記ストレージ装置は、少なくとも１のディスクと、前記計算機に応じ前記ディスクに対するアクセス制御を行うコントローラとを含んで構成され、
前記管理サーバは、メモリと処理装置とを含んで構成され、
前記メモリは、前記スイッチで設定された前記ネットワーク接続形態を管理するとともに、
前記管理サーバの処理装置は、
現用の前記計算機の障害を検知した場合、その計算機の代替となる他の計算機と当該現用の計算機との前記ネットワーク接続形態を前記メモリを参照して変更し、
変更後のネットワーク接続形態を前記スイッチに指示して、前記スイッチに前記ネットワーク接続形態を論理的に設定させ、
前記ストレージ装置のコントローラは、
前記他の計算機に関し、前記障害が検知された計算機に応じた前記ディスクに対するアクセス制御を行うことを特徴とするストレージ切替システム。 - ストレージ装置と、前記ストレージ装置および計算機の間のネットワーク接続形態を論理的に設定するスイッチと、前記スイッチおよび前記ストレージ装置との通信を行う管理サーバとを備えたコンピュータシステムを用いてストレージ装置の切り替えを行うストレージ切替方法であって、
前記ストレージ装置は、少なくとも１のディスクと、前記計算機に応じ前記ディスクに対するアクセス制御を行うコントローラとを含んで構成され、
前記管理サーバは、メモリと処理装置とを含んで構成され、
前記メモリは、前記スイッチで設定された前記ネットワーク接続形態を管理するとともに、
前記管理サーバの処理装置は、
現用の前記計算機の障害を検知した場合、その計算機の代替となる他の計算機と当該現用の計算機との前記ネットワーク接続形態を前記メモリを参照して変更し、
変更後のネットワーク接続形態を前記スイッチに指示して、前記スイッチに前記ネットワーク接続形態を論理的に設定させるステップを実行するとともに、
前記ストレージ装置のコントローラは、
前記他の計算機に関し、前記障害が検知された計算機に応じた前記ディスクに対するアクセス制御を行うステップを実行することを特徴とするストレージ切替方法。 - ストレージ装置にスイッチを介してネットワーク接続された計算機との通信を行う管理サーバであって、
前記管理サーバは、メモリと処理装置とを含んで構成され、
前記メモリは、前記スイッチで設定された前記ネットワーク接続形態を管理するとともに、
前記処理装置は、
現用の前記計算機の障害を検知した場合、その計算機の代替となる他の計算機と当該現用の計算機との前記ネットワーク接続形態を前記メモリを参照して変更し、
変更後のネットワーク接続形態を前記スイッチに指示して、前記スイッチに前記ネットワーク接続形態を論理的に設定させ、
前記他の計算機に関し、前記障害が検知された計算機に応じた前記ディスクに対するアクセス制御を行うように前記ストレージ装置に指示することを特徴とする管理サーバ。 - 前記メモリは、前記計算機の現状態をさらに管理し、
前記処理装置は、前記メモリの計算機の現状態を参照し、現状態が予備を示す計算機を前記代替となる他の計算機として検索することを特徴とする請求項３に記載の管理サーバ。 - ストレージ装置にスイッチを介してネットワーク接続された計算機との通信を行う管理サーバに用いられる管理方法であって、
前記管理サーバは、メモリと処理装置とを含んで構成され、
前記メモリは、前記スイッチで設定された前記ネットワーク接続形態を管理するとともに、
前記処理装置は、
現用の前記計算機の障害を検知した場合、その計算機の代替となる他の計算機と当該現用の計算機との前記ネットワーク接続形態を前記メモリを参照して変更し、
変更後のネットワーク接続形態を前記スイッチに指示して、前記スイッチに前記ネットワーク接続形態を論理的に設定させ、
前記他の計算機に関し、前記障害が検知された計算機に応じた前記ディスクに対するアクセス制御を行うように前記ストレージ装置に指示するステップを実行することを特徴とする管理方法。 - 前記メモリは、前記計算機の現状態をさらに管理し、
前記処理装置は、前記メモリの計算機の現状態を参照し、現状態が予備を示す計算機を前記代替となる他の計算機として検索するステップをさらに含むことを特徴とする請求項５に記載の管理方法。 - 前記メモリに管理されたネットワーク接続形態には、少なくとも、前記計算機の識別子、前記スイッチの識別子、前記スイッチのポート番号およびネットワーク識別情報が含まれていることを特徴とする請求項５に記載の管理方法。
- 前記処理装置は、
前記障害を検知した計算機からＩＰアドレスの転送を受け、そのＩＰアドレスを前記代替となる他の計算機の識別子として用いることを特徴とする請求項７に記載の管理方法。 - 前記スイッチは、ＶＬＡＮ（Virtual LAN）対応機器またはルータであることを特徴とする請求項５に記載の管理方法。
- 請求項５ないし請求項９のいずれか一項に記載の管理方法をコンピュータに実行させるための管理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005358520A JP4414961B2 (ja) | 2005-12-13 | 2005-12-13 | 管理サーバによる管理方法、管理サーバ、計算機システムおよび管理プログラム |
| US11/385,745 US7472308B2 (en) | 2005-12-13 | 2006-03-22 | Storage switch system, storage switch method, management server, management method, and management program |
| US12/341,274 US7657786B2 (en) | 2005-12-13 | 2008-12-22 | Storage switch system, storage switch method, management server, management method, and management program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005358520A JP4414961B2 (ja) | 2005-12-13 | 2005-12-13 | 管理サーバによる管理方法、管理サーバ、計算機システムおよび管理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007164394A true JP2007164394A (ja) | 2007-06-28 |
| JP4414961B2 JP4414961B2 (ja) | 2010-02-17 |
Family
ID=38247225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005358520A Expired - Fee Related JP4414961B2 (ja) | 2005-12-13 | 2005-12-13 | 管理サーバによる管理方法、管理サーバ、計算機システムおよび管理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7472308B2 (ja) |
| JP (1) | JP4414961B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011111245A1 (ja) * | 2010-03-12 | 2011-09-15 | 株式会社日立製作所 | 計算機システム、計算機システムの制御方法及びプログラムを格納した記憶媒体 |
| US8074098B2 (en) | 2008-04-23 | 2011-12-06 | Hitachi, Ltd. | Control method for information processing system, information processing system, and program |
| JP2012523024A (ja) * | 2009-09-01 | 2012-09-27 | 株式会社日立製作所 | マルチコアプロセッサを有する要求処理システム |
| US9336093B2 (en) | 2012-07-24 | 2016-05-10 | Fujitsu Limited | Information processing system and access control method |
| US9363316B2 (en) | 2013-06-04 | 2016-06-07 | Fujitsu Limited | Apparatus and method for controlling access to a disk apparatus in an information processing system |
| JP7462550B2 (ja) | 2020-12-24 | 2024-04-05 | 株式会社日立製作所 | 通信監視対処装置、通信監視対処方法、及び通信監視対処システム |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080114961A1 (en) * | 2006-11-15 | 2008-05-15 | Cisco Technology, Inc. | Transparent device switchover in a storage area network |
| US7945773B2 (en) * | 2007-09-18 | 2011-05-17 | International Business Machines Corporation | Failover of blade servers in a data center |
| US7787454B1 (en) * | 2007-10-31 | 2010-08-31 | Gigamon Llc. | Creating and/or managing meta-data for data storage devices using a packet switch appliance |
| JP5056504B2 (ja) * | 2008-03-13 | 2012-10-24 | 富士通株式会社 | 制御装置、情報処理システム、情報処理システムの制御方法および情報処理システムの制御プログラム |
| US8161315B2 (en) * | 2008-04-30 | 2012-04-17 | International Business Machines Corporation | Implementation of sparing policies for servers |
| JP5493452B2 (ja) * | 2008-05-09 | 2014-05-14 | 富士通株式会社 | 復旧サーバ、復旧処理プログラム及び計算機システム |
| US8327186B2 (en) * | 2009-03-10 | 2012-12-04 | Netapp, Inc. | Takeover of a failed node of a cluster storage system on a per aggregate basis |
| US8145838B1 (en) | 2009-03-10 | 2012-03-27 | Netapp, Inc. | Processing and distributing write logs of nodes of a cluster storage system |
| US8069366B1 (en) | 2009-04-29 | 2011-11-29 | Netapp, Inc. | Global write-log device for managing write logs of nodes of a cluster storage system |
| WO2011048630A1 (en) * | 2009-10-22 | 2011-04-28 | Hitachi,Ltd. | Storage apparatus having multiple storage controllers connected with multiple paths and method for verifying its connections |
| CN101996111A (zh) | 2010-11-30 | 2011-03-30 | 华为技术有限公司 | 一种倒换方法、装置及分布式刀片服务器*** |
| US9059919B1 (en) * | 2011-03-28 | 2015-06-16 | Symantec Corporation | Systems and methods for preserving network settings for use in a pre-boot environment |
| KR101906449B1 (ko) * | 2012-12-10 | 2018-10-10 | 삼성전자주식회사 | 홈 네트워크 시스템에서 홈 디바이스 및 외부 서버간의 접속 제어 방법 및 장치 |
| US10728096B2 (en) * | 2015-10-02 | 2020-07-28 | Arista Networks, Inc. | Dynamic service device integration |
| US10341185B2 (en) | 2015-10-02 | 2019-07-02 | Arista Networks, Inc. | Dynamic service insertion |
| CN107688434B (zh) * | 2016-08-04 | 2020-03-06 | 新华三信息技术有限公司 | 磁盘阵列raid配置方法和装置 |
| CN109189627B (zh) * | 2018-10-08 | 2021-10-22 | 郑州云海信息技术有限公司 | 一种硬盘故障监控检测方法、装置、终端及存储介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5996075A (en) * | 1995-11-02 | 1999-11-30 | Sun Microsystems, Inc. | Method and apparatus for reliable disk fencing in a multicomputer system |
| US6154741A (en) * | 1999-01-29 | 2000-11-28 | Feldman; Daniel J. | Entitlement management and access control system |
| US6898727B1 (en) * | 2000-03-22 | 2005-05-24 | Emc Corporation | Method and apparatus for providing host resources for an electronic commerce site |
| US6654902B1 (en) * | 2000-04-11 | 2003-11-25 | Hewlett-Packard Development Company, L.P. | Persistent reservation IO barriers |
| GB2363548A (en) * | 2000-06-15 | 2001-12-19 | Int Computers Ltd | Computer systems, in particular virtual private networks |
| US6944785B2 (en) * | 2001-07-23 | 2005-09-13 | Network Appliance, Inc. | High-availability cluster virtual server system |
| US7366784B2 (en) * | 2001-11-27 | 2008-04-29 | Hitachi, Ltd. | System and method for providing and using a VLAN-aware storage device |
| JP2003203018A (ja) | 2002-01-07 | 2003-07-18 | Mitsubishi Electric Corp | Ｓａｎを用いた擬似クラスタシステム |
| JP3825333B2 (ja) | 2002-02-08 | 2006-09-27 | 日本電信電話株式会社 | タグ変換を用いた負荷分散方法及びタグ変換装置、負荷分散制御装置 |
| JP4155399B2 (ja) * | 2003-03-28 | 2008-09-24 | 株式会社日立製作所 | コンピュータ処理方法及びその実施システム並びにその処理プログラム |
| US7266715B1 (en) * | 2003-04-29 | 2007-09-04 | Cisco Technology, Inc. | Methods and apparatus for maintaining a virtual private network connection |
| JP2005301442A (ja) * | 2004-04-07 | 2005-10-27 | Hitachi Ltd | ストレージ装置 |
-
2005
- 2005-12-13 JP JP2005358520A patent/JP4414961B2/ja not_active Expired - Fee Related
-
2006
- 2006-03-22 US US11/385,745 patent/US7472308B2/en not_active Expired - Fee Related
-
2008
- 2008-12-22 US US12/341,274 patent/US7657786B2/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8074098B2 (en) | 2008-04-23 | 2011-12-06 | Hitachi, Ltd. | Control method for information processing system, information processing system, and program |
| US8423162B2 (en) | 2008-04-23 | 2013-04-16 | Hitachi, Ltd. | Control method for information processing system, information processing system, and program |
| JP2012523024A (ja) * | 2009-09-01 | 2012-09-27 | 株式会社日立製作所 | マルチコアプロセッサを有する要求処理システム |
| WO2011111245A1 (ja) * | 2010-03-12 | 2011-09-15 | 株式会社日立製作所 | 計算機システム、計算機システムの制御方法及びプログラムを格納した記憶媒体 |
| US9336093B2 (en) | 2012-07-24 | 2016-05-10 | Fujitsu Limited | Information processing system and access control method |
| US9363316B2 (en) | 2013-06-04 | 2016-06-07 | Fujitsu Limited | Apparatus and method for controlling access to a disk apparatus in an information processing system |
| JP7462550B2 (ja) | 2020-12-24 | 2024-04-05 | 株式会社日立製作所 | 通信監視対処装置、通信監視対処方法、及び通信監視対処システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20090106579A1 (en) | 2009-04-23 |
| US7472308B2 (en) | 2008-12-30 |
| JP4414961B2 (ja) | 2010-02-17 |
| US20070174659A1 (en) | 2007-07-26 |
| US7657786B2 (en) | 2010-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4414961B2 (ja) | 管理サーバによる管理方法、管理サーバ、計算機システムおよび管理プログラム | |
| JP4462024B2 (ja) | ディスク引き継ぎによるフェイルオーバ方法 | |
| JP4939102B2 (ja) | ネットワークブート計算機システムの高信頼化方法 | |
| JP6159103B2 (ja) | プロビジョニング前に冗長パスを認証する方法および装置 | |
| JP4710518B2 (ja) | 計算機システムとそのブート制御方法 | |
| JP2009122963A (ja) | デプロイ方法およびシステム | |
| WO2007077600A1 (ja) | 運用管理プログラム、運用管理方法および運用管理装置 | |
| JP5316616B2 (ja) | 業務引き継ぎ方法、計算機システム、及び管理サーバ | |
| JP4734259B2 (ja) | 運用管理プログラム、運用管理方法および運用管理装置 | |
| US6754753B2 (en) | Atomic ownership change operation for input/output (I/O) bridge device in clustered computer system | |
| JP5484434B2 (ja) | ネットワークブート計算機システム、管理計算機、及び計算機システムの制御方法 | |
| JP5267544B2 (ja) | ディスク引き継ぎによるフェイルオーバ方法 | |
| JP4877368B2 (ja) | ディスク引き継ぎによるフェイルオーバ方法 | |
| JP5182350B2 (ja) | 運用管理プログラム、運用管理方法および運用管理装置 | |
| Záhořík | Virtualisation of Critical Network Services | |
| Headquarters | VMware Infrastructure 3 in a Cisco Network Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070627 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091117 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091120 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131127 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |