JP2005528691A - サーバ連結環境のための業務継続ポリシー - Google Patents
サーバ連結環境のための業務継続ポリシー Download PDFInfo
- Publication number
- JP2005528691A JP2005528691A JP2004509790A JP2004509790A JP2005528691A JP 2005528691 A JP2005528691 A JP 2005528691A JP 2004509790 A JP2004509790 A JP 2004509790A JP 2004509790 A JP2004509790 A JP 2004509790A JP 2005528691 A JP2005528691 A JP 2005528691A
- Authority
- JP
- Japan
- Prior art keywords
- application
- priority
- group
- systems
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2035—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant without idle spare hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5022—Workload threshold
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Hardware Redundancy (AREA)
- Stored Programmes (AREA)
Abstract
Description
異なる図面の同じ参照符号の使用は、類似または同一の項目を示している。本発明は、各種の改変および代替形式をとる可能性があるが、特定の実施の形態を図面に例示として示し、本明細書で詳細に説明する。しかしながら、言うまでもないが、図面および詳細な説明が、開示された特定の形態に本発明を限定することは意図していない。逆に、その意図は、添付の請求の範囲により定義されるように、本発明の範囲内にあるすべての改変、等価物、および代替品を含むことである。
以下の記載では、説明のために、本発明の完全な理解を提供するよう多数の特定の詳細について説明する。しかしながら、本発明がこれらの特定の詳細がなくても実施できることは、当該技術に精通する者には言うまでもない。
本明細書で「一実施の形態」または「実施の形態」と称するときは、実施の形態と併せて説明する特定の特長、構造、または特性が、本発明の少なくとも一つの実施の形態に含まれることを意味する。明細書の至る所に出てくる「一実施の形態では」の語句が全て同一の実施の形態を指すとは限らず、他の実施の形態と互いに矛盾する別の、または代替の実施の形態を指示するものでもない。更に、幾つかの実施の形態により示され、他の実施の形態では示されない各種の特長も説明する。同様に、幾つかの実施の形態に対する要件ではあるが、他の実施の形態の要件ではない各種の要件も説明する。
本発明は、サーバクラスタ内のサーバが典型的な、考えられる最良のシステムを積極的に決定して、起動中、過負荷状態のとき、またはアプリケーションかサーバの障害を受けて、アプリケーションをホストする業務継続ポリシーを提供する。本発明がクライアント/サーバ環境の外部で動作するシステムにも適用されるのは、当該技術に精通する者には言うまでもないが、用語サーバおよびシステムは、本明細書では交換可能に用いる。
ハードウェアまたはソフトウェア障害が発生したとしても、災害復旧を確実にするには、データ損失を防ぎ、整合性のあるデータを維持しなければならない。特定のアプリケーションに対するデータでは、そのアプリケーションや対応するアプリケーションデータが、ネットワークまたはノードの障害により整合性がないか使用不可能な状態になることを許容しない。
業務継続ポリシーの一部は、“障害迂回ポリシー”である。様々な“障害迂回ポリシー”を採ることが可能であり、“優先順位”、“ラウンドロビン”、および本発明に含まれる“負荷障害迂回”ポリシーがある。
“優先順位障害迂回ポリシー”は、最も基本的な方策である。稼働中のサイトで最も優先順位の低いサーバシステムを、障害迂回ターゲットとして選択する。「障害迂回ターゲット」は、再起動しなければならないアプリケーショングループをホストするよう選択されるシステムである。例えば、優先順位は、SystemList={server1,server2}等の“システムリスト”の順位により暗黙裏に、または、SystemList={server1=0,server2=1}等と、“システムリスト”で優先順位を設定することにより明示的に設定できる。“優先順位障害迂回ポリシー”の方策は、単純な2ノードクラスタ、または少数のアプリケーショングループを有する小さなクラスタでは十分に機能する。
一実施の形態では、システムのためのシステム“容量”変数、本明細書では“容量”とも称する、は、システムの負荷対応容量を表す固定値に設定する。アプリケーションのためのアプリケーショングループ“負荷”変数、本明細書では“負荷”とも称する、は、アプリケーショングループによりプロセッサ上に配置される固定された要求(“負荷”)に設定する。例えば、2台の16プロセッササーバ、および2台の8プロセッササーバから成る4ノードクラスタを考える。管理者は、16CPUサーバの“容量”値を200に、8CPUサーバを100に設定する。これらの“容量値”は、任意に割り当てることができるが、各システムの容量差を反映させなければならない。
同様に、システムで実行している各アプリケーショングループは、所定の“負荷”値を有する。アプリケーショングループがオンラインにできる場合は、アプリケーショングループの“負荷”を、システムの利用可能容量から減算する。
“容量”は、“利用可能容量”の値がゼロ未満になることもあることを示す緩やかな制約である。障害が連続して発生する状況では、“利用可能容量”は負になることもある。
サーバの動的な負荷は、公式“利用可能容量=容量−(全オンラインアプリケーショングループの負荷合計)”を用いて計算できる。動的負荷を決定するための代替の方策は、VERITAS(商標)クラスタサーバ(Cluster Server)(略称VCS)の、VCS 2.0以前の初期バージョンを含む幾つかのクラスタ管理アプリケーションにより提供される。これらのクラスタ管理アプリケーションにより、管理者は、外部の監視プログラムでサーバの動的負荷を決定し、“動的負荷”変数を設定して決定値を反映させることができる。管理者は、所望の任意の監視パッケージプログラムを実行し、次いで、推定負荷をクラスタ管理アプリケーションに提供できる。そのように“動的負荷”を提供した場合、“負荷”計算値をオーバーライドして、この値を用いることができる。例えば、“利用可能容量”は、公式“利用可能容量=容量−動的負荷”を用いて計算できる。この計算により、管理者は、推定アプリケーショングループ負荷を用いるよりも正確にシステム負荷を制御できる。
要約すると、アプリケーショングループをホストする全システムの利用可能容量は、以下の公式を用いて計算できる:
システムの“利用可能容量=容量−現在のシステム負荷”
ここで、
“現在のシステム負荷”=動的システム負荷変数が指定されている場合は、“動的な”システム負荷
または、システム上のすべてのオンラインアプリケーショングループの“負荷”合計
システム“限界”、およびアプリケーショングループ“必要条件”も、業務継続ポリシーで用いることができる。管理者は、各システムで利用可能な、共有メモリセグメント、セマフォ、および他のリソース等の有限リソース(“限界”)を提供できる。例えば、特定のサーバは、2つ以下のデータベースアプリケーションのみをホストすることが可能であってもよい。更に、それぞれが利用可能なシステムリソースおよび/または容量と対応する一組の“必要条件”を、アプリケーショングループ毎に確立できる。例えば、特定のデータベースアプリケーションは、5つの共有メモリセグメントと20のセマフォを示す“必要条件”を必要とし、かつ有してもよい。
“必要条件”={“グループ重み付け”=1}
“限界”={“グループ重み付け”=1}
“必要条件のグループ重み付け”1を指定することにより、唯一つのアプリケーショングループを所定の時点でオンラインにすることができる。更に、システム毎に“グループ重み付けの限界”値1を指定することにより、システム毎に、ある時点で唯一つのアプリケーショングループを有することができる。“グループ重み付け”値は、オンラインにできるアプリケーショングループの数を表すと考えることができる。“グループ重み付け”値がゼロの場合、その特定システム上に、それ以上のアプリケーショングループをオンラインにできない。例えば、2つのシステムS1、S2を有するシステムを考える。それぞれは“グループ重み付けの限界”=1に指定する。また、システムは、3つのアプリケーショングループG1、G2、およびG3も有する。グループG1およびG2は、“グループ重み付けの必要条件”=1を有し、グループG3は“必要条件”を持たない。G1およびG2に対する“グループ重み付け”=1の“必要条件”が示すのは、G1およびG2それぞれは、オンラインにする“グループ重み付け”のひとつの「単位」を必要とする、ということである。G1をS1でオンライン化する場合、S1の“現在の限界”は“グループ重み付け”=0となり、従って、G2が同様にS1上でオンライン化されるのを妨げる。“必要条件”を持たないG3は、S1またはS2上でオンライン化できる。
下記の表1は、本発明の業務継続ポリシーを実装するために用いることができるシステム属性を含む一実施の形態の例を提供する。表2は、アプリケーショングループ属性の実施例を提供する。
“容量”および“必要条件”をともに用いると、適切な障害迂回システムの決定が可能である。一実施の形態では、所定のアプリケーショングループに対する“必要条件”を満たし、最大の“利用可能容量”を有するシステムが選択される。多数のシステムが所定のアプリケーショングループに対する“必要条件”を満足し、同じ“利用可能容量”を有する場合は、“システムリスト”の最初のシステムを選択できる。注意すべきは、システム“限界”が既に満たされている場合、アプリケーショングループの“必要条件”を満たすシステムは、アプリケーショングループをホストするのに適格でないこともある、ということである。システムの“現在の限界”が、所定のアプリケーショングループの“必要条件”を満たす十分なリソースを可能にする場合、システムの“限界”は既に満たされている。
先に説明したように、一実施の形態では、“容量”は緩やかな制限である。アプリケーショングループをシステム上で開始する場合に、負の“利用可能容量”値が生成されたとしても、最大の“利用可能容量”値を有するシステムを選択することができる。
一実施の形態では、“負荷障害迂回ポリシー”の一部として過負荷警告が提供される。サーバが、“負荷時間閾値”変数で設定した所定時間の間、“負荷警告レベル”変数で設定する所定負荷レベルを保持する場合、過負荷警告が開始される。過負荷警告は、ユーザ定義スクリプト、または所定の企業の“障害迂回負荷ポリシー”を実装するよう設計したアプリケーションにより提供できる。例えば、ユーザ定義スクリプトは、オペレータのコンソール上にメッセージを提供してもよいし、あるいはユーザ定義スクリプトは、ユーザ定義の優先値に基づいてアプリケーショングループを移動または終了してもよい。例えば、業務にクリティカルなデータベースを実行しているサーバ上の“負荷”が限界に達し、かつユーザ定義閾値を超えたまま留まる場合、オペレータは直ちに通知を受けることが可能である。次いで、ユーザ定義スクリプトは、内部の“人的リソース”アプリケーション等の、そのデータベースより優先順位が低い任意のアプリケーショングループについてシステムを精査でき、優先順位の低いアプリケーションを終了するか、またはより小さい現在の“負荷”をもつシステムに移動させることができる。
一実施の形態では、“システム領域”を用いて、最初の障害迂回決定で選択するシステムの好適なサブセットを示す。業務継続ポリシーを実装するクラスタ管理アプリケーションは、別の領域のシステムを選択する前に、アプリケーショングループ領域内のアプリケーショングループの再起動を試みる。例えば、ウェブサーバ、アプリケーションサーバ、およびデータベースサーバを有する典型的な3層構造のアプリケーションインフラストラクチャを考える。アプリケーションおよびデータベースのサーバは、単一クラスタで構成できる。“システム領域”を用いると、別のアプリケーション領域サーバが利用可能な場合、アプリケーショングループのクラスタ管理アプリケーションが、別のアプリケーション領域サーバに障害迂回しようと試みるのが可能になる。別のアプリケーション領域サーバが利用不可能な場合は、クラスタ管理アプリケーションは“負荷”および“限界”に基づくデータベース領域に障害迂回しようと試みることが可能である。この構成では、データベース領域で利用可能な過剰“容量”および“限界”は、データベース障害迂回のより大きな負荷のために予約される一方で、アプリケーションサーバは、アプリケーション領域のアプリケーショングループの“負荷”を扱う。障害が連続している間、クラスタの過剰な容量はアプリケーショングループに利用可能なまま残る。“システム領域”の特長は、アプリケーション障害迂回決定を精緻に調整することを可能にし、必要であればクラスタのどこにでも障害迂回する柔軟性を依然として保持する。
一実施の形態では、“負荷障害迂回ポリシー”の考え方を用いて、クラスタを最初に開始する場合、アプリケーショングループを取り上げる場所を決定できる。管理者は“自動開始ポリシー”変数を“負荷”に設定でき、クラスタ管理アプリケーションに、アプリケーショングループを開始する最良のシステムを決定させることができる。クラスタ管理アプリケーションが利用可能システムを決定する場合、負荷に基づいて起動するための“自動開始”待ち行列にアプリケーショングループを入れることができる。障害迂回と同様に、“必要条件および限界”を満たすシステムの一サブセットが最初に作成され、次いで、これらのシステムのうち、最高の“利用可能容量”をもつシステムが選択できる。
“自動開始ポリシー”=“負荷”および“システム領域”をともに用いることにより、管理者が、クラスタの好適システムリストを確立して、最初にアプリケーショングループを実行することが可能になる。上記のように、3層構造で、管理者が指示できるのは、アプリケーショングループは最初にアプリケーション領域で開始し、データベースグループはデータベース領域で開始する、ということである。
上記の“負荷障害迂回ポリシー”をアプリケーション優先順位と組み合わせることにより、ミッションクリティカルな、または業務上クリティカルなアプリケーションの真の自動化業務継続ポリシーが提供される。この業務継続ポリシーは、必要な業務情報をクラスタフレームワークに追加して、障害発生した時に各ポリシーを駆使した決定を行い、クリティカルなアプリケーションおよびアプリケーション実行を最良状態に維持する。
優先順位1−ミッションクリティカル
“優先順位”1のアプリケーショングループは、障害時に、オンラインに留まり、直ちに再起動されなければならない。クラスタ管理アプリケーションは、アプリケーショングループが特に障害を受けるか、またはオペレータが介入しない限り、“優先順位”1のアプリケーショングループを停止したり移動することを避けるよう構成できる。“優先順位”1のアプリケーショングループは、アプリケーショングループを再起動するのに必要な稼働停止時間だけは避けることができない。
“優先順位”2のアプリケーショングループは、“優先順位”1のアプリケーショングループより若干重要性が低い。クラスタ管理アプリケーションは、これらのアプリケーショングループをオンラインに維持しなければならないが、“優先順位”2のアプリケーショングループの別のサーバへの切り換え、移動を実行してクラスタ“負荷”特性を維持してもよい。
“優先順位”3のアプリケーショングループは、クラスタ負荷を維持するために自由に移動してよい。“優先順位”3のアプリケーショングループは、移動が不可能な場合においてのみ、クラスタの容量を扱う適当な“負荷”を維持するために停止させてもよい。
“優先順位”4のアプリケーショングループは、検査アプリケーションまたは各種の内部サポートプログラム等の、基本的でないアプリケーションである。これらのアプリケーショングループは、クラスタ負荷を維持するために自由に停止してよい。何らかのクラスタ再構成の間は、クラスタ管理アプリケーションは、すべての“優先順位”4のアプリケーショングループを計算から除外し、再構成のために最良の提案をすることができる。“優先順位”4のアプリケーションは、クラスタに十分な負荷容量が残っているとクラスタ管理アプリケーションが決定した場合、クラスタにオンラインでのみもたらされてもよい。
“ホストシステムの十分な容量およびリソースを解放する”ステップ340では、容量およびリソースが一つ以上のシステムで解放され、アプリケーショングループXに十分なリソースが所定のホストシステムで実行できるようにする。“ホストシステムの十分な容量およびリソースを解放する”ステップ340から、制御は、“ホストシステム上でアプリケーショングループXを開始する”ステップ350に進む。
”残るとは考えられないシステム”判断点422では、どのシステムもクラスタに残るとは考えられていないかどうかの決定が成される。YESであれば、“システムを選択する”ステップ410に進んで、別のシステムを選択する。NOであれば、適格システムの集合は完全であり、制御は、図3の“集合サイズ>0”の判断点322に戻る。
“適切な優先順位2、3および4のリソースを解放するよう決定し、ホストシステムを選択する”ステップ560で、十分なリソースがクラスタ内に利用不可能な場合、制御は“十分なリソースが解放できないことを示す”ステップ570に進む。図5のフローチャートは終了し、十分なリソースが解放できないことが示される。
図6は、サーバ連結環境におけるサーバクラスタのための利用可能容量の計算を示す。サーバ610A、610B、610C、および610Dは、クラスタを形成する。サーバ610A、610B、および610Cはそれぞれ容量300を有し、サーバ610Dは、容量150を有する。サーバ610Aは、サーバ610A上に“負荷”100を配置するMicrosoft Exchange(XCH)バージョン5.5を実行している。また、サーバ610Aは、サーバ610A上に“負荷”150を配置するデータベースアプリケーショングループ、Oracle 8iも実行していて、合計“負荷”は250である。サーバ610Bは、サーバ610B上に“負荷”125を配置するSQL2000サーバを実行している。サーバ610Cは、サーバ610C上に“負荷”75を配置するファイル共有アプリケーショングループFileShare1を実行している。サーバ610Dは、サーバ610D上に負荷150を配置する2つのファイル共有アプリケーショングループFileShare2、およびFileShare3を実行している。所定のサーバ上で実行している各アプリケーショングループのそれぞれの“負荷”を、所定のサーバの“容量”から減算することにより、“利用可能容量”は、サーバ610Aでは50、サーバ610Bでは175、サーバ610Cでは225、そしてサーバ610Dではゼロと計算される。利用可能容量225を有するサーバ610Cは、クラスタ内で最大の利用可能容量を有する。
主要なオペレーティングシステムのほとんどは、Solarisリソースマネージャ、HPプロセスリソースマネージャ、およびA1Xリソースマネージャ等の、対応するリソースマネージャを有する。本明細書ではまとめてxRMと呼ぶこれらのリソースマネージャは、CPUおよびメモリ利用を管理者が制御できるようにする。しかしながら、xRMパッケージは、xRMパッケージを実行しているシステムだけを認識し、クラスタ内の他のシステムは認識しないのが普通である。本発明の業務継続ポリシーをサポートするクラスタ管理アプリケーションを、xRMパッケージとともに統合し、クラスタ内の全システムのリソース利用、つまり“負荷”、を制御するのが好ましい。
モデル化およびシミュレーションエンジン(MSE)は、クラスタ管理アプリケーションの能力を提供して、「仮説検証(What-if)」モデルに基づき、アプリケーショングループの考えられる限り最高の構成を決定できる。現在の負荷および限界だけに基づいてシステムを選択するのではなく、クラスタ管理アプリケーションが、クラスタを再構成して、考えられる限り最高の性能をもつアプリケーショングループを提供する方法を決定する。再構成は、各種のアプリケーショングループ特性を考慮して、移動できるアプリケーショングループ、および移動できないアプリケーショングループを決定する。「最高性能」および「最小切り換え」等の各種パラメータをMSEに与えて、クラスタ管理アプリケーションに、クラスタ再構成を実行して、アプリケーショングループの性能を最高にするか、または稼働停止時間を最小にするかどうかを決定させることもできる。
クラスタから32CPUのサーバ1を選択したらどうなるか?最高性能の再構成モデルは何か?どのアプリケーションが稼働停止により停止するか?再構成移動によって、どのアプリケーションを停止させるか?この展開中に優先順位1を移動させるとどうなるか?等である。
4台の16CPUの追加のコモディティサーバを自分のクラスタ、およびストレージエリアネットワークに追加するとどうなるか?最高性能の構成は何か?どのアプリケーションを移動中に停止させるか?この構成が提供する予備の容量は幾つか?
大規模なデータベースをオンラインにしたい。最良の配置をどこにすればよいか?どの再構成が最良の適合を提供するか?
クラスタ再構成は、手動または自動のいずれであれ、クラスタ管理アプリケーションにより提供される能力を参照して、アプリケーショングループ、ひいてはクラスタを横断する負荷を再割り当てし、システム“負荷”のバランスを良好にする。この再構成は、障害、サーバ追加および削除、またはアプリケーショングループ追加または削除に応じて行うことができる。クラスタ管理アプリケーションのMSE要素によりクラスタ再構成を実行して、固定したクラスタリソースを割り当てることができる。優先順位3および優先順位4のアプリケーショングループを移動する場合、クラスタ再構成モジュールは自動的に実行できるようにでき、特定パラメータを設定すれば、優先順位2のアプリケーショングループに関して自動的に実行できる可能性があり、優先順位1のグループに対しては、手動(オペレータ応答)である。
以下の実施例は“限界”および“必要条件”を用いて、システム上で実行できるアプリケーショングループの全数を制御する。クラスタは4台の類似のサーバから成る。5つのアプリケーショングループがあり、各アプリケーショングループがシステムに要求する処理パワーの要件、および“負荷”の量は、ほぼ等しい。各サーバは、2つのかかるアプリケーショングループをホストできる。この実施例は、アプリケーショングループ“負荷”およびシステム“容量”を用いない。また、アプリケーショングループは、既定の“自動開始ポリシー”および“障害迂回ポリシー”を用いる。
この実施例は、既定の“自動開始ポリシー”=“順位”を用いる。アプリケーショングループは、“自動開始リスト”にある利用可能な第1のシステム上にオンラインとなる。この方法では、G1はSvr1上、G2はSvr2上で開始され、以下同様である。G5はSvr2上で開始される。
第1の障害シナリオで、Svr2が障害を発生していると仮定する。アプリケーショングループG2およびG5は同一の“システムリスト”により構成されているので、両アプリケーショングループともに任意のシステム上で実行できる。クラスタ管理アプリケーションは、2つのグループの障害迂回のノードの選択を順番に行うことができる。標準では最初となるG2は、“システムリスト”で最低の優先順位であるSvr1上で開始され、それにより、Svr1の“限界”を使い果たす。次いで、G5は、グループG5の“システムリスト”の順で次のシステム上で開始される。G5はSvr3上でオンラインで実行される。最初の障害に続いてクラスタはここで次のようになる:
Svr2が直ちに修理できない場合、クラスタはSvr2またはSvr3上の個々のアプリケーショングループの障害を許容できるが、それ以上のノード障害には不可能である。
下記のクラスタ見本は、単純な負荷に基づく起動および障害迂回の使用を示す。“システム領域”、“限界”、および“必要条件”は用いない。
クラスタは4つの同一のシステムから成り、それぞれは同一の容量を有する。様々な負荷をもつ8つのアプリケーショングループ、G1〜G8がクラスタ中で実行されている。
上記のように、アプリケーショングループは、システム上で開始されると直ぐに待ち行列に配置される。本実施例では、アプリケーショングループは、アプリケーショングループG1〜G8が記述されるのと同じ順序で待ち行列に配置される。
最初の障害シナリオで、Svr4が障害を発生したと仮定すると、障害決定のためにG4およびG5を直ちに待ち行列に入れる。G4は、Svr1およびSvr3が“利用可能容量”=50をもち、Svr1が標準では最初なので、Svr1上で開始される。G5はSvr3上でオンラインで実行される。Svr1の“障害決定”は、連続的に成され、実際のオンラインおよびオフラインの動作は成されない。障害迂回選択を連続的にすることにより、完全な負荷に基づく制御が可能となり、一実施の形態では、全体の障害迂回時間に1秒未満を加える。
Svr4が直ちに修理できないと仮定すると、さらに障害が発生する可能性がある。この例として、今度はSvr3が障害を発生すると仮定する。各アプリケーショングループG3、G5およびG7は、それぞれサーバSvr1、Svr2およびSvr1上で再起動される。これらの再起動は結果的に以下の構成を生じる:
下記の実施例は、多数のシステム“容量”および各種の“限界”を用いる4システムのクラスタを示す。クラスタは2つの“企業用”サーバ(LgSvr1およびLgSvr2)、および2つの“中規模”サーバ(MedSvr1およびMedSvr2)から成っている。4つのアプリケーショングループG1〜G4が、各種の“負荷”および“必要条件”を提供される。G1およびG2は、特定の共有メモリおよびセマフォの要件をもつデータベースアプリケーショングループである。G3およびG4は、特定の共有メモリまたはセマフォの要件をもたず、単純に所定のシステムに負荷を加えるだけの中級アプリケーショングループである。
以下は、上記のmain.cfの例を用いた“自動開始”動作の可能性のある結果である:
G1-LgSvr1
G2-LgSvr2
G3-MedSvr1
G4-MedSvr2
アプリケーショングループG3およびG4は、それぞれMedSvr1およびMedSvr2上で開始される。
最初の障害の例では、システムLgSvr2が障害を発生していると仮定する。クラスタ管理アプリケーションは、LgSvr2と同じ“システム領域”グループを有するG2の“システムリスト”内で利用可能システムを精査する。次いで、クラスタ管理アプリケーションは、アプリケーショングループの“必要条件”を満たすシステムのサブセットを作成する。この場合、LgSvr1は、すべての必要な“限界”を満たす。G2は、LgSvr1上でオンラインとなり、以下の構成を結果として生じる:
このシナリオでは、各システムが残りの“限界”を十分に有して、ピアシステム上で実行されるアプリケーショングループに対処するので、システムのさらなる障害が許容される。
障害が、それに代わって、まだオフラインのLgSvr1、LgSvr2により発生した場合、アプリケーショングループG1およびG2の障害迂回は、障害迂回決定処理に対して順番に行われる。この場合、データベース領域にはシステムは存在しない。標準ではG1となる最初のグループは、MedSvr2が、すべての“限界”を満たし、かつ最大の“利用可能容量”を有するので、MedSvr2上で開始される。グループG2は、残りのシステムではMedSvr1だけが“限界”を満たすので、MedSvr1上で開始される。
以下の実施例は、多数のアプリケーションおよび幾つかの大規模データベースを実行している複雑な8ノードクラスタを示す。データベースサーバは、すべて大規模な企業用システムのLgSvr1、LgSvr2、およびLgSvr3である。多数のアプリケーションを実行している中級サーバは、MedSvr1、MedSvr2、MedSvr3、MedSvr4、およびMedSvr5である。
上記の構成ファイル実施例を用いて、以下の“自動開始シーケンス”が可能である:
データベース1−LgSvr1
データベース2−LgSvr2
データベース3−LgSvr3
アプリケーション1−MedSvr1
アプリケーション2−MedSvr2
アプリケーション3−MedSvr3
アプリケーション4−MedSvr4
アプリケーション5−MedSvr5
上記構成は、“障害迂回ポリシー”=“負荷”および“システム領域”を示す。データベース領域(“システム領域”ゼロ)は、2つの障害まで扱うことができる。各サーバは、適度な“限界”を有し、3つまでのデータベースアプリケーショングループをサポートする(すべてのデータベースアプリケーショングループが1台のサーバ上で実行される場合、性能低下が予想される)。同様に、アプリケーション領域は、各システムに組み込まれた過剰な容量を有している。
2つのデータベースグループが1台のサーバ上で実行されていて(または3つのデータベースが第2の障害に続いて)、特定データベースの性能が許容できない場合、“システム領域ポリシー”は別の有用な効果を有する。データベースグループをアプリケーション領域に入れる障害は、好適な領域をリセットする効果を有する。例えば、上記シナリオで、“データベース1”はLgSvr1に移動している。管理者は、アプリケーション領域を再構成して2つのアプリケーショングループを1つのシステムに移動できる。次いで、データベースアプリケーションを空のアプリケーションサーバ(MedSvr1〜MedSvr5)に切り換えることができる。これは、“データベース1”を“領域1”(アプリケーション領域)に配置することになる。障害が“データベース1”で生じている場合、“必要条件”を満たすアプリケーション領域内の最小負荷のサーバが、障害迂回ターゲットとして選択される。
図17は、本発明を実装するために適したコンピュータシステム10のブロック図を示す。コンピュータシステム10は、バス12を含み、そのバスは、中央プロセッサ14、システムメモリ16(典型的にはRAMであるが、ROM、フラッシュRAM等を含んでもよい)、入出力コントローラ18、オーディオ出力インターフェース22を介するスピーカーシステム20等の外部オーディオ装置、ディスプレイアダプタ26を介するディスプレイスクリーン24等の外部装置、シリアルポート28および30、キーボード32(キーボードコントローラ33によりインターフェースされる)、ストレージインターフェース34、フロッピーディスク38を受け取って動作可能なフロッピーディスクドライブ36、およびCD−ROM42を受け取って動作可能なCD−ROMドライブ40等の、コンピュータシステム10の主要なサブシステムを相互接続している。また、マウス46(または、シリアルポート28を介してバス12に接続される他のポイントアンドクリックデバイス)、モデム47(シリアルポート30を介してバス12に接続される)、およびネットワークインターフェース48(バス12に直接接続される)をも含む。
本発明は、説明した利点、および本質的な他の利点を取得するよう十分適合している。本発明の特定の実施の形態を参照することにより、本発明を図示し、説明し、そして定義したが、かかる参照は、本発明の制限を意味せず、かかる制限を推測すべきではない。本発明は、関連技術に普通に精通する者なら思い浮かぶように、形状および機能において、多くの改変、代替、および等価物が可能である。図示し、説明した実施の形態は単に例示に過ぎず、本発明の範囲を網羅してはいない。
結果的に、本発明は、すべての点で等価物に完全な認識を与える添付の請求の範囲によってのみ制限されることを意図している。
Claims (22)
- 複数のシステムから成る一群のシステムを識別するステップであって、前記一群のシステムにおける各システムが複数のアプリケーションのうちの第1のアプリケーションをホストするための要件を満たし、前記システムが少なくとも一つのクラスタを形成するものと;
前記一群のシステムが空の場合、解放するリソースを識別するために前記各アプリケーションの各自の優先順位を用いるステップであって、該リソースは複数のリソースのうちの一つであり、各リソースは前記システムのうちの少なくとも一つと関連付けられているものと;
を具備する方法。 - 前記リソースを識別することは、更に、該リソースを識別するために前記各システムのそれぞれの容量を用いることを含む請求項1の方法。
- 更に、前記システムのうちの関係付けられたシステムが、前記第1のアプリケーションをホストするための前記要件を満たすように前記リソースを解放するステップを具備する請求項1の方法。
- 更に、前記関連付けられたシステム上で前記第1のアプリケーションを開始するステップを具備する請求項3の方法。
- 前記リソースを解放するステップが、前記リソースを用いている第2のアプリケーションを停止するステップを具備し、前記第2のアプリケーションは、前記第1のアプリケーションの各自優先順位よりも下位の各自優先順位を有する請求項3の方法。
- 前記リソースを解放するステップが、前記リソースを用いている第2のアプリケーションを、前記システム内の第2のシステムに移動するステップを具備し、前記第2のアプリケーションは、前記第1のアプリケーションの各自優先順位よりも下位の各自優先順位を有する、請求項3の方法。
- 更に、前記第1のアプリケーションを開始すべきであることを決定するステップを具備する請求項1の方法。
- 前記第1のアプリケーションを開始すべきであることを決定するステップは、前記第1のアプリケーションが障害を起こしていることを検出するステップを具備する請求項7の方法。
- 前記第1のアプリケーションを開始すべきであることを決定するステップは、
前記第1のアプリケーションの各自の優先順位を、前記システム上で実行されているアプリケーション群の各優先順位群と比較するステップと;
前記第1のアプリケーションの各自の優先順位が、前記システム上で実行されている前記アプリケーション群の前記各優先順位群のうちの一つより上位である場合に、前記第1のアプリケーションを開始すべきであることを決定するステップと、
を具備する請求項7の方法。 - 前記一群のシステムを識別するステップは、或る選択されたシステムが前記第1のアプリケーションの必要条件を満たす場合、前記一群のシステム中に該選択されたシステムを含めるようにすることを含む、請求項1の方法。
- 前記一群のシステムを識別するステップは、前記第1のアプリケーションが、或る選択されたシステムの限界を超えない場合、前記一群のシステム中に該選択されたシステムを含めるようにすることを含む、請求項1の方法。
- 複数のシステムから成る一群のシステムを識別する識別モジュールであって、前記一群のシステムにおける各システムが複数のアプリケーションのうちの第1のアプリケーションをホストするための要件を満たし、前記システムが少なくとも一つのクラスタを形成するものと;
前記一群のシステムが空の場合、解放するリソースを識別するために前記各アプリケーションの各自の優先順位を用いる優先順位モジュールであって、該リソースは複数のリソースのうちの一つであり、各リソースは前記システムのうちの少なくとも一つと関連付けられているものと;
を備える装置。 - 前記優先順位モジュールは、更に、前記リソースを識別するために前記各システムのそれぞれの容量を用いることを含む請求項12の装置。
- 更に、前記システムのうちの関連付けられたシステムが、前記第1のアプリケーションをホストするための要件を満たすように前記リソースを解放する解放モジュールを備える請求項12の装置。
- 更に、前記関連付けられたシステム上で前記第1のアプリケーションを開始する開始モジュールを備える請求項14の装置。
- 前記解放モジュールは、前記リソースを用いている第2のアプリケーションを停止する停止モジュールを備え、前記第2のアプリケーションは、前記第1のアプリケーションの各自優先順位よりも下位の各自優先順位を有する請求項14の装置。
- 前記解放モジュールは、前記リソースを用いている第2のアプリケーションを前記システム内の第2のシステムに移動する移動モジュールを備え、前記第2のアプリケーションは、前記第1のアプリケーションの各自優先順位よりも下位の各自優先順位を有する、請求項14の装置。
- 更に、前記第1のアプリケーションを開始すべきであることを決定する決定モジュールを備える請求項12の装置。
- 前記決定モジュールは、前記第1のアプリケーションが障害を起こしていることを検出する検出モジュールを備える、請求項18の装置。
- 前記決定モジュールは、
前記第1のアプリケーションの各自の優先順位を、前記システム上で実行されているアプリケーション群の各優先順位群と比較する比較モジュールを備え、
前記第1のアプリケーションの各自の優先順位が、前記システム上で実行されている前記アプリケーション群の前記各優先順位群のうちの一つより上位である場合に、前記決定モジュールは、前記第1のアプリケーションを開始すべきであることを決定する、
請求項18の装置。 - 前記識別モジュールは、或る選択されたシステムが前記第1のアプリケーションの必要条件を満たす場合、前記一群のシステム中に該選択されたシステムを含めるようにする包含モジュールを備える、請求項12の装置。
- 前記識別モジュールは、前記第1のアプリケーションが、或る選択されたシステムの限界を超えない場合、前記一群のシステム中に該選択されたシステムを含めるようにする包含モジュールを備える、請求項12の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/159,366 US7529822B2 (en) | 2002-05-31 | 2002-05-31 | Business continuation policy for server consolidation environment |
PCT/US2003/017189 WO2003102772A2 (en) | 2002-05-31 | 2003-05-30 | Business continuation policy for server consolidation environment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005528691A true JP2005528691A (ja) | 2005-09-22 |
JP4620455B2 JP4620455B2 (ja) | 2011-01-26 |
Family
ID=29709668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004509790A Expired - Fee Related JP4620455B2 (ja) | 2002-05-31 | 2003-05-30 | サーバ連結環境のための業務継続ポリシー |
Country Status (8)
Country | Link |
---|---|
US (2) | US7529822B2 (ja) |
EP (1) | EP1516252B1 (ja) |
JP (1) | JP4620455B2 (ja) |
CN (1) | CN1669001B (ja) |
AU (1) | AU2003249673A1 (ja) |
CA (1) | CA2486998C (ja) |
DE (1) | DE60325055D1 (ja) |
WO (1) | WO2003102772A2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007011426A (ja) * | 2005-06-28 | 2007-01-18 | Nec Electronics Corp | 処理装置 |
JP2007249445A (ja) * | 2006-03-15 | 2007-09-27 | Hitachi Ltd | クラスタシステムの負荷分散制御方法およびその装置 |
JP2009238114A (ja) * | 2008-03-28 | 2009-10-15 | Hitachi Ltd | ストレージ管理方法、ストレージ管理プログラム、ストレージ管理装置およびストレージ管理システム |
JP2010198404A (ja) * | 2009-02-26 | 2010-09-09 | Nec Corp | 情報処理システム、ディザスタリカバリ方法及びディザスタリカバリプログラム |
JP2011013892A (ja) * | 2009-07-01 | 2011-01-20 | Canon Inc | データ処理装置、データ処理装置の制御方法、及びプログラム |
JP2012018438A (ja) * | 2010-07-06 | 2012-01-26 | Hitachi Ltd | トレースシステム |
JP2012168816A (ja) * | 2011-02-15 | 2012-09-06 | Nec System Technologies Ltd | プロセス再起動装置、プロセス再起動方法およびプロセス再起動プログラム |
JP2013205859A (ja) * | 2012-03-27 | 2013-10-07 | Hitachi Solutions Ltd | 分散コンピューティングシステム |
JP2015522876A (ja) * | 2012-06-04 | 2015-08-06 | アルカテル−ルーセント | クラウドベースアプリケーションの単一障害点の排除のための、方法および装置 |
JP2015523644A (ja) * | 2012-05-30 | 2015-08-13 | シマンテック コーポレーションSymantec Corporation | 多層構成アプリケーションの災害復旧のためのシステム及び方法 |
JP6143981B1 (ja) * | 2016-03-22 | 2017-06-07 | 三菱電機株式会社 | 情報処理システム、情報処理装置及び情報処理方法 |
WO2017163447A1 (ja) * | 2016-03-22 | 2017-09-28 | 三菱電機株式会社 | 情報処理システム、情報処理装置及び情報処理方法 |
JP2019197302A (ja) * | 2018-05-08 | 2019-11-14 | 三菱電機株式会社 | 情報処理システム、情報処理装置及びプログラム |
Families Citing this family (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7124320B1 (en) * | 2002-08-06 | 2006-10-17 | Novell, Inc. | Cluster failover via distributed configuration repository |
US7219254B2 (en) * | 2003-03-19 | 2007-05-15 | Lucent Technologies Inc. | Method and apparatus for high availability distributed processing across independent networked computer fault groups |
US7127637B2 (en) * | 2003-03-19 | 2006-10-24 | Lucent Technologies Inc. | Method and apparatus for high availability distributed processing across independent networked computer fault groups |
US7149918B2 (en) * | 2003-03-19 | 2006-12-12 | Lucent Technologies Inc. | Method and apparatus for high availability distributed processing across independent networked computer fault groups |
US7134046B2 (en) * | 2003-03-19 | 2006-11-07 | Lucent Technologies Inc. | Method and apparatus for high availability distributed processing across independent networked computer fault groups |
WO2004093391A1 (ja) * | 2003-04-10 | 2004-10-28 | Fujitsu Limited | 関係管理制御プログラム、装置、及びシステム |
JP2007524144A (ja) * | 2003-06-18 | 2007-08-23 | フジツー シーメンス コンピュータース ゲゼルシャフト ミット ベシュレンクテル ハフツング | クラスタ装置 |
US7302477B2 (en) * | 2003-07-31 | 2007-11-27 | International Business Machines Corporation | Administration tool for gathering information about systems and applications including the feature of high availability |
US20060064400A1 (en) | 2004-09-21 | 2006-03-23 | Oracle International Corporation, A California Corporation | Methods, systems and software for identifying and managing database work |
US7664847B2 (en) * | 2003-08-14 | 2010-02-16 | Oracle International Corporation | Managing workload by service |
US7747717B2 (en) * | 2003-08-14 | 2010-06-29 | Oracle International Corporation | Fast application notification in a clustered computing system |
US7668935B2 (en) * | 2003-08-29 | 2010-02-23 | Kabushiki Kaisha Toshiba | Computer system and method for service load distributing |
US7612903B2 (en) | 2003-09-08 | 2009-11-03 | Castelle | Line utilization in integrated document delivery method and apparatus |
DE102004005128B3 (de) * | 2004-02-02 | 2005-01-05 | Fujitsu Siemens Computers Gmbh | Anordnung mehrerer Rechner und Verfahren zum Betreiben einer Anordnung mehrerer Rechner bei einem Rechnerausfall |
US7757033B1 (en) | 2004-02-13 | 2010-07-13 | Habanero Holdings, Inc. | Data exchanges among SMP physical partitions and I/O interfaces enterprise servers |
US7843906B1 (en) | 2004-02-13 | 2010-11-30 | Habanero Holdings, Inc. | Storage gateway initiator for fabric-backplane enterprise servers |
US7873693B1 (en) | 2004-02-13 | 2011-01-18 | Habanero Holdings, Inc. | Multi-chassis fabric-backplane enterprise servers |
US7633955B1 (en) | 2004-02-13 | 2009-12-15 | Habanero Holdings, Inc. | SCSI transport for fabric-backplane enterprise servers |
US7685281B1 (en) | 2004-02-13 | 2010-03-23 | Habanero Holdings, Inc. | Programmatic instantiation, provisioning and management of fabric-backplane enterprise servers |
US8868790B2 (en) | 2004-02-13 | 2014-10-21 | Oracle International Corporation | Processor-memory module performance acceleration in fabric-backplane enterprise servers |
US7900206B1 (en) * | 2004-03-31 | 2011-03-01 | Symantec Operating Corporation | Information technology process workflow for data centers |
CN100345460C (zh) * | 2004-04-05 | 2007-10-24 | 华为技术有限公司 | 进行资源释放的方法 |
US8713295B2 (en) | 2004-07-12 | 2014-04-29 | Oracle International Corporation | Fabric-backplane enterprise servers with pluggable I/O sub-system |
US7872989B1 (en) * | 2004-07-12 | 2011-01-18 | Habanero Holdings, Inc. | Full mesh optimization for spanning tree protocol |
US7904910B2 (en) * | 2004-07-19 | 2011-03-08 | Hewlett-Packard Development Company, L.P. | Cluster system and method for operating cluster nodes |
US7543020B2 (en) | 2005-02-10 | 2009-06-02 | Cisco Technology, Inc. | Distributed client services based on execution of service attributes and data attributes by multiple nodes in resource groups |
US8051170B2 (en) * | 2005-02-10 | 2011-11-01 | Cisco Technology, Inc. | Distributed computing based on multiple nodes with determined capacity selectively joining resource groups having resource requirements |
US9361156B2 (en) * | 2005-03-14 | 2016-06-07 | 2236008 Ontario Inc. | Adaptive partitioning for operating system |
US20060248371A1 (en) * | 2005-04-28 | 2006-11-02 | International Business Machines Corporation | Method and apparatus for a common cluster model for configuring, managing, and operating different clustering technologies in a data center |
US8195976B2 (en) * | 2005-06-29 | 2012-06-05 | International Business Machines Corporation | Fault-tolerance and fault-containment models for zoning clustered application silos into continuous availability and high availability zones in clustered systems during recovery and maintenance |
US8326990B1 (en) | 2005-07-15 | 2012-12-04 | Symantec Operating Corporation | Automated optimal workload balancing during failover in share-nothing database systems |
US7823029B2 (en) * | 2005-09-07 | 2010-10-26 | International Business Machines Corporation | Failure recognition, notification, and prevention for learning and self-healing capabilities in a monitored system |
US8082545B2 (en) * | 2005-09-09 | 2011-12-20 | Oracle America, Inc. | Task dispatch monitoring for dynamic adaptation to system conditions |
US7577868B2 (en) * | 2005-09-30 | 2009-08-18 | Lockheed Martin Corporation | No data loss IT disaster recovery over extended distances |
US7934116B2 (en) * | 2005-09-30 | 2011-04-26 | Lockheed Martin Corporation | Disaster recover/continuity of business adaptive solution framework |
US7933987B2 (en) * | 2005-09-30 | 2011-04-26 | Lockheed Martin Corporation | Application of virtual servers to high availability and disaster recovery solutions |
US7702789B2 (en) * | 2005-11-03 | 2010-04-20 | International Business Machines Corporation | Apparatus, system, and method for reassigning a client |
EP1955235A4 (en) * | 2005-11-25 | 2010-11-10 | Continuity Software Ltd | SYSTEM AND METHOD FOR MANAGING DATA PROTECTION RESOURCES |
DE102006001257A1 (de) * | 2005-12-30 | 2007-07-12 | Advanced Micro Devices, Inc., Sunnyvale | Automatisiertes Zustandabschätzungssystem für Cluster-Anlagen und Verfahren zum Betreiben des Systems |
JP4920391B2 (ja) * | 2006-01-06 | 2012-04-18 | 株式会社日立製作所 | 計算機システムの管理方法、管理サーバ、計算機システム及びプログラム |
WO2007122030A1 (en) * | 2006-04-20 | 2007-11-01 | International Business Machines Corporation | Method, system and computer program for the centralized system management on endpoints of a distributed data processing system |
US8964728B2 (en) * | 2007-11-30 | 2015-02-24 | Idt Corporation | Optimization of consolidating entities |
US8209405B1 (en) | 2006-06-12 | 2012-06-26 | Juniper Networks, Inc. | Failover scheme with service-based segregation |
US8291042B2 (en) * | 2006-07-31 | 2012-10-16 | Lenovo (Singapore) Pte. Ltd. | On-demand groupware computing |
US7743244B2 (en) * | 2006-10-31 | 2010-06-22 | Hewlett-Packard Development Company, L.P. | Computer system model generation with tracking of actual computer system configuration |
US9270781B2 (en) * | 2007-02-15 | 2016-02-23 | Citrix Systems, Inc. | Associating virtual machines on a server computer with particular users on an exclusive basis |
US9043391B2 (en) | 2007-02-15 | 2015-05-26 | Citrix Systems, Inc. | Capturing and restoring session state of a machine without using memory images |
US8713186B2 (en) * | 2007-03-13 | 2014-04-29 | Oracle International Corporation | Server-side connection resource pooling |
US7802128B2 (en) * | 2007-03-26 | 2010-09-21 | Oracle International Corporation | Method to avoid continuous application failovers in a cluster |
US7730091B2 (en) * | 2007-08-31 | 2010-06-01 | International Business Machines Corporation | Systems, methods and computer products for database cluster modeling |
US20090063501A1 (en) * | 2007-08-31 | 2009-03-05 | International Business Machines Corporation | Systems, methods and computer products for generating policy based fail over configuration for darabase clusters |
US8683033B2 (en) * | 2007-09-17 | 2014-03-25 | International Business Machines Corporation | Apparatus, system, and method for server failover to standby server during broadcast storm or denial-of-service attack |
US8230446B2 (en) * | 2007-11-28 | 2012-07-24 | International Business Machines Corporation | Providing a computing system with real-time capabilities |
US8171501B2 (en) | 2007-12-12 | 2012-05-01 | International Business Machines Corporation | Use of modes for computer cluster management |
US7930489B2 (en) * | 2008-03-28 | 2011-04-19 | Symantec Corporation | Techniques for optimizing configuration partitioning |
US8370679B1 (en) * | 2008-06-30 | 2013-02-05 | Symantec Corporation | Method, apparatus and system for improving failover within a high availability disaster recovery environment |
JP2010086363A (ja) * | 2008-10-01 | 2010-04-15 | Fujitsu Ltd | 情報処理装置及び装置構成組み換え制御方法 |
US20100111105A1 (en) * | 2008-10-30 | 2010-05-06 | Ken Hamilton | Data center and data center design |
US8793529B2 (en) * | 2008-11-04 | 2014-07-29 | Verizon Patent And Licensing Inc. | Congestion control method for session based network traffic |
JP4648447B2 (ja) * | 2008-11-26 | 2011-03-09 | 株式会社日立製作所 | 障害復旧方法、プログラムおよび管理サーバ |
US8117487B1 (en) * | 2008-12-29 | 2012-02-14 | Symantec Corporation | Method and apparatus for proactively monitoring application health data to achieve workload management and high availability |
US8533533B2 (en) * | 2009-02-27 | 2013-09-10 | Red Hat, Inc. | Monitoring processes via autocorrelation |
US8327186B2 (en) * | 2009-03-10 | 2012-12-04 | Netapp, Inc. | Takeover of a failed node of a cluster storage system on a per aggregate basis |
US8145838B1 (en) | 2009-03-10 | 2012-03-27 | Netapp, Inc. | Processing and distributing write logs of nodes of a cluster storage system |
US8595740B2 (en) | 2009-03-31 | 2013-11-26 | Microsoft Corporation | Priority-based management of system load level |
US8069366B1 (en) | 2009-04-29 | 2011-11-29 | Netapp, Inc. | Global write-log device for managing write logs of nodes of a cluster storage system |
US8195685B2 (en) * | 2009-06-03 | 2012-06-05 | International Business Machines Corporation | Service grouping and allocation method and system |
US7992031B2 (en) * | 2009-07-24 | 2011-08-02 | International Business Machines Corporation | Automated disaster recovery planning |
US8805983B2 (en) * | 2009-10-19 | 2014-08-12 | Dell Products L.P. | Local externally accessible managed virtual network interface controller |
US8695012B2 (en) | 2010-02-05 | 2014-04-08 | Telefonaktiebolaget L M Ericsson (Publ) | Load and backup assignment balancing in high availability systems |
US9734034B2 (en) * | 2010-04-09 | 2017-08-15 | Hewlett Packard Enterprise Development Lp | System and method for processing data |
US8413144B1 (en) * | 2010-07-30 | 2013-04-02 | Symantec Corporation | Providing application-aware high availability of virtual machines |
US8424000B2 (en) * | 2010-07-30 | 2013-04-16 | Symantec Corporation | Providing application high availability in highly-available virtual machine environments |
US9858133B2 (en) * | 2010-09-20 | 2018-01-02 | Netflix, Inc. | Techniques for assessing the resiliency of a distribution computing service provided by a collection of interacting servers |
US8589728B2 (en) * | 2010-09-20 | 2013-11-19 | International Business Machines Corporation | Job migration in response to loss or degradation of a semi-redundant component |
KR101894282B1 (ko) * | 2011-07-29 | 2018-09-03 | 삼성전자 주식회사 | 단말기 온도 제어 방법 및 이를 지원하는 단말기 |
US8554919B2 (en) | 2011-09-09 | 2013-10-08 | Microsoft Corporation | Automatic preemption in multiple computer systems |
US9154367B1 (en) * | 2011-12-27 | 2015-10-06 | Google Inc. | Load balancing and content preservation |
US9438642B2 (en) * | 2012-05-01 | 2016-09-06 | Google Technology Holdings LLC | Methods for coordinating communications between a plurality of communication devices of a user |
US9560108B2 (en) | 2012-09-13 | 2017-01-31 | Google Technology Holdings LLC | Providing a mobile access point |
CN103716411B (zh) * | 2014-01-07 | 2017-06-23 | 国家电网公司 | 一种基于SGWM的230 MHz用电信息采集终端远程通信方法 |
US10965756B2 (en) * | 2014-09-16 | 2021-03-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Sensor system of master and slave sensors, and method therein |
US10896464B2 (en) * | 2014-09-19 | 2021-01-19 | Trading Technologies International, Inc. | System, method, and tool for synthetic order recovery |
US9811428B2 (en) | 2014-09-22 | 2017-11-07 | Netapp Inc. | System and method for handling multi-node failures in a disaster recovery cluster |
US9880818B2 (en) * | 2014-11-05 | 2018-01-30 | Ab Initio Technology Llc | Application testing |
FR3031203B1 (fr) * | 2014-12-24 | 2017-03-24 | Bull Sas | Methode d'ordonnancement de taches au niveau des noeuds d'un cluster informatique, ordonnanceur de taches et cluster associes |
CN105786550B (zh) * | 2014-12-26 | 2020-07-24 | 联想(北京)有限公司 | 一种内存应用处理方法及装置 |
TWI562567B (en) * | 2015-03-23 | 2016-12-11 | Ind Tech Res Inst | Method of automatically managing applications on digital convergence gateways, system therefor and apparatus therewith |
US9948711B2 (en) * | 2015-06-15 | 2018-04-17 | International Business Machines Corporation | Allocating and managing cloud computing resources for disaster recovery |
FR3038751B1 (fr) * | 2015-07-07 | 2018-05-11 | Thales | Procede d'integration d'une application d'optimisation de route (s) sous contraintes dans un systeme embarque avionique a architecture ouverte de type client serveur |
CN105007336B (zh) * | 2015-08-14 | 2018-06-29 | 深圳市云舒网络技术有限公司 | 服务器的负载均衡方法及其*** |
US9952932B2 (en) | 2015-11-02 | 2018-04-24 | Chicago Mercantile Exchange Inc. | Clustered fault tolerance systems and methods using load-based failover |
US10936289B2 (en) | 2016-06-03 | 2021-03-02 | Ab Initio Technology Llc | Format-specific data processing operations |
US10474653B2 (en) | 2016-09-30 | 2019-11-12 | Oracle International Corporation | Flexible in-memory column store placement |
CN106776038B (zh) * | 2016-12-30 | 2019-12-27 | Oppo广东移动通信有限公司 | 一种热门应用资源分配方法及移动终端 |
US10635981B2 (en) * | 2017-01-18 | 2020-04-28 | Microsoft Technology Licensing, Llc | Automated movement orchestration |
US20190034254A1 (en) * | 2017-07-31 | 2019-01-31 | Cisco Technology, Inc. | Application-based network anomaly management |
US10635334B1 (en) | 2017-09-28 | 2020-04-28 | EMC IP Holding Company LLC | Rule based data transfer model to cloud |
US10754368B1 (en) * | 2017-10-27 | 2020-08-25 | EMC IP Holding Company LLC | Method and system for load balancing backup resources |
US10942779B1 (en) | 2017-10-27 | 2021-03-09 | EMC IP Holding Company LLC | Method and system for compliance map engine |
US10834189B1 (en) | 2018-01-10 | 2020-11-10 | EMC IP Holding Company LLC | System and method for managing workload in a pooled environment |
US10509587B2 (en) | 2018-04-24 | 2019-12-17 | EMC IP Holding Company LLC | System and method for high priority backup |
US10769030B2 (en) | 2018-04-25 | 2020-09-08 | EMC IP Holding Company LLC | System and method for improved cache performance |
US10365964B1 (en) * | 2018-05-31 | 2019-07-30 | Capital One Services, Llc | Data processing platform monitoring |
US10901824B2 (en) * | 2018-07-20 | 2021-01-26 | Microsoft Technology Licensing, Llc | Opportunistic offlining for faulty devices in datacenters |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63200257A (ja) * | 1987-02-16 | 1988-08-18 | Mitsubishi Electric Corp | コンピユ−タのプログラムロ−ド方式 |
JPH0675774A (ja) * | 1992-08-25 | 1994-03-18 | Mutoh Ind Ltd | Cad処理方法および装置 |
JPH09231019A (ja) * | 1996-02-23 | 1997-09-05 | Canon Inc | 情報処理装置並びに印刷装置並びに印刷システムおよび印刷システムのデータ処理方法 |
JPH1097435A (ja) * | 1996-09-20 | 1998-04-14 | Nec Corp | 資源割当てシステム |
JPH10187638A (ja) * | 1996-10-28 | 1998-07-21 | Mitsubishi Electric Corp | クラスタ制御システム |
JP2000293386A (ja) * | 1999-04-12 | 2000-10-20 | Hitachi Ltd | メモリ管理方式 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1993020511A1 (en) | 1992-03-31 | 1993-10-14 | Aggregate Computing, Inc. | An integrated remote execution system for a heterogenous computer network environment |
JP3658420B2 (ja) * | 1994-04-14 | 2005-06-08 | 株式会社日立製作所 | 分散処理システム |
US5680610A (en) * | 1995-01-19 | 1997-10-21 | Unisys Corporation | Method and apparatus for testing recovery scenarios in global transaction processing systems |
US5737514A (en) * | 1995-11-29 | 1998-04-07 | Texas Micro, Inc. | Remote checkpoint memory system and protocol for fault-tolerant computer system |
US6128657A (en) * | 1996-02-14 | 2000-10-03 | Fujitsu Limited | Load sharing system |
US6212562B1 (en) | 1997-03-28 | 2001-04-03 | Honeywell International Inc. | Criticality and quality of service (QoS) based resource management |
US6363497B1 (en) * | 1997-05-13 | 2002-03-26 | Micron Technology, Inc. | System for clustering software applications |
US6145089A (en) * | 1997-11-10 | 2000-11-07 | Legato Systems, Inc. | Server fail-over system |
US6243825B1 (en) * | 1998-04-17 | 2001-06-05 | Microsoft Corporation | Method and system for transparently failing over a computer name in a server cluster |
US6947987B2 (en) | 1998-05-29 | 2005-09-20 | Ncr Corporation | Method and apparatus for allocating network resources and changing the allocation based on dynamic workload changes |
ATE450003T1 (de) * | 1998-08-01 | 2009-12-15 | Ibm | Komputergesteuerte verfahren und system zum implementieren von verteilten anwendungen |
US6910210B1 (en) | 1998-11-24 | 2005-06-21 | Microsoft Corp. | System and method for terminating applications |
US6430570B1 (en) | 1999-03-01 | 2002-08-06 | Hewlett-Packard Company | Java application manager for embedded device |
US6401120B1 (en) * | 1999-03-26 | 2002-06-04 | Microsoft Corporation | Method and system for consistent cluster operational data in a server cluster using a quorum of replicas |
US7076783B1 (en) | 1999-05-28 | 2006-07-11 | Oracle International Corporation | Providing figure of merit vote from application executing on a partitioned cluster |
US6553401B1 (en) * | 1999-07-09 | 2003-04-22 | Ncr Corporation | System for implementing a high volume availability server cluster including both sharing volume of a mass storage on a local site and mirroring a shared volume on a remote site |
US6874145B1 (en) | 1999-07-13 | 2005-03-29 | Sun Microsystems, Inc. | Methods and apparatus for implementing an application lifecycle design for applications |
US20040205414A1 (en) * | 1999-07-26 | 2004-10-14 | Roselli Drew Schaffer | Fault-tolerance framework for an extendable computer architecture |
US6594784B1 (en) * | 1999-11-17 | 2003-07-15 | International Business Machines Corporation | Method and system for transparent time-based selective software rejuvenation |
US6662219B1 (en) | 1999-12-15 | 2003-12-09 | Microsoft Corporation | System for determining at subgroup of nodes relative weight to represent cluster by obtaining exclusive possession of quorum resource |
US6799208B1 (en) | 2000-05-02 | 2004-09-28 | Microsoft Corporation | Resource manager architecture |
US6865591B1 (en) * | 2000-06-30 | 2005-03-08 | Intel Corporation | Apparatus and method for building distributed fault-tolerant/high-availability computed applications |
US7448079B2 (en) * | 2000-07-05 | 2008-11-04 | Ernst & Young, Llp | Method and apparatus for providing computer services |
GB0020488D0 (en) * | 2000-08-18 | 2000-10-11 | Hewlett Packard Co | Trusted status rollback |
US20020147966A1 (en) * | 2001-02-14 | 2002-10-10 | Ncr Corporation | Operating software performance monitor |
US6922791B2 (en) * | 2001-08-09 | 2005-07-26 | Dell Products L.P. | Failover system and method for cluster environment |
US6823382B2 (en) | 2001-08-20 | 2004-11-23 | Altaworks Corporation | Monitoring and control engine for multi-tiered service-level management of distributed web-application servers |
US6934880B2 (en) * | 2001-11-21 | 2005-08-23 | Exanet, Inc. | Functional fail-over apparatus and method of operation thereof |
US7392421B1 (en) * | 2002-03-18 | 2008-06-24 | Symantec Operating Corporation | Framework for managing clustering and replication |
US9137324B2 (en) | 2002-04-10 | 2015-09-15 | International Business Machines Corporation | Capacity on-demand in distributed computing environments |
US6996728B2 (en) * | 2002-04-26 | 2006-02-07 | Hewlett-Packard Development Company, L.P. | Managing power consumption based on utilization statistics |
-
2002
- 2002-05-31 US US10/159,366 patent/US7529822B2/en not_active Expired - Lifetime
-
2003
- 2003-05-30 WO PCT/US2003/017189 patent/WO2003102772A2/en active Application Filing
- 2003-05-30 CN CN038165287A patent/CN1669001B/zh not_active Expired - Lifetime
- 2003-05-30 CA CA2486998A patent/CA2486998C/en not_active Expired - Lifetime
- 2003-05-30 EP EP03756324A patent/EP1516252B1/en not_active Expired - Lifetime
- 2003-05-30 JP JP2004509790A patent/JP4620455B2/ja not_active Expired - Fee Related
- 2003-05-30 AU AU2003249673A patent/AU2003249673A1/en not_active Abandoned
- 2003-05-30 DE DE60325055T patent/DE60325055D1/de not_active Expired - Lifetime
- 2003-06-27 US US10/609,363 patent/US7478149B2/en not_active Expired - Lifetime
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63200257A (ja) * | 1987-02-16 | 1988-08-18 | Mitsubishi Electric Corp | コンピユ−タのプログラムロ−ド方式 |
JPH0675774A (ja) * | 1992-08-25 | 1994-03-18 | Mutoh Ind Ltd | Cad処理方法および装置 |
JPH09231019A (ja) * | 1996-02-23 | 1997-09-05 | Canon Inc | 情報処理装置並びに印刷装置並びに印刷システムおよび印刷システムのデータ処理方法 |
JPH1097435A (ja) * | 1996-09-20 | 1998-04-14 | Nec Corp | 資源割当てシステム |
JPH10187638A (ja) * | 1996-10-28 | 1998-07-21 | Mitsubishi Electric Corp | クラスタ制御システム |
JP2000293386A (ja) * | 1999-04-12 | 2000-10-20 | Hitachi Ltd | メモリ管理方式 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007011426A (ja) * | 2005-06-28 | 2007-01-18 | Nec Electronics Corp | 処理装置 |
JP2007249445A (ja) * | 2006-03-15 | 2007-09-27 | Hitachi Ltd | クラスタシステムの負荷分散制御方法およびその装置 |
JP2009238114A (ja) * | 2008-03-28 | 2009-10-15 | Hitachi Ltd | ストレージ管理方法、ストレージ管理プログラム、ストレージ管理装置およびストレージ管理システム |
JP2010198404A (ja) * | 2009-02-26 | 2010-09-09 | Nec Corp | 情報処理システム、ディザスタリカバリ方法及びディザスタリカバリプログラム |
JP2011013892A (ja) * | 2009-07-01 | 2011-01-20 | Canon Inc | データ処理装置、データ処理装置の制御方法、及びプログラム |
JP2012018438A (ja) * | 2010-07-06 | 2012-01-26 | Hitachi Ltd | トレースシステム |
JP2012168816A (ja) * | 2011-02-15 | 2012-09-06 | Nec System Technologies Ltd | プロセス再起動装置、プロセス再起動方法およびプロセス再起動プログラム |
JP2013205859A (ja) * | 2012-03-27 | 2013-10-07 | Hitachi Solutions Ltd | 分散コンピューティングシステム |
JP2015523644A (ja) * | 2012-05-30 | 2015-08-13 | シマンテック コーポレーションSymantec Corporation | 多層構成アプリケーションの災害復旧のためのシステム及び方法 |
JP2015522876A (ja) * | 2012-06-04 | 2015-08-06 | アルカテル−ルーセント | クラウドベースアプリケーションの単一障害点の排除のための、方法および装置 |
JP6143981B1 (ja) * | 2016-03-22 | 2017-06-07 | 三菱電機株式会社 | 情報処理システム、情報処理装置及び情報処理方法 |
WO2017163447A1 (ja) * | 2016-03-22 | 2017-09-28 | 三菱電機株式会社 | 情報処理システム、情報処理装置及び情報処理方法 |
US11226841B2 (en) | 2016-03-22 | 2022-01-18 | Mitsubishi Electric Corporation | Information processing system, information processing device, and information processing method |
JP2019197302A (ja) * | 2018-05-08 | 2019-11-14 | 三菱電機株式会社 | 情報処理システム、情報処理装置及びプログラム |
JP7065686B2 (ja) | 2018-05-08 | 2022-05-12 | 三菱電機株式会社 | 情報処理システム、情報処理装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN1669001B (zh) | 2010-11-17 |
US7529822B2 (en) | 2009-05-05 |
WO2003102772A3 (en) | 2004-11-11 |
EP1516252B1 (en) | 2008-12-03 |
CN1669001A (zh) | 2005-09-14 |
CA2486998A1 (en) | 2003-12-11 |
US20040153708A1 (en) | 2004-08-05 |
JP4620455B2 (ja) | 2011-01-26 |
US20090024868A1 (en) | 2009-01-22 |
WO2003102772A2 (en) | 2003-12-11 |
AU2003249673A8 (en) | 2003-12-19 |
DE60325055D1 (de) | 2009-01-15 |
AU2003249673A1 (en) | 2003-12-19 |
EP1516252A2 (en) | 2005-03-23 |
US7478149B2 (en) | 2009-01-13 |
CA2486998C (en) | 2012-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4620455B2 (ja) | サーバ連結環境のための業務継続ポリシー | |
US10942828B2 (en) | Method for storing data shards, apparatus, and system | |
US7900206B1 (en) | Information technology process workflow for data centers | |
JP5353712B2 (ja) | 冗長構成管理システムおよび方法 | |
US7574620B2 (en) | Method for operating an arrangement of a plurality of computers in the event of a computer failure | |
CN110764963B (zh) | 一种服务异常处理方法、装置及设备 | |
JP5526784B2 (ja) | 縮退構成設計システムおよび方法 | |
US10795735B1 (en) | Method and apparatus for load balancing virtual data movers between nodes of a storage cluster | |
JPH06202978A (ja) | 論理経路スケジューリング装置及び実行方法 | |
EP1410229A1 (en) | High-availability cluster virtual server system | |
CN106095571B (zh) | 多rac集群***、数据访问方法及装置 | |
CN106789308B (zh) | 一种微服务架构可自动伸缩的gis服务装置及其控制方法 | |
EP2645635B1 (en) | Cluster monitor, method for monitoring a cluster, and computer-readable recording medium | |
US10880367B2 (en) | Load balancing stretched clusters in a distributed network | |
JP2016062140A (ja) | 仮想機器管理装置、仮想機器管理方法及び仮想機器管理プログラム | |
US7555544B1 (en) | Implementation of affinities in high availability computer system clusters | |
US11544162B2 (en) | Computer cluster using expiring recovery rules | |
CN115686368A (zh) | 区块链网络的节点的存储扩容的方法、***、装置和介质 | |
JP6277069B2 (ja) | 仮想機器管理装置、仮想機器管理方法及び仮想機器管理プログラム | |
CN107783855B (zh) | 虚拟网元的故障自愈控制装置及方法 | |
US6966010B1 (en) | Application container that allows concurrent execution on multiple Nodes in a Cluster | |
CN108959170B (zh) | 虚拟设备管理方法、装置、堆叠***及可读存储介质 | |
JP6511005B2 (ja) | コンピュートリソース管理システムおよびコンピュートリソース管理方法 | |
Wakuda et al. | Analytical Model for Assessing Unavailability in Middleboxes with Multiple Backup Servers under Shared Protection | |
CN118413436A (zh) | 故障处理方法、产品、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081226 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090116 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090129 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090205 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090224 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091005 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091013 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091105 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091112 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091204 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100610 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101012 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101028 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4620455 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |