JP4494263B2 - サービスシステムの冗長化方式 - Google Patents

Description

本発明はサービスシステムの冗長化方式に関し、更に詳しくは、コンピュータのプログラム実行により所定のサービス機能を提供するサービスシステムの冗長化方式に関する。今日、各種通信制御装置等の様々なサービス機能がコンピュータのプログラム実行により実現されており、このようなサービスシステムの性能及び信頼性の向上が望まれる。

従来、この種のサービスシステムの中断時間を短くする方法としては、コンピュータシステムのＣＰＵのみならずメモリその他のハードウェア全てを物理的に二重化（冗長化）し、両系の同期を常に実施することで、運用系のコンピュータシステムが故障した場合でも、待機側のコンピュータシステムがメモリの運用情報等を速やかに引き継ぎ、待機系を新しい運用系として、故障が発生するまでのサービス状態を維持したままサービスを再開させる方法がある。これにより、短いサービス中断時間で故障情報を収集しながらサービスを速やかに復旧できる。

しかし、ハードウェアの二重化は、導入コストや消費電力が多くかかる欠点がある。しかも、実際に発生する障害（故障）のほとんどが、ソフトウェアの誤り（バグ）や過負荷による障害であり、実際にハードウェアが故障して系が切り替わることは少なく、ハードウェアを二重化することは、投資として過剰であるケースが多かった。

また、従来のコンピュータシステムには、処理を継続出来ない様な致命的なエラーが発生した際に、プログラムを強制終了し、直前のメモリやレジスタの内容を故障情報ファイルに出力する機能が設けられており、障害発生要因の究明に不可欠な機能である。

しかし、その際の故障ファイル出力処理時間は、該当プログラムのロードモジュール（ＬＭ）サイズや、プログラム処理内にて捕捉するメモリ領域サイズにより左右されるが、大規模プログラムになると故障ファイルのダンプに十数分間を要することもあり、サービス中断時間に少なからぬ影響を与えていた。

特に、音声を扱うようなリアルタイム性を要求されるサーバシステムでは、プログラム故障時に、プログラムを早急に再起動する必要があるが、故障ファイル情報の収集完了前にプログラムを再起動させるとレジスタやスタック、メモリなどの上書き等が行われるため、有効な情報が採れない恐れがある。

この点、従来は、コンピュータシステムに通常アクセスに使用するシステムバス６とデータをシリアルに転送する保守・診断専用の診断バス７とを設け、ある障害ユニット３からのローカル・メモリ情報を、システムバス６を介して主メモリ１にダンプできない場合は、診断バス７を経由して採取することにより、システムバス６に関連した障害でも、ローカル・メモリ情報を採取可能にしたものが知られている（特許文献１）。
特開平６−３４２３８７（要約，図）

しかし、上記構成は別途シリアル診断バスを設ける比較的簡単なものであるが、システムバス６を使用できないときに、シリアル診断バス７を使用する場合には、必ずしも短い時間に十分な障害情報を収集できない問題がある。

本発明は上記従来技術の問題点に鑑みなされたものであり、その目的とする所は、簡単な構成により、故障によるサービス中断を最低限に抑え、かつその際の障害情報を確実に収集可能なサービスシステムの冗長化方式を提供することにある。

上記の課題は例えば図１の構成により解決される。即ち、本発明（１）のサービスシステムの冗長化方式は、コンピュータのプログラム実行により所定のサービス機能を提供するサービスシステムの冗長化方式であって、プログラム実行により同一のサービス機能を実現する第１，第２のサービス処理部２１Ａ，２１Ｂと、前記第１，第２のサービス処理部にそれぞれ対応して設けられ、サービス運用に係る処理情報を記憶する第１，第２のメモリエリア４１Ａ，４１Ｂと、前記第１又は第２のメモリエリアの記憶情報を退避するための退避メモリ６０と、前記第１，第２のサービス処理部と前記第１，第２のメモリエリアとからなる対を現用系と待機系として運用するサービス管理部３０とを備え、
現用系のサービス処理部２１Ａは、自己の処理情報を現用系及び待機系のメモリ４１Ａ，４１Ｂに書き込むと共に、前記サービス管理部３０は、現用系の障害発生により速やかに系を切り替え、かつ旧現用系のメモリエリア４１Ａに記憶されたログ情報を退避メモリ６０に退避し、該旧現用系のサービス処理部２１Ａが障害中又は該旧現用系のメモリエリア４１Ａのデータが退避中である期間に、データ書込のあった新現用系メモリ４１Ｂのエリア情報を保持すると共に、前記旧現用系のサービス処理部２１Ａの復旧により、前記新現用系メモリのエリア情報に対応する記憶データを前記旧現用系のメモリエリア４１Ａにコピーするものである。

本発明（１）によれば、プログラム実行により実現されるサービス処理部２１Ａ，２１Ｂと、二重化されたメモリエリア４１Ａ，４１Ｂとを備え、両エリアの記憶情報を同期（一致）させつつ現用系、待機系として運用する簡単な構成により、現用系の障害発生時には、速やかに系を切り替えることが可能であると共に、旧現用系のメモリエリア４１Ａから従前のサービス処理に係るログ情報を確実に収集できる。更に、データ書込のあった新現用系メモリ４１Ｂのエリア情報を保持するだけの簡単な構成により、旧現用系のサービス処理部２１Ａの復旧時には、新現用系メモリ４１Ｂの当該エリアのデータで旧現用系（待機系）メモリ４１Ａの内容を容易に同期（一致）化できる。

本発明（２）では、上記本発明（１）において、第１，第２のサービス処理部にそれぞれバインドされて第１，第２のメモリエリアへのメモリアクセスを代行する第１，第２のアダプタ部を備え、現用系のアダプタ部は、通常は該現用系のサービス処理部からのデータ書込命令に従って現用系及び待機系のメモリエリアに同一のデータを書き込むと共に、前記旧現用系（待機系）のサービス処理部が障害中又は該旧現用系（待機系）のメモリエリアのデータが退避中であることにより新現用系のメモリエリアにのみデータを書き込むものである。従って、引き続き運用データの更新が可能であると共に、系切替後の旧現用系のメモリ情報を確実に保護できる。

本発明（３）では、上記本発明（１）において、例えば図９に示す如く、第１，第２のサービス処理部２１Ａ，２１Ｂが、それぞれ独自のＣＰＵ１１Ａ，１１Ｂによって動作するように構成されているものである。従って、比較的簡単な二重化構成により、所要のサービス機能を高性能かつ安全に提供できる。

以上述べた如く本発明によれば、故障によるサービス中断を最低限に抑え、かつその際
の障害情報を確実に収集可能であるため、コンピュータを使用したこの種のサービスシステムを安価かつ安全に提供できる。

以下、添付図面に従って本発明に好適なる実施の形態を詳細に説明する。なお、全図を通して同一符号は同一又は相当部分を示すものとする。図１は実施の形態によるコンピュータシステムのブロック図で、マルチプログラミング方式（一つのＣＰＵで複数のサービス処理を並列実行）による構成例を示している。

図において、１００はマルチプログラミング方式によるコンピュータシステム、１１はＣＰＵ、１０Ａ，１０Ｂはサービスプログラムの実行により同一のサービス機能（音声通信機能等）を実現可能なサービスプロセッサＡ，Ｂ、２０Ａ，２０Ｂはサービスプログラムを格納する主メモリ（ＲＡＭ，キャッシュメモリ等）、２１Ａ，２１Ｂはサービスプログラムの実行により実現されるサービス処理部Ａ，Ｂ、２２Ａ，２２Ｂはサービス処理部Ａ，Ｂによる仮想メモリＡ，Ｂのアクセスをそれぞれにインタフェースするアダプタ部Ａ，Ｂ、３０はサービスプロセッサ１０Ａ，１０Ｂの障害の監視、運用系と待機系のサービス運用状態の管理、障害発生時の運用系と待機系の切替制御等を行うサービス管理部、４０はサービスシステムの運用に係る各種処理情報を記憶するメモリ（主メモリの一部で良い）、４１Ａ，４１Ｂは運用系と待機系とに二重化された仮想メモリＡ，Ｂ、５０はオペレーティングシステム（ＯＳ）に係るプログラムを記憶しているオペレーティングシステム部、６０は仮想メモリＡ／Ｂの情報を退避格納するディスク装置（ＤＩＳＫ）である。

なお、以下の説明では、サービス処理部２１Ａ，２１Ｂ等を説明の簡単の為に単にサービス処理部Ａ，Ｂ等と呼ぶ。また、このサービス処理部Ａ，Ｂは機能が二重（冗長）化されており、図はＡが現用系で、Ｂが待機系（予備系）の場合を示している。

サービス処理部Ａ，Ｂ及びサービス管理部３０はＯＳ５０をプラットフォームとしたＣＰＵ１１のプログラム実行により実現される。

仮想メモリＡは運用系のサービス処理部Ａがサービス運用に係る処理情報の読み書きに使用する運用メモリであり、また、仮想メモリＢは運用系のサービス処理部Ａが、障害時の系切替に備えて仮想メモリＡと同一の情報をコピーしておく待機メモリであると共に、障害発生時に系が切り替わった場合には、新運用系となったサービス処理部Ｂが引き続きサービス運用に係る処理情報の読み書きに使用する運用メモリとなる。一方、障害に係るログ情報の収集を完了した仮想メモリＡは、運用系のサービス処理部Ｂが、障害時の切り替えに備えて仮想メモリＢと同一の情報をコピーしておく待機メモリとなる。

このように、サービス処理部Ａにとっての現用メモリは仮想メモリＡ、待機メモリは仮想メモリＢであり、またサービス処理部Ｂにとっての現用メモリは仮想メモリＢ、待機メモリは仮想メモリＡであるが、サービス処理部Ａ，Ｂは同一のソースファイルから生成（コンパイル）されるため、各サービス処理部ａ，Ｂでは運用メモリと待機メモリに対するメモリアクセスの行き先（アドレス）の翻訳（変換）を行う必要がある。

そこで、アダプタ部Ａはサービス処理部Ａからの現用，待機メモリに対するアクセスを仮想メモリＡ，Ｂに対するアクセスに翻訳し、一方、アダプタ部Ｂはサービス処理部Ｂからの現用，待機メモリに対するアクセスを仮想メモリＢ，Ａに対するアクセスに翻訳する。

係る構成により、予め仮想メモリＡ，Ｂの記憶情報は一致している。今、サービス処理部Ａが現用系であるとすると、アダプタ部Ａはサービス処理部Ａからのデータ読出命令に
従って仮想メモリＡのみからデータ読出Ｒを行う。また、アダプタ部Ａはサービス処理部Ａからのデータ書込命令に従って仮想メモリＡ，Ｂの同一（対応）エリア）にデータ書込Ｗ１，Ｗ２を行う。この処理は、あくまでもアダプタ部Ａが実行するため、サービスプログラムを記述するプログラマーは、このようなメモリアクセスの仕組みを意識する必要はない。一方、この期間のサービス処理部Ｂは仮想メモリＡ，Ｂに対するメモリアクセスを行っておらず、よって、仮想メモリＡ，Ｂの記憶内容はシステムの運用開始後も常に一致している。これにより、サービス管理部３０はいつでも速やかに系を切替可能である。

図２は実施の形態によるサービスプロセッサの構築手順を説明する図で、サービスプロセッサのソースプログラムからアダプタ部経由で仮想メモリＡ，Ｂにアクセスするようなオブジェクトプログラムを生成する手順を示している。サービス処理部Ａ，Ｂが現用系／待機系に関わらず仮想メモリＡ，Ｂを適正にアクセス可能とするためには、サービス処理部Ａ，Ｂのメモリアクセス部分をアダプタ部Ａ，Ｂ経由に変更する必要がある。

これを実現するため、まずサービスプログラムのソースファイルをプリコンパイラに入力してプリコンパイルすると、メモリアクセス部分がアダプタ経由に変換された中間ファイルが生成される。更に、この中間ファイルと、アダプタ部品及びＯＳ依存部品とをリンクさせ、コンパイラでコンパイルすると、最終的な出力として仮想メモリＡ，Ｂへのアダプタ部経由のアクセスを考慮したアダプタ対応サービスプログラム（オブジェクトファイル）が生成される。

図３に実施の形態によるプリコンパイラの動作を具体的に示す。ここでは、メモリアクセスに関連するインストラクションがアダプタ部経由のものに変換される。例えば、ソースファイル１における変数定義「static int Ｘ」は、内部参照であるので、メモリアクセスには関係しない。一方、「shmget(aa，bb）」は仮想メモリ上にエリアを確保するインストラクションであり、アダプタ部経由の中間ファイル「adp_shmget(aa，bb）」にプリコンパイルされる。他も同様に理解できる。また、ソースファイル２の変数Ｘは、外部参照「extern int Ｘ」であるので、アダプタ部対応に変換される。

次に、係る構成による現用系障害発生時のリカバリ動作を説明する。図４，図５は実施の形態によるコンピュータシステムの動作を説明する図（１），（２）で、図４は現用系のサービス処理部Ａで障害が発生し、運用系を切り替えた際の状態を示している。

サービス管理部３０及びＯＳ５０は、サービス処理部Ａの運用状態を監視しており、この状態で、サービス処理部Ａで何らかの障害が発生すると、この障害はＯＳ５０とサービス管理部３０のいずれかで検出される。ＯＳ５０がシステム運用上の障害を検出した場合は、サービス管理部３０に障害発生を通知し、またサービス管理部３０がサービス（アプリケーション）運用上の障害を検出した場合は、ＯＳ５０に対してサービス処理部Ａの故障発生を通知する。

サービス管理部３０は、ＯＳ管理下で動作するサービス処理部Ａの実行情報（レジスタ情報，スタック情報等）を故障情報として収集し、ＤＩＳＫ６０上のログファイルに退避する。また、サービス処理部Ｂにサービスの引き継ぎ要求を通知し、同時に故障したサービス処理部Ａが使用していた仮想メモリ領域Ａの情報もＤＩＳＫ６０に退避する。これらの退避処理は、旧運用系（サービス処理部Ａ、仮想メモリＡ、サービス管理部３０）により行われるため、新運用系のサービス処理部Ｂから見ると、バックグラウンドで実施されており、ログ収集によるシステム中断時間を最短にし、かつログ収集に伴う負荷によるサービス性能低下を起こさずして、サービスが再開される。

一方、新運用系となったサービス処理部（アダプタ部）Ｂでは、仮想メモリＢからデ
ータを読み込み、かつ仮想メモリ、Ｂ及びＡに同一データを書き込もうとするが、仮想メモリＡは障害情報を保護又は収集中のためにデータを書き込めない。そこで、この場合のアダプタ部Ｂは、少なくとも、仮想メモリＢのどのエリアにデータを書き込もうとしたかのエリア情報をサービス管理部３０に通知し、サービス管理部３０はこれを保持する。

図５は仮想メモリＡのログ収集退避作業が完了した際の動作を示している。サービス処理部Ａがログ収集完了により復旧通知を出力すると、これを受けたサービス管理部３０は、現用系のアダプタ部２２にコピー要求を行うと共に、上記保存したエリア情報を通知する。これを受けた、アダプタ部Ｂは、仮想メモリＢの当該エリアの情報を読み出して仮想メモリＡの対応（同一）エリアに書き込む。上記サービス管理部３０に保存したエリアが複数ある場合は、上記同様のコピー処理を繰り返し、こうして、全ての保存エリアのデータコピーを完了すると、仮想メモリＢ，Ａのデータ同期（一致）する。この方法によれば、仮想メモリＡ，Ｂ間で全てのデータをコピーする必要が無いので、効率が良い。

更に、サービス管理部３０は、全コピーの終了後に、サービス処理部Ａを待機系として再起動させると共に、その旨をアダプタ部Ｂに通知し、これにより、アダプタ部Ｂによる仮想メモリＡへのデータ書込Ｗ２が始まる。こうして、運用系と待機系とが完全に入れ替わる。

図６〜図８は実施の形態によるアダプタ部の動作シーケンス図（１）〜（３）で、アダプタ部の上記動作を実現する幾つかの典型的な動作シーケンスを示している。図６の上半部に現用のサービス処理部Ａがアダプタ部Ａからメモリエリアを取得する処理を示す。この処理はサービス処理部Ａが仮想メモリＡ，Ｂのあるエリアをアクセスしたい場合にエリアを確保する前処理として行われる。

サービス処理部Ａがアダプタ部Ａにメモリエリア取得要求を行うと、アダプタ部ＡはステップＳ１１でサービス処理部Ｂの運用状態をチェックすると共に、サービス処理部Ｂが待機系として運用中（即ち、通常の運用状態）の場合は、ステップＳ１２，Ｓ１３で仮想メモリＡ，Ｂのメモリエリアを取得し、サービス処理部Ａにエリア取得応答を行う。また、上記ステップＳ１１の判別でサービス処理部Ｂが故障又はログ情報を退避中の場合も、ステップＳ１４，Ｓ１５で仮想メモリＡ，Ｂのメモリエリアを取得し、サービス処理部Ａにエリア取得応答を行う。 そして、上記何れの場合も、サービス管理部３０にメモリエリア取得情報を通知し、これを受けたサービス管理部３０はステップＳ１６で取得情報を保持する。これにより、サービス管理部３０は、仮想メモリＡ及び又はＢのどのメモリエリアがアクセスされるのかを管理可能となる。なお、この例では、上記ステップＳ１１で処理を分岐させる必要が無いが、説明の明瞭の為に処理を分岐させた。

図６の下半部に現用系のサービス処理部Ａがアダプタ部Ａからデータを読み出す処理を示す。サービス処理部Ａがアダプタ部Ａにメモリ読出要求を行うと、アダプタ部ＡはステップＳ１７で仮想メモリＡの前記取得エリアからデータを読み出し、サービス処理部Ａにメモリ読出応答を行う。

図７の上半部は現用のサービス処理部Ａが仮想メモリＡ及び可能なら仮想メモリＢに同一データを書き込む処理を示している。サービス処理部Ａがアダプタ部Ａにメモリ書込要求を行うと、アダプタ部ＡはステップＳ２１でサービス処理部Ｂの運用状態をチェックすると共に、サービス処理部Ｂが待機系として運用中の場合は、ステップＳ２２，Ｓ２３で仮想メモリＡ，Ｂへのデータ書込を行い、サービス処理部Ａにメモリ書込応答を行う。また、上記ステップＳ２１の判別でサービス処理部Ｂが故障中又は退避中の場合は、ステップＳ２４で仮想メモリＡにのみデータを書き込み、サービス処理部Ａにメモリ書込応答を行う。従って、仮想メモリＢの内容破壊を有効に防止できる。

図７の下半部に現用系のサービス処理部Ａが仮想メモリＡ．Ｂのメモリエリアを開放する場合を示す。サービス処理部Ａがアダプタ部Ａにメモリ開放要求を行うと、アダプタ部ＡはステップＳ２５でサービス処理部Ｂの運用状態をチェックすると共に、サービス処理部Ｂが待機系として運用中の場合は、ステップＳ２６，Ｓ２７で仮想メモリＡ，Ｂのメモリエリア開放を行い、サービス処理部Ａにメモリ開放応答を行う。また、上記ステップＳ２５の判別でサービス処理部Ｂが故障中又は退避中の場合は、ステップＳ２８、Ｓ９で仮想メモリＡ，Ｂのメモリ解放を行い、サービス処理部Ａにメモリ開放応答を行う。

そして、上記何れの場合も、サービス管理部３０にメモリ開放情報を通知し、これを受けたサービス管理部３０はステップＳ３０で取得情報を保持する。これにより、サービス管理部３０は、仮想メモリＡ，Ｂへのメッモリアクセスが開放されたことを管理可能となる。

図８にサービス処理部Ａの障害復帰（即ち、仮想メモリＡのログ情報収集完了）に伴う仮想メモリＡ，Ｂ間のデータを一致させる処理を示す。サービス管理部３０はサービス処理部Ａからの復旧通知を受けたことにより、ステップＳ４１で仮想メモリＢのアクセスに関して保存したメモリエリアがあるか否かを判別する。ある場合は、現用系のアダプタ部Ｂに仮想メモリＢ，Ａ間のコピー要求を行い、当該エリア情報を通知する。

これを受けたアダプタ部Ｂは、ステップＳ５０で仮想メモリＢの当該エリアのデータを仮想メモリＡの対応エリアにコピーし、サービス管理部３０にコピー完了応答を行う。

これを受けたサービス管理部３０は、ステップＳ４２で当該取得エリアの情報をリセットし、ステップＳ４１に戻る。こうして、やがて、１又は２以上の保存エリアのコピー処理を全て完了すると、サービス処理部Ａに待機系再開の通知を行う。

図９は他の実施の形態によるコンピュータシステムのブロック図で、二つのＣＰＵにより二つのサービス処理を並列に実行可能なマルチＣＰＵ方式による構成例を示している。この例のサービス処理部ＡはＣＰＵ１１Ａのサービスプログラム実行により実現され、またサービス処理部ＢはＣＰＵ１１Ｂのサービスプログラム実行により実現される。また、ＣＰＵ−ＡはＯＳ−Ａの下で動作し、ＣＰＵ−ＢはＯＳ−Ｂの下で動作する。こうして、サービス処理部Ａ，Ｂの処理性能が格段に向上している。

一方、この例のシステム管理部３０については、基本的には待機系のＣＰＵ１１Ｂのプログラム実行により実現され、この場合の現用系ＣＰＵ１１Ａは専ら本来のサービス機能の提供に専念できる。

なお、上記実施の形態では、事前にメモリエリアを取得するアクセス方法を示したが、これに限らない。他の様々なメモリアクセス方法を採用できる。

また、上記本発明に好適なる複数の実施の形態を述べたが、本発明思想を逸脱しない範囲内で各部の構成、制御、処理及びこれらの組合せの様々な変更が行えることは言うまでも無い。

実施の形態によるコンピュータシステムのブロック図である。 実施の形態によるサービスプロセッサの構築手順を説明する図である。 実施の形態によるプリコンパイラの動作を説明する図である。 実施の形態によるコンピュータシステムの動作を説明する図（１）である。 実施の形態によるコンピュータシステムの動作を説明する図（２）である。 実施の形態によるアダプタ部の動作シーケンス図（１）である。 実施の形態によるアダプタ部の動作シーケンス図（２）である。 実施の形態によるアダプタ部の動作シーケンス図（３）である。 他の実施の形態によるコンピュータシステムのブロック図である。

符号の説明

１１ ＣＰＵ
１０Ａ，１０Ｂ サービスプロセッサＡ，Ｂ
２０Ａ，２０Ｂ 主メモリＡ，Ｂ
２１Ａ，２１Ｂ サービス処理部Ａ，Ｂ
２２Ａ，２２Ｂ アダプタ部Ａ，Ｂ
３０ サービス管理部
４１Ａ，４１Ｂ 仮想メモリＡ，Ｂ
６０ ディスク装置（ＤＩＳＫ）
１００ コンピュータシステム

Claims (3)

1. コンピュータのプログラム実行により所定のサービス機能を提供するサービスシステムの冗長化方式であって、
   プログラム実行により同一のサービス機能を実現する第１，第２のサービス処理部と、
   前記第１，第２のサービス処理部にそれぞれ対応して設けられ、サービス運用に係る処理情報を記憶する第１，第２のメモリエリアと、
   前記第１又は第２のメモリエリアの記憶情報を退避するための退避メモリと、
   前記第１，第２のサービス処理部と前記第１，第２のメモリエリアとからなる対を現用系と待機系として運用するサービス管理部とを備え、
   現用系のサービス処理部は、自己の処理情報を現用系及び待機系のメモリに書き込むと共に、前記サービス管理部は、現用系の障害発生により速やかに系を切り替え、かつ旧現用系のメモリエリアに記憶されたログ情報を前記退避メモリに退避し、該旧現用系のサービス処理部が障害中又は該旧現用系のメモリエリアのデータが退避中である期間に、データ書込のあった新現用系メモリのエリア情報を保持すると共に、前記旧現用系のサービス処理部の復旧により、前記新現用系メモリのエリア情報に対応する記憶データを前記旧現用系のメモリエリアにコピーすることを特徴とするサービスシステムの冗長化方式。
2. 前記第１，第２のサービス処理部にそれぞれバインドされて前記第１，第２のメモリエリアへのメモリアクセスを代行する第１，第２のアダプタ部を備え、
   現用系のアダプタ部は、通常は該現用系のサービス処理部からのデータ書込命令に従って現用系及び待機系のメモリエリアに同一のデータを書き込むと共に、前記旧現用系のサービス処理部が障害中又は該旧現用系のメモリエリアのデータが退避中であることにより新現用系のメモリエリアにのみデータを書き込むことを特徴とする請求項１記載のサービスシステムの冗長化方式。
3. 前記第１，第２のサービス処理部が、それぞれ独自のＣＰＵによって動作するように構成されていることを特徴とする請求項１記載のサービスシステムの冗長化方式。

Images