JPWO2007096987A1 - エラー制御装置 - Google Patents

Abstract

クロスバモジュール（２）には、複数のシステムボードモジュール（１）が接続されている。エラー検出部（１１）は、対応するシステムボードモジュール（１）から受信したパケットのエラーを検出する。伝送制御部（１３）は、エラー検出部（１１）によりエラーが検出されると、補完データ生成要求を発行する。パケット補完部（１２）は、補完データ生成要求を受け取ると、補完データを生成する。セレクタ回路（１４）は、エラーパケットを受信すると、エラー要素を含むデータユニットを補完データに置き換えた補完パケットを出力する。

Description

本発明は、複数の情報処理モジュールを相互に接続する相互接続装置に係わり、特に、その相互接続装置において検出されるエラーを制御する技術に係わる。

従来より、複数の情報処理モジュールを相互に接続して大規模サーバシステムを実現する構成が知られている。ここで、各情報処理モジュールは、それぞれ、ＣＰＵおよびメモリを備え、与えられたプログラムに対応する情報処理を行うことができる。そして、互いに接続する情報処理モジュールの個数を増やすことにより、サーバシステムを拡張することができる。

複数の情報処理モジュールは、相互接続装置としてのクロスバモジュールにより相互に接続される。クロスバモジュールは、情報処理モジュール間で情報（ここでは、情報を格納したパケット）を中継／伝送する。

上記構成のサーバシステムにおいて、故障した情報処理モジュールからパケットが送出された場合、あるいは情報処理モジュールとクロスバモジュールとの間のバスが断線した場合などには、不正または不適切なパケット（以下、エラーパケット）がクロスバモジュールに入力されることになる。しかし、従来の多くのクロスバモジュールは、エラーパケットを処理するための機能を備えていなかった。このため、エラーパケットによる影響がクロスバモジュール内の回路要素および／または他の情報処理モジュールに及び、以降の動作を継続できなくなるおそれがある。この場合、サーバシステム全体（または、サーバシステム内の多くの回路要素）をいったん停止し、故障箇所を調査および修理した後に再起動する必要がある。

クロスバモジュール内にエラーパケットを検出する機能を設けた構成も知られている。このシステムでは、エラーパケットを検出すると、ソフトウェア処理により、そのエラーパケットを送出した情報処理モジュールの動作を停止する。しかし、この構成では、エラーパケット自体は廃棄されることなく転送されてしまうので、エラーが拡散するおそれがある。また、エラーパケットを送出した情報処理モジュールの動作を停止するまでの間、さらなるエラーパケットが送出されるおそれもある。

なお、最近の多くの大規模サーバシステムは、ＣＰＵおよびメモリ等のコンピュータ資源を複数のグループ（以下、パーティション）に分割し、仮想的に独立した複数のコンピュータとして動作させるパーティショニング機能を導入している。そして、このパーティショニング機能は、例えば、複数の情報処理モジュールをグループ化することにより実現される。しかし、従来技術においては、エラーパケットによる影響がパーティションを越えて拡散し、サーバシステム全体（または、サーバシステム内の多くの回路要素）が停止するおそれがある。この場合、サーバシステムの安定稼動が長時間に渡って阻害されることとなる。

本発明の目的は、複数の情報処理モジュールを備える情報処理システムにおいて、発生したエラーの影響が及ぶ範囲を可能な限り小さくすることである。
本発明のエラー制御装置は、複数の情報処理モジュールを相互に接続する相互接続装置に設けられ、入力パケットのエラーを検出するエラー検出手段と、前記パケットにおいてエラーが検出された位置に応じて補完データを生成する補完データ生成手段と、前記エラーが検出されたデータユニットおよびその後続のデータユニットを前記補完データに置き換えた補完パケットを出力する出力手段、を有する。

上記エラー制御装置によれば、相互接続装置内の回路要素および宛て先情報処理モジュールへエラーパケットが転送されることはない。このとき、エラーパケットの代わりに、エラー要素を含むデータが補完データに置き換えられた補完パケットが転送される。よって、相互接続装置内の回路要素および宛て先情報処理モジュールに及ぶエラーの影響を最小限に留めることができる。

本発明の他の態様のエラー制御装置は、複数の情報処理モジュールを相互に接続する相互接続装置に設けられ、入力パケットを一時的に保持する保持手段と、前記パケットのエラーを検出するエラー検出手段と、前記パケットの全範囲に渡ってエラーが検出されなかったときに限り、前記保持手段からパケットを読み出して宛て先情報処理モジュールへ出力する出力手段、を有する。

上記エラー制御装置によれば、相互接続装置内の回路要素および宛て先情報処理モジュールへエラーパケットが転送されることを確実に回避できる。

本発明の実施形態のエラー検出装置を備えた情報処理装置の構成を示す図である。 パーティションテーブルの実施例である。 補完動作について説明する図である。 セレクタ回路の実施例である。

図１は、本発明の実施形態のエラー制御装置を備えた情報処理装置の構成を示す図である。なお、以下の説明では、情報処理装置は、不図示のクライアントからの要求に応じて対応する情報処理を実行するサーバシステム１００であるものとする。

サーバシステム１００は、複数のシステムボードモジュール（ＳＢ）１、クロスバモジュール（ＸＢ）２、システム制御部３を備える。
各システムボードモジュール１は、それぞれ、ＣＰＵ、メモリ、送信Ｉ／Ｆ部、受信Ｉ／Ｆ部を備えた情報処理モジュールである。この実施例では、サーバシステム１００は、Ｎ＋１個のシステムボードモジュール（＃０〜＃Ｎ）を備えている。なお、図１では、図面を見やすくするために、ＣＰＵおよびメモリ等は省略されており、各システムボードモジュール１の送信Ｉ／Ｆ部および受信Ｉ／Ｆ部のみが記載されている。そして、各システムボードモジュール１は、所望の１または複数の宛て先システムボードモジュールへパケットを送信することができる。

クロスバモジュール２は、複数のシステムボードモジュール１が接続されており、それらの間でパケットを転送する機能を提供する。クロスバモジュール２は、この機能を提供するために、複数の受信部（＃０〜＃Ｎ）１０および複数の送信部（＃０〜＃Ｎ）２０を備える。各受信部１０は、それぞれ、一意に対応するシステムボードモジュール１の送信Ｉ／Ｆ部に接続されており、また、各送信部２０は、それぞれ、一意に対応するシステムボードモジュール１の受信Ｉ／Ｆ部に接続されている。そして、受信部１０は、システムボードモジュール１の送信Ｉ／Ｆ部から受信したパケットを、その宛て先に対応する１または複数の送信部２０へ転送する。この構成により、システムボードモジュール１間のパケット転送が実現される。

システム制御部３は、サーバシステム１００の全体動作を制御する。また、システム制御部３は、本発明のエラー制御に係わる動作の１つとして、縮退制御を実行することができる。すなわち、システム制御部３は、後述するエラー検出部１１によりエラーパケットが検出されると、そのエラーパケットを送出したシステムボードモジュール１に対して縮退指示を送ることができる。この場合、縮退指示を受け取ったシステムボードモジュール１は、縮退解除指示を受け取るまで、全てのまたは一部のパケットの送出を停止する。

上記構成のサーバシステム１００は、パーティショニング機能を提供する。この実施例では、システムボードモジュール（＃０、＃１）がパーティションＡに属し、システムボードモジュール（＃２〜＃Ｎ）がパーティションＢに属している。パーティションは、図２に示すパーティションテーブルにより定義される。このパーティションテーブルは、システム制御部３により管理され、また、各受信部１０に配布される。各受信部１０は、配布されたパーティションテーブルに従って、パケットの宛て先をチェックするためのハードウェア回路（例えば、レジスタ）の設定を行う。そして、各受信部１０は、このハードウェア回路を利用して、異なるパーティション間のパケット転送を禁止する。なお、図１において、受信部１０と送信部２０との間を接続する実線は、パケットの伝送が許可されているパスであり、破線は、パーティショニング機能によりパケットの伝送が禁止されているパスである。この機能により、各パーティションに属するシステムボードモジュールは、互いに独立したコンピュータとして動作することができる。

クロスバモジュール２を介して転送されるパケットは、基本的に、図３に示すように、ヘッダ（ＨＤ）およびデータユニット（Ｄ０〜Ｄ７）を含んで構成される。ここで、データユニットの個数は、特に限定されるものではない。また、データユニットを含まないパケットを転送することも可能である。

ヘッダには、宛て先情報、タイプ情報、サイクル数情報等が格納されている。宛て先情報は、パケットの宛て先システムボードモジュールを識別する。タイプ情報は、パケット種別を表す。なお、システムボードモジュール間で転送されるパケットは、宛て先情報により指定されている１つのシステムボードモジュールへ転送されるピア・ツー・ピアパケット、およびパーティション内の全てのシステムボードモジュールへ転送されるブロードキャストパケットを含む。ＣＰＵからメモリへのデータ伝送は、基本的に、ピア・ツー・ピアパケットが使用される。また、ＣＰＵのキャッシュ状態を調査する為のアドレススヌープでは、ブロードキャストパケットが使用される。サイクル数情報は、データユニットを伝送するために必要なサイクル数を計算するためのサイクル数情報などが格納されている。ここで、パケットを伝送するためのバスの幅が固定である場合は、サイクル数情報は、データユニットの個数を表す情報により実現される。例えば、図３に示す例では、サイクル数情報として「８」が設定されることになる。なお、ヘッダには、エラー訂正符号（ＥＣＣ：Error Correcting Code ）が付与されている。

各データユニットのデータ格納領域の大きさは、基本的に、互いに同じである。また、各データユニットには、それぞれ、エラー訂正符号が付与されている。
次に、本発明に係わるエラー制御動作について説明する。なお、エラー制御は、主に、各受信部１０において実行される。

各受信部１０は、それぞれ、エラー検出部１１、パケット補完部１２、伝送制御部１３を備える。そして、対応するシステムモジュールボード１から受信したパケットは、エラー検出部１１、パケット補完部１２、伝送制御部１３に並列に与えられる。なお、受信部１０は、基本的には、ハードウェア回路で実現される。ただし、受信部１０の一部の機能をソフトウェアにより実現することも可能である。

エラー検出部１１は、受信パケットがエラー要素を含んでいるか否か（すなわち、エラーパケットであるか否か）を判断する。なお、エラーパケットは、ヘッダまたはデータが破壊されたパケット、不正または不適切なパケットなどを含む。また、エラーパケットは、例えば、システムボードモジュール１が故障した場合、システムボードモジュール１とクロスバモジュール２との間のバスが断線した場合などに発生する。そして、エラー検出部１１は、下記のエラー（１）〜（４）をモニタし、エラーが検出された場合にはその旨をシステム制御部３および伝送制御部１３に通知する。

（１）ＥＣＣエラーをチェックする。ＥＣＣエラーは、ヘッダおよび各データユニットのそれぞれについてチェックされる。なお、ＥＣＣによりエラーを訂正できた場合には、必ずしもそのエラーをシステム制御部３および伝送制御部１３に通知する必要はない。

（２）パケットの宛て先が適切か否かをチェックする。具体的には、例えば、パケットの送信元システムボードモジュールおよび宛て先システムボードモジュールが同一のパーティションに属しているか否かをチェックする。そして、送信元システムボードモジュールおよび宛て先システムボードモジュールが異なるパーティションに属していた場合は、宛て先エラーが発生したと判断される。なお、宛て先エラーのチェックは、基本的に、ピア・ツー・ピアパケットに対して実行される。

（３）タイムアウトエラーをチェックする。すなわち、エラー検出部１１は、受信パケットのヘッダを検出したタイミングでタイマを起動する。また、エラー検出部１１は、受信パケットのヘッダを解析することによりそのパケットのデータユニットのサイクル数を認識する。そして、データユニットを受信するごとにタイマを初期化し、所定時間内に後続のデータユニットを受信できなかったときは、タイムアウトエラーが発生したものと判断する。

（４）受信パケットのフォーマットが正規のフォーマットと異なっていた場合、受信するはずのないデータが含まれていた場合などには、不正コマンドエラーが発生したものと判断する。なお、「受信するはずのないデータ」とは、例えば、パケット内の所定の領域に所定の値が設定されることが規格等により定められている場合に、その領域に異なる値が書き込まれているケースが該当する。

パケット補完部１２は、受信パケットのヘッダを解析し、そのパケットのデータユニットのサイクル数を検出する。検出されたサイクル数は、図３に示すように、サイクルカウンタに設定される。この実施例では、サイクルカウンタに「８」が設定されている。サイクルカウンタは、後続のデータユニットを受信するごとに１ずつデクリメントされる。このとき、エラー検出部１１によりエラーが検出されると、パケット補完部１２は、伝送制御部１３から補完データ生成要求を受け取る。パケット補完部１２は、この要求を受信したタイミングでサイクルカウンタのカウンタ値を読み出し、そのカウンタ値と同数の補完データユニットを生成する。この実施例では、データユニットＤ４においてエラーが検出されたとき、サイクルカウンタのカウンタ値は「４」である。よって、４個の補完データユニットＰ１〜Ｐ４が生成されている。なお、サイクルカウンタが「０」までデクリメントされたときは、補完データユニットは生成されない。

補完データユニットのデータ長は、システムボードモジュール１から送出されるパケットに格納されているデータユニットのデータ長と同じである。ここでは、各パケットに格納されている各データユニットのデータ長は一定であり、各補完データユニットのデータ長も一定であるものとする。また、各補完データユニットのデータ列の内容は、特に限定されるものではないが、例えば、補完データであることを示す予め決められたデータパターンである。そして、パケット補完部１２は、補完データユニットと共に、その補完データユニットに対応するエラー訂正符号を出力する。なお、１組の補完データユニットおよび対応するエラー訂正符号を予め保持回路に保持しておく構成を導入してもよい。この場合、パケット補完部１２は、補完データ生成要求が与えられると、その保持回路からそれらを必要回数だけ繰り返し読み出して出力する。

伝送制御部１３は、エラー検出部１１においてエラーが検出されると、上述した補完データ生成要求をパケット補完部１２に送る。また、伝送制御部１３は、図４に示すセレクタ回路１４を備える。セレクタ回路１４の第１の入力端子には受信パケットが与えられ、第２の入力端子にはパケット補完部１２が接続されている。スイッチＳＷ１は、エラー検出部１１における検出結果を表すエラー検出信号に従って、第１または第２の入力端子を選択する。この実施例では、エラーが検出されていない期間は、第１の入力端子が選択され、受信パケットデータがスイッチＳＷ２へ導かれる。一方、エラーが検出されると、第２の入力端子が選択され、パケット補完部１２により生成される補完データがスイッチＳＷ２へ導かれる。そして、スイッチＳＷ２は、受信パケットのヘッダに格納されている宛て先情報に従って、出力端子を選択する。なお、ブロードキャストパケットを受信したときは、スイッチＳＷ２は、そのパケットのヘッダから検出されたタイプ情報に従って、同一パーティション内のすべてのシステムボードモジュール１へパケットデータを導く。

図３に示す例では、データユニットＤ４においてエラーが検出されている。この場合、セレクタ回路１４は、エラーが検出される前は、受信パケットを選択して出力する。すなわち、ヘッダおよびデータユニットＤ０〜Ｄ３が出力される。続いて、データユニットＤ４においてエラーが検出された旨の通知を受け取ると、伝送制御部１３は、補完データ生成要求を生成してパケット補完部１２に送る。このとき、パケット補完部１２のサイクルカウンタは「４」である。よって、パケット補完部１２は、４個の補完データユニットＰ１〜Ｐ４を生成して伝送制御部１３へ送信する。そして、セレクタ回路１４は、スイッチＳＷ１を制御し、データユニットＤ４〜Ｄ８の代わりに補完データユニットＰ１〜Ｐ４を選択して出力する。すなわち、伝送制御部１３は、ヘッダ、データユニットＤ０〜Ｄ３、補完データユニットＰ１〜Ｐ４から構成される補完パケットを出力する。このとき、データユニットＤ４〜Ｄ８は廃棄され、バス閉塞動作が実現される。

このように、実施形態のエラー制御装置は、エラーパケットを検出すると、エラー要素を含んだデータユニットおよびその後続のデータユニットを補完データユニットに置き換えた補完パケットを出力する。ここで、補完データユニットは、エラー要素を含んでいない。したがって、受信部１０の後段に接続される送信部２０および宛て先システムボードモジュール１は、通常動作あるいは正常動作を継続することができ、エラーの影響が拡散することはない。

例えば、送信部２０および宛て先システムボードモジュール１がタイムアウトエラーをチェックする機能を備えているものとする。そして、受信部１０は、あるパケットのヘッダを受信した後の所定時間内に、データユニットＤ０〜Ｄ３は受信できたが、データユニットＤ４〜Ｄ７は受信できなかったものとする。すなわち、受信部１０においてタイムアウトエラーが検出されたものとする。この場合、従来のクロスバモジュールにおいては、受信部１０は、ヘッダおよびデータユニットＤ０〜Ｄ３のみを送信部２０および宛て先システムボードモジュール１へ転送する。したがって、送信部２０および宛て先システムボードモジュール１においても同様にタイムアウトエラーが発生してしまう。すなわち、エラーの影響が拡散してしまう。これに対して、実施形態のエラー制御装置を備えるクロスバモジュール２は、上述のケースにおいては、ヘッダおよびデータユニットＤ０〜Ｄ３に続いて補完データユニットＰ１〜Ｐ４を送信部２０および宛て先システムボードモジュール１へ転送する。したがって、送信部２０および宛て先システムボードモジュール１においてタイムアウトエラーが発生することはない。また、補完データユニットＰ１〜Ｐ４にはそれぞれ対応するエラー訂正符号が付与されているので、送信部２０および宛て先システムボードモジュール１においてＥＣＣエラーが発生することもない。すなわち、エラーの拡散は回避される。

別の例として、受信部１０において宛て先エラーが検出されたものとする。この場合、エラー検出部１１は、エラー検出信号を用いて宛て先エラーが発生した旨をセレクタ回路１４に通知する。そうすると、セレクタ回路１４は、即座にスイッチＳＷ２を閉塞する。したがって、誤った宛て先情報を含んだパケットがその宛て先情報に従って誤った宛て先へ転送されることが回避される。すなわち、少なくとも、あるパーティションにおいて発生したエラーの影響が他のパーティションに及ぶことはない。

図１に示す構成において、例えば、システムボードモジュール（＃０）が故障すると、そのシステムボードモジュール（＃０）を含むパーティションＡでは、基本的に、動作を継続できなくなる。そうすると、パーティションＡに属するコンピュータ資源（主に、ソフトウェア資源）は、初期化される。しかし、他のパーティションでは、パーティションＡで発生したエラーの影響を受けることはなく、動作を継続することができる。また、パーティションＡでは、故障したシステムボードモジュール（＃０）を除く他のシステムボードモジュールのみを再起動して動作を再開してもよい。

なお、セレクタ回路１４のスイッチＳＷ２は、いったんエラーが検出された後は、保守作業が完了するまでの期間、すべてのパケット出力を停止するようにしてもよいし、或いは、特定の種類のパケットのみの出力を許可するようにしてもよい。ここで、特定の種類のパケットは、例えば、メンテナンスのためのパケットであり、ヘッダに格納されているタイプ情報により識別される。

このように、実施形態のエラー制御装置を導入すれば、エラーの影響範囲を最小限に留めることができる。この結果、システム全体（特に、他のパーティションの動作）を停止することなく、安定稼動が得られる。よって、信頼性の高い大規模サーバシステムを提供することが可能となる。

なお、上述の実施例では、システムボードモジュール間でパケットを伝送する構成を示したが、本発明はこれに限定されるものではない。すなわち、本発明は、システムボードモジュール間でデータを伝送する構成に広く適用可能である。

＜他の実施形態＞
伝送制御部１３は、パケットのヘッダを受信すると、そのパケットの最終データユニットを待つことなく、受信したデータユニットを、順次、対応する送信部２０へ出力することができる。これに対して、他の実施形態のエラー制御装置の伝送制御部１３は、パケット保持部１５を備え、最終データユニットを受信するまでそのパケットを保持する。そして、伝送制御部１３は、そのパケットの全サイクルにおいてエラーが検出されなかったときに、そのパケットを対応する送信部１０へ出力する。この構成を導入すると、サイクル数の長いパケットの伝送効率が低下するが、エラーパケットに起因する無駄なトラヒックおよび無駄な動作を回避することができる。また、エラーの拡散を確実に回避できる。

クロスバモジュール２の各送信部２０にエラー通知機能を設けるようにしてもよい。エラー通知機能は、クロスバモジュール２においてエラーが検出された旨を、故障の発生したシステムボードモジュール１に通知する動作を含む。エラーの通知は、パケットを利用してもよいし、専用線を利用してもよい。エラー通知を受けたシステムボードモジュール１は、例えば、以降のパケット送出を停止する。

Claims (9)

1. 複数の情報処理モジュールを相互に接続する相互接続装置に設けられるエラー制御装置であって、
   入力パケットのエラーを検出するエラー検出手段と、
   前記パケットにおいてエラーが検出された位置に応じて補完データを生成する補完データ生成手段と、
   前記エラーが検出されたデータユニットおよびその後続のデータユニットを前記補完データに置き換えた補完パケットを出力する出力手段、
   を有するエラー制御装置。
2. 前記入力パケットは、そのパケット内に格納されているデータユニットの個数を表す情報を備えており、
   前記補完データ生成手段は、前記エラー検出手段によりエラーが検出されたデータユニット以降のデータユニットの個数をカウントし、その個数だけ補完データを生成する
   ことを特徴とする請求項１に記載のエラー制御装置。
3. 前記入力パケットは、エラー訂正符号が付与されたデータユニットを含んで構成されており、
   前記補完データ生成手段は、エラー訂正符号が付与された補完データを生成する
   ことを特徴とする請求項１に記載のエラー制御装置。
4. 前記複数の情報処理モジュールの中の第１の情報処理モジュールから送出されたパケットにおいてエラーが検出された後、その第１の情報処理モジュールから受信したすべてのパケットを廃棄する廃棄手段、
   をさらに有することを特徴とする請求項１に記載のエラー制御装置。
5. 前記複数の情報処理モジュールの中の第１の情報処理モジュールから送出されたパケットにおいてエラーが検出された後、その第１の情報処理モジュールから受信したパケットの中の所定の種別のパケット以外のパケットを廃棄する廃棄手段、
   をさらに有することを特徴とする請求項１に記載のエラー制御装置。
6. 前記複数の情報処理モジュールの中の第１の情報処理モジュールから送出されたパケットにおいてエラーが検出されたときに、その第１の情報処理モジュールにエラーの発生を通知する通知手段、
   をさらに有することを特徴とする請求項１に記載のエラー制御装置。
7. 前記複数の情報処理モジュールを２以上のグループに分割するパーティション手段をさらに有し、
   前記エラー検出手段は、第１のグループに属する情報処理モジュールから送出されたパケットの宛て先が第２のグループに属する情報処理モジュールを含んでいたときにエラーが発生したと判断する
   ことを特徴とする請求項１に記載のエラー制御装置。
8. 複数の情報処理モジュールを相互に接続する相互接続装置に設けられるエラー制御装置であって、
   入力パケットを一時的に保持する保持手段と、
   前記パケットのエラーを検出するエラー検出手段と、
   前記パケットの全範囲に渡ってエラーが検出されなかったときに限り、前記保持手段からパケットを読み出して宛て先情報処理モジュールへ出力する出力手段、
   を有するエラー制御装置。
9. 複数の情報処理モジュールを相互に接続する相互接続装置においてエラーを制御する方法であって、
   入力パケットのエラーをモニタし、
   前記パケットにおいてエラーが検出された位置に応じて補完データを生成し、
   前記エラーが検出されたデータユニットおよびその後続のデータユニットを前記補完データに置き換えた補完パケットを出力する、
   ことを特徴とするエラー制御方法。
   

Images