JP3376956B2 - プロセッサ間通信装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のプロセッサ
がネットワークによって結合された並列コンピュータで
の、仮想記憶を実現するためのプロセッサ間通信装置に
関する。

【０００２】

【従来の技術】複数のプロセッサが１つの問題を解く並
列処理において、プロセッサ間通信は必須である。ここ
で、プロセッサ間通信は複数のプロセッサ間でのデータ
のやりとりをいう。また、このプロセッサ間通信は、複
数のプロセッサで並列に処理することにより発生するも
のであって、並列処理のオーバヘッドの１つとなり、プ
ロセッサ間通信を高速に行なうことが、並列処理効果を
高めるためには必須となっている。

【０００３】一方、並列計算機を複数のユーザで使うに
は、１人のユーザが処理に使用するプロセッサを決め
て、１つのプロセッサでは１人のユーザのジョブだけが
走るように、システムを空間的に分割するスペースシェ
アリングという手法が採られてきた。しかしながら、こ
の方法では、各ユーザが使用するプロセッサ数の合計
は、物理的なプロセッサ数を越えられないという制限が
ある。このような制限を克服して、複数のユーザが並列
計算機を使う方法の１つとして、時間的にプロセッサを
分割して使うタイムシェアリングの方法がある。タイム
シェアリングを行なうには、複数ユーザのジョブのメモ
リメージを外部の記憶媒体、例えばハードディスクに退
避する仮想記憶のサポートが必須となる。

【０００４】また、科学技術計算では、プロセッサ性能
の向上により、それが扱うデータ規模はますます増大し
ていく。並列処理でのデータの分配は、まず、１つのプ
ロセッサにディスクやホストマシンからデータを転送
し、分割したデータをそれぞれのプロセッサに分配する
方法が採られることが多い。このような場合、分配後に
はデータは各プロセッサの主記憶に格納されるが、最初
に１つのプロセッサの主記憶にデータをロードする時点
で、データ量が主記憶容量を越えてしまうことがある。
このような問題に対応するためにも、外部の記憶媒体、
例えばハードディスクを使って実主記憶容量以上のデー
タを扱う仮想記憶のサポートが必須である。

【０００５】

【発明が解決しようとする課題】しかし、仮想記憶を並
列計算機でサポートするには、次のような課題がある。
即ち、プロセッサ間通信が高速化したため、ページアウ
トしたページをディスクから主記憶にページインする時
間が相対的に非常に長くなったことである。そのため、
ページインのためにプロセッサ間通信を止めた時の、他
のプロセッサ間通信への影響の大きさが問題になってく
る。

【０００６】図１１は、従来の並列計算機システムのペ
ージインの説明図で、（Ａ）は全ての領域がページイン
されている場合、（Ｂ）は通信バッファがページインさ
れている場合、（Ｃ）はプロセッサ間通信により送信デ
ータと受信領域がページインされている場合を示してい
る。従来は、図１１（Ａ）〜（Ｃ）の構成により、、ペ
ージインのためにプロセッサ間通信を止めた時の、他の
プロセッサ間通信への干渉を防止していた。

【０００７】図１１（Ａ）に示す従来方法１は、仮想記
憶を使わないという解である。プロセッサ間通信の対象
になる主記憶領域は限定できないので、プログラムが使
用する全領域を実メモリに割り当てて、ページアウトし
ないことにするのである。この方法では、上に述べた並
列計算機での仮想記憶サポートの要求に答えられないと
いう課題がある。

【０００８】図１１（Ｂ）に示す従来方法２は、プロセ
ッサ間通信のための送信バッファ、受信バッファを設け
るものである。この方法では、送信バッファ、受信バッ
ファだけを常に実メモリに割り付けておき、プロセッサ
間通信するデータは必ず、この送信メモリバッファと受
信メモリバッファを介して転送される。そうすることに
より、プロセッサ間通信自体は、実メモリから実メモリ
への転送となり、プロセッサ間通信を止めることはな
い。しかしながら、プロセッサ間通信には、送信バッフ
ァへのデータのコピーと、受信バッファから宛先アドレ
スへのデータのコピーの２回のデータコピーが必要とな
り、プロセッサ間通信性能が著しく低下するという課題
がある。

【０００９】また、図１１（Ｃ）に示す従来方法３は、
通信時にそのプロセッサ間通信の送信データの領域と受
信領域を予め実メモリ上に割り付けてから、プロセッサ
間通信を行なうものである。この方法では、コピーする
ことなくデータが宛先アドレスに転送されるが、最初に
実メモリ上に割り当てられていることを確認するための
プロセッサ間のやりとりが必要となる。これにより、コ
ピーを行なわなくても、実質的なプロセッサ間通信の性
能が低下する。

【００１０】以上を簡潔にまとめると、従来方法１では
仮想記憶自体をサポートできていない。従来方式２で
は、送信バッファへのデータのコピーと、受信バッファ
から宛先アドレスへのデータのコピーのオーバヘッドか
ら、通信性能が著しく低下する。従来方式３では、たと
え、プロセッサ間通信に関わるメモリ領域が実メモリ領
域に割り付けられていたとしても、必ず、プロセッサ間
通信の前に実メモリへの割り付けを確認するためのプロ
セッサ間通信が必要である。そこで、この確認のための
プロセッサ間通信により、プロセッサ間通信の性能が低
下する。即ち、従来の並列計算機システムで仮想記憶を
サポートした場合に、実メモリ上に割り当てられた領域
間のプロセッサ間通信の性能が低下してしまうという課
題があった。

【００１１】本発明は上述する課題を解決するもので、
プロセッサ間通信に関わるメモリ領域が実メモリ領域に
割り付けられている場合でも、性能低下の原因になる作
業をせずに、プロセッサ間通信の性能を良好に保持する
プロセッサ間通信装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】上記課題を解決する本発
明の請求項１に記載のプロセッサ間通信装置は、図１に
示すように、ＣＰＵ３、主記憶４、送信装置５、並びに
受信装置６を有するプロセッサ１が複数個、ネットワー
ク２によって結合された並列コンピュータに用いられ
る。プロセッサ間通信装置は、プロセッサ間通信で通信
されるデータの読み出しアドレスと書き込みアドレスが
論理アドレスで指定され、送信装置５と受信装置６内に
論理アドレスから物理アドレスに変換する手段ＴＬＢ１
０、２１を有している。

【００１３】また、図１、図５に示すように、プロセッ
サ間通信装置は、タスクごとに割り当てられた通信ＩＤ
とプロセッサ間通信のパケットを送った送り元の論理プ
ロセッサ番号から決まる主記憶上の位置２９に、該通信
ＩＤを宛先とした該論理プロセッサ番号のプロセッサか
らのプロセッサ間通信によるデータ転送中に、ページフ
ォールトが発生したかを示すフラグ２９１と、該データ
転送中で直近にページフォールトした論理ページ番号２
９２と、ページフォールトしたページを記憶するページ
リストの先頭アドレスを記憶する手段２９３と、ページ
フォールトしたページ数とを記憶する手段２９４を持つ
構成である。

【００１４】好ましくは、本発明のプロセッサ間通信装
置では、受信装置内でのアドレス変換の結果、ページの
状態がページアウトの場合には、前記のページフォール
トに関するデータを通信ＩＤと送り元論理プロセッサ番
号によって決まる主記憶上の位置に記憶し、アドレス変
換にかかる論理ページを主記憶上のフォールトページリ
スト３３に加える構成とするとよい。さらに好ましく
は、図８のステップＳ１１０に示すように、アドレス変
換にかかる論理ページを予め用意しておいたダミーペー
ジを割り当てる構成とするとよい。

【００１５】また、好ましくは、図４に示すように、Ｔ
ＬＢ１０は、論理アドレス２０１を構成する論理ページ
２０２の情報として、論理ページの割り当てられた物理
ページ番号２２９と、ページの状態２３０として下記
（ｉ）〜（ｉｖ）の状態を持つことを特徴とするもので
ある。 （ｉ）物理ページが割り当てられていない無効の状態； （ｉｉ）現在主記憶になく外部記憶媒体に追い出されて
いるページアウトの状態； （ｉｉｉ）以前はページアウトの状態で現在ページイン
処理を行なっている際中であるページイン中の状態； （ｉｖ）該主記憶上に割り付けられているページインの
状態。

【００１６】また、好ましくは、図４に示すように、受
信装置でのアドレス変換時に、タスクごとに割り当てら
れた通信ＩＤと、パケットの送り元の論理プロセッサ番
号から決定される主記憶上の場所に記憶されている論理
ページ番号と、変換しようとしている論理ページ番号と
を比較する手段２２２、２２３を持つ構成としている。

【００１７】また、図８に示すように、受信装置内での
アドレス変換の結果、ページの状態２３０がページイン
中の場合には、比較器２２を用いて論理ページの比較を
行なう。そして、論理ページ番号が同じ場合には何もせ
ず、論理ページ番号が異なった場合にだけ、その論理ペ
ージ番号をフォールトページリスト３３に加え、直近に
ページフォールトした論理ページ番号２９２として記憶
し、ページフォールトしたページ数２９４を１増やす、
ことを行なう構成とするとよい。

【００１８】さらに、好ましくは、図３に示すように、
宛先の通信ＩＤと送り元の論理プロセッサ番号から決ま
る主記憶上の位置のデータと、パケットに付加されたデ
ータとを交換し、交換した結果を送り元のプロセッサの
決められた主記憶上の位置に書き込むチェックパケット
１３３を持つ。

【００１９】そして、プロセッサ間通信でデータを送っ
た直後に、チェックパケット１３３を用いて、事前に送
ったプロセッサ間通信の受信側でのページフォールトが
あったかどうかを知る構成とするとよい。

【００２０】また、本発明のプロセッサ間通信装置で
は、第２の実施の形態で示すように、作成されるページ
フォールトしたページのリストを、リモートリードによ
って、送り元のプロセッサが読み出して、そこにある論
理ページ番号のデータだけを再送し、再度前記パケット
でページフォールトの有無を確認し、ページフォールト
が起こらなくなるまで、再送をつづける構成としてい
る。

【００２１】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。 図１は、本発明の一実施の形態を
説明する構成ブロック図である。図において、並列コン
ピュータは、複数のプロセッサ１がネットワーク２に接
続されて構成されている。プロセッサ１は、ＣＰＵ３と
主記憶４と送信装置５と受信装置６から構成される。送
信装置５内は、ヘッダ読み出し回路７、ヘッダレジスタ
８、パケット生成回路９、ＴＬＢ１０、割り込み発生回
路１１、並びにＦＩＦＯメモリ１２から構成されてい
る。

【００２２】ヘッダ読み出し回路７は、ＣＰＵ３からの
送信要求によって、主記憶４上に設けられたパーセルヘ
ッダキュー１３からヘッダ１４を読み出し、ヘッダの内
容を検査し、エラーがなければ、ヘッダレジスタ８に格
納する。ヘッダレジスタ８は、複数のヘッダ１４を格納
できる。

【００２３】パケット生成回路９は、ヘッダレジスタ８
内の複数のヘッダ１４のうち次にパケットを送信できる
ものを選び、そのヘッダに書かれたソースアドレスをＴ
ＬＢ１０を使って論理アドレスから物理アドレスに変換
する。そして、ヘッダレジスタ８内のヘッダ１４を使っ
て、ネットワーク２に送り出すパケットのヘッダを作成
し、ＴＬＢ１０により変換された物理ソースアドレスか
らのデータの読み出しを主記憶４に依頼し、読み出した
送信データ１５をパケットとしてネットワーク２に送り
出す。

【００２４】ＴＬＢ１０は、ヘッダレジスタ８内の通信
ＩＤとソースアドレスから、論理アドレスを物理アドレ
スに変換する。ＴＬＢ１０内にはアドレス変換に必要な
情報がキャッシュされているが、必要に応じて、主記憶
４上のページテーブル１６にアクセスしたり、ＯＳにペ
ージの割り当てを要求するための割り込みをおこしたり
して、アドレス変換に必要な情報を得る。

【００２５】ＦＩＦＯメモリ１２は、ネットワーク２と
パケット生成回路９間に設けられたもので、データ幅の
変換やエラー検出符号などの作成を行なう。割り込み発
生回路１１は、ヘッダ読み出し回路７でのヘッダの検査
の結果、エラーとなった場合や、ＴＬＢ１０における論
理アドレスから物理アドレスへの変換の際に、ＯＳに対
して処理を依頼しなければならない時に、ＣＰＵ３に対
して割り込みを発生させる。

【００２６】受信装置６内は、ＦＩＦＯメモリ１７、通
信ＩＤレジスタ１８、送り元論理プロセッサ番号レジス
タ１９、書き込みアドレスレジスタ２０、ＴＬＢ２１、
比較器２２、データ書き込み回路２３、データ交換回路
２４、ヘッダ書き込み回路２５、並びに割り込み発生回
路２６から構成される。

【００２７】ＦＩＦＯメモリ１７は、ネットワークから
送られてきたパケットを一次的に格納する。通信ＩＤレ
ジスタ１８は、パケットヘッダに含まれる通信ＩＤを格
納する。送り元論理プロセッサ番号レジスタ１９は、パ
ケットヘッダに含まれる、そのパケットを送信したプロ
セッサの論理プロセッサ番号を格納する。書き込みアド
レスレジスタ２０は、パケットヘッダに含まれている、
パケットのデータの書き込みアドレス（デスティネーシ
ョンアドレス）を格納する。

【００２８】ＴＬＢ２１は、通信ＩＤレジスタ１８内の
通信ＩＤと、書き込みアドレスレジスタ２０内のデステ
ィネーションアドレスから、論理アドレスを物理アドレ
スに変換して、データ書き込み回路２３に物理書き込み
アドレスを渡す。ＴＬＢ２１内にはアドレス変換に必要
な情報がキャッシュされているが、必要に応じて、主記
憶４上のページテーブル１６にアクセスしたり、ＯＳに
ページの割り当てを要求するための割り込みをおこした
りして、アドレス変換に必要な情報を得る。

【００２９】データ書き込み回路２３は、パケットで送
られてきた受信データ２７を、主記憶４上の、ＴＬＢ２
１から出力された書き込みアドレスに、書き込む。デー
タ交換回路２４は、主記憶４上に設けられたチェックバ
ッファ２８のエントリ２９（以下、チェックバッファエ
ントリ２９という）の値と、パケットで送られてきたデ
ータを交換し、チェックバッファエントリ２９の値をヘ
ッダ書き込み回路２５に出力する。

【００３０】ヘッダ書き込み回路２５は、送られてきた
パケットに含まれる情報と、データ交換回路２４からの
データとから、受信したパケットの返事のパーセルヘッ
ダを作成し、主記憶４上の返事専用のパーセルヘッダキ
ュー３４にヘッダを書き込み、送信装置５内のヘッダ読
み出し回路７に送信要求を出す。

【００３１】比較器２２は、書き込みアドレスレジスタ
２０に格納された書き込みアドレスの一部と、主記憶４
上のチェックバッファエントリ２９の一部を比較し、比
較結果をデータ書き込み回路２３に出力し、必要に応じ
て割り込み発生回路２６を使って割り込みを発生させ
る。

【００３２】割り込み発生回路２６は、比較器２２での
比較結果で割り込みが必要な場合や、ＴＬＢ２１におけ
る論理アドレスから物理アドレスへの変換の際に、ＯＳ
に対して処理を依頼しなければならない時に、ＣＰＵ３
に対して割り込みを発生させる。

【００３３】チェックバッファポインタテーブル３１は
主記憶４に設けられたもので、各通信ＩＤのチェックバ
ッファ２８へのポインタ３０を格納している。受信装置
６は、通信ＩＤレジスタ１８内の通信ＩＤと、主記憶上
のチェックバッファポインタテーブル３１を使って、そ
の通信ＩＤに対応するチェックバッファ２８をアクセス
する。

【００３４】宛先変換テーブル３２は、主記憶４に設け
られたもので、送信装置５内のヘッダ読み出し回路７
が、宛先論理プロセッサ番号を、宛先物理プロセッサ番
号と通信ＩＤに変換するのに用いられる。フォールトペ
ージリスト３３は、主記憶４に設けられたもので、ペー
ジフォールトしたページの論理ページ番号を格納する。

【００３５】次に、この並列コンピュータで通信時に使
われる、パーセルとパケットについて説明する。パーセ
ルは通信の単位であって、そのヘッダ１４がパーセルヘ
ッダキュー１３に書かれる。ヘッダレジスタ８には、ヘ
ッダ読み出し回路７が、主記憶４上の宛先変換テーブル
３２を使って、このパーセルヘッダの宛先を論理プロセ
ッサ番号から、物理プロセッサ番号と通信ＩＤに、変換
したものが書き込まれる。パケットはネットワーク内を
流れる通信の単位であり、ネットワーク２を構成するス
イッチ内のＦＩＦＯメモリの容量等により、その大きさ
が限定される。１つのパーセルで送られるデータはパケ
ット生成回路９により、複数のパケットに分割され送ら
れる。

【００３６】図２は、この並列コンピュータで通信され
るリモートＤＭＡパーセルの構成図で、（Ａ）はパーセ
ルヘッダキュー１３内での形式、（Ｂ）はヘッダレジス
タ８内での形式、（Ｃ）はリモートＤＭＡパケットの形
式を示している。

【００３７】まず、リモートＤＭＡパーセルは、送信デ
ータの読み出しアドレス１０５からデータ長１０４分の
データを、宛先論理プロセッサ番号１０３で示された宛
先のプロセッサ１の主記憶４の書き込みアドレス１０６
へ書き込む機能を持つ。リモートＤＭＡのパーセルヘッ
ダ１０１の先頭にはコード欄１０２が設けられている。
コード欄１０２に書き込まれた「０００」は、このパー
セルヘッダがリモートＤＭＡのヘッダであることを示し
ている。

【００３８】ヘッダ読み出し回路７により、主記憶４上
のパーセルヘッダキュー１３から読み出されたリモート
ＤＭＡのパーセルヘッダ１０１は宛先変換テーブル３２
を使って、宛先論理プロセッサ番号１０３が、宛先物理
プロセッサ番号と通信ＩＤ１１０に変換されて、ヘッダ
レジスタ８に書き込まれる。

【００３９】パケット生成回路９は、ヘッダレジスタ８
内のリモートＤＭＡのパーセルヘッダ１０８と、そのタ
スクが持っている情報１２１を使って、リモートＤＭＡ
のパケット１１４を生成する。リモートＤＭＡのパケッ
ト１１４は、リモートＤＭＡを示す「０００」が書き込
まれたコード欄１１５と、宛先の物理プロセッサ番号と
通信ＩＤ１１６と、パケット長１１７、送り元の論理プ
ロセッサ番号１１８、書き込みアドレス１１９、送信デ
ータ１２０から構成される。

【００４０】パケット生成回路９は、ヘッダレジスタ８
内の残りデータ長１１１と、送信データの読み出しアド
レス１１２と書き込みアドレス１１３からパケット長１
１７を決定し、リモートＤＭＡのパケット１１４を生成
する。ヘッダレジスタ８内のリモートＤＭＡのパーセル
ヘッダの残りデータ長１１１と、読み出しアドレス１１
２、書き込みアドレス１１３は、１つのパケットを送信
するごとに更新され、パケット生成回路９は、残りデー
タ長１１１がゼロになるまで、パケットを送る。

【００４１】パケット生成回路９は、１つのパケットの
送信や受信の途中にページフォールト等が起こらないよ
うに、読み出しアドレス１１２と書き込みアドレス１１
３のページ境界をまたぐパケットは生成しない。即ち、
パケット生成回路９は、読み出しアドレス１１２のペー
ジ境界と書き込みアドレス１１３のページ境界では、必
ず、パケットが切られるように、パケット長１１７を決
定する。

【００４２】次にチェックパケットのパーセルについて
説明する。図３は、この並列コンピュータで通信される
チェックパケットのパーセルとチェックパケットの返事
のパーセルの構成図で、（Ａ）はパーセルヘッダキュー
１３内での形式、（Ｂ）はヘッダレジスタ８内での形
式、（Ｃ）はチェックパケットの形式、（Ｄ）はパーセ
ルヘッダキュー１３内での形式、（Ｅ）はヘッダレジス
タ８内での形式、（Ｆ）はチェックパケットの返事のパ
ケットの形式を示している。チェックパケットのパーセ
ルは、特別なアドレスにある値と交換するデータ１２６
を交換し、値をチェックパケットの返事のパケット１５
２として返送し、指定された返事の書き込みアドレス１
２５に書き込む機能を持つ。

【００４３】パーセルヘッダキュー内のチェックパケッ
トのパーセルヘッダ１２２には、チェックパケットのパ
ーセルであることを示す「１００」が書き込まれたコー
ド欄１２３、宛先の論理プロセッサ番号１２４、チェッ
クパケットの返事を書き込む書き込みアドレス１２５、
交換するデータ１２６から構成される。チェックパケッ
トのパーセルヘッダ１２２もヘッダレジスタ８に書き込
まれる前に、宛先変換テーブル３２を使って、宛先論理
プロセッサ番号１２４が宛先の物理プロセッサ番号と通
信ＩＤ１３０に変換される。

【００４４】パケット生成回路９は、ヘッダレジスタ内
のチェックパケットのパーセルヘッダ１２８と、そのタ
スクの情報１４１から、次のようなものから構成される
チェックパケット１３３を作成する。コード欄１３４に
書き込まれた「１００」は、パケットの種類がチェック
パケットであることを示す。送り元の論理プロセッサ番
号１３７と送り元の物理プロセッサ番号と通信ＩＤ１３
８は、そのタスクが持っている情報１４１である。返事
の書き込みアドレス１３９と交換するデータ１４０は、
チェックパケットのパーセルヘッダ１２８のものをその
まま使う。チェックパケットのパーセルヘッダ１２８は
必ず１つのチェックパケット１３３として送信される。

【００４５】最後にチェックパケットの返事のパーセル
ヘッダ１４２について、図３を参照して説明する。この
パーセルヘッダは受信装置６のデータ交換回路２４で交
換されたチェックバッファエントリ２９と、チェックパ
ケット１３３内にある情報とから作成され、ヘッダ書き
込み回路２５によって主記憶４上の返事専用のパーセル
ヘッダキュー３４に書き込まれる。

【００４６】チェックパケットの返事のパーセルヘッダ
１４２には、チェックパケットの返事を示す「１０１」
が書き込まれたコード欄１４３と、チェックパケット１
３３の送り元の物理プロセッサ番号と通信ＩＤ１３８を
そのまま使った宛先の物理プロセッサ番号と通信ＩＤ１
４４、チェックパケット１３３の返事の書き込みアドレ
ス１３９をそのまま使った返事の書き込みアドレス１４
５と、交換したチェックバッファエントリ１４６から構
成される。

【００４７】ヘッダ読み出し回路７は、返事専用のパー
セルヘッダキューから、チェックパケットの返事のパー
セルヘッダ１４２を読み出すと、チェックパケットの返
事を示す「１０１」が書き込まれたコード欄１４３を確
認する。他のリモートＤＭＡのパーセルヘッダ１０１や
チェックパケットのパーセルヘッダ１２２の場合とは異
なり、ヘッダ読み出し回路７は、宛先プロセッサ番号を
変換しないで、パーセルヘッダキュー内のチェックパケ
ットの返事のパーセルヘッダ１４２に書かれた宛先の物
理プロセッサ番号と通信ＩＤ１４４をそのままヘッダレ
ジスタ８に書き込む。これは、チェックパケットの返事
のパーセルヘッダ１４２が、送信装置５のパケット生成
回路９によって作られた送り元の物理プロセッサ番号と
通信ＩＤ１３８をもとに、受信装置６のヘッダ書き込み
回路２５によって、作られたものであり、ユーザタスク
がアクセスできない特別なパーセルヘッダキュー３４に
書かれたものであるため、そのまま使っても安全である
からである。

【００４８】パケット生成回路９は、チェックパケット
の返事のパーセルヘッダ１４７からチェックパケットの
返事のパケット１５２を作成し、ネットワークに送り出
す。チェックパケットの返事のパーセル１４７も、必ず
１つのチェックパケットの返事のパケット１４１とな
る。

【００４９】次にＴＬＢ１０、２１で行なわれるアドレ
ス変換について図４を使って説明する。図４はＴＬＢ１
０の詳細を説明する構成ブロック図である。なお、ＴＬ
Ｂ２１もＴＬＢ１０と同様の構成となっている。図４に
おいて、論理アドレス２０１は、論理ページ番号２０２
とオフセット２０３によって構成されている。ＴＬＢ１
０では、通信ＩＤ２０４と論理ページ番号２０２から、
物理ページ番号２２９とページの状態２３０を引く。こ
の実施例では、ＴＬＢ１０には４個のエントリがあり、
与えられた通信ＩＤ２０４と論理ページ番号２０２と、
４個のエントリ内の通信ＩＤ２０６〜２０９と論理ペー
ジ番号２１０〜２１３とが比較器２２２、２２３によっ
て比較され、両方が同じものの物理ページ番号２１４〜
２１７とページの状態２１８〜２２１が選択回路２２４
からの信号により、ＭＵＸ２２５、２２６によって、選
ばれ、そのエントリの物理ページ番号２２９とページの
状態２３０が出力される。

【００５０】もし、４個のエントリ内に、通信ＩＤと論
理ページ番号の組が与えられた通信ＩＤ２０４と論理ペ
ージ番号２０２に等しいものがなければ、ＴＬＢ１０は
主記憶４上のページテーブル１６をアクセスして、該当
するページ情報をＴＬＢ１０内の４個のエントリのうち
の１個に読み出す。もし、ページテーブル１６にもその
ページ情報がなければ、ＴＬＢ１０はＯＳに割り込みを
あげて新しいページ情報を設定してもらう。

【００５１】主記憶４上のページテーブル１６の構成は
いろいろなものが考えられる。最も簡単なものは、通信
ＩＤ２０４と論理ページ番号２０２を組み合わせたもの
をオフセットとする構成である。主記憶４の使用効率等
を考えると、論理アドレス２０１を論理ページ番号２０
２とオフセット２０３だけではなく、セグメントと論理
ページ番号とオフセットと解釈し、セグメントごとにペ
ージテーブル１６を用意する構成としてもよい。

【００５２】ただし、ページの状態２３０として、次の
ような状態を定義する必要がある。ページの状態２３０
は２ｂitで表されており、次のようなものがある。

【００５３】“００”:そのページが無効であることを
示す。新規にアクセスされたページの場合もあるので、
割り込みを発生させて、ＯＳに物理ページの割り付けを
依頼する。

【００５４】“０１”:そのページが主記憶４になくデ
ィスクにページアウトされている状態であることを示
す。この場合も割り込みを発生させて、ＯＳに対し処理
を依頼する。

【００５５】“１０”:そのページが主記憶４になくデ
ィスクにページアウトされているが、ページイン中であ
ることを示す。この場合は、割り込みを発生させない。

【００５６】“１１”:そのページが主記憶４上にペー
ジインされていることを示す。

【００５７】次にチェックバッファエントリ２９につい
て説明する。図５に示すように、チェックバッファエン
トリ２９には、ページフォールトが起こったかどうかを
示すページフォールトフラグ２９１、直近にページフォ
ールトした論理ページ番号２９２、ページフォールトし
たページ数２９４、フォールトページリスト３３の先頭
アドレス２９３が格納されている。ページフォールトフ
ラグ２９１は、“０”の時にページフォールトが起こっ
ていないことを、“１”の時に、ページフォールトがす
でに起こったことを示す。

【００５８】次にフォールトページリスト３３について
説明する。フォールトページリスト３３は、１つのチェ
ックバッファエントリ２９に対して１つ設けられてお
り、その先頭アドレス２９３はチェックバッファエント
リ２９に書かれている。フォールトページリスト３３に
は、ページフォールトした論理ページ番号３３１が書き
込まれている。フォールトページリスト３３の大きさ
は、チェックバッファエントリ２９内のページフォール
トしたページ数２９４となる。１つのパーセルヘッダで
送信できるデータの大きさは限られているので、フォー
ルトページリスト３３の大きさの上限は、「１パーセル
で転送できるデータ」÷「１ページの大きさ」となる。

【００５９】次に本発明でのプロセッサ間通信の方法に
関して説明する。まず、前述したように、パーセルが通
信の単位である。１つのリモートＤＭＡパーセルでは限
られた大きさの連続したアドレスのデータが通信でき
る。本実施例では、１つのリモートＤＭＡパーセルで送
れるデータの大きさは５１２ｋバイトとする。また、１
ページの大きさは４ｋバイトとする。従って、フォール
トページリスト３３の大きさは最大で１２８ページ分と
なる。このくらいの大きさなら、フォールトページリス
ト３３の領域を仮想記憶のページアウトの対象から外
し、必ずページインの状態に固定することも可能であ
る。

【００６０】本発明では、１つのリモートＤＭＡパーセ
ルを送るごとに、その直後にチェックパケットのパーセ
ルを送る。

【００６１】図６に、通信ライブラリの処理を示す。ま
ず、通信ライブラリは、送信するデータを１パーセルで
送れる大きさにＮ分割する（ステップＳ２０１）。次
に、Ｎが“０”かどうか調べ（ステップＳ２０２）、
“０”でないなら、１個のリモートＤＭＡパーセルを送
る（ステップＳ２０３）。その直後に１個のチェックパ
ケットのパーセルを送る（ステップＳ２０４）。チェッ
クパケットで送る交換するデータは、ページフォールト
フラグ２９１が“０”のチェックバッファエントリ２９
の初期値となる。

【００６２】そして、そのチェックパケットの返事を待
つ（ステップＳ２０５）。チェックパケットの返事は、
直前に送ったリモートＤＭＡパーセルのデータ受信時に
ページフォールトが起こったかどうかを示すチェックバ
ッファエントリ２９である。そのチェックバッファエン
トリ２９のページフォールトフラグ２９１を調べる（ス
テップＳ２０６）。そして、もし、ページフォールトが
起こっていれば、その処理を行なって、このリモートＤ
ＭＡパーセルの送信を完了する（ステップＳ２０７）。

【００６３】ページフォールトに対する処理は、要する
に、このリモートＤＭＡパーセルで送ったデータが正確
に受信されるように処理するもので、詳細は後で説明す
る。一方、もし、ページフォールトが起こっていなけれ
ば、何もしない。そして、Ｎを１減らし（ステップＳ２
０８）、Ｎがゼロになるまで、繰り返す。

【００６４】次に、図１、図２、及び図７を使って送信
時のページフォールトに対する処理について説明する。
送信装置５内のパケット生成回路９は、ヘッダレジスタ
８内のパーセルヘッダを１つ選び（ステップＳ００
１）、そのパケットを生成する。そのパーセルヘッダが
リモートＤＭＡのパーセルヘッダである場合（ステップ
Ｓ００２）には、パケット生成回路９は、その送信デー
タ読み出しアドレスをＴＬＢ１０を使って物理アドレス
に変換する（ステップＳ００３）。そしてページの状態
２３０を調べる（ステップＳ００４）。

【００６５】ページの状態２３０が無効“００”なら、
ＴＬＢ１０は割り込みを発生させて（ステップＳ００
５）、ＯＳに新しいページを割り当ててもらう（ステッ
プＳ００６）。通常は転送するデータは事前にＣＰＵが
作成しているので、読み出しアドレスのページの状態２
３０が“００”であることはほとんどない。そして、Ｏ
Ｓはページの状態２３０を“１１”にして（ステップＳ
００７）、ＴＬＢ１０を割り込み状態から復帰する（ス
テップＳ００８）。ＴＬＢ１０は、また、ページの状態
２３０を調べる（ステップＳ００４）。

【００６６】ページの状態２３０がページアウト“０
１”なら、ＴＬＢ１０は割り込みを発生させて（ステッ
プＳ００９）、ＯＳにページインの操作を開始してもら
う（ステップＳ０１０）。さらにＯＳは、ページの状態
２３０を“１０”に書き変えページイン中の状態にする
（ステップＳ０１１）。そして、ＯＳはＴＬＢ１０を割
り込み状態から復帰させる（ステップＳ０１２）。ＴＬ
Ｂ１０は、また、ページの状態２３０を調べる（ステッ
プＳ００４）。

【００６７】ページの状態２３０がページイン中“１
０”なら、ＴＬＢ１０は割り込みを発生させず、ページ
の状態２３０をパケット生成回路９に伝える。パケット
生成回路９は、そのパケットのデータがページイン中で
あるので、そのパーセルヘッダのパケットの送信を中止
し（ステップＳ０１３）、他のパーセルヘッダの送信を
試みるため、パーセルヘッダを選ぶ（ステップＳ００
１）。

【００６８】ページの状態２３０がページイン“１１”
なら、ＴＬＢ１０は割り込みを発生させず、ページの状
態２３０をパケット生成回路９に伝える。パケット生成
回路９は、主記憶４の送信データ１５をアクセスし、こ
のパケットを送信する（ステップＳ０１４）。そして、
パケット長をもとに、ヘッダレジスタ内の残りデータ
長、読み出しアドレス、書き込みアドレスを更新する
（ステップＳ０１５）。そして、送ったパケットが最後
かどうか、つまり、残りデータ長がゼロかどうかを調べ
る（ステップＳ０１６）。

【００６９】もし、最後のパケットでなければ、次のパ
ケットを送るためパーセルヘッダの選択を行なう（ステ
ップＳ００１）。もし、最後のパケットの場合には、ヘ
ッダレジスタ８からこのパーセルヘッダを消して、ヘッ
ダレジスタ８を解放する（ステップＳ０１７）。そし
て、次に送るパーセルヘッダを選択する（ステップＳ０
０１）。

【００７０】パケット生成回路９が選んだパーセルヘッ
ダが、リモートＤＭＡのパーセルではなかった場合、つ
まり、チェックパケットのパーセルヘッダか、チェック
パケットの返事のパーセルヘッダの場合には、ＴＬＢ１
０を使ってアドレスの変換をする必要はなく、そのまま
パケットを送信する。これらのパーセルは１個のパケッ
トにしかならないので、パーセルヘッダをヘッダレジス
タ８から消し、ヘッダレジスタを解放する（ステップＳ
０１７）。そして、次のパーセルヘッダを選択する（ス
テップＳ００１）。

【００７１】次に、図１、図５、及び図８を使って、受
信側でのページフォールトに対する処理について説明す
る。受信装置６は、リモートＤＭＡのパケットが到着す
ると、パケットヘッダの情報を、通信ＩＤレジスタ１
８、送り元プロセッサ番号レジスタ１９、書き込みアド
レスレジスタ２０に格納する（ステップＳ１０１）。そ
して、通信ＩＤレジスタ１８内の通信ＩＤと、書き込み
アドレスレジスタ２０内の書き込みアドレスから、ＴＬ
Ｂ２１を使って、論理アドレスを物理アドレスに変換す
る（ステップＳ１０２）。

【００７２】ＴＬＢ２１は、入力された通信ＩＤと論理
ページ番号から、そのページの物理ページ番号とページ
の状態２３０を引く。そして、そのページの状態２３０
を調べる（ステップＳ１０３）。

【００７３】ページの状態２３０が無効“００”なら、
ＴＬＢ２１は割り込みを発生させて、ＯＳに新しいペー
ジの割り当てを行なってもらう（ステップＳ１０４）。
ＯＳは、主記憶上にある新しいページをその論理ページ
に割り当てて物理ページ番号を設定し（ステップＳ１０
５）、ページの状態２３０を“１１”にし（ステップＳ
１０６）、割り込み処理から抜ける（ステップＳ１０
７）。ＴＬＢ２１は、新たに設定されたページ情報を調
べる（ステップＳ１０３）。

【００７４】ページの状態２３０がページアウト“０
１”なら、ＴＬＢ２１は割り込みを発生させて、ＯＳに
以下のような処理を依頼する（ステップＳ１０８）。ま
ず、ＯＳはそのページのページインの処理を開始する
（ステップＳ１０９）。そして、ＯＳは受信データを書
き捨てるために予め用意していたダミーページをその物
理ページ番号に設定し（ステップＳ１１０）、ページの
状態２３０をページイン中“１０”にする（ステップＳ
１１１）。

【００７５】次にＯＳは、このパケットの通信ＩＤと送
り元の論理プロセッサ番号から、該当するチェックバッ
ファエントリ２９をアクセスし、ページフォールトフラ
グ２９１を調べる（ステップＳ１２０）。もし、以前に
ページフォールトが起こっていない場合には、ページフ
ォールトフラグ２９１を“１”にして、フォールトペー
ジリスト３３の先頭アドレスをチェックバッファエント
リ２９に設定する（ステップＳ１２１）。

【００７６】そして、チェックバッファエントリ２９に
この論理ページ番号を、直近にページフォールトした論
理ページ番号２９２として書き込み（ステップＳ１２
２）、チェックバッファエントリ２９のページフォール
トしたページ数を１増やし（ステップＳ１２３）、フォ
ールトページリスト３３にこの論理ページ番号を加える
（ステップＳ１２４）。そして、割り込み処理から復帰
する（ステップＳ１２５）。ＴＬＢ２１は、新たに設定
されたページ情報を調べる（ステップＳ１０３）。

【００７７】ページの状態２３０がページイン中“１
０”なら、ＴＬＢ２１は割り込みを発生させず、ページ
の状態２３０を受信装置６に伝える。受信装置６は、そ
のパケットの通信ＩＤからチェックバッファポインタテ
ーブル３１をアクセスし、その通信ＩＤのチェックバッ
ファの先頭アドレス３０を取り出し、送り元論理プロセ
ッサ番号レジスタ１９内のそのパケットの送り元の論理
プロセッサ番号をオフセットとして、チェックバッファ
エントリ２９をアクセスする。そして、比較器２２を使
って、そこに書かれた論理ページ番号と、このページの
論理ページ番号とを、比較する（ステップＳ１１３）。

【００７８】比較の結果、２つのページ番号が同じなら
ば、データ書き込み回路２３は、その物理アドレスに受
信データを書き込む。この物理アドレスはダミーのペー
ジであり、送られてきたデータは捨てられることになる
（ステップＳ１１７）。比較の結果、２つのページ番号
が異なれば、比較器２２は割り込みを発生させて（ステ
ップＳ１１５）、ＯＳに次のことを依頼する。

【００７９】ＯＳは、このパケットの通信ＩＤと送り元
の論理プロセッサ番号から、該当するチェックバッファ
エントリ２９をアクセスし、ページフォールトフラグ２
９１を調べる（ステップＳ１２０）。もし、以前にペー
ジフォールトが起こっていない場合には、ページフォー
ルトフラグ２９１を“１”にして、フォールトページリ
スト３３の先頭アドレスをチェックバッファエントリ２
９に設定する（ステップＳ１２１）。

【００８０】そして、チェックバッファエントリ２９に
この論理ページ番号を、直近にページフォールトした論
理ページ番号２９２として書き込み（ステップＳ１２
２）、チェックバッファエントリ２９のページフォール
トしたページ数を１増やし（ステップＳ１２３）、フォ
ールトページリスト３３にこの論理ページ番号を加える
（ステップＳ１２４）。そして、割り込み処理から復帰
する（ステップＳ１２５）。そして、データ書き込み回
路２３は、その物理アドレスに受信データを書き込む。
この物理アドレスはダミーのページであり、送られてき
たデータは捨てられることになる（ステップＳ１１
７）。

【００８１】ページの状態２３０がページイン“１１”
なら、ＴＬＢ２１は割り込みを発生させず、ページ情報
をデータ書き込み回路２３に伝える。データ書き込み回
路２３は、主記憶にアクセスして、送られてきたデータ
を書き込む（ステップＳ１１８）。このパケットは正常
に受信されたことになる。

【００８２】最後に、受信時にページフォールトが起こ
った場合の送信側での通信ライブラリの処理について説
明する。チェックパケットのパーセルを送って、その返
事を調べた時、ページフォールトフラグ２９１が“１”
であった場合には、ページフォールトが起こったという
ことである。通信ライブラリは、割り込みをおこして、
ＯＳに対し、ページフォールトしたページへのデータの
転送を依頼し、スリープする。

【００８３】ＯＳは、受信側のＯＳと通信を行ない、チ
ェックバッファエントリ２９に書かれたページフォール
トしたページ数と、フォールトページリスト３３の先頭
アドレスを使って、ダミーページに書き込まれて捨てら
れたデータを再送する。そして、リモートＤＭＡのパー
セルで送ろうとしたデータが全部受信された時点で、ス
リープしていた通信ライブラリをおこす。

【００８４】第２の実施の形態では、新たにリモートリ
ードパーセルを導入する。図９は、リモートリードパー
セルとチェックパケットの返事のパーセルの構成図で、
（Ａ）はパーセルヘッダキュー１３内での形式、（Ｂ）
はヘッダレジスタ８内での形式、（Ｃ）はリモートリー
ドパケットの形式、（Ｄ）はパーセルヘッダキュー１３
内での形式、（Ｅ）はヘッダレジスタ８内での形式、
（Ｆ）はリモートリードの返事のパケットの形式を示し
ている。

【００８５】リモートリードパーセルは、図９に示すよ
うに、宛先論理プロセッサ番号４０３で指定されたプロ
セッサの読み出しアドレス４０５から、データ長４０４
分のデータを読み出し、リモートリードパーセルを送っ
たプロセッサの主記憶４の書き込みアドレス４０６に書
き込む機能を持つ。コード欄４０２に書き込まれた「１
１０」は、これがリモートリードのパーセルヘッダ４０
１であることを示す。リモートリードのパーセルヘッダ
４０１もヘッダレジスタ８に書き込まれる前に、宛先変
換テーブル３２を使って、宛先論理プロセッサ番号４０
３が宛先の物理プロセッサ番号と通信ＩＤ４１０に変換
される。

【００８６】パケット生成回路９は、ヘッダレジスタ内
のリモートリードのパーセルヘッダ４０８と、そのタス
クの情報４２２から、次のようなものから構成されるリ
モートリードパケット４１４を作成する。「１１０」が
書き込まれたコード欄４１５は、それがリモートリード
のパケットであることを示す。送り元の物理プロセッサ
番号と通信ＩＤ４１８は、そのタスクが持っている情報
１４１である。データ長４１９と読み出しアドレス４２
０、書き込みアドレス４２１は、リモートリードのパー
セルヘッダ４０８のものをそのまま使う。リモートリー
ドのパーセルヘッダ４０８は必ず１つのリモートリード
のパケット４１４として送信される。

【００８７】次に、リモートリードの返事のパーセルヘ
ッダ４２３について説明する。このパーセルヘッダは受
信装置６のヘッダ書き込み回路２５によって、リモート
リードパケット４１４内にある情報から作成され、主記
憶４上の返事専用のパーセルヘッダキュー３４に書き込
まれる。

【００８８】リモートリードの返事のパーセルヘッダ４
２３には、リモートリードの返事を示す「１１１」が書
き込まれたコード欄４２４と、リモートリードパケット
４１４の送り元の物理プロセッサ番号と通信ＩＤ４１８
をそのまま使った宛先の物理プロセッサ番号と通信ＩＤ
４２５、データ長４２６、読み出しアドレス４２７、書
き込みアドレス４２８から構成される。

【００８９】ヘッダ読み出し回路７は、返事専用のパー
セルヘッダキュー３４から、リモートリードの返事のパ
ーセルヘッダ４２３を読み出すと、リモートリードの返
事を示す「１１１」が書き込まれたコード欄４２４を確
認し、チェックパケットの返事のパーセルヘッダの場合
と同じように、宛先プロセッサ番号を変換しないで、パ
ーセルヘッダキュー内のリモートリードの返事のパーセ
ルヘッダ４２３に書かれた宛先の物理プロセッサ番号と
通信ＩＤ４２５をそのままヘッダレジスタ８に書き込
む。

【００９０】これは、リモートリードの返事のパーセル
ヘッダ１４２が、送信装置のパケット生成回路９によっ
て作られた送り元の物理プロセッサ番号と通信ＩＤ４１
８をもとに、受信装置６のヘッダ書き込み回路２５によ
って、作られたものであり、ユーザタスクがアクセスで
きない特別なパーセルヘッダキュー３４に書かれたもの
であるため、そのまま使っても安全であるからである。

【００９１】パケット生成回路９は、リモートＤＭＡの
パーセルを処理するのと同じように、残りデータ長４３
２と、読み出しアドレス４３３、書き込みアドレス４３
４から、パケット長４３８を決定し、リモートリードの
返事のパケット４３５を送り出す。リモートリードの返
事のパケットは、複数送られることがある。

【００９２】リモートリードの返事のパーセルはリモー
トＤＭＡのパーセルと同じように、送信装置５で処理さ
れる。つまり、送信アドレスをＴＬＢ１０で論理アドレ
スから物理アドレスに変換しないといけないので、送信
データがページアウトしている可能性もある。リモート
リードの返事のパーセルは、図７でのリモートＤＭＡの
パーセルの送信処理と同じく処理される。従って、リモ
ートリードの返事のパーセルを送る時の送信側のページ
フォールトの問題は適切に処理される。

【００９３】第２の実施の形態では、このリモートリー
ドパーセルを使って、フォールトページリスト３３を送
信側通信ライブラリが読み、該当するページの部分を再
送するものである。

【００９４】図１０は通信ライブラリの処理を説明する
図で、ここでは適宜図５も参照して説明する。通信ライ
ブラリは、１個のリモートＤＭＡのパーセルを送った
（ステップＳ３０１）後に、チェックパケットを送る
（ステップＳ３０２）。そして、そのチェックパケット
の返事を受信（ステップＳ３０３）し、チェックバッフ
ァエントリ２９のページフォールトフラグ２９１を調べ
る（ステップＳ３０４）。もし、ページフォールトが起
こっていなければ、次のパーセルの送信を行なう。

【００９５】もし、ページフォールトが発生していた
ら、送られてきたチェックバッファエントリ２９内にあ
る、フォールトページリスト３３の先頭アドレスから、
ページフォールトしたページ分のデータをリモートリー
ドパーセルによって読み出す（ステップＳ３０５）。そ
して、フォールトページリスト３３に書かれた論理ペー
ジに送ったデータを再送する（ステップＳ３０６）。

【００９６】この時、ページフォールトしたページは連
続していないかもしれないが、フォールトページリスト
３３に書かれている順番、つまり、論理ページ番号が大
きくなる順番に、そのデータを複数のパーセルで送る。
そして、最後に、また、チェックパケットを送信してペ
ージフォールトの有無を確認する（ステップＳ３０
２）。

【００９７】通信ライブラリは、ページフォールトした
ページがすでにページインされていることを期待して再
送するが、まだ、ページインされていないかもしれな
い。もし、ページインされていないページがあれば、ま
た、受信側でダミーページに書き捨てられることにな
る。通信ライブラリは、ページフォールトしたページ分
だけのデータを再送し、ページフォールトしたページは
いつかはページインされるので、いつかは、再送でのペ
ージフォールトが発生しなくなる。

【００９８】第２の実施の形態によると、ＯＳを介さず
に、ユーザタスクが再送をする構成としているので、Ｏ
Ｓの負担を軽減できるという効果がある。また、フォー
ルトページリスト３３に関しては、前述したように、あ
まり大きなリストにはならないので、事前にページイン
状態に固定した領域を使うことで、フォールトページリ
スト３３そのもののページフォールトを避けることがで
きる。

【００９９】さらに、たとえフォールトページリスト３
３がページアウトされていても、リモートリードの返事
のパーセルは、図７で示したリモートＤＭＡのパーセル
と同じく処理されるので、送信データに関するページフ
ォールトは適切に処理される。一方、リモートリードの
返事のパケットの受信時のページフォールトであるが、
フォールトページリスト３３の大きさは、たかだか１ペ
ージ分であることと、リモートリードしている側が受信
側なので、受信するページをＣＰＵがアクセスすること
で、事前にページインできることから、ページフォール
トは回避できると考えられる。

【０１００】

【発明の効果】以上説明したように、請求項１に記載の
プロセッサ間通信装置によれば、プロセッサ間通信に使
われる領域の大きさを意識しないでプログラミングでき
ることである。なぜなら、チェックバッファエントリと
フォールトページリストは主記憶に記憶されるが、プロ
グラムで使われる領域はすべて仮想記憶の対象なので、
従来方式３のようにプロセッサ間通信する主記憶の領域
を制限する必要がないからである。

【０１０１】請求項３に記載のプロセッサ間通信装置に
よれば、ページフォールトが発生しても、ネットワーク
の閉塞が起こらないという効果がある。なぜなら、ペー
ジフォールトしたページへのデータの書き込みは、通常
のデータ受信動作と変わらず、ダミーページに書き込む
ことで、捨てられるからである。

【０１０２】請求項４に記載のプロセッサ間通信装置に
よれば、プロセッサ間通信の性能を低下させずにすむこ
とである。なぜなら、論理ページの状態として、無効、
ページアウト、ページイン中、及びページインの４状態
に分けて、ページフォールトの確認を円滑に行なうから
である。

【０１０３】請求項５に記載のプロセッサ間通信装置に
よれば、ページフォールトが発生した場合でも受信装置
が発生する割り込みが少ないことである。なぜなら、チ
ェックバッファエントリ内の直近にページフォールトし
た論理ページ番号と、今ページフォールトした論理ペー
ジ番号を受信装置が比較するため、同じページのページ
フォールトによる複数の割り込みを発生させずにすむか
らである。

【０１０４】請求項６に記載のプロセッサ間通信装置に
よれば、ページフォールトが発生しない場合には、プロ
セッサ間通信の性能を低下させずにすむことである。な
ぜなら、ページフォールトの確認は大量のデータを送っ
た後に１度だけ、しかも、ページフォールトしたことを
確認するためのパケットの処理を受信装置が高速に行な
うからである。

【０１０５】請求項７に記載のプロセッサ間通信装置に
よれば、ページフォールトした時にＯＳの負担を軽減で
きるという効果がある。なぜなら、第２の実施の形態で
導入したリモートリードパーセルを使うことにより、ユ
ーザタスクがフォールトページリストを読み出して、自
分でページフォールトで受信されなかったデータを再送
することができるからである。

【図面の簡単な説明】

【図１】 本発明のプロセッサ間通信装置の構成図であ
る。

【図２】 この並列コンピュータで通信されるリモート
ＤＭＡパーセルの構成図である。

【図３】 この並列コンピュータで通信されるチェック
パケットのパーセルとチェックパケットの返事のパーセ
ルの構成図である。

【図４】 本発明の実施の形態で用いるＴＬＢの構成図
である。

【図５】 本発明で用いるチェックバッファエントリと
フォールトページリストの構成図である。

【図６】 本発明での送信側の通信ライブラリの処理を
説明するフローチャートである。

【図７】 本発明での送信側の読み出しアドレスがペー
ジフォールトした場合の送信装置での処理について説明
するフローチャートである。

【図８】 本発明での受信側の書き込みアドレスがペー
ジフォールトした場合の受信装置での処理について説明
するフローチャートである。

【図９】 本発明の第２の実施の形態で導入するリモー
トリードのパーセルとパケットの構成図である。

【図１０】 本発明の第２の実施の形態での、受信側で
ページフォールトが起こった場合の、通信ライブラリの
処理について説明するフローチャートである。

【図１１】 従来の並列計算機システムのページインの
説明図である。

【符号の説明】

１ プロセッサ ２ ネットワーク ３ ＣＰＵ ４ 主記憶 ５ 送信装置 ６ 受信装置 ７ ヘッダ読み出し回路 ８ ヘッダレジスタ ９ パケット生成回路 １０、２１ ＴＬＢ １１ 割り込み発生回路 １２ ＦＩＦＯメモリ １３ パーセルヘッダキュー １４ ヘッダ １５ 送信データ １６ ページテーブル １７ ＦＩＦＯメモリ １８ 通信ＩＤレジスタ １９ 送り元論理プロセッサ番号レジスタ ２０ 書き込みアドレスレジスタ ２２ 比較器 ２３ データ書き込み回路 ２４ データ交換回路 ２５ ヘッダ書き込み回路 ２６ 割り込み発生回路 ２７ 受信データ ２８ チェックバッファ ２９ チェックバッファエントリ ３１ チェックバッファポインタテーブル ３２ 宛先変換テーブル ３３ フォールトページリスト １１４ リモートＤＭＡパケット １３３ チェックパケット １５２ チェックパケットの返事のパケット ４１４ リモートリードパケット ４３５ リモートリードの返事のパケット

フロントページの続き (56)参考文献 特開 平９−212474（ＪＰ，Ａ) 特開 平９−269936（ＪＰ，Ａ) 特開 平11−203260（ＪＰ，Ａ) 特開 平４−261660（ＪＰ，Ａ) 特開 昭57−162164（ＪＰ，Ａ) 特開 平７−262151（ＪＰ，Ａ) 特開 平６−19856（ＪＰ，Ａ) 手塚宏史 他，ピンダウンキャッシュ を用いたユーザレベルゼロコピー通信, 情報処理学会研究報告，日本，社団法人 情報処理学会，1997年 ８月22日，Ｖｏ ｌ．97 Ｎｏ．76（97−ＡＲＣ−125）, ｐ．167−172 石川裕，コモディティハードウェアを 用いた並列処理技術，情報処理，日本, 社団法人情報処理学会，1998年 ８月15 日，第39巻第８号，ｐ．784−791 小西弘一 他，ＭＰＩ／ＤＥ−並列計 算機Ｃｅｎｊｕ−３のＭＰＩライブラリ ーの性能評価，情報処理学会研究報告, 日本，社団法人情報処理学会，1995年 ３月 ９日，Ｖｏｌ．95 Ｎｏ．28（95 −ＨＣＰ−55），ｐ．97−104 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/16 - 15/177 G06F 12/08 - 12/12

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 主記憶、送信装置、並びに受信装置を有
   するプロセッサが複数個、ネットワークによって結合さ
   れた並列コンピュータに用いられるプロセッサ間通信装
   置であって、 プロセッサ間通信で通信されるデータの読み出しアドレ
   スと書き込みアドレスが論理アドレスで指定され、 該送信装置と該受信装置内に論理アドレスから物理アド
   レスに変換する手段を備えると共に、 タスクごとに割り当てられた通信ＩＤと、パケットの送
   り元プロセッサの論理プロセッサ番号から決定される主
   記憶上の場所に、 （ｉ）該送り元プロセッサから該通信ＩＤを割り当てら
   れたタスクへのプロセッサ間通信時にページフォールト
   が発生したかどうかを示すページフォールトフラグと、 （ｉｉ）該プロセッサ間通信時に直近にページフォール
   トした論理ページ番号と、 （ｉｉｉ）該プロセッサ間通信時にページフォールトし
   たページ数と、 （ｉｖ）ページフォールトした論理ページ番号を格納す
   るフォールトページリストを格納する主記憶上の位置と
   を記憶する 手段を備えたプロセッサ間通信装置。
2. 【請求項２】 前記受信装置内でのアドレス変換の結
   果、ページの状態がページアウトの場合に、（ｉ）該ページフォールトフラグをＯＮにし、 （ｉｉ）該プロセッサ間通信時に直近にページフォール
   トした論理ページ番号に該アドレス変換した論理ページ
   番号を記憶し、 （ｉｉｉ）該ページフォールトしたページ数を１増や
   し、 （ｉｖ）該フォールトページリストに該アドレス変換し
   た論理ページ番号を追加する ことを特徴とする請求項１
   に記載のプロセッサ間通信装置。
3. 【請求項３】 前記受信装置内でのアドレス変換の結
   果、ページの状態がページアウトの場合に、 前記アドレス変換にかかる論理ページを予め用意してお
   いたダミーページに割り当てることを特徴とする請求項
   ２に記載のプロセッサ間通信装置。
4. 【請求項４】 該論理アドレスを構成する論理ページの
   情報として、該論理ページの割り当てられた物理ページ
   番号と、ページの状態として下記（ｉ）〜（ｉｖ）の状
   態を持つことを特徴とする請求項１に記載のプロセッサ
   間通信装置。（ｉ）物理ページが割り当てられていない
   無効の状態； （ｉｉ）現在主記憶になく外部記憶媒体に追い出されて
   いるページアウトの状態； （ｉｉｉ）以前はページアウトの状態で現在ページイン
   処理を行なっている際中であるページイン中の状態； （ｉｖ）該主記憶上に割り付けられているページインの
   状態。
5. 【請求項５】 タスクごとに割り当てられた通信ＩＤ
   と、パケットの送り元プロセッサの論理プロセッサ番号
   から決定される主記憶上の場所に記憶されている直近に
   ページフォールトした論理ページ番号と、変換した論理
   ページ番号とを比較する手段を有し、 前記受信装置内でのアドレス変換の結果、ページの状態
   がページイン中の場合には、 該比較手段は、該論理ページ番号が同じ場合には何もせ
   ず、該論理ページ番号が異なった場合にだけ、 （ｉ）該ページフォールトフラグをＯＮにし、 （ｉｉ）該プロセッサ間通信時に直近にページフォール
   トした論理ページ番号に変換した論理ページ番号を記憶
   し、 （ｉｉｉ）該ページフォールトしたページ数を１増や
   し、 （ｉｖ）該フォールトページリストに変換した論理ペー
   ジ番号を追加することを特徴とする請求項１に記載のプ
   ロセッサ間通信装置。
6. 【請求項６】 送り元プロセッサは、プロセッサ間通信
   の受信側でページフォルトがあったかどうかを知るため
   に、前記プロセッサ間通信でデータを送った直後に、チ
   ェックパケットを宛先プロセッサに対して送信し、 前記宛先プロセッサは、前記チェックパケットを受信す
   ると、前記プロセッサ間通信を行っていたタスクに割当
   てられた通信ＩＤ及び前記チェックパケットの送り元プ
   ロセッサの論理プロセッサ番号から記憶場所が決定され
   る宛先プロセッサ内の主記憶上のデータを、前記送り元
   プロセッサの主記憶上の指定された位置宛に送信する こ
   とを特徴とする請求項１に記載のプロセッサ間通信装
   置。
7. 【請求項７】 プロセッサ間通信時にページフォールト
   した論理ページ番号が逐次格納されたフォールトページ
   リストを、送り元プロセッサがリモートリードを用いて
   読み出して、該フォールトページリストにある論理ペー
   ジ番号の書き込みアドレスのデータだけを再送すること
   を特徴とする請求項６に記載のプロセッサ間通信装置。
8. 【請求項８】 前記再送の後で、前記パケットでページ
   フォールトの有無を再度確認し、ページフォールトが起
   こらなくなるまで、再送をつづけることを特徴とする請
   求項７に記載のプロセッサ間通信装置。