JPH0750466B2

JPH0750466B2 - 並列計算機キャッシュ・メモリ制御方式

Info

Publication number: JPH0750466B2
Application number: JP62205750A
Authority: JP
Inventors: 宏明石畑; 優子原田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1987-08-19
Filing date: 1987-08-19
Publication date: 1995-05-31
Anticipated expiration: 2010-05-31
Also published as: JPS6448166A

Description

【発明の詳細な説明】〔概要〕プロセッサを有するセルが通信ポートを介して他セルと
接続されると共に，データを上記各セルが分散保持する
並列計算機における並列計算機キャッシュ・メモリ制御
方式に関し，他セルに対して行うデータ・アクセスに当ってのプロセ
ッサ間通信のためのオーバヘッドやデータ中継のための
オーバヘッドを減少することを目的とし，個々のセルに対応して，少なくとも自己セルが必要とし
たデータについて，また必要に応じて自己セルを経由し
て転送されたデータについて，当該データを保持するキ
ャッシュ・メモリをもうけ，あるセルからのデータ・ア
クセス要求が通過するセルにおいてキャッシュ・メモリ
上に所望されるデータが存在していれば，当該データ
を，上記データ・アクセス要求を発したセルに対して転
送するよう構成する。

〔産業上の利用分野〕

本発明は，並列計算機キャッシュ・メモリ制御方式，特
に，プロセッサを有するセルが通信ポートを介して他セ
ルと接続されると共に，データを上記各セルが分散保持
する並列計算機における並列計算機キャッシュ・メモリ
制御方式に関する。

半導体技術の発展に伴なって，高性能のコンピュータが
コンパクトに実現できることになり，数100ないし数100
0台規模の並列計算機が考慮の対象となりつつある。こ
のような並列計算機においては，個々のセルがデータを
分散保持する形とならざるを得ないが，プロセッサ間通
信のためのオーバヘッドやデータ中継のためのオーバヘ
ッドが問題となる。

〔従来の技術〕

並列計算機において共通データを記憶する方式として，
個々のセルがデータを分散配置しておき，プロセッサ間
通信によって必要なデータをアクセスすることが行われ
ている。

この場合，プロセッサ間通信におけるメッセージとして
は，データ・アクセス要求と要求に対応して転送される
データとが存在する。各セルは，要求されたデータがい
ずれのセル上に存在するかを指示するデータ配置テーブ
ルと，或るセルと通信するための最短経路を指示するデ
ータ方向テーブルとを少なくともそなえており，あわせ
てデータ・アクセス要求を発する機能やデータ中継を行
う機能などをそなえている。

第３図は従来方式によるセル構成例を示している。セル
2-i内には，ローカル・バス12と通信バス13とが存在し
ている。ローカル・バス12に対して，プロセッサ10とメ
イン・メモリ11とが連繋されている。また通信バス13に
は，複数の送信ポート22-iと，複数の受信ポート23-iと
が連繋されている。

両者のバス12と13との間に，通信制御部24が存在し，当
該通信制御部24には,DMAコントローラ（DMAC）14,アド
レス・レジスタ（AR）15,リクエスト・レジスタ（RR）1
6,リクエスト・マルチプレクサ（REQ MPX）17,リクエス
ト・コントローラ（REQCTL）18,リクエスト・デマルチ
プレクサ（REQDMPX）19,アドレス変換回路（Rdid→ME
M）20,通信制御部全体の制御を行うマイクロシーケンサ
21が存在している。なお，本発明にいうデータ配置テー
ブルやデータ方向テーブルは，例えばメイン・メモリ11
上に保持されていると考えてよい。

分散して記憶されているデータは，複数のセル2-i上の
メイン・メモリ11上に記憶されており，例えば4KBの記
憶単位毎にデータid（以下データidの意味でdidとい
う）が付けられて管理されている。言うまでもなく,did
は全セルにわたって一意にデータを指示する。

各送信ポート22-iや受信ポート23-iには，「１」から始
まるアドレス（以下ポートidの意味でpidという）がつ
けられている。

自己のセルがデータ・アドレス要求を行う場合には，リ
クエスト・レジスタ（RR）16において，上記pidをpid＝
０とし，かつデータ・アクセス要求元（自己のセルid即
ちセルidを意味するcidを自己のものとする）と，当該
データ・アクセス要求の送り先（上記cidを「０」ない
しＮとして与える−なお所望するデータが自己のセル上
のメイン・メモリ11上に存在している場合に上記「０」
を与える）とを与える。

セル間の通信に当っては，データ・アクセス要求の場合
には要求didが転送され，データの場合には当該データ
についてのdidとデータとが転送され両者は各ポートに
おいて区別して識別することができる。

プロセッサ10がデータ・アクセス要求を行うに当って
は，上記の如くリクエスト・レジスタ（RR）16にセット
すると共に，要求するデータの格納先をアドレス・レジ
スタ（AR）15にセットする。他のセルからのデータ・ア
クセス要求と自己プロセッサ10からのデータ・アクセス
要求とは，上記didと上記pidとの対を要求didや要求pid
を意味するRdidとRpidとの対として，リクエスト・マル
チプレクサ（REQ MPX）17においてキューイングされ,1
つずつ取出されてリクエスト・コントローラ（REQCTL）
18に導びかれる。

当該リクエスト・コントローラ（REQCTL）18は，上記Rd
idとRpidとの対を受取ると，次の如き処理を行う。即
ち，（１）上述のデータ配置テーブルを上記Rdidをキーとし
て参照し，所望されるデータを保持しているセルのセル
id（cid）を求める。

（２）上述のデータ方向テーブルを上記cidをキーとし
て参照し，当該所望されるデータをもっているセルに対
応するポートid（Opid）を求める。

（３）Opid＝０（この場合には，要求される即ち所望さ
れるデータを自己セルがもっていることを意味する）な
らば，（ｉ）アドレス変換回路Rdid→MEM）20を用いて,
Rdidから自己のメイン・メモリ11に対するアドレスへの
変換を行い，（ii）Rpid＝０（この場合には，要求を発
したのは自己セルであることを意味する）ならば，上記
アドレス変換回路20で得たアドレスにおけるメイン・メ
モリ11上の内容をアドレス・レジスタ（AR）15にて指示
されるメイン・メモリ11上のアドレスへ転送するよう
に,DMAコントローラ14を起動し，（iii）Rpid≠０（こ
の場合には，他セルが要求を発したことを意味する）な
らば，アドレス変換回路20で得たアドレスにおけるメイ
ン・メモリ11上の内容を，上記Rpidで指示されるポート
に対してデータ転送を行うように,DMAコントローラ14を
起動する。

（４）Opid≠０（この場合には，自己セルはそのデータ
をもっていない）ならば，当該Opidが示すポートからRd
idに対応するデータ・アクセス要求を送信する。

またデータを受信した場合においては，次の如き処理を
行う。即ち，（５）受信したデータのdidを上記リクエスト・レジス
タ（RR）16の内容と比較する。同じならば自己セルが要
求したデータであり，受信ポートからアドレス・レジス
タ（AR）15が示すメイン・メモリ11上のアドレスへデー
タ転送を行うように,DMAコントローラ14を起動する。

（６）同じでなければ，このデータは，以前に他セルか
らの要求を中継したものの返事に当るものであることか
ら，受信ポートから，所望する送信ポートへのデータ転
送を行うように,DMAコントローラ14を起動する。

〔発明が解決しようとする問題点〕

上記第３図を参照して説明した従来の方式の場合，セル
の個数が数100ないし数1000と増大するにつれて，或る
セルが他のセルに存在するデータをアクセスするに当っ
て，セル間での通信の行われる平均回数が増大してしま
い，オーバヘッドが非所望に大となる。

本発明は，他セルに対して行うデータ・アクセルに当っ
てのプロセッサ間通信のためのオーバヘッドやデータ中
継のためのオーバヘッドを減少することを目的としてい
る。

〔問題点を解決するための手段〕

第１図は本発明の原理構成図を示す。図中の符号１はホ
スト計算機,2-iはセル,3-iはデータ配置テーブルであっ
てdidで指示されるデータが保持されるセルを特定する
情報を格納しているもの,4-iはデータ方向テーブルであ
って或るセルと通信するための最短経路を指示する情報
を格納しているもの,5-iは本発明において用意されるキ
ャッシュ・メモリを表わしている。また符号６はコマン
ド・バスであってホスト計算機と各セルとの間でのコマ
ンドを交信するためのもの,7は各セル間の交信バスを表
わしている。

各セル2-iにもうけられるキャッシュ・メモリ5-iには，
例えば（ｉ）自己セル2-iが最近利用したデータや，（i
i）他セル2-jが行ったデータ・アクセス要求に対応した
データについて，当該データが自己セル2-iを経由した
場合における当該データを保持するようにされる。

言うまでもなく，各セル2-iは，第３図を参照して説明
した従来の方式の場合におけるプロセッサ10,メイン・
メモリ11,通信制御部24や，送信ポート22-iや受信ポー
ト23-iなどをそなえている。

〔作用〕

データ・アクセスに当っては，次のように行われる。即
ち，（１）今セル2-1のプログラムが或るデータを必要とし
たとする。

（２）セル2-1は，データ配置テーブル3-1を参照して，
所望するデータが例えばセル2-12に存在していることを
知る。

（３）自己のキャッシュ・メモリ5-1上に当該所望する
データが存在していれば，そのデータをプログラムへ返
して終る。

（４）自己のキャッシュ・メモリ5-1上に存在していな
い場合には，セル2-1は，セル2-12に対してデータ・ア
クセス要求を送るために，データ方向テーブル4-1を参
照し，図示の場合にはセル2-2またはセル2-5の方向が良
いことを知る。そして，今の場合にセル2-2を選んだと
する。

（５）セル2-1は，セル2-2に対してデータ・アクセス要
求を送り，データが送られてくるのを待つ。

（６）セル2-2は，データ・アクセス要求を受信する
と，そのデータが自己のキャッシュ・メモリ5-2内にあ
るか否かを調べる。

（７）キャッシュ・メモリ5-2内にあれば，そのデータ
をセル2-1に返して終る。

（８）キャッシュ・メモリ5-2内になければ，セル2-12
にデータ・アクセス要求を送るために，データ方向テー
ブル4-2を調べ，例えばセル2-3に対してデータ・アクセ
ス要求を発して終る。

（９）以下，セル2-3,セル2-4,セル2-8が上記セル2-2の
場合と同様な処理を行い，データ・アクセス要求がセル
2-12に至る。

（10）セル2-12は，自己のもつデータについてその要求
がきたことを知ると，メイン・メモリ11から所望のデー
タを読出し，データ・アクセス要求がきた方向にそのデ
ータを送る。

（11）セル2-8は，セル2-12からセル2-1向けのデータを
受信すると，自己のキャッシュ・メモリ5-8に当該デー
タを登録する。キャッシュ・メモリ5-8が満杯であった
場合には，最も古いデータまたは最も使用頻度の少ない
データを捨てて新しいデータを登録する。

（12）更にセル2-8は，データ・アクセス要求のあった
側のセル2-4の方向へデータを返送する。

（13）以下，セル2-4,2-3,2-2が上記セル2-8の場合と同
様な処理を行い，データはセル2-1に送られる。

（14）セル2-1は，受取ったデータをキャッシュ・メモ
リ5-1に登録すると共に，プログラムへ渡す。

上記の如く，データ・アクセス要求についての転送とそ
れに対応するデータについての転送とが行われたため，
自己のセル上のキャッシュ・メモリ中，あるいはデータ
・アクセス要求が経由してゆくセル上のキャッシュ・メ
モリ中に，所望するデータが存在していれば，データ・
アクセスのための距離が小となる。

なお，上記説明においては，或るセルがデータを読取る
場合について説明した。勿論，データを書込む場合につ
いても同様の処理を行うことができないわけではない
が，データ・アクセス要求が経由した各セルにおけるキ
ャッシュ・メモリ上のデータの一部を書替えたり無効に
したりする処理は，必らずしも簡単ではない。しかし，
例えば，並列計算機によって,CAD用のデータや画像デー
タなどを取扱う場合には，データの書込みにくらべて読
出しの頻度が極端に大であり，かつ特定のセルのみが特
定のセルを利用する形の頻度が大である。このために，
上記第１図を参照して説明した如き処理も十分に利用価
値がある。勿論，データの書き替えに伴って必要となる
キャッシュ・コヒーレンシーの動作を正しくとらせるこ
とは，周知の手段例えばブロードキャスト処理などがあ
り，処理時間の長いコストの高い処理を必要とするが，
不可能なことではない。

〔実施例〕

第２図は本発明の場合におけるセルの一実施例を示す。
図中の符号10ないし24は第３図に対応しており,5-i-1は
キャッシュ・メモリにおけるデータ格納部,5-i-2はキャ
ッシュ・メモリにおけるタグ格納部を表わしている。

データ・アクセス要求に当って，次のように処理が行わ
れる。

（１）データ配置テーブル3-iをRdidをキーとして参照
し,cidを求める。

（２）データ方向テーブル4-iを,cidをキーとして参照
し,Opidを求める。

（３）Opid＝０ならば，（ｉ）アドレス変換回路20を用
いて,Rdidから自己のメイン・メモリ11に対するアドレ
スへの変換を行い，（ii）Rpid＝０ならば，上記アドレ
ス変換回路20で得たアドレスにおけるメイン・メモリ11
上の内容をアドレス・レジスタ（AR）15にて指示される
メイン・メモリ11上のアドレスへ転送するように,DMAコ
ントローラ14を起動し，（iii）Rpid≠０ならば，アド
レス変換回路20で得たアドレスにおけるメイン・メモリ
11上の内容を，上記Rpidで指示されるポートに対してデ
ータ転送を行うように,DMAコントローラ14を起動する。

（４）Opid≠０ならば，（ｉ）Rdidをキーとしてキャッ
シュ・メモリにおけるタグ格納部5-i-2を参照し，（i
i）ヒットしたら，キャッシュ・メモリにおけるデータ
格納部5-i-1からのデータを所望するポートへ転送する
ように,DMAコントローラ14を起動し，（iii）ヒットし
なかったならば，所望するポートからRdidに対応するデ
ータ・アクセス要求を送信する。

（６）同じでなければ，このデータは以前に他セルから
の要求を中継したものの返事に当るものであることか
ら，受信ポートから所望する送信ポートへのデータ転送
を行うように,DMAコントローラ14を起動する。

（７）受信したデータをキャッシュ・メモリ5-i上に登
録する。満杯であった場合には，他のデータを削除して
登録する。当該削除に当ってのアルゴリズムとしては，
公知のLRUや,FIFOやランダム方式などを用いることがで
きる。

〔発明の効果〕

以上説明した如く，本発明によれば，分散保持されてい
るデータをアクセスするに当って，特にデータ読出しに
関して，処理速度を向上することができる。

【図面の簡単な説明】

第１図は本発明の原理構成図，第２図は本発明の場合に
おけるセルの一実施例，第３図は従来方式によるセル構
成例を示す。図中の符号１はホスト計算機,2-iはセル,3-iはデータ配
置テーブル,4-iはデータ方向テーブル,5-iはキャッシュ
・メモリ,10はプロセッサ,11はメイン・メモリ,22-iは
送信ポート,23-iは受信ポート,24は通信制御部を表わ
す。

Claims

【特許請求の範囲】

【請求項１】プロセッサ（10）とメイン・メモリ（11）
と２つ以上の通信ポート（22,23）とを少なくともそな
えたセル（2-i）が，上記通信ポート（22,23）を介して
他のセル（2-j）と接続されてなる並列計算機におい
て，上記個々のセル（2-i）に対して，個々のデータがいずれのセル（２）上に存在するかを指
示するデータ配置テーブル（3-i）と，或るセルと通信するための好ましい経路を指示する情報
を格納するデータ方向テーブル（4-i）と，少なくとも自己のセル（2-i）が必要としたデータにつ
いては当該データを保持するキャッシュ・メモリ（5-
i）とをもうけ，上記１つのセル（2-i）が所望するデータをアクセスし
た際に，当該データをアクセスするデータ・アクセス要
求が通過するセル（2-k）において，当該通過するセル
（2-k）上におけるキャッシュ・メモリ（5-k）中に当該
所望するデータが存在していれば，当該存在していたデ
ータを，上記データ・アクセス要求を発したセル（2-
i）に転送するようにしたことを特徴とする並列計算機キャッシュ・メモリ制御方
式。