JP2813182B2 - マルチプロセッサコンピュータ複合装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はマルチプロセッサコンピュータ複合装置に係
わり、とくに高い信頼性が要求されるシステムおよび、
コンピュータ間で頻繁にデータ通信がおこるシステムに
好適なマルチプロセッサコンピュータ複合装置に関す
る。

〔従来の技術〕

複数計算機を結合してシステム全体のスループットを
上げたり、信頼性を向上させたりする試み、従来から広
く行われている。このようなシステムでは、計算機側に
何らかの通信手段が必要であり、特開昭58−18760、特
開昭58−137065に開示されたシステムでは、各計算機よ
り共有される大域共有メモリを設けてこの計算機間通信
を行っている。また、特開昭57−189257、特開昭62−10
59に開示されたシステムでは、物理的には各計算機ごと
にメモリを設けるだけであるが、それらの内容を常に一
致させることにより、結果的に共通アクセスされるメモ
リを形成して上記通信を行っている。

〔発明が解決しようとする課題〕

上記従来技術の内、大域共有メモリを物理的に設けた
システムでは、二つ以上のコンピュータが同時にメモリ
をアクセスすると、片方は他方のアクセスが終わるまで
待たされてしまい、全体のスループットが低下するとい
う問題があった。また、一般に各コンピュータより共通
にアクセスされるメモリは、各コンピュータより距離的
に離れた場所に置かれることが多い。そのために配線遅
延時間が大きくなってアクセス速度自体が低下し、計算
の高速化の障害となっていた。

一方、各計算機ごとに設けたメモリの内容を常に一致
させるシステムは、各計算機が単一プロセッサのもので
ある。各計算機がマルチプロセッサの場合には各計算機
ごとに複数プロセッサによる共有メモリが設けられる
が、このような共有メモリ間の一致制御については考慮
されておらず、マルチプロセッサを複数個結合した複合
システムには適用できなかった。このため、例えばマル
チプロセッサコンピュータ複合体を構成し、それらの共
有メモリに各マルチプロセッサコンピュータが処理の途
中情報を書き込み、一つのマルチプロセッサコンピュー
タが故障した場合に、他のマルチプロセッサコンピュー
タが故障したマルチプロセッサコンピュータの途中情報
を読み出して処理を続行するという高信頼で高速なシス
テムを実現するのが困難であった。

本発明の目的は、マルチプロセッサコンピュータ間で
高速にデータの授受が行えるマルチプロセッサコンピュ
ータ複合装置を提供するにある。

〔課題を解決するための手段〕

上記目的は、バスを介して複数台のマルチプロセッサ
コンピュータを接続したマルチプロセッサコンピュータ
複合装置において、各マルチプロセッサコンピュータ
が、 （ａ）大域領域（大域共有メモリ領域）と局所領域（局
所共有メモリ領域）を有する共有メモリと、 （ｂ）複数のプロセッサであって各々がキャッシュメモ
リを備え、自身のマルチプロセッサコンピュータに設け
られた前記共有メモリの前記局所領域をアクセスすると
きは、自身に付属するキャッシュメモリを使用してアク
セスを行い、前記大域領域にアクセスするときは前記キ
ャッシュメモリを使用せずに直接アクセスを行う複数の
プロセッサと、 （ｃ）自身のマルチプロセッサコンピュータ内の各プロ
セッサが備える前記キャッシュメモリ間の一致化を図る
手段と、 （ｄ）前記プロセッサのいずれかが前記大域領域にデー
タの書き込みを行う場合には自身のマルチプロセッサコ
ンピュータの共有メモリの大域領域にデータを書き込む
と共に、前記バスを介して他のマルチプロセッサコンピ
ュータ内の共有メモリの大域領域にも前記データを書き
込むメモリ制御手段と を備えることで、達成される。

〔作 用〕

プロセッサは、共有メモリにアクセスするときにアド
レスと同時にアクセスが大域共有メモリ領域に対するも
のかどうかの情報（アドレススペース）も出力するもの
とする。

プロセッサが共有メモリからデータを読み出すとき
は、それが大域共有メモリ領域であってもなくてもその
プロセッサが属しているコンピュータの共有メモリより
読み出せばよい。他のコンピュータには全く影響を与え
ないからである。従ってコンピュータ間での共有データ
に対する読み出しの競合は全くなく、また自分の属する
コンピュータの共有メモリからの読み出しだから高速で
ある。

プロセッサが共有メモリにデータを書き込むときは、
大域共有メモリ領域に対するときとそうでないときで動
作が異なる。共有メモリに接続されたメモリ制御手段
は、プロセッサから出力されたアドレススペース信号を
見てアクセスが大域共有メモリ領域か判断する。大域共
有メモリ領域に対してでないときは、読み出しと同様に
そのプロセッサが属するコンピュータの共有メモリに独
立に書き込む。書き込みが大域共有メモリ領域に対して
のときは、各コンピュータのメモリ制御手段の間を接続
した一致化バスを専用した後、その一致化バスを通して
全コンピュータの共有メモリに対して同時に書き込み、
内容を一致させる。

またこの大域共有メモリ領域に対してRMW（Read−Mod
ify−Write）命令が可能である。RMWは、メモリの読み
出し、その読み出したデータの操作、その結果のメモリ
への書き込みを、他からの割り込みや他のプロセッサの
RMWにより中断されずに連続して実行する命令である。
この命令が発行されたときには、最初に一致化バスを占
有し、RMWが完全に終了するまで一致化バスを占有し続
ける。これにより、他のプロセッサのRMWによる中断が
防げる。

更に、局所領域のアクセスはキャッシュメモリを介し
て行うため、高速なアクセスが可能となり、大域領域の
アクセスはキャッシュメモリを介さずに直接アクセスす
るため、異なるコンピュータのキャッシュ間の一致化処
理が不要となる。

〔実施例〕

以下、本発明の一実施例を図面を用いながら詳細に説
明する。第１図は、本発明に係わるマルチプロセッサコ
ンピュータ複合装置の一実施例の全体構成図である。同
図において、マルチプロセッサコンピュータ（以下単に
コンピュータと呼ぶ）11〜13は一致化バス14で互いに接
続されている。コンピュータ11の構成は（他の同様）、
プロセッサ114〜116がマルチプロセッサバス（以下単に
バスと呼ぶ）113で結合され、ストレージコントロール
ユニット112（SCU;以下では単に制御ユニットと呼ぶ）
を介して共有メモリ111を共有している。

共有メモリ111には、プロセッサ114〜116が実行する
プログラムとそのプログラムによって処理されるデータ
が格納されるが、この共有メモリ111には、本発明の特
徴とする大域共有メモリ領域が設けられ、コンピュータ
12,13のプロセッサにも共有されるデータが格納され
る。これに対して、コンピュータ11のプロセッサのみよ
りアクセスされるデータの格納部分を局所共有メモリ領
域と呼ぶこととする。

以下、メモリアクセスの動作を説明する。まず、読み
出し時には、制御ユニット112はプロセッサ114〜116の
一つから読み出し要求をマルチプロセッサバス113を通
して受け取り、共有メモリ111からデータを読み出し
て、要求したプロセッサに渡す。

一方、書き込みは、大域共有メモリ領域に対するもの
と局所共有メモリ領域に対するものとで動作が異なる。
プロセッサが書き込みを要求するときは、アドレスとと
もにそのアドレスがどのアドレス空間に属するかの情報
であるアドレススペース（ASP）を出力する。これは第
１表に示されるように“001"のときそのアクセスが局所
共有メモリ領域に対するものであり、“110"のとき大域
共有メモリ領域に対するアクセスであることを表す。こ
れらと“000"を除くその他の場合はディスクなどのI/O
デバイスが接続されるバスに関係したアドレス空間を想
定して示してある。但しこれらは本発明とは直接関係し
ないので説明を省略する。

制御ユニット112は、アドレススペースを見て大域共
有メモリ領域、局所共有メモリ領域のどちらに対する書
き込みかを判断する。書き込みが局所共有メモリ領域に
対するときは、読み出しと同様に共有メモリ111に対し
てのみデータを書き込む。大域共有メモリ領域に対する
書き込みのときは、制御ユニット112は一致化バス14を
占有した後、この一致化バスを通してすべてのコンピュ
ータ11〜13の制御ユニットに書き込むデータと書き込み
先アドレスを放送する。各制御ユニットは、受信したデ
ータをそれぞれのコンピュータの共有メモリに書き込
み、このようにして大域共有メモリ領域のデータの内容
がコンピュータ間で一致化される。

RMWは、モトローラ社のマイクロプロセッサ68030のTA
S命令やCAS命令として周知の命令である。プロセッサ11
4が共有メモリ111に対してRMWを実行したときの動作に
ついて説明する。このRMW実行中は、プロセッサは信号
をバス113に出力する。制御ユニット112は、この信号を
検知して命令がRMWであることを知る。さらにそのRMW命
令が局所共有メモリ領域に対するものか大域共有メモリ
領域に対するものかをアドレススペースから判断する。

まずRMW命令を局所共有メモリ領域に対して実行する
場合は、プロセッサ114は最初にRMW信号を出力してバス
113を占有する。これは他のプロセッサ115,116がプロセ
ッサ114の実行中に、このRMWと同じアドレスに対してア
クセスするのを禁止するためである。次にプロセッサ11
4は、バス113にRMWの最初の読み出しのアドレスとアド
レススペース“001"を出力する。制御ユニット112は、
アドレススペースによりRMWが局所共有メモリ領域に対
してであることを知ると、前述の共有メモリからのデー
タ読み込みと同じ手順でデータを読み込む。次のデータ
の操作はプロセッサ114中で行われるが、この最中もバ
ス113は占有され続ける。最後の書き込みは、前述の局
所共有メモリ領域に対する書き込みと同じである。書き
込みが完全に終了した後にプロセッサ114はバス113を解
放する。

次にプロセッサ114が大域共有メモリ領域に対してRMW
を実行する場合は、プロセッサ114がバス113に読み出し
のアドレスとアドレススペース“110"を出力するまで
は、局所共有メモリ領域に対するときと同じである。制
御ユニットが、RMWが大域共有メモリ領域に対してであ
ることを知ると、信号線220を使って一致化バス14を専
有する。これはコンピュータ12,13のプロセッサがコン
ピュータ11のプロセッサと同時に大域共有メモリ領域に
対してRMWを実行するのを防ぐためである。データの読
み込みと操作は局所共有メモリ領域のときと同様であ
る。この間も一致化バス14は専有し続けられる。書き込
みは前述の大域共有メモリ領域に対する書き込みと同様
である。書き込みが完全に終了してから一致化バス14と
バス113を解放する。

次に故障発生時のバックアップ運転時等の、切り離し
運転について説明する。一つのコンピュータが故障し、
他のコンピュータの処理を続行させたままその故障した
コンピュータを保守する場合、あるいは一つのコンピュ
ータを使ってプログラムの開発やテストをする場合な
ど、一つのコンピュータを他のコンピュータより切り離
して運転したいときがある。このときは制御ユニット11
2は信号線220を切断する。これにより一致化バス14との
接続が切られるから、当該コンピュータにおいて大域共
有メモリ領域に対しての書き込みやRMWが実行されて
も、制御ユニットは局所共有メモリ領域に対するときと
同じ処理を行う。つまり当該コンピュータが切り離され
た状態で運転できる。

切り離していたコンピュータを他のコンピュータに改
めて接続するときは、そのコンピュータの大域共有メモ
リ領域の内容が他のコンピュータと違ったものとなって
いるから、これを一致させる必要がある。この一致化の
動作を、コンピュータ12が切り離されていたとして説明
する。まず、コンピュータ12のプロセッスの一つが、コ
ンピュータ11または13のプロセッサの一つに対して大域
共有メモリ領域の内容の複写の依頼を割込により行う。
今、この割込を受けたのがプロセッサ114であったとす
ると、このプロセッサ114は大域共有メモリ領域複写の
プロセスを起動する。このプロセスは、大域共有メモリ
領域に対して順に次のRMWを実行していく。そのRMWと
は、あるいはアドレスからデータを読み出し、読み出し
たデータをそのまま同じアドレスに書き戻す命令であ
る。このRMWを実行すると共有メモリ111より読み出され
たデータが全コンピュータ11〜13の共有メモリに書き込
まれるので、切り離されていたコンピュータ12の共有メ
モリにデータが複写される。RMWを用いるのは、普通の
読み出しと書き込みを命令を組合せて用いると、データ
の読み出しが完了しかつ書き込みはまだという状態のと
きに、他のプロセッサが読み出されたデータのアドレス
内容を更新してしまう可能性があるからである。

以上に記述した動作により、各コンピュータ間のデー
タの通信を大域共有メモリ領域を介して行え、マルチプ
ロセッサコンピュータの複合体を実現できるが、それを
実現するための、各部の構成と動作を次に説明する。第
２図は、ストレージコントロールユニット（制御ユニッ
ト）の構成を示す。同図において、信号線200はマルチ
プロセッサバスに、信号線210は共有メモリ111に、そし
て信号線220は一致化バス14にそれぞれ接続される。書
き込みバッファ23は、大域共有メモリ領域への書き込み
を高速化するためのファーストインファーストアウトバ
ッファ（キュー）で、書き込みデータを一時保存するデ
ータキュー232、書き込み先アドレスを一時保存するア
ドレスキュー233、および両方のキューを制御するバッ
ファコントローラ231（BC）から成る。この他に、各種
バッファ24,25,27,36,37、セレクタ30〜34、デコーダ2
6、フリップフロップ28、調停回路29、スイッチ35が用
いられている。

局所共有メモリ領域からの読み出し時には、プロセッ
サがバス113より、アドレススペース202を“001"、かつ
R/W信号203を読み出しを示す“1"、メモリアクセス要求
204をオンの“1"とし、アドレス205に読み出しアドレス
を与える。デコーダ26はアドレススペース202とR/W信号
203の内容を解読し、局所共有メモリ領域の読み出しで
あると判定し、調停回路29を介してセレクタ31〜34に左
側入力を選択させる。これによりR/W信号203、アクセス
要求204、及びアドレス205が信号212,213,215として共
有メモリ111へ送られ、読み出しが行われる。ただしこ
のとき、調停回路29には一致化バス14からアドレス要求
が入力されていないものとする。共有メモリ111から読
み出されたデータ211は、バッファ24、セレクタ30経由
でデータ201として出力され、バスを通って、要求を出
力したプロセッサに送られる。

大域共有メモリ領域からの読み出しのときは、アドレ
ススペース201が“110"となるが、動作は局所共有メモ
リ領域からの読み出しとほぼ同じである。ただしこの場
合は、以前に同じアドレスに書き込んだデータがまだ共
有メモリ111に書き込まれず、書き込みバッファ23に溜
っているかもしれない。このために、読み出すアドレス
205がアドレスキュー233に存在していたら、それに対応
したデータをデータキュー232からセレクタ30へ送り、
同時にコントローラ231からの信号によってセレクタ30
を右の入力に切り換える。この動作により、バッファ23
のデータが共有メモリ111へ書き込まれるのを待たずに
所望のデータを読み出せる。

局所共有メモリ領域に対する書き込みのときには、プ
ロセッサがアドレススペース202を“001"に、R/W信号20
3を書き込みを示す“0"にし、メモリアクセス要求204を
オンにし、書き込み先アドレス205を送り出した後、書
き込みデータ201を送出する。局所共有メモリ領域から
の読み出し同様に、デコーダ26の指示によりセレクタ31
〜34は左側の入力を選択し、プロセッサからの各信号及
びデータが信号及びデータ212〜215として共有メモリ11
1へ送られ、書き込みが行われる。

大域共有メモリ領域への書き込みのときは、プロセッ
サからのアドレススペース202が“110"となる以外は局
所共有メモリ領域に対するものと同じである。デコーダ
26は、アドレススペース202とR/W信号203を入力して、
アクセスが大域共有メモリ領域に対する書き込みである
ことを知ると、アドレスやデータを直接共有メモリに送
らず、書き込みバッファ23に送るようにセレクタ31〜34
とバッファコントローラ231を制御する。こうしてデー
タ201とアドレス205がデータキュー232とアドレスキュ
ー233へ入力されると、バッファコントローラ231は、一
致化バス14を専有するために一致化バス使用要求224を
出力する。一致化バスが専有できると一致化バス使用許
可225が得られる。これによりコントローラ231はキュー
232,233より書き込みデータ，書き込みアドレスをスイ
ッチ35経由で一致かバス14に出力し、書き込み信号223
も一致化バス14に出力する。以下の動作は、コンピュー
タ11〜13の全部の制御ユニットに対して同時に行われ
る。即ち、一致化バス14に出力されたアドレス，デー
タ，書き込み信号はデータ221,アドレス222,書き込み信
号223として該当制御ユニットへ入力される。書き込み
信号223は調停回路29を通ってセレクタ31〜34を制御
し、セレクタ31〜34が右側の信号を入力するように切り
替える。これにより、アドレス221とデータ222が共有メ
モリ111に送られて書き込みが行われる。

次に、局所共有メモリ領域に対するRMW命令の実行
は、単なる読み出しと書き込みが連続した場合と同じで
あって、制御ユニットの動作もこれらを行うための制御
が順次実行されるだけである。

大域共有メモリ領域に対するRMWの実行時の動作は、
最初の読み出し、２番目のデータ操作、最後の書き込み
に分けられる。まず、メモリからのデータ読み出しであ
るが、プロセッサ114〜116からRMW信号206が入力される
他は、大域共有メモリ領域からの読み出しと同じであ
る。RMW信号206は、RMWが終了するまでずっと入力され
る。バッファコントローラ231は、RMW信号206を受ける
と、大域共有メモリ領域への書き込みと同じように一致
化バスを専有する。以後の読み出しの動作は、大域共有
メモリ領域からの読み出しと同じである。次のデータ操
作は、プロセッサの内部で行われるから、制御ユニット
はただ一致化バス14を専有し続けるだけである。最後の
書き込みは、大域共有メモリ領域に対する書き込みと同
じであるが、一致化バス14は、書き込みバッファ23内の
キュー232,233が空になるまで専有し続ける。これは、
書き込みデータがバッファに溜った状態で一致化バス14
を解放すると、データが共有メモリに書かれる前に他の
プロセッサが同じアドレスに対してRMWを実行するかも
しれないからである。

最後にコンピュータ11を一致化バス14より切り離すと
きの制御ユニットの動作を説明する。切り離しは、プロ
セッサ114〜116の一つがバス113を介してフリップフロ
ップ28を反転することによりなされる。即ち、フリップ
フロップ28が反転すると、スイッチ35が信号線220をす
べてオフとし、コンピュータ11を一致化バス14より切り
離す。同時に、フリップフロップ28が反転すると、デコ
ーダ26は大域共有メモリ領域に対するアクセスを局所共
有メモリ領域に対するものと同じに扱う。

第３図は、第１図のプロセッサ114〜116の一つの構成
図で、中央演算ユニット（CPU）120、論理アドレスを物
理アドレスに変換するアドレス変換器（AT）121、キャ
ッシュメモリ122より構成されている。信号線300の内容
は第２図の信号線200に対応したものであるが、その他
に各プロセッサ間のキャッシュメモリの一致をとるため
に、キャッシュメモリの更新を行うことを表す信号305
及び現在バス113に出力されているアドレスのデータを
キャッシュメモリが持っていることを表す信号306が設
けられている。

アドレス変換器121は中央演算ユニット120が出力する
論理アドレスを物理アドレスに変換すると同時に、アド
レススペース（ASP）も論理アドレスより算出する。キ
ャッシュメモリ122は、高速メモリであり、最近中央演
算ユニット120によりアクセスされた共有メモリ111のデ
ータとその物理アドレスを記憶している。記憶されてい
る物理アドレスが再びアクセスされたときは、共有メモ
リにアクセスする代わりにこのキャッシュメモリにアク
セスする。マルチプロセッサコンピュータでは各キャッ
シュメモリ間で同じアドレスに対して異なるデータを持
つ可能性があるが、この問題を解決する方法は多く知ら
れており、本例では信号305,306により一致化をはかっ
ている。

しかし、コンピュータ間ではキャッシュメモリの一致
を保障できないので、大域共有メモリ領域のデータは、
キャッシュメモリ122には記憶しない。

RMW命令もキャッシュメモリ122は使わずに共有メモリ
111を直接アクセスする。

〔発明の効果〕

本発明によれば、各マルチプロセッサコンピュータの
途中情報を共通領域である大域共有メモリ領域に記憶し
ておけば、一つのマルチプロセッサコンピュータが故障
したときに、故障していないマルチプロセッサコンピュ
ータがその故障したマルチプロセッサコンピュータの途
中情報を読み出して処理を続行できるので、高信頼な計
算機システムを実現できるという効果があり、また共通
領域をデータの受け渡し手段として利用すればマルチプ
ロセッサコンピュータ間で並列処理ができるので、計算
の高速化に効果がある。

【図面の簡単な説明】

第１図は、本発明のマルチプロセッサコンピュータ複合
装置の一実施例を示すブロック図、第２図，第３図はそ
れぞれ本発明に適用される各部の具体的な実施例を示す
図である。 11〜13……マルチプロセッサコンピュータ、14……一致
化バス、23……書き込みバッファ、26……デコーダ、28
……フリップフロップ、31〜34……セレクタ、35……ス
イッチ、111……共有メモリ、112……ストレージコント
ロールユニット、113……マルチプロセッサバス、114〜
116……プロセッサ、121……アドレス変換器、122……
キャッシュメモリ、120……中央演算ユニット。

フロントページの続き (72)発明者 坂東 忠秋 茨城県日立市久慈町4026番地 株式会社 日立製作所日立研究所内 (56)参考文献 特開 昭60−563（ＪＰ，Ａ) 特開 昭53−104138（ＪＰ，Ａ) 特開 昭59−22154（ＪＰ，Ａ) 特開 昭63−239551（ＪＰ，Ａ) 特公 昭63−26903（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/16

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】バスを介して複数台のマルチプロセッサコ
   ンピュータを接続したマルチプロセッサコンピュータ複
   合装置において、各マルチプロセッサコンピュータが、 （ａ）大域領域と局所領域を有する共有メモリと、 （ｂ）複数のプロセッサであって各々がキャッシュメモ
   リを備え、自身のマルチプロセッサコンピュータに設け
   られた前記共有メモリの前記局所領域をアクセスすると
   きは、自身に付属するキャッシュメモリを使用してアク
   セスを行い、前記大域領域にアクセスするときは前記キ
   ャッシュメモリを使用せずに直接アクセスを行う複数の
   プロセッサと、 （ｃ）自身のマルチプロセッサコンピュータ内の各プロ
   セッサが備える前記キャッシュメモリ間の一致化を図る
   手段と、 （ｄ）前記プロセッサのいずれかが前記大域領域にデー
   タの書き込みを行う場合には自身のマルチプロセッサコ
   ンピュータの共有メモリの大域領域にデータを書き込む
   と共に、前記バスを介して他のマルチプロセッサコンピ
   ュータ内の共有メモリの大域領域にも前記データを書き
   込むメモリ制御手段と を備えることを特徴とするマルチプロセッサコンピュー
   タ複合装置。