JP2552784B2 - 並列データ処理制御方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、同一の並列データ処理
を実行する計算機に対して供給される同期信号を生成す
るための並列データ処理制御方式に関し、特に、少ない
ハードウェア量でもって同期信号を生成できるようにす
る並列データ処理制御方式に関するものである。

【０００２】並列計算機システムでは、複数の計算機が
１つのプログラムを分担して並列実行する構成を採っ
て、このプログラム処理の終了を条件にして次のプログ
ラム処理に入っていくことになる。このような場合、分
担されたプログラムの終了時点を予測することが不可能
であることから、図１４に示すようなバリア同期機構を
設けて、このバリア同期機構が、全ての計算機からのプ
ログラム処理の終了通知を受け取るときに、各計算機に
対して次のプログラム処理に入るためのバリア同期信号
を放送していくという構成を採っている。このバリア同
期機構の放送するバリア同期信号に従って、図１５に示
すように、４つある計算機（ＰＥ１〜４）の全てでプロ
グラムＡの実行が終了すると、次に、このプログラムＡ
の終了を条件にするプログラムＢの実行に入り、このプ
ログラムＢの実行が終了すると、続いて、このプログラ
ムＢの終了を条件にするプログラムＣの実行に入り、続
いて、このプログラムＣの終了を条件にするプログラム
Ｄの実行に入っていくように制御することが可能になる
のである。

【０００３】このバリア同期機構は、並列計算機システ
ムのハードウェア量の増加を招かないためにも、少ない
ハードウェア量でもって実現できるようにする必要があ
るのである。

【０００４】

【従来の技術】バリア同期機構では、並列計算機システ
ムにおいて複数のプログラムグループが同時実行される
場合や、１つのプログラム中に分割可能な処理が複数組
存在してそれらが同時実行されるような場合にも、正確
なバリア同期信号を発生させる構成を採る必要がある。
例えば、図１６に示すように、同時実行の対象となる一
方のプログラムグループが並列計算機システムの計算機
ＰＥ１，２，３で実行され、他方のプログラムグループ
が計算機ＰＥ４，５で実行される場合にあって、計算機
ＰＥ１，２，３で実行されるプログラムグループでは、
プログラムＤの終了を条件にしてプログラムＥ、プログ
ラムＥの終了を条件にしてプログラムＦ、プログラムＦ
の終了を条件にしてプログラムＪの実行に入ることが条
件になり、計算機ＰＥ４，５で実行されるプログラムグ
ループでは、プログラムＧの終了を条件にしてプログラ
ムＨの実行に入ることが条件になる場合には、３つの計
算機ＰＥ１，２，３のプログラムＤ，Ｅ、Ｆの処理終了
時点でバリア同期信号を発生させ、２つの計算機ＰＥ
４，５のプログラムＧの処理終了時点でバリア同期信号
を発生させていく必要がある。以下、説明の便宜上、並
列計算機システムで同時実行されるプログラムグループ
等をバリアグループと称することにする。

【０００５】図１７に、このようなバリア同期信号を発
生できるようにするための従来のバリア同期機構の構成
を図示する。図中、１-i（１＝１〜ｎ）は並列計算機シ
ステムを構成するｎ台の計算機、２はバリア同期機構、
３はバリア同期機構２の備えるＰＥ状態レジスタであっ
て、各計算機１-iの通知してくるプログラム処理終了情
報を管理するもの、４-i（１＝１〜ｋ）はバリア同期機
構２の備えるマスクレジスタであって、計算機１-i上で
同時実行されるバリアグループのグループ数分備えられ
て、そのバリアグループのプログラムを分担実行する計
算機１-iの計算機名情報を管理するもの、５-i（１＝１
〜ｋ）はバリア同期機構２の備えるバリア同期信号発生
回路であって、マスクレジスタ４-i対応に備えられて、
ＰＥ状態レジスタ３の管理データとマスクレジスタ４-i
の管理データとからバリア同期信号を発生するもの、６
-i（１＝１〜ｎ）はバリア同期機構２の備える選択回路
であって、計算機１-i対応に備えられて、マスクレジス
タ４-iの管理データにより特定される自回路の選択すべ
きバリア同期信号発生回路５-iを選択して、その選択し
たバリア同期信号発生回路５-iの出力するバリア同期信
号を対応の計算機１-iに出力するものである。

【０００６】ここで、ＰＥ状態レジスタ３は、具体的に
は、計算機１-iがプログラム処理終了を通知してこない
ときには対応のエントリ欄に“０”を登録しておいて、
通知してくるとその値を“１”に変更していくことで、
各計算機１-iの通知してくるプログラム処理終了情報を
管理することになる。また、マスクレジスタ４-iは、例
えば図１８に示すように、そのバリアグループのプログ
ラムを実行する計算機１-iのエントリ欄に“１”を登録
し、実行しない計算機１-iのエントリ欄に“０”を登録
していくことで、そのバリアグループのプログラムを分
担実行する計算機の計算機名情報を管理することにな
る。

【０００７】このように構成される従来のバリア同期機
構２では、各バリア同期信号発生回路５-iは、ＰＥ状態
レジスタ３の管理データを参照することで、対応のマス
クレジスタ４-iがプログラムを分担実行するものとして
表示している計算機１-iの全てがプログラム処理を終了
したのか否かを監視して、それらの計算機１-iの全てが
プログラム処理を終了することを確認するとバリア同期
信号を選択回路６-iに出力していく。そして、このバリ
ア同期信号の発生処理を受けて、各選択回路６-iは、マ
スクレジスタ４-iの管理データに従って、自回路と接続
する計算機１-iの分担実行するバリアグループに対応付
けられるバリア同期信号発生回路５-iを選択して、その
選択したバリア同期信号発生回路５-iの出力信号を自回
路と接続する計算機１-iに出力していくことで、バリア
同期信号発生回路５-iの発生するバリア同期信号を計算
機１-iに出力していくよう動作するのである。

【０００８】

【発明が解決しようとする課題】しかしながら、このよ
うな従来技術に従うバリア同期機構２は、計算機１-iの
台数分のビット長を持つマスクレジスタ４-iをバリアグ
ループの数分備えなくてはならないとともに、ｋ個の入
力点と１個の出力点との間の選択処理を実行する選択回
路６-iを計算機１-iの台数分備えなくてはならないこと
から、ハードウェア量が大きなものになってしまうとい
う問題点があった。この問題点は、バリアグループが多
数発生するような場合には、極めて大きな問題点となっ
てくる。そして、バリアグループの組み合わせの変更を
要求されるプログラムでは、制御が難しいという問題点
もあった。

【０００９】本発明はかかる事情に鑑みてなされたもの
であって、並列計算機システムにおいて、少ないハード
ウェア量でもってバリア同期信号を生成できるようにす
る新たな並列データ処理制御方式の提供を目的とするも
のである。

【００１０】

【課題を解決するための手段】図１及び図２に本発明の
原理構成を図示する。図１中、１０-i（ｉ＝１〜ｎ）は
並列計算機システムを構成する計算機、２０は計算機１
０-iに接続されて計算機１０-i間のデータの受け渡し処
理等を実行する相互接続装置、３０は計算機１０-iと相
互接続装置２０との間に備えられる１つ又は複数のシリ
アル転送路である。

【００１１】この相互接続装置２０は、各計算機１０-i
の通知してくるデータ処理進行状態情報を登録表示する
状態レジスタ２１と、シリアル転送路３０対応に備えら
れて、状態レジスタ２１の登録表示データを各計算機１
０-iに対してシリアル転送する送信手段２２とを備え
る。この送信手段２２は、シリアル転送路３０が複数ラ
イン備えられるときにはこれに対応して複数備えられる
ことになるが、このときには、各送信手段２２は、転送
開始タイミングをずらして登録表示データを対応のシリ
アル転送路３０に送出していくよう処理することにな
る。

【００１２】一方、計算機１０-iは、シリアル転送路３
０対応に備えられて、シリアル転送されてくるシリアル
データを受信する受信手段１１と、受信手段１１の受信
するシリアルデータを元の登録表示データに組み立て直
して保持する保持手段１２と、自計算機と並列データ処
理を分担実行する計算機１０-iの計算機名情報を管理す
る管理手段１３と、保持手段１２の保持データと管理手
段１３の管理データとから並列計算機システムのデータ
処理進行状態をチェックするチェック手段１４とを備え
る。

【００１３】図２は、相互接続装置２０を複数備えて、
これらの各相互接続装置２０が割り付けられた規定の計
算機１０と接続する構成を採るときの本発明の原理構成
である。図中、図１で説明したものと同じものについて
は同一の記号で示してある。但し、“１０-i”について
は記述の便宜上“１０”で図示してある。

【００１４】３１は隣接する相互接続装置２０間に設け
られる１つ又は複数のシリアル転送路である。計算機１
０と相互接続装置２０との間に備えられる上述のシリア
ル転送路３０のライン数は、このシリアル転送路３１の
ライン数と一致するように備えられることになる。

【００１５】この構成を採るときに、各相互接続装置２
０は、自装置配下の各計算機１０の通知してくるデータ
処理進行状態情報を登録表示する図１で説明した状態レ
ジスタ２１と、隣接する相互接続装置２０から自装置の
状態レジスタ２１の登録表示データを転送することを指
示するコマンドを受け取るとともに、登録表示データの
転送処理が完了するとこのコマンドをもう一方の隣接す
る相互接続装置２０に転送していく制御手段２３と、シ
リアル転送路３１対応に備えられて、制御手段２３が上
記のコマンドを保持しているときには、自装置の状態レ
ジスタ２１の登録表示データと自装置の識別情報とを、
シリアル転送路３０を介して自装置配下の計算機１０に
シリアル転送していくとともに、シリアル転送路３１を
介して隣接する相互接続装置２０にシリアル転送してい
くよう処理し、かつ、制御手段２３が上記のコマンドを
保持していないときには、隣接する相互接続装置２０か
らシリアル転送されてくる登録表示データと識別情報と
を受信して、シリアル転送路３０を介して自装置配下の
計算機１０にシリアル転送していくとともに、シリアル
転送路３１を介してもう一方の隣接する相互接続装置２
０にシリアル転送していくよう処理する送受信手段２４
とを備える。

【００１６】ここで、上記のコマンドを持つ相互接続装
置２０の送受信手段２４は、相互接続装置２０の接続関
係が固定であって、かつ規定の順番に従って選択される
ものとなる場合には、自装置の識別情報を転送しなくて
も受信側で転送されてくる登録表示データがどの相互接
続装置２０の状態レジスタ２１のものであるのかを知る
ことができるので、この識別情報の転送を省略すること
ができる。また、送受信手段２４は、シリアル転送路３
１が複数ライン備えられるときにはこれに対応して複数
備えられることになるが、このときには、上記のコマン
ドを保持する相互接続装置２０の持つ各送受信手段２４
は、転送開始タイミングをずらして登録表示データ及び
識別情報を対応のシリアル転送路３１に送出していくよ
う処理することになる。

【００１７】一方、計算機１０は、図１で説明した受信
手段１１、保持手段１２、管理手段１３及びチェック手
段１４を備える構成を採るものであるが、自計算機の接
続する相互接続装置２０以外の他の相互接続装置２０の
状態レジスタ２１の登録表示データも転送されてくるこ
とに対応させて、保持手段１２は、全ての状態レジスタ
２１の登録表示データを保持できる構成を採り、受信手
段１１は、転送されてくる識別情報に従って転送されて
くる登録表示データを保持手段１２の対応領域に保持さ
せていく構成を採り、管理手段１３は、全ての相互接続
装置２０に接続される計算機１０を管理対象とする構成
を採ることになる。

【００１８】

【作用】本発明では、相互接続装置２０を１台しか備え
ない場合には、相互接続装置２０の送信手段２２は、状
態レジスタ２１の登録表示データを繰り返し各計算機１
０-iにシリアル転送し、このシリアルデータを受信する
と、受信手段１１は、このシリアルデータを保持手段１
２に順序よく保持させていくことで、保持手段１２が状
態レジスタ２１の登録表示データと同一の登録表示デー
タを保持していくよう処理することになる。このとき、
シリアル転送路３０が複数ライン備えられる場合には、
複数備えられる送信手段２２の各々が転送開始タイミン
グをずらして登録表示データを対応のシリアル転送路３
０に送出していくよう処理するので、保持手段１２に保
持される登録表示データが次々に新しいものに更新され
ていくことになって、状態レジスタ２１の登録表示デー
タを高速に保持手段１２に転送できるようになる。

【００１９】このようにして、保持手段１２に対して状
態レジスタ２１の登録表示データが転送されていくとき
にあって、チェック手段１４は、保持手段１２の保持デ
ータを参照することで、管理手段１３がプログラムを分
担実行するものとして表示している計算機１０-iの全て
がプログラム処理を終了したのか否かを監視して、それ
らの計算機１０-iの全てがプログラム処理を終了するこ
とを確認すると同期信号を出力していくよう処理するこ
とになる。

【００２０】一方、本発明では、相互接続装置２０を複
数台備える場合には、コマンド（自装置の状態レジスタ
２１の登録表示データを転送することを指示する）を保
持する相互接続装置２０の送受信手段２４は、自装置の
状態レジスタ２１の登録表示データと自装置の識別情報
とを、自装置配下の計算機１０と隣接する相互接続装置
２０とにシリアル転送し、このコマンドを保持しない他
の相互接続装置２０の送受信手段２４は、隣接する相互
接続装置２０からシリアル転送されてくるこの登録表示
データと識別情報とを受信するとともに、この受信した
登録表示データと識別情報とを、自装置配下の計算機１
０ともう一方の隣接する相互接続装置２０とにシリアル
転送していく。そして、コマンドを保持する相互接続装
置２０の制御手段２３は、この転送処理を終了すると、
コマンドを隣接する相互接続装置２０に転送していく。
この処理を繰り返していくことで、各計算機１０の備え
る保持手段１２が、全ての相互接続装置２０の持つ状態
レジスタ２１の登録表示データと同一の登録表示データ
を保持していくよう処理することになる。このとき、シ
リアル転送路３１が複数ライン備えられる場合には、上
記のコマンドを保持する相互接続装置２０の持つ各送受
信手段２４が転送開始タイミングをずらして登録表示デ
ータ及び識別情報を対応のシリアル転送路３１に送出し
ていくことで、シリアル転送路３０に対して転送開始タ
イミングをずらしてこの登録表示データ及び識別情報を
送出していくよう処理するので、保持手段１２に保持さ
れる登録表示データが次々に新しいものに更新されてい
くことになって、状態レジスタ２１の登録表示データを
高速に保持手段１２に転送できるようになる。

【００２１】このようにして、保持手段１２に対して状
態レジスタ２１の登録表示データが転送されていくとき
にあって、チェック手段１４は、保持手段１２の保持デ
ータを参照することで、管理手段１３がプログラムを分
担実行するものとして表示している計算機１０-iの全て
がプログラム処理を終了したのか否かを監視して、それ
らの計算機１０-iの全てがプログラム処理を終了するこ
とを確認すると同期信号を出力していくよう処理するこ
とになる。

【００２２】このように、本発明を用いると、従来技術
の必要とした図１７の選択回路６-iが不要になること
で、図１７で説明したバリア同期機構２に相当する機構
のハードウェア量を大幅に減少できるようになる。そし
て、図１７のマスクレジスタ４-iに対応する管理手段１
３を各計算機１０-iに分散させることから、ハードウェ
アの集中化を防止できるとともに、プログラムグループ
の組み合わせの変更を要求されるときにも容易に対応で
きるようになる。

【００２３】

【実施例】以下、実施例に従って本発明を詳細に説明す
る。並列計算機システムでは、計算機間のデータの受け
渡しを実現するために、図３（ａ）に示すように、共有
メモリを設けて、各計算機（ＰＥ）がこの共有メモリに
対してアクセスしていくことでデータの受け渡しを実行
していく方法を採る場合と、図３（ｂ）に示すように、
ネットワーク装置を設けて、このネットワーク装置が計
算機間の接続関係を制御していくことでデータの受け渡
しを実行していく方法を採る場合とがある。本発明を構
成する図１及び図２で説明した相互接続装置２０は、こ
の共有メモリ上に構築することも可能であるし、ネット
ワーク装置上に構築することも可能であるが、以下に説
明する実施例では、ネットワーク装置上に構築すること
を想定することにする。なお、以後、計算機については
符号“１０”、ネットワーク装置については符号“４
０”で示すことにする。

【００２４】このネットワーク装置４０でもって本発明
のバリア同期制御を実現する場合、計算機１０の台数が
少ないような場合には、図４（ａ）に示すように、ネッ
トワーク装置４０を１台で構成することが可能である。
一方、計算機１０の台数が多いような場合には、図４
（ｂ）に示すように、複数台数のネットワーク装置４０
をループ状に接続して、このループ状に接続されるネッ
トワーク装置４０に計算機１０を接続していく方法や、
図４（ｃ）に示すように、ループ状に接続される複数台
数の上位ネットワーク装置（以下、符号“５０”で示
す）の各配下に下位のネットワーク装置４０を設けて、
この下位の各ネットワーク装置４０に計算機１０を接続
していく方法で構成することが可能である。以下に説明
する実施例では、図４（ｃ）に示す構成方法を想定する
ことにする。なお、並列計算機システムそのものの接続
構成は、クロスバネットワークを構成するために、通
常、図５に示すような接続形態を採る。これから、この
接続ラインを利用可能とする図４（ｃ）のような構成方
法が実用的な構成方法となるものである。

【００２５】図６に、図４（ｃ）の構成方法に従って本
発明のバリア同期制御を実現するために設けられるネッ
トワーク装置４０の回路構成の一実施例、図７に、この
ときに設けられる上位ネットワーク装置５０の回路構成
の一実施例を図示する。最初に、図６のネットワーク装
置４０の回路構成について説明し、次に、図７の上位ネ
ットワーク装置５０の回路構成について説明する。

【００２６】ここで、これらの実施例では、シリアルデ
ータの転送のために備えられるネットワーク装置４０と
上位ネットワーク装置５０との間のシリアル転送路と、
上位ネットワーク装置５０間のシリアル転送路とのライ
ン数を３本、すなわち、図１及び図２で説明したシリア
ル転送路３０，３１のライン数を３本で実装することを
想定しており、各ネットワーク装置４０に接続される計
算機１０の台数を６４台で想定している。なお、以下に
説明するように、ネットワーク装置４０と上位ネットワ
ーク装置５０との間と、上位ネットワーク装置５０間と
には、この３本のシリアル転送路の他に制御信号を転送
するための３ビットのデータラインが備えられることに
なる。

【００２７】図６中、６０-i（ｉ＝１〜３）はネットワ
ーク装置４０の備えるバリア同期制御回路であって、３
本のシリアル転送路３０，３１に対応して備えられて、
バリア同期信号の生成のために必要となる各計算機１０
のプログラム処理終了情報を各計算機１０に供給してい
くもの、６１は８分割構成で実装されるＰＥ状態レジス
タであって、ネットワーク装置４０に接続される６４台
の計算機１０から通知されてくるプログラム処理終了情
報をラッチしてバリア同期制御回路６０-iに与えるも
の、６２はバリアコントローラであって、３枚のバリア
同期制御回路６０-iの制御処理を司るものである。この
バリアコントローラ６２は、図示しないサービスプロセ
ッサから与えられるバリア同期制御開始信号と、バリア
同期制御終了信号と、構成制御情報とに従って、バリア
同期制御回路６０-iの制御処理を実行していくことにな
る。

【００２８】(a-1) は、第０番ないし第７番の計算機１
０からＰＥ状態レジスタ６１に通知されてくるプログラ
ム処理終了情報を受け取る８本のデータラインのライン
端、(a-2) は、第８番ないし第15番の計算機１０からＰ
Ｅ状態レジスタ６１に通知されてくるプログラム処理終
了情報を受け取る８本のデータラインのライン端、(a-
3) は、第16番ないし第23番の計算機１０からＰＥ状態
レジスタ６１に通知されてくるプログラム処理終了情報
を受け取る８本のデータラインのライン端、(a-4) は、
第24番ないし第31番の計算機１０からＰＥ状態レジスタ
６１に通知されてくるプログラム処理終了情報を受け取
る８本のデータラインのライン端、(a-5)は、第32番な
いし第39番の計算機１０からＰＥ状態レジスタ６１に通
知されてくるプログラム処理終了情報を受け取る８本の
データラインのライン端、(a-6) は、第40番ないし第47
番の計算機１０からＰＥ状態レジスタ６１に通知されて
くるプログラム処理終了情報を受け取る８本のデータラ
インのライン端、(a-7) は、第48番ないし第55番の計算
機１０からＰＥ状態レジスタ６１に通知されてくるプロ
グラム処理終了情報を受け取る８本のデータラインのラ
イン端、(a-8) は、第56番ないし第63番の計算機１０か
らＰＥ状態レジスタ６１に通知されてくるプログラム処
理終了情報を受け取る８本のデータラインのライン端で
ある。

【００２９】(b-1) は、自装置に接続する上位ネットワ
ーク装置５０から第１番のバリア同期制御回路６０-1に
シリアル転送されてくるデータを受け取るデータライン
のライン端、(b-2) は、その上位ネットワーク装置５０
から第２番のバリア同期制御回路６０-2にシリアル転送
されてくるデータを受け取るデータラインのライン端、
(b-3) は、その上位ネットワーク装置５０から第３番の
バリア同期制御回路６０-3にシリアル転送されてくるデ
ータを受け取るデータラインのライン端である。

【００３０】(c-1) は、自装置に接続する上位ネットワ
ーク装置５０から第１番のバリア同期制御回路６０-1に
転送されてくる制御信号を受け取る３本のデータライン
のライン端、(c-2) は、その上位ネットワーク装置５０
から第２番のバリア同期制御回路６０-2に転送されてく
る制御信号を受け取る３本のデータラインのライン端、
(c-3) は、その上位ネットワーク装置５０から第３番の
バリア同期制御回路６０-3に転送されてくる制御信号を
受け取る３本のデータラインのライン端である。

【００３１】(d-1) は、第１番のバリア同期制御回路６
０-1から自装置配下の６４台の計算機１０にシリアル転
送されるデータを送出するデータラインのライン端、(d
-2)は、第２番のバリア同期制御回路６０-2から自装置
配下の６４台の計算機１０にシリアル転送されるデータ
を送出するデータラインのライン端、(d-3) は、第３番
のバリア同期制御回路６０-3から自装置配下の６４台の
計算機１０にシリアル転送されるデータを送出するデー
タラインのライン端である。

【００３２】(e-1) は、第１番のバリア同期制御回路６
０-1から自装置に接続する上位ネットワーク装置５０に
シリアル転送されるデータを送出するデータラインのラ
イン端、(e-2) は、第２番のバリア同期制御回路６０-2
からその上位ネットワーク装置５０にシリアル転送され
るデータを送出するデータラインのライン端、(e-3)
は、第３番のバリア同期制御回路６０-3からその上位ネ
ットワーク装置５０にシリアル転送されるデータを送出
するデータラインのライン端である。

【００３３】(f-1) は、第１番のバリア同期制御回路６
０-1から自装置に接続する上位ネットワーク装置５０に
転送される制御信号を送出する３本のデータラインのラ
イン端、(f-2) は、第２番のバリア同期制御回路６０-2
からその上位ネットワーク装置５０に転送される制御信
号を送出する３本のデータラインのライン端、(f-3)
は、第３番のバリア同期制御回路６０-3からその上位ネ
ットワーク装置５０に転送される制御信号を送出する３
本のデータラインのライン端である。

【００３４】なお、図６のネットワーク装置４０を図４
（ｂ）の構成に用いる場合には、以上に記述した(b)(c)
のライン端の説明において、「自装置に接続する上位ネ
ットワーク装置５０」は「左側に隣接するネットワーク
装置４０」に変更され、(e)(f)のライン端の説明におい
て、「自装置に接続する上位ネットワーク装置５０」は
「右側に隣接するネットワーク装置４０」に変更される
ことなる。

【００３５】引き続いて、図６のバリア同期制御回路６
０-1の持つ回路機能について説明する。ここで、以下に
説明する回路機能は、他のバリア同期制御回路６０-2,3
も持つものである。

【００３６】６３はコントローラであって、バリア同期
制御回路６０-1の持つ回路機能の制御処理を司るもの、
６４は８個で構成されるセレクタであって、８分割構成
で実装されるＰＥ状態レジスタ６１の８ビットのラッチ
データを入力として、その内の１ビットを選択出力する
もの、６５はセレクタであって、８個のセレクタ６４の
出力値を入力として、その内の１つを選択出力するも
の、６６はＥＯＲ回路とレジスタとから構成されるパリ
ティビット生成回路であって、セレクタ６５の出力する
シリアルデータの８ビットデータ単位に付加するパリテ
ィビットを生成するもの、６７はレジスタであって、(b
-1) のライン端から入力されてくるシリアルデータをラ
ッチするものである。

【００３７】６８はセレクタであって、セレクタ６５の
出力値とパリティビット生成回路６６の出力値とレジス
タ６７の出力値とを入力として、その内の１つを選択出
力するもの、６９はレジスタであって、セレクタ６８の
出力するシリアルデータを順次ラッチして(d-1) のライ
ン端に出力するもの、７０はＥＯＲ回路とレジスタとチ
ェック回路とから構成される検査回路であって、レジス
タ６９の出力するシリアルデータのパリティチェックを
実行するもの、７１はレジスタであって、レジスタ６９
の出力するシリアルデータを順次ラッチして(e-1) のラ
イン端に出力するもの、７２はレジスタであって、(c-
1) のライン端から入力されてくる制御信号をラッチし
てコントローラ６３に入力するもの、７３はレジスタで
あって、コントローラ６３の出力する制御信号をラッチ
して(f-1) のライン端に出力するものである。

【００３８】続いて、図７の上位ネットワーク装置５０
の回路構成について説明する。図７中、８０-i（ｉ＝１
〜３）は上位ネットワーク装置５０の備えるバリア同期
制御回路であって、３本のシリアル転送路３０，３１に
対応して備えられて、バリア同期信号の生成のために必
要となる各計算機１０のプログラム処理終了情報をネッ
トワーク装置４０を介して各計算機１０に供給していく
もの、８１はバリアコントローラであって、３枚のバリ
ア同期制御回路８０-iの制御処理を司るものである。こ
のバリアコントローラ８１は、図示しないサービスプロ
セッサから与えられる構成制御情報に従って、バリア同
期制御回路８０-iの制御処理を実行していくことにな
る。

【００３９】(g-1) は、左側に隣接する上位ネットワー
ク装置５０から第１番のバリア同期制御回路８１-1にシ
リアル転送されてくるデータを受け取るデータラインの
ライン端、(g-2) は、その上位ネットワーク装置５０か
ら第２番のバリア同期制御回路８１-2にシリアル転送さ
れてくるデータを受け取るデータラインのライン端、(g
-3) は、その上位ネットワーク装置５０から第３番のバ
リア同期制御回路８１-3にシリアル転送されてくるデー
タを受け取るデータラインのライン端である。

【００４０】(h-1) は、左側に隣接する上位ネットワー
ク装置５０から第１番のバリア同期制御回路８１-1に転
送されてくる制御信号を受け取る３本のデータラインの
ライン端、(h-2) は、その上位ネットワーク装置５０か
ら第２番のバリア同期制御回路８１-2に転送されてくる
制御信号を受け取る３本のデータラインのライン端、(h
-3) は、その上位ネットワーク装置５０から第３番のバ
リア同期制御回路８１-3に転送されてくる制御信号を受
け取る３本のデータラインのライン端である。

【００４１】(i-1) は、自装置に接続するネットワーク
装置４０から第１番のバリア同期制御回路８１-1にシリ
アル転送されてくるデータを受け取るデータラインのラ
イン端、(i-2) は、そのネットワーク装置４０から第２
番のバリア同期制御回路８１-2にシリアル転送されてく
るデータを受け取るデータラインのライン端、(i-3)
は、そのネットワーク装置４０から第３番のバリア同期
制御回路８１-3にシリアル転送されてくるデータを受け
取るデータラインのライン端である。

【００４２】(j-1) は、自装置に接続するネットワーク
装置４０から第１番のバリア同期制御回路８１-1に転送
される制御信号を受け取る３本のデータラインのライン
端、(j-2) は、そのネットワーク装置４０から第２番の
バリア同期制御回路８１-2に転送される制御信号を受け
取る３本のデータラインのライン端、(j-3) は、そのネ
ットワーク装置４０から第３番のバリア同期制御回路８
１-3に転送される制御信号を受け取る３本のデータライ
ンのライン端である。

【００４３】(k-1) は、第１番のバリア同期制御回路８
０-1から右側に隣接する上位ネットワーク装置５０にシ
リアル転送されるデータを送出するデータラインのライ
ン端、(k-2) は、第２番のバリア同期制御回路８０-2か
らその上位ネットワーク装置５０にシリアル転送される
データを送出するデータラインのライン端、(k-3) は、
第３番のバリア同期制御回路８０-3からその上位ネット
ワーク装置５０にシリアル転送されるデータを送出する
データラインのライン端である。

【００４４】(l-1) は、第１番のバリア同期制御回路８
０-1から右側に隣接する上位ネットワーク装置５０に転
送される制御信号を送出する３本のデータラインのライ
ン端、(l-2) は、第２番のバリア同期制御回路８０-2か
らその上位ネットワーク装置５０に転送される制御信号
を送出する３本のデータラインのライン端、(l-3) は、
第３番のバリア同期制御回路８０-3からその上位ネット
ワーク装置５０に転送される制御信号を送出する３本の
データラインのライン端である。

【００４５】(m-1) は、第１番のバリア同期制御回路８
０-1から自装置に接続されるネットワーク装置４０にシ
リアル転送されるデータを送出するデータラインのライ
ン端、(m-2) は、第２番のバリア同期制御回路８０-2か
らそのネットワーク装置４０にシリアル転送されるデー
タを送出するデータラインのライン端、(m-3) は、第３
番のバリア同期制御回路８０-3からそのネットワーク装
置４０にシリアル転送されるデータを送出するデータラ
インのライン端である。

【００４６】(n-1) は、第１番のバリア同期制御回路８
０-1から自装置に接続されるネットワーク装置４０に転
送される制御信号を送出する３本のデータラインのライ
ン端、(n-2) は、第２番のバリア同期制御回路８０-2か
らそのネットワーク装置４０に転送される制御信号を送
出する３本のデータラインのライン端、(n-3) は、第３
番のバリア同期制御回路８０-3からそのネットワーク装
置４０に転送される制御信号を送出する３本のデータラ
インのライン端である。

【００４７】引き続いて、図７のバリア同期制御回路８
０-1の持つ回路機能について説明する。ここで、以下に
説明する回路機能は、他のバリア同期制御回路８０-2,3
も持つものである。

【００４８】８２はレジスタであって、(g-1) のライン
端から入力されてくるシリアルデータをラッチするも
の、８３はレジスタであって、(h-1) のライン端から入
力されてくる制御信号をラッチするもの、８４はレジス
タであって、(i-1) のライン端から入力されてくるシリ
アルデータをラッチするもの、８５はレジスタであっ
て、(j-1) のライン端から入力されてくる制御信号をラ
ッチするもの、８６はセレクタであって、レジスタ８２
の出力値とレジスタ８４の出力値とを入力として、その
内の１つを選択出力するもの、８７はセレクタであっ
て、レジスタ８３の出力値とレジスタ８５の出力値とを
入力として、その内の１つを選択出力するもの、８８は
セレクタであって、レジスタ８２の出力値とレジスタ８
４の出力値とを入力として、その内の１つを選択出力す
るもの、８９はセレクタであって、レジスタ８３の出力
値とレジスタ８５の出力値とを入力として、その内の１
つを選択出力するものである。９０はレジスタであっ
て、セレクタ８６の出力値をラッチするもの、９１はＥ
ＯＲ回路とレジスタとチェック回路とから構成される検
査回路であって、レジスタ９０の出力するシリアルデー
タのパリティチェックを実行するもの、９２はレジスタ
であって、レジスタ９０の出力するシリアルデータを順
次ラッチして(k-1) のライン端に出力するもの、９３は
コントローラであって、検査回路９１の検査タイミング
を制御するもの、９４はレジスタであって、セレクタ８
７の出力する制御信号をラッチして(l-1) のライン端に
出力するもの、９５はレジスタであって、セレクタ８８
の出力値をラッチするもの、９６はＥＯＲ回路とレジス
タとチェック回路とから構成される検査回路であって、
レジスタ９５の出力するシリアルデータのパリティチェ
ックを実行するもの、９７はレジスタであって、レジス
タ９５の出力するシリアルデータを順次ラッチして(m-
1) のライン端に出力するもの、９８はコントローラで
あって、検査回路９６の検査タイミングを制御するも
の、９９はレジスタであって、セレクタ８９の出力する
制御信号をラッチして(n-1) のライン端に出力するもの
である。

【００４９】なお、通常の動作時には、セレクタ８８
は、(i-1) のライン端から入力されてくるシリアルデー
タを(m-1) のライン端にそのまま出力させるような選択
処理を実行することはなく、また、セレクタ８９は、(j
-1) のライン端から入力されてくる制御信号を(n-1) の
ライン端にそのまま出力させるような選択処理を実行す
ることはないのであって、この２つのセレクタ８８，８
９は、デバッグ処理等のために特別に用意されるもので
ある。

【００５０】図８に、上述のバリア同期制御回路６０-i
とバリア同期制御回路８０-iとの間、すなわち、ネット
ワーク装置４０と上位ネットワーク装置５０との間と、
上述のバリア同期制御回路８０-i同士の間、すなわち、
上位ネットワーク装置５０同士の間とでシリアル転送さ
れることになるデータのデータフォーマットを図示す
る。

【００５１】この図に示すように、２つのプリント板間
でシリアル転送されるデータは、オール１値を設定する
１０ビットから構成されて、以下に続くデータがＰＥ状
態レジスタ６１のラッチデータであることを表示する
のデータ部分と、それに続く１０ビットから構成され
て、以下に続くＰＥ状態レジスタ６１のラッチデータの
ラッチ元であるネットワーク装置４０の８ビットのＩＤ
情報と、この８ビットのＩＤ情報に付加されるパリティ
ビットと、このパリティビットに続くゼロ値のビットと
を表示するのデータ部分と、それに続く８個の１０ビ
ットから構成されて、各１０ビットがＰＥ状態レジスタ
６１にラッチされる対応の８台のプログラム処理終了情
報と、この８ビットデータに付加されるパリティビット
と、このパリティビットに続くゼロ値のビットとを表示
するのデータ部分とで規定されるデータフォーマット
を持つものである。ここで、８ビットデータに付加され
るパリティビットは、パリティビット生成回路６６で生
成されるものであり、各パリティビットに続くゼロ値の
ビットは、対応の１０ビットデータがオール１値になら
ないことを保証するために付加されるものである。以
下、このデータフォーマットを持って、２つのプリント
板間でシリアル転送されることになるデータを「バリア
データ」と称することする。

【００５２】一方、バリア同期制御回路６０-iとバリア
同期制御回路８０-iとの間、すなわち、ネットワーク装
置４０と上位ネットワーク装置５０との間と、上述のバ
リア同期制御回路８０-i同士の間、すなわち、上位ネッ
トワーク装置５０同士の間とには、上述のように制御信
号が転送されることになる。この制御信号としては、マ
スタのネットワーク装置４０になることを指示して、配
下のＰＥ状態レジスタ６１のラッチデータを用いてバリ
アデータを作成して転送していくことを指示する制御信
号（以下、この制御信号を親コマンドと称する）と、バ
リアデータの転送開始タイミングを通知する制御信号
と、バリアデータの送信停止を指示する制御信号という
３種類が設けられることになる。

【００５３】次に、このように構成される実施例の実行
するバリア同期制御の動作処理について詳細に説明す
る。ここで、説明を分かり易いものとするために、最
初、１枚のバリア同期制御回路６０-1，８０-1しか備え
られない場合、すなわち、バリアデータの転送のために
備えられるネットワーク装置４０と上位ネットワーク装
置５０との間のシリアル転送路と、上位ネットワーク装
置５０間のシリアル転送路とのライン数が１本である場
合の動作処理について説明し、その後で、３枚のバリア
同期制御回路６０-1/2/3, ８０-1/2/3が備えられる場合
の動作処理について説明する。

【００５４】〔１〕サービスプロセッサからのバリア同
期制御開始信号に従って、複数設けられるネットワーク
装置４０の内のいずれか１つに親コマンドが供給される
と、そのネットワーク装置４０のバリア同期制御回路６
０-1のセレクタ６４，６５が、自装置のＰＥ状態レジス
タ６１のラッチデータを順番に読み出していくととも
に、バリティビット生成回路６６が、この読み出されて
くるラッチデータのパリティビットを生成し、セレクタ
６８が、このパリティビットとゼロ値ビットとを読み出
されてくるラッチデータの対応の位置に挿入するように
選択処理を実行していくことでバリアデータを作成して
いく。そして、レジスタ６９が、この作成されていくバ
リアデータを(d-1) のライン端から自装置配下の６４台
の計算機１０に転送していくとともに、レジスタ７１
が、この作成されていくバリアデータを(e-1) のライン
端から自装置に接続する上位ネットワーク装置５０に転
送していく。

【００５５】〔２〕このようにして、親コマンドを持つ
ネットワーク装置４０からバリアデータが転送されてく
ると、対応の上位ネットワーク装置５０のレジスタ８４
が、(i-1) のライン端を介してこのバリアデータを受信
し、セレクタ８６が、この受信したバリアデータを選択
して、レジスタ９０及びレジスタ９２を介して(k-1)の
ライン端から右側に隣接する上位ネットワーク装置５０
に転送していく。このとき、セレクタ８７が、(j-1) の
ライン端を介して受信される親コマンドを持つネットワ
ーク装置４０からのバリアデータの転送開始タイミング
の制御信号をコントローラ９３に与え、これに応答し
て、検査回路９１が、転送されくるバリアデータのパリ
ティチェックを実行していく。

【００５６】〔３〕そして、左側に隣接する上位ネット
ワーク装置５０からバリアデータが転送されてくると、
上位ネットワーク装置５０のレジスタ８２が、(g-1) の
ライン端を介してこのバリアデータを受信し、セレクタ
８６が、この受信したバリアデータを選択して、レジス
タ９０及びレジスタ９２を介して(k-1) のライン端から
右側に隣接する上位ネットワーク装置５０に転送してい
くとともに、セレクタ８８が、この受信したバリアデー
タを選択して、レジスタ９５及びレジスタ９７を介して
(m-1) のライン端から自装置に接続するネットワーク装
置４０に転送していく。このとき、セレクタ８７が、(h
-1) のライン端を介して受信される左側に隣接する上位
ネットワーク装置５０からのバリアデータの転送開始タ
イミングの制御信号をコントローラ９３に与え、これに
応答して、検査回路９１が、転送されくるバリアデータ
のパリティチェックを実行していくとともに、セレクタ
８９が、(h-1) のライン端を介して受信される左側に隣
接する上位ネットワーク装置５０からのバリアデータの
転送開始タイミングの制御信号をコントローラ９８に与
え、これに応答して、検査回路９６が、転送されくるバ
リアデータのパリティチェックを実行していく。

【００５７】〔４〕このようして、自装置に接続する上
位ネットワーク装置５０からバリアデータが転送されて
くると、ネットワーク装置４０のレジスタ６７が、(b-
1) のライン端を介してこのバリアデータを受信し、セ
レクタ６８が、この受信したバリアデータを選択して、
レジスタ６９を介して(d-1) のライン端から自装置配下
の６４台の計算機１０に転送していく。このとき、コン
トローラ６３が、(c-1)のライン端を介して受信される
自装置に接続する上位ネットワーク装置５０からのバリ
アデータの転送開始タイミングの制御信号を検査回路７
０に与え、これに応答して、検査回路７０が、転送され
くるバリアデータのパリティチェックを実行していく。

【００５８】以下、サービスプロセッサから親コマンド
の供給されたネットワーク装置４０に接続する上位ネッ
トワーク装置５０以外の全ての上位ネットワーク装置５
０が上述の〔３〕の処理を実行し、それに応答して、そ
れらの上位ネットワーク装置５０に接続するネットワー
ク装置４０が上述の〔４〕の処理を実行していくこと
で、図９の最上段に示すように、サービスプロセッサか
ら親コマンドの供給されたネットワーク装置４０（図中
の左端のもの）の持つＰＥ状態レジスタ６１のラッチデ
ータにより生成されるバリアデータが、全ての計算機１
０に供給されていくことになる。

【００５９】〔５〕サービスプロセッサから親コマンド
の供給されたネットワーク装置４０のコントローラ６３
は、上述したように、バリアデータを作成して自装置配
下の６４台の計算機１０と、自装置に接続する上位ネッ
トワーク装置５０とに転送すると、レジスタ７３を介し
て(f-1) のライン端から自装置に接続する上位ネットワ
ーク装置５０に親コマンドを転送し、この転送を受け取
る上位ネットワーク装置５０のセレクタ８７は、(j-1)
のライン端を介して受信されるこの親コマンドをレジス
タ９４を介して(l-1) のライン端から右側に隣接する上
位ネットワーク装置５０に転送し、この転送を受け取る
上位ネットワーク装置５０のセレクタ８９は、(h-1) の
ライン端を介して受信されるこの親コマンドをレジスタ
９９を介して(n-1) のライン端から自装置に接続するネ
ットワーク装置４０に転送していく。この親コマンドの
転送処理に従って、親コマンドは、続いて、元の親コマ
ンドを保持していたネットワーク装置４０の右側に隣接
するネットワーク装置４０が保持することになる。

【００６０】この〔５〕の処理に従って、親コマンドを
保持するネットワーク装置４０が新たなものになると、
上述の〔１〕ないし〔４〕の処理が実行されるととも
に、この〔５〕の処理が実行され、これらの処理が繰り
返されていくことで、図９に示すように、親コマンドを
保持するネットワーク装置４０の持つＰＥ状態レジスタ
６１のラッチデータにより生成されるバリアデータが、
全ての計算機１０に供給されていくことになる。

【００６１】このようにして、ネットワーク装置４０が
ｎ台備えられる場合には、図１０に示すように、ＩＤ＝
１のネットワーク装置４０により生成されるバリアデー
タから始まってＩＤ＝ｎのネットワーク装置４０により
生成されるバリアデータに終わる連続するバリアデータ
単位の繰り返しが、全ての計算機１０に供給されていく
ことになる。

【００６２】このバリアデータの転送を受けて、図１で
説明した計算機１０の受信手段１１（この時点の説明で
はシリアル転送路のライン数を１本で想定しているので
１台となる）は、図１１に示すように、バリアデータの
表示するＩＤ情報の指す図１の保持手段１２の対応領域
に、転送されたきたバリアデータの持つＰＥ状態レジス
タ６１のラッチデータを保持させていくよう処理し、こ
の保持処理を受けて、図１で説明したチェック手段１４
は、保持手段１２の保持データを参照することで、管理
手段１３がプログラムを分担実行するものとして表示し
ている計算機１０の全てがプログラム処理を終了したの
か否かを監視して、それらの計算機１０の全てがプログ
ラム処理を終了することを確認するとバリア同期信号を
出力していくよう処理することになる。

【００６３】このようにして、本発明では、従来技術と
異なって、計算機１０側でバリア同期信号を生成してい
くよう処理する構成を採るのである。次に、３枚のバリ
ア同期制御回路６０-1/2/3, ８０-1/2/3が備えられる場
合、すなわち、図１及び図２で説明したシリアル転送路
３０，３１のライン数が３本備えられる場合の動作処理
について説明する。

【００６４】ネットワーク装置４０の３枚のバリア同期
制御回路６０-1/2/3は、それぞれ別々の転送開始タイミ
ングに従って、バリアデータを生成してＰＥ状態レジス
タ６１のラッチデータを読み出して転送していくよう処
理する。例えば、ネットワーク装置４０の台数が４台で
あるような場合には、図１２に示すように、第１から第
３のシリアル転送路の各々に転送される連続するバリア
データが、好ましくは１／３周期分ずれるように転送開
始タイミングをずらして転送していくよう処理するので
ある。このようにすると、１枚のバリア同期制御回路６
０-1では図中のαに示す時間周期でもって各計算機１０
に転送されていた１周期のバリアデータが、図中のβに
示す時間周期でもって各計算機１０に転送されていくの
で、各計算機１０に対して、常時更新されていく全計算
機１０のプログラム処理終了情報を高速に転送していけ
るようになるのである。

【００６５】また、計算機１０が複数のタスクをタイム
シェアリングで同時実行する場合には、複数枚数備えら
れるバリア同期制御回路６０-iが別々のタスクのバリア
データを生成していくことで対処することが可能であ
る。例えば、ａとｂという２つのタスクがある場合に
は、図１３に示すように、第１及び第２のシリアル転送
路でタクスａのバリアデータを転送し、第２のシリアル
転送路でタスクｂのバリアデータを転送していくことで
対処することができるのである。なお、この図１３で
は、バリア同期制御回路６０-iの枚数を４枚で想定して
いる。

【００６６】図示実施例について説明したが、本発明は
これに限定されるものではない。例えば、実施例で説明
した計算機の台数やシリアル転送路の本数やバリアデー
タのデータフォーマット等は一例にすぎないのである。

【００６７】

【発明の効果】以上説明したように、本発明によれば、
複数の計算機とそれらの計算機を接続する相互接続装置
とからなる並列計算機システムにおいて、従来技術の必
要とした大きなハードウェア量の選択回路を用いずにバ
リア同期信号を生成できるので、少ないハードウェア量
でもってバリア同期制御信号を生成できるようになる。
そして、従来技術で用いていたマスクレジスタに対応す
るものを各計算機に分散させることから、ハードウェア
の集中化を防止できるとともに、プログラムグループの
組み合わせの変更を要求されるときにも容易に対応でき
るようになる。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の原理構成図である。

【図３】並列計算機システムの説明図である。

【図４】本発明を実現するシステム構成の説明図であ
る。

【図５】並列計算機システムの説明図である。

【図６】本発明のバリア同期制御を実現するネットワー
ク装置の回路構成の一実施例である。

【図７】本発明のバリア同期制御を実現する上位ネット
ワーク装置の回路構成の一実施例である。

【図８】シリアルデータのデータフォーマットの説明図
である。

【図９】本発明の処理の説明図である。

【図１０】本発明の処理の説明図である。

【図１１】本発明の処理の説明図である。

【図１２】本発明の処理の説明図である。

【図１３】本発明の処理の説明図である。

【図１４】バリア同期機構の説明図である。

【図１５】バリア同期処理の説明図である。

【図１６】バリア同期処理の説明図である。

【図１７】従来技術の説明図である。

【図１８】マスクレジスタの管理データの説明図であ
る。

【符号の説明】

１０ 計算機 １１ 受信手段 １２ 保持手段 １３ 管理手段 １４ チェック手段 ２０ 相互接続装置 ２１ 状態レジスタ ２２ 送信手段 ２３ 制御手段 ２４ 送受信手段 ３０ シリアル転送路 ３１ シリアル転送路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 長沢 茂 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 小松田 浩 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 電子情報通信学会誌Ｄ−１ＶＯＬ．75 ＮＯ．８ 1992 Ｐ．637−645石畑宏 明 外４名「高並列計算機ＡＰ1000のア ーキテクチャ」

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 複数の計算機(10)と、該計算機(10)に接
   続される相互接続装置(20)とから構成され、各計算機(1
   0)が自計算機のデータ処理進行状態情報を該相互接続装
   置(20)に登録していくとともに、該相互接続装置(20)の
   登録表示するデータ処理進行状態情報に従ってデータ処
   理を実行していく構成を採る並列計算機システムにおい
   て、 相互接続装置(20)と計算機(10)との間をシリアル転送路
   (30)で接続する構成を採って、相互接続装置(20)が該シ
   リアル転送路(30)を介して登録表示データを各計算機(1
   0)にシリアル転送する構成を採り、 かつ、各計算機(10)が、シリアル転送されてくる登録表
   示データを保持する保持手段(12)と、自計算機と並列デ
   ータ処理を分担実行する計算機(10)の計算機名情報を管
   理する管理手段(13)と、該保持手段(12)の保持データと
   該管理手段(13)の管理データとからデータ処理進行状態
   をチェックするチェック手段(14)とを備えることを、 特徴とする並列データ処理制御方式。
2. 【請求項２】 請求項１記載の並列データ処理制御方式
   において、 相互接続装置(20)と計算機(10)との間のシリアル転送路
   (30)を複数ライン設けるよう構成するとともに、相互接
   続装置(20)が、該シリアル転送路(30)の各々に対して転
   送開始タイミングをずらして登録表示データを送出して
   いくよう処理することを、 特徴とする並列データ処理制御方式。
3. 【請求項３】 請求項１記載の並列データ処理制御方式
   において、 相互接続装置(20)を複数で構成して、各々が割り付けら
   れた複数の計算機(10)と接続する構成を採って該計算機
   (10)のデータ処理進行状態情報を管理するとともに、隣
   接する相互接続装置(20)間をシリアル転送路(31)で接続
   する構成を採り、 かつ、順番に選択される相互接続装置(20)が、自装置の
   管理する登録表示データと自装置の識別情報とを、自装
   置配下の計算機(10)と隣接する相互接続装置(20)とにシ
   リアル転送していくよう処理し、選択されない各相互接
   続装置(20)が、隣接する相互接続装置(20)からシリアル
   転送されてくる該登録表示データと該識別情報とを、自
   装置配下の計算機(10)ともう一方の隣接する相互接続装
   置(20)とにシリアル転送していくよう処理するととも
   に、各計算機(10)が、転送されてくる該識別情報に従っ
   て転送されてくる該登録表示データを保持手段(12)の対
   応領域に保持していくよう処理することを、 特徴とする並列データ処理制御方式。
4. 【請求項４】 請求項１記載の並列データ処理制御方式
   において、 相互接続装置(20)を複数で構成して、各々が割り付けら
   れた複数の計算機(10)と接続する構成を採って該計算機
   (10)のデータ処理進行状態情報を管理するとともに、隣
   接する相互接続装置(20)間をシリアル転送路(31)で接続
   する構成を採り、 かつ、規定の順番に従って選択される相互接続装置(20)
   が、自装置の管理する登録表示データを、自装置配下の
   計算機(10)と隣接する相互接続装置(20)とにシリアル転
   送していくよう処理し、選択されない各相互接続装置(2
   0)が、隣接する相互接続装置(20)からシリアル転送され
   てくる該登録表示データを、自装置配下の計算機(10)と
   もう一方の隣接する相互接続装置(20)とにシリアル転送
   していくよう処理するとともに、各計算機(10)が、転送
   されてくる該登録表示データを保持手段(12)の対応領域
   に保持していくよう処理することを、 特徴とする並列データ処理制御方式。
5. 【請求項５】 請求項３又は４記載の並列データ処理制
   御方式において、 相互接続装置(20)間のシリアル転送路(31)を複数ライン
   設け、かつ、これに整合させて相互接続装置(20)と計算
   機(10)との間のシリアル転送路(30)を複数ライン設ける
   よう構成するとともに、選択される相互接続装置(20)
   が、相互接続装置(20)間のシリアル転送路(31)の各々に
   対して転送開始タイミングをずらして登録表示データ／
   識別情報を送出していくことで、相互接続装置(20)と計
   算機(10)との間のシリアル転送路(30)の各々に対して転
   送開始タイミングをずらして登録表示データ／識別情報
   を送出していくよう処理することを、 特徴とする並列データ処理制御方式。