JP3015428B2

JP3015428B2 - 並列計算機

Info

Publication number: JP3015428B2
Application number: JP2232355A
Authority: JP
Inventors: 昇田邊
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1990-09-04
Filing date: 1990-09-04
Publication date: 2000-03-06
Anticipated expiration: 2015-03-06
Also published as: JPH04113445A

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、ハイパーキューブのようなポイント・ツ・
ポイント（point to point）の通信路によってプロセシ
ングエレメントが結合される並列計算機に関するもので
ある。

（従来の技術）従来、ポイント・ツ・ポイントの通信路によって通信
を行う並列計算機では、その相互結合網としてハイパー
キューブ（binary n−cube）、超立方体（CCC）、格子
（mesh）、２進木（binary tree）、base−ｍｎ−cub
eなどの種々の結合方法が考えられている。

そして、これら結合方法を採用した並列計算機では、
結合網を形成する通信路について、すべて同等な通信能
力を持たせるように考えられており、システム全体とし
て、どこの通信路をとっても、競合さえなければ全て均
質な通信能力が得られるようになっている。

ところで、binary n−cubeやbase−ｍｎ−cubeで代
表される比較的密に結合される結合網を採用した並列計
算機で、結合網を構成する通信路の数が多く、各基板か
ら導出される信号線や筐体間を接続するための信号線の
数が多大になるものでは、各通信路に対して均質の通信
性能を確保しようとすると、全体のプロセッサの数が多
く必要になるとともに、通信路のビット幅も大きくする
必要がある。

ところが、実際は、LSIのチップ内部における配線、L
SI外部に出せる信号線の数、基板内部での配線数、基板
外部に出せる信号線の数、筐体間の配線数などにそれぞ
れ制約があるため、これら制約の下で、各通信路に対し
て均質の通信性能を確保しようとするには、最も制約の
厳しい通信路に合わせてプロセッサの数や通信路のビッ
ト幅を設定しなければならない。

このことは、システム全体についてプロセッサの数を
多くできないとともに、通信路のビット幅を大きくでき
ないことであり、このように通信路のビット幅に制約を
受けると、システム全体の転送能力が低下するだけでな
く、高速なプロセッサをプロセシングエレメントとして
用いると、データ枯渇を引き起こし、通信待ちのために
プロセッサの能力を引き出さなくなるなどの不都合を生
じていた。

（発明が解決しようとする課題）このように、従来の均質の通信性能の確保を基本とす
るものと比較的密に結合される結合網を採用したものに
なると、プロセッサ数を多くできなかったり、通信路の
ビット幅を大きくできなかったりすることがあり、これ
らが原因して並列化による高速化や、プロセッサの能力
の向上による高速化が難しくなる問題点があった。

本発明は、上記事情に鑑みてなされたもので、並列化
による高速化は勿論、プロセッサの能力の向上による高
速化も可能にできる並列計算機を提供することを目的と
する。

［発明の構成］（課題を解決するための手段）また、本発明は、ポイント・ツ・ポイントの通信路に
よってプロセッシングエレメントが結合される並列計算
機において、複数のプロセッシングエレメントをそれぞ
れ搭載した複数の基板と、同一の前記基板上に搭載され
ている複数の前記プロセッシングエレメント同士を相互
に結合するための第１の接続手段と、異なる前記基板上
に搭載されている複数の前記プロセッシングエレメント
同士を相互に結合するための第２の接続手段とを備え、
前記第１の接続手段のために前記基板上に形成される通
信路のビット幅または周波数を、前記第２の接続手段の
ために前記基板上に形成される通信路のビット幅または
周波数より大きくしたことを特徴とする。

好ましくは、前記第２の接続手段の中にコネクタを使
用するものとケーブルを使用するものとが存在する場合
に、コネクタを使用するものについての前記通信路のビ
ット幅または周波数を、ケーブルを使用するものについ
ての前記通信路のビット幅または周波数より大きくする
ようにしてもよい。

また、本発明は、ポイント・ツ・ポイントの通信路に
よってプロセッシングエレメントが結合される並列計算
機において、複数のプロセッシングエレメントをそれぞ
れ含む複数のチップを搭載した基板と、同一の前記チッ
プ上に形成されている複数の前記プロセッシングエレメ
ント同士を相互に結合するための第１の接続手段と、同
一の前記基板上に搭載された異なる前記チップ上に形成
されている複数の前記プロセッシングエレメント同士を
相互に結合するための第２の接続手段とを備え、前記第
１の接続手段のために前記基板上に形成される通信路の
ビット幅または周波数を、前記第２の接続手段のために
前記基板上に形成される通信路のビット幅または周波数
より大きくしたことを特徴とする。

（作用）この結果、本発明によれば、最も制約の厳しい通信路
に合わせて、どこでも同じビット幅や周波数の通信路を
実装するのではなく、各通信路の実装の容易性に基づい
てその通信路のビット幅や周波数を設定するようになる
ので、つまり、基板内部での配線の制約、基板外部に出
せる信号線数の制約などの物理的な制約に対応するよう
に、実装する通信路のビット幅や周波数を設定するよう
にしたので、物理的な制約は物理的にローカルであるほ
ど緩く、ビット幅を幅やしたり、クロックを上げること
により通信路の帯域を高くとることができ、これによ
り、結合のトポロジーを変えることなく、物理的にロー
カルなものほど高速な通信路で結合された並列計算機が
構築できる。

また、並列性のある多くの問題には、並列計算機にマ
ッピングされた時に生じる通信が、ある程度ローカルに
納まるという通信の局所性が存在する。マッピングのア
ルゴリズムと結合網のトポロジーと問題の三者の相性に
もよるが、多くの場合、ローカルな通信の頻度をある程
度向上させることが可能である。このことから、ローカ
ルな通信が高速であるシステムは、システム全体として
動作時の通信性能は、均質な通信性能を持つものよりも
高くなる。このように実質的に通信性能が向上すること
から、少ないハードウエアコストにより高速なプロセッ
サをプロセッシングエレメントに用いた場合のデータ枯
渇を引き起こしにくくすることができる。また、物理的
に遠いプロセッシングエレメントとの通信路のビット幅
をローカルな通信路より少なくすることにより、システ
ム全体の通信性能の低下を抑えながら、基板外部に出る
信号線数の制約などのからの影響を軽くすることがで
き、実質的に通信性能の低下を抑えながら、より多くの
プロセッシングエレメントを実装できる。

（実施例）以下、本発明の一実施例を図面にしたがい説明する。

第１図は、本発明をbase−８３−cube結合のトポロ
ジーに適用した場合を示している。

この場合、bese−８３−cubeは、第２図に示すよう
に８×８×８の合計8³（512）個のプロセッシングエレ
メントを有するもので、これらプロセッシングエレメン
トは、８進３桁の数字「000」から「777」で表されてい
る。ここでの８進３桁の数字は、それぞれ下位からｘ座
標、ｙ座標、ｚ座標を示している。そして、これらプロ
セッシングエレメント「000」〜「777」は、それぞれ８
個単位で８入力８出力のｘ方向クロスバスイッチSx00〜
Sx07、…、Sx70〜Sx77、ｙ方向クロスバスイッチSy00〜
Sy07、…、Sy70〜Sy77、ｚ方向クロスバスイッチSz00〜
Sz07、…、Sz70〜Sz77に接続されている。

第１図に戻って、１〜８はブロックを構成する筐体
で、このうち筐体１は、ｘ座標の基板11〜18と、これら
基板11〜18にコネクタ111〜181（図示せず）を介して接
続されるｙ座標の基板91を有し、筐体２は、ｘ座標の基
板21〜28と、これら基板21〜28に図示しないコネクタを
介して接続されるｙ座標の基板92を有し、以下、同様に
して筐体８は、ｘ座標の基板81〜88と、これら基板81〜
88に図示しないコネクタを介して接続されるｙ座標の基
板98を有している。また、これら筐体１〜８は、ｘ座標
の基板11〜18、…、81〜88の外部端子112〜182、…、81
2〜882を介して接続されるｚ座標の基板101〜108を有し
ている。

筐体１のｘ座標の基板11は、８個のプロセッシングエ
レメント「000」〜「007」とｘ方向クロスバスイッチSx
00を実装するとともに、その側縁部に、ｙ座標の基板91
に対応するコネクタ111とｚ座標の基板101に対応する外
部端子112を有している。また、ｘ座標の基板12は、８
個のプロセッシングエレメント「010」〜「017」とｘ方
向クロスバスイッチSx01を実装するとともに、その側縁
部に、ｙ座標の基板91に対応するコネクタ121と図示し
ないｚ座標の基板102に対応する外部端子122を有し、同
様にしてｘ座標の基板18は、図示しないが８個のプロセ
ッシングエレメント「070」〜「077」とｘ方向クロスバ
スイッチSx07を実装するとともに、その側縁部に、ｙ座
標の基板91に対応するコネクタおよびｚ座標の基板108
に対応する外部端子を有している。

以下、筐体２〜８を構成するｘ座標の基板21〜28、
…、81〜88についても上述したと同様であり、筐体２の
ｘ座標の基板21は、図示しないが８個のプロセッシング
エレメント「100」〜「107」とｘ方向クロスバスイッチ
Sx10、ｙ座標の基板92に対応するコネクタおよびｚ座標
の基板101に対応する外部端子を有し、同様にして、ｘ
座標の基板28も、図示しないが８個のプロセッシングエ
レメント「170」〜「177」とｘ方向クロスバスイッチSx
17、ｙ座標の基板92に対応するコネクタおよびｚ座標の
基板108に対応する外部端子を有している。そして、最
後の筐体８のｘ座標の基板81も、図示しないが８個のプ
ロセッシングエレメント「700」〜「707」とｘ方向クロ
スバスイッチSx70、ｙ座標の基板98に対応するコネクタ
およびｚ座標の基板101に対応する外部端子を有し、同
様にして基板88も、図示しないが８個のプロセッシング
エレメント「770」〜「777」とｘ方向クロスバスイッチ
Sx77、ｙ座標の基板98に対応するコネクタおよびｚ座標
の基板108に対応する外部端子を有している。

一方、ｙ方向の基板91は、ｙ方向クロスバスイッチSy
00〜Sy07を有するとともに、ｘ座標の基板11〜18のコネ
クタ111〜181が直接接続されるコネクタ911〜918を有し
ている。ｙ座標の基板92〜98についても上述と同様であ
り、ｘ座標の基板21〜28、…、81〜88の図示しないコネ
クタが直接接続されるコネクタを有するとともに、ｙ方
向クロスバスイッチを有している。

また、ｚ座標の基板101は、ｚ方向クロスバスイッチS
z00〜Sz07を有するとともに、外部端子1011〜1018を有
している。この場合、外部端子1011には、ｘ座標の基板
11の外部端子112がケーブル112aを介して接続され、外
部端子1012には、ｘ座標の基板21の外部端子212がケー
ブル212aを介して接続され、同様にして外部端子1018に
は、ｘ座標の基板81の外部端子812がケーブル812aを介
して接続される。ｚ座標の基板102〜10についても、同
様であり、ｚ方向クロスバスイッチを有するとともに、
ｘ座標の各基板の外部端子にケーブルを介して接続され
る外部端子を有している。

このような構成において、ｘ座標の基板11のプロセッ
シングエレメント「000」〜「007」とｘ方向クロスバス
イッチSx00の間の配線は、同一基板内部の配線で、多層
基板パターンで実現できるので、それぞれ帯域の高い32
ビット幅の全二重通信路（64ビット）で構成している。
また、プロセッシングエレメント「000」〜「007」とコ
ネクタ111の間の配線は、コネクタ111のピン数などの制
約から８ビット幅の全二重通信路（16ビット）で構成
し、プロセシングエレメント「000」〜「007」と外部端
子112の間の配線は、ケーブル使用するための制約から
４ビット幅の全二重通信路（８ビット）で構成してい
る。

この場合、基板12〜18、21〜28、…、81〜88について
も上述したと同様であり、各基板上の８個のプロセッシ
ングエレメントとｘ方向クロスバスイッチの間の配線
は、帯域の高い32ビット幅の全二重通信路（64ビット）
で構成し、コネクタの間の配線は、８ビット幅の全二重
通信路（16ビット）で構成し、外部端子112の間の配線
は、４ビット幅の全二重通信路（８ビット）で構成して
いる。

このようにすると、いま、ｘ座標の基板11では、８個
のプロセッシングエレメント「000」〜「007」を搭載
し、これらプロセッシングエレメント「000」〜「007」
の間を32ビット幅の全二重通信路によりｘ方向クロスバ
スイッチSx00で結合可能にしている。この場合、基板11
内部での配線は、多層基板のパターンで実装できるの
で、このような帯域の高い通信路が実現できる。また、
ｙ方向のプロセッシングエレメントに対しては、コネク
タ111に対して８ビット幅の全二重通信路を構成し、ｙ
座標の基板91のコネクタ911を介してｙ方向クロスバス
イッチSy00より結合可能にしている。この場合、ｙ方向
については、コネクタ111を介してｙ座標の基板91に接
続する関係で、ｘ方向より制約が厳しく、このため、ビ
ット幅を半分に落としている。さらに、ｚ方向のプロセ
ッシングエレメントに対しては、外部端子112に対して
４ビット幅の全二重通信路を構成し、ケーブル112aより
ｚ座標の基板101の外部端子1011を介してｚ方向クロス
バスイッチSz00より結合可能にしている。この場合、ｚ
方向については、外部端子112よりケーブルに接続する
関係で、ｙ方向よりさらに制約が厳しいため、さらにビ
ット幅を半分に落としている。

ここでは、ｘ座標の基板11を中心に述べが、これ以外
のｘ座標の基板12〜18、21〜28、…、81〜88についても
上述したと同様である。

したがって、このようにするとｘ座標の基板内では、
帯域の高い32ビット幅の全二重通信路を構成し、ｙ座標
の基板に対しては８ビット幅の全二重通信路を構成し
て、これらｙ座標の基板に対して128本の信号線で接続
し、ｚ座標の基板に対しては４ビット幅の全二重通信路
を構成して、これらｚ座標の基板に対して８本のケーブ
ル（信号線数64）で接続することで、システム全体が構
成されており、各基板間で無理のない配線が実現されて
いる。このことは、従来の均質な結合網を作るため、最
も制約の厳しい通信路に合わせてシステム全体の通信路
を設定したものに比べ、ｘ方向で８倍、ｙ方向で２倍の
転送能力の向上が期待できる。

そして、問題のマッピング時にｘ方向の８個のプロセ
ッシングエレメント間の通信の比率を0.5、ｙ方向にま
たがる場合を0.3、ｚ方向にまたがる場合を0.2とする
と、システム全体の実質的通信能力で８＊0.5＋２＊0.3
＋１＊0.2＝4.8倍の差が生じることになる。これはデー
タ枯渇を起こすことなく4.8倍の速度を持つプロセッサ
を用いることができることを意味し、メモリアクセスの
ローカリティを利用するキャッシュのビット率が0.5の
場合の高速化率と比較して、本発明の効率が高いことが
類推できる。また、通信の局所性がない場合でも、（８
＊８＋56＊２＋448＊１）/512＝1.2倍の効果があり、キ
ャッシュのようなミスヒットの時のペナルティのように
逆効果になる可能性がなくなる。

次に、第３図は、本発明の他の実施例を示すもので、
ここでは、binary ｎ−cube結合を採用した並列計算機
を示している。

binary ｎ−cubeは、基板の外に導出される信号線が
制約され易い結合網であるが、本実施例では、LSIチッ
プ内部における配線の制約、基板外部に出せる信号線数
の制約を限界近くまで無理をして、１枚のマザーボード
311に対して１つの筐体312に2048個のプロセシングエレ
メントを詰め込む場合の例を示している。

この場合、筐体312を構成する各基板313には、４個の
プロセシングエレメント314を内蔵したチップ315を32個
搭載している。そして、チップ315内部で、32ビット幅
全二重通信路（64ビット）を形成し、基板313内部で、
４ビット全二重通信路（８ビット）を形成し、マザーボ
ード311に対しては、１ビット幅全二重通信路（２ビッ
ト）を形成して、binary11−cubeを構成している。

このようなbinary ｎ−cubeは、base−ｍｎ−cube
に比べプロセシングエレメント314から多方向に多くの
信号線が出るので、同一基板313上に、できるだけ多く
のプロセッシングエレメント314を乗せ、基板313内部で
パターン配線することが望ましい。しかし、このように
しても基板313の外に出る信号線が極めて多くなると、
その部分はシリアル通信路をとらざるを得ず、本実施例
のbinary 11−cubeについても、1024本の信号線が基板
313の外に出る。ここで、本発明を適用せずに均質な結
合を取ると、全てのプロセッサ間の結合をシリアル通信
路に合わせなければならず、通信能力が足りなくなる。
このことは、最近、プロセッサの性能向上は目覚ましい
ものがあり、近いうちにシリアル通信では、演算能力と
通信能力のバランスが取れなくなる所まで来ている。し
かし、このままこれらのバランスを取らなければ、プロ
セッサ数を削減して基板の外に出る方向数を減らし、そ
の分をビット幅の向上に用いることになり、プロセッサ
の並列化による処理の高速化への道は絶たれてしまい、
一方、プロセッサ数を減らさないならば通信の周波数を
上げるしかないが、基板間にまたがる部分は、チップ内
や基板内に比べて周波数を上げにくい。これに対して、
本実施例のものによれば、基板313の外だけをシリアル
にし、基板313内部を４ビット幅、チップ315内を32ビッ
ト幅というように、実装容易性の程度に合わせて通信性
能を割り当てることにより、上述した実施例の実質通信
速度の議論と同様なことがいえ、プロセッサ数を減らす
ことなく実質的な通信速度の低下を防止することができ
る。

このようにbinary ｎ−cubeのように基板外にでる信
号線数という深刻な実装上の限界が間近にある結合網に
おいても、本発明を用いるならば実質的な通信の性能向
上が図れることになる。

なお、本発明は上記実施例にのみ限定されず、要旨を
変更しない範囲で適宜変形して実施できる。例えば、上
述した実施例では、チップ内、基板内、筐体内、筐体間
という物理的な階層を例に引いたが、この他にもマルチ
チップを内蔵するバッケージやウェイファスケールイン
テグレイションといった現在あまり一般的でない階層が
存在するものついても本発明は適用である。また、上述
した実施例では、通信路のビット幅に関しての適用を示
したが、通信路の実装の容易性に基づいて周波数を選択
するように構成してもよい。この場合、実装の容易の所
で周波数を高くして通信路の性能を上げ、実装の難しい
所で周波数を低くして、最低限の通信路の性能を確保す
るようにする。このようにしても上述したと同様な効果
が期待できる。

［発明の効果］本発明によれば、最も制約の厳しい通信路に合わせて
全通信路のビット幅や周波数を均質に設定するのではな
く、各通信路の制約に応じて、制約の厳しいものについ
てはビット幅や周波数を小さくし、ビット幅や周波数を
大きくできるものについてはその制約に応じて大きく設
定するようにしたものであるから、システム全体の周波
数の増加やプロセッサ数を削減することなく、実質的な
通信性能の向上を図ることができる。また、高密度実装
が困難な部分でも、無理に通信路のビット幅を大きくす
ることがなくなるため、実質的な通信性能の向上が図れ
る。特に、ハイパーキューブのようにシステム全体にわ
たり比較的密な結合を持つものに対する効果は顕著であ
る。また、実質的な通信性能を確保できるので、プロセ
ッサ単体能力の向上による高速化を図ってもデータ枯渇
を引起こしにくくなり、半導体の性能向上や単体アーキ
テクチャの進歩によるプロセッサ性能の向上を並列シス
テムに活かすことができる。

【図面の簡単な説明】

第１図は、本発明の一実施例を示す構成図、第２図は、
同実施例に適用されるbase−83−cube結合を説明するた
めの図、第３図は、本発明の他の実施例を示す構成図で
ある。１〜８……筐体、11〜18、…、81〜88……ｘ座標基板、
91〜98……ｙ座標基板、101〜108……ｚ座標基板、11
1、121……コネクタ、112、122……外部端子、311……
マザーボード、312……筐体、313……基板、315……チ
ップ。

Claims

(57)【特許請求の範囲】

【請求項１】ポイント・ツ・ポイントの通信路によって
プロセッシングエレメントが結合される並列計算機にお
いて、複数のプロセッシングエレメントをそれぞれ搭載した複
数の基板と、同一の前記基板上に搭載されている複数の前記プロセッ
シングエレメント同士を相互に結合するための第１の接
続手段と、異なる前記基板上に搭載されている複数の前記プロセッ
シングエレメント同士を相互に結合するための第２の接
続手段とを備え、前記第１の接続手段のために前記基板上に形成される通
信路のビット幅または周波数を、前記第２の接続手段の
ために前記基板上に形成される通信路のビット幅または
周波数より大きくしたことを特徴とする並列計算機。
【請求項２】前記第２の接続手段の中にコネクタを使用
するものとケーブルを使用するものとが存在する場合
に、コネクタを使用するものについての前記通信路のビ
ット幅または周波数を、ケーブルを使用するものについ
ての前記通信路のビット幅または周波数より大きくした
ことを特徴とする請求項１に記載の並列計算機。
【請求項３】ポイント・ツ・ポイントの通信路によって
プロセッシングエレメントが結合される並列計算機にお
いて、複数のプロセッシングエレメントをそれぞれ含む複数の
チップを搭載した基板と、同一の前記チップ上に形成されている複数の前記プロセ
ッシングエレメント同士を相互に結合するための第１の
接続手段と、同一の前記基板上に搭載された異なる前記チップ上に形
成されている複数の前記プロセッシングエレメント同士
を相互に結合するための第２の接続手段とを備え、前記第１の接続手段のために前記基板上に形成される通
信路のビット幅または周波数を、前記第２の接続手段の
ために前記基板上に形成される通信路のビット幅または
周波数より大きくしたことを特徴とする並列計算機。