JPH09179840A - 並列計算機におけるプロセッサ間結合網 - Google Patents

Abstract

(57)【要約】 【課題】本発明はプロセッサ間の接続を行う結合網を用
いて接続された並列計算機システムにおけるプロセッサ
間結合網に関し，プロセッサグループを多数備えて相互
に通信を行う場合に，近い位置関係にあるプロセッサ間
の通信スループットを向上することを目的とする。 【解決手段】グループを構成する複数のプロセッサを相
互に接続する基本結合網を複数個設け，各基本結合網の
異なるプロセッサグループを相互に接続する基本結合網
を設け，グループを構成する複数のプロセッサ間の通信
を行う基本結合網のデータ転送スループットを大きく
し，異なるプロセッサグループのプロセッサ間の通信を
行う前記基本結合網のデータ転送スループットを小さく
するよう構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は並列計算機における
プロセッサ間結合網に関する。大規模の並列計算機で
は，設置された全てのプロセッサを使用してプログラム
を実行するだけでなく，一部のプロセッサを使用してプ
ログラムを実行する場合が多く，そのためにプロセッサ
間を接続する結合網を介する相互通信を効率良く行うこ
とが望まれている。

【０００２】

【従来の技術】図１１は従来例の説明図である。図１１
において，９０〜９３はそれぞれ３２個のプロセッサ
（ＰＥで表すプロセッサ要素：Processor Element ）で
構成されたプロセッサグループ，９４はそれぞれクロス
バーネットワーク（ＸＢで表し）であり，図１１ではＸ
Ｂ１１〜ＸＢ４４の合計１６個で構成される。各クロス
バーネットワークは，入力と出力がそれぞれ２つ設けら
れ，各入力及び出力は，プロセッサグループを構成する
プロセッサの数に対応して３２組の転送路（またはバ
ス）で構成され，１組の転送路（バス）は，例えば４バ
イト（３２ビット分）または８バイト（６４ビット分）
の線路で構成され，全てのプロセッサグループの全プロ
セッサが相互に任意に接続可能なクロスバーネットワー
ク（完全クロスバーネットワーク）を構成する。

【０００３】プロセッサ群９０〜９３に備えられたプロ
セッサ単体の構成を図１２により説明する。各プロセッ
サは，図１２のＡ．に示すように，ネットワークと接続
する転送処理部９０ａ，データ及びプログラムを格納す
る主記憶装置９０ｂ，命令に従って処理を行う命令処理
部９０ｃとを備え，相互にデータの転送が行われる。

【０００４】図１２のＢ．に転送処理部９０ａの構成を
示す。転送処理部は，ネットワークへ送信するデータを
格納する２組の送信バッファ９５，送信制御部９６及び
ネットワークから受信するデータを格納する２組の受信
バッファ９８，受信制御部９７を備え，送受信において
送信バッファ９５と受信バッファ９８と主記憶装置（図
１２の９０ｂ）との間のデータ転送の制御を行う主記憶
アクセス制御部９９とで構成される。

【０００５】次に図１３にプロセッサとクロスバーネッ
トワークの間のインタフェースとデータ構成を示す。イ
ンタフェースは図１３のＡ．に示すように，１００は送
信側のプロセッサ（または送信側のクロスバーネットワ
ーク内の装置）で，１０１は受信側のクロスバーネット
ワーク内の装置（または受信側のプロセッサ）である。
両者のインタフェースには，送信側からデータ有効信号
ａ（Data Valid),データ終了信号ｂ（Data End) ，デー
タ信号ｃが送られ，受信側から送信側へ送られるｄで表
すバッファフル信号(Buffer-full) またはデータ要求信
号（Data Req)がある。

【０００６】クロスバーネットワークを介してプロセッ
サ間で送受信されるデータの構成を図１３のＢ．に示
す。データは，データバス幅（例えば４バイトの幅）の
ワードが先頭から順番に送出され，先頭に宛先プロセッ
サ（ＰＥ）番号，その後に転送データ本体が続き，最後
にチェックデータ（チェックサム，データ長等）が設定
される構成を備える。

【０００７】図１４はクロスバーネットワークの構成例
であり，上記図１１のＸＢ１１〜ＸＢ４４はこのような
クロスバーネットワークの物理的な構成を備える。図１
４に示す，で示す２つの入力と，，で示す２つ
の出力は，上記図１１の〜に対応し，それぞれ３２
組（各組は複数バイトの線路で構成）の転送路で構成さ
れる。入力は各入力バッファ９４０へ供給され，入力
は入力バッファ９４１へ供給される。なお，２つの入
力は同時には一つだけしか発生しない。の入力は入力
スイッチ９４２で宛先情報を含むデータ転送要求を解読
して転送先がかかを識別し，の場合は対応する
の転送路を選択し，の場合は，内部クロスバーネット
ワーク９４３へ入力する。

【０００８】内部クロスバーネットワーク９４３は任意
の入力から任意の出力へスイッチングが可能な線路が配
置され，入力スイッチ９４３ａにおいて宛先情報及びデ
ータ転送要求を識別して，の出力の中のどの出力（プ
ロセッサ番号）へのデータかを識別して対応する出力ス
イッチ９４３ｂへ通知する。出力スイッチ９４３ｂで
は，通知された入力スイッチ９４３ａからのデータ転送
路（またはバス）を開き，対応する出力バッファ９４５
の出力スイッチ９４４を開く。出力スイッチは９４４か
ら一つの入力バッファ９４０に対しデータ転送路が開い
たことを通知すると，その入力バッファ９４０はデータ
を順次送出すると出力バッファ９４５へ供給し，出力バ
ッファ９４５は対応するプロセッサ（または別のクロス
バーネットワーク）にデータを送出する。

【０００９】入力バッファ９４１のデータ（からの入
力）がへ送られることを出力スイッチ９４４で識別す
ると，その転送路を開いて，該当する入力バッファ９４
１から出力バッファ９４５へのデータ転送が行われる。
更に，入力バッファ９４１からへのデータは右側に隣
接するクロスバーネットワーク列の一段下のクロスバー
ネットワークのに入力する。なお，内部クロスバーネ
ットワーク９４３は，クロスバースイッチ（複数の行と
複数の列の線を直交して配置し，各交叉点にスイッチを
設けて，宛先に応じてスイッチを制御して転送路を形成
する構成）により構成される場合もある。

【００１０】上記図１１に示す従来の構成では，各クロ
スバーネットワーク９４は〜の各端子群が設けら
れ，で示す左側の入力端子群と，下の行（段）のクロ
スバーネットワークの出力が供給される下側ので示す
入力端子群とが設けられ，上側ので示す出力端子群と
右側ので示す出力端子群とが設けられている。そし
て，各プロセッサグループ９０〜９３はそれぞれクロス
バーネットワーク９４の列の先頭（ＸＢ１１，ＸＢ１
２，ＸＢ１３，ＸＢ１４）のの端子群へ出力（送信）
し，の端末群から入力（受信）する。

【００１１】この図１１に示す並列計算機システムで
は，全部のプロセッサを使用してプログラムを実行する
場合もあるが，一部のプロセッサを使用してプログラム
を実行する場合も多い。例えば，図１１の構成におい
て，プロセッサグループ９０とプロセッサ９１とでプロ
グラムを実行する場合に，プロセッサグループ９０の中
のあるプロセッサからプロセッサグループ９１の中のプ
ロセッサへの通信（データ等の転送）は，プロセッサグ
ループ９０のプロセッサから上記図１３のＢ．に示す構
成のデータを図１２に示す転送処理部から送出すると，
各ＸＢは宛先を識別することにより，ＸＢ１１のから
，ＸＢ２２のから，ＸＢ１２のから，ＸＢ１
２のから，プロセッサグループ９１という経路でデ
ータ転送する。このようにクロスバーネットワーク間の
接続は右隣の列の１段下のクロスバーネットワークに順
次接続され，目的のプロセッサが接続された列に達する
と，列の中のクロスバーネットワークを順番に上に向か
って接続される構成になっている。

【００１２】次にプロセッサグループ９１のプロセッサ
からプロセッサグループ９０のプロセッサへの通信を行
う場合は，プロセッサグループ９１のプロセッサ，ＸＢ
１２のから，ＸＢ２３のから，ＸＢ３４のか
ら，ＸＢ４１のから，ＸＢ３１のから，ＸＢ
２１のから，ＸＢ１１のから，プロセッサグル
ープ９０のプロセッサという経路で接続が行われる。

【００１３】

【発明が解決しようとする課題】上記したように従来の
クロスバーネットワーク等の結合網を用いた大規模な並
列計算機では，それを構成する全てのプロセッサを使用
してプログラムを実行するだけでなく，一部のプロセッ
サを使用してプログラムを実行する場合が多くある。こ
の場合，従来の方法では，プログラムを実行するプロセ
ッサがグループ間にまたがる場合にプロセッサ間の通信
が例えば，上記したプロセッサグループ９０と９１の間
で行う場合，プロセッサグループ９０から９１の方向の
通信ではＸＢ装置（クロスバーネットワークと同じ）を
３台経由して行われるが，プロセッサグループ９１から
９０の方向の通信ではＸＢ装置を７台経由することにな
ってしまい，通信方向により立ち上がり時間が大きく異
なることがある。

【００１４】このためにプログラムのスケジューリング
やプロセッサ割り付けが難しくなるという問題があっ
た。また，大規模な並列計算機ではプロセッサ数が増え
るに従って，プロセッサ間を接続する結合網の物量が大
きくなる。しかし，プロセッサ間の通信量は全てのプロ
セッサ間で同等に必要ではなく，相互通信が多い複数の
処理をプロセッサ番号が近い物理プロセッサに割り当て
られることが多く，また，一部のプロセッサを使用して
プログラムを実行する場合には，プロセッサ番号の離れ
たプロセッサ間の通信が全くない場合があり，プロセッ
サ番号の離れたプロセッサ間にはそれほど通信スループ
ット（単位時間に通信できるデータ量）が必要でないの
に，離れたプロセッサ間の通信スループットを確保する
ために多くの物量が費やされて資源の無駄があった。

【００１５】本発明はプロセッサグループを多数備えて
相互に通信を行う並列計算機システムにおいて，プロセ
ッサから通信相手のプロセッサまでの位置関係に応じて
通信スループットが異なるよう構成し，通信頻度の高い
近いプロセッサ間の通信程スループットを向上すること
ができるプロセッサ間結合網を提供することを目的とす
る。

【００１６】更にクロスバーネットワークをマトリック
ス状に配置してプロセッサ間の通信を行う場合に，相手
プロセッサへのデータの伝送方向に関係なくグループ番
号が近い程通信の立ち上がり時間を短縮することができ
るプロセッサ間結合網を目的とする。

【００１７】

【課題を解決するための手段】図１は本発明の第１の原
理による構成例，図２は本発明の第２の原理により構成
例である。

【００１８】図１の構成は結合網としてクロスバーネッ
トワーク（ＸＢ）を使用した場合の構成であり，１〜４
はそれぞれ３２個のプロセッサ（ＰＥ）を備えたプロセ
ッサグループ，５は，の２つの入力端子群と，
，の３つの出力端子群を備えた２入力３出力型のＸ
Ｂ１１，ＸＢ１２，ＸＢ１３，ＸＢ１４等のクロスバー
ネットワークを表し，で示す右側のクロスバーネット
ワーク列への出力の他に新たにで示す左側のクロスバ
ーネットワーク列への出力を設けた点が新規である。６
は従来と同様の，の２つの入力端子群と，の２
つの出力端子群を備えた２入力２出力型のＸＢ２１，Ｘ
Ｂ２２・・ＸＢ２４等のクロスバーネットワーク，７は
との２つの入力端子群との出力端子群を備えた２
入力１出力型のクロスバーネットワークである。なお，
プロセッサとＸＢの間及びＸＢ相互を接続する各転送路
に付された数字４，２，１はデータ幅（例えば，バイト
数）を表す。

【００１９】図１の構成では，プロセッサグループ１か
ら右側に隣接するプロセッサグループ２にデータを送る
場合は，ＸＢ１１のから右側のクロスバーネットワー
クの列（ＸＢ３２，ＸＢ２２，ＸＢ１２）を介した経路
で転送されるが，プロセッサグループ１から左側に隣接
するプロセッサグループ４へデータを送る場合は，ＸＢ
１１ので示す出力端子群からプロセッサグループ４の
ＸＢ列に属するＸＢ２４のへ入力してその出力端子群
からＸＢ１４のへ入力し，更にＸＢ１４のからプ
ロセッサグループ４へ出力する。

【００２０】この図１の構成例では，プロセッサ群が接
続するＸＢ１１〜ＸＢ１４で構成する段は，左右方向の
出力端子群が設けられているが，２段目のＸＢ２１〜Ｘ
Ｂ２４では，左方向の出力端子群だけを備え左方向のデ
ータ送信が行われ，更に第３段のＸＢ３１〜ＸＢ３４は
左・右の両側からの入力を受けて，上側への出力を行う
構成を備えているが，２段（２行）目以降の各ＸＢの転
送方向はＸＢの段数に応じて適宜設定することができ
る。

【００２１】このように，隣接するプロセッサグループ
との通信は従来の１方向（右方向）の転送路だけでな
く，反対方向の転送路を使用することができるため，転
送効率が向上する。また，各プロセッサグループ１〜４
と対応するＸＢ１１〜ＸＢ１４間の線路のデータ幅は図
１に示すように“４”（バイト）で，隣接するプロセッ
サグループ間の転送路のデータ幅は“２”，更に遠いプ
ロセッサ間の転送路の幅は“１”で構成され，２つのプ
ロセッサ間の距離に応じてスループットを異ならせてい
る。なお，プロセッサグループを更に上位の階層でグル
ープ分けすることが可能である。

【００２２】次に図２の構成は，結合網としてバスを用
いた結合網装置を使用した場合である。図２において，
１０はプロセッサ（ＰＥ），１１は複数のプロセッサ１
０で構成する各プロセッサグループＡ１〜Ａｍ，Ｂ１〜
Ｂｍ（図示省略）の各プロセッサグループ内でプロセッ
サ間の通信を行う結合網装置（１１−１〜１１−ｍ），
１２は複数のプロセッサグループＡ１〜ＡｍやＢ１〜Ｂ
ｍで構成する上位プロセッサグループＡ，Ｂの各上位プ
ロセッサグループ内でプロセッサ間の通信を行う上位の
結合網装置（１２−１，１２−２），１３は異なる上位
プロセッサグループＡ，Ｂに属するプロセッサ間の通信
を行う上位間の結合網装置である。

【００２３】図２の構成では，一定数で構成するプロセ
ッサグループＡ１，Ａ２，…はそれぞれのグループ内の
通信を行う場合，それぞれが接続する各結合網装置１１
−１，１１−２，…，１１−ｍのバスを介してプロセッ
サ間の通信を行い，その場合の各転送路の幅（バスの線
路数）は大きくする（図２の例では“４”（バイ
ト））。また，同じ上位のプロセッサグループＡに属す
る異なるプロセッサグループのプロセッサ間の通信は，
各結合網装置１１から上位の結合網装置１２を経由して
行われる。例えばプロセッサグループＡ１とＡ２の通信
は，上位の結合網装置１２−１を介して行う。

【００２４】この場合，各結合網装置１１と上位の結合
網装置１２の間の転送路の幅は通信量が同一プロセッサ
グループ内の転送路の幅より少なくする（図２の例では
“２”）。更に，異なる上位のプロセッサグループＡ，
Ｂのプロセッサ間の通信は，各プロセッサが接続する結
合網装置１１，上位の結合網装置１２を経由して上位間
の結合網装置１３を介した転送路により通信を行い，こ
の場合の上位の結合網装置１２と結合網装置１３の間の
転送路の幅は結合網装置１１と上位の結合網装置１２の
間の転送路の幅より小さくする（図２の例では
“１”）。これにより，２つのプロセッサのグループの
距離に応じてスループットが異ならせている。

【００２５】

【発明の実施の形態】図３は図１の構成に使用する２入
力３出力型のクロスバーネットワークの構成図である。
このクロスバーネットワークは，上記図１のＸＢ１１〜
ＸＢ１４として使用する。

【００２６】図３において，５０はで示す入力端子群
からの各入力データが格納される入力バッファ，５１は
で示す入力端子群からの各入力データが格納される入
力バッファ，５２は各入力バッファ５０の出力を２つの
出力の中の一方に選択出力する１入力２出力型の出力ス
イッチ，５３，５４は３２×３２のＸＢ（クロスバー）
を構成し，上記従来の図１３に示すクロスバーネットワ
ークの内部クロスバーネットワーク（図１４の９４３）
と同じであり，複数の１入力多出力型の入力スイッチ５
３と複数の多入力１出力型の出力スイッチ５４の間に相
互に完全な転送路が設けられている。５５は２入力１出
力型の入力スイッチ，５６はで示す出力と接続された
出力バッファ，５７は入力をで示す出力とで示す出
力の何れかへ選択出力する１入力２出力型の出力スイッ
チである。

【００２７】上記図１の構成例では，図３のには各プ
ロセッサからの出力が入力され，図３のは図１の各プ
ロセッサへ入力され，更には同じクロスバーネットワ
ーク列の直下に接続するクロスバーネットワークからの
出力が入力され，図３の，で示す出力は，図１に示
すようにそれぞれ右側及び左側へ出力される。

【００２８】図４は図１の構成に使用する２入力１出力
型のクロスバーネットワークの構成図である。このクロ
スバーネットワークは，上記図１のＸＢ３１〜ＸＢ３４
として使用する。

【００２９】図４において，７０はで示す入力端子群
からの各入力データが格納される入力バッファ，７１，
７２は上記図３の５３，５４と同様に内部クロスバーネ
ットワーク（３２×３２のＸＢ）を構成する入力スイッ
チ，出力スイッチである。７３は２入力１出力型の入力
スイッチ，７４は出力バッファ，７５はで示す入力端
子群からの各入力データが格納される入力バッファ，７
６，７７は上記７１，７２と同様の内部クロスバーネッ
トワークを構成する入力スイッチ，出力スイッチであ
る。

【００３０】この図４の構成により，入力端子群の，
の何れか一方の入力は，で示す出力端子群の任意の
宛先へ送ることが可能となる。なお，図１のクロスバー
ネットワークＸＢ２１〜ＸＢ２４は何れも従来例（図１
４）と同じであり説明を省略する。

【００３１】図５，図６はクロスバーネットワークを用
いた結合網の実施例１の構成図（その１），（その２）
であり，図５の右端と図６の左端は(1) 〜(7) で相互に
接続され，図５の左端と図６の右端は〜で相互に接
続される。

【００３２】図中，１−１〜１−８はそれぞれ３２個の
プロセッサ（ＰＥ）を備えたプロセッサグループであ
り，これらの各プロセッサグループは，それぞれ２グル
ープ単位で上位のグループである６４ＰＥグループを構
成し，合計４つの６４ＰＥグループ１〜４が形成され
る。更に６４ＰＥグループを２つ集めたグループ単位と
して１２８ＰＥグループ１，２が形成される。

【００３３】クロスバーネットワークのＸＢ１１，ＸＢ
１２，ＸＢ１３〜ＸＢ１８は上記図３に示すクロスバー
ネットワークと同じ，２入力３出力型の構成を備え，Ｘ
Ｂ２１，ＸＢ２２〜ＸＢ２８，ＸＢ３１〜ＸＢ３８・・
・，ＸＢ６１〜ＸＢ６８は全て従来と同様の２入力２出
力型のクロスバーネットワークであり，最終段のＸＢ７
１〜ＸＢ７８は上記図４に示す２入力１出力型のクロス
バーネットワークである。そして，図５，図６に示すク
ロスバーネットワークは，初段のＸＢ１１〜ＸＢ１８は
両方向への出力を備えるが，２段目のＸＢ２１〜ＸＢ２
８は水平方向では右側から入力して左側へ出力するよう
配置され，３段目のＸＢ３１〜ＸＢ３８は水平方向では
左側から入力して右側へ出力するよう配置され，以下４
段目が右方向，５段目が左方向，６段目が右方向，７段
目が左方向に出力するようそれぞれのＸＢが配置され，
隣接するＸＢ列との接続は図のように互いに同じ方向に
入力または出力するよう異なる段のＸＢと接続される。

【００３４】各プロセッサグループ１−１，１−２・・
・と対応するクロスバーネットワークＸＢ１１，ＸＢ１
２・・・の間は，入力，出力共に３２（バイト）のデー
タ幅を持つ転送路で接続され，高いスループットを備え
る。また，このクロスバーネットワークＸＢ１１，ＸＢ
１２・・・は，同じ６４ＰＥグループを構成するプロセ
ッサグループが接続するＸＢ列への転送路は１６バイト
のデータ幅を持ち，右側の６４ＰＥグループへの転送路
は８バイトのデータ幅を持ち，左側の６４ＰＥグループ
への転送路は４バイトまたは８バイトのデータ幅を持つ
ように構成されている。また，同じ列の下段のＸＢから
の入力転送路のデータ幅は１６バイトである。

【００３５】クロスバーネットワークの２段目のＸＢ２
１，ＸＢ２２・・・，３段目のＸＢ３１，ＸＢ３２・・
・，４段目のＸＢ４１，ＸＢ４２・・・等の各クロスバ
ーネットワークは，図５，図６に示すように各入力及び
出力の転送路のデータ幅は，各列に接続するプロセッサ
グループ１−１，１−２，１−３・・・との距離が長く
なると小さくなり，最下段のＸＢ７１，ＸＢ７２・・・
の殆どは入力，出力共に４バイトである（ＸＢ７４，Ｘ
Ｂ７８だけは１つの入力が４バイト，他の入力が８バイ
トで出力も８バイト）。

【００３６】この構成により，同一のプロセッサグルー
プ内のプロセッサ間の通信は，例えば，プロセッサグル
ープ１−１の３２個のプロセッサ（ＰＥ）の内部のプロ
セッサ間の通信を行う場合は，ＸＢ１１により３２バイ
トのデータ幅の転送路を介して行うことができる。ま
た，同一の６４ＰＥグループに属する異なるプロセッサ
グループのプロセッサ間の通信は，例えばプロセッサグ
ループ１−２の一つのプロセッサがプロセッサ１−１の
プロセッサと通信を行う場合，ＸＢ１２，ＸＢ２１，Ｘ
Ｂ１１の経路（転送路のデータ幅は１６バイト）で接続
される。

【００３７】次に，隣接するプロセッサグループとの通
信は，例えば６４ＰＥグループ１のプロセッサグループ
１−２のプロセッサが隣りの６４ＰＥグループ２に属す
るプロセッサグループ１−３のプロセッサと通信する場
合，ＸＢ１２，ＸＢ３３，ＸＢ２３，ＸＢ１３の経路で
通信することができる。但し，この場合の転送路のデー
タ幅は８バイトに制限される。また，１２８ＰＥグルー
プ１に属するプロセッサグループ１−４（図５）のプロ
セッサから他の１２８ＰＥグループ２に属するプロセッ
サグループ１−５のプロセッサとデータの通信を行う場
合，ＸＢ１４，ＸＢ３５，ＸＢ２５，ＸＢ１５の経路で
接続される。但し，この場合の転送路のデータ幅は４バ
イトである。

【００３８】次に図７，図８はクロスバーネットワーク
を用いた結合網の実施例２の構成図（その１），（その
２）であり，図７の右端と図８の左端は(1) 〜(7) によ
り相互に接続され，図７の左端と図８の右端は〜に
より相互に接続される。

【００３９】図中，１−１〜１−８は上記図５，図６の
各符号と同様のプロセッサグループである。図７，図８
のクロスバーネットワークのＸＢ１１，ＸＢ１２・・・
ＸＢ７８は，それぞれ上記図５，図６に示す同じ符号の
ＸＢと同様である。但し，この実施例の転送路のデータ
幅は，上記図５，図６と異なる。また，クロスバーネッ
トワークの２段目以降の水平方向の転送方向は上記図
５，図６と同じである。

【００４０】この実施例２では，各プロセッサグループ
の上位のグループの６４ＰＥグループ及び更に上位の１
２８ＰＥグループの区分が，実施例１とは異なる。すな
わち，６４ＰＥグループ１〜４は順番に２つのプロセッ
サグループ毎に順番に割り振るが，次の６４ＰＥグルー
プ５〜８は，最初のグループ分けの先頭を１つシフトし
て順番に割り振られている。同様に，１２８ＰＥグルー
プについても，最初に４つのプロセッサグループ毎にグ
ループを割り振るが，次に先頭のプロセッサグループを
シフトして割り振るというようにして，８つの１２８Ｐ
Ｅグループが形成される。

【００４１】この結果，各プロセッサグループは，複数
のグループに所属することになる。例えば，プロセッサ
グループ１−１は６４ＰＥグループ１と６４ＰＥグルー
プ８の２つに所属し，１２８ＰＥグループについては１
２８ＰＥグループ１，１２８ＰＥグループ４，１２８Ｐ
Ｅグループ６及び１２８ＰＥグループ８の４つに所属す
る。

【００４２】各プロセッサグループ１−１，１−２・・
・と対応するクロスバーネットワークＸＢ１１，ＸＢ１
２・・・の間は，入力，出力共に３２（バイト）のデー
タ幅を持つ転送路で接続され，クロスバーネットワーク
ＸＢ１１，ＸＢ１２・・・は，同じ６４ＰＥグループを
構成するプロセッサグループが接続するＸＢ列への転送
路は１６バイトのデータ幅を持つ。すなわち，上記実施
例１の場合は，上位のグループが，２つ毎（６４ＰＥグ
ループ）または４つ毎（１２８ＰＥグループ）に分断さ
れていたが，この実施例では必ず隣接するプロセッサグ
ループは何れかの上位グループが同じであるため，右隣
及び左隣のプロセッサグループのプロセッサとは高速に
転送が可能となる。

【００４３】この実施例２では，同一プロセッサグルー
プ内のプロセッサ間の通信は，実施例１と同様に３２バ
イトの転送路を用いて行い，隣接プロセッサ間は上記し
たように１６バイトのデータ幅の転送路が設けられ，プ
ロセッサが接続されたクロスバーネットワークＸＢ１
１，ＸＢ１２・・・ＸＢ１８のそれぞれの列方向に下方
の段のクロスバーネットワークの転送路のデータ幅も上
記実施例１の場合より多くなっている。

【００４４】この構成により，同一のプロセッサグルー
プ内のプロセッサ間の通信は，例えば，プロセッサグル
ープ１−１の３２個のプロセッサ（ＰＥ）の内部のプロ
セッサ間の通信を行う場合は，ＸＢ１１により３２バイ
トのデータ幅の転送路を介して行うことができる。ま
た，同一の６４ＰＥグループに属する異なるプロセッサ
グループのプロセッサ間の通信は，例えばプロセッサグ
ループ１−２の一つのプロセッサがプロセッサ１−１の
プロセッサと通信を行う場合，ＸＢ１２，ＸＢ２１，Ｘ
Ｂ１１の経路（転送路のデータ幅は１６バイト）で接続
される。

【００４５】図９はバスを用いたプロセッサ（ＰＥ）間
接続装置の構成であり，このＰＥ間接続装置は，上記図
２に示す結合網装置の具体的な構成に相当する。図９に
おいて，２０はバスを用いたＰＥ間接続装置であり，プ
ロセッサグループを構成する複数（＃０〜＃Ｎ）のプロ
セッサ１０（ＰＥ）が接続される。ＰＥ間接続装置２０
には調停制御回路２１とデータバス２２とが設けられて
いる。各プロセッサ１０は同一グループ内の他のプロセ
ッサまたは他のプロセッサグループのプロセッサへの転
送を行う時にＰＥ間接続装置２０への要求信号とＰＥ間
接続装置２０からの転送許可の信号のための制御線とデ
ータの送信と受信のための転送路が設けられている。Ｐ
Ｅ間接続装置２０では調停制御回路２１において，複数
のプロセッサ１０からの転送要求を調停して，決定した
一つのプロセッサに対し許可信号を送出する。また，他
のプロセッサグループのプロセッサへの転送要求の場合
は，このＰＥ間接続装置２０を通って転送要求信号を上
位のＰＥ間接続装置（図２の１２及び１３に対応）に対
して送出し，上位のＰＥ間接続装置からの転送許可信号
を受け取ると要求を発生したプロセッサ１０に対し許可
信号を送出する。

【００４６】図１０はバスを用いたＰＥ間接続装置によ
る実施例の構成を示す。図１０において，１０はプロセ
ッサ（ＰＥ），２０−１，２０−２はプロセッサグルー
プ内の転送を行うＰＥ間接続装置，３０は複数のプロセ
ッサグループ間の転送を行う上位のＰＥ間接続装置，４
０は異なる上位のプロセッサグループ間の転送を行うＰ
Ｅ間接続装置である。図１０には３０は一つだけ示すが
実際には複数個設けられる。また，各ＰＥ間接続装置２
０，３０及び４０は上記図９に示すＰＥ間接続装置２０
と同様の構成を備えており，図１０の構成はそれらが階
層化されたものである。

【００４７】図１０の場合，同一プロセッサグループ内
の転送は，上記図９について説明したように同じＰＥ間
接続装置２０のデータバスを介して行われ，異なるプロ
セッサグループ間の転送は，一つのＰＥ間接続装置２
０，上位のＰＥ間接続装置３０及び別のＰＥ間接続装置
２０を介する転送路を経由して行われる。

【００４８】

【発明の効果】本発明によれば全てのプロセッサが相互
に接続可能な結合網を備えた並列計算機システムにおい
て，グループを構成するプロセッサ内及び位置が近隣の
グループのプロセッサ間の通信のスループットを向上す
ることができる。結合網をクロスバーネットワークを用
いた場合には，任意のプロセッサグループから両隣の何
れのプロセッサグループに対しても通信のスループット
を大きくすることが可能となる。また，バスによる結合
網装置を用いた場合にも，グループ内のプロセッサ間通
信と異なるグループとのプロセッサ通信のスループット
を異ならせて，近い位置（番号）にある程高速な通信が
可能となる。

【００４９】また，結合網のデータ幅（線路数）を効率
的に配分して無駄を省くことにより，プロセッサ間結合
網のコストを低減することができる。

【図面の簡単な説明】

【図１】本発明の第１の原理による構成例を示す図であ
る。

【図２】本発明の第２の原理による構成例を示す図であ
る。

【図３】図１の構成に使用する２入力３出力型のクロス
バーネットワークの構成図である。

【図４】図１の構成に使用する２入力１出力型のクロス
バーネットワークの構成図である。

【図５】クロスバーネットワークを用いた結合網の実施
例１の構成図（その１）である。

【図６】クロスバーネットワークを用いた結合網の実施
例１の構成図（その２）である。

【図７】クロスバーネットワークを用いた結合網の実施
例２の構成図（その１）である。

【図８】クロスバーネットワークを用いた結合網の実施
例２の構成図（その２）である。

【図９】バスを用いたプロセッサ（ＰＥ）間接続装置の
構成を示す図である。

【図１０】バスを用いたＰＥ間接続装置による実施例の
構成を示す図である。

【図１１】従来例の説明図である。

【図１２】プロセッサ単体の構成を示す図である。

【図１３】プロセッサとクロスバーネットワークの間の
インタフェースとデータ構成を示す図である。

【図１４】クロスバーネットワークの構成例を示す図で
ある。

【符号の説明】

１〜４ ３２個のプロセッサ（ＰＥ）を備えたプロ
セッサグループ ５ ２入力３出力型のクロスバーネットワーク ６ ２入力２出力型のクロスバーネットワーク ７ ２入力１出力型のクロスバーネットワーク

Claims (7)

【特許請求の範囲】
1. 【請求項１】 プロセッサ間の接続を行う結合網を用い
   て接続された並列計算機システムにおいて，グループを
   構成する複数のプロセッサを相互に接続する基本結合網
   を複数個設け，前記各基本結合網の異なるプロセッサグ
   ループを相互に接続する基本結合網を設け，前記グルー
   プを構成する複数のプロセッサ間の通信を行う基本結合
   網のデータ転送スループットを大きくし，前記異なるプ
   ロセッサグループのプロセッサ間の通信を行う前記基本
   結合網のデータ転送スループットを小さくするよう構成
   したことを特徴とする並列計算機におけるプロセッサ間
   結合網。
2. 【請求項２】 クロスバーネットワークを二次元に配列
   して構成したクロスバーネットワークを用いて接続され
   た並列計算機システムにおいて，前記ネットワークの各
   列の先頭のクロスバーネットワークにそれぞれ複数のプ
   ロセッサを接続し，クロスバーネットワークの各列から
   両側の隣接するクロスバーネットワークの列へデータを
   送るための転送路を設け，前記複数のプロセッサグルー
   プの任意のプロセッサ間の通信の内，配置された順に付
   されたプロセッサ番号が近いプロセッサ間の通信の立ち
   上がり時間を短くすることを特徴とする並列計算機にお
   けるプロセッサ間結合網。
3. 【請求項３】 請求項２において，前記プロセッサグル
   ープ内のプロセッサ間通信を行うための転送路のデータ
   幅を大きくし，他のプロセッサグループのプロセッサと
   のプロセッサ間通信を行うための転送路のデータ転送ス
   ループットを小さくすることを特徴とする並列計算機に
   おけるプロセッサ間結合網。
4. 【請求項４】 請求項２または３において，前記ネット
   ワークの各列の先頭のクロスバーネットワークに両側の
   隣接するクロスバーネットワークの列へのデータを転送
   するための転送路を設け，前記各クロスバーネットワー
   ク列の２段目以降の各クロスバーネットワークは，行方
   向の入力と出力の転送を一方の方向に行い，行毎に方向
   が決められることを特徴とする並列計算機におけるプロ
   セッサ間結合網。
5. 【請求項５】 請求項２乃至４において，前記複数のプ
   ロセッサからなるプロセッサグループの複数に対し上位
   のグループを構成し，前記ネットワークにおける前記上
   位のグループに属するプロセッサグループのプロセッサ
   間の通信のための転送路のスループットを大きくし，そ
   れ以外のプロセッサ間の通信のための転送路のスループ
   ットを小さくすることを特徴とする並列計算機における
   プロセッサ間結合網。
6. 【請求項６】 プロセッサ間の接続を行う結合網を用い
   て接続された並列計算機システムにおいて，グループを
   構成する複数のプロセッサを相互に接続するためのバス
   を用いた結合網装置を複数のグループに対応して設け，
   前記プロセッサのグループが複数で構成される上位のグ
   ループのプロセッサ間の通信を行うため，前記複数の結
   合網装置の間のバスを用いた上位の結合網装置を階層的
   に設けたことを特徴とする並列計算機におけるプロセッ
   サ間結合網。
7. 【請求項７】 請求項６において，前記グループ内の接
   続を行う前記結合網装置を介する転送路のデータ幅を大
   きくし，前記グループ間の通信を行うための前記上位の
   結合網装置間の転送路のデータ幅を小さくすることを特
   徴とする並列計算機におけるプロセッサ間結合網。