JP2002342295A - マルチプロセッサシステム - Google Patents

Abstract

(57)【要約】 【課題】 マルチプロセッサシステムにおいて、特にネ
ットワークノード装置内でパケット転送処理を行うオン
チップマルチプロセッサシステムにおいて、マルチプロ
セッサシステムが大規模化すると高速にプロセッサ間で
通信を行うことが困難である。これを解決する。 【解決手段】 １または複数の演算器を持つ複数のプロ
セッサ１−１〜１−４と、複数の演算器間を接続するバ
ス１−８〜１−１０を有し、単一のバスに全てのプロセ
ッサを接続するのではなく、複数のバスにそれぞれ少数
のプロセッサを接続することで、同一のバスに接続され
たプロセッサ間では、該バスによってレジスタやメモリ
を介することなく演算器間で高速にデータ交換を行い、
異なるバスに接続されたプロセッサ間では、複数のバス
と複数のブリッジ１−５，１−６を介してデータ交換を
行うことにより、大規模なマルチプロセッサシステムに
おいても高速にプロセッサ間で通信を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はマルチプロセッサシ
ステムに関し、特にネットワークノード装置内でパケッ
ト転送処理を行うオンチップマルチプロセッサシステム
におけるプロセッサ間通信方式に関するものである。

【０００２】

【従来の技術】半導体技術の進展により多くのプロセッ
サを１つの半導体上に集積することが可能となった。多
くのプロセッサを１つの半導体上に集積する一つの利点
として、プロセッサ間の通信に大きな帯域幅をとること
ができ、プロセッサ間の通信にかかる遅延時間を短縮で
きる点が挙げられる。プロセッサ間で通信を行う方式と
しては主に以下のような三方式が考えられる。

【０００３】第一のプロセッサ間通信方式は、共有レジ
スタや共有キャッシュメモリや主記憶等の共有の記憶領
域を用いる方式である。あるプロセッサが共有の記憶領
域にデータを書き込むと、この記憶領域を共有する他の
プロセッサが該データを読み出すことで通信を行う。本
方式はマルチプロセッサシステムにおいて一般的に幅広
く用いられており、例えば、共有メモリを用いる例とし
ては、特開平２−２４４２５２号公報や特開平６−３５
８４０号公報、特開平７−１５２６４７号公報等で示さ
れている方式がある。また、共有レジスタを用いる例と
しては、特開平１０−７８８８０号公報等で示される方
式がある。

【０００４】第二のプロセッサ間通信方式は、プロセッ
サ間で直接データを送受信する方式である。例えば、各
プロセッサが夫々有するレジスタファイルをバスを用い
て相互に接続し、レジスタファイル間でレジスタデータ
をコピーする方式が特願平１１−３４８５４５号明細書
で述べられている。

【０００５】第三のプロセッサ間通信方式は、夫々のプ
ロセッサが持つ演算器間を直接結線する方式である。一
般的には、本方式はプロセッサ間の通信方式ではなく、
スーパースカラ型プロセッサやＶＬＩＷ（Very Long In
struction Word）型プロセッサ内において、複数の演算
器間で演算途中のデータを交換する方式である。本方式
では、プロセッサ内の複数の演算器間、もしくは異なる
プロセッサの演算器間を直接メッシュに接続することに
より演算器間で高速にデータを交換することができる。

【０００６】プロセッサ間で通信を行う際、前記第一の
方式の様に共有記憶領域を使用して通信を行う場合には
該記憶領域に対する複数のプロセッサからのアクセスを
調停し、また前記第二及び第三の方式の様にプロセッサ
もしくは演算器間を直接接続する場合には、接続のため
に使用するバスに対する複数のプロセッサからのアクセ
ス得ることを前提としており、実行時に競合が発生した
際には、アクセス要求するプロセッサのうち１つのプロ
セッサを選択して、このプロセッサにアクセスを許可
し、他のプロセッサに対してはアクセスを不許可とす
る。

【０００７】第二のアクセス調停方式は、プロセッサを
固定されたタイミングで動作させ、予め競合が発生しな
いようなプログラムを与えておく方式である。本方式で
は、あらかじめコンパイラ等を用いてプログラムコード
の並べ替えを行うことにより、競合が発生しないプログ
ラムコードをプロセッサに与え、プロセッサは与えられ
たプログラムコードをコード並べ替え時に想定したタイ
ミングの通りに実行することにより、実行時にアクセス
競合を発生させない。但し、本方式では、プログラム並
び替え時に想定した動作タイミングと実行時の実際の動
作タイミングを厳密に一致させる必要があり、そのため
には、分岐やメモリアクセス等による実行の乱れを予測
してプログラムコードの並べ替えを行い、プロセッサの
ハードウエアは予測できない実行の乱れが発生しないよ
うに構成しておく必要がある。本方式を用いたプロセッ
サの例として特願平１１−３４８５４５号明細書に開示
の技術が挙げられる。

【０００８】

【発明が解決しようとする課題】第一の問題点は、前記
第一のプロセッサ間通信方式及び第二のプロセッサ間通
信方式において通信にかかる遅延、特にあるプロセッサ
で演算を行ってその結果を用いて他のプロセッサで演算
を行う場合のプロセッサ間の通信遅延が大きいことであ
る。前記第一の方式では、送信を行うプロセッサと受信
を行うプロセッサが共にアクセスできる記憶領域に一旦
データを書きこむ必要があるため、送信プロセッサの演
算器において演算されたデータが受信プロセッサの演算
器に到達するまで大きな遅延が発生する。

【０００９】また、前記第二の方式においても、送信を
行うプロセッサは演算結果を一旦レジスタファイルに書
き込み、これを受信を行うプロセッサのレジスタファイ
ルに転送する必要があり、やはり演算器間では大きな遅
延が発生する。

【００１０】第二の問題点は、前記第三のプロセッサ間
通信方式においてプロセッサ数及び演算器数を大きく出
来ない点である。本方式では、全ての演算器の出力を全
ての演算器の入力に接続する必要があるため、プロセッ
サ数及び演算器数の２乗の量の配線が必要となり、接続
できるプロセッサ及び演算器の数が少ない。

【００１１】第三の問題点は、前記第一及び第二のプロ
セッサ間通信方式においてプロセッサ間の処理引継ぎに
時間がかかることである。前記方式においてはプロセッ
サ間でメモリ上のデータ及びレジスタ上のデータ、演算
器出力のデータはプロセッサ間で引き継ぐことが出来る
が、状態レジスタやプログラムカウンタの内容を引き継
ぐことは出来ない。そのため、プロセッサ間で処理を引
き継ぐ場合、状態レジスタ内の情報は一旦メモリもしく
は通常のレジスタに反映させて引継ぎを行い、引き継い
だプロセッサでは、前記メモリもしくは通常のレジスタ
の内容を調べて改めて状態レジスタを設定する必要があ
る。

【００１２】また、プログラムカウンタに関しても同様
であり、あるプロセッサで処理が複数に分岐していてそ
れぞれの分岐先から処理の引継ぎを行う場合、引継ぎ元
のプロセッサはどの分岐の処理中であるかの情報を一旦
メモリもしくは通常のレジスタに反映させて引継ぎを行
い、引き継いだプロセッサでは前記メモリもしくは通常
のレジスタの内容を調べて改めて処理を分岐させる必要
がある。

【００１３】第四の問題点は、第一のアクセス調停方式
が大規模なマルチプロセッシングに適さない点である。
本方式では、全てのプロセッサからのアクセス要求から
一つのプロセッサに対してアクセス許可を与えるため、
プロセッサ数が多くなるとアクセス調停の判断にかかる
遅延が大きくなり、またプロセッサからアクセス調停回
路までの物理的距離が長くなるため、プロセッサがアク
セス要求を出してから通信を開始するまでの遅延時間が
長くなる。そのため、プロセッサ数が増加するとプロセ
ッサ間の通信速度が低下するという問題がある。

【００１４】第五の問題点は、第一のアクセス調停方式
が実時間処理に適さない点である。本方式では、実行中
に動的にアクセス調停を行うため、各処理に対する処理
時間を保証することが出来ない。そのため、パケット転
送処理おけるパケットスケジューリング処理等の非常に
厳密な実時間性を要求される処理を実現することが難し
い。

【００１５】第六の問題点は、第二のアクセス調停方式
を用いた場合、処理内容によってはプログラムの実行効
率が低下する点である。同じ処理を単純に繰り返す処理
であれば共有資源に対するアクセス時刻を固定してもプ
ログラムの実行効率は低下しない。しかしながら、プロ
グラム内に分岐が多くその時々に応じて多様な処理を行
う場合には、全ての分岐パスにおいて共有資源へのアク
セスが競合しない様にプログラムコードを作成する必要
があり、分岐パス数が多くなるに従って無駄なアクセス
待ち時間が増加する。

【００１６】パケット転送処理を例にすると、パケット
スケジューリング処理は同様の処理の繰り返し処理であ
るため、本方式を用いても処理効率は低下しないが、パ
ケットヘッダ処理において多様な種類のパケットを処理
する場合にはパケットの種類に応じて実行する処理が異
なりプログラムの実行効率が低下する恐れがある。

【００１７】本発明は以上の問題点を鑑み発案されたも
のであり、マルチプロセッサシステム、特にネットワー
クノード装置内でパケット転送処理を行うオンチップマ
ルチプロセッサシステムにおいて、プロセッサ数が非常
に多い大規模なシステムにおいても、プロセッサ間の通
信を高速化し、プログラムの実行効率と実時間処理を共
に満足するアクセス調停を行うことを目的とする。

【００１８】

【課題を解決するための手段】第一の問題点を解決する
ため、本発明によるマルチプロセッサシステムでは、従
来のプロセッサ間通信方式に加えて、夫々のプロセッサ
が持つ演算器間で直接通信を行うための通信路を有し、
演算器間で高速にデータの交換を行う。

【００１９】第二の問題点を解決するため、全ての演算
器間をメッシュに接続するのではなく、１本あるいは複
数のバスを用いたバス接続とする。１本のバスを用いた
場合には、プロセッサ数が増加するとバスの混雑やバス
の物理的な距離の増加によって通信の効率が低下する。
そのため、プロセッサ数が増加した場合には、全プロセ
ッサを１本のバスに接続するのではなく、短いバスを複
数用意して各プロセッサは最寄のバスにのみに接続す
る。そして異なるバスに接続されたプロセッサ間で通信
を行うため、バス間をブリッジを用いて接続することで
複数のバスを経由した通信を可能とする。

【００２０】第三の問題点を解決するため、夫々のプロ
セッサが持つ状態レジスタ及びプログラムカウンタの間
で直接通信を行うための通信路を有する。

【００２１】第四の問題点を解決するため、全てのプロ
セッサから全共有資源に対してアクセス調停を行うので
はなく、同一のバスを共有しているプロセッサ間のみで
アクセス調停を行う。本マルチプロセッサシステムは複
数のバスを有し、プロセッサは最寄のバスにのみ接続さ
れている。そのため、１本のバスを共有しているプロセ
ッサは近接しており、またその数も限られるため、これ
らのプロセッサ間では高速にアクセス調停を行うことが
できる。

【００２２】プロセッサ数を増加させるときには１本の
バスに接続するプロセッサ数を増加させるのではなくバ
スの数を増加させることにより、大規模なマルチプロセ
ッシングを行う場合においても高速にアクセス調停を行
うことができる。複数のバスを通過する通信の場合、プ
ロセッサが出力したデータは一旦経由するブリッジが受
け取り、このブリッジが次のバスに対してアクセス調停
を行いデータを出力する。

【００２３】第五及び第六の問題点を解決するため、各
プロセッサを第一のアクセス調停方式に対応する非同期
的な動作と、第二のアクセス調停方式に対応する予測不
能な実行の乱れを生じる処理を禁じた同期的な動作とを
選択可能であるように構成する。共有資源に対するアク
セス制御方式としては、第一のアクセス調停方式を用い
たプロセッサに対しては動的な調停を行い、第二のアク
セス調停方式を用いたプロセッサに対してはそのアクセ
ス要求を常に許可する。

【００２４】すなわち、第二のアクセス調停方式を用い
たプロセッサに対してはアクセスが競合しないようにプ
ログラムコードを作成しておき、実行時には第二のアク
セス調停方式を用いたプロセッサのアクセスを行わない
資源に限り、第一のアクセス調停方式を用いたプロセッ
サからのアクセス要求を動的に調停する。

【００２５】パケット転送処理を本マルチプロセッサシ
ステム上に実装する際には、パケット転送処理を複数の
小さな処理に分割し、各処理を固定的にプロセッサに割
り当てる。そして各処理の特性に応じてプロセッサの動
作を選択することにより、すなわち多様な動作を行うパ
ケットヘッダ処理を担当するプロセッサは第一のアクセ
ス調停方式を用い、実時間性が強く単純な繰り返しが主
なパケットスケジューリング処理を担当するプロセッサ
は第二のアクセス調停方式を用いることによって、処理
の効率性と実時間性を共に満足させる。

【００２６】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１は本発明によるマルチ
プロセッサシステムの第一の実施例の構成を示すブロッ
ク図である。図１を参照すると、本実施例のマルチプロ
セッサシステムは、複数のプロセッサ１−１〜１−４、
複数のプロセッサの演算器間でデータを交換するデータ
バス１−８〜１−１０、データバス間でデータを交換す
るブリッジ１−５〜１−６、共有メモリ１−７、各プロ
セッサと共有メモリ１−７を接続するメモリバス１−１
１、コプロセッサ１−１２〜１−１３で構成される。

【００２７】プロセッサ１−１はデータを保持するレジ
スタファイル１−１−１と、１または複数の演算器１−
１−２〜１−１−３、１または複数のメモリユニット１
−１−４で構成され、プロセッサ１−２〜１−３も同様
の構成である。各プロセッサはプログラムカウンタや状
態レジスタ等の一般的なプロセッサが必要とする機構は
有しているが、本実施例によるプロセッサ間通信動作と
は直接関係無いため本構成図からは省略している。

【００２８】データバス１−８〜１−１０は同時に複数
のデータをバス内で通信することが出来るように複数の
チャネルで構成し、各チャネルはデータ及びその宛先を
転送するための通信路で構成される。メモリバス１−１
１はアドレスとデータを転送するための通信路で構成さ
れる。コ（子）プロセッサ１−１２や１−１３は浮動小
数点演算器や文字列コピー等の（親）プロセッサ１−１
〜１−２や１−３〜１−４の動作をそれぞれ補助する機
構であり、データバスもしくはメモリバスを用いてプロ
セッサやメモリと通信することで処理を行う。

【００２９】図２は本実施例における演算器１−１−２
の構造を示したブロック図である。演算器１−１−２は
データバスから入力レジスタへのデータ入力を制御する
入力回路１−１−９、データバスから取り込んだデータ
を一時保持する入力レジスタ１−１−５、演算回路に与
えるデータを入力レジスタもしくはレジスタファイルか
ら選択する選択回路１−１−６から１−１−７、演算回
路１−１−８、演算回路からデータバスへのデータ出力
を制御する出力回路１−１−１０で構成される。他の演
算器も全て同様の構成である。

【００３０】次に、図１及び図２を参照して本実施例の
動作を説明する。本実施例における各プロセッサのメモ
リアクセス動作は、例えば特開平２−２４４２５２号公
報や特開平６−３５８４０号公報、特開平７−１５２６
４７号公報等に示されるような一般的なマルチプロセッ
サシステムにおけるメモリアクセス動作と同様である。
従って、各プロセッサ間でメモリを介して通信を行う場
合、本実施例におけるマルチプロセッサシステムにおい
ても一般的なマルチプロセッサシステムと同様の動作で
通信を行う。

【００３１】本実施例におけるマルチプロセッサシステ
ムにおいては、演算器を直接接続するデータバスを有す
る。そこで、次にデータバスを用いたプロセッサ間通信
方式について説明する。プロセッサにおいて通常の演算
命令を実行した際には、演算回路からの演算結果出力は
レジスタファイルに送られるが、データ出力を伴う演算
命令を実行した際には、演算結果出力をレジスタファイ
ルに送ると同時に出力回路を通じでデータバスへと出力
する。出力回路では、プログラムからの指示によって出
力するデータバス上のチャネルを選択し、プログラムに
よって指示されるデータの宛先のプロセッサ番号もしく
はコプロセッサ番号と共にデータをデータバスに出力す
る。

【００３２】ブリッジでは、データバス上を流れるデー
タの宛先を検査し、もしデータが流れているデータバス
とその宛先が接続されているデータバスが同じであると
判断すればデータの転送処理は行わない。さもなければ
宛先への経路となるデータバスへデータを転送する。

【００３３】各演算器の入力回路では、接続されている
データバス内の各チャネルを監視し、チャネル上を流れ
るデータの宛先が自プロセッサであると判断した場合に
は、そのデータを取りこんで入力レジスタへと格納して
から該入力レジスタを有効状態に設定する。演算器にお
いて通常の演算を実行する場合はデータをレジスタファ
イルから取得するが、データ入力を伴う演算を実行する
場合には入力レジスタからデータを取得して演算を行い
う。入力レジスタ上のデータを使用する際、該入力レジ
スタが無効状態にあれば演算を停止して該入力レジスタ
が有効状態に変化するまで待つ。そして該入力レジスタ
が有効状態に変化すると演算を再開し、演算が終了する
と該入力レジスタを無効状態へと設定する。

【００３４】このような入力レジスタの機構はプロセッ
サ間の処理の同期をとるために必要であり、データを受
信するプロセッサがデータ到着前に演算を開始すること
を防ぐ。なお、特願平１１−３４８５４５号明細書に説
明されているように、各プロセッサが固定タイミングで
動作している場合、このような同期のための機構は不必
要である。

【００３５】プロセッサがコプロセッサに対して処理を
委託するためデータを送信する場合、プロセッサは前記
の動作と同様にデータバスのデータを出力し、コプロセ
ッサはデータバス上からデータを受信して所定の処理を
行う。そして処理結果は再びデータバスを用いて処理を
依頼したプロセッサに送信される。メモリ上の文字列転
送処理の様にコプロセッサが直接メモリアクセスを行う
必要がある処理では、コプロセッサはメモリバスを用い
て直接メモリアクセスを行う。

【００３６】図３は本発明によるマルチプロセッサシス
テムの第二の実施例の構成を示すブロック図である。図
３を参照すると、本実施例におけるマルチプロセッサシ
ステムは、複数のプロセッサ２−１〜２−４、複数のプ
ロセッサの演算器間及びレジスタファイル間でデータを
交換するデータバス２−８〜２−１０、データバス間で
データを交換するブリッジ２−５〜２−６、共有メモリ
２−７、コプロセッサ２−１１〜２−１２で構成され
る。

【００３７】プロセッサ２−１はデータを保持するレジ
スタファイル２−１−１と、１または複数の演算器２−
１−２〜２−１−３で構成され、プロセッサ２−２〜２
−３も同様の構成である。データバス２−８〜２−１０
は同時に複数のデータをデータバス内で通信することが
出来るように複数のチャネルで構成し、各チャネルはデ
ータ及びその宛先を転送するための通信路で構成され
る。また、本実施例はメモリバスを持たず、共有メモリ
２−７はデータバス内の２本のチャネルを用いて接続さ
れる。

【００３８】各演算器の構成は第一の実施例における演
算器の構成と同様であるので、ここではその構成図を省
略する。

【００３９】次に、図３を参照して本実施例の動作を説
明する。本実施例では、データバスを用いて共有メモリ
を接続するため、メモリアクセス動作が第一の実施例と
異なる。メモリへの書き込みを行う場合、レジスタファ
イル上の１つのレジスタに書き込みを行うアドレスを設
定し、別のレジスタに書き込みを行うデータを設定す
る。そして、送り先を共有メモリのアドレス入力に設定
してアドレスを設定したレジスタからデータバスの１つ
のチャネルにレジスタ内容を出力し、送り先を共有メモ
リのデータ入出力に設定してデータを設定したレジスタ
からデータバスの別のチャネルにレジスタ内容を出力す
る。

【００４０】共有メモリはデータバスからこれらのアド
レス及びデータを受信するとメモリへの書き込みを行
う。共有メモリから読み出しを行う場合、レジスタファ
イル中の１つのレジスタに読み出しを行うアドレスを設
定し、送り先を共有メモリのアドレス入力に設定して、
該レジスタからデータバスの１つのチャネルにレジスタ
内容を出力する。共有メモリは読み出しアドレスを受け
取ってデータの読み出しを行い、宛先を要求元のプロセ
ッサ設定して読み出したデータをデータバスの１つのチ
ャネルに出力する。プロセッサはこのデータを受け取る
と所定のレジスタへと格納する。

【００４１】次に、データバスを用いたプロセッサ間通
信方式について説明する。本実施例においても演算器間
をデータバスを用いて接続しているため、第一の実施例
と同様に演算器間で直接通信を行うことが可能であり、
この場合の演算器やブリッジの動作は第一の実施例と同
様である。さらに本実施例においては、レジスタファイ
ルもデータバスに接続されているため、あるプロセッサ
のレジスタファイルからレジスタのデータをデータバス
に出力し、他のプロセッサのレジスタファイル上のレジ
スタへと直接データを転送することが可能である。この
場合複数のチャネルを用いて同時に複数のレジスタのデ
ータを送受信することも可能である。

【００４２】また、本実施例においては、演算器から出
力したデータをレジスタファイルで受けたり、レジスタ
ファイルから出力したデータを演算器で受けることも可
能である。さらには、メモリアクセス時において、アド
レス送信の際やデータ送受信の際にレジスタファイルで
はなく、演算器の入出力を用いることも可能である。例
えば、メモリへデータを書き込み際、演算器を用いて計
算した書き込みアドレスを直接データバスに出力し、書
き込みデータはレジスタファイルから出力することが可
能である。

【００４３】本実施例において、レジスタファイルを用
いて通信を行う場合、第一の実施例における入力レジス
タと同様の構成を用いてレジスタファイル内の各レジス
タに有効状態／無効状態を持たせることで、プロセッサ
間の同期を取ることが可能である。また、各プロセッサ
が固定タイミングで同期動作を行っている場合、このよ
うな同期のための機構は不必要である。

【００４４】レジスタファイルや演算器、共有メモリ、
コプロセッサがデータバス上の全てのチャネルに接続さ
れている必要は無く、図３のように特定のチャネルに接
続することも可能である。この場合、通信の自由度は低
下するが、ハードウエア量を低減する効果がある。これ
は以下の実施例においても同様である。

【００４５】本実施例におけるプロセッサとコプロセッ
サの間の通信は第一の実施例と同一であるが、コプロセ
ッサとメモリ間の通信は以上で説明したようにデータバ
スを用いて行う。

【００４６】図４は本発明によるマルチプロセッサシス
テムの第三の実施例の構成を示すブロック図である。図
４を参照すると、本実施例におけるマルチプロセッサシ
ステムは、複数のプロセッサ３−１〜３−４、複数のプ
ロセッサの演算器及びレジスタファイル、プログラムカ
ウンタ、状態レジスタの間でデータを交換するデータバ
ス３−８〜３−１０、データバス間でデータを交換する
ブリッジ３−５〜３−６、共有メモリ３−７で構成され
る。

【００４７】プロセッサ３−１はデータを保持するレジ
スタファイル３−１−１と、１または複数の演算器３−
１−２〜３−１−３、プログラムカウンタ３−１−４、
状態レジスタ３−１−５で構成され、プロセッサ３−２
〜３−３も同様の構成である。

【００４８】データバス１−８〜１−１０は同時に複数
のデータをバス内で通信することが出来るように複数の
チャネルで構成し、各チャネルはデータ及びその宛先を
転送するための通信路で構成される。また、本実施例は
メモリバスを持たず、共有メモリ２−７はデータバス内
の２本以上のチャネルを用いて接続される。本実施例に
おいても、各演算器の構成は第一の実施例における演算
器の構成と同様であるので、その構成図は省略する。本
実施例の特徴は、プログラムカウンタ３−１−４、状態
レジスタ３−１−５がデータバスに直接接続されている
点である。

【００４９】次に、図４を参照して本実施例の動作を説
明する。本実施例におけるメモリアクセス動作及びプロ
セッサ間通信動作は第二の実施例と同様であるため、こ
こでは省略する。本実施例においては、プロセッサ間で
プログラムカウンタ及び状態レジスタの内容を送受信す
ることが可能であり、プロセッサ間での処理の引継ぎを
効率的に行うことが出来る。すなわち、プロセッサ間で
処理を引き継ぐ際、引継ぎ元のプロセッサがレジスタフ
ァイル上のレジスタの内容だけでなくプログラムカウン
タ及び状態レジスタの内容をデータバスを用いて引継ぎ
先のプロセッサに送ることが可能であり、引継ぎ先のプ
ロセッサでは引継ぎ元のプロセッサの最終的な状態と全
く同じ状態で引き継いだ処理を再開することができる。

【００５０】各プロセッサが異なる処理を行うために異
なるプログラムメモリの内容を持っている場合、引継ぎ
元とプロセッサと引継ぎ先のプロセッサの間にアドレス
の整合性が無いため、単純にプログラムカウンタを引き
渡すことはできない。このような場合、引継ぎ元のプロ
セッサにおいて引継ぎ先のプロセッサの実行開始アドレ
スを計算してレジスタファイル上のレジスタに格納して
おき、処理の引継ぎ時にはこのレジスタの内容を引き継
ぎ先のプロセッサのプログラムカウンタへと送信すれば
良い。

【００５１】図５は本発明によるマルチプロセッサシス
テムの第四の実施例の構成を示すブロック図である。図
５を参照すると、本実施例におけるマルチプロセッサシ
ステムは、第二の実施例におけるマルチプロセッサシス
テムに、コプロセッサ４−１５〜４−１６、プロセッサ
４−１〜４−２及びコプロセッサ４−１５のデータバス
アクセスを調停するアービタ４−１１、プロセッサ４−
１〜４−２及びコプロセッサ４−１６及び共有メモリ４
−７のデータバスアクセスを調停するアービタ４−１
２、ブリッジ４−５のデータ転送動作を記述したタイム
テーブル４−１３、ブリッジ４−６のデータ転送動作を
記述したタイムテーブル４−１４を加えた構成である。

【００５２】また、プロセッサ４−１は動作選択レジス
タ４−１−４を持ち、プロセッサ４−２〜４−４におい
ても同様である。各演算器の構成は第一の実施例におけ
る演算器の構成と同様であるので、ここではその構成図
を省略する。

【００５３】本実施例においては、各プロセッサは動作
選択レジスタによって、ダイナミックスケジューリング
動作かスタティックスケジューリング動作かを選択す
る。スタティックスケジューリング動作とはプロセッサ
が固定タイミングで動作すことであり、プロセッサに対
して予測不能な実行の乱れを生じる処理を禁止し、各プ
ロセッサを予め設定した固定長の周期に従って繰り返し
処理を行なわせる動作のことである。そのため、プロセ
ッサがどの時刻にどのようなデータバスアクセスを行う
かが予測可能であり、プログラムコードを最適に並び替
える事で各プロセッサからのアクセスが競合しないよう
に調整しておくことが可能である。

【００５４】一方、ダイナミックスケジューリング動作
では各プロセッサは固定長の動作周期を持たず、予測不
能な実行の乱れを生じる処理も禁止されない。そのた
め、プロセッサのデータバスアクセス動作を予め予測す
ることは不可能でり、アクセス調停はプログラム実行時
に動的に行う必要がある。

【００５５】図６はタイムテーブル４−１３の構成例で
ある。タイムテーブルは、ブリッジに接続された各デー
タバスの各チャネルから受信したデータの転送の可否を
定義するのもであり、受信データの宛先によって転送の
可否を時刻毎に定義する。図６の例では、時刻０におい
てはデータバス４−８のチャネル１から入力したデータ
をプロセッサ１に向けて出力することを許可し、時刻１
においてはデータバス４−８のチャネルｎから入力した
データを共有メモリに向けて出力することを許可し、時
刻２においてはデータバス４−９のチャネル１から入力
したデータを共有メモリに向けて出力することを許可
し、その他のブリッジにおける転送処理は全て不許可で
あることを示している。

【００５６】なお、ブリッジとスタティックスケジュー
リング動作を行うプロセッサは同期して動作し、ブリッ
ジは周期的にタイムテーブルを繰り返し参照して転送処
理を行う。

【００５７】次に、図５及び図６を参照して本実施例の
動作を説明する。本実施例におけるプロセッサ間通信動
作は第二の実施例と同様であり、以下では、特にデータ
バスに対するアクセス調停の動作を詳しく説明する。ま
ず、同一データバス内での通信におけるアクセス調停動
作を説明する。プロセッサはデータバスにデータを出力
する際、宛先と使用するチャネルをアービタに伝えてチ
ャネルの使用許可を要求し、その許可を得てからデータ
の出力を行う。もし使用許可が与えられなければデータ
出力を中止し、使用許可が与えられるまで要求を繰り返
し行う。アービタは各プロセッサからの使用許可要求を
受け、それぞれのチャネルに関してデータ出力を許可す
るプロセッサを決定し、その結果を各プロセッサに伝え
る。

【００５８】スタティックスケジューリング動作のプロ
セッサではプログラムコードを実行前に適切に並べ替え
ておくことによって、データバスのアクセス競合を回避
するが、ダイナミックスケジューリング動作のプロセッ
サでは、プログラム実行中に動的にアクセス調停を行う
必要がある。そのため、アービタでは、複数のプロセッ
サが同じチャネルの使用許可を要求した場合、まず、ス
タティックスケジューリング動作のプロセッサに対して
使用許可を与え、もしスタティックスケジューリング動
作のプロセッサからの要求が無い場合には、その他のプ
ロセッサの中から１つのプロセッサを選択して使用許可
を与える。

【００５９】コプロセッサや共有メモリからのデータ出
力動作に関しても同様である。ただし、アービタでは、
コプロセッサや共有メモリからダイナミックスケジュー
リング動作を行っているプロセッサに対してデータを出
力する場合、このデータ出力がスタティックスケジュー
リング動作を行っているプロセッサからのデータ出力を
妨げないように、コプロセッサや共有メモリからのチャ
ネル使用要求よりもスタティックスケジューリング動作
を行っているプロセッサからのチャネル使用要求を優先
させる。

【００６０】一方、コプロセッサや共有メモリからスタ
ティックスケジューリング動作を行っているプロセッサ
に対してデータを出力する場合には、このデータ出力を
ダイナミックスタティックスケジューリング動作を行っ
ているプロセッサからのチャネル使用要求よりも優先さ
せる。

【００６１】次に、ブリッジを越える通信におけるアク
セス調停動作を説明する。この場合でも、プロセッサの
動作は上記と同様であり、アービタの動作が異なる。ア
ービタは他のデータバスに向かうチャネル使用許可要求
があれば、ブリッジに対して現時刻で転送可能な宛先を
問い合わせ、ブリッジはアービタが接続されているバス
の該当するチャネルに関してタイムテーブルを参照して
転送可能な宛先を回答する。そして、アービタは回答さ
れた宛先と同じ宛先をもつチャネル使用許可要求があれ
ばこの要求に対して許可を与え、さもなければブリッジ
を越える通信は全て不許可としてデータバス内での通信
に対してチャネル使用許可を与える。

【００６２】ただし、スタティックスケジューリング動
作を行っているプロセッサの通信は常に優先し、これら
のプロセッサからのチャネル使用許可要求があれば、ダ
イナミックスケジューリング動作を行っているプロセッ
サのチャネル使用許可要求はブリッジを経由するしない
に係わり無く、全て不許可とする。

【００６３】ブリッジでは、ブリッジを越える通信のデ
ータを受信すると、このデータの宛先への経路となるデ
ータバスに対してデータを出力するため、このデータバ
スを管轄するアービタに対してチャネル使用許可を求
め、そしてこのデータバスへデータを出力する。アービ
タでは、ブリッジからのチャネル使用要求は必ず許可
し、ブリッジにおいてデータが滞留することが無いよう
にする。そのため、各ブリッジのタイムテーブルではブ
リッジ間でデータバスを競合することが無い様に設定し
ておく必要があり、またスタティックスケジューリング
動作を行うプロセッサではブリッジ間の通信を妨げるこ
とが無い様に、プログラムコードを作成しておく必要が
ある。

【００６４】以上の様に、プロセッサが最寄のアービタ
からチャネル使用許可が得られると、その後の通信経路
ではタイムテーブルの設定によって必ずチャネルが予約
されているため、データの転送が滞ることなく宛先まで
到着する。そのため、スタティックスケジューリングを
行うプロセッサでは、接続されたデータバスだけではな
く、通信途中の全てのデータバスにおいてデータが競合
しなようにプログラムを作成し、その結果に従ってタイ
ムテーブルを設定する必要がある。

【００６５】一方、ダイナミックスケジューリング動作
を行うプロセッサに関しては、アービタによってアクセ
ス制御が行われているため、プログラムコードを自由に
作成することが可能である。ただし、ブリッジを超える
通信を行うためには、スタティックスケジューリング動
作を行うプロセッサの通信を遮らないように、タイムテ
ーブルの適切な時刻に通信経路を設定しておき、プロセ
ッサがこの通信を行う場合には、設定した時刻になるま
で通信を待つ必要がある。ただし、タイムテーブル余裕
があれば複数の時刻に通信経路を設定することで、通信
を待つ時間を軽減することが可能である。

【００６６】なお、データバス４−９のように、ブリッ
ジしか接続されていないデータバスでは競合が発生しな
いのでアービタは不要である。

【００６７】図７は本発明によるマルチプロセッサシス
テムの第五の実施例の構成を示すブロック図である。図
５を参照すると、本実施例におけるマルチプロセッサシ
ステムは、第四の実施例におけるマルチプロセッサシス
テムとほぼ同様の構成であり、タイムテーブルの代わり
に一時バッファ５−１３〜５−１４を有する点が異な
る。

【００６８】次に、図７を参照して本実施例の動作を説
明する。本実施例では、同一データバス内でのアクセス
調停動作は第四の実施例と同様でり、ブリッジにデータ
を一時蓄えておくことで、タイムテーブルによる制御を
必要としない点が第四の実施例と異なる。すなわち、第
四の実施例ではブリッジを越える通信はタイムテーブル
を用いて全経路に関するアクセス制御を行っておくた
め、初段のアービタで送信が許可されたデータは途中の
ブリッジで滞留することはないが、本実施例では、初段
のデータバスさえ使用可能であればデータの送信を開始
し、通信経路の途中でデータバスが使用不可能となって
いれば、その直前のブリッジにおいてデータバスが使用
可能になるまでデータを待たせておく。そのため、本実
施例では、ダイナミックスケジューリング動作を行って
いるプロセッサが通信開始を待つ時間が軽減されるとい
う利点を持つが、その代わりブリッジが複雑になるとい
う欠点を持つ。

【００６９】なお、スタティックスケジューリング動作
を行うプロセッサのデータがブリッジにおいて滞留する
ことは許されないため、転送するデータに対して優先度
を定め、スタティックスケジューリング動作を行うプロ
セッサからのデータやこのプロセッサ宛てのデータは、
優先データとして待ち合わせが発生しないようにアービ
タを制御し、ダイナミックスケジューリング動作を行う
プロセッサからのデータやこのプロセッサ宛てのデータ
は非優先として、他のデータと競合した場合にはブリッ
ジにおいて待ち合わせを行う。

【００７０】次に、ブリッジを経由する通信におけるア
クセス調停動作に関して、アービタとブリッジの動作を
説明する。アービタは優先データに対するチャネル使用
許可要求があれば、必ずこの要求を許可する。優先デー
タが無ければ該アービタに接続された全てのブリッジに
対して一時バッファの空き容量を問い合わせ、空き容量
のあるブリッジを経由する非優先データの中から１つの
非優先データを選択してチャネル使用許可を与える。も
し、＜ブリッジを経由する非優先データにチャネル使用
許可が与えられない場合、データバス内での非優先の通
信に対してチャネル使用許可を与える。

【００７１】ブリッジでは、ブリッジを越える通信のデ
ータを受信すると、データの出力先となるデータバスを
管轄するアービタに対してチャネル使用許可を要求す
る。受信データが優先データであれば、該アービタは必
ず使用許可を与えるので、ブリッジは到着データを滞留
させること無く転送処理を行う。到着データが非優先デ
ータでありかつアービタが使用許可を与え、かつ同じデ
ータバスへ出力される優先データや一時バッファ内の非
優先データが無い場合は、この非優先データの転送処理
を行い、さもなければこのデータを一時バッファへと格
納する。

【００７２】複数の非優先データが同じデータバスへ出
力される場合、このうちの１つの非優先データに関して
転送処理を行い、残りの非優先データは全て一時バッフ
ァに格納する。一時バッファ内に蓄えられた非優先デー
タは、出力先のデータバスが同じである優先データがな
く、かつ該データバスを管轄するアービタから許可が得
られれば、一時バッファから取り出されて転送処理が行
われる。

【００７３】図８は本発明によるマルチプロセッサシス
テムの第六の実施例の構成を示すブロック図である。図
８を参照すると、本実施例におけるマルチプロセッサシ
ステムは、複数のプロセッサ６−１〜６−４、全プロセ
ッサによって共有される共有メモリ６−８、プロセッサ
６−１及び６−２から共有メモリ６−８へアクセスする
ためのメモリバス６−３、プロセッサ６−１及び６−２
とプロセッサ６−３及び６−４との共有メモリ６−８へ
のアクセスを調停するメモリ制御回路６−６、プロセッ
サ６−３及び６−４の演算器間及びレジスタファイル間
でデータを交換するデータバス６−７、プロセッサ６−
３及び６−４によって共有される共有メモリ６−９で構
成される。

【００７４】プロセッサ６−１はデータを保持するレジ
スタファイル６−１−１と、１または複数の演算器６−
１−２から６−１−３、１または複数のメモリユニット
６−１−４で構成され、プロセッサ１−２も同様の構成
である。プロセッサ６−３はデータを保持するレジスタ
ファイル６−３−１と、１または複数の演算器６−３−
２から６−３−３で構成され、プロセッサ６−４も同様
の構成である。

【００７５】次に、図８を参照して本実施例の動作を説
明する。プロセッサ６−１及び６−２はダイナミックス
ケジューリング動作を行い、動的に共有メモリ６−８に
対するアクセス制御を行う。これらのプロセッサは共有
メモリ６−８のみを介して通信し、これはメモリを共有
した一般的なマルチプロセッサシステムと同様の動作で
ある。

【００７６】一方、プロセッサ６−３及び６−４は第二
の実施例におけるプロセッサ間通信と同様の動作を行
う。すなわちこれらのプロセッサはデータバスを用いて
演算器間及びレジスタファイル間で通信を行い、また共
有メモリ６−８や共有メモリ６−９を用いた通信も行
う。また、これらのプロセッサはスタティックスケジュ
ーリング動作を行っているため、データバス６−７に対
する様なアクセス制御は行っていない。

【００７７】プロセッサ６−１及び６−２とプロセッサ
６−３及び６−４の間の通信は共有メモリ６−８を用い
て通信を行う。プロセッサ６−１及び６−２からのメモ
リアクセスとプロセッサ６−３及び６−３空のメモリア
クセスはメモリ制御回路６−６によって調停され、ダイ
ナミックスケジューリング動作を行っているプロセッサ
６−３及び６−４からのアクセスを常に優先するように
制御を行う。

【００７８】本実施例は第一の実施例及び第二の実施例
を組み合わせ、特にパケット転送処理に特化した構成で
ある。すなわち、パケットヘッダ処理ではプロセッサ間
の通信が比較的少なく各プロセッサでは多様な処理が行
われるため、プロセッサ６−１及び６−２を一般的なマ
ルチプロセッサシステムと同様の構成として処理を行う
が、パケットスケジューリング処理等ではプロセッサ間
の通信が頻繁で厳密な実時間処理が必要であるため、プ
ロセッサ６−３及び６−４を第二の実施例と同様の構成
としてスタティックスケジューリング動作させて処理を
行う。

【００７９】

【発明の効果】本発明の第一の効果は、マルチプロセッ
サシステムにおいて、特にネットワークノード装置内で
パケット転送処理を行うオンチップマルチプロセッサシ
ステムにおいて、夫々のプロセッサが持つ演算器間で直
接通信を行うための通信路を備えることによって、プロ
セッサ間で非常に遅延時間の短い通信を実現できること
である。

【００８０】本発明の第二の効果は、全プロセッサを１
本のバスに接続するのではなく、短いバスを複数用意し
て各プロセッサを最寄のバスにのみ接続することによ
り、またバス間をブリッジを用いて接続して複数のバス
を経由した通信を可能とすることにより、多数のプロセ
ッサ及び演算器を用いる場合でも高い通信速度を実現で
きることである。

【００８１】本発明の第三の効果は、夫々のプロセッサ
が持つレジスタファイルや状態レジスタ、プログラムカ
ウンタの間で直接通信を行うことで、プロセッサ間の処
理の引継ぎが効率的に行われることである。

【００８２】本発明の第四の効果は、同一のバスを共有
しているプロセッサ間のみで動的なアクセス調停を行
い、ブリッジを越える通信はタイムテーブルによって静
的にスケジューリングするかもしくはブリッジ内の一時
バッファで待ち合わせを行うことにより、大規模なマル
チプロセッシングにおいて高速にアクセス調停を行うこ
とができることである。

【００８３】本発明の第五の効果は、各プロセッサをダ
イナミックスケジューリング動作とスタティックスケジ
ューリング動作とを選択可能であるように構成すること
で、処理の特性によってプロセッサの動作を選択し、処
理の効率性と実時間性を共に満足させることができるこ
とである。

【図面の簡単な説明】

【図１】本発明の第一の実施例の構成を示すブロック図
である。

【図２】図１の演算器の構成を示すブロック図である。

【図３】本発明の第二の実施例の構成を示すブロック図
である。

【図４】本発明の第三の実施例の構成を示すブロック図
である。

【図５】本発明の第四の実施例の構成を示すブロック図
である。

【図６】図５の実施例におけるタイムテーブルの構成例
を示す図表である。

【図７】本発明の第五の実施例の構成を示すブロック図
である。

【図８】本発明の第六の実施例の構成を示すブロック図
である。

【符号の説明】

１−１〜１−４，２−１〜２−４，３−１〜３−４，４
−１〜４−４，５−１〜５−４，６−１〜６−４
プロセッサ １−５，１−６，２−５，２−６，３−５，３−６，４
−５，４−６ブリッジ １−７，２−７，３−７，４−７，５−７，６−８，６
−９共有メモリ １−８〜１−１０，２−８〜２−１０，３−８〜３−１
０，４−８〜４−１０，５−８〜５−１０，６−５，６
−７データバス １−１１ メモリバス １−１２，１−１３，２−１１，２−１２，４−１５，
４−１６コプロセッサ ４−１１，４−１２，５−１１，５−１２アービタ ４−１３，４−１４ タイムテーブル

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/16 ６４０ Ｇ０６Ｆ 15/16 ６４０Ｂ 15/177 ６８２ 15/177 ６８２Ｇ Ｆターム(参考） 5B033 AA03 AA14 DD09 5B045 BB12 BB14 BB32 BB34 BB47 CC06 DD01 EE03 EE07 EE12 EE22 GG01 GG09 5B061 BB01 BC01 FF07 GG01 GG11 RR05 5B077 BA02 BA06

Claims (11)

【特許請求の範囲】
1. 【請求項１】 多数のプロセッサを有するマルチプロセ
   ッサシステムであって、１または複数の演算器を持つ複
   数のプロセッサと、これ等複数の演算器間を接続する複
   数のバスを有し、これ等複数のバスを用いて、演算器間
   で直接通信を行うと共に演算器間での通信を同時に複数
   行うことを特徴とするマルチプロセッサシステム。
2. 【請求項２】 請求項１に記載のマルチプロセッサシス
   テムであって、前記複数のバスを相互に接続するブリッ
   ジを有し、前記複数のバスの各々に前記複数の演算器の
   一部を接続し、同一のバスに接続された演算器間では該
   バスを介して直接通信を行い、異なるバスに接続された
   演算器間では前記複数のバスと前記複数のブリッジを介
   して通信を行うことを特徴とするマルチプロセッサシス
   テム。
3. 【請求項３】 請求項１または２に記載のマルチプロセ
   ッサシステムであって、前記プロセッサの各々が有する
   レジスタファイルを接続するバスを１または複数有し、
   異なるプロセッサの前記レジスタファイル間や前記レジ
   スタファイルと前記演算器間で通信を行うことを特徴と
   するマルチプロセッサシステム。
4. 【請求項４】 請求項１〜３いずれかに記載のマルチプ
   ロセッサシステムであって、前記プロセッサの補助とな
   る１または複数のコプロセッサと、１または複数のメモ
   リとを有し、前記バスにこれらのコプロセッサやメモリ
   を接続することで、前記演算器と前記コプロセッサやメ
   モリ間、もしくは前記レジスタファイルと前記コプロセ
   ッサやメモリ間、もしくは前記コプロセッサと前記メモ
   リ間で通信を行うことを特徴とするマルチプロセッサシ
   ステム。
5. 【請求項５】 請求項１〜４いずれかに記載のマルチプ
   ロセッサシステムであって、前記演算器に対応してデー
   タ到着を示す状態レジスタを有し、前記バスから前記演
   算器にデータが到着した際には該演算器の状態レジスタ
   を真に設定し、前記演算器が前記バスから到着したデー
   タを用いて演算を行った後には該演算器の状態レジスタ
   を偽に設定し、前記演算器が前記バスから到着したデー
   タを用いて演算を行う際に前記バスからのデータが到着
   していない場合、すなわち前記状態レジスタが偽である
   場合、前記状態レジスタが真になるまで該演算を待つこ
   とを特徴とするマルチプロセッサシステム。
6. 【請求項６】 請求項１〜５いずれかに記載のマルチプ
   ロセッサシステムであって、前記プロセッサの各々が有
   するフラグレジスタ等の状態レジスタやプログラムカウ
   ンタを前記バスに接続することにより、異なるプロセッ
   サの演算器、レジスタファイル、状態レジスタ、プログ
   ラムカウンタ間で通信を行うことを特徴とするマルチプ
   ロセッサシステム。
7. 【請求項７】 請求項１または２に記載のマルチプロセ
   ッサシステムであって、前記プロセッサの各々が有する
   レジスタファイルをバスを用いて接続し、これ等レジス
   タファイル間でレジスタの内容を直接コピーすることに
   よってプロセッサ間で通信を行なうようにし、前記プロ
   セッサの各々が有するフラグレジスタ等の状態レジスタ
   やプログラムカウンタを前記バスに接続することによ
   り、異なるプロセッサの演算器、レジスタファイル、状
   態レジスタ、プログラムカウンタ間で通信を行うことを
   特徴とするマルチプロセッサシステム。
8. 【請求項８】 請求項２〜７のいずれかに記載のマルチ
   プロセッサシステムであって、前記バスに接続された演
   算器やレジスタファイルやコプロセッサやメモリからの
   バス使用要求を調停するアービタを各バス毎に有し、各
   時刻毎のデータ転送動作を指示するタイムテーブルを前
   記ブリッジ毎に有し、前記ブリッジを越えない通信にお
   いては、各バス内で前記アービタによってバス使用要求
   の調停を行い、前記ブリッジを超える通信においては当
   該時刻において前記タイムテーブルによって許された経
   路の通信のみを前記アービタが許可することを特徴とす
   るマルチプロセッサシステム。
9. 【請求項９】 請求項２〜７のいずれかに記載のマルチ
   プロセッサシステムであって、前記バスに接続された演
   算器やレジスタファイルやコプロセッサやメモリからの
   バス使用要求を調停するアービタを各バス毎に有し、前
   記ブリッジから出力できないデータを一時保持しておく
   一時バッファを前記ブリッジ毎に有し、前記ブリッジを
   越えない通信においては各バス内で前記アービタによっ
   てバス使用要求の調停を行い、前記ブリッジを超える通
   信においては経路上の次のバスが使用可能であれば次に
   経由するブリッジまでデータを送信し、経路上の次のバ
   スが使用不可能であれば該バスが使用可能となるまでブ
   リッジにおいてデータを保持しておくことを特徴とする
   マルチプロセッサシステム。
10. 【請求項１０】 請求項８に記載のマルチプロセッサシ
    ステムであって、前記プロセッサが固定タイミングで動
    作を行うプロセッサと動的なタイミングで動作を行うプ
    ロセッサの２種類のプロセッサであり、前記アービタが
    固定タイミングで動作を行うプロセッサにかかる通信に
    対しては常に他のプロセッサの通信よりも優先してバス
    の使用許可を与えることを特徴とするマルチプロセッサ
    システム。
11. 【請求項１１】 請求項９に記載のマルチプロセッサシ
    ステムであって、前記プロセッサが固定タイミングで動
    作を行うプロセッサと動的なタイミングで動作を行うプ
    ロセッサの２種類のプロセッサであり、前記アービタが
    固定タイミングで動作を行うプロセッサにかかる通信に
    対しては常に他のプロセッサの通信よりも優先してバス
    の使用許可を与え、前記ブリッジにおいては保持されて
    いるデータよりも前記プロセッサにかかるデータを優先
    してバスに出力することを特徴とするマルチプロセッサ
    システム。