JPH0816475A - マルチプロセッサシステム - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、キャッシュメモリでのタグデュプ
リケーションを不要とし、低コストかつ高性能なマルチ
プロセッサシステムを実現することを目的とする。 【構成】 共有バスによって接続されているマルチプロ
セッサシステムにおいて、バスブリッジが有しているキ
ャッシュメモリタグ情報を用いて従来キャッシュメモリ
が行っていたバスリクエストに対するスヌープをバスブ
リッジで行い、その結果キャッシュメモリにスヌープを
行わせる必要がある場合はスヌープ要求信号をアサート
しキャッシュメモリにスヌープ動作を行わせる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は共有バスを用いてデータ
の一貫性を保持するマルチプロセッサシステムに関す
る。

【０００２】

【従来の技術】バススヌープによってデータの一貫性を
保証するマルチプロセッサシステムは良く知られてい
る。そのような方法を用いたシステムにおいてはバスに
リクエストが発行された時点でバスに接続されているキ
ャッシュメモリは各々のタグ情報を検査し、もしそのリ
クエストに対する最新のデータを有していればメモリか
らのデータ読み出しを抑止するためにメモリ抑止信号を
アサートする。これにより常に最新のデータが返される
ことを保証している。このような技術を使用しているバ
スとしては SPARC MBus 等が挙げられる。SPARC MBus
の詳細については文献 SPARC MBus Interface Specific
ation 、SPARC International に述べられている。

【０００３】図６にこれを用いた分散共有メモリマルチ
プロセッサシステムの構成例を示す。ローカル共有バス
に対してキャッシュメモリがコヒーレントリード(CR)リ
クエストを発行した場合、キャッシュメモリはそのリク
エストに対する最新のデータを有しているか否かを調べ
るためにデュプリケートされたタグ情報を検索する。そ
の結果最新のデータを有する場合はメモリインヒビット
信号(MIH) をアサートし、メモリの動作を抑止して最新
のデータを供給することで一貫性を保つ。

【０００４】もしこの検索がメモリのデータ読み出しよ
りも速い間は問題無いが、遅い場合はメモリからの読み
出しを待たせなければならず性能の低下を招くため通常
キャッシュメモリは前記のように共有バスからのスヌー
プのためにデュプリケートされたタグを有しているが、
そのためにハードウェア量と複雑度が増加することにな
るという問題点があった。

【０００５】一方、マルチプロセッサシステムのような
階層バス・システムにおけるキャッシュメモリ無効化処
理方式については、以下のような技術的背景がある。計
算機システムではプロセッサ、メモリ、I/O デバイスな
どのモジュールがバスで接続される。これらのモジュー
ル間のデータのやりとりは、あるモジュールがバス・マ
スターとなりバスにread/writeなどのバス命令を発行
し、これに対しそのバス命令の対象となるモジュール(
スレーブ・モジュールと呼ぶ) が応答信号を出力するこ
とによって行なう。

【０００６】例えばプロセッサ・モジュールがメモリ・
モジュールからデータを読み出す時、プロセッサはバス
にread命令を発行する。メモリ・モジュールはメモリか
ら対象となるデータを読みだしてバスに出力し、応答信
号を出力することによってデータの準備ができたことを
プロセッサに知らせる。プロセッサはこの信号を見てバ
スにデータが出ていることを知りバス上のデータを取り
込む。

【０００７】メモリの一時的なコピーを格納するキャッ
シュメモリをもつモジュールが複数あるマルチプロセッ
サシステムなどのシステムでは、複数のモジュールが同
じデータを共有している時に、いずれかのモジュールが
この共有しているデータを書き換える場合は、バスに無
効化命令を発行することにより他のモジュールのキャッ
シュメモリのデータを無効にする。この時無効化命令に
よって無効化処理を行なう他のモジュールが次のバス命
令を受けつけることができる状態になった時点で無効化
処理を受け付けたこととするので、応答信号は、全ての
モジュールで無効化命令の処理を終了した時点で出力さ
れる。

【０００８】その理由の一つは、同時更新の防止であ
る。メモリの更新は直前の値に基づいて行なわれること
が多いが、マルチプロセッサシステムでは、２つ以上の
プロセッサが１つの値を取り込み、それぞれに更新を行
ない、相次いで書き込んでしまうと、後から書き込みを
行なった結果は、先に書き込まれた値に基づいておら
ず、不都合を生じる。例えば、test-and-set命令やswap
命令など、読み出しと書き込みを１つの命令で実行し、
その間に、他のプロセッサの読み出し・書き込みが入り
込まないという性質を用いたspin lock では、書き込み
に伴う無効化処理が全てのプロセッサで完了した後に始
めてそれらの命令が終了すべきである。さもないと、キ
ャッシュ上にコピーされたunlock状態を２以上のプロセ
ッサが取得し、排他制御が実現できなくなる。無効化処
理が完了したキャッシュは更新された値を新たに取得す
るため、直前の値に基づく処理を行ない、正しく排他制
御を実現する。

【０００９】また、別の理由は、キャッシュがプロセッ
サのアクセス単位よりも大きい( アクセス単位の整数倍
の) キャッシュラインを単位に管理されていることに起
因する。同じキャッシュラインの別のアクセス単位を更
新するアクセスが２以上のプロセッサで同時に実行され
た場合、どちらのキャッシュラインも更新前の値をそれ
ぞれ保持しているため、無効化処理が完全に行なわれな
いと、先にバスを取得して書かれた内容が、その後のア
クセスによって書き潰されて、あたかも蒸発したような
現象が生じるという問題がある。

【００１０】このため、書き込みのは、全てのキャッシ
ュで無効化処理が完了した後に完了するように設計する
ことが一般的であるが、無効化処理は比較的時間を必要
とするものであり、システム全体の性能低下を免れない
という問題点があった。

【００１１】無効化応答信号を出力する方法は、 1. 無効化処理の最大時間をあらかじめ決め、１つのモ
ジュールが代表して応答信号を出力する方法、 2. 各々のモジュールが無効化要求を受け付けた時点で
それぞれの無効化応答信号を出力する方法、 3. 各々のモジュールが無効化要求を受け付けるまでop
en drainの信号をアサートし続け、wired ORの原理に従
って、全体の無効化が完了したことを知る方法、などが
ある。

【００１２】無効化処理の完了時間は、階層バス・シス
テムを用いた場合に顕著に増大する。階層バス・システ
ムとは、以上に述べた一つのバス( 以下ローカル・バス
と呼ぶ) に複数のモジュールが接続されたものがグロー
バル・バスと呼ばれるバスで接続されるシステムである
( 図７) 。各ローカル・バスはバス・ブリッジと呼ばれ
るモジュールを介してグローバル・バスと接続される。

【００１３】このような階層バス・システムにおいて無
効化命令を行なうときの従来の方式での動作を、キャッ
シュメモリ(3) とキャッシュメモリ(6) にメモリの1000
番地のデータが格納されている時にプロセッサ(7) がそ
の番地のデータを書き換える場合の動作について説明す
る。

【００１４】1. まずプロセッサ(7) はローカル・バス
(1) に1000番地に対する無効化命令を発行する。 2. プロセッサ(8) およびバス・ブリッジ(8) は無効化
命令をみてそれぞれ無効化処理実行中信号(15)をアサー
トする。

【００１５】3. プロセッサ(8) はキャッシュメモリに
1000番地のデータがないことを確認した後無効化処理実
行中信号(15)をアサートするのを中止する。ただしバス
・ブリッジ(11)はアサートし続ける。

【００１６】4. バス・ブリッジ(11)はグローバル・バ
ス(13)の使用要求を出す。 5. バス・ブリッジ(11)はグローバル・バス(13)の使用
権利を得られた場合は無効化処理実行中信号(15)をアサ
ートしたまま、グローバル・バス(13)に無効化命令を発
行する。バス・ブリッジ(11)がグローバル・バス(13)の
使用権利を得るまえにバス・ブリッジ(12)がグローバル
・バス(13)の使用権利を得て、同じアドレスのデータに
対するバス命令が発行した場合は、バス・ブリッジ(11)
はプロセッサ(7) が発行した無効化命令に対して再実行
応答を返し、ローカル・バス(1)上での無効化命令を一
旦完了させた後、ローカル・バス(1) にグローバル・バ
スから受けたバス命令を発行する。無効化命令に対して
再実行応答を受けたプロセッサ(7) は、ローカル・バス
(1) に発行されたバス命令の処理をした後、受けとった
命令が無効化を必要とする命令であった場合は無効化re
ad命令を、受けとった命令がその他のものであったら以
前のままの無効化命令を発行する。

【００１７】6. グローバル・バス(13)に発行された無
効化命令を受けて、バス・ブリッジ(12)はローカル・バ
ス(2) に1000番地に対する無効化命令を発行する。 7. プロセッサ(9) およびバス・ブリッジ(10)は無効化
命令をみてそれぞれ無効化処理実行中信号(16)をアサー
トする。

【００１８】8. プロセッサ(10)はキャッシュメモリに
1000番地のデータがないことを確認 した後無効化処理実行中信号(16)をアサートするのを中
止する。一方プロセッサ(9) は無効化処理実行中信号(1
6)をアサートしたまま1000番地のデータの無効化処理を
開始する。

【００１９】9. プロセッサは無効化処理が完了した後
無効化処理実行中信号(16)をアサートするのを中止す
る。 10. プロセッサ(9), (10) が無効化処理実行中信号(1
6)をアサートするのを中止した時点でバス・ブリッジ(1
2)はグローバル・バスの無効化命令に対して完了応答を
返し、グローバル・バス上での無効化命令を完了する。

【００２０】11. バス・ブリッジ(11)はこの応答を受
けて無効化処理実行中信号(15)をアサートするのを中止
する。 12. 無効化命令を発行したプロセッサ(7) はプロセッ
サ(9) とバス・ブリッジ(11)の両方が無効化処理実行中
信号をデ・アサートしたことを見て無効化命令が完了し
たことを知り、次の命令の処理を開始する。この様に、
N 階層のバスに跨る無効化処理を行なうには、2N-1段の
バス遅延を伴うのが従来の技術であった。

【００２１】

【発明が解決しようとする課題】特願平05-199772 号で
開示されている共有バスがバスブリッジを介してシステ
の他の部分と一貫性を保持して結合されているマルチプ
ロセッサシステムにおいて、バスブリッジはシステムの
他の部分からのリクエストに対してスヌープを行うため
に、共有バスに接続されているキャッシュメモリのタグ
情報を有している。このようなシステムにおいてはバス
ブリッジにおいて共有バス上のリクエストに対するスヌ
ープを行うことでキャッシュメモリ側のタグデュプリケ
ーションは不要になる。

【００２２】本発明の第１の発明はこの点に鑑みてなさ
れたものであり、共有バスがバスブリッジによってシス
テムの他の部分と一貫性を保持して結合されているよう
なシステムにおいて、バスブリッジの有するキャッシュ
タグ情報を用いて共有バス上のリクエストのスヌープを
行わせることでキャッシュメモリ側でのタグデュプリケ
ーションをなくすことができ、キャッシュメモリのハー
ドウェア量を減らしかつ単純化を可能とし、より安価で
高速なシステムを提供することを目的とする。

【００２３】一方、従来の階層バス・システムでは、無
効化命令を発行した場合、無効化命令を発行したモジュ
ールが接続されたローカル・バス以外の全てのローカル
・バスで無効化命令が完了した後にグローバル・バスで
無効化命令が完了し、さらにこのグローバル・バスで無
効化命令が完了した後に無効化命令を発行したローカル
・バスの無効化命令が完了する。よって無効化命令が完
了するまではグローバル・バス、無効化命令を発行した
モジュールが接続されるローカル・バスは使用できな
い。さらに無効化命令を発行したモジュールは無効化命
令が完了するまで次の処理を開始することができない。

【００２４】本発明の第２の発明はこの点に鑑みてなさ
れたものであり、階層バス・システムにおいて、無効化
命令が発行される場合のバスの使用効率を上げ、さらに
無効化命令を発行したモジュールが早期に次の処理に移
ることのできるシステムを提供することを目的とする。

【００２５】

【課題を解決するための手段】本発明の第１の発明は、
第１のバスによって接続された複数のノードの間でデー
タの一貫性を保持するマルチプロセッサシステムであっ
て、該ノードは、キャッシュメモリを備えるプロセッサ
と、メモリ装置と、前記プロセッサと前記メモリ装置と
を接続する第２のバスと、前記プロセッサ及び前記メモ
リ装置と前記第１のバスとを結合するバスブリッジ装置
とを備え、該バスブリッジ装置は、前記第２のバスに結
合されているキャッシュメモリのタグ情報をシミュレー
トする手段と、この手段により得られたタグ情報に基づ
き前記メモリ装置に対してメモリ動作を抑止することを
示すメモリ抑止信号を出力する手段と、前記タグ情報に
基づき前記キャッシュメモリに対してスヌープ動作を行
う必要があることを示すスヌープ要求信号を出力する手
段とを具備するものであることを特徴とする。

【００２６】本発明の第２の発明は、第１のバスによっ
て接続された複数のノードの間でデータの一貫性を保持
するマルチプロセッサシステムであって、該ノードは、
キャッシュメモリを備えるプロセッサと、前記プロセッ
サを接続するための第２のバスと、前記第２のバスと前
記第１のバスとを結合するためのバスブリッジ装置とを
備え、該バスブリッジ装置は、前記第１のバスを使用す
る権利を獲得したバス命令を、このバス命令と同時に到
着し且つ同じメモリアドレスに対するものである他のバ
ス命令に優先して前記第２のバスに発行する手段と、前
記第２のバスからの前記キャッシュメモリに対する無効
化命令を前記第１のバスに発行する場合に、前記第１の
バスを使用する権利を獲得した時点で、前記無効化要求
が完了したことを示す信号を前記第２のバスに出力する
手段とを具備するものであることを特徴とする。

【００２７】

【作用】本発明の第１の発明によれば、あるキャッシュ
メモリから共有バス（第２のバス）に対してリクエスト
が発行された場合、バスブリッジは現在のタグ情報を検
索し、もし共有バス（第２のバス）に接続されているい
ずれかのキャッシュメモリが最新のデータを有する場合
にはメモリ抑止信号とそのキャッシュメモリに対するス
ヌープ要求信号をアサートすることで一貫性を保持する
ように作用する。

【００２８】またシステムの他の部分からのリクエスト
（第１のバスを介して送信される）によりバスブリッジ
から共有バス（第２のバス）にリクエストを発行する場
合、バスブリッジはリクエストを発行する前に並行して
タグ情報を検索し、もし共有バス（第２のバス）に接続
されているいずれかのキャッシュメモリが最新のデータ
を有する場合にはメモリ抑止信号とそのキャッシュメモ
リに対するスヌープ要求信号をアサートすることで一貫
性を保持するように作用する。

【００２９】いずれの場合もバスブリッジはリクエスト
の処理に伴いタグ情報をタグ情報シミュレーション手段
により必要に応じて更新するように作用する。本発明の
第２の発明によれば、階層バス・システムにおいてある
モジュールから無効化命令が発行された場合に、そのモ
ジュールと同じローカル・バス（第２のバス）に接続さ
れるバス・ブリッジがグローバル・バス（第１のバス）
の使用権を得た時点で応答を返すことにより、そのロー
カル・バス上での無効化命令は完了し、次のバス命令を
発行することが可能となり、さらに無効化命令を発行し
たモジュールは無効化命令を次の処理を開始することが
可能となる。

【００３０】またバス・ブリッジがグローバル・バスに
対して発行された無効化命令に対してグローバル・バス
に接続されている他のバス・ブリッジがその無効化命令
を受け付けた時点で、各バス・ブリッジが接続されるロ
ーカル・バス上での無効化命令が完了するのを待つこと
なく、グローバル・バス上の無効化命令を完了するため
グローバル・バスを次のバス命令のために使用すること
が可能となる。

【００３１】

【実施例】

（実施例１）以下本発明の第１の発明の実施例を図面に
より説明する。図１は本発明の一実施例によるマルチプ
ロセッサシステムの概略構成図を示している。１００は
ノード１、２００はノード２でありシステム共有バス３
００によって結合されている。ノード１においては CPU
１０１、CPU １０２がそれぞれキャッシュメモリ１０
３、キャッシュメモリ１０４に接続され、キャッシュメ
モリ１０３、キャッシュメモリ１０４、ローカルメモリ
１０５はローカル共有バス１０６によって接続されてい
る。バスブリッジ１０７はそれらをシステム共有バス３
００と接続する。

【００３２】キャッシュメモリ１０３はCPU タグ情報１
０８、キャッシュメモリ１０４はCPU タグ情報１０９を
持ちCPU １０１とローカル共有バス１０６からのリクエ
ストに対してキャッシュデータがヒットしたか否か、キ
ャッシュデータの状態等を保持する。

【００３３】バスブリッジ１０７はタグ情報シミュレー
ション手段１１０とタグスヌープ手段１１１とによって
キャッシュメモリ１０３に対応するシミュレートされた
バスタグ情報１１２とタグメモリ１０４に対応するシミ
ュレートされたバスタグ情報１１３に接続されている。
バスブリッジ１０７はさらにローカル共有バス１０６と
システム共有バス３００からのリクエストに対してスヌ
ープを行った結果キャッシュメモリ１０３とキャッシュ
メモリ１０４に対して各々介入を行う必要があるかどう
かを判定するスヌープ要求判定部１１４とローカルメモ
リ１０５に対してメモリ動作を抑止するかどうかを判定
するメモリ抑止判定部１１５を持ち、前記スヌープ要求
判定部はスヌープ要求信号１１６、スヌープ要求信号１
１７によりキャッシュメモリ１０３とキャッシュメモリ
１０４に接続され、前記メモリ抑止判定部はメモリ抑止
信号１１８によりローカルメモリ１０５に接続されてい
る。

【００３４】ノード２はノード１と同様に構成されてお
り、詳細の説明は割愛する。このように構成されたマル
チプロセッサシステムは次のように動作する。ここでキ
ャッシュメモリは M（排他ダーティ） O（共有ダーテ
ィ） E（排他クリーン） S（共有クリーン） I（無効）
の５状態をとるライトインバリデート型コピーバック
プロトコルを採用するものと仮定する。キャッシュメモ
リの動作とタグの状態遷移については本発明と直接関係
するものでなく説明は割愛する。

【００３５】詳細は文献 A Class of Compatible Cache
Consistency Protocols and theirSupport by The IEE
E Futurebus、13th ISCA,June 1986.(Paul Sweazey, Al
anJay Smith)に述べられている。また本実施例において
はローカル共有バス、システム共有バスに前述の SPARC
MBus を採用した例を示す。

【００３６】CPU １０１からキャッシュメモリ１０３に
対してローカルメモリ１０５のアドレスを有する CR
（共有読み出し） リクエストが発行された場合、キャ
ッシュメモリ１０３は前記プロトコルに基づいて動作す
る。本発明においてはキャッシュヒットした場合は重要
ではないためキャッシュミスを起こした場合について考
える。キャッシュミス時にはキャッシュメモリ１０３か
らローカル共有バス１０６に対してCRリクエストが発行
される。バスブリッジ１０７はタグスヌープ手段１１１
によりCPU １０２に対応するバスタグ情報１１３を検索
しその結果に応じてCPU １０２に接続されるスヌープ要
求信号１１７とローカルメモリ１０５に接続されるメモ
リ抑止信号１１８を出力する。

【００３７】バスタグ情報と出力信号の対応について図
２に示す。CPU １０２からキャッシュメモリ１０４に対
してローカルメモリ１０５のアドレスを有するCRリクエ
ストが発行され、同様にキャッシュメモリ１０４におい
てキャッシュミスが発生した場合、同様にローカル共有
バス１０６に対してCRリクエストが発行される。

【００３８】バスブリッジ１０７はタグスヌープ手段１
１１によりCPU １０１に対応するバスタグ情報１１２を
検索しその結果に応じてCPU １０１に接続されるスヌー
プ要求信号１１６とローカルメモリ１０５に接続される
メモリ抑止信号１１８を出力する。バスタグ情報と出力
信号の対応は同じく図２に示した通りである。

【００３９】これまではキャッシュメモリからローカル
共有バスへのCRリクエストが発行された場合について述
べたが、もう一つのケースであるシステム共有バスから
バスブリッジを通してローカル共有バスへCRリクエスト
が発行される場合について述べる。一つの例としてはCP
U ２０１からキャッシュメモリ２０３に対してローカル
メモリ１０５のアドレスを有するCRリクエストが発行さ
れ、キャッシュメモリ２０３においてキャッシュミスが
発生したとするとそのCRリクエストはまずローカル共有
バス２０６へ発行される。バスブリッジはタグスヌープ
手段１１１によってキャッシュメモリ２０４に対するバ
スタグ情報２１３を検索する。

【００４０】ここで自ノード内に有効なデータが存在し
ない場合共有バス３００へのCRリクエストが発行され
る。どのような場合に共有バスへのCRリクエストが発行
されるかについては本発明の本質とは関係ないため詳細
な説明は割愛する。詳しくは前述の特願平05-199772 号
に述べられている。もう一方のバスブリッジ１０６はタ
グスヌープ手段１１１によりCPU １０１に対応するバス
タグ情報１１２とCPU １０２に対応するバスタグ情報１
１３を検索し、その結果に応じてスヌープ要求信号１１
６、１１７とメモリ抑止信号１１８を出力する。タグ情
報と出力信号の関係を図３に示す。

【００４１】CRリクエストの代わりにCRI （排他読み出
し）リクエストが発行された場合も同様に動作する。こ
の場合はリクエストが完了した後のタグ遷移が異なる。
CI（無効化要求）リクエスト、CWI リクエスト、RDリク
エスト、WR（書き戻し）リクエストについては本発明と
は無関係なので説明は割愛する。

【００４２】いずれの場合もリクエストが実行されると
バスブリッジのタグ情報シミュレーション手段によりバ
スタグ情報が必要に応じて更新される。タグ情報シミュ
レーション手段はローカル共有バス上のリクエスト種別
とそれに対するバス上での応答を監視することでキャッ
シュメモリ内のCPU タグ情報をシミュレートすることが
出来る。本実施例ではローカル共有バスに SPARC MBus
を使用した場合のバスタグ情報の遷移について図４、図
５に示す。図４はリクエストを発行したプロセッサにつ
いてのバスタグ情報の遷移である。図５はリクエストを
発行していないプロセッサについてのバスタグ情報の遷
移である。

【００４３】この例の場合 CPUからキャッシュメモリへ
のライトヒットが発生した場合にはローカル共有バスに
おいてそれを知ることができないため一時的にバスブリ
ッジのバスタグ情報とキャッシュメモリのCPU タグ情報
が一致しない場合がある。これはバスブリッジのバスタ
グ情報が Eを示しているときにはライトヒットによりキ
ャッシュメモリのCPU タグ情報が Mに変わった場合であ
り、このためバスブリッジのバスタグ情報が Eを示す場
合にはスヌープ要求信号とメモリ抑止信号をアサートし
てキャッシュメモリ中のCPU タグ情報を検索する必要が
ある。ただし別途ライトヒットを検出する信号を設けれ
ばバスブリッジとキャッシュメモリのタグ情報を一致さ
せることができるため、不必要なスヌープは発生しな
い。

【００４４】なお本実施例では２つのノードがシステム
共有バスによって接続されるとしたが、ノードの数がそ
れ以上であっても本発明の有効性は変わらない。また本
実施例ではローカル共有バスに２つのCPU がそれぞれの
キャッシュを通して接続されるとしたが、CPU とキャッ
シュの対の数は任意であり、その数に応じてバスブリッ
ジにタグ情報を接続すればよく、本発明の有効性は変わ
らない。

【００４５】また本実施例はシステム共有バスとローカ
ル共有バスの２つの階層を持つシステムとしたが、階層
間においてバスブリッジを同様に構成すればより多段の
階層をとることも可能でありその変形はいろいろと考え
ることができるが、どのような変形においても本発明の
有効性は変わらない。

【００４６】また本実施例ではローカル共有バスとシス
テム共有バスに SPARC MBus を採用した例を用いたが、
本発明はこれに制限されるものではなく様々なバスプロ
トコルに応用することができその有効性は変わらない。

【００４７】また本実施例ではスヌープ要求信号とメモ
リ抑止信号は独立した信号としたが、本発明はこれに制
限されるものではなく、これらを一つの信号として接続
することも可能であり、その有効性は変わらない。 （実施例２）以下本発明の第２の発明の実施例を図面に
より説明する。図７に本発明の一実施例によるマルチプ
ロセッサシステムの全体構成を示す。２組のローカル・
バス(1, 2) にそれぞれキャッシュメモリ(3, 4, 5, 6)
をもった２組のプロセッサ・モジュール(7,8,9,10)
とバス・ブリッジ(11, 12) が接続され、これらのロー
カル・バスはバス・ブリッジを介してグローバル・バス
と接続される。さらにグローバル・バスには２つのバス
・ブリッジの他にメモリ・モジュール(14)が接続され
る。ローカル・バスにはopen drain の無効化処理実行
中信号(15, 16)があり、それぞれプロセッサ・モジュー
ルとバス・ブリッジに接続されている。ローカル・バス
に無効化命令が発行された場合、プロセッサモジュール
とバス・ブリッジは次のバス命令を受け付けることがで
きる状態になるまでこの信号をアサートし続ける。ロー
カル・バスに接続されたモジュールはこの信号がアサー
トされている間は次のバス命令を発行することができな
い。

【００４８】図８は図７中のバス・ブリッジ(11,12) の
概略構成を示している。バス・ブリッジは、ローカル・
バスに接続されたバスモジュールが発行したバス命令を
受け付ける、ローカル・バス命令受付部と、ローカル・
バス命令受付部で受け付けたバス命令に従って、グロー
バル・バスの使用権を要求するグローバル・バス要求発
生部を備える。グローバル・バス(13)上には、グローバ
ル・バスに接続された複数のバスモジュールからのバス
使用要求に対して、同時にただ一つのバスモジュールが
グローバル・バスを使用するように調停する、グローバ
ル・バス調停部がある。

【００４９】バス・ブリッジは、さらに、グローバル・
バス調停部によりグローバル・バスの使用権を得た後、
ローカル・バス命令受付部で受け付けたバス命令をグロ
ーバル・バスに発行するグローバル・バス命令発行部
と、グローバル・バスに接続されたバスモジュールが発
行したバス命令を受け付ける、グローバル・バス命令受
付部と、グローバル・バス命令受付部で受け付けたバス
命令に従って、ローカル・バスの使用権を要求するロー
カル・バス要求発生部を備える。ローカル・バス(1,2)
上には、複数のローカル・バスに接続されたバスモジュ
ールからのバス使用要求に対して、同時に他だ一つのバ
スモジュールがローカル・バスを使用するように調停す
る、ローカル・バス調停部がある。

【００５０】バス・ブリッジは、さらに、ローカル・バ
ス調停部によりローカル・バスの使用権を得た後、グロ
ーバル・バス命令受付部で受け付けたバス命令をローカ
ル・バスに発行するローカル・バス命令発行部と、ロー
カル・バス命令受付部とグローバル・バス命令受付部と
で同じキャッシュ・ラインに対するバス命令を受け付け
た時に、ローカル・バスのバス命令に対して、バスの使
用を中断し、再実行促す再実行通知部と、ローカル・バ
ス命令受付部で受け付けた無効化命令をグローバル・バ
スに発行するためにグローバル・バス調停部からグロー
バル・バスの使用権を獲得できた時点で、ローカル・バ
スに完了応答を返す、先行応答部とを備える。

【００５１】この構成により、２つのローカル・バスに
おいてバス命令が同時に発行された場合、各々のローカ
ル・バスに接続されたバス・ブリッジの要求発生部がグ
ローバル・バスの使用権を要求する。この時、グローバ
ル・バス上の優先順位決定部は、これらの要求のうちか
ら１つを選択し、グローバル・バスの使用権を与える。

【００５２】使用権を獲得したバス・ブリッジのローカ
ル・バスのバス命令に対し、その時点で、先行応答部が
完了応答を返す。その他のバス命令に対しては、再実行
通知部が再実行を指示する再実行応答を返す。

【００５３】その後グローバル・バスから来た命令が、
優先命令発行部によって、グローバル・バスを獲得でき
なかったローカル・バスに発行される。グローバル・バ
スが獲得できなかったローカル・バスは、このバス命令
が完了した後、バス命令再発行部によって取り消された
バス命令が再発行され、処理を継続する。この時、先に
グローバル・バスから発行された命令によってキャッシ
ュの状態が変化していることがあるため、以前と異なる
バス命令を発行する場合や再発行しない場合もある。

【００５４】したがって、無効化命令がバス・ブリッジ
に発行され、グローバル・バスの使用権を獲得した時点
で、その無効化命令が他のローカル・バスに発行され、
完了することが保証されるので、ローカル・バス上での
無効化命令が完了するのを待つことなく、ローカル・バ
スに応答を返すことによりこのローカル・バス上での無
効化命令を完了する。さらにグローバル・バスに接続さ
れている全てのバス・ブリッジでその無効化命令が受け
付けた時点で、各バス・ブリッジが接続されるグローバ
ル・バス上の無効化を完了する。

【００５５】以下には、キャッシュメモリ(3) とキャッ
シュメモリ(6) にメモリの1000番地のデータが格納され
ている時にプロセッサ(7) がその番地のデータを書き換
える場合の動作について説明する。

【００５６】1. まずプロセッサ(7) はローカル・バス
(1) に1000番地に対する無効化命令を発行する。 2. プロセッサ(8) およびバス・ブリッジ(11)は無効化
命令をみてそれぞれ無効化処理実行中信号(15)をアサー
トする。

【００５７】3. プロセッサ(8) はキャッシュメモリに
1000番地のデータがないことを確認した後無効化処理実
行中信号(15)をアサートするのを中止する。ただしバス
・ブリッジ(11)はアサートし続ける。

【００５８】4. バス・ブリッジ(11)はグローバル・バ
ス(13)の使用要求を出す。 5. バス・ブリッジ(11)はグローバル・バス(13)の使用
権利を得られた場合はグローバル・バス(13)に無効化命
令を発行し、さらに無効化処理実行中信号(15)をアサー
トするのを中止する。バス・ブリッジ(11)がグローバル
・バス(13)の使用権利を得る前にバス・ブリッジ(12)が
グローバル・バス(13)の使用権利を得て、同じアドレス
のデータに対するバス命令が発行された場合は、バス・
ブリッジ(11)はプロセッサ(7) が発行した無効化命令に
対して再実行応答を返し、ローカル・バス(1) 上での無
効化命令を一旦完了させた後、ローカル・バス(1) にグ
ローバル・バスから受けたバス命令を発行する。無効化
命令に対して再実行応答を受けたプロセッサ(7) は、ロ
ーカル・バス(1) に発行されたバス命令の処理をした
後、受けとった命令が無効化を必要とする命令であった
場合は無効化read 命令を、受けとった命令がその他の
ものであったら以前のままの無効化命令を発行する。

【００５９】6. ここで無効化処理実行中信号(15)をア
サートするモジュールがなくなるのでプロセッサ(7) は
無効化処理が完了したものとして次の処理を始める。ロ
ーカル・バス(3) は、次のバス命令を発行できる状態に
なる。

【００６０】7. グローバル・バスに発行された無効化
命令を受けて、バス・ブリッジ(12)はローカル・バスに
1000番地に対する無効化命令を発行する。 8. プロセッサ(9) およびバス・ブリッジ(10)は無効化
命令をみてそれぞれ無効化処理実行中信号(16)をアサー
トする。

【００６１】9. プロセッサ(10)はキャッシュメモリに
1000番地のデータがないことを確認した後無効化処理実
行中信号(16)をアサートするのを中止する。一方プロセ
ッサ(9) は無効化処理実行中信号(16)をアサートしたま
ま1000番地のデータの無効化処理を開始する。

【００６２】10. プロセッサは無効化処理が完了した
後無効化処理実行中信号(16)をアサートするのを中止す
る。ここでシステム全体での無効化処理が完了する。 また本実施例ではグローバル・バスに接続されているモ
ジュールは２つのバス・ブリッジと無効化処理を行なう
必要のないメモリだけであるため、通常のバス応答で無
効化処理の完了を通知することができるためグローバル
・バスには無効化処理実行中信号を設けていないが、バ
ス・ブリッジが３つ以上ある場合などはローカル・バス
と同様に無効化処理実行中信号を設けることも可能であ
る。

【００６３】

【発明の効果】かかるように本発明の第１の発明によれ
ば、共有バスを用いた分散共有マルチプロセッサシステ
ムにおいて、共有バスに接続されるキャッシュメモリは
バススヌープのためのタグデュプリケーションを必要と
しないため、ハードウェア量を減らすことができる。ま
たハードウェアを簡単化できるため、より高速なシステ
ムを安価に提供できるという絶大なる効果を奏するもの
である。

【００６４】また、本発明の第２の発明によれば、階層
バス・システムにおける無効化命令におけるバスの使用
効率を上げ、さらに無効化命令を発行したモジュールは
無効化命令が完了するまでの時間が短くなるため早期に
次の処理を開始することができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施例に係るマルチプロセッ
サシステムの概略構成図。

【図２】 プロセッサからローカル共有バスへリクエス
トが発行された場合のタグ情報と出力信号の対応表を示
す図。

【図３】 システム共有バスからローカル共有バスへリ
クエストが発行された場合のタグ情報と出力信号の対応
表を示す図。

【図４】 リクエストを発行したプロセッサについての
タグ情報の遷移表を示す図。

【図５】 リクエストを発行していないプロセッサにつ
いてのタグ情報の遷移表を示す図。

【図６】 従来の技術を示す概略構成図。

【図７】 本発明の第２の実施例に係るマルチプロセッ
サシステムの概略構成図。

【図８】 本実施例におけるバス・ブリッジの構成を示
す図。

【符号の説明】

１００、２００…ノード ３００…システム共有バス １０１、１０２、２０１、２０２…プロセッサ １０３、１０４、２０３、２０４…キャッシュメモリ １０５、２０５…ローカルメモリ １０６、２０６…ローカル共有バス １０７、２０７…バスブリッジ １０８、１０９、２０８、２０９…CPU タグ情報 １０８’、１０９’、２０８’、２０９’…デュプリケ
ートされたCPU タグ情報 １１０、２１０… タグ情報シミュレーション手段 １１１、２１１…タグスヌープ手段 １１２、１１３、２１２、２１３…バスタグ情報 １１４、２１４…スヌープ要求判定手段 １１５、２１５…メモリ抑止判定手段 １１６、１１７、２１６、２１７…スヌープ要求信号 １１８、２１９…メモリ抑止信号 １１９、２１９…メモリインヒビット信号(MIH) １、２…ローカル・バス ３、４、５、６…キャッシュメモリ ７、８、９、１０…プロセッサ １１、１２…バス・ブリッジ １３…グローバル・バス １４…メモリ・モジュール １５、１６…無効化処理実行中信号 １７、１８…pull-up 抵抗

───────────────────────────────────────────────────── フロントページの続き (72)発明者 若森 修 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (2)

【特許請求の範囲】
1. 【請求項１】 第１のバスによって接続された複数のノ
   ードの間でデータの一貫性を保持するマルチプロセッサ
   システムであって、 該ノードは、 キャッシュメモリを備えるプロセッサと、 メモリ装置と、 前記プロセッサと前記メモリ装置とを接続する第２のバ
   スと、 前記プロセッサ及び前記メモリ装置と前記第１のバスと
   を結合するバスブリッジ装置とを備え、 該バスブリッジ装置は、 前記第２のバスに結合されているキャッシュメモリのタ
   グ情報をシミュレートする手段と、 この手段により得られたタグ情報に基づき前記メモリ装
   置に対してメモリ動作を抑止することを示すメモリ抑止
   信号を出力する手段と、 前記タグ情報に基づき前記キャッシュメモリに対してス
   ヌープ動作を行う必要があることを示すスヌープ要求信
   号を出力する手段とを具備するものであることを特徴と
   するマルチプロセッサシステム。
2. 【請求項２】 第１のバスによって接続された複数のノ
   ードの間でデータの一貫性を保持するマルチプロセッサ
   システムであって、 該ノードは、 キャッシュメモリを備えるプロセッサと、 前記プロセッサを接続するための第２のバスと、 前記第２のバスと前記第１のバスとを結合するためのバ
   スブリッジ装置とを備え、 該バスブリッジ装置は、 前記第１のバスを使用する権利を獲得したバス命令を、
   このバス命令と同時に到着し且つ同じメモリアドレスに
   対するものである他のバス命令に優先して前記第２のバ
   スに発行する手段と、 前記第２のバスからの前記キャッシュメモリに対する無
   効化命令を前記第１のバスに発行する場合に、前記第１
   のバスを使用する権利を獲得した時点で、前記無効化要
   求が完了したことを示す信号を前記第２のバスに出力す
   る手段とを具備するものであることを特徴とするマルチ
   プロセッサシステム。