JPH06318177A

JPH06318177A - キャッシュ・ミス・ペナルティを減少させる方法、装置及びコンピュータ・システム

Info

Publication number: JPH06318177A
Application number: JP5124787A
Authority: JP
Inventors: N Patel Rajiv; ラジヴ・エヌ・パテル; Maramii Adam; アダム・マラミイ; M Hayes Norman; ノーマン・エム・ヘイーズ
Original assignee: Sun Microsystems Inc
Current assignee: Sun Microsystems Inc
Priority date: 1992-04-29
Filing date: 1993-04-30
Publication date: 1994-11-15
Also published as: KR930022210A; US5353426A; KR100278328B1

Abstract

(57)【要約】（修正有）【目的】同じクロック・サイクルにおける読み取り及
び書き込み操作を可能にし、さらに、ＣＰＵの遊休時間
を短縮する、キャッシュ・メモリアクセス。【構成】キャッシュ・アレイ、キャッシュ・タグ及び
比較装置、及び、キャッシュ・マルチプレクサが、キャ
ッシュ・メモリに対して設けられる。キャッシュ・タグ
及び比較装置は、キャッシュ・タグ・アレイ、キャッシ
ュ・ミス・バッファ、及び、制御論理回路から構成され
る。キャッシュ・ミス・バッファは、進行中のキャッシ
ュ充填の現在の状況を識別するキャッシュ・ミス記述情
報を備えている。制御論理回路は、タグ突き合わせ操作
を実施するための複数の組み合わせ論理回路から構成さ
れる。タグ突き合わせ操作の結果に従って、さらに、ア
クセス・アドレスが、現在キャッシュ充填が行われてい
るメモリ・ブロック・フレームの一部をなす場合におけ
る現在のキャッシュ充填の状況に従って、制御論理回路
は、キャッシュ・アレイ、キャッシュ・マルチプレク
サ、主メモリ、及び、命令／データ宛先に適合する信号
を送る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータ・システ
ム及びそのキャッシュ・メモリの分野に関するものであ
る。とりわけ、本発明は、キャッシュ・ミスに関するも
のである。

【０００２】

【従来の技術】一般に、コンピュータ・システムの中央
演算処理装置（ＣＰＵ）は、主メモリよりもかなり高速
度で動作する。主メモリからのデータまたは命令を待つ
間におけるＣＰＵの頻繁な遊休状態を回避するため、主
メモリよりも高速度で動作可能なキャッシュ・メモリを
利用して、主メモリとＣＰＵの間におけるデータ及び命
令のバッファリングを行うことが多い。主メモリの記憶
場所に納められたデータ及び命令のマッピングが、キャ
ッシュ・メモリのブロック・フレームに対して行われ
る。各ブロック・フレームは、複数のデータ及び命令を
納める複数の記憶場所に対応した、複数のブロック・オ
フセットから構成される。ＣＰＵ全体の性能をさらに向
上させるため、コンピュータ・システムには、データに
関するキャッシュ・メモリと、命令に関するキャッシュ
・メモリといった、独立したキャッシュ・メモリを利用
するものもある。

【０００３】しかし、独立したキャッシュ・メモリの利
用は、この問題の完全な解決にはならない。キャッシュ
の読み取りミスが生じると、すなわち、ＣＰＵが要求す
るデータまたは命令が、キャッシュ・メモリになけれ
ば、キャッシュ・メモリは、主メモリからそのデータま
たは命令を検索しなければならない。これを行うには、
要求されたデータまたは命令を含むデータまたは命令の
全ブロック・フレームを検索することになるのが普通で
あり、ＣＰＵは、検索が終了するまで遊休状態になる。
他のキャッシュの性能問題及び改良技法については、
Ｊ．Ｌ．Ｈｅｎｎｅｓｓｙ及びＤ．Ａ．Ｐａｔｔｅｒｓ
ｏｎによるＣｏｍｐｕｔｅｒＡｒｃｈｉｔｅｃｔｕｒ
ｅ−ＡＱｕａｎｔａｔｉｖｅＡｐｐｒｏａｃｈ，ｐ
ｐ４５４−４６１（ＭｏｒｇａｎＫａｕｆｍａｎｎ，
１９９０年刊行）参照のこと。

【０００４】置換ブロック・フレームによってキャッシ
ュ・メモリを充填するのに要する時間量は、ブロック・
サイズ、及び、キャッシュ・メモリ・主メモリ階層間の
転送速度によって決まる。例えば、ブロック・サイズが
８ワードで、主メモリの速度が、２ブロック・オフセッ
ト／３クロック・サイクルの場合、メモリ・アクセスが
パイプ・ライン式であると仮定すると、置換ブロック・
フレームでキャッシュ・メモリを充填するには、１１ク
ロック・サイクルかかることになる。ブロック・フレー
ムのサイズを縮小したり、あるいは、部分ブロックを充
填したとしても、将来のキャッシュ読み取りミスの確率
が高まるので、キャッシュ読み取りミスの際、ＣＰＵの
遊休時間は、必ずしも短縮されるとは限らない。

【０００５】キャッシュ読み取りミスの発生時に、キャ
ッシュ・メモリを待つＣＰＵの遊休時間量を最小限に抑
えるため、さまざまな技法が利用されてきた。共通して
実施されることの１つが、早期の再開である、すなわ
ち、要求したデータまたは命令が到着すると、全ブロッ
クの書き込みが完了するのを待たずに、すぐにＣＰＵに
送られる。従って、ＣＰＵは、置換ブロック・フレーム
の残りが書き込まれている間に、その実行を再開するこ
とができる。

【０００６】早期再開技法のもう１つの改良点は、ま
ず、要求したデータ及び命令を検索し、置換ブロック・
フレーム内における要求したデータ及び命令より前の全
てのデータ及び命令をスキップするように主メモリに対
して要求する、順序通りではない取り出しである。早期
再開と同様、検索されたデータまたは命令は、検索する
とすぐＣＰＵに送られる。やはり、ＣＰＵは、置換ブロ
ック・フレームの残りが検索されている間に、その実行
を再開することができる。要求されたデータまたは命令
の検索後、主メモリは、要求されたデータまたは命令の
後の要求されたデータまたは命令から開始して、置換ブ
ロック・フレーム内における残りのデータ及び命令の検
索を続行し、ループをたどって、ブロック・フレームの
終端に達するまで、ブロック・フレームの始端において
前にスキップしたデータまたは命令を検索する。従っ
て、ＣＰＵは、主メモリから最初のデータまたは命令を
検索すると、すぐに、実行を再開することができる。

【０００７】しかし、従来のキャッシュ・メモリでは、
一般に、同じクロック・サイクルにおいて、それらに対
して読み取り及び書き込み操作を実施することはできな
い。このため、置換ブロック・フレームの残りを充填し
ようとしている間に、ＣＰＵからの別の要求を取り扱う
のは厄介なことになる。結果として、ＣＰＵは、データ
または命令の実行後、再び、遊休状態になり、残りの検
索が完了するのを待つことになる。ＣＰＵが要求した後
続のデータまたは命令が、既にキャッシュ・メモリ内に
ある場合でも、あるいは、残りのデータまたは命令の一
部が検索中であっても、ＣＰＵは、遊休状態になり、待
機する。従って、ＣＰＵが、置換ブロック・フレームの
残りが書き込まれる前に、その実行を完了しそうな場合
には、早期再開及び順序通りではない取り出しの利点
は、制限されることになる。これは、典型的な命令の実
行に必要なクロック・サイクル数が少ない、例えば、Ｒ
ＩＳＣコンピュータのような、とりわけ、各クロック・
サイクル毎に２つ以上の命令を実行するスーパー・スケ
ーラＲＩＳＣコンピュータのようなコンピュータ・シス
テムにおいては、特に生じやすい。

【０００８】

【発明が解決しようとする課題】今日、最新のキャッシ
ュ・メモリは、同じクロック・サイクルにおいて、それ
らに対して読み取り及び書き込み操作を可能にするもの
もあり、従って、キャッシュ・ミス・ペナルティ、とり
わけ、ＣＰＵの遊休状態をさらに減少させ、キャッシュ
及びシステム全体の性能を向上させるための新たな状況
が得られる。キャッシュ・メモリに納められたデータま
たは命令に対する後続の要求は、クロック・サイクルの
第２半期に満たすことができる。課題は、追加ハードウ
ェアにあまり投資せずに、データまたは命令がキャッシ
ュ・メモリに納められていることを知って、キャッシュ
・メモリからのその読み取りとクロック・サイクルの第
２半期を同期させることである。同様に、主メモリから
検索中のデータまたは命令に対する後続の要求を満たす
上で課題となるのは、追加ハードウェアにあまり投資せ
ずに、データまたは命令がいつ検索されるかを知って、
ＣＰＵに対するその直接転送とその検索を同期させるこ
とである。

【０００９】従って、同じクロック・サイクルにおける
読み取り及び書き込み操作を可能にし、さらに、ＣＰＵ
の遊休時間を短縮する、キャッシュ・メモリからデータ
を取り出すための新しいアプローチを提供することが望
ましい。該アプローチは、とりわけ、キャッシュ・ミス
・ペナルティが減少する場合に望ましい。該アプローチ
は、キャッシュ・メモリの充填時において、取り出され
るデータが、現在キャッシング中のメモリ・ブロック・
フレームの一部をなす場合に、ＣＰＵを遊休状態のまま
にして、キャッシュ・メモリの充填が完了するのを待た
せなくてもすむようにして、ＣＰＵが取り出す後続のデ
ータをＣＰＵに戻すことができる場合にも望ましい。

【００１０】後述のように、これらの目的及び所望の結
果は、先行技術の欠点を克服し、ＣＰＵの遊休時間をさ
らに短縮する、ＣＰＵのためにデータを取り出す方法を
提供する、本発明の目的及び所望の結果に含まれるもの
である。

【００１１】

【課題を解決するための手段】キャッシュ・ミス・ペナ
ルティをさらに減少させる、命令／データのキャッシン
グ方法及び装置が開示される。本発明では、キャッシュ
・メモリに対して、キャッシュ・アレイ、キャッシュ・
タグ、及び、比較装置が設けられる。これらの構成要素
は、互いに協働して、キャッシュ・ミス・ペナルティを
さらに減少させるやり方で、実行するための命令／デー
タを提供する。

【００１２】実施例の１つでは、キャッシュ・アレイ
は、それぞれ、主メモリに記憶された命令／データの部
分集合を記憶するための複数のキャッシュ行を備えた、
複数のキャッシュ集合から構成される。キャッシュ・ア
レイに対して実施される各操作、すなわち、読み取りま
たは書き込みは、完了するのに半クロック・サイクルし
かかからない。従って、１クロック・サイクルでは、キ
ャッシュ・アレイに対して２つまでのキャッシュ操作を
実施することが可能である。

【００１３】キャッシュ・タグ及び比較装置は、キャッ
シュ・タグ・アレイ、キャッシュ・ミス・バッファ、及
び、制御論理回路から構成される。実施例の１つでは、
キャッシュ・タグ・アレイは、複数の対応するキャッシ
ュ集合項目から構成される。各キャッシュ集合項目は、
対応するキャッシュ集合の各キャッシュ行毎に、アドレ
ス・タグ及びいくつかの制御ビットから構成される。こ
れらの構成要素は、協力して、どのメモリ・ブロック・
フレームが現在キャッシングされており、それらがキャ
ッシュ・アレイのどこにキャッシングされるのかを明ら
かにする。キャッシュ・アレイと同様、キャッシュ・タ
グ・アレイに対する各操作、すなわち、読み取りまたは
書き込みは、完了するのに半クロック・サイクルしかか
からない。その現在のところ望ましい形態の場合、キャ
ッシュ・ミス・バッファは、使用可能標識、アドレス・
タグ、索引、いくつかの有効ビット、及び、ブロック値
を記憶するためのいくつかの記憶場所から構成される。
これらの構成要素は、協力して、進行中のキャッシュの
現在の状態を明らかにする。制御論理回路は、タグ突き
合わせ操作を実施するための複数の組み合わせ論理回路
から構成される。選択されたキャッシュ集合項目のアド
レス・タグに対して実施される標準的なタグ突き合わせ
操作に加えて、制御論理回路は、条件付きで、アクセス
するアドレスとキャッシュ・ミス・バッファに記憶され
ているアドレス・タグとのタグ突き合わせ操作も実施す
る。タグ突き合わせ操作の結果に従って、また、取り出
される命令／データが、現在キャッシュ充填が進行中の
前記メモリ・ブロック・フレームの一部をなすものと判
定された場合には、命令／データの検索及び記憶が選択
されたキャッシュ行において行われているか否かに従っ
て、制御論理回路は、キャッシュ・アレイ、主メモリ、
及び、命令／データ宛先に対して適合する信号を提供す
る。

【００１４】結果として、現在キャッシュ充填が進行中
の前記メモリ・ブロック・フレームの一部をなす命令／
データを要求する命令／データは、現在のキャッシュ充
填の完了を待たなくてもすむようにして、満たすことが
可能になるので、キャッシュ・ミス・ペナルティ及び機
能装置の遊休時間がさらに減少することになる。

【００１５】

【実施例】キャッシュ・ミス・ペナルティをさらに減少
させる、命令／データのキャッシング方法及び装置が開
示される。説明を目的とした以下の解説において、本発
明の理解を完全なものにするため、特定の数、材料、及
び、構成が示される。ただし、当該技術の熟練者には明
らかなように、本発明は、特定の細部にこだわらなくて
も実施可能である。他の場合については、本発明を不必
要に曖昧にしないため、周知のシステムは略図またはブ
ロック図で示される。

【００１６】図１を参照すると、本発明の教示を取り入
れた典型的なプロセッサを表した機能ブロック図が示さ
れている。命令キャッシュ３４、データ・キャッシュ３
６、共用メモリ管理装置３８、書き込みバッファ４０、
及び、キャッシュ・コヒーレント・バス・インターフェ
イス装置４２から構成される典型的なプロセッサ１０
が、示されている。データ・キャッシュ３６は、書き込
みバッファ４０にも結合されている。共用メモリ管理装
置３８及び書き込みバッファ４０は、キャッシュ・コヒ
ーレント・バス・インターフェイス装置４２にも結合さ
れており、該インターフェイス装置は、さらに、主メモ
リ（不図示）に結合されている。これらの構成要素は、
互いに、協働して、キャッシュ・ミス・ペナルティをさ
らに減少させる、とりわけ、機能装置の遊休時間を短縮
させるようなやり方で、実行するための命令及びデータ
を提供する。

【００１７】共用メモリ管理装置３８、書き込みバッフ
ァ４０及び、キャッシュ・コヒーレント・バス・インタ
ーフェイス装置４２は、ほとんどのプロセッサにおいて
見受けられる、広い範躊によるこうした構成要素を表す
ことを意図したものである。その基本機能及び構成要素
については周知のところであり、これ以上の説明は行わ
ない。命令キャッシュ３４及びデータ・キャッシュ３６
については、図２〜図５に関連してさらに詳細に後述す
ることにする。

【００１８】引き続き、図１を参照すると、プロセッサ
は、さらに、プログラム・カウンタ１２、命令待ち行列
１４及び、命令制御装置１６から構成される。プログラ
ム・カウンタ１２、命令待ち行列１４及び、命令制御装
置１６は、互いに結合されている。さらに、プログラム
・カウンタ１２は、共用メモリ管理装置３８及び命令キ
ャッシュ３４にも結合されており、一方、命令待ち行列
１４は、命令キャッシュ３４にも結合されている。これ
らは、互いに協働して、実行のための命令を送り出す。

【００１９】プログラム・カウンタ１２、命令待ち行列
１４、及び、命令制御装置１６は、ほとんどのプロセッ
サにおいて見受けられる、広い範躊によるこうした構成
要素を表すことを意図したものである。その基本機能及
び構成については周知のところであり、これ以上の説明
は行わない。

【００２０】さらに図１を参照すると、プロセッサ１０
は、さらに、整数装置レジスタ・ファイル１８、整数機
能装置２０、浮動小数点命令待ち行列２４、浮動小数点
制御装置２６、浮動小数点装置レジスタ・ファイル２
８、浮動小数点機能装置３０、及び、マルチプレクサ３
２を備えている。整数装置レジスタ・ファイル１８は、
命令制御装置１６及び整数機能装置２０に結合されてお
り、整数機能装置２０は、さらに、共用メモリ管理装置
３８及びデータ・キャッシュ３６に結合されている。浮
動小数点命令待ち行列２４は、命令制御装置１６及び浮
動小数点制御装置２６に結合されており、浮動小数点制
御装置２６は、さらに、浮動小数点装置レジスタ・ファ
イル２８に結合されている。浮動小数点装置レジスタ・
ファイル２８は、また、直接、及び、マルチプレクサを
通じて間接的に、浮動小数点機能装置３０、データ・キ
ャッシュ３６にも結合されている。浮動小数点装置は、
マルチプレクサ３２を通じて間接的にデータ・キャッシ
ュ３６にも結合されている。これらの構成要素は、互い
に協働して整数及び浮動小数点の結果を生成する。

【００２１】整数装置レジスタ・ファイル１８、整数機
能装置２０、浮動小数点命令待ち行列２４、浮動小数点
制御装置２６、浮動小数点装置レジスタ・ファイル２
８、浮動小数点機能装置３０、及び、マルチプレクサ３
２は、ほとんどのプロセッサにおいて見受けられる、広
い範躊によるこうした構成要素を表すことを意図したも
のである。その基本機能及び構成については周知のとこ
ろであり、これ以上の説明は行わない。

【００２２】本発明に関する理解を容易にするため、本
発明の説明は、典型的なプロセッサ１０に関連して行っ
ているが、後続の説明から明らかなように、本発明は、
別のアーキテクチャによるプロセッサを用いて実施する
ことも可能である。とりわけ、本発明は、キャッシュ・
メモリを命令キャッシュとデータ・キャッシュに分割せ
ずに実施することが可能である。

【００２３】次に、図２を参照すると、図１のメモリ管
理装置、命令キャッシュ、及び、データ・キャッシュを
表した機能ブロック図が示されている。命令キャッシュ
・アレイ４４、命令キャッシュ・タグ及び比較装置４
６、及び、マルチプレクサ４８から構成される命令キャ
ッシュが示されている。命令キャッシュ・アレイ４４、
命令キャッシュ・タグ及び比較装置４６は、プログラム
・カウンタ及びマルチプレクサ４８に結合されており、
マルチプレクサ４８は、さらに、命令待ち行列に結合さ
れている。命令キャッシュ・アレイ４４は、キャッシュ
・コヒーレント・バス・インターフェイス装置を介し
て、主メモリにも結合され、命令キャッシュ・タグ及び
比較装置４６は、マルチプレクサ６０を介して、メモリ
管理装置３８にも結合されている。これらの構成要素
は、互いに、協働し、キャッシュ・ミス・ペナルティを
減少させる、とりわけ、機能装置の遊休時間を短縮する
やり方で、命令待ち行列に命令を与える。

【００２４】命令キャッシュ・アレイ４４は、主メモリ
に記憶される命令の部分集合を集合を連想させるやり方
で記憶するための複数のキャッシュ行から構成される。
命令キャッシュ・アレイ４４は、主メモリから命令を、
命令キャッシュ・タグ及び比較装置４６からはキャッシ
ュ行選択信号を入力として受信する。命令キャッシュ・
アレイ４４は、これに応答して、受信した命令を選択さ
れたキャッシュ行に記憶する。キャッシュ行の選択は、
任意の周知のやり方で実施することができる。本発明の
説明は、集合を連想させるマッピングを利用した命令キ
ャッシュ・アレイに関連して行っているが、もちろん、
本発明は、他のマッピング技法を利用した命令キャッシ
ュ・アレイを用いて実施することも可能である。

【００２５】さらに、本発明の命令キャッシュ・アレイ
４４は、プログラム・カウンタ論理回路から入力として
仮想アドレスを受信する。これに応答して、命令キャッ
シュ・アレイ４４は、各仮想アドレス毎に、マルチプレ
クサ４８に対する仮想アドレスに対応するキャッシュ行
の集合に記憶されている命令を出力する。本発明の説明
は、仮想アドレスを利用したキャッシュ行集合の初期選
択、及び、物理的アドレスを利用したタグ突き合わせに
関連して行っているが、もちろん、本発明は、こうした
命令キャッシュ行集合の初期選択、及び、物理的アドレ
スを利用したタグ突き合わせ操作を行わなくても実施可
能である。

【００２６】命令キャッシュ・アレイ４４に対する読み
取りまたは書き込みといった各キャッシュ操作は、完了
するのに半クロック・サイクルしかかからない。従っ
て、１クロック・サイクルでは、命令キャッシュ・アレ
イ４４に対して２つのキャッシュ操作を実施することが
可能である。すなわち、命令キャッシュ・アレイ４４に
対するキャッシュ読み取り操作をクロック・サイクルの
第１半期に実施し、引き続き、クロック・サイクルの第
２半期にキャッシュ書き込み操作を実施することが可能
である。

【００２７】命令キャッシュ・タグ及び比較装置４６
は、入力として、プログラム・カウンタ論理回路からの
仮想アドレスを受信し、また、メモリ管理装置からの物
理的アドレスとキャッシュ・コヒーレント・バス・イン
ターフェイス装置からのスヌープ・アドレスのいずれか
を受信する。これに応答して、各入力集合毎に、命令キ
ャッシュ・タグ及び比較装置４６は、命令待ち行列、命
令キャッシュ・マルチプレクサ４８、及び、主メモリに
対して適合する信号を出力する。命令キャッシュ・タグ
及び比較装置４６については、図３〜図５に関連してさ
らに詳細に後述する。本発明の説明は、入力としてスヌ
ープ・アドレスを受信する命令キャッシュ・タグ及び比
較装置４６に関して行っているが、もちろん、本発明
は、単一命令キャッシュ・メモリを備えたコンピュータ
・システム及びスヌープ・アドレスを備えていないコン
ピュータ・システムによって実施することも可能であ
る。

【００２８】データ・キャッシュ・アレイ５０及びデー
タ・キャッシュ・タグ及び比較装置５２は、整数機能装
置及びマルチプレクサ５４に結合されており、マルチプ
レクサ５４は、さらに、整数及び浮動小数点装置レジス
タ・ファイル、及び、整数及び浮動小数点機能装置に結
合されている。データ・キャッシュ・アレイ５０は、キ
ャッシュ・コヒーレント・バス・インターフェイス装置
にも結合されており、データ・キャッシュ・タグ及び比
較装置５２は、マルチプレクサ６２を介して、メモリ管
理装置３８にも結合されている。これらの構成要素は、
互いに協働し、キャッシュ・ミス・ペナルティを減少さ
せる、とりわけ、機能装置の遊休時間を短縮するやり方
で、整数及び浮動小数点装置レジスタ・ファイル、及
び、整数及び浮動小数点機能装置にデータを提供する。

【００２９】命令キャッシュ・アレイ４４と同様、デー
タ・キャッシュ・アレイ５０は、主メモリに記憶される
データの部分集合を集合を連想させるやり方で記憶する
ための複数のキャッシュ行から構成される。データ・キ
ャッシュ・アレイ５０は、主メモリからデータを、デー
タ・キャッシュ・タグ及び比較装置５２からはキャッシ
ュ行選択信号を入力として受信する。データ・キャッシ
ュ・アレイ５０は、これに応答して、受信したデータを
選択されたキャッシュ行に記憶する。キャッシュ行の選
択は、やはり、任意の周知のやり方で実施することがで
きる。同様に、本発明の説明は、集合を連想させるマッ
ピングを利用したデータ・キャッシュ・アレイに関連し
て行っているが、もちろん、本発明は、他のマッピング
技法を利用したデータ・キャッシュ・アレイを用いて実
施することも可能である。

【００３０】さらに、データ・キャッシュ・アレイ５０
は、整数機能装置から入力として仮想アドレスを受信す
る。これに応答して、データ・キャッシュ・アレイ５０
は、各仮想アドレス毎に、マルチプレクサ５４に対する
仮想アドレスに対応するキャッシュ行の集合に記憶され
ているデータを出力する。同様に、本発明の説明は、仮
想アドレスを利用したキャッシュ行集合の初期選択、及
び、物理的アドレスを利用したタグ突き合わせに関連し
て行っているが、もちろん、本発明は、こうしたデータ
・キャッシュ行集合の初期選択、及び、物理的アドレス
を利用したタグ突き合わせ操作を行わなくても実施可能
である。

【００３１】命令キャッシュ・タグ・アレイ４４と同
様、データ・キャッシュ・アレイ５０に対する読み取り
または書き込みといった各キャッシュ操作は、完了する
のに半クロック・サイクルしかかからない。従って、１
クロック・サイクルでは、データキャッシュ・アレイ５
０に対して２つのキャッシュ操作を実施することが可能
である。すなわち、データ・キャッシュ・アレイ５０に
対するキャッシュ書き込み操作をクロック・サイクルの
第１半期に実施し、引き続き、クロック・サイクルの第
２半期にキャッシュ読み取り操作を実施することが可能
である。

【００３２】データ・キャッシュ・タグ及び比較装置５
２は、入力として、整数機能装置からの仮想アドレスを
受信し、また、メモリ管理装置からの物理的アドレスと
キャッシュ・コヒーレント・バス・インターフェイス装
置からのスヌープ・アドレスのいずれかを受信する。こ
れに応答して、各入力集合毎に、データ・キャッシュ・
タグ及び比較装置４６は、レジスタ・ファイルまたは機
能装置、データ・キャッシュ・マルチプレクサ５２、及
び、主メモリに対して適合する信号を出力する。データ
・キャッシュ・タグ及び比較装置５２については、図３
〜図５に関連してさらに詳細に後述する。本発明の説明
は、入力としてスヌープ・アドレスを受信するデータ・
キャッシュ・タグ及び比較装置５２に関して行っている
が、もちろん、本発明は、単一データ・キャッシュ・メ
モリを備えたコンピュータ・システム及びスヌープ・ア
ドレスを備えていないコンピュータ・システムによって
実施することも可能である。

【００３３】図２には、互いに結合された、マルチプレ
クサ５６、及び、完全連想アドレス変換バッファ５８か
ら構成されるメモリ管理装置３８も示されている。さら
に、マルチプレクサ５６は、プログラム・カウンタ及び
整数機能装置にも結合されており、アドレス変換バッフ
ァは、それぞれ、マルチプレクサ６０及び６２を介して
命令及びデータ・キャッシュ３４及び３６にも結合され
ている。これらの構成要素は、互いに、協働し、命令及
びデータ・キャッシュ３４及び３６のために、仮想アド
レスを物理的アドレスに変換する。マルチプレクサ５６
アドレス変換バッファ５８は、ほとんどのプロセッサに
おいて見受けられる、広い範躊によるこうした構成要素
を表すことを意図したものである。その構成及び機能に
ついては周知のところであり、これ以上の説明は行わな
い。

【００３４】次に、図３に参照すると、図２の命令／デ
ータ・キャッシュ・タグ及び比較装置を表した機能ブロ
ック図が示されている。キャッシュ・タグ・アレイ６
４、キャッシュ・ミス・バッファ６６、及び、制御論理
回路６８から構成される命令／データ・キャッシュ・タ
グ及び比較装置４６または５２が示されている。キャッ
シュ・タグ・アレイ６４及びキャッシュ・ミス・バッフ
ァ６６は、制御論理回路６８に結合されている。さら
に、キャッシュ・タグ・アレイ６４は、仮想アドレス入
力源、すなわち、プログラム・カウンタ論理回路または
整数機能装置に結合される。制御論理回路６８は、キャ
ッシュ・コヒーレント・バス・インターフェイス装置を
介して、命令／データ・キャッシュ・アレイ、命令／デ
ータ・キャッシュ・マルチプレクサ、命令／データ宛
先、物理的アドレス源、及び、主メモリにも結合されて
いる。命令／データ宛先は、命令待ち行列、レジスタ・
ファイル及び、機能装置である。物理的アドレス源は、
メモリ管理装置及び他の命令／データ・キャッシュ・メ
モリである。これらの構成要素は、互いに協働し、主メ
モリに対してメモリ読み取り信号、キャッシュ・アレイ
に対してキャッシュ行選択信号、キャッシュ・マルチプ
レクサに対して入力行選択信号、及び、命令／データ宛
先に対して命令／データ有効信号を提供する。

【００３５】命令／データ・キャッシュ・タグ・アレイ
６４は、複数の対応する命令／データ・キャッシュ集合
項目から構成される。各命令／データ・キャッシュ集合
項目は、対応する命令／データ・キャッシュ集合の各キ
ャッシュ行毎にアドレス・タグ及びいくつかの制御ビッ
トから構成される。命令／データ・キャッシュ・アレイ
と同様、命令／データ・キャッシュ・タグ・アレイ６４
に対する各キャッシュ操作は、やはり、完了するのに半
クロック・サイクルしかかからない。キャッシュ操作の
完了クロック速度を除けば、命令／データ・キャッシュ
・タグ・アレイ６４は、ほとんどのプロセッサにおいて
見受けられる、広い範躊によるタグ・アレイを表すこと
を意図したものである。その構成及び基本機能について
は周知のところであり、これ以上の説明は行わない。

【００３６】命令／データ・キャッシュ・ミス・バッフ
ァ６６は、複数の記憶場所から構成される。命令／デー
タ・キャッシュ・ミス・バッファ６６は、入力として、
キャッシュ・ミス記述情報を受信する。これに応答し
て、命令／データ・キャッシュ・ミス・バッファ６６
は、それらを適合する記憶場所に記憶する。さらに、命
令／データ・キャッシュ・ミス・バッファ６６は、入力
として、読み取り信号を受信する。これに応答して、命
令／データ・キャッシュ・ミス・バッファ６６は、記憶
される、適合するキャッシュ・ミス情報を出力する。命
令／データ・キャッシュ・タグ・アレイ６４と同様、命
令／データ・キャッシュ・ミス・バッファ６６に対する
各キャッシュ操作は、やはり、完了するのに半クロック
・サイクルしかかからない。キャッシュ・ミス記述情報
については、図４に関連してさらに詳細に後述すること
にする。命令／データ・キャッシュ・ミス・バッファ６
６が命令／データ・キャッシュ・タグ及び比較制御論理
回路と協働するやり方については、図５に関連して、さ
らに詳述することにする。

【００３７】命令／データ・キャッシュ・タグ及び比較
制御論理回路６８は、入力として、命令／データ・キャ
ッシュ・タグ・アレイからの命令／データ・アドレス・
タグ、命令／データ・キャッシュ・ミス・バッファから
の命令／データ・キャッシュ・ミス記述情報、及び、メ
モリ管理装置からの物理的アドレスとキャッシュ・コヒ
ーレント・バス・インターフェイス装置からのスヌープ
・アドレスのいずれかを受信する。これに応答して、命
令／データ・キャッシュ・タグ及び比較制御論理回路６
８は、タグ突き合わせ操作を実施し、命令／データ・キ
ャッシュ・アレイ、命令／データ・キャッシュ・マルチ
プレクサ、主メモリ、命令待ち行列、レジスタ・ファイ
ル、及び、機能装置に適合する信号を出力する。命令／
データ・キャッシュ・タグ及び比較制御論理回路につい
ては、図５に関連して、さらに詳細に後述することにす
る。

【００３８】次に、図４を参照すると、図３の命令／デ
ータ・キャッシュ・ミス・バッファに記憶された命令／
データ・キャッシュ・ミス記述情報を表したブロック図
が示されている。アドレス・タグ７０、索引７２、いく
つかの有効ビット７４、ブロック値７６、及び、使用可
能標識７８から構成される命令／データ・キャッシュ・
ミス記述情報が示されている。これらが、互いに、協働
して、キャッシュ充填の現在の状況を表す。

【００３９】使用可能標識７８は、キャッシュ充填が進
行中の場合に、セットされる。使用可能標識７８が、セ
ットされる場合、命令／データ・キャッシュ・ミス・バ
ッファ６６に記憶されているキャッシュ・ミス記述情報
が、タグ突き合わせ操作に含められる。アドレス・タグ
７０は、進行中のキャッシュ充填によって、主メモリか
ら検索されているメモリ・ブロック・フレームを識別す
る。索引７２は、メモリ・ブロック・フレームが進行中
のキャッシュ充填によって記憶されている命令／データ
・キャッシュ集合を識別する。ブロック値７６は、メモ
リ・ブロック・フレームが進行中のキャッシュ充填によ
って記憶されているのが、その命令／データ・キャッシ
ュ集合のどのキャッシュ行かを識別する。索引７２及び
ブロック値７６によって識別された命令／データ・キャ
ッシュ集合のキャッシュ行に、対応するブロック・オフ
セットが記憶されていた場合には、有効ビット７４がセ
ットされる。

【００４０】次に、図５を参照すると、図３の命令／デ
ータ・キャッシュ・タグ及び比較装置の制御論理に関す
る論理の流れを表した流れ図が示されている。まず、ブ
ロック８２において、制御論理回路が、命令／データ・
キャッシュ・タグ・アレイから同時にいくつかのアドレ
ス・タグを読み取る。アドレス・タグは、仮想アドレス
によってインデクシングを施された命令／データ・キャ
ッシュ集合項目から読み取られる。次に、ブロック８４
において、制御論理回路は、これらのアドレス・タグに
対するタグ突き合わせ操作を実施する。整合すると（キ
ャッシュ・ヒット）、ブロック１００において、制御論
理回路は、命令／データ・キャッシュ・マルチプレクサ
に入力行選択信号を加える。さらに、ブロック９８にお
いて、制御論理回路は、命令待ち行列、レジスタ・ファ
イルの１つ、または、機能装置の１つに命令／データ有
効信号を加える。

【００４１】整合しなければ、分岐８４ｂをたどり、ブ
ロック８６において、制御論理回路は、命令／データ・
キャッシュ・ミス・バッファからキャッシュ・ミス記述
情報を読み取る。次に、ブロック８７において、制御論
理回路は、チェックを行い、使用可能標識がセットされ
ているか否かを確認する。使用可能標識がセットされて
いれば、分岐８７ａをたどり、ブロック８８において、
制御論理回路は、キャッシュ充填が進行中のアドレス・
タグに対してタグ突き合わせ操作を実施する。

【００４２】使用可能標識がセットされていなければ、
分岐８７ｂをたどり、あるいは、追加タグ突き合わせに
失敗すれば、分岐８８ｂをたどり（キャッシュ・ミ
ス）、ブロック９４において、制御論理回路は、読み取
り信号及び物理的アドレスを主メモリに送る。また、制
御論理回路は、ブロック９６において、書き込み及びキ
ャッシュ行選択信号を命令／データ・キャッシュ・アレ
イに送り、キャッシュ・ミス記述情報を更新して、命令
／データ・キャッシュ・ミス・バッファにおける使用可
能標識を使用可能にする。さらに、ブロック９８におい
て、制御論理回路は、命令待ち行列、レジスタ・ファイ
ルの１つ、または、機能装置の１つに命令／データ有効
信号を加える。

【００４３】使用可能標識がセットされており、追加タ
グ突き合わせ操作がうまくいった場合には、分岐８８ａ
をたどり（キャッシュ・ミス、ただし、命令／データが
キャッシュ充填が進行中のメモリ・ブロック・フレーム
の一部をなしている）、ブロック９０において、制御論
理回路は、さらに、有効ビットを検査し、特定の命令／
データが主メモリから検索され、選択されたキャッシュ
行に記憶されているか否かを確認する。該命令／データ
が検索され、記憶されている場合、分岐９０ａをたど
り、ブロック１００において、制御論理回路は、命令／
データ・キャッシュ・マルチプレクサに入力行選択信号
を送る。

【００４４】該命令／データが検索されておらず、選択
されたキャッシュ行に記憶されていない場合、ブロック
９２において、制御論理回路は、さらに、有効ビットを
利用して、その命令／データが、主メモリから戻される
次の命令／データであるか否かを確かめる。該命令／デ
ータが、次に戻される命令／データでなければ、分岐９
２ｂをたどり、制御論理回路は、該命令／データが次に
戻される命令／データになるまで、この確認を繰り返
す。該命令／データが次に戻される命令／データになる
ことが確認されると、分岐９２ａをたどり、ブロック９
８において、制御論理回路は、命令待ち行列、レジスタ
・ファイルの１つ、または、機能装置の１つに命令／デ
ータ有効信号を送る。

【００４５】制御論理回路の論理の流れについては、独
立したステップとして、ブロック８２及び８６における
タグ・アレイの読み取り及びキャッシュ・ミス・バッフ
ァの読み取りと、ブロック８４及び８８における第１と
第２のタグ突き合わせに関して解説してきたが、もちろ
ん、操作上、ブロック８２及び８６において、タグ・ア
レイ及びキャッシュ・ミス・バッファを同時に読み取る
こともできるし、ブロック８４及び８８において、第１
と第２のタグ突き合わせを同時に実行することも可能で
ある。

【００４６】本発明の説明は、現在のところ望ましい実
施例及び代替実施例に関連して行ってきたが、当該技術
の熟練者には明らかなように、本発明は、解説の実施例
に制限されるものではない。本発明の方法及び装置は、
付属の請求項の精神及び範囲内において、修正及び変更
を加えて実施することが可能である。従って、解説は、
本発明に制限を加えるものではなく、例示のためのもの
とみなすべきである。

【図面の簡単な説明】

【図１】本発明の教示を取り入れたプロセッサを表した
機能ブロック図である。

【図２】図１のプロセッサの命令及びデータ・キャッシ
ュ、及び、メモリ管理装置を表した機能ブロック図であ
る。

【図３】図２の命令／データ・キャッシュの命令／デー
タ・キャッシュ・タグ及び比較装置を表した機能ブロッ
ク図である。

【図４】図３の命令／データ・キャッシュ・タグ及び比
較装置のキャッシュ・ミス・バッファを表したブロック
図である。

【図５】図３の命令／データ・キャッシュ・タグ及び比
較装置の制御論理回路に関する論理の流れを表した流れ
図である。

【符号の説明】

１０プロセッサ１２プログラム・カウンタ１４命令待ち行列１６命令制御装置１８整数装置レジスタ・ファイル２０整数機能装置２４浮動小数点命令待ち行列２６浮動小数点制御装置２８浮動小数点装置レジスタ・ファイル３０浮動小数点機能装置３２マルチプレクサ３４命令キャッシュ３６データ・キャッシュ３８共用メモリ管理装置４０書き込みバッファ４２キャッシュ・コヒーレント・バス・インターフェ
イス装置４４命令キャッシュ・アレイ４６命令キャッシュ・タグ及び比較装置４８マルチプレクサ５０データ・キャッシュ・アレイ５２データ・キャッシュ・タグ及び比較装置５４マルチプレクサ５６マルチプレクサ５８連想アドレス変換バッファ６０マルチプレクサ６２マルチプレクサ６４キャッシュ・タグ・アレイ６６キャッシュ・ミス・バッファ６８制御論理回路

フロントページの続き (72)発明者アダム・マラミイアメリカ合衆国 01890 マサチューセッツ州・ウィンチェスター・ワイルドウッドストリート・39 (72)発明者ノーマン・エム・ヘイーズアメリカ合衆国 94087 カリフォルニア州・サニーヴェイル・メリマックドライブ・1121

Claims

【特許請求の範囲】

【請求項１】コンピュータ・システムでのキャッシ
ュ・ミス・ペナルティをさらに減少させる命令／データ
のキャッシング方法において、ａ）前記コンピュータ・システムの主メモリの複数の
メモリ・ブロック・フレームをキャッシュ・アレイの複
数のキャッシュ行に記憶するステップと、ｂ）前記キャッシングしたメモリ・ブロック・フレー
ムに関する複数のアドレス・タグを前記キャッシュ行に
対応するキャッシュ・タグ・アレイの複数のキャッシュ
・タグ項目に記憶するステップと、ｃ）進行中のメモリ・ブロック・フレームのキャッシ
ュ充填に関するキャッシュ充填記述情報をキャッシュ・
ミス・バッファに記憶するステップと、ｄ）前記キャッシングしたメモリ・ブロック・フレー
ムに関する前記アドレス・タグ及び前記キャッシュ充填
記述情報を利用して、命令／データ要求に関するキャッ
シュ・ヒット／ミスを判定するステップと、ｅ）これに応じて、前記キャッシュ・アレイ、前記主
メモリ、及び、前記命令／データ要求によって要求され
る命令／データの宛先に適合する信号を提供するステッ
プとから構成され、この結果、要求される前記命令／デ
ータが、前記キャッシュ充填が進行中の前記メモリ・ブ
ロック・フレームの一部をなす場合、前記キャッシュ充
填の完了を待たなくてもすむようにして、前記命令／デ
ータ要求が満たされるようにして、キャッシュ・ミス・
ペナルティがさらに減少することを特徴とする方法。
【請求項２】コンピュータ・システムでのキャッシュ・
ミス・ペナルティをさらに減少させる命令／データのキ
ャッシング装置ａ）前記コンピュータ・システムの主メモリに結合さ
れた、前記主メモリの複数のメモリ・ブロック・フレー
ムを記憶するための、複数のキャッシュ行から構成され
るキャッシュ・アレイと、ｂ）前記キャッシングしたメモリ・ブロック・フレー
ムに関する複数のアドレス・タグを記憶するための、前
記キャッシュ行に対応する複数のキャッシュ・タグ項目
から構成されるキャッシュ・タグ・アレイと、ｃ）進行中のメモリ・ブロック・フレームのキャッシ
ュ充填に関するキャッシュ充填記述情報を記憶するため
のキャッシュ・ミス・バッファと、ｄ）前記主メモリ、前記キャッシュ・アレイ、前記キ
ャッシュ・タグ・アレイ、及び、前記キャッシュ・ミス
・バッファに結合されて、前記キャッシングしたメモリ
・ブロック・フレームに関する前記アドレス・タグ及び
前記キャッシュ充填記述情報を利用して、命令／データ
要求に関するキャッシュ・ヒット／ミスを判定し、これ
に応じて、前記キャッシュ・アレイ、前記主メモリ、及
び、前記命令／データ要求によって要求される命令／デ
ータの宛先に適合する信号を提供する制御論理回路とか
ら構成され、要求される前記命令／データが前記キャッ
シュ充填が進行中の前記メモリ・ブロック・フレームの
一部をなす場合、前記キャッシュ充填の完了を待たず
に、前記命令／データ要求が満たされるようにして、キ
ャッシュ・ミス・ペナルティを減少させることを特徴と
する命令／データのキャッシング装置。
【請求項３】ａ）少なくとも実行機能装置と、ｂ）主メモリと、ｃ）前記少なくとも実行機能装置及び前記主メモリに
結合されて、命令及びデータのキャッシングを行うキャ
ッシュ・メモリから構成され、前記キャッシュ・メモリが、少なくとも１つのキャッシ
ュ・アレイ、少なくとも１つのキャッシュ・タグ・アレ
イ、少なくとも１つのキャッシュ・ミス・バッファ、及
び、少なくとも１つのキャッシュ制御論理回路から成
り、前記キャッシュ・メモリが、前記進行中のキャッシュ充
填の完了を待たずにキャッシュ充填が進行中の前記メモ
リ・ブロック・フレームの一部をなす命令／データを要
求する命令／データ要求を満たすことを特徴とするコン
ピュータ・システム。