JP4263770B2 - キャッシュミスにおける電力消費を減少させるグローバル修正インジケータ - Google Patents

Description

背景

本発明は、一般にはプロセッサの領域に関し、詳細には、グローバル修正インジケータの検査によりコピーバックデータキャッシュにおける電力消費を減少させる方法に関する。

ポータブル電子デバイスのように、マイクロプロセッサは、組み込まれたアプリケーションを含む広範囲のさまざまなアプリケーションにおいて計算タスクを実行する。ソフトウェアにより追加的な機能を提供するために、このようなデバイスの絶えず増加する特徴セットおよび拡張機能は、よりいっそう計算的に強力なプロセッサを必要とする。ポータブル電子デバイスの別の傾向は、さらに縮小する形態要素である。この傾向の影響は、デバイス中のプロセッサおよび他の電子機器に電力供給するために使用されるバッテリのサイズの減少であり、電力効率を大きな設計目標とさせる。それ故に、実行速度を増加させ、電力消費を減少させるプロセッサの改良が、ポータブル電子デバイスプロセッサに対して望まれる。

多くのプログラムは、それらを実行するコンピュータがまるで非常に大量の（理想的に、無制限の）高速メモリを有しているかのように書かれている。階層のメモリタイプを使用することにより、ほとんどの最近のプロセッサはその理想の状態をシミュレートし、各メモリタイプは、異なる速度とコスト特性を有している。階層におけるメモリタイプは一般に、トップにおける非常に高速で非常に高価なタイプから、より低いレベルにおける、段々に遅くなるが、より経済的になる記憶タイプまでいろいろである。ほとんどのプログラムの空間的および時間的な局所参照性の特性のため、任意の所定の時間で実行する命令およびデータは非常に近い将来に必要とされる統計的可能性があり、上位の、高速の階層レイヤ中に保持されると有利であり、高速の階層レイヤでは、それらは容易に使用できる。コードが新しいエリアに進行および／または分岐するとき、下位のメモリ階層レベルから上位のレベルに、必要な命令およびデータをロードしてもよい。メモリ階層レベル間の命令およびデータのこの動きは、いくらかの性能の低下を招き、複雑なハードウェアおよびソフトウェア管理を必要とするかもしれないが、全体的な結果としては、遅いメモリタイプだけを使用するのに対してメモリ性能が正味増加し、高速のメモリタイプだけを使用する場合と比較してかなりのコストが節減される。

典型的なプロセッサメモリ階層は、トップレベルとして、プロセッサコア中に汎用目的レジスタ（ＧＰＲ）のアレイを含んでいることがある。これらは最速のメモリであり、多くのケースにおいてクロックの両エッジを使用し、それ故に単一サイクル中にデータの書き込みと読み出しの両方を実行できる。プロセッサチップ上のゲートから構築されているので、シリコン領域、電力消費、ならびにＧＰＲがルーティング、クロック分配、およびこれらに類似するものに関して負わせるオーバーヘッドの観点からいえば、ＧＰＲは高価である。

プロセッサレジスタは、１つ以上のオンチップキャッシュメモリにより裏打ちされていてもよく、オンチップキャッシュメモリはアクティブコードに対する１次の命令およびデータ記憶構造を構成し、例えば、多くの命令キャッシュにおけるヒットレートは９７−９８％に達する。オンチップキャッシュ（また、レベル−１またはＬ１キャッシュとして技術的に知られている）は、ＧＰＲに関して上述したのと同じ理由から高価である。しかしながら、非常に高い記録密度であり、それ故にＧＰＲよりビット当たり低いコストを成し遂げるＤＲＡＭとして、キャッシュを実現することができる。個々のキャッシュを命令およびデータの記憶専用のものにしてもよく、ここでさらに議論するように、さまざまな戦略にしたがって、データキャッシュを管理してもよい。

構成に依存して、プロセッサは、１つ以上のオフチップ、すなわちＬ２キャッシュを含んでいてもよい。高速アクセス時間用のＳＲＡＭ中でＬ２キャッシュを実現することが多く、これにより、性能を低下させるＤＲＡＭのリフレッシュ要求を回避する。以下すべてのキャッシュはメインメモリであり、通常最大記録密度それ故にビット当たりの最低コストのためにＤＲＡＭ中で実現される。メインメモリは、ハードディスク記憶装置により裏打ちされていてもよく、ハードディスク記憶装置は一般的に、機械的に作動するセンサによりアクセスされる磁気媒体上で実現され、それ故にメモリ階層のより高いレベルの電子的アクセスと比較して極端に遅い。磁気または光媒体をそれぞれ含むテープまたはＣＤにより、ディスクはさらに裏打ちされていてもよい。ほとんどのポータブル電子デバイスは制約を有し、たとえディスク記憶装置のバックアップがあるとしても、テープ／ＣＤのバックアップはなく、それ故に、（サイズが限られることが多い）メインメモリはメモリ階層の最低レベルである。

コンピュータメモリ階層において、より低いレベルのそれぞれは、より高いレイヤに存在するデータの完全な（しかし、ことによると新鮮でない）コピーを維持する。すなわち、より高いレベル中に記憶されたデータは、より低いレベル中に複製される。メモリ階層の上位レベル中に記憶されたデータに対する変更を下位レベルに伝えなければならない。ＧＰＲに対する変更は、ＳＴＯＲＥ命令により明白にキャッシュに伝えられ、キャッシュ制御装置の指示の下、キャッシュに対する変更は、自動的にメインメモリに伝えられる。

一般に、メインメモリに対してキャッシュ中のデータに対する修正を伝える２つのアプローチが技術的に開発されており、それはライトスルーおよびコピーバックである。ライトスルーキャッシュにおいて、プロセッサが、そのＬ１キャッシュに対して修正データを書き込むとき、プロセッサはメインメモリに対して、修正データをさらに書き込む（何らかの介在するキャッシュは、この議論の目的のために省略されている）。ライトスルーキャッシュにおいて、メインメモリは常にデータの最新バージョンを含み、それ故に、特別な処理なしで、いつでもキャッシュエントリ中に記憶されたデータを処分してもよい。以下で議論するように、これによりキャッシュ管理が容易になる。

コピーバックアルゴリズムの下、プロセッサはＬ１キャッシュに対して、修正データを書き込んでもよいが、メインメモリをすぐに更新することは要求されない。そのためキャッシュエントリはメインメモリ中のバージョンとは異なるデータを含み、“ダーティ”エントリと呼ばれることが多い。“ダーティビット”をセットすることなどにより、キャッシュエントリはこれを反映するようにマークされる。後に、例えばキャッシュミスを処理する際に、またはソフトウェア制御の下、キャッシュエントリが置換されるときに、修正データがメインメモリに書き込まれる。キャッシュに対して書き込むことは一般にメインメモリに対して書き込むことより非常に短いアクセス時間を負うので、プロセッサが多くのデータ書き込みを実行するとき、コピーバックキャッシュ管理は性能を改善することができる。コピーバックアルゴリズムはまた、メインメモリに対してバストラフィックを減少させ、電力消費を減少させることができる。２つのキャッシュマネージメントアルゴリズムは、相互に排他的ではなく、単一のキャッシュは、ライトスルーアルゴリズムの下、いくつかのエントリを管理し、コピーバックアルゴリズムを使用して他のエントリを管理してもよい。

キャッシュサイズはメインメモリと比較して制限があるため、キャッシュは時間ベースで全メモリにより“共用”されている。すなわち、メインメモリの異なる領域からのデータが、異なる時間に同一のキャッシュエントリを占有するかもしれない。メモリアクセスがキャッシュ中で“ミスする”場合、データはメインメモリから取り出され、キャッシュ中に記憶される。使用中にキャッシュがいったんデータで満たされると、メモリからのデータを取り出すことになるキャッシュミスはキャッシュ中で現在占有されているエントリを移動させなければならない。何らかの特別な処理をすることなく、ライトスルーアルゴリズムの下で管理されているキャッシュエントリを置換してもよい。

しかしながら、置換前にデータがダーティであるかどうかを調べるために、コピーバックアルゴリズムの下で管理されているキャッシュエントリをチェックしなければならない。キャッシュラインを読み込み、ダーティビットを検査しなければならない。選択されたキャッシュエントリ中の既存のデータがダーティである（すなわち、メインメモリ中のバージョンとは異なる）場合、メモリから読み出された新しいデータでキャッシュエントリを置換する前に，その既存のデータをメインメモリに対して書き込まなければならない。ほとんどの実施において、プロセッサは既存のキャッシュエントリのキャッシュ管理アルゴリズムを認識していない。それ故に、キャッシュ中のいずれかのエントリがコピーバックアルゴリズムの下で管理される（またはされるかもしれない）場合、置換の際にすべてのエントリを読み込んで、エントリがコピーバックであるかどうか、そうである場合、それがダーティであるかどうかを確認しなければならない（両方の問い合わせは単にダーティビットの調査にまとめられてもよい）。エントリの置換の際に、ダーティビットの検査のためにすべてのキャッシュエントリを読み出すことは電力を消費することになり、どのキャッシュも修正されていないことが分かっているときには不必要である。

概要

本発明の１つ以上の実施形態にしたがって、少なくとも１つのエントリに対してコピーバック管理をサポートするキャッシュにおいて、キャッシュミスを処理するときに置換のために選択されたキャッシュエントリの読み出しは、キャッシュ中のどのコピーバックキャッシュエントリも書き込まれていないという指示に応答して抑制される。

１つの実施形態は、コピーバックアルゴリズムにしたがって管理されている少なくとも１つのエントリを含むキャッシュを管理する方法を構成する。いずれかのコピーバックキャッシュエントリに対する書き込みの際に、キャッシュに関係付けられているグローバル修正インジケータが更新される。グローバル修正インジケータは、ミスの際に検査される。キャッシュ中のどのコピーバックエントリも修正データを含んでいないことをグローバル修正インジケータが示す場合、置換のために選択されたキャッシュエントリは、エントリを最初に読み出すことなく新しいデータで更新される。

別の実施形態は、コピーバックアルゴリズムおよびキャッシュ中のいずれかのコピーバックエントリが書き込まれたかどうかを示すグローバル修正インジケータにしたがって管理されている少なくとも１つのエントリを有するキャッシュメモリを含むプロセッサを構成する。どのコピーバックキャッシュエントリも修正データを含んでいないことをグローバル修正インジケータが示す場合、プロセッサはまた、エントリを最初に読み出すことなくキャッシュ中のエントリを置換するように動作するキャッシュ制御装置を含む。

さらに別の実施形態は、コピーバックアルゴリズムにしたがって管理されている少なくとも１つのエントリを含むキャッシュ中でキャッシュミスを処理する方法を構成する。キャッシュ中のミスが検出され、要求されたデータがメモリから読み出される。どのコピーバックキャッシュエントリも修正データを含んでいないことをグローバル修正インジケータが示す場合、メモリから読み出されたデータが、エントリのコンテンツを読み出すことなく選択されたエントリに対して書き込まれる。

詳細な説明

図１は、プロセッサ１０の機能のブロック図を描写する。制御ロジック１４にしたがって命令実行パイプライン１２中で、プロセッサ１０は命令を実行する。いくつかの実施形態において、パイプライン１２は、複数の並列パイプラインを有するスーパースケーラ設計であってもよい。パイプステージ中に構成されるさまざまなレジスタまたはラッチ１６、および１つ以上の算術ロジックユニット（ＡＬＵ）１８をパイプライン１２は含む。汎用目的レジスタ（ＧＰＲ）ファイル２０は、メモリ階層構造のトップを構成するレジスタを提供する。

パイプライン１２は、Ｉ−キャッシュ制御装置２４により制御される命令キャッシュ（Ｉ−キャッシュまたはＩ＄）２２から命令をフェッチする。命令に対するメモリアドレス変換および許可は、命令サイド変換ルックアサイドバッファ（ＩＴＬＢ）２６により管理される。データは、Ｄ―キャッシュ制御装置３０により制御されるデータキャッシュ２８（Ｄ−キャッシュまたはＤ＄）からアクセスされる。グローバル修正インジケータ（ＧＭＩ）３２は、Ｄ−キャッシュに関連付けられている。以下で議論するように、コピーバックキャッシュエントリがＤ−キャッシュ２８中に書き込まれるときはいつでもＧＭＩがセットされ、以下で議論するように、キャッシュのソフトウェアクリーニングが後に続くようなソフトウェアにより、ＧＭＩがクリアされてもよい。データに対するメモリアドレス変換および許可は、メイン変換ルックアサイドバッファ（ＴＬＢ）３１により管理される。さまざまな実施形態において、ＩＴＬＢ２６はＴＬＢ３１の一部のコピーを含んでいてもよい。代わりに、ＩＴＬＢとＴＬＢとを統合してもよい。同様に、プロセッサ１０のさまざまな実施形態において、Ｉ−キャッシュ２２とＤ−キャッシュ２８とを統合、または一体化してもよい。メモリインターフェイス３６の制御の下、Ｉ−キャッシュ２２および／またはＤ−キャッシュ２８におけるミスは、メイン（オフチップ）メモリ３４に対するアクセスを生じさせる。

プロセッサ１０は、さまざまな周辺デバイス４０に対するアクセスを制御する入力／出力（Ｉ／Ｏ）インターフェイス３８を含んでいてもよい。プロセッサ１０の多数のバリエーションが可能であることを当業者は認識するだろう。例えば、ＩおよびＤキャッシュ２２、２８のどちらかまたは両方に対して、プロセッサ１０は２次（Ｌ２）キャッシュを含んでもよい。さらに、プロセッサ１０中で描写される１つ以上の機能のブロックを、特定の実施形態から省略してもよい。

上述したように、データアクセスがＤ−キャッシュ２８中でミスするときはいつでも、要求されたデータがメインメモリ３４から取り出されて、Ｄ−キャッシュ２８中に置かれる。Ｄ−キャッシュ２８がいっぱいである場合（またはたとえそうではなくとも、いくつかの置換アルゴリズムの下で）、新しいデータがＤ−キャッシュ２８中の既存のエントリを移動させるであろう。すべてのキャッシュエントリがライトスルーアルゴリズムにしたがって管理されている場合、キャッシュに対してデータを単に書き込んでもよく、その位置に記憶されていた以前のデータが上書きされる。プロセッサがキャッシュエントリ中に、以前に記憶されていたデータを有していた場合、そのデータはその時にメインメモリ３４に対して直ちに“ライト−スルー”されていたことから、このケースにおいては、データに対してなされた修正を破壊する危険はない。

しかしながら、キャッシュが少なくとも１つのキャッシュエントリに対してコピーバックアルゴリズムをサポートする場合、プロセッサ１０は最初に既存のキャッシュラインを読み出して、データがダーティであるか、すなわち付随するメインメモリ３４の更新を行うことなくデータが以前に書き込まれたかどうかを決定しなければならない。先行技術のプロセッサは、キャッシュエントリが置換されるたびに、この読み出しを単に実行する。しかしながら、Ｄ−キャッシュ中のどのコピーバックエントリも書き込まれていないことが知られている場合、ダーティビットに対するチェックをするために読み出しを実行することなく、ラインを置換してもよい。これはプロセッサの性能を向上させ、電力消費を減少させる。

図２は、本発明の１つ以上の実施形態にしたがった、キャッシュ管理の方法を描写する。キャッシュ２８中のいずれかのコピーバックエントリに対してプロセッサ１０がデータを書き込むときはいつでも、この事実を反映するようにグローバル修正インジケータ（ＧＭＩ）３２が変更される（ブロック４２）。最も単純なケースにおいて、ＧＭＩ３２は単一のビットを構成していてもよい。ＴＬＢルックアップ中のページ属性にアクセスする（例えば、仮想アドレスを物理アドレスに変換するとき）ことにより、プロセッサ１０はキャッシュエントリの管理アルゴリズム（ライト−スルーまたはコピーバック）を認識しているかもしれない。代わりに、ハードワイヤードまたは構成ビットを通して、全体のキャッシュ、またはあるドレス範囲が一方または他方のモードで動作するように“固定”されていてもよい。１つの実施形態において、コピーバックキャッシュエントリに対する書き込みの際だけにＧＭＩ３２をセットしてもよく、ライトスルーキャッシュエントリに対する書き込みはＧＭＩ３２をセットしない。コピーバックキャッシュエントリに書き込む際にＧＭＩ３２をセットすることは、（ルックバック矢印４４により示されるような）進行中のプロセスである。

キャッシュミスにおいて、データはメインメモリ３４から取り出され、この新しいデータを記憶するためにキャッシュエントリが選択される（ブロック４６）。ＧＭＩ３２が次に検査される（ブロック５０）。コピーバックエントリが以前に書き込まれたことをＧＭＩ３２が示す場合（ブロック５２）、例えば、単一ビットＧＭＩ３２のケースにおいてビットがセットされている場合、キャッシュエントリがダーティであるかどうかを調べるためにラインを最初に読み出し、ダーティである場合、メインメモリを更新する従来技術の方法にしたがって、キャッシュエントリを置換する（ブロック５４）。しかしながら、キャッシュ２８中のどのコピーバックエントリも書き込まれていないことをＧＭＩ３２が示す場合、プロセッサはキャッシュエントリを読み出すステップを回避し、選択されたキャッシュエントリに対してメモリから取り出された新しいデータを書き込むことによりキャッシュエントリを直接置換する（ブロック５６）。これにより、電力消費と、キャッシュエントリを読み出してダーティビットを検査する追加のアクセス時間が削減される。

（システムリセットに加えて）ソフトウェアにより、どのコピーバックキャッシュエントリも書き込まれていないことを示す状態に、ＧＭＩ３２をクリア、またはリセットしてもよい。これは、例えば、ソフトウェア“クリーニング”動作に続いて生じてもよく、この場合、ソフトウェアはキャッシュ２８の中を循環して、すべてのダーティ、コピーバックエントリからメインメモリ３４にデータを書き込む。キャッシュ全体２８に関係付けられた単一のＧＭＩ３２では、ＧＭＩ３２がリセットされた時から、データがコピーバックキャッシュエントリに対して書き込まれるまで、ここで記述した電力節約およびプロセッサ性能が利用できるだけであることに注意すべきである。いずれかのコピーバックエントリがいったん書き込まれると、ソフトウェアが再度キャッシュをきれいにし、ＧＭＩ３２をリセットするまでは、すべてのコピーバックエントリを置換の前に読み出して、それらがダーティであるかどうかをチェックしなければならない。

技術的によく知られているように、さまざまな方法で物理的におよび論理的にキャッシュ２２、２８を構築してもよい。１つの知られているキャッシュ構成は、ｎ方向のセット連想であり、この場合、インデックスと呼ばれる（仮想または物理）アドレス領域の一部を使用して、キャッシュエントリのｎセット中から１つを選択し、これに対してデータがマッピングされる。１つの実施形態にしたがうと、キャッシュ２８中の各セットはそれに関係付けられたセット−ＧＭＩ３２を有してもよく、セット−ＧＭＩ３２は、そのセット内のコピーバックエントリが以前に書き込まれたかどうかを示す。これにより、コピーバックエントリが１つのセット中に書き込まれた後、キャッシュ２８中のｎ−１個のセットに対する性能および電力の利益をプロセッサ１０は獲得し続けることができる。

別の知られているキャッシュ構成は、キャッシュ２８を２以上のバンクに分割することである。バンクは、（仮想または物理）アドレスのバンク選択領域により選択される。１つの実施形態にしたがうと、キャッシュ２８の各バンクはそれに関係付けられたバンク−ＧＭＩ３２を有してもよく、バンク−ＧＭＩ３２はそのバンク内のコピーバックエントリが以前に書き込まれたかどうかを示す。これにより、あるバンク中にコピーバックエントリが書き込まれるとき、１つ以上のバンクに対する性能および電力の利益をプロセッサ１０は獲得し続けることができる。

本発明は、特定の機能、観点および実施形態に関してここで記述したが、多数のバリエーション、修正、および他の実施形態が本発明の広い範囲内で可能であり、したがって、あらゆるバリエーション、修正および実施形態が本発明の範囲内のものであると考えるべきことが明らかであろう。それゆえに本実施形態は、すべての観点において実例的なものであって限定的なものでないとして解釈すべきであり、添付した特許請求の範囲の意味および均等の範囲内に入るすべての変更は、その中に包含すべきであることが意図されている。

図１は、プロセッサの機能のブロック図である。 図２は、キャッシュミスを処理する方法のフロー図である。

Claims (10)

1. コピーバックアルゴリズムにしたがって管理された少なくとも１つのエントリを含むキャッシュを管理する方法において、
   任意のコピーバックキャッシュエントリに対する書き込みの際に、キャッシュに関係付けられたグローバル修正インジケータビットを更新することと、
   ミスを処理する際に、前記グローバル修正インジケータビットを検査することと、
   前記キャッシュ中のどのコピーバックキャッシュエントリも修正データを含んでいないことを前記グローバル修正インジケータビットが示す場合、置換のために選択されたコピーバックキャッシュエントリが修正データを含んでいるかどうかを決定するために前記選択されたコピーバックキャッシュエントリを最初に読み出すことなく、前記選択されたコピーバックキャッシュエントリに対して新しいデータを書き込むこととを含む方法。
2. 前記キャッシュは２つ以上のバンクに分割されており、バンク−グローバル修正インジケータビットが各バンクに関係付けられており、前記バンク中のどのコピーバックキャッシュエントリも書き込まれていないことを前記関係付けられたバンク−グローバル修正インジケータビットが示すとき、選択されたコピーバックキャッシュエントリが読み出されることなく置換される請求項１記載の方法。
3. 前記キャッシュはｎ方向のセット連想キャッシュであり、セット−グローバル修正インジケータビットが各セットに関係付けられており、前記セット中のどのコピーバックキャッシュエントリも書き込まれていないことを前記関係付けられたセット−グローバル修正インジケータビットが示すとき、選択されたコピーバックキャッシュエントリが読み出されることなく置換される請求項１記載の方法。
4. 前記グローバル修正インジケータビットをソフトウェアによりリセットしてもよい請求項１記載の方法。
5. 修正データを含むすべてのコピーバックキャッシュエントリをメモリに書き込むことにより前記キャッシュをクリーニングすることに続き、ソフトウェアにより前記グローバル修正インジケータビットをリセットする請求項４記載の方法。
6. プロセッサにおいて、
   コピーバック置換アルゴリズムにしたがって管理された少なくとも１つのエントリを含むキャッシュと、
   前記キャッシュ中の任意のコピーバックキャッシュエントリが修正データを含むかどうかを示すグローバル修正インジケータビットと、
   どのコピーバックキャッシュエントリも修正データを含んでいないことを前記グローバル修正インジケータビットが示す場合、置換のために選択されたコピーバックキャッシュエントリを最初に読み出すことなくキャッシュ中の前記選択されたコピーバックキャッシュエントリを置換するように動作するキャッシュ制御装置とを具備するプロセッサ。
7. 前記キャッシュは２つ以上のバンクに分割されており、２つ以上のバンク−グローバル修正インジケータビットをさらに具備し、関係付けられたバンク中の任意のコピーバックキャッシュエントリが修正データを含むかどうかを各バンク−グローバル修正インジケータビットが示し、前記バンク中のどのコピーバックキャッシュエントリも修正データを含んでいないことを前記関係付けられたバンク−グローバル修正インジケータビットが示す場合、置換のために選択されたコピーバックキャッシュエントリを最初に読み出すことなくバンク中の前記選択されたコピーバックキャッシュエントリを置換するように前記キャッシュ制御装置が動作する請求項６記載のプロセッサ。
8. 前記キャッシュはｎ方向のセット連想キャッシュであり、２つ以上のセット−グローバル修正インジケータビットをさらに具備し、関係付けられたキャッシュセット中の任意のコピーバックキャッシュエントリが修正データを含むかどうかを各セット−グローバル修正インジケータビットが示し、前記セット中のどのコピーバックキャッシュエントリも修正データを含んでいないことを前記関係付けられたセット−グローバル修正インジケータビットが示す場合、置換のために選択されたコピーバックキャッシュエントリを最初に読み出すことなくセット中の前記選択されたコピーバックキャッシュエントリを置換するように前記キャッシュ制御装置が動作する請求項６記載のプロセッサ。
9. 前記グローバル修正インジケータビットは、ソフトウェアによりリセットされるように動作する請求項６記載のプロセッサ。
10. コピーバック置換アルゴリズムにしたがって管理された少なくとも１つのエントリを含むキャッシュ中のキャッシュミスを処理する方法において、
    前記キャッシュ中のミスを検出することと、
    要求されたデータをメモリから読み出すことと、
    どのコピーバックキャッシュエントリも書き込まれていないことをグローバル修正インジケータビットが示す場合、置換のために選択されたコピーバックキャッシュエントリのコンテンツを読み出すことなく、メモリから読み出された前記データを前記選択されたコピーバックキャッシュエントリに書き込むこととを含む方法。

Images