DE69224084T2

DE69224084T2 - Rechneranordnung mit Mehrfachpufferdatencachespeicher und Verfahren dafür

Info

Publication number: DE69224084T2
Application number: DE69224084T
Authority: DE
Inventors: Chi Hung Chi
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1991-01-15
Filing date: 1992-01-06
Publication date: 1998-07-23
Anticipated expiration: 2012-01-07
Also published as: EP0496439B1; JP3425158B2; EP0496439A2; EP0496439A3; DE69224084D1; JPH04303248A; US5822757A

Description

Die Erfindung bezieht sich auf elektronische Rechneranordnungen. Insbesondere bezieht sich die Erfindung auf eine Rechnerarchitektur, die einen effizienten Austausch von Daten zwischen einem relativ schnellen Prozessor und einem relativ langsamen Speicher erlaubt.

HINTERGRUND DER ERFINDUNG

Rasche Fortschritte in der Technologie der integrierten Schaltungen und auf dem Gebiet der Rechnerarchitektur haben zu einer wachsenden "Speicher-Referenz- Verzögerungslücke" zwischen relativ schnellen Verarbeitungseinheiten und relativ langsamen Speichern geführt. Hochleistungs-Prozessor-Chips mit einem maximalen Durchsatz von über 100 MIPS sind im Handel erhältliche Produkte. Multiprozessor-Systeme, die diese Prozessor-Chips als Verarbeitungseinheiten nutzen, können ebenfalls implementiert werden. Das Speichersystem aber, das zur Unterstützung dieser Hochleistungssysteme benötigt wird, damit diese mit Spitzengeschwindigkeit laufen können, ist entweder zu komplex oder zu aufwendig in der Herstellung. Der resultierende Leistungsengpaß von vielen derzeitigen Hochleistungs-Rechneranordnungen ist daher nicht die Geschwindigkeit ihrer Verarbeitungseinheiten, sondern die Effizienz des Speichersystems.
Um das Problem der immer größer werdenden Speicher-Referenz-Verzögerungslücke zwischen den schnellen Verarbeitungseinheiten und dem langsamen Speicher zu überwinden, lehrt der Stand der Technik die Verwendung von Cachespeicher. Cachespeicher ist ein kleiner schneller Pufferspeicher zwischen der zentralen Verarbeitungseinheit und dem Hauptspeicher einer Rechneranordnung. Sein hauptsächlicher Zweck besteht darin, schnelle Daten/Befehls-Zugriffe zu erhalten, ohne den gesamten Primärspeicher mit Hochgeschwindigkeitstechnologie bauen zu müssen und die hiermit verbundenen Kosten aufzuwenden. Dies wird erreicht, indem Daten/Befehle, auf die voraussichtlich in naher Zukunft verwiesen wird, im Cachespeicher gehalten werden. Bei derzeitigen Cache-Entwürfen erhalten die Befehlscaches immer eine höhere Priorität für die Implementierung und Optimierung als Datencaches. Wenn nur eine begrenzte Chipfläche zur Verfügung steht, wird sie benutzt, um Befehlseache zu implementieren. Sehr oft wird der Datencache erst auf dem Prozessor-Chip angeordnet, wenn der Befehlscache implementiert wurde und noch genügend Platz übriggeblieben ist. Dies ist auf das derzeitige Verständnis des Befehlsreferenzverhaltens und des Datenreferenzverhaltens zurückzuführen sowie auf die Genauigkeit der aktuellen Cache-Modelle für Befehle und für Daten.
Da Befehlsreferenzen eine in hohem Maße sequentielle Referenzeigen schaft besitzen, lehrt der Stand der Technik ein als "Cache Prefetching" (Cache-Vorabrufen) bezeichnetes Verfahren, bei dem Referenzen in den Cachespeicher gebracht werden, bevor sie wirklich benötigt werden. Wenn das Vorabrufen korrekt ist, können sich Speicher-Referenz-Verzögerungszeiten (teilweise oder vollständig) mit der Programmausführung überlappen. Für nicht-sequentielle Befehlsreferenzen aufgrund von Verzweigungs- oder Sprunganweisungen lehrt der Stand der Technik ein als "branch target prediction" (Sprungzielvorhersage) bekanntes Verfahren, um vorherzusagen, welchen Weg die Programmausführung einschlagen wird. Zusammen mit dem Cache- Vorabruf-Verfahren kann die Anzahl der Cache-Fehlschläge reduziert werden, wenn die Vorhersage korrekt ist. Außerdem kann "Sprungziel-Puffer oder -Cache" auch benutzt werden, um das Cache-Volltrefferverhältnis zu verbessern, indem Sprungziele in einen Puffer/Cache gebracht werden und Nicht-Sprung-Referenzen in einen anderen Puffer/- Cache. Demzufolge kann die Anzahl der Cache-Fehlschläge, die für die Verarbeitungseinheit sichtbar sind, reduziert werden, und man erhält eine gute Befehlscache-Leistung. Der hier benutzte Ausdruck "Cache-Volltrefferverhältnis" ist definiert als die Wahrscheinlichkeit, daß ein durch eine Prozessoreinheit angeforderter Dateneintrag im Cachespeicher gefunden wird, und die "Cache-Fehlschlag-Strafzeit" ist definiert als die Zeit, die die Prozessoreinheit warten muß, bis der angeforderte Dateneintrag eintrifft, wenn ein Cache-Fehlschlag auftritt.
Seit der Einführung von Cache in den sechziger Jahren wurden Cache Partitionierung und Mehrfachpuffer-Cache-Verfahren oft angewendet, um das Cache- Volltrefferverhältnis zu verbessern und den Datenverkehr auf dem Bus zu reduzieren. Einige der am häufigsten angewendeten Cache-Partitionierungsverfahren nach dem Stand der Technik sind:
DATENCACHE VERSUS BEFEHLSCACHE - die Cache-Speicherkapazität wird in zwei sich gegenseitig ausschließende Partitionen unterteilt, eine zur Speicherung von Befehlen und eine zur Speicherung von Daten.
CACHE-PARTITION FÜR ECHTZEITSYSTEME - die Cache-Speicherkapazität wird in mehrere Partitionen unterteilt, von denen jedesmal, wenn eine Ausgabe ausgeführt wird, nur eine zugewiesen und durch die Aufgabe genutzt wird.
HINZUFÜGEN VON SPRUNGZIEL-CACHE - ein separater Puffer/- Cache, der nur zum Speichern von Sprungziel-Befehlen dient, wird zum vorhandenen Cache hinzugefügt.
HINZUFÜGEN VON VORABRUF-PUFFER - ein separater Puffer, der nur zum Speichern von sequentiell vorabgerufenen Befehlen dient, wird zum vorhandenen Cache hinzugefügt.
HINZUFÜGEN VON OPFER-CACHE ODER FEHLSCHLAG-CACHE - ein separater Puffer/Cache, der zur vorübergehenden Speicherung von Daten dient, die gerade vom Cache ersetzt wurden, wird zwischen dem vorhandenen Cache und dem Hauptspeicher eingefügt.
Nach dem Stand der Technik wird das Datenreferenzverhalten im allgemeinen als "zufällig" betrachtet und es gibt kein genaues Modell für Dateneache-Entwürfe nach dem Stand der Technik. Daher können diejenigen Cache-Verfahren, die die Leistung des Befehlscache verbessern können, ineffizient werden, wenn sie auf Datencache angewendet werden. Alle diese Verfahren verlieren bei Datencache-Entwürfen ihre Effizienz. Das erste Verfahren (Datencache versus Befehlscache) versucht, das Übergreifen der Befehlsreferenzen auf Datenreferenzen in Cachespeichern zu verhindern, während das zweite Verfahren (Cache-Partitionierung für Echtzeitsysteme) versucht, das Übergreifen von Befehls- und Datenreferenzen von einer Aufgabe auf die Befehls- und Datenreferenzen einer anderen Aufgabe zu verhindern. Das Problem des unvorhersagbaren Datenreferenzverhaltens bleibt jedoch bestehen. Das dritte Verfahren (Hinzufügen eines Sprungziel-Cache) kann in Datencaches nicht angewendet werden, weil es keine Sprungziele in Datenreferenzen gibt. Das vierte Verfahren (Hinzufügen von Vorabruf-Puffer) ist nicht sehr nützlich für die Verbesserung der Datencache-Leistung, weil das Referenzverhalten der Daten mehr oder weniger zufällig ist und nicht sequentiell. Das sequentielle Vorabrufen in Datenreferenzen verschlechtert oft die Datencache-Leistung statt sie zu verbessern. Das letzte Verfahren (Hinzufügen von Opfer- Cache oder Fehlschlag-Cache) kann die Datencache-Leistung leicht verbessern, indem mehr Assoziativität zum Cache hinzugefügt wird. Hierdurch wird jedoch das Problem des unvorhersagbaren Datenreferenzverhaltens nicht gelöst.
Eine weitere Beschreibung der Organisation und Konstruktion von Cache- Speicherpuffern und -systemen ist in "High-Speed Memory Systems", Pohm und Agrawal, Reston Publishing Company (1983), und in "Cache Memories", von A.J. Smith, Computing Surveys, Band 14, Nummer 3, September 1982, S.473 - 530 zu finden.
Cache-Vorabruf-Verfahren sind für Datencaches relativ weniger effizient als für Befehlscaches. Manchmal setzen sie die Rechnerleistung sogar herab. Dies ist vor allem auf Problem der Cache-Verunreinigung und des Bus-Konkurrenzbetriebs zurückzuführen. Der Ausdruck "Cache-Verunreinigung" bezieht sich hier auf die Situation, in der Daten oder Befehle in den Cache geholt werden, aber auf die in der Zeit, während der sie sich im Cache befinden, nicht verwiesen wird. "Bus-Konkurrenzbetrieb" ist eine Situation, bei der es mehr Anforderungen gibt, die versuchen, den Datenbus zu benutzen, als der Bus gleichzeitig bedienen kann. Im Vergleich zu dem Verhalten der Befehlsreferenzen, die normalerweise von sequentieller Beschaffenheit sind, ist das Gesamtverhalten der Datenreferenzen mehr oder weniger zufällig. Da nach dem Stand der Technik das Referenzverhalten der Daten viel weniger vorhersagbar war als das Referenzverhalten von Befehlen, tritt die Cache-Verunreinigung bei Datencache- Vorabruf viel schwerwiegender auf als bei Befehlscache-Vorabruf. Es wird nicht nur Cache-Speicherkapazität vergeudet, um vorabgerufene Daten, auf die nicht verwiesen wird, zu speichern, sondern auch Daten im Cache, auf die in Kürze verwiesen wird, könnten durch die Daten ersetzt werden, auf die nicht verwiesen wird. Auch das Abrufen von Daten, auf die nicht verwiesen wird, trägt zum Busverkehr bei. In Systemen, bei denen die Bus-Bandbreite eine begrenzte Ressource darstellt, kann es zu einem Bus- Konkurrenzbetrieb kommen und die Rechnerleistung wird weiter verschlechtert. Wenn der Bus mit dem Vorabrufen von Daten beschäftigt ist, auf die nicht verwiesen wird, können andere Anforderungen zur Nutzung des Busses (z.B. Abrufen von Befehlen) verzögert werden. Die ist sehr häufig bei Hochleistungs-Prozessor-Chips der Fall, wo die Verarbeitungsgeschwindigkeit sehr hoch sein kann, aber die Bus-Bandbreite durch physikalische Zwänge begrenzt ist, zum Beispiel durch die Gesamtzahl der Stifte an einem Chip. Das Verfahren der Sprungvorhersage und die Verwendung von Sprungziel- Puffer/Cache ist nicht auf Datencache anwendbar. Bei Datencache-Entwürfen nach dem Stand der Technik werden die Datenreferenzen nicht entsprechend ihrem sequentiellen Referenzverhalten in verschiedene Typen untergeteilt. Die Unterscheidung zwischen Sprung-Referenzen und sequentiellen Referenzen bei Befehisreferenzen tritt bei Datenreferenzen nicht auf. Die Leistung der derzeitigen Datencache-Entwürfe ist daher wesentlich geringer als die Leistung von Befehlscache-Entwürfen.
In der Patentschrift EP-A-0 250 702 wird ein System beschrieben, in dem die Befehle, die Daten in einem Cache anfordern, einen Cache-Steuerungs-Spezifizierer enthalten, der den Cache über den Typ der Daten informiert, auf die durch die genannten Befehle verwiesen wird. Der Cache kann daher dasjenige Ersatz-Schema wählen, das am besten für den identifizierten Datentyp geeignet ist.
Die Erfindung hat zur Aufgabe, die Effizienz von Datencache zu verbessern.
Eine Ausführungsform der Erfindung erfüllt die Aufgabe, weil sie eine Rechneranordnung schafft, die folgendes enthält:
eine Verarbeitungseinheit;
einen Hauptspeicher zum Speichern der durch die Verarbeitungseinheit benutzten Daten;
einen Datencache, der mit der Hauptspeichereinheit und der Verarbeitungseinheit verbunden ist, um Daten zu speichern und/oder vom Hauptspeicher vorabzurufen, auf die durch die Befehle der Verarbeitungseinheit verwiesen wird;
wobei der Datencache folgendes umfaßt:
Mittel, die Datenanforderungen von der Verarbeitungseinheit analysieren und die Datenreferenzen in den genannten Anforderungen auf der Grundlage von vorhergesagten statistischen Assoziationen der Gebundenheiten der genannten Datenreferenzen in eine Vielzahl von unterschiedlichen Gruppen einteilen; mindestens zwei Datenpuffer; und
Mittel, die jede Datenreferenz einem der genannten Puffer zuordnen, um die Cache-Leistung auf der Basis von vorhergesagten statistischen Assoziationen zu optimieren. Dank der Mittel, die die Anforderungen analysieren, werden Datenobjekte, die von Befehlen mit unterschiedlicher Referenz-Gebundenheit stammen (zum Beispiel Befehle, die auf Stapeldaten verweisen oder auf globale Variable, oder Array-Elemente oder direkt adressierte Daten), entsprechend der Referenz-Gebundenheit, zum Beispiel zeitliche Gebundenheit oder räumliche Gebundenheit, in verschiedene Datenpuffer gebracht. Diese Referenz-Gebundenheit wird dynamisch, also wie die Datenobjekte angefordert werden, durch die Mittel vorhergesagt, welche die Datenanforderung analysieren; ein einzelnes Objekt kann also, wenn von verschiedenen Teilen des Programms darauf zugegriffen wird, in verschiedene Puffer gebracht werden, je nachdem, wie seine Verwendung vorhergesagt wurde. Das Halten der Daten in den Datenpuffern, ihr Umfang und Vorabrufstrategien können für jeden Datenpuffer separat optimiert werden, und das unvorhersagbare Verhalten der einen Art von Referenz braucht zum Beispiel nicht andere Datenpuffer zu verunreinigen oder dazu zu führen, daß nützliche Datenobjekte daraus entfernt werden.
In einer Ausführungsform der Erfindung umfassen die genannten Gruppen auf der Basis von statistischen Assoziationen eine S-Referenz-Datengruppe, für die eine starke zeitliche Gebundenheit der Referenzeigenschaften vorhergesagt wird, und auch eine P-Referenz-Datengruppe, für die eine relativ schwache zeitliche Gebundenheit der Referenzeigenschaften vorhergesagt wird und eine relativ starke räumliche Gebundenheit der Referenzeigenschaften, wobei es unter den Datenpuffern einen S-Puffer zum Speichern von S-Referenzdaten und einen P-Puffer zum Speichern und Vorabrufen von P- Referenzdaten gibt.
Die Datenreferenzen werden entsprechend des Adressiermodus und der bei der Adressenberechnung benutzten Register in zwei Typen mit den Bezeichnungen S_Referenzen und P_Referenzen aufgeteilt. Datenreferenzen vom Hauptspeicher werden in einem Cache gespeichert, der zwei Puffer umfaßt, einen S_Puffer und einen P_ Puffer, von denen jeder für die Behandlung eines Datenreferenztyps optimiert ist und benutzt wird. Der S_Puffer ist für S_Referenzen optimiert und der P_Puffer für P_ Referenzen. Jeder dieser beiden Referenztypen hat seine eigenen Eigenschaften, die er nicht mit dem anderen Referenztyp teilt. Die Optimierung wird erreicht, indem im Fall von P_Referenzen für das Vorabrufen von Daten gesorgt wird, die an diejenigen Daten angrenzen sind, auf die verwiesen wird, jedoch nicht im Fall von S_Referenzen. Es können auch andere Typen von Haltestrategien, wie sie für Befehlscache beschrieben werden, für den S_Puffer oder den P_Puffer verwendet werden. Auf diese Weise erhält man mit dem Mehrfachpuffer-Datencache eine wesentliche Verbesserung der Cache- Leistung.
Bei derzeitigen Cache-Entwürfen wird das Programm-Referenzverhalten oft mit der Gebundenheit der Referenz beschrieben. Es gibt zwei Arten von Gebundenheitsreferenzen, "zeitliche Gebundenheit" (Zeitgebundenheit) und "räumliche Gebundenheit" (Ortsgebundenheit). Während eines kurzen Zeitraums sind durch ein Referenzprogramm getätigte Speicherreferenzen nicht gleichförmig über den Adreßraum verteilt. Stattdessen treten Referenzen oft in kleinen Clustern - dem arbeitenden Referenzsatz -auf. Der erste Gebundenheitstyp, die zeitliche Gebundenheit, bezieht sich auf die Tatsache, daß zur Zeit benutzte Informationen wahrscheinlich in naher Zukunft erneut benutzt werden. Dies ist das Grundprinzip für die meisten Cachespeicher nach dem Stand der Technik: Die meisten Programm versuchen, Daten oder Codes während der Programmausführung mehrmals zu benutzen. Diese Art von Referenzverhalten ist in Programmschleifen zu finden, in denen sowohl Daten- als auch Befehlsreferenzen voraussichtlich wiederholt für jede Schleife oder in Subroutinen benutzt werden, die während der Programmausführung mehrmals aufgerufen werden.
Der Adreßraum ist normalerweise in eine Anzahl von einzelnen, aneinander angrenzenden Segmenten dieses Raums gruppiert, und es wird nur auf wenige Segmente gleichzeitig wiederholt verwiesen. Der zweite Gebundenheitstyp, die räumliche Gebundenheit, legt nahe, daß die Orte der Referenzen eines Programs in naher Zukunft wahrscheinlich in der Nähe der aktuellen Orte der Referenz liegen werden. Diese Art von Referenzverhalten ist in wissenschaftlichen Programmen üblich, wo Befehle meist in sequentieller Reihenfolge ausgeführt werden und es gebräuchlich ist, auf Sequenzen von Array-Elementen zuzugreifen, die typischerweise im Speicher aneinander angrenzen.
Mit diesen Gebundenheiten von Zeit und Raum versucht die vorliegende Erfindung, Informationen, die der Prozessor zur Zeit bearbeitet (Zeitgebundenheit), zusammen mit Informationen in der Nähe des aktuellen Orts der Referenzen (Ortsgebundenheit), im Cache und leicht verfügbar zu halten. Es wird jedoch allgemein erkannt, daß dieses Entwurfsprinzip gut für Befehlscaches funktioniert, aber nicht für Datencaches. Dies ist auf das sehr unterschiedliche Referenzverhalten bei Befehlen und Daten zurückzuführen. Während das Befehlsreferenzverahlten eine in hohem Maße sequentielle Referenzeigenschaft besitzt und gut vorhersagbar ist, lehrt der Stand der Technik, daß das Datenreferenzverhalten zufällig ist und viel weniger vorhersagbar als Befehlsreferenzen. Da die meisten aktuellen Cache-Modelle in Management-Strukturen vor allem für Befehlscache entworfen wurden, ist es nicht erstaunlich, daß diese Strukturen und Steuerungsmechanismen viel weniger effizient sind, wenn sie auf Dateneaches angewendet werden. Sorgfältige Untersuchungen zeigen jedoch, daß das Datenreferenzverhalten in Wirklichkeit nicht so zufällig ist, wie es den Anschein hat. Es handelt sich hier vielmehr um eine Kombination von S_Referenzen und P_Referenzen, und jeder dieser beiden Referenztypen ist in hohem Maße vorhersagbar. Der erste Typ von Datenreferenzen, die P_Referenz, ist hauptsächlich auf Zugriffe von Daten-Array-Elementen mit Hilfe von Zeigern zurückzuführen. Sie hat stark sequentielle Referenzeigenschaften, die der sequentiellen Referenzeigenschaft von Befehlen ähnlich sind. Die nächste Referenz dieses Typs von Daten ist daher in hohem Maße vorhersagbar. Das bedeutet, sie verfügt über eine starke vorwärtsgerichtete (oder vielleicht rückwärtsgerichtete) räumliche Referenz-Gebundenheit. Der aktive Bereich der P_Referenzen ist jedoch normalerweise sehr kurz, üblicherweise wenige Befehle lang, und seine Referenzfrequenz ist sehr gering. Das bedeutet, daß die zeitliche Gebundenheit von P_Referenzen sehr schwach ist.
Der zweite Typ von Datenreferenzen, die S_Referenz, ist hauptsächlich auf Zugriffe von Stapelvariablen und globalen Skalar-Variablen zurückzuführen. Auf diesen Referenztyp wird üblicherweise während seines aktiven Bereichs sehr oft verwiesen. Bei diesem Referenztyp liegt also eine stark zeitliche Gebundenheit der Referenzeigenschaft vor. Die räumliche Gebundenheit der S_Referenzen ist jedoch sehr schwach, weil das Zugriffsmuster nahezu zufällig ist.
Durch Prüfung des Adressiermodus und der bei der Adressenberechnung während der Befehlsdecodierung benutzten Register können Datenreferenzen in Laufzeit mit hoher Genauigkeit als S_Referenzen oder P_Referenzen angenommen werden. Dies liegt daran, daß nur Referenzen mit indirektem Adressiermodus P_Referenzen sein können und einige Register oft für spezielle Zwecke vorgesehen sind. Referenzen zum Beispiel, die einen direkten Adressiermodus nutzen, sind wahrscheinlich S_Referenzen; indirekte Referenzen, die das Stapelzeigerregister nutzen, sind wahrscheinlich lokale Stapelvariablen.
Durch Aufteilen der Datenreferenzen in S_Referenzen und P_Referenzen kann die Gebundenheit von jedem dieser beiden Datenreferenztypen genauer beschrieben werden. Auf der Grundlage dieses Datenreferenzmodells enthält eine erfindungsgemäße Rechneranordnung einen Datencache mit einem S_Puffer, der für das Vorabrufen und Speichern von S_Referenzdaten optimiert ist, und mit einem P_Puffer, der für das Vorabrufen und Speichern von P_Referenzdaten optimiert ist. Der Datencache umfaßt eine Steuereinheit, die den Adressiermodus und die bei der Adressenberechnung während der Befehlsdecodierung benutzten Register analysiert, um zu ermitteln, ob die Referenzdaten eine S_Referenz oder eine P_Referenz sein sollen.

BESCHREIBUNG DER ZEICHNUNGEN

Die Erfindung wird im folgenden unter Bezugnahme auf eine Figur beschrieben, die eine erfindungsgemäße Rechneranordnung mit einem Datencache zeigt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Die Figur zeigt einen erfindungsgemäßen Mehrfachpuffer-Datencache. Der Cache steuert das Abrufen der Daten, auf die durch eine Verarbeitungseinheit 10 von einem Hauptspeicher 20 verwiesen wird. Wie nach dem Stand der Technik üblich, umfaßt die Verarbeitungseinheit eine Decodereinheit 30, die die Befehle decodiert, um unter anderem den Typ der darin enthaltenen Datenreferenzen und die für die indirekte Datenadressierung benutzten Register zu bestimmen.
Ein Mehrfachpuffer-Datencache 100 ist zwischen den Hauptspeicher 20 und die Verarbeitungseinheit 10 geschaltet. Er besteht aus einem S_Puffer 40, einem P_Puffer 50 und einer Steuereinheit 60. Die Steuereinheit 60 regelt den Datenfluß, so daß der P_Puffer und der S_Puffer jeweils eigene einzigartige Merkmale und Steuerschemata haben, um einen Datenreferenztyp zu optimieren: der S_Puffer dient zur Behandlung der S_Referenzen und der P_Puffer zur Behandlung der P_Referenzen. Die Puffer sind ansonsten nach dem Stand der Technik konstruiert und verbunden.
Wenn eine Datenreferenz in einem Befehl gefunden wird, werden der Adressiermodus und die für die Adressenberechnung benutzten Register durch die Decodereinheit 30 bestimmt und an die Steuereinheit 60 geschickt, die bestimmt, ob es sich um eine S_Referenz oder eine P_Referenz handelt. Dies geschieht in Übereinstimmung mit vorgegebenen Regeln, die in die Logik der Steuereinheit eingebaut sind. Eine Referenz zum Beispiel, die mit dem indirekten Adressiermodus arbeitet und das Stapelzeigerregister bei ihrer Adressenberechnung nutzt, wird als S_Referenz betrachtet. Wenn eine Datenreferenz erfolgt, werden beide Puffer geprüft, um festzustellen, ob es einen Cache-Fehlschlag oder einen Cache-Volltreffer gibt.
Der S_Puffer wird hauptsächlich benutzt, um S_Referenzen zu speichern. Da eine S_Referenz keine starke sequentielle Referenzpriorität besitzt, wird kein sequentielles Vorabrufen genutzt, weil die schwerwiegende Cache-Verunreinigung, die der Daten-Vorabruf mit sich bringt, zu einer Verschlechterung der Leistung führen könnte statt zu einer Verbesserung. Dies trifft vor allem zu, wenn der S_Puffer klein ist. Wenn ein S_Puffer-Cache-Volltreffer für eine S_Referenz vorliegt, gibt es keine Änderung im Inhalt des Cache. Wenn ein S_Puffer-Cache-Volltreffer für eine P_Referenz vorliegt, gibt es keine Änderung im Inhalt des Cache. Wenn ein Cache-Fehlschlag für eine S_ Referenz vorliegt, wird der Cache-Block, der diesem Fehlschlag entspricht, vom Hauptspeicher in den S_Puffer geholt.
Der P_Puffer dient hauptsächlich zum Speichern von P_Referenzen. Da P_Referenzen in hohem Maße über eine sequentielle Referenzeigenschaft verfügen, wird im P_Puffer das sequentielle Vorabrufen genutzt. Wenn ein P_Puffer-Cache-Volltreffer für eine P_Referenz vorliegt, gibt es keine Änderung im Inhalt des Cache. Wenn ein P_Puffer-Volltreffer für eine S_Referenz vorliegt, wird der Cache-Block, der dieser Referenz entspricht, vom P_Puffer in den S_Puffer übertragen. Nach der Blockübertragung wird der Cache-Block im P_Puffer, der die aktuelle S_Referenz enthält, als leer gekennzeichnet. Wenn ein Cache-Fehlschlag für eine P_Referenz vorliegt, wird der Cache-Block, der diesem Fehlschlag entspricht, vom Hauptspeicher in den P_Puffer geholt. Alle vorabgerufenen Daten werden in den P_Puffer gebracht. Es kann ein Vorabrufschema wie "immer vorabrufen" verwendet werden.
Obwohl die Erfindung in bezug auf einen Zwei-Puffer-Cache beschrieben wurde, ist ihr Umfang nicht darauf begrenzt. Es können zusätzliche Cache-Puffer neben dem P_Puffer und dem S_Puffer vorgesehen werden, die über spezielle Datenabruf- und Speichereigenschaften verfügen, welche für andere identifizierbare Datenreferenztypen mit einzigartigen Eigenschaften optimiert sind.

Claims

1. Rechneranordnung, die folgendes enthält: eine Verarbeitungseinheit;

einen Hauptspeicher zum Speichern der durch die Verarbeitungseinheit benutzten Daten;

einen Datencache, der mit der Hauptspeichereinheit und der Verarbeitungseinheit verbunden ist, um Daten zu speichern und/oder vom Hauptspeicher vorabzurufen, auf die durch die Befehle der Verarbeitungseinheit verwiesen wird;

wobei der Datencache folgendes umfaßt:

Mittel, die Datenanforderungen von der Verarbeitungseinheit analysieren und die Datenreferenzen in den genannten Anforderungen auf der Grundlage von vorhergesagten statistischen Assoziationen der Gebundenheiten der genannten Datenreferenzen in eine Vielzahl von unterschiedlichen Gruppen einteilen; mindestens zwei Datenpuffer; und

Mittel, die jede Datenreferenz einem der genannten Puffer zuordnen, um die Cache-Leistung auf der Basis von vorhergesagten statistischen Assoziationen zu optimieren.

2. Rechneranordnung nach Anspruch 1, wobei die genannten Gruppen auf der Basis von statistischen Assoziationen eine S-Referenz-Datengruppe enthalten, für die eine starke zeitliche Gebundenheit der Referenzeigenschaften vorhergesagt wird, und auch eine P-Referenz-Datengruppe, für die eine relativ schwache zeitliche Gebundenheit der Referenzeigenschaften vorhergesagt wird und eine relativ starke räumliche Gebundenheit der Referenzeigenschaften, wobei es unter den Datenpuffern einen S-Puffer zum Speichern von S-Referenzdaten und einen P-Puffer zum Speichern und Vorabrufen von P-Referenzdaten gibt.

3. Anordnung nach Anspruch 2, wobei die Mittel, die die Datenanforderungen analysieren, Mittel umfassen, welche Datenanforderungen für Stapeldaten identifizieren und diese identifizierten Daten über den S_Puffer speichern.

4. Anordnung nach Anspruch 2 oder 3, wobei die Mittel, die die Datenanforderungen analysieren, Mittel umfassen, welche Datenanforderungen für globale Variablendaten identifizieren und diese identifizierten Daten über den S_Puffer speichern.

5. Anordnung nach Anspruch 2, 3 oder 4, wobei die Mittel, die die Datenanforderungen analysieren, Mittel umfassen, welche Datenanforderungen für Array- Element-Daten identifizieren und die genannten identifizierten Daten über den P_Puffer vorabrufen und/oder speichern.

6. Anordnung nach Anspruch 2, 3, 4 oder 5, wobei die Mittel, die die Datenanforderungen analysieren, Mittel umfassen, welche Datenanforderungen identifizieren, die den direkten Adressiermodus nutzen, und die genannten identifizierten Daten über den S_Puffer speichern.

7. Anordnung nach Anspruch 2, 3, 4, 5 oder 6, wobei die Verarbeitungseinheit ein Stapelzeigerregister enthält und die Mittel, die die Datenanforderungen identifizieren, Mittel umfassen, welche Datenanforderungen identifizieren, die einen indirekten Adressiermodus auf der Basis des Stapelregisters benutzen, und die genannten identifizierten Daten über den S_Puffer speichern.

8. Anordnung nach einem der Ansprüche 1 bis 7, wobei die Mittel, die die Datenanforderungen analysieren, Mittel umfassen, die eine Prozessoranweisung, welche die Daten anfordert, decodieren.

9. Anordnung nach einem der Ansprüche 2 bis 8, die weiterhin Cache-Steuermittel umfaßt, die bestimmen, ob sich die angeforderten Daten im Cache befinden, und bei einem Cache-Fehlschlag oder bei S_Referenzdaten einen Cache-Block mit den Daten, die dem Fehlschlag entsprechen, aus dem Hauptspeicher in den S_Puffer holen.

10. Anordnung nach einem der Ansprüche 2 bis 9, die weiterhin Cache-Steuermittel umfaßt, die bestimmen, ob sich die angeforderten Daten im P_Puffer befinden, und bei einem P Puffer-Cache-Volltreffer für S_Referenzdaten zuerst den Cache-Block mit den Daten, die dem Volltreffer entsprechen, vom P_Puffer in den S_Puffer übertragen und dann den Cache-Block im P_Puffer als frei kennzeichnen.

11. Verfahren zur Cache-Speicherung von Daten in einer Rechneranordnung, die eine Verarbeitungseinheit zur Ausführung von Befehlen und einen Speicher zum Speichern von Daten enthält, wobei das Verfahren folgende Schritte umfaßt: Analysieren der Befehle von der Verarbeitungseinheit und Einteilen der in den genannten Befehlen enthaltenden Datenreferenzen auf der Grundlage von vorhergesagten stastistischen Assoziationen der Gebundenheiten der genannten Datenreferenzen in eine Vielzahl von unterschiedlichen Gruppen;

Zuordnen jeder Datenreferenz zu einem aus der Vielzahl der Puffer auf der Basis der vorhergesagten statistischen Assoziationen; und

Speichern und/oder Vorabrufen von Daten aus dem Speicher über die zugeordneten Puffer mit Hilfe von verschiedenen Speicher- und/oder Vorabruf-Algorithmen für jeden Puffer, wobei die genannten Algorithmen so gewählt werden, daß die Daten- Cachespeicherung für Daten optimiert wird, die die statistischen Assoziationen der Gebundenheit der dem zugehörigen Puffer zugeordneten Datengruppe besitzen.