DE69131551T2

DE69131551T2 - Logische Aufteilung eines Speichersystems mit redundanter Matrix

Info

Publication number: DE69131551T2
Application number: DE69131551T
Authority: DE
Inventors: David Charles Stallmo
Original assignee: EMC Corp
Current assignee: EMC Corp
Priority date: 1990-11-09
Filing date: 1991-10-30
Publication date: 2000-02-17
Anticipated expiration: 2011-10-31
Also published as: JP3304115B2; EP0485110A2; EP0485110A3; DE69131551D1; CA2054794C; JPH05197498A; US5519844A; US6154854A; US5708769A; AU8683991A; CA2054794A1; EP0485110B1

Description

HINTERGRUND DER ERFINDUNG

1. Gebiet der Erfindung

Diese Erfindung betrifft eine Computersystem-Datenspeicherung und insbesondere ein redundantes Array-Speichersystem, das als RAID-System Stufe 1, 3, 4 oder 5 oder als irgendeine Kombination dieser Konfigurationen konfiguriert sein kann.

2. Beschreibung von verwandter Technik

Ein typisches Datenverarbeitungssystem umfaßt im allgemeinen eine oder mehrere Speichereinheiten, die mit einer Zentralprozessoreinheit (CPU = Central Processor Unit) entweder direkt oder durch eine Steuereinheit und einen Kanal verbunden sind. Die Funktion der Steuereinheiten besteht darin, Daten und Programme zu speichern, welche die CPU bei der Durchführung bestimmter Datenverarbeitungsaufgaben benutzt.
In herkömmlichen Datenverarbeitungssystemen werden unterschiedliche Typen von Speichereinheiten verwendet. Ein typisches System kann eine oder mehrere Bandeinheiten und/oder Disk- bzw. Platten- bzw. Diskettenlaufwerke (magnetische, optische oder Halbleiter) mit großer Kapazität umfassen, die zur Datenspeicherung mit dem System über jeweilige Steuereinheiten verbunden sind.
Ein Problem tritt jedoch auf, falls eine der Speichereinheiten mit großer Kapazität ausfällt, so daß die darin enthaltene Information nicht länger für das System verfügbar ist. Im allgemeinen wird ein derartiger Ausfall das gesamte Computersystem außer Betrieb setzen.
Im Stand der Technik wurden mehrere Wege zur Lösung des Problems, eine zuverlässige Datenspeicherung vorzusehen, vorge schlagen. In Systemen, in denen die Datensätze relativ klein sind, können Fehlerkorrekturcodes verwendet werden, die ECC- Syndrom-Bits erzeugen, die an jeden Datensatz innerhalb einer Speichereinheit angefügt werden. Mit Hilfe solcher Codes kann eine kleine Datenmenge korrigiert werden, die möglicherweise fehlerhaft gelesen wird. Derartige Codes sind jedoch im allgemeinen nicht für die Korrektur oder Wiederherstellung langer Datensätze, welche fehlerhaft sind, geeignet und schaffen überhaupt keine Abhilfe, wenn eine gesamte Speichereinheit ausfällt. Es besteht daher ein Bedarf, Datenzuverlässigkeit von außen für einzelne Speichereinheiten vorzusehen.
Es wird sich auf die WO89/10594 bezogen, die ein Dateisystem beschreibt, das für die Optimierung der Anwendung einer Vielzahl an Zugriffspfaden und verfügbarer Speicher-Hardware anpaßbar ist, um Betriebsanforderungen des Systems zu genügen. Ein zweistufiges Datenverwaltungssystem wird eingesetzt, das eine erste Stufe aufweist, die mit der Dateibenutzerschnittstelle für die temporäre Speicherung von Daten gekoppelt ist, auf die von mehreren Anwendern zugegriffen werden kann, und die Anfragen für Transaktionen mit dem externen Speicher erzeugt. Eine zweite Stufe ist mit der ersten Stufe und dem externen Speicher in Antwort auf die Anfrage auf Dateiübertragungen mit dar externen Speicherung gekoppelt, um die Dateiübertragungen für die Speicherung von Daten in dem externen Speicher und die Wiedergewinnung von Daten von dem externen Speicher zu verwalten.
Andere Ansätze für eine derartige "externe" Zuverlässigkeit sind im Stand der Technik beschrieben worden. Eine Forschungsgruppe an der Universität von Kalifornien, Berkeley, hat in einer Veröffentlichung mit dem Titel "A Case for Redundant Arrays of inexpensive Disks (RAID)", Patterson, et al., Proc. ACM; SIGMOD, Juni 1988 eine Anzahl unterschiedlicher Ansätze zum Vorsehen einer derartigen Zuverlässigkeit bei Verwendung von Platten- oder Diskettenlaufwerken als Speichereinheiten katalogisiert. Arrays von Diskettenlauf werken sind in einer von fünf Architekturen unter dem Akronym "RATD" (für Redundant Arrays of Inexpensive Disks = redundante Arrays kostengünstiger Disks) charakterisiert.
Eine RAID-Architektur Stufe 1 umfaßt die Bereitstellung eines Duplikatsatzes an "Spiegel"-Speichereinheiten und das Behalten einer Duplikatkopie von allen Daten auf jedem Speichereinheitenpaar. Während eine solche Lösung das Problem der Zuverlässigkeit löst, verdoppelt sie die Kosten für die Speicherung. Es gibt eine Anzahl von Implementierungen der RAID-Architektur Stufe 1, insbesondere von der Tandem Corporation.
Eine RAID-Architektur Stufe 2 speichert jedes Bit jedes Datenworts, zuzüglich Fehler-Erkennungs- und Fehler-Korrektur- (EDC = Error Detection and Correction)-Bits für jedes Wort auf gesonderten Disklaufwerken (dies ist auch als "bit stripping" bekannt). Beispielsweise offenbart das US-Patent Nr. 4,722,085 von Flora et al. einen Disklaufwerkspeicher, welcher eine Vielzahl vergleichweise kleiner, unabhängig arbeitender Disk-Subsysteme verwendet, um als großes "Disklaufwerk" mit hoher Kapazität mit einer ungewöhnlich hohen Fehlertoleranz und einer sehr hohen Datenübertragungbandbreite zu funktionieren. Eine Datenorganisationsvorrichtung fügt sieben EDC-Bits (die unter Verwendung des bekannten Hamming-Codes bestimmt werden) zu jedem 32-Bit-Datenwort, um eine Fehlerdetektions- und Fehlerkorrekturfähigkeit zu schaffen. Das resultierende 39-Bit-Wort wird auf 39 Disklaufwerke geschrieben, ein Bit pro Disklaufwerk. Wenn eines der 39 Disklaufwerke ausfällt, können die verbleibenden 38 Bits jedes gespeicherten 39-Bit-Worts dazu verwendet werden, jedes 32-Bit-Wort auf einer Wort-zu-Wort-Basis zu rekonstruieren, während die Datenworte jeweils von den Disklaufwerken gelesen werden, wodurch eine Ausfalltoleranz erhalten wird.
Ein offensichtlicher Nachteil eines derartigen Systems ist die große Anzahl Disklaufwerke, welche für ein Minimalsystem erforderlich sind (da die meisten großen Computer ein 32- Bit-Wort verwenden). Hinzu kommt der vergleichsweise große Anteil von Laufwerken, die für die Speicherung der EDC-Bits erforderlich sind (7 von 39 Laufwerken). Eine weitere Beschränkung eines RAID-Disklaufwerk-Speichersystems der Stufe 2 liegt darin, daß die einzelnen Diskaktuatoren zum Schreiben jedes Datenblocks, dessen Bits über sämtliche der Disklaufwerke verteilt werden, unisono betrieben werden. Diese Anordnung hat eine hohe Datenübertragungsbandbreite, da jede einzelne Disk einen Teil eines Datenblocks überträgt. Der Gesamteffekt besteht darin, daß der gesamte Block dem Computersystem viel schneller zur Verfügung steht, als wenn ein einzelnes Laufwerk auf den Block zugreifen würde. Dies ist vorteilhaft für große Datenblöcke. Diese Anordnung stellt jedoch auch effektiv einen einzigen Lese/Schreibkopfaktuator für die gesamte Speichereinheit bereit. Dies wirkt sich ungünstig auf die Fähigkeit des wahlfreien Zugriffs auf den Disk-Array aus, wenn die Datendateien klein sind, da zu einem Zeitpunkt jeweils nur auf eine Datendatei von einem "einzigen" Aktuator zugegriffen werden kann. Infolgedessen werden RAID-Systeme der Stufe 2 im allgemeinen als ungeeignet für Computersysteme angesehen, die für On-Line- Dialogverarbeitung (OLTP = On-Line Transaction Processing) ausgebildet sind, wie bei Bank-, Finanz- und Reservierungssystemen, bei denen eine große Anzahl wahlfreier Zugriffe auf viele kleine Datendateien die Masse der Datenspeicher- und -übertragungsoperationen ausmacht.
Eine RAID-Architektur der Stufe 3 beruht auf dem Konzept, daß jede Disklaufwerkspeichereinheit über interne Mittel zur Erkennung eines Ausfalls oder eines Datenfehlers verfügt. Daher ist es nicht notwendig, zusätzliche Information zur Erkennung des Ortes eines Fehlers zu speichern; es kann daher eine einfachere Form einer paritätsbasierenden Fehlerkorrektur verwendet werden. Bei diesem Ansatz werden die Inhalte aller Speichereinheiten, die ausfallen können, einer "Exklusiv-Oder-Verknüpfung" (XOR) unterzogen, um Paritätsinformation zu erzeugen. Die resultierende Paritätsinformation wird in einer einzelnen, redundanten Speichereinheit gespei chert. Wenn eine Speichereinheit ausfällt, können die Daten auf dieser Einheit auf eine Ersatzspeichereinheit rekonstruiert werden, indem die Daten von den verbleibenden Speichereinheiten mit der Paritätsinformation exklusiv-oder verknüpft werden. Eine solche Anordnung besitzt gegenüber der RAID-Architektur der Stufe 1 mit gespiegelter Disk den Vorteil, daß lediglich eine zusätzliche Speichereinheit für "N" Speichereinheiten erforderlich ist. Ein weiterer Aspekt der RAID-Architektur der Stufe 3 besteht darin, daß die Disklaufwerke in einer gekoppelten Weise betrieben werden, ähnlich einem RAID-System der Stufe 2, und ein einziges Disklaufwerk als die Paritätseinheit bestimmt ist.
Eine Implementierung einer RAID-Architektur der Stufe 3 ist das Array an Parallellaufwerken der Micropolis Corporation, Modell 1804 SCSI, welches vier parallele, synchronisierte Disklaufwerke und ein redundantes Paritätslaufwerk verwendet. Der Ausfall eines der vier Daten-Disklaufwerke kann durch Verwendung der auf dem Paritäts-Disklaufwerk gespeicherten Paritätsbits behoben werden. Ein anderes Beispiel eines RAID-Systems der Stufe 3 ist in dem US-Patent Nr. 4,092,732 von Ouchi beschrieben.
Ein RAID-Disklaufwerkspeichersystem der Stufe 3 besitzt ein weitaus geringeres Verhältnis von Redundanzeinheiten zu Dateneinheiten als ein RAID-System der Stufe 2. Ein RAID- System der Stufe 3 besitzt jedoch die selbe Leistungsbeschränkung wie ein RAID-System der Stufe 2, und zwar daß die einzelnen Disk-Aktuatoren gekoppelt sind und unisono betrieben werden. Dies wirkt sich ungünstig auf die Leistungsfähigkeit des wahlfreien Zugriffs des Disk-Arrays aus, wenn die Datendateien klein sind, da zu einem Zeitpunkt von dem "einzigen" Aktuator nur auf eine Datendatei zugegriffen werden kann. Somit werden RAID-Systeme der Stufe 3 im allgemeinen als ungeeignet für Computersysteme angesehen, welche für OLTP-Zwecke konzipiert sind.
Eine RAID-Architektur der Stufe 4 verwendet das gleiche Paritätsfehlerkorrekturkonzept der RAID-Architektur der Stufe 3, verbessert aber die Leistungsfähigkeit des RAID-Systems der Stufe 3 hinsichtlich des wahlfreien Lesens kleiner Dateien, indem der Betrieb der einzelnen Disklaufwerk- Aktuatoren "entkoppelt" wird und eine größere Mindestmenge an Daten (typischerweise ein Disksektor) auf jede Disk geschrieben und von ihr gelesen wird (dies ist ebenfalls als "block stripping" bekannt). Ein weiterer Aspekt der RAID- Architektur der Stufe 4 besteht darin, daß eine einzige Speichereinheit als die Paritätseinheit bestimmt ist.
Eine Beschränkung eines RAID-Systems der Stufe 4 besteht darin, daß das Schreiben eins Datenblocks auf eine beliebige der unabhängig arbeitenden Speichereinheiten auch das Schreiben eines neuen Paritätsblocks auf die Paritätseinheit erfordert. Die auf der Paritätseinheit gespeicherte Paritätsinformation muß gelesen und mit den alten Daten exklusiv- oder verknüpft werden (um den Informationsinhalt der alten Daten zu "entfernen"). Dann muß die resultierende Summe mit den neuen Daten exklusiv-oder verknüpft werden (um eine neue Paritätsinformation zu schaffen). Sowohl die Daten- als auch die Paritätseinträge müssen dann wieder auf die Disklaufwerke geschrieben werden. Dieser Vorgang wird üblicherweise als "Lese-Modifiziere-Schreibe"-Sequenz ("Read-Modify-Write") bezeichnet.
Aus diesem Grund kommt es jedesmal zu einer Lese- und einer Schreiboperation auf die einzige Paritätseinheit, wenn ein Datensatz auf irgendeiner der von dem Paritätsdatensatz auf der Paritätseinheit erfaßten Datenspeichereinheiten geändert wird. Die Paritätseinheit wird zu einem Flaschenhals für Datenschreiboperationen, da die Anzahl der pro Zeiteinheit ausführbaren Datensatzänderungen eine Funktion der Zugriffsrate der Paritätseinheit ist, im Gegensatz zu der schnelleren Zugriffsrate, die durch die parallele Arbeitsweise der mehreren Datenspeichereinheiten erzielt wird. Wegen dieser Beschränkung wird ein RAID-System der Stufe 4 im allgemeinen als ungeeignet für Computersysteme angesehen, welche für OLTP-Zwecke ausgebildet sind. In der Tat scheint es, daß ein RAID-System der Stufe 4 noch nicht für irgendeinen wirtschaftlichen Zweck implementiert worden ist.
Eine RAID-Architektur der Stufe 5 verwendet das selbe Paritätsfehlerkorrekturkonzept wie die RAID-Architektur der Stufe 4 und unabhängige Aktuatoren, verbessert aber die Schreibleistung eines RAID-Systems der Stufe 4, indem die Daten- und Paritätsinformation über sämtliche der zur Verfügung stehenden Disklaufwerke verteilt wird. Typischerweise werden "N + 1" Speichereinheiten in einem Satz (auch bekannt als "Redundanzgruppe") in eine Vielzahl gleich großer Adressbereiche unterteilt, die als Blöcke bezeichnet werden. Jede Speichereinheit enthält im allgemeinen die gleiche Anzahl an Blöcken. Blöcke aus jeder Speichereinheit in einer Redundanzgruppe, welche die gleichen Einheitsadressbereiche haben, werden als "Streifen" bezeichnet. Jeder Streifen hat N Datenblöcke zuzüglich eines Paritätsblockes auf einer Speichereinheit, der eine Parität für den Rest des Streifens enthält. Weitere Streifen besitzen jeweils einen Paritätsblock, wobei die Paritätsblöcke auf unterschiedliche Speichereinheiten verteilt sind. Die mit jeder Veränderung von Daten in einer Redundanzgruppe verbundene Aktivität der Paritätsaktualisierung ist daher über die verschiedenen Speichereinheiten verteilt. Es ist also keine einzige Einheit mit der gesamten Aktivität der Paritätsaktualisierung belastet.
Beispielsweise kann in einem RAID-System der Stufe 5, das fünf Disklaufwerke umfaßt, die Paritätsinformation für den ersten Blockstreifen auf das fünfte Laufwerk geschrieben werden; die Paritätsinformation für den zweiten Blockstreifen kann auf das vierte Laufwerk geschrieben werden; die Paritätsinformation für den dritten Blockstreifen kann auf das dritte Laufwerk geschrieben werden; etc. Der Paritätsblock für aufeinanderfolgende Streifen "präzediert" typischerweise um die Disklaufwerke in einem spiralförmigen Muster (obwohl andere Muster verwendet werden können).
Somit wird nicht ein einzelnes Disklaufwerk zum Speichern der Paritätsinformation verwendet und der Flaschenhals der RAID-Architektur der Stufe 4 ist ausgeräumt. Ein Beispiel für ein RAID-System der Stufe 5 ist in dem US-Patent Nr. 4,761,785 von Clark et al. beschrieben.
Wie in einem RAID-System der Stufe 4, besteht eine Beschränkung eines RAID-Systems der Stufe 5 darin, daß eine Änderung in einem Datenblock eine Lese-Modifiziere-Schreib-Sequenz erfordert, welche zwei Lese- und zwei Schreiboperationen umfaßt: der alte Paritätsblock und der alte Datenblock müssen gelesen und exklusiv-oder verknüpft werden, und dann muß die resultierende Summe mit den neuen Daten exklusiv-oder verknüpft werden. Sowohl der Daten- als auch der Paritätsblock müssen dann wieder auf die Disklaufwerke geschrieben werden. Während die beiden Leseoperationen sowie die beiden Schreiboperationen parallel ausgeführt werden können, dauert die Modifikation eines Datenblockes in einem RAID-System der Stufe 4 oder in einem RAID-System der Stufe 5 immer noch erheblich länger als die gleiche Operation auf einer herkömmlichen Disk. Eine herkömmliche Disk erfordert keine vorbereitende Leseoperation und muß infolgedessen nicht darauf warten, daß sich die Disklaufwerke zurück zu der vorhergehenden Position drehen, um die Schreiboperation auszuführen. Allein die Drehwartezeit kann bis zu ungefähr 50% der für eine typische Datenmodifikationsoperation erforderlichen Zeit ausmachen. Ferner sind zwei Diskspeichereinheiten für die Dauer jeder Datenmodifikationsoperation beteiligt, was den Durchsatz des Systems als ganzes begrenzt. Trotz der reduzierten Schreibleistung haben sich RAID-Systeme der Stufe 5 zunehmend durchgesetzt, da sie eine hohe Datenzuverlässigkeit bei geringen Redundanz-Zusatzkosten, eine gute Leseleistung und eine brauchbare Schreibleistung zur Verfügung stellen.
Obwohl bis dato verschiedene RAID-Systeme entwickelt worden sind, sind solche Systeme äußerst unflexibel darin, daß lediglich ein Typ redundanter Konfiguration in jedem Entwurf implementiert ist. Einer der Gründe für diese Inflexibilität ist, daß bei dem Systemtyp, dem die Verfahren und Vorrichtungen angehören, eine Datenspeicher-Systemsteuerung die Redundanzkonfiguration des Speichersystems steuert, im Gegensatz zu z. B. früheren Speichersystemen, die von der CPU oder dem Rechner-Computer konfiguriert und betrieben werden, was eine größere Flexibilität ermöglicht. Daher sind z. B. redundante Array-Speichersysteme des Typs, dem die Erfindung angehört, im allgemeinen lediglich als RAID-System der Stufe 3 oder nur als RAID-System der Stufe 5 entwickelt worden. Wenn die Hauptanwendung des redundanten Array-Speichersystems im Voraus bekannt ist, führt diese Starrheit im Entwurf zu keinem Problem. Die Anwendungen eines Speichersystems können sich jedoch während der Zeit ändern. In der Tat kann ein Anwender verschiedene Typen von RAID-Systemen gleichzeitig benötigen, jedoch keine Resourcen für den Erwerb mehrerer Speichersysteme haben, um diesen Anforderungen zu genügen. Ebenso wichtig ist, daß verschiedene Anwender unterschiedliche Bedürfnisse haben; das Entwickeln redundanter Array-Speichersysteme mit unterschiedlichen RAID- Konfigurationen zum Befriedigen solcher auseinanderlaufender Bedürfnisse ist teuer.
Es wäre daher höchst wünschenswert, ein Speichersystem mit einer flexiblen RAID-Architektur zu haben, in dem die grundsätzliche Redundanzkonfiguration geändert werden könnte, und zwar für jeden Anwender oder wenn sich die Anforderungen eines Anwenders ändern. Es wäre ebenfalls wünschenswert, ein Speichersystem mit einer flexiblen RAID-Architektur zu haben, in dem verschiedene Redundanzkonfigurationstypen simultan implementiert werden können.
Die vorliegende Erfindung stellt solch ein System zur Verfügung.
Gemäß einem Aspekt der vorliegenden Erfindung ist ein Verfahren zum Adressieren eines redundanten Array-Speichersystems geschaffen, das einen Array-Controller in operativer Verbindung mit einer CPU und eine Vielzahl physikalischer Datenspeichereinheiten umfaßt, die mit dem Array-Controller über entsprechende Eingabe/Ausgabekanäle gekoppelt sind, wobei jede physikalische Datenspeichereinheit eine Vielzahl adressierbarer Blöcke umfaßt, und das Verfahren folgendes umfaßt: Übertragen von Speicherzugriffsanfragen von der CPU an den Array-Controller; und Übersetzen jeder Speicherzugriffsanfrage in eine Adresse für die physikalischen Datenspeichereinheiten entsprechend einer ersten logischen Adressierungsebene, um einen Satz adressierbarer Blöcke in Antwort auf jede Speicherzugriffsanfrage zu adressieren; wobei die adressierbaren Blöcke in Redundanzsätze organisiert sind, mit wenigstens einem adressierbaren Block in einem Redundanzsatz, der Redundanzinformation für übrige Blöcke in dem Redundanzsatz enthält; dadurch gekennzeichnet, daß:
i) die Speicherzugriffsanfragen von der CPU entsprechend einer zweiten logischen Adressierungsebene ausgegeben werden, wobei jede Speicherzugriffsanfrage eine Nummer eines logischen Datenträgers, eine Nummer eines Anfangsblocks und die Anzahl zu übertragender Blöcke angibt;
ii) der Array-Controller die Übersetzung unter Verwendung einer Datenstruktur durchführt, die jeden logischen Datenträger als eine oder mehrere logische Speichereinheiten definiert, wobei jede logische Speichereinheit eine Anzahl adressierbarer Blöcke umfaßt und alle logischen Speichereinheiten in einem logischen Datenträger die selbe Anzahl adressierbarer Blöcke umfassen, jeder logische Datenträger eine unabhängig definierbare Tiefencharakteristik hat, die in der Anzahl adressierbarer Blöcke ausgedrückt ist, auf die nacheinander in einer einzelnen logischen Speichereinheit zugegriffen wird, bevor auf die nächste logische Speichereinheit in dem logischen Datenträger zugegriffen wird, wobei jede Speicherzugriffsanfrage auf eine oder mehrere logische Speichereinheiten abgebildet wird;
iii) jeder adressierbare Block innerhalb einer logischen Speichereinheit durch eine Kanalnummer, Speichereinheitsnummer, Startblocknummer und Offsetnummer adressiert wird;
iv) Redundanzgruppen definiert werden, von denen wenigstens eine mehr als einen logischen Datenträger mit einer unabhängig definierbaren Tiefencharakteristik umfaßt, wobei jede Redundanzgruppe einen konfigurierbaren Redundanzgrad hat; und
v) die Blöcke der Redundanzsätze über eine Redundanzgruppe über die Grenzen des logischen Datenträgers hinweg verteilt sind.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein redundantes Array-Speichersystem geschaffen, welches folgendes umfaßt: einen Array-Controller; eine Vielzahl physikalischer Datenspeichereinheiten, die mit dem Array- Controller über jeweilige Eingabe/Ausgabekanäle gekoppelt sind, wobei jede physikalische Datenspeichereinheit eine Vielzahl adressierbarer Blöcke umfaßt; wobei der Array- Controller folgendes umfaßt: eine Verbindung zu einem CPU- Bus zum Empfangen von Speicherzugriffsanfragen von der CPU, wobei der Array-Controller unabhängig von der CPU arbeitet, um die physikalische Datenspeichereinheiten zu steuern; und Mittel zum Adressieren der physikalischen Datenspeichereinheiten entsprechend einer ersten logischen Adressierungsebene, um einen Satz der adressierbaren Blöcke in Antwort auf jede Speicherzugriffsanfrage zu adressieren; wobei die adressierbaren Blöcke in Redundanzsätze organisiert sind, mit wenigstens einem adressierbaren Block in einem Redundanzsatz, der Redundanzinformation für übrige Blöcke in dem Satz enthält; dadurch gekennzeichnet, daß:
i) die erste logische Adressierungsebene die Bestimmung einer Kanalnummer, Speichereinheitsnummer, Startblocknummer und Offsetnummer für die adressierbaren Blöcke einschließt;
ii) die Speicherzugriffsanfragen von der CPU entsprechend einer zweiten logischen Adressierungsebene ausgegeben werden, wobei jede Speicherzugriffsanfrage wenigstens eine Nummer eines logischen Datenträgers, eine Nummer eines Anfangsblocks und eine Anzahl an Blöcken angibt, auf die zugegriffen werden soll;
iii) der Array-Controller eine Datenstruktur hält, welche jeden logischen Datenträger als eine oder mehrere logische Speichereinheiten definiert, wobei jede logische Speichereinheit eine Anzahl adressierbarer Blöcke umfaßt und alle logischen Speichereinheiten in einem logischen Datenträger die gleiche Anzahl adressierbarer Blöcke umfassen, und jeder logische Datenträger eine unabhängig definierbare Tiefencharakteristik hat, die in der Anzahl adressierbarer Blöcke ausgedrückt ist, auf die nacheinander in einer einzelnen logischen Speichereinheit zugegriffen wird, bevor auf die nächste logische Speichereinheit in dem logischen Datenträger zugegriffen wird, wobei jede Speicherzugriffsanfrage auf eine oder mehrere logische Speichereinheiten abgebildet wird; und
iv) die Datenstruktur konfigurierbar ist, um Redundanzgruppen zu definieren, von denen wenigstens eine mehr als einen logischen Datenträger mit unabhängig definierbarer Tiefencharakteristik umfaßt, wobei jede Redundanzgruppe einen konfigurierbaren Redundanzgrad hat, und wobei die Blöcke der Redundanzsätze über eine Redundanzgruppe über die Grenzen des logischen Datenträgers hinweg verteilt sind.

ZUSAMMENFASSUNG DER ERFINDUNG

Die RAID-Architektur der vorliegenden Erfindung ist extrem flexibel. Mit ihr kann ein redundantes Array-Speichersystem, als RAID-System der Stufe 1, 3, 4 oder 5 oder als irgendeine Kombination dieser Konfigurationen konfiguriert werden. Die Erfindung umfaßt eine Konfigurationsdatenstruktur zum Adressieren eines redundanten Array-Speichersystems und ein Verfahren zum Konfigurieren eines redundanten Array- Speichersystems während eines Initialisierungsprozesses. Das redundante Array-Speichersystem umfaßt einen Satz physikalischer Speichereinheiten, auf die, in Blocknummern ausgedrückt, zugegriffen werden kann (ein Block umfaßt einen oder mehrere Sektoren). Als Teil des Initialisierungsprozesses sind die physikalischen Speichereinheiten jeweils als eine oder mehrere logische Speichereinheiten konfiguriert. Jede logische Speichereinheit wird, in einer Kanalnummer, einer Speichereinheitsnummer, einer Startblocknummer und einer Offsetnummer ausgedrückt, adressiert (bei Übertragungen wird ebenfalls die Anzahl zu übertragender Blöcke angegeben).
Nachdem die logischen Speichereinheiten definiert worden sind, werden die logischen Datenträger als eine oder mehrere logische Speichereinheiten definiert, wobei jeder logische Datenträger eine Tiefencharakteristik hat.
Nachdem die logischen Datenträger definiert worden sind, werden Redundanzgruppen als ein oder mehrere logische Datenträger definiert. In der vorliegenden Erfindung wird ein Redundanzgrad für jede Redundanzgruppe angegeben. Der Redundanzgrad kann keine, eine (z. B. XOR-Parität oder ein Fehlerkorrekturcode, wie ein Reed-Solomon-Code), oder zwei (z. B. XOR-Parität plus einem Reed-Solomon-Fehlerkorrekturcode) sein.
Alternativ werden Redundanzgruppen als eine oder mehrere logische Speichereinheiten definiert, und logische Datenträger werden als ein Glied einer Redundanzgruppe definiert.
Logische Datenträger werden von einer Rechner-CPU durch eine Datenträgernummer, eine Anfangsblocknummer und eine Anzahl zu übertragender Blöcke adressiert. Die Rechner-CPU gibt auch eine LESE- oder SCHREIB-Operation an. Die angegebene Datenträgernummer, Anfangsblocknummer und Anzahl zu übertragender Blöcke werden dann in eine entsprechende Kanalnummer, Speichereinheitsnummer, Startblocknummer, Offsetnummer und Anzahl zu übertragender Blöcke übersetzt.
Mit der vorliegenden Erfindung kann sich ein logischer Datenträger über physikalische Speichereinheiten erstrecken ("vertikale Aufteilung"), lediglich einen Teil jeder dieser physikalischen Speichereinheiten umfassen ("horizontale Aufteilung") und eine definierbare Tiefen- und Redundanzcharakteristik haben.
Die Details der bevorzugten Ausführungsbeispiele der vorliegenden Erfindung sind in der beigefügten Zeichnung und der nachstehenden Beschreibung dargelegt. Nachdem die Details der Erfindung bekannt sind, sind dem Durchschnittsfachmann zahlreiche zusätzliche Innovationen und Änderungen offensichtlich.

KURZE BESCHREIBUNG DER ZEICHNUNG

Fig. 1 ist ein Blockdiagramm eines verallgemeinerten RAID- Systems gemäß der vorliegenden Erfindung.
Fig. 2A ist ein Diagramm eines beispielhaften RAID-Systems, das eine typische physikalische Organisation aufzeigt.
Fig. 2B ist ein Diagramm eines beispielhaften RAID-Systems, das eine logische Organisation des physikalischen Arrays aus Fig. 2A zeigt, in der jede physikalische Speichereinheit als zwei logische Speichereinheiten konfiguriert ist.
Fig. 2C ist ein Diagramm eines beispielhaften RAID-Systems, das einen logischen Datenträger mit einer Tiefe von einem Block zeigt.
Fig. 2D ist ein Diagramm eines beispielhaften RAID-Systems, das einen ersten logischen Datenträger mit einer Tiefe von vier Blöcken und einen zweiten logischen Datenträger mit einer Tiefe von einem Block zeigt.
Fig. 2E ist ein Diagramm eines beispielhaften RAID-Systems, das einen logischen Datenträger mit einer Tiefe von einem Block und mit einem Redundanzgrad zeigt.
Fig. 2F ist ein Diagramm eines beispielhaften RAID-Systems, das einen logischen Datenträger mit einer Tiefe von einem Block und mit zwei Redundanzgraden zeigt.
Fig. 3A ist ein Diagramm einer ersten Datenstruktur, die eine Redundanzgruppe gemäß der vorliegenden Erfindung definiert.
Fig. 3B ist ein Diagramm einer zweiten Datenstruktur, die ein Paar Redundanzgruppen gemäß der vorliegenden Erfindung definiert.
Gleiche Bezugszahlen und -bezeichnungen in der Zeichnung beziehen sich auf gleiche Elemente.

DETAILLIERTE BESCHREIBUNG DER ERFINDUNG

Die gezeigten bevorzugten Ausführungsformen und Beispiele sollten durchgängig in dieser Beschreibung als Beispiele für das erfindungsgemäße Verfahren, aber nicht als Beschränkungen für dieses angesehen werden.
Die Erfindung umfaßt eine Gruppe von einer oder mehreren physikalischen Speichereinheiten und einen Satz logischer Strukturen, die auf die physikalischen Speichereinheiten "abgebildet" werden, um zu bestimmen, wie eine Rechner-CPU auf die physikalischen Speichereinheiten zugreift.

Physikalische Speichereinheiten

Eine typische physikalische Speichereinheit, wie ein magnetisches oder optisches Disklaufwerk, umfaßt einen Satz aus einer oder mehreren rotierenden Disks, die jeweils wenigstens einen Lese/Schreib-Wandlerkopf pro Oberfläche haben. Datenspeicherbereiche, die als Spuren bekannt sind, sind konzentrisch auf den Diskoberflächen angeordnet. Eine Diskspeichereinheit kann beispielsweise 500 bis 2000 Spuren pro Diskoberfläche haben. Jede Spur ist in numerierte Sektoren aufgeteilt, die gewöhnlich eine Größe von 512 Bytes haben. Sektoren sind die kleinste Einheit eines Speicherbereichs, auf den die Speichereinheit zugreifen kann (Datenbits innerhalb eines Sektors können individuell geändert werden, jedoch nur, indem ein ganzer Sektor gelesen wird, ausgewählte Bits modifiziert werden und der ganze Sektor zurück an seine Stelle geschrieben wird). Eine Diskspeichereinheit kann 8 bis 50 Sektoren pro Spur haben, und Gruppen von Spuren können auf der selben Diskspeichereinheit eine unterschiedliche Anzahl an Sektoren pro Spur haben (z. B. können kleinere Kreise innerer Spuren weniger Sektoren pro Spur haben, während größere Kreise äußerer Spuren mehr Sektoren pro Spur haben können).
Der Zugriff auf einen Sektor erfordert letztendlich die Identifizierung eines Sektors durch dessen axiale Verschiebung entlang des Satzes rotierender Disks, durch dessen radiale Verschiebung auf einer Disk und durch eine Verschiebung in Umfangsrichtung um eine Disk herum. Es werden zwei geläufige Verfahren für eine solche Identifizierung angewandt. Ein Verfahren identifiziert einen Sektor, in einer Oberfläche oder Kopfnummer (axiale Verschiebung), einer Spurnummer (radiale Verschiebung) und einer Sektornummer (Verschiebung in Umfangsrichtung) ausgedrückt. Das zweite Verfahren behandelt alle Spuren mit dem gleichen Radius auf allen Disks als einen "Zylinder", wobei Spuren Untermengen eines Zylinders anstelle einer Oberfläche sind. In diesem Verfahren wird ein Sektor, in einer Zylindernummer (radiale Verschiebung), einer Spurnummer (axiale Verschiebung) und einer Sektornummer (Verschiebung in Umfangsrichtung) ausgedrückt, identifiziert. Die vorliegende Erfindung kann unter Anwendung beider Formen der physikalischen Identifizierung implementiert werden.
Für eine höhere Speichersteuerung (oder sogar die CPU) ist es möglich, die Datenposition auf einer Speichereinheit durch Spurführung aller einbezogenen Sektoren in Spur zu halten. Dies wird gewöhnlich bei magnetischen Disklaufwerken gemacht, welche dem wohlbekannten in Personalcomputern verwendeten ST-506-Schnittstellenstandard folgen. Auf diese Weise adressierte Speichereinheiten sind als sektoradressierbare Speichereinheiten bekannt.
In modernen Computersystemen ist es für eine höhere Speichersteuerung nachteilig, mit einem der beiden oben beschriebenen Adressierverfahren Sektoradressen in Spur zu halten. Daher wird in dem bevorzugten Ausführungsbeispiel der Erfindung eine alternative Form einer Speichereinheitsadressierung angewandt, welche die Sektoren einer Speichereinheit auf eine handhabbarere Form abbildet.
Diese Abbildung wird durchgeführt, indem ein oder mehrere Sektoren als ein Block behandelt werden, wie es im Stand der Technik bekannt ist, und indem jede Speichereinheit über Blocknummern adressiert wird. Ein Block auf den in dem bevorzugten Ausführungsbeispiel des erfindungsgemäßen Systems verwendeten Speichereinheiten kann von 512 bis zu 4096 Bytes variieren, kann aber auch irgendeine beliebige Größe haben (obwohl herkömmliche Blockgrößen zwecks leichterer Implementierung auf Vielfache von zwei Bytes limitiert sind). Die verwendeten Speichereinheiten müssen die angegebene Blockgröße unterstützen. Zusätzlich markieren diese Speichereinheiten defekte Sektoren derart, daß diese nicht zum Bilden von Blöcken verwendet werden. (Einige Speichereinheiten können ebenfalls defekte Blöcke während des Betriebs dynamisch "nach außen abbilden", um externen Geräten immer einen Satz durchnumerierter Blöcke anzubieten). Jede Speichereinheit wird dann von einer höheren Steuerung als ein "intaktes" physikalisches Gerät angesehen, das einen Satz durchnumerierter logischer Blöcke umfaßt. Solche Einheiten sind als blockadressierbare Einheiten bekannt.
Beispielsweise wird bei Speichereinheiten, die eine Kleincomputersystem-Schnittstelle ("SCSI") haben, jede Speichereinheit als ein Satz aufeinanderfolgender Blöcke angesehen. Eine Zugriffsanfrage auf eine solche Einheit gibt einfach die Nummern der Blöcke an, auf die zugegriffen werden soll. Alternativ gibt die Zugriffsanfrage die Nummer eines Startblockes und die Anzahl nachfolgender, logisch aufeinanderfolgender Blöcke an, auf die zugegriffen werden soll. Danach übersetzt die SCSI-Steuerung für die Einheit jede Blocknummer entweder in ein Zylinder-, Spur- und Sektornummernformat oder in ein Kopf-, Spur- und Sektornummernformat. Diese Übersetzung ist jedoch für das anfragende Gerät transparent.
Es ist selbstverständlich, daß das erfindungsgemäße Konzept auf sektoradressierbare Speichereinheiten angewandt werden kann. Das bevorzugte Ausführungsbeispiel der Erfindung verwendet jedoch blockadressierbare Speichereinheiten. Die vorliegende Erfindung erzeugt dann eine erste logische Struktur, um eine Vielzahl solcher Einheiten zum Definieren einer Grundarchitektur von Disk-Arrays abzubilden.

Die erste logische Adressierungsebene des Arrays

Fig. 1 ist ein Diagramm eines verallgemeinerten RAID- Systems gemäß der vorliegenden Erfindung. Gezeigt ist eine CPU 1, die über einen Bus an wenigstens einen Array- Controller 3 gekoppelt ist. Der Array-Controller 3 ist über Eingabe/Ausgabekanäle 4 (z. B. SCSI-Busse) an jede einer Vielzahl von Speichereinheiten S0-S5 gekoppelt (es sind lediglich sechs als Beispiel gezeigt). Jeder Eingabe/Ausgabekanal 4 kann eine Vielzahl an Speichereinheiten unterstützen, wie es durch die gestrichelten Linien in Fig. 1 angezeigt ist. In einigen physikalischen Konfigurationen kann für eine zusätzliche Redundanz ein zweiter Array- Controller 3' (nicht dargestellt) parallel zu dem Array- Controller 3 an die Eingabe/Ausgabekanäle 4 gekoppelt sein. Der Array-Controller 3 weist vorzugsweise einen getrennt programmierbaren multi-taskfähigen Prozessor (beispielsweise den MIPS R3000 RISC Prozessor, von der MIPS Corporation, Sunnyvale, Kalifornien hergestellt) auf, der unabhängig von der CPU 1 für die Steuerung der Speichereinheiten arbeiten kann.
Fig. 2A zeigt eine Vielzahl an Speichereinheiten S0-S11 (von denen lediglich 12 als Beispiel gezeigt sind), die jeweils (beispielsweise) acht logische Blöcke L0-L7 aufweisen. Um auf individuelle Blöcke in dieser Array-Struktur zugreifen zu können, legt die vorliegende Erfindung dem Array eine erste logische Konfigurationsebene auf, indem eine Datenstruktur aufgestellt wird, die angibt, wo Daten auf den physikalischen Speichereinheiten vorliegen. Als Teil eines von der Steuerung 3 oder der CPU 1 durchgeführten Initialisierungsprozesses sind die physikalischen Speichereinheiten des oben beschriebenen Arrays jeweils als eine oder mehrere logische-Speichereinheiten konfiguriert. Die Datenstruktur definiert jede logische Speichereinheit anhand folgender Ausdrücke:
(1) Kanalnummer. In dem Beispiel der Fig. 2A sind die Kanäle Busse (z. B. SCSI-Busse), welche die physikalischen Speichereinheiten an die Steuerung 3 koppeln. Die Kanäle entsprechen den zwölf Speichereinheiten S0- S11 und sind mit 0-11 numeriert.
(2) Speichereinheitsnummer. Jede physikalische Speichereinheit entlang eines Kanals ist mit einer Position numeriert, die in der dargestellten Ausführungsform bei 2 startet und bei 7 endet. Somit kann jeder Kanal bis zu sechs Speichereinheiten handhaben (da die beiden Controller 3, 3' zwei der acht auf einem SCSI-Bus verfügbaren Adressen verwenden). Diese Maximalzahl beruht jedoch auf der Verwendung des SCSI-Standards für die Eingabe/Ausgabekanäle 4 und dem Vorliegen der beiden Array-Controller 3, 3'. Andere Konfigurationsbe schränkungen sind anwendbar, wenn andere Eingabe/Ausgabekanal-Architekturen verwendet werden.
(3) Startblocknummer. Dies ist die Startblocknummer auf der Speichereinheit für jede logische Speichereinheit. Normalerweise beginnt eine physikalische Speichereinheit die Numerierung der Blöcke bei 0. Da jedoch jede physikalische Speichereinheit mehrere logische Speichereinheiten haben kann, wird durch das Setzen der Startblocknummer für jede logische Speichereinheit sichergestellt, daß sich die Adressräume für die logischen Speichereinheiten nicht überlappen.
(4) Anzahl der Blöcke. Dies ist die Gesamtzahl der Blöcke in einer jeweiligen logischen Speichereinheit. Die Blöcke werden sequentiell numeriert, beginnend mit der Startblocknummer und weiter entsprechend der Gesamtzahl an Blöcken.
Zusätzlich kann die CPU 1 einen von beiden Controllern 3, 3' auswählen, auf eine Speichereinheit zuzugreifen, so daß eine Steuerungsnummer ebenfalls während der Verarbeitung angegeben wird. In dem Beispiel der Fig. 2A hat der primäre Array-Controller 3 die Nummer 0 und der optionale redundante Array-Controller 3', sofern installiert, die Nummer 1. Falls ein Speichersystem so entwickelt wurde, daß es lediglich einen einzigen Array-Controller hat, ist diese Nummer nicht erforderlich. In dem bevorzugten Ausführungsbeispiel wird die Steuerungsnummer dynamisch von der CPU 1 ausgewählt.
Mit dieser Adressierungshierarchie kann sich eine logische Speichereinheit nicht über physikalische Speichereinheiten erstrecken. Eine physikalische Speichereinheit umfaßt jedoch wenigstens eine logische Speichereinheit und kann mehrere logische Speichereinheiten umfassen. Unter Verwendung dieser Datenstruktur kann ein Block innerhalb einer logischen Speichereinheit lokalisiert werden, indem lediglich sein Offset von der Startblocknummer bekannt ist.
Fig. 2B zeigt als ein Beispiel die zwölf physikalischen Speichereinheiten der Fig. 2A, die als 24 logische Speichereinheiten definiert sind. Jede der physikalischen Speichereinheiten S0-S11 ist als zwei logische Speichereinheiten definiert. Die erste logische Speichereinheit jeder physikalischen Speichereinheit umfaßt Blöcke L0-L3, während die zweite logische Speichereinheit Blöcke L4-L7 umfaßt.
Als ein anderes Beispiel kann eine 20.000 Blöcke umfassende physikalische Speichereinheit als zwei logische Speichereinheiten mit jeweils 10.000 Blöcken konfiguriert sein oder als vier logische Speichereinheiten mit jeweils 5.000 Blöcken oder als eine logische Speichereinheit mit 10.000 Blöcken und zwei logische Speichereinheiten mit 5.000 Blöcken. Zwei physikalische Speichereinheiten mit 20.000 Blöcken können jedoch nicht als eine logische Speichereinheit mit 40.000 Blöcken konfiguriert sein.
Indem lediglich die erste Ebene der logischen Adressierung angewandt wird, kann die Steuerung 3 auf irgendeinen Block auf irgendeiner Speichereinheit in dem in Fig. 1 gezeigten Array zugreifen. Mit diesem Adressierformat alleine können die Speichereinheiten jedoch nicht in die RAID-Architektur mit der flexiblen Konfiguration der vorliegenden Erfindung organisiert werden. Eine zweite logische Adressierungsebene wird benötigt. Die zweite logische Ebene führt dazu, daß die CPU 1 den Array als logische Datenträger adressiert, die einen zusammenhängenden Bereich logischer Blöcke in logischen Speichereinheiten umfassen. Das Adressieren des Arrays in der ersten logischen Ebene wird komplett von der Steuerung 3 gehandhabt und ist für die CPU 1 vollkommen transparent.

Die zweite logische Adressierungsebene des Arrays

In der zweiten Ebene der logischen Adressierung wird ein logischer Datenträger als eine oder mehrere logische Speichereinheiten definiert. Die Anzahl logischer Speicherein heiten in einem logischen Datenträger definiert die von dem logischen Datenträger anzuwendende Abstreifbreite. Datenblöcke werden immer über einen logischen Datenträger abgestriffen, indem bei der ersten logischen Speichereinheit in dem logischen Datenträger gestartet wird. All die logischen Speichereinheiten in einem logischen Datenträger sind so definiert, daß sie die gleiche Blockgröße und -kapazität haben.
In Fig. 2C sind die zwölf physikalischen Speichereinheiten der Fig. 2A als zwölf logische Speichereinheiten definiert worden, die in zwei logische Datenträger mit jeweils sechs logischen Speichereinheiten gruppiert sind. (es kann ebenfalls irgendeine andere Konfiguration ausgewählt werden, welche innerhalb der oben beschriebenen Beschränkungen liegt). Die Abstreifbreite beider logischer Datenträger ist in diesem Beispiel gleich sechs.
Die Abstreifreihenfolge für einen logischen Datenträger hat eine zugehörige "Tiefe". Die Tiefe definiert, wie viele Datenblöcke nacheinander auf eine einzelne logische Speichereinheit geschrieben werden, bevor auf die nächste logische Speichereinheit in dem logischen Datenträger geschrieben wird. Beispielsweise gibt es in Fig. 2C sechs logische Speichereinheiten S0-S5 in dem logischen Datenträger Nr. 0, und der logische Datenträger hat eine Tiefe von einem Block. In Adressieranfragen von der CPU 1 ausgedrückt, beginnt die logische Blocknumerierung des logischen Datenträgers Nr. 0 mit dem ersten logischen Block 0, der ein Block L0 der logischen Speichereinheit S0 ist. Der zweite logische Block 1 ist ein Block L0 der logischen Speichereinheit S1 usw. Der logische Datenträger Nr. 1 ist so gezeigt, daß er mit der selben logischen Struktur definiert ist. Dies ist jedoch nicht erforderlich, wie nachfolgend detaillierter erläutert wird.
Fig. 2D zeigt ein weiteres Konfigurationsbeispiel für den logischen Datenträger Nr. 0, jedoch mit einer Tiefe von vier Blöcken. Die ersten vier numerierten logischen Blöcke sind aufeinanderfolgende Blöcke auf der logischen Speichereinheit S0; die nächsten vier numerierten logischen Blöcke sind aufeinanderfolgende Blöcke auf der logischen Speichereinheit S1, usw. Beim Betrieb in einem RAID-Modus der Stufe 4 oder 5 der On-Line-Dialogverarbeitung (OLTP) liegt ein erheblicher Vorteil darin, eine Tiefe zu verwenden, welche an die Seitengröße (falls geeignet) des CPU-Betriebssystems angepaßt ist. Falls beispielsweise Anfragen von der CPU 1 immer in einem Umfang von vier Blöcken vorliegen und in Vielfachen von vier Blöcken aufgestellt sind, ist es möglich, daß alle sechs logischen Speichereinheiten des logischen Datenträgers Nr. 0 eine separate Anfrage verarbeiten (unter der Annahme, daß es genügend Anfragen gibt, damit für jede logische Speichereinheit eine Anfrage verfügbar ist).
Im Gegensatz hierzu würden in der Konfiguration des in Fig. 2C gezeigten logischen Datenträgers Nr. 0 vier logische Speichereinheiten einbezogen sein, wenn eine vier-Block- Anfrage durchgeführt wird. Während die Konfiguration der Fig. 2C eine Parallelität vom RAID-Typ der Stufe 3 ermöglichen würde, würde die Kopfsuchzeit und -latenzzeit für den wahlfreien Zugriff auf vier Blöcke die für die Übertragung von vier Datenblöcken in der Konfiguration der Fig. 2D erforderliche Zeit weit übersteigen (die Zeit zum Übertragen von vier Blöcken ist lediglich geringfügig größer als die Zeit zum Übertragen eines Blockes).
Die zweite Ebene der logischen Adressierung bildet das Rahmenwerk, das die CPU 1 für die Kommunikation mit dem Speicher-Array verwendet. Eingabe/Ausgabe-Anfragen von der CPU 1 werden durch Angeben eines logischen Datenträgers, einer Logikblock-Anfangsnummer und der Anzahl an Blöcken durchgeführt. Mit dieser Information greift die Steuerung 3 auf die Datenstruktur für den angegebenen logischen Datenträger zu und bestimmt, welche logische(n) Speichereinheit(en) die angefragten Datenblöcke enthält (enthalten). Dies wird durch Vergleich der Logikblock-Anfangsnummer mit den Größen (aus dem Blockzahlparameter) der den logischen Datenträger umfassenden logischen Speichereinheiten durchgeführt.
Falls ein logischer Datenträger 6 logische Speichereinheiten umfaßt, die jeweils 20.000 Blöcke groß sind, und die angefragte Logikblock-Anfangsnummer für den Block 63.000 ist, wird sich dieser Block auf der vierten logischen Speichereinheit bei einer Offsetnummer von 3.000 Blöcken befinden. Nach Bestimmung der richtigen logischen Speichereinheit und der Offsetnummer wird die Anfrage auf eine entsprechende Kanalnummer, Speichereinheitsnummer und Startblocknummer abgebildet. Die Anfrage weist ferner den Offset von der Startblocknummer und die Anzahl zu übertragender Blöcke auf. In diesem Beispiel ist die gewünschte Logikblock-Anfangsnummer bei einer Offsetnummer von 3.000 Blöcken von der abgebildeten Startblocknummer der vierten logischen Speichereinheit. Diese Abbildung wird auf bekannte Weise durchgeführt.
Mit der vorliegenden Erfindung kann die Größe eines logischen Datenträgers geändert werden, ohne irgendeine Anwendung zu ändern. Da jedoch die Daten über die den logischen Datenträger umfassenden logischen Speichereinheiten abgestriffen werden, ist es erforderlich, einen logischen Datenträger nach dessen Änderung zu "reformatieren" (z. B. durch Hinzufügen oder Löschen physikalischer Speichereinheiten). Das Hinzufügen einer physikalischen Speichereinheit ist ähnlich dem Ersetzen einer kleineren physikalischen Speichereinheit durch eine größere Speichereinheit, außer daß die Kosten erhöht sind, da die ursprünglichen physikalischen Speichereinheiten weiter als ein Teil der "größeren" Speichereinheit verwendet werden.
Die vorliegende Erfindung gestattet es, daß verschiedene logische Datenträger verschiedene Tiefen haben. Beispielsweise sind in Fig. 2D die zwölf physikalischen Speichereinheiten der Fig. 2A als zwölf logische Speichereinheiten definiert worden, die in zwei logische Datenträger aus jeweils sechs logischen Speichereinheiten gruppiert sind. Die logischen Speichereinheiten S0-S5 umfassen den logischen Datenträger Nr. 0, wobei der Datenträger eine Tiefe von vier Blöcken hat, und die logischen Speichereinheiten S6-S11 umfassen den logischen Datenträger Nr. 1, wobei der Datenträger eine Tiefe von einem Block hat.
Die Leistungsfähigkeit eines Arrays wird durch die Art bestimmt, wie die logischen Datenträger konfiguriert sind. Für die Benutzung einer hohen Eingabe/Ausgabe-Bandbreite ist es besser, die logischen Speichereinheiten über mehrere Controller auszuweiten, um Parallelübertragungen zu optimieren. Für den OLTP-Modus (d. h. RAID Stufe 4 oder 5) ist die Anzahl gleichzeitig handhabbarer Dialoge um so größer (bis zu dem Punkt, zu dem die CPU 1 ihre Verarbeitungskapazität erreicht), je größer die Anzahl logischer Speichereinheiten in einem logischen Datenträger ist. Vom Standpunkt der Leistungsfähigkeit ist in dem OLTP-Modus das Abstreifen über mehrere Kanäle auf verschiedene physikalische Speichereinheiten (auf die jeweils auf unabhängigen E/A-Bussen 4 zugegriffen werden kann) im allgemeinen besser als das Abstreifen eines Kanals auf zusätzliche physikalische Speichereinheiten (wo Eingabe/Ausgabe-Anfragen nach verschiedenen physikalischen Speichereinheiten den gleichen Eingabe/Ausgabe- Bus 4 teilen müssen).
Nachdem die logischen Datenträger definiert sind, werden Redundanzgruppen definiert, die einen oder mehrere logische Datenträger umfassen. (Alternativ werden Redundanzgruppen als eine oder mehrere logische Speichereinheiten definiert, und logische Datenträger werden als ein Glied einer Redundanzgruppe definiert. Beide Charakterisierungen resultieren in der selben grundsätzlichen Datenstruktur). Ein logischer Datenträger muß vollständig in einer Redundanzgruppe enthalten sein (falls er in irgendeiner Redundanzgruppe enthalten ist). In dem bevorzugten Ausführungsbeispiel der Erfindung werden bis zu zwei Redundanzgrade unterstützt. Jeder Redundanzgrad erlaubt einer logischen Speichereinheit in einer Redundanzgruppe, daß sie ohne irgendeinen Verlust an Benut zerdaten ausfällt. Somit erlaubt ein Redundanzgrad (P- Redundanz genannt), daß eine logische Speichereinheit pro Redundanzgruppe ohne Datenverlust ausfallen kann, während zwei Redundanzgrade (der zweite Grad wird Q-Redundanz genannt) es erlauben, daß zwei logische Speichereinheiten pro Redundanzgruppe ohne Datenverlust ausfallen.
Jede Blockreihe in einer Redundanzgruppe wird eine Redundanzreihe genannt. Es werden Redundanzblöcke für die Blöcke in jeder Redundanzreihe erzeugt und in der entsprechenden Redundanzreihe gespeichert. Somit verliert jede Reihe aufgrund der Redundanzblöcke ein oder zwei Blöcke an Datenspeicherkapazität (eine für die P- und eine für die Q- Redundanz). Da jedoch die CPU 1 lediglich logische Datenträger "sieht", die einen scheinbar zusammenhängenden Bereich logischer Blöcke umfassen, ist dieser Verlust für die CPU 1 transparent (außer der Verlust in der Gesamtkapazität der logischen Speichereinheiten in der Redundanzgruppe und ein Bandbreitenverlust).
In dem bevorzugten Ausführungsbeispiel werden P-Redundanzblöcke durch eine Exklusiv-Oder-Veknüpfung aller Datenblöcke in einer Redundanzreihe auf bekannte Weise berechnet. In dem bevorzugten Ausführungsbeispiel werden Q-Redundanzblöcke durch Anwendung einer Reed-Solomon-Kodiermethode an alle Datenblöcke in einer Redundanzreihe auf bekannte Weise berechnet. Es können jedoch andere Redundanzerzeugungstechniken anstelle der bevorzugten XOR-Verknüpfungstechnik und der bevorzugten Reed-Solomon-Technik angewandt werden. Die Erzeugung der P- und der Q-Redundanz und die Wiedergewinnung von Benutzerdaten nach einem Ausfall ist detailliert in der US- Patentanmeldung Nr. 270,713, eingereicht am 14.11.88 mit dem Titel "Arrayed Disk Drive System and Method" von dem gleichen Anmelder beschrieben.
Redundanzgruppen werden auf einer Block-für-Block-Basis berechnet. Es ist daher möglich, mehrere logische Datenträger mit verschiedenen Tiefen zu haben, die jedoch in der glei chen Redundanzgruppe enthalten sind. Somit können beispielsweise sechs logische Speichereinheiten aus einem Array mit zwölf physikalischen Speichereinheiten als ein logischer Datenträger mit einer RAID-3-ähnlichen Architektur hoher Bandbreite (jedoch mit geteilter Parität über die Redundanzgruppe) definiert sein, der eine Tiefe von vier Blöcken hat, während die verbleibenden sechs logischen Speichereinheiten als ein logischer Datenträger mit einer RAID-5-ähnlichen OLTP-Architektur, der eine Tiefe von einem Block hat, aufgestellt sein können (siehe z. B. Fig. 2D) Eine Schreiboperation auf den logischen Datenträger Nr. 0 erfordert die Aktualisierung des zugehörigen Paritätsblocks, wo auch immer sich der Paritätsblock in der Redundanzgruppe befindet (d. h. in dem logischen Datenträger Nr. 0 oder dem logischen Datenträger Nr. 1). Auf ähnliche Weise erfordert eine Schreiboperation auf den logischen Datenträger Nr. 1 eine Aktualisierung des entsprechenden Paritätsblocks, wo auch immer sich dieser in der Redundanzgruppe befindet. Die Differenz in den Datenträgertiefen zwischen den beiden logischen Datenträgern führt zu keinem Problem, da die Paritätsblöcke auf einer Block-für-Block-Basis aktualisiert werden und alle Datenträgertiefen Vielfache der Blockgröße sind.
Redundanzblöcke sind gleichmäßig über eine ganze Redundanzgruppe verteilt, so daß ihre Positionen relativ zu der Position der von der CPU 1 angefragten Datenblöcke berechnet werden können. Das Verteilen der Redundanzblöcke hindert den Array auch daran, in dem OLTP-Modus auf der die Redundanzblöcke enthaltenden logischen Speichereinheit "durchzunumerieren" (d. h. eine verteilte Redundanz führt zu einer RAID- Architektur der Stufe 5, während eine nicht-verteilte Redundanz zu einer RAID-Architektur der Stufe 3 oder 4 führt).
Fig. 2E ist ein Diagramm eines beispielhaften RAID-Systems, das eine typische logische Organisation mit einer Tiefe von einem Block und einem Redundanzgrad zeigt. Redundanzblöcke sind mit "P" bezeichnet. Fig. 2F ist ein Diagramm eines beispielhaften RAID-Systems, das eine typische logische Or ganisation mit einer Tiefe von einem Block und zwei Redundanzgraden zeigt. Redundanzblöcke sind mit "P" und "Q" bezeichnet. Jede in einen einzelnen Array konfigurierte Redundanzgruppe kann einen unterschiedlichen Redundanzgrad haben, so daß die CPU 1 die Redundanzgrade für jede Redundanzgruppe an Zuverlässigkeitsbedürfnisse anpassen kann. Das Ändern einer Redundanzgruppe (Hinzufügen oder Löschen logischer Datenträger oder Ändern des Redundanzgrads) erfordert eine "Reformatierungs"-Operation (die dynamisch durchgeführt werden kann, d. h. ohne Anhalten der normalen Zugriffsoperationen).
Es sei bemerkt, daß das spezielle Muster der in den Fig. 2E und 2F gezeigten Verteilung von Redundanzblöcken lediglich beispielhaft ist, und daß andere Verteilungsmuster innerhalb des Bereichs dieser Erfindung liegen.
Selbst wenn die Tiefe eines logischen Datenträgers größer als eins ist, beruht die Erzeugung von P- und Q- Redundanzblöcken auf den Blöcken in der selben Reihe. Wenn der Redundanzgrad (0,1 oder 2) ausgewählt ist, ist es erforderlich, den notwendigen Zuverlässigkeitsgrad zu gewichten. Es ist ebenfalls notwendig, zu bestimmen, wie viel Speicherraum geopfert werden soll. Je größer die Anzahl an logischen Speichereinheiten in einer Redundanzgruppe ist, um so kleiner ist die Menge des Verlusts der Gesamtkapazität an Redundanzblöcke. Je größer jedoch die Größe einer Redundanzgruppe ist, um so höher ist die Wahrscheinlichkeit für den Ausfall einer Speichereinheit, und daher um so niedriger die Zuverlässigkeit der Redundanzgruppe. Beim Korrigieren von Daten aufgrund von Speichereinheitsausfällen ist es erforderlich, die gesamten Redundanzreihen wiederzulesen, so daß die Antwort auf die Eingabe/Ausgabe-Anfragen an eine Redundanzgruppe, die einen Speichereinheitsausfall hat, um so langsamer ist, je größer die Redundanzgruppe ist. Je größer die Redundanzgruppe ist, desto besser kann die Gesamtleistungsfähigkeit in einem OLTP-Modus sein, da einfach mehr Wandlerköpfe und ein niedrigeres Verhältnis an Redundanzblöcken zu Datenblöcken einbezogen sind.
Fig. 3A ist eine Darstellung einer Datenstruktur für den in Fig. 2C gezeigten Array, mit einer einzelnen Redundanzgruppe (Nr. 0), die so definiert ist, daß sie zwei logische Datenträger (Nr. 0 und Nr. 1) umfaßt. Fig. 3B ist eine Darstellung einer Datenstruktur für den gleichen Array, jedoch mit zwei Redundanzgruppen (Nr. 0 und Nr. 1), die so definiert sind, daß sie jeweils einen logischen Datenträger Nr. 0 und einen logischen Datenträger Nr. 1 umfassen. Mit dieser Datenstruktur wird eine Eingabe/Ausgabe-Anfrage von der CPU 1, in einem logischen Datenträger, einer Logikblock-Anfangsnummer und der Anzahl an Blöcken ausgedrückt, spezifiziert. Mit dieser Information greift die Steuerung 3 auf die Datenstruktur für den angegebenen logischen Datenträger zu und bestimmt, welche logische(n) Speichereinheit(en) die angefragten Datenblöcke enthält (enthalten). Wie oben bemerkt, wird dies durch Vergleich der Logikblock-Anfangsnummer mit den Größen (aus dem Blockzahlparameter) der den logischen Datenträger umfassenden logischen Speichereinheiten durchgeführt. Nach Bestimmung der richtigen logischen Speichereinheit und der Offsetnummer wird die Anfrage auf eine entsprechende Kanalnummer, Speichereinheitsnummer und Startblocknummer abgebildet. Die Anfrage weist ferner den Offset von der Startblocknummer und die Anzahl zu übertragender Blöcke auf. Diese Parameter ermöglichen die Adressierung einer physikalischen Speichereinheit, um auf die angefragten Datenblöcke zuzugreifen.

Zusammenfassung

Zusammenfassend wird ein redundantes Array-Speichersystem, das einen Satz blockadressierbarer physikalischer Speichereinheiten umfaßt, während eines Initialisierungsprozesses konfiguriert. Jede physikalische Speichereinheit wird unabhängig definiert, daß sie eine oder mehrere logische Speichereinheiten umfaßt, die in einer Kanalnummer, einer Speichereinheitsnummer, einer Startblocknummer, einer Offsetnummer und einer Anzahl zu übertragender Blöcke ausgedrückt sind, adressierbar ist. Logische Datenträger werden dann unabhängig als eine oder mehrere logische Speichereinheiten definiert, wobei jeder logische Datenträger eine unabhängig definierbare Tiefencharakteristik hat. Redundanzgruppen werden dann unabhängig als ein oder mehrere logische Datenträger definiert, wobei jede Redundanzgruppe einen unabhängig definierbaren Redundanzgrad hat. Der Redundanzgrad kann keine, eine (z. B. XOR-Parität oder einen Fehlerkorrektur-Code, wie einen Reed-Solomon-Code) oder zwei (z. B. XOR- Parität plus beispielsweise einen Reed-Solomon- Fehlerkorrektur-Code) sein. (Alternativ werden Redundanzgruppen als eine oder mehrere logische Speichereinheiten definiert, und logische Datenträger werden als ein Glied einer Redundanzgruppe definiert).
Logische Datenträger werden von einer Rechner-CPU 1 durch eine Datenträgernummer, eine Anfangsblocknummer und eine Anzahl zu übertragender Blöcke adressiert. Die CPU 1 gibt ebenfalls eine LESE- oder SCHREIB-Operation an. Die CPU 1 sendet die Zugriffsanfrage an eine ausgewählte Steuerung 3, 3', welche die angegebene Datenträgernummer, Anfangsblocknummer und Anzahl zu übertragender Blöcke in eine entsprechende Kanalnummer, Speichereinheitsnummer, Startblocknummer, Offsetnummer und Anzahl zu übertragenden Blöcke übersetzt.
Unter Verwendung der logischen Organisation und des Verfahrens für den Speichereinheitszugriff der vorliegenden Erfindung können RAID-Architekturen gleichzeitig unterstützt werden, welche die gleichen physikalischen Speichereinheiten verwenden. Beispielsweise können somit die zwölf in Fig. 2D gezeigten logischen Disks in (1) einen logischen Datenträger Nr. 0 mit einer Breite von 6 logischen Disks und einer Tiefe von vier Blöcken konfiguriert und in einem RAID-Modus der Stufe 3 (hohe Eingabe/Ausgabe-Bandbreite) betrieben werden, und in (2) einen logischen Datenträger Nr. 1 mit einer Brei te von sechs logischen Disks und einer Tiefe von einem Block konfiguriert und in einem RAID-Modus der Stufe 5 (On-Line- Dialogverarbeitung) betrieben werden.
Die vorliegende Erfindung ist daher extrem flexibel und ermöglicht einem redundanten Array-Speichersystem, als ein RAID-System der Stufe 1, 3, 4 oder 5 oder als irgendeine Kombination dieser Konfigurationen konfiguriert zu werden. In der vorliegenden Erfindung ist es daher für einen logischen Datenträger möglich, sich über physikalische Speichereinheiten zu erstrecken ("vertikale Aufteilung"), lediglich einen Teil jeder dieser physikalischen Speichereinheiten zu umfassen ("horizontale Aufteilung") und eine definierbare Tiefen- und Redundanzcharakteristik zu haben.
Es sind einige Ausführungsbeispiele der vorliegenden Erfindung beschrieben worden. Nichtsdestotrotz ist es selbstverständlich, daß zahlreiche Modifikationen vorgenommen werden können, ohne den Bereich der Erfindung zu verlassen. Dementsprechend ist es selbstverständlich, daß die Erfindung nicht auf die speziellen dargestellten Ausführungsbeispiele beschränkt ist, sondern lediglich durch den Bereich der beigefügten Ansprüche.

Claims

1. Verfahren zum Adressieren eines redundanten Array- Speichersystems, umfassend einen Array-Controller in operativer Verbindung mit einer CPU (1) und eine Vielzahl physikalischer Datenspeichereinheiten (S1-S6), die mit dem Array-Controller (3) über entsprechende Eingabe/Ausgabekanäle (4) gekoppelt sind, wobei jede physikalische Datenspeichereinheit eine Vielzahl adressierbarer Blöcke umfaßt, und das Verfahren folgendes umfaßt:

Übertragen von Speicherzugriffsanfragen von der CPU an den Array-Controller; und

Übersetzen jeder Speicherzugriffsanfrage in eine Adresse für die physikalischen Datenspeichereinheiten entsprechend einer ersten logischen Adressierungsebene, um einen Satz adressierbarer Blöcke in Antwort auf jede Speicherzugriffsanfrage zu adressieren;

wobei die adressierbaren Blöcke in Redundanzsätze organisiert sind, mit wenigstens einem adressierbaren Block in einem Redundanzsatz, der Redundanzinformation für übrige Blöcke in dem Redundanzsatz enthält;

dadurch gekennzeichnet, daß:

i) die Speicherzugriffsanfragen von der CPU entsprechend einer zweiten logischen Adressierungsebene ausgegeben werden, wobei jede Speicherzugriffsanfrage eine Nummer eines logischen Datenträgers, eine Nummer eines Anfangsblocks und die Anzahl zu übertragender Blöcke spezifiziert;

ii) der Array-Controller die Übersetzung unter Verwendung einer Datenstruktur durchführt, die jeden logischen Datenträger als eine oder mehrere logische Speichereinheiten definiert, wobei jede logische Speichereinheit eine Anzahl adressierbarer Blöcke umfaßt und alle logischen Speichereinheiten in einem logischen Datenträger die gleiche Anzahl adressierbarer Blöcke umfassen, wobei jeder logische Datenträger eine unabhängig definierbare Tiefencharakteristik hat, die in der Anzahl adressierbarer Blöcke ausgedrückt ist, auf die nacheinander in einer einzigen logischen Speichereinheit zugegriffen wird, bevor auf die nächste logische Speichereinheit in dem logischen Datenträger zugegriffen wird, wobei jede Speicherzugriffsanfrage auf eine oder mehrere logische Speichereinheiten abgebildet wird;

iii) jeder adressierbare Block innerhalb einer logischen Speichereinheit durch eine Kanalnummer, Speichereinheitsnummer, Startblocknummer und Offsetnummer adressiert wird;

iv) Redundanzgruppen definiert werden, von denen wenigstens eine mehr als einen logischen Datenträger mit unabhängig definierbarer Tiefencharakteristik umfaßt, wobei jede Redundanzgruppe einen konfigurierbaren Redundanzgrad hat; und

v) die Blöcke der Redundanzsätze über eine Redundanzgruppe über die Grenzen des logischen Datenträgers hinweg verteilt werden.

2. Verfahren nach Anspruch 1, bei welchem die Redundanzgruppen wenigstens zwei Redundanzgruppen mit gleichwertigen Redundanzgraden umfassen.

3. Verfahren nach Anspruch 1, bei welchem die Redundanzgruppen wenigstens zwei Redundanzgruppen mit unterschiedlichen Redundanzgraden umfassen.

4. Verfahren nach einem der Ansprüche 1 bis 3, bei welchem die Datenstruktur bei der Initialisierung des Speichersystems konfiguriert wird.

5. Verfahren nach einem der Ansprüche 1 bis 3, bei welchem die Datenstruktur konfiguriert wird, wenn normale Zugriffsoperationen nicht im Gange sind.

6. Verfahren nach einem der Ansprüche 1 bis 3, bei welchem die Datenstruktur ohne Anhalten normaler Zugriffsoperationen konfiguriert wird.

7. Redundantes Array-Speichersystem, das folgendes umfaßt:

einen Array-Controller (3);

eine Vielzahl physikalischer Datenspeichereinheiten (S1-S6), die mit dem Array-Controller über jeweilige Eingabe/Ausgabekanäle gekoppelt sind, wobei jede physikalische Datenspeichereinheit eine Vielzahl adressierbarer Blöcke umfaßt;

wobei der Array-Controller folgendes umfaßt:

eine Verbindung zu einem CPU-Bus (2) zum Empfangen einer Speicherzugriffsanfrage von der CPU, wobei der Array-Controller unabhängig von der CPU arbeitet, um die physikalischen Datenspeichereinheiten zu steuern; und

Mittel zum Adressieren der physikalischen Datenspeichereinheiten entsprechend einer ersten logischen Adressierungsebene, um einen Satz der adressierbaren Blöcke in Antwort auf jede Speicherzugriffsanfrage zu adressieren;

wobei die adressierbaren Blöcke in Redundanzsätze organisiert sind, mit wenigstens einem adressierbaren Block in einem Redundanzsatz, der Redundanzinformation für übrige Blöcke in dem Satz enthält;

dadurch gekennzeichnet, daß:

i) die erste logische Adressierungsebene die Bestimmung einer Kanalnummer, Speichereinheitsnummer, Startblocknummer und Offsetnummer für die adressierbaren Blöcke einschließt;

ii) die Speicherzugriffsanfragen von der CPU entsprechend einer zweiten logischen Adressierungsebene ausgegeben werden, bei welcher jede Speicherzugriffsanfrage wenigstens eine Nummer eines logischen Datenträgers, eine Nummer eines Anfangsblocks und eine Anzahl an Blöcken spezifiziert, auf die zugegriffen werden soll;

iii) der Array-Controller eine Datenstruktur hält, welche jeden logischen Datenträger als eine oder mehrere logische Speichereinheiten definiert, wobei jede logische Speichereinheit eine Anzahl adressierbarer Blöcke umfaßt und alle logischen Speichereinheiten in einem logischen Datenträger die gleiche Anzahl adressierbarer Blöcke umfassen, wobei jeder logische Datenträger eine unabhängig definierbare Tiefencharakteristik hat, die in der Anzahl adressierbarer Blöcke ausgedrückt ist, auf die nacheinander in einer einzigen logischen Speichereinheit zugegriffen wird, bevor auf die nächste logische Speichereinheit in dem logischen Datenträger zugegriffen wird, wobei jede Speicherzugriffsanfrage auf eine oder mehrere logische Speichereinheiten abgebildet wird;

iv) die Datenstruktur konfigurierbar ist, um Redundanzgruppen zu definieren, von denen wenigstens eine mehr als einen logischen Datenträger mit unabhängig definierbarer Tiefencharakteristik umfaßt, wobei jede Redundanzgruppe einen konfigurierbaren Redundanzgrad hat, und wobei die Blöcke der Redundanzsätze über eine Redundanzgruppe über die Grenzen des logischen Datenträgers hinweg verteilt sind.

8. Speichersystem nach Anspruch 7, bei welchem die Redundanzgruppen wenigstens zwei Redundanzgruppen mit gleichwertigen Redundanzgraden umfassen.

9. Speichersystem nach Anspruch 7 oder 8, bei welchem die Redundanzgruppen wenigstens zwei Redundanzgruppen mit unterschiedlichen Redundanzgraden umfassen.

10. Speichersystem nach einem der Ansprüche 7 bis 9, bei welchem die logischen Datenträger bei der Initialisierung des Speichersystems konfigurierbar sind.

11. Speichersystem nach einem der Ansprüche 7 bis 10, bei welchem die logischen Datenträger zu einem Zeitpunkt konfigurierbar sind, bei dem normale Zugriffsoperationen nicht im Gange sind.

12. Speichersystem nach einem der Ansprüche 7 bis 11, bei welchem die logischen Datenträger ohne Anhalten normaler Zugriffsoperationen konfigurierbar sind.