DE102009061066A1

DE102009061066A1 - Method for operating multiprocessor computer system involves allocating desired resources and adjusting time response of the allocated resources by resource manager based on time response requested with reservation request

Info

Publication number: DE102009061066A1
Application number: DE200910061066
Authority: DE
Inventors: Jonas Dipl.-Ing. 38106 Diemer; Rolf Prof. Dr.-Ing. 38112 Ernst
Original assignee: Technische Universitaet Braunschweig
Current assignee: Technische Universitaet Braunschweig
Priority date: 2009-04-09
Filing date: 2009-04-09
Publication date: 2011-07-07

Abstract

The method involves assigning resource manager (101) for managing resources (103-108) and adjusting the resources based on the time response. A reservation request (401) describing the type, scope and time response of the desired resources is received and processed. The desired resources are allocated to the requesting program (403), if the resources are available. The time response of the allocated resources is adjusted based on the time response requested with the reservation request. Independent claims are included for the following: (1) multiprocessor computer system; and (2) communication medium for multiprocessor computer system.

Description

Die Erfindung betrifft ein Kommunikationsmedium für ein Mehrprozessor-Computersystem gemäß dem Oberbegriff des Patentanspruchs 1.The invention relates to a communication medium for a multiprocessor computer system according to the preamble of patent claim 1.

Mehrprozessor-Computersysteme haben die Eigenschaft, dass die vorhandenen Ressourcen des Systems von den Mikroprozessoren gemeinsam genutzt werden. Dies führt bei bekannten Mehrprozessor-Computersystemen dazu, dass die Ausführungszeit für Programme auf Grund der nicht genau vorhersagbaren Auslastung der Ressourcen variiert und damit schwer vorhersagbar ist.Multiprocessing computer systems have the property of sharing the system's existing resources with the microprocessors. This results in known multi-processor computer systems that the execution time for programs varies due to the not exactly predictable utilization of resources and thus is difficult to predict.

Als Ressourcen eines Computersystems werden beispielsweise Hardwarekomponenten verstanden, wie der Hauptspeicher, Kommunikationsmedien (z. B. Datenbus), Ein- und Ausgabekanäle, Cache-Speicher und ggf. andere verwendete Hardware- und Softwarekomponenten, einschließlich Hardwarekomponenten, die sich auf demselben Chip wie die Prozessoren befinden können.For example, resources of a computer system are understood to be hardware components such as main memory, communication media (e.g., data bus), input and output channels, cache memory, and possibly other hardware and software components used, including hardware components residing on the same chip as the computer Processors can be located.

In bestimmten Anwendungsbereichen heutiger und künftiger Computersysteme (z. B. Multimedia) ist es notwendig, die Ausführungszeit von Softwareprogrammen oder Teilen davon möglichst exakt vorauszusagen, um beispielsweise Echtzeitanforderungen zu erfüllen oder den Programmablauf zu optimieren. Diese Ausführungszeit wird durch Zugriffe auf eine komplexe Speicherhierarchie mitbestimmt, welche sich aus einem oder mehreren Hauptspeicher-Controllern und/oder anderen Ein-/Ausgabe-Schnittstellen, einem oder mehreren Kommunikationsmedien (z. B. in Form eines Networks-On-Chip; NoC) sowie einer Hierarchie aus jeweils einem oder mehreren Cache-Speichern pro Hierarchieebene zusammensetzt. Insbesondere die Cache-Speicher weisen ein stark dynamisches Verhalten auf, was die Vorhersage des Zeitverhaltens sehr erschwert. Darüber hinaus können in Mehrprozessor-Computersystemen die Komponenten der Speicherhierarchie von mehreren Mikroprozessoren und somit auch von unabhängigen Softwareprogrammen gemeinsam genutzt werden, was zu Zugriffskonflikten führen kann, welche das Zeitverhalten von Programmausführungen ebenfalls stark beeinflussen können. Diese Beeinflussung hängt nicht nur vom Verhalten eines einzelnen Softwareprogramms ab, sondern auch davon, wie sich andere, gleichzeitig ausgeführte Softwareprogramme verhalten und wie einzelne Ressourcen ihre jeweiligen Zugriffskonflikte auflösen. Die gegenseitige Beeinflussung ist daher bei den bekannten Mehrprozessor-Computersystemen nur sehr ungenau vorhersagbar, sodass beim Zugriff auf gemeinsame Ressourcen eine Überschätzung der Laufzeit der Software-Programme erfolgt, da bei konservativer Schätzung immer von der höchst möglichen Beeinflussung ausgegangen werden muss. Dies führt dazu, dass das System entweder stark überdimensioniert wird oder die Software-Programme nicht mit garantiertem Zeitverhalten ausführbar sind. Anders gesagt, wenn es möglich ist, alle benötigten Ressourcen so zu reservieren, dass keine Beeinflussung möglich ist, wäre eine Überschätzung der Laufzeit nicht erforderlich. In derzeitigen Mehrprozessor-Computersystemen ergibt sich somit eine schlechte Ausnutzung der verfügbaren Ressourcen, wenn das Zeitverhalten der Anwendungen genau vorhersagbar sein soll.In certain application areas of today's and future computer systems (eg multimedia) it is necessary to predict the execution time of software programs or parts thereof as accurately as possible, for example to fulfill real-time requirements or to optimize the program sequence. This execution time is co-determined by accesses to a complex memory hierarchy consisting of one or more main memory controllers and / or other input / output interfaces, one or more communication media (eg in the form of a network-on-chip, NoC ) and a hierarchy of one or more cache memories per hierarchical level. In particular, the caches have a very dynamic behavior, which makes the prediction of the timing very difficult. In addition, in multiprocessor computer systems, the components of the memory hierarchy may be shared by multiple microprocessors, and thus also by independent software programs, which may result in access conflicts that may also greatly affect the timing of program executions. This impact depends not only on the behavior of a single software program, but also on how other concurrent software programs behave and how individual resources resolve their respective access conflicts. The mutual influence is therefore only very imprecisely predictable in the known multiprocessor computer systems, so that when accessing common resources, an overestimation of the running time of the software programs, since conservative estimation always has to assume the highest possible influence. As a result, the system is either greatly oversized or the software programs can not be executed with guaranteed time behavior. In other words, if it is possible to reserve all the required resources in such a way that no interference is possible, it would not be necessary to overestimate the runtime. Thus, in current multi-processor computer systems, there is a poor utilization of available resources if the timing of the applications is to be accurately predictable.

In so genannten eingebetteten Systemen (embedded systems) mit Echtzeitanforderungen ist es bekannt, die Ressourcen fest bestimmten Mikroprozessoren oder Programmen zuzuordnen, um entsprechende Konflikte zu vermeiden. Statt Cache-Speichern werden dort vorzugsweise softwareverwaltete Speicher, so genannten Scratch-Pad-Memories (SPM, vgl. Dokument D1 in der Literaturliste), eingesetzt, welche ein einfaches deterministisches Zeitverhalten haben.In so-called embedded systems with real-time requirements, it is known to assign the resources to specific microprocessors or programs in order to avoid corresponding conflicts. Instead of cache memory, software-managed memories, so-called scratch pad memories (SPM, see document D1 in the literature list), which have a simple deterministic time response, are preferably used there.

Hiermit können zwar relativ effektiv die Echtzeitanforderungen erfüllt werden, das System ist aber in der Regel ziemlich anwendungsspezifisch und nicht für einen universellen Einsatz geeignet. Ein solches System eignet sich insbesondere nicht für den effizienten Einsatz für allgemeinere Aufgaben, z. B. in Desktop- und Serversystemen. Außerdem führen solche Anpassungen meist zu einer ineffizienten Systemnutzung.Although this can be relatively effective real-time requirements are met, but the system is usually quite application-specific and not suitable for universal use. Such a system is particularly not suitable for efficient use for more general tasks, e.g. In desktop and server systems. In addition, such adjustments usually lead to inefficient system usage.

Aus der Veröffentlichung von Ray, S. et al.: „A reconfigurable bus structure for multiprocessors with bandwidth reuse. in: Journal of Systems Architecture, Vol. 45, No. 11, May 1999, pp. 847-862, Abstract” ist eine rekonfiguierbare Busstruktur beschrieben, bei der eine Methode zur Ausnutzung von Busbandbreiten beschrieben wird, bei der zeitliche und räumliche bzw. spektrale Bandbreitenerweiterungen ohne Pufferverzögerungen genutzt werden können.From the publication of Ray, S. et al .: "A reconfigurable bus structure for multiprocessors with bandwidth reuse. in: Journal of Systems Architecture, Vol. 45, no. 11, May 1999, pp. 847-862, Abstract " A description is given of a reconfigurable bus structure in which a method for exploiting bus bandwidths is described in which temporal and spatial or spectral bandwidth expansions can be used without buffer delays.

Der Erfindung liegt die Aufgabe zu Grunde, ein Kommunikationsmedium für ein Mehrprozessor-Computersystem anzugeben, das eine Verringerung der Latenz derjenigen Kommunikation erlaubt, die keine strengen Anforderungen an die Dienstgüte stellt.The invention has for its object to provide a communication medium for a multiprocessor computer system, which allows a reduction in the latency of those communication that does not place strict demands on the quality of service.

Diese Aufgabe wird durch die in dem Patentanspruch 1 angegebene Erfindung gelöst. Die Unteransprüche enthalten vorteilhafte Ausführungsformen der Erfindung.This object is solved by the invention defined in claim 1. The subclaims contain advantageous embodiments of the invention.

Die Erfindung hat den Vorteil, dass der Hintergrunddatenverkehr mit weniger Latenz ausgeführt wird. Hierdurch wird der Durchsatz z. B. von Desktop- und Serveranwendungen verbessert.The invention has the advantage that the background data traffic is executed with less latency. As a result, the throughput z. For example, desktop and server applications improved.

Eine vorteilhafte Weiterbildung der Erfindung erlaubt es ferner, eine zur Laufzeit des Computersystems und somit eine von Programmen konfigurierbare, definierte Zuteilung aller benötigten Ressourcen zu ermöglichen. Hierdurch wird das Zeitverhalten von Zugriffen, insbesondere auf die Speicherhierarchie, vorhersagbar gemacht. Darüber hinaus wird ein effizienter, vorhersagbarer Datentransport im Hintergrund ermöglicht. Wesentlich ist hierbei ein zentraler Ressourcen-Manager (nachfolgend RM genannt), welcher die Zuteilung von Ressourcen koordiniert. Der RM ist als separate Hardware-Komponente des Computersystems implementiert. Eine Implementierung des RM als Hardware-Komponente ist vorteilhaft auch in Form einer Implementierung auf dem selben Chip wie die Prozessoren möglich, also auf einem Multiprocessor-System-On-Chip bzw. einem Chip-Multiprocessor. An advantageous development of the invention also makes it possible to allow for the runtime of the computer system and thus a configurable by programs, defined allocation of all required resources. This makes the timing of accesses, especially to the memory hierarchy, predictable. It also enables efficient, predictable data transport in the background. Essential here is a central resource manager (hereinafter called RM), which coordinates the allocation of resources. The RM is implemented as a separate hardware component of the computer system. An implementation of the RM as a hardware component is advantageously also possible in the form of an implementation on the same chip as the processors, ie on a multiprocessor system-on-chip or a chip multiprocessor.

Vorteilhaft verwaltet der RM ihm zugeordnete, zumindest bezüglich ihres Zeitverhaltens einstellbare Ressourcen. Durch die Einführung von Reservierungsanfragen, die neben Art und Umfang gewünschter, zu reservierender Ressourcen auch deren Zeitverhalten beschreiben, wird der RM in die Lage versetzt, ein Ressourcen-Management auch hinsichtlich der Ausführungszeiten von Programmen durchzuführen. Vorteilhaft stellt der RM das Zeitverhalten der zugeteilten Ressourcen gemäß dem angeforderten Zeitverhalten einer Reservierungsanfrage ein. Hierdurch garantiert der RM eine definierte Ausführungszeit, wie in der Reservierungsanfrage angefordert, und somit ein deterministisches Zeitverhalten derjenigen Programme, die Reservierungen durchführen.Advantageously, the RM manages assigned to him, at least with respect to their timing adjustable resources. The introduction of reservation requests, which describe the type and scope of desired resources to be reserved as well as their time behavior, enables the RM to carry out a resource management also with regard to the execution times of programs. Advantageously, the RM adjusts the timing of the allocated resources according to the requested timing of a reservation request. As a result, the RM guarantees a defined execution time, as requested in the reservation request, and thus a deterministic time behavior of those programs that make reservations.

Die Parameter einer Reservierungsanfrage sind dabei je nach gewünschter Ressource definiert. Sofern als Art der Ressource beispielsweise Cache-Speicher angefordert wird, wird als Umfang die gewünschte Speichergröße in KB oder MB angegeben. Als Zeitverhalten wird die Zugriffslatenz angegeben. Für den Fall, dass als Art der Ressource ein Kommunikationsmedium angefragt wird, wird als Umfang das zu übertragende Datenvolumen (z. B. in MB) und als Zeitverhalten die gewünschte Übertragungszeit oder bei mehrfacher Übertragung die Übertragungsrate und -latenz angegeben. Die Einstellung des Zeitverhaltens schließt auch die Behandlung von Zugriffskonflikten bei gemeinsamer Nutzung von Ressourcen durch mehrere Prozessoren ein. Hierfür sind die Ressourcen für eine solche Behandlung von Zugriffskonflikten einstellbar, z. B. derart, dass die verfügbare Kapazität einer Ressource anteilig verschiedenen Prozessoren bzw. anfragenden Programmen zugeordnet wird.The parameters of a reservation request are defined depending on the desired resource. For example, if cache type is requested as the type of resource, the size specified is the desired amount of memory in KB or MB. The access latency is specified as the time behavior. In the event that a communication medium is requested as the type of resource, the volume specified is the data volume to be transmitted (eg in MB) and the desired transmission time as the time response or the transmission rate and latency for multiple transmissions. The timing adjustment also includes the handling of access conflicts when resources are shared by multiple processors. For this purpose, the resources for such treatment of access conflicts can be set, for. For example, such that the available capacity of a resource is proportionally allocated to different processors or requesting programs.

In einer vorteilhaften Ausgestaltung der Erfindung kann der RM pro Reservierungsanfrage mehr als eine Ressource reservieren. Dies hat den Vorteil, dass die Reservierungsanfragen eine funktionale Beschreibung der gewünschten Ressourcen enthalten können und nicht unbedingt hardwarespezifisch sein müssen. So muss eine Reservierungsanfrage beispielsweise nicht unbedingt die Anforderung enthalten, dass eine bestimmte Speicherplatzgröße mit einer bestimmten Zugriffszeit sowie bestimmte Zugriffszeiten auf die Kommunikationsmedien reserviert werden. Vielmehr kann die Reservierungsanfrage eine funktionale Beschreibung der gewünschten Ressourcen enthalten, etwa für das Abspielen einer Multimediadatei. Der RM wählt dann automatisch die erforderlichen Ressourcen aus, z. B. Cache-Speicher für eine Zwischenspeicherung, Kommunikationsmedien-Zugriffszeiten sowie Ein-/Ausgabekanäle, stellt diese entsprechend dem angeforderten Zeitverhalten ein und reserviert die entsprechenden Kapazitäten dieser Hardware-Ressourcen.In an advantageous embodiment of the invention, the RM can reserve more than one resource per reservation request. This has the advantage that the reservation requests may contain a functional description of the desired resources and may not necessarily be hardware-specific. For example, a reservation request may not necessarily include the requirement that a particular amount of memory be reserved with a certain access time and certain access times to the communication media. Rather, the reservation request may include a functional description of the desired resources, such as for playing a multimedia file. The RM then automatically selects the required resources, e.g. Caching cache, communication media access times, and input / output channels, adjusts them according to the requested timing and reserves the corresponding capacities of those hardware resources.

Gemäß einer vorteilhaften Weiterbildung der Erfindung beschreiben die Reservierungsanfragen virtuelle Ressourcen. Der RM wählt automatisch diejenigen realen Ressourcen aus und teilt sie zu, die zur Erfüllung einer Reservierungsanfrage erforderlich sind. Eine virtuelle Ressource kann beispielsweise ein virtueller Prozessor sein, d. h. eine bestimmte Rechenkapazität eines realen Mikroprozessors der Hardware. Die Bereitstellung solcher virtueller Ressourcen erlaubt es dem Anwender bzw. dem Programmierer, die Programme weitgehend unabhängig von einer bestimmten Hardwareausstattung des Mehrprozessor-Computersystems zu entwickeln, da sich der RM automatisch um die Zuordnung und das Management realer Hardware-Ressourcen kümmert.According to an advantageous embodiment of the invention, the reservation requests describe virtual resources. The RM automatically selects and allocates those real resources needed to fulfill a reservation request. For example, a virtual resource may be a virtual processor, i. H. a certain computing capacity of a real microprocessor of the hardware. The provision of such virtual resources allows the user or programmer to develop the programs largely independently of any particular hardware equipment of the multiprocessor computer system, as the RM automatically handles the allocation and management of real hardware resources.

Gemäß einer vorteilhaften Weiterbildung der Erfindung verfügt der RM über ein System-Modell, das wenigstens die von dem RM verwalteten Ressourcen hinsichtlich Art, Kapazität sowie Zugriffslatenz und Zugriffsbandbreite beschreibt. Die Verwendung des System-Modells hat den Vorteil, dass das Ressourcen-Management auf einfache und effiziente Weise möglich wird. Insbesondere sind auch Änderungen der Hardware-Konfiguration des Mehrprozessor-Computersystems unproblematisch, da hinsichtlich des RM lediglich das System-Modell aktualisiert werden muss. Das System-Modell spiegelt sozusagen ein Abbild des Systems wieder. Das System-Modell kann beispielsweise in einem Flash-Speicher abgelegt sein.According to an advantageous development of the invention, the RM has a system model which describes at least the resources managed by the RM with regard to type, capacity and access latency and access bandwidth. Using the system model has the advantage of enabling resource management in a simple and efficient manner. In particular, changes in the hardware configuration of the multiprocessor computer system are also unproblematic, since with respect to the RM only the system model needs to be updated. The system model reflects, so to speak, an image of the system. The system model may, for example, be stored in a flash memory.

Gemäß einer vorteilhaften Weiterbildung der Erfindung werden als Ressourcen virtuelle Ressourcen bereitgestellt, die virtuelle Scratch-Pad-Memories (nachfolgend SPM genannt) mit direktem Speicherzugriff (direct-memory-access, nachfolgend DMA genannt) enthalten. Vorteilhaft wird das im Bereich eingebetteter Systeme genutzte Programmiermodel der SPM's mit DMA-Transfers verwendet, also ein virtuelles SPM im Cache bereitgestellt, auf das über einen DMA-Controller zugegriffen werden kann. Der RM stellt den Programmen ein Interface zur Reservierung von virtuellen Komponenten mit deterministischen Eigenschaften zur Verfügung, z. B. ein virtuelles SPM mit fester Größe und garantierter Zugriffsbandbreite und -latenz oder einen virtuellen DMA-Transfer zwischen virtuellem SPM und Hauptspeicher mit garantierter maximaler Ausführungsdauer. Auf diese Weise können virtuelle eingebettete Subsysteme mit definiertem Zeitverhalten innerhalb des Gesamtsystems erzeugt werden.According to an advantageous development of the invention, virtual resources are provided as resources which contain virtual scratchpad memories (hereinafter referred to as SPM) with direct memory access (hereinafter referred to as DMA). Advantageously, the programming model of the SPMs used in the area of embedded systems is used with DMA transfers, that is, a virtual SPM is provided in the cache that can be accessed through a DMA controller. The RM provides the programs with an interface for reserving virtual components with deterministic properties. A virtual SPM of fixed size and guaranteed access bandwidth and latency or a virtual DMA transfer between virtual SPM and main memory with guaranteed maximum execution time. In this way, virtual embedded subsystems with defined time behavior can be generated within the overall system.

Gemäß einer vorteilhaften Weiterbildung weisen die von dem RM verwalteten Ressourcen wenigstens ein Kommunikationsmedium, z. B. ein Datenbus, einen Speicher oder Speicher-Controller, einen Hardware-Beschleuniger und/oder wenigstens eine Ein- und/oder Ausgabeeinheit auf. Hierdurch ist das Verfahren flexibel auf einer Vielzahl unterschiedlich ausgestatteter Mehrprozessor-Computersysteme einsetzbar.According to an advantageous development, the resources managed by the RM have at least one communication medium, e.g. As a data bus, a memory or memory controller, a hardware accelerator and / or at least one input and / or output unit. As a result, the method can be used flexibly on a multiplicity of differently equipped multiprocessor computer systems.

Die Realisierung der Ressourcenzuteilung durch einen zentralen RM hat folgende Vorteile:

– Der RM kann anhand eines System-Modells und der Kenntnis existierender Reservierungen prüfen, ob eine Reservierungsanfrage überhaupt erfüllbar ist. Hierbei kann der RM eine Priorisierung durchführen und ggf. bereits erteilte Reservierungen stornieren, um eine wichtigere Reservierungsanfrage zu erfüllen.
– Bei fehlerhaftem Verhalten eines reservierenden Programms kann der RM Reservierungen stornieren und so Ressourcen wieder freigeben.
– Bei nicht gegebener Erfüllbarkeit einer Reservierungsanfrage kann der RM mit dem anfragenden Programm alternative Reservierungen aushandeln.
– Der RM kann bei Kenntnis der Systemauslastung (z. B. durch einen Performance-Counter) die Systemleistung bei einer Reservierung optimieren. Hierfür kann der RM ggf. alternative Reservierungen mit einem anfragenden Programm aushandeln.
– Der RM stellt eine Abstraktionsebene für das Programm dar, indem eine von der tatsächlichen Implementierung der Ressourcenzuteilung unabhängige Schnittstelle bereitgestellt wird.

The realization of the resource allocation by a central RM has the following advantages:

The RM can use a system model and the knowledge of existing reservations to check whether a reservation request can be fulfilled at all. In doing so, the RM can prioritize and, if necessary, cancel already issued reservations in order to fulfill a more important reservation request.
- If a reserving program behaves incorrectly, the RM can cancel reservations and release resources.
- If a reservation request can not be fulfilled, the RM can negotiate alternative reservations with the requesting program.
- The RM can optimize the system performance when making a reservation knowing the system utilization (eg through a performance counter). For this, the RM may negotiate alternative reservations with a requesting program.
The RM provides a level of abstraction for the program by providing an interface independent of the actual implementation of the resource allocation.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Verwendung von Zeichnungen näher erläutert.The invention will be explained in more detail by means of embodiments using drawings.

Es zeigenShow it

1 – eine prinzipielle Architektur eines Mehrprozessor-Computersystems und 1 A basic architecture of a multiprocessor computer system and

2 – ein Mehrprozessor-Computersystem mit virtuellen Ressourcen und 2 A multiprocessor computer system with virtual resources and

3 – eine Kommunikation bei einer Reservierungsanfrage und 3 A communication with a reservation request and

4 – einen Ablauf einer Reservierungsanfrage und 4 A process of a reservation request and

5 – ein konkretes Beispiel einer Reservierungsanfrage eines virtuellen eingebetteten Systems als Sequenzdiagramm und 5 A concrete example of a reservation request of a virtual embedded system as a sequence diagram and

6 – ein Sequenzdiagramm einer Reservierung eines virtuellen SPMs und 6 A sequence diagram of a reservation of a virtual SPM and

7 – die Architektur eines Netzwerk-Routers. 7 - The architecture of a network router.

In den Zeichnungen werden gleiche Bezugszeichen für einander entsprechende Elemente verwendet.In the drawings, like reference numerals are used for corresponding elements.

Nachfolgend bedeuten die Begriffe Programm, Softwareprogramm, Anwendung oder Applikation jeweils auf dem Computersystem ausführbare Programme jeder Art, insbesondere Anwendungsprogramme und Systemprogramme.In the following, the terms program, software program, application or application mean executable programs of any kind on the computer system, in particular application programs and system programs.

Eine vorteilhafte Weiterbildung der Erfindung erlaubt es, durch eine dynamische Verwaltung von Ressourcen das Zeitverhalten des Systems – insbesondere das der Speicherhierarchie – für einzelne, als wichtig angesehene Anwendungen vorhersagbar zu machen, diese also von gleichzeitig laufenden Applikationen zu isolieren. Auf diese Weise ist es möglich, Anwendungen, die ein genau vorhersagbares Zeitverhalten benötigen, gleichzeitig mit anderen Anwendungen auf einem System mit gemeinsam genutzten Ressourcen auszuführen.An advantageous development of the invention makes it possible to predict the temporal behavior of the system-in particular that of the memory hierarchy-for individual applications regarded as important by dynamic management of resources, ie to isolate them from simultaneously running applications. In this way, it is possible to run applications that need precisely predictable timing simultaneously with other applications on a shared resource system.

Hierbei werden existierende Mechanismen für einzelne Ressourcen, welche z. B. durch Reservierung oder Priorisierung das Verhalten im Falle von Zugriffskonflikten verbessern, verwendet. Diese werden nun im Folgenden vorgestellt:Here are existing mechanisms for individual resources, which z. B. by reservation or prioritization to improve the behavior in the case of access conflicts. These are now presented below:

Cache-SpeicherCache

Einige Cache-Architekturen ermöglichen es, durch Umkonfigurierung (D2) oder so genanntes Cache-Locking (D3, D4), also das Festhalten bestimmter Daten im Cache, das Zeitverhalten von Caches selektiv zu vereinfachen. Hierbei verhält sich der Cache dann wie ein softwareverwalteter Speicher. Verschiedene Verfahren mit unterschiedlichen Vor- und Nachteilen (Schaltungsaufwand, Konfigurations-Overhead, Granularität des Locking) existieren.Some cache architectures make it possible to selectively simplify the timing of caches through reconfiguration (D2) or so-called cache-locking (D3, D4), ie the retention of certain data in the cache. The cache then behaves like a software-managed memory. Different methods with different advantages and disadvantages (circuit complexity, configuration overhead, granularity of locking) exist.

Der gegenseitige Einfluss gleichzeitig ausgeführter Programme kann bei einem gemeinsam genutzten Cache durch so genannte Cache-Partitionierung (D5, D6), also die feste Zuweisung von Teilen des gemeinsam genutzten Caches an bestimmte Prozessoren oder Anwendungen, erreicht werden. Auch hier gibt es zahlreiche unterschiedliche Ansätze.The concurrent influence of concurrently executed programs on a shared cache can be done by so-called cache partitioning (D5, D6), ie the fixed allocation of Share the shared cache with specific processors or applications. Again, there are many different approaches.

Konkrete Ausprägungen der Erfindung können verteilte Caches enthalten. Über ein so genanntes „Address-Mapping” kann gesteuert werden, welche Adressen welchen Cache-Teilen zugeordnet sind (D7). Diese Funktionalität kann im Kommunikationsmedium implementiert sein.Specific embodiments of the invention may include distributed caches. A so-called "address mapping" can be used to control which addresses are assigned to which cache parts (D7). This functionality can be implemented in the communication medium.

Datentransfersdata transfers

Insbesondere bei der Verwendung von SPMs werden größere Datenmengen unter Ausnutzung bekannter bzw. regelmäßiger Zugriffsmuster oft über das so genannte Direct-Memory-Access-Verfahren (DMA) im Hintergrund in das SPM geschrieben bzw. daraus gelesen. Die entsprechende Steuerung übernimmt hierbei ein DMA-Controller (DMAC), der wiederum von der Applikation gesteuert wird (D8). Eine vorteilhafte Weiterbildung der Erfindung beinhaltet erweiterte DMA-Controller in Form von Datentransfereinheiten (nachfolgend DTE genannt). Diese schwach-konfigurierbaren Einheiten bieten erweiterte Adressmuster, z. B. 2D-, 3D-, 4D-Blocktransfers, Scatter-/Gather-Listen, sowie die Möglichkeit, Cache-Locking und -Partitionierung durchzuführen.Especially with the use of SPMs, larger amounts of data are often written into the SPM using the so-called direct memory access method (DMA) in the background or read from it, using known or regular access patterns. The corresponding control is handled by a DMA controller (DMAC), which in turn is controlled by the application (D8). An advantageous development of the invention includes advanced DMA controllers in the form of data transfer units (hereinafter called DTE). These low-configurable units provide extended address patterns, e.g. 2D, 3D, 4D block transfers, scatter / gather lists, as well as the ability to perform cache locking and partitioning.

Hauptspeichermain memory

Konflikte beim Hauptspeicherzugriff werden durch spezielle Ablaufplanung im Hauptspeichercontroller behandelt, wodurch die Datenraten einzelner Applikationen begrenzt bzw. Zugriffe bestimmter Applikationen priorisiert werden können (D9, D10). Auf diese Weise können in gewissen Grenzen die maximale Latenz und/oder der minimale Datendurchsatz für ausgewählte Anwendungen garantiert werden.Conflicts in the main memory access are handled by special scheduling in the main memory controller, whereby the data rates of individual applications limited or accesses of certain applications can be prioritized (D9, D10). In this way, the maximum latency and / or the minimum data throughput for selected applications can be guaranteed within certain limits.

Kommunikationsmediumcommunications medium

Um den Einfluss von Konflikten auf dem Kommunikationsmedium zu eliminieren, existieren insbesondere im Bereich eingebetteter Systeme Networks-on-Chip, welche verschiedene Dienstguten (Quality-of-Service, QoS) unterstützen. Diese werden in der Regel durch Priorisierung (D11, D12, D13) und/oder Reservierung (D14, D15, D16), von Kommunikationsressourcen realisiert und ermöglichen, gleichzeitig stattfindende Kommunikationen voneinander zu isolieren.In order to eliminate the influence of conflicts on the communication medium, especially in the area of embedded systems there are networks on chip, which support different quality of service (QoS). These are typically implemented by prioritizing (D11, D12, D13) and / or reserving (D14, D15, D16) communication resources and allowing concurrent communications to be isolated from each other.

Diese Mechanismen haben jedoch den Nachteil, dass diejenige Kommunikation, welche keine strengen Anforderungen an die Dienstgüte stellt, benachteiligt wird. In einem Prozessorsystem trifft dies auf den von Desktop- und Serveranwendungen verursachten Datenverkehr zu. Eine Benachteiligung dieses Verkehrs führt jedoch dazu, dass Anfragen mit einer höheren Latenz belegt sind, was den Durchsatz dieser Anwendungen stark beeinträchtigen kann.However, these mechanisms have the disadvantage that the communication which does not impose strict quality of service requirements is disadvantaged. In a processor system, this applies to the traffic caused by desktop and server applications. A disadvantage of this traffic, however, leads to requests with a higher latency, which can severely impair the throughput of these applications.

Die Erfindung reduziert diese Effekte.The invention reduces these effects.

Die Erfindung betrifft ein Kommunikationsmedium für ein Mehrprozessor-Computersystem, das z. B. in Form eines in einem Chip integrierten Netzwerks (Network-On-Chip) ausgeführt sein kann. Das Kommunikationsmedium ist in Bezug auf das Zeitverhalten derart einstellbar, dass ein Hintergrunddatenverkehr vor einem Datenverkehr mit definierten Bandbreitenanforderungen bevorzugt behandelt wird, und ferner ist das Kommunikationsmedium durch Bandbreitenregulierung derart einstellbar, dass ausreichend Bandbreite für den Datenverkehr mit definierten Bandbreitenanforderungen verfügbar ist. Es wird somit unterschieden zwischen einem allgemeinen Datenverkehr, der keine bestimmten Bandbreitenanforderungen hat, und demzufolge als Hintergrunddatenverkehr bezeichnet wird, und dem Datenverkehr mit definierten Bandbreitenanforderungen. Die Erfindung erlaubt, dass solcher Hintergrunddatenverkehr je nach Systemauslastung auch vor einem Datenverkehr mit definierten Bandbreitenanforderungen behandelt werden kann. Hierzu wird das Kommunikationsmedium auf eine bestimmte Bandbreite eingestellt.The invention relates to a communication medium for a multiprocessor computer system, the z. B. in the form of a network integrated in a chip (network-on-chip) can be executed. The communication medium is tunable in terms of timing to preferentially handle background traffic prior to traffic having defined bandwidth requirements, and further, the bandwidth-tunable communication medium is tunable to provide sufficient bandwidth for the traffic having defined bandwidth requirements. Thus, a distinction is made between general traffic that does not have specific bandwidth requirements, and hence is referred to as background traffic, and traffic with defined bandwidth requirements. The invention allows such background traffic to be treated against data traffic with defined bandwidth requirements depending on system load. For this, the communication medium is set to a certain bandwidth.

In einer beispielhaften Ausführung eines solchen Kommunikationsmediums handelt es sich um ein on-chip Netzwerk, in welchem die Kommunikation Paket-basiert über eine Vielzahl von Netzwerk-Routern, welche z. B. in einem Gitter (Mesh) angeordnet sind, erfolgt. 7 zeigt einen entsprechenden Netzwerk-Router, welcher drei Verkehrsklassen unterstützt: (1) Garantierte Mindestbandbreite mit nach oben beschränkter Latenz, (2) keine Garantien, aber möglichst geringe Latenz, (3) garantierte maximale Latenz bei nach oben beschränkter Bandbreite. Die Besonderheit findet sich in der Art und Weise, wie einzelne Kommunikationslinks vergeben werden. Hierbei wird zunächst eine bekannte Priorisierung innerhalb der Arbitrierung 705 eingesetzt, bei der jeder Verkehrsklasse separate Puffer (virtuelle Kanäle, vgl. D17) 706, 707 und 708 zugewiesen werden. Um eine maximale Latenz zu garantieren, wird Verkehrsklasse 3 bevorzugt behandelt. Abweichend vom Stand der Technik wird jedoch die Verkehrsklasse 2 vor der Verkehrsklasse 1 bevorzugt behandelt. Um dennoch eine Mindestbandbreite garantieren zu können, werden Bandbreitenbegrenzer (Traffic-Shaper, vgl. D18) 709 eingesetzt, welche bei entsprechender Konfiguration die Bandbreite der Verkehrsklassen 2 und 3 beschränken, so dass im Mittel genug Bandbreite frei bleibt, um die Anforderungen von Verkehrsklasse 1 zu erfüllen. Die Traffic-Shaper sind hierbei als Token-Bucket-Shaper ausgeführt. Abweichend vom Stand der Technik wirken die Traffic-Shaper an den jeweiligen Ausgangsports der Router anstatt an den Eingangsports des Netzwerks, was eine präzise Steuerung der Bandbreite auf bestimmten Verkehrsrouten erlaubt.In an exemplary embodiment of such a communication medium is an on-chip network, in which the communication is packet-based over a plurality of network routers, which z. B. in a grid (mesh) are arranged takes place. 7 shows a corresponding network router supporting three classes of traffic: (1) Guaranteed minimum bandwidth with limited latency, (2) no guarantees, but least latency, (3) maximum guaranteed latency with bandwidth limited upwards. The peculiarity is found in the way individual communication links are assigned. Here, first, a known prioritization within the arbitration 705 used, with each traffic class separate buffers (virtual channels, see D17) 706 . 707 and 708 be assigned to. To guarantee maximum latency, traffic class 3 is preferred. Deviating from the prior art, however, the traffic class 2 is treated before the traffic class 1 preferred. In order to be able to guarantee a minimum bandwidth, bandwidth limiters (Traffic-Shaper, see D18) 709 used, which with appropriate configuration limit the bandwidth of traffic classes 2 and 3, so that on average enough bandwidth remains free to meet the requirements of traffic class 1. The traffic shapers are executed as token bucket shapers. Deviating from the state of the art, the traffic shapers work on the Respective output ports of the routers instead of at the input ports of the network, which allows precise control of the bandwidth on certain traffic routes.

Darüber hinaus bietet die in einer Ausgestaltung der Erfindung enthaltene Ausführung der Kommunikationsarchitektur die Möglichkeit des oben beschriebenen Address Mapping. Hierzu bieten die Netzwerk-Adapter, also die Module, welche Netzwerk-Clients an das Netzwerk anbinden, die Möglichkeit der Umsetzung von Adressräumen auf Netzwerkadressen. Dies ermöglicht eine flexible Abbildung von Adressen auf Netzwerkknoten und somit von Speicheradressen auf Teile des verteilten Cache-Speichers (welcher als SPM verwendet werden kann).In addition, the embodiment of the communication architecture contained in one embodiment of the invention offers the possibility of the address mapping described above. For this purpose, the network adapters, ie the modules which connect network clients to the network, offer the possibility of implementing address spaces on network addresses. This allows flexible mapping of addresses on network nodes and thus memory addresses on parts of the distributed cache memory (which can be used as SPM).

Zentralisiertes Ressourcen-ManagementCentralized resource management

In den oben beschriebenen existierenden Ansätzen werden Ressourcenkonflikte im Cache, Hauptspeicher und Kommunikationsmedium jeweils einzeln behandelt. In der Regel werden jedoch mehrere Ressourcen zusammen verwendet, um eine bestimmte Aufgabe zu erfüllen. Daher ist es für die genaue Analyse des Zeitverhaltens von Zugriffen nötig, die Ressourcenverteilung zu koordinieren.In the existing approaches described above, resource conflicts in the cache, main memory and communication medium are treated individually. Typically, however, multiple resources are used together to accomplish a particular task. Therefore, to accurately analyze the timing of accesses, it is necessary to coordinate the resource distribution.

Dies stellt ein mehrdimensionales Optimierungsproblem dar. Für nicht-verteilte Anordnungen, d. h. bei Systemen, in denen jede Ressourcenklasse nur einmal vorhanden ist, existieren bereits einige Ansätze (D19, D20, D21), welche jedoch keine Echtzeitgarantien liefern, sondern sich auf eine faire Ressourcenverteilung bzw. auf eine Optimierung des Gesamtdurchsatzes konzentrieren. Außerdem werden dort keine Systeme behandelt, bei denen die Ressourcen verteilt vorhanden sind.This represents a multi-dimensional optimization problem. For non-distributed arrangements, i. H. In systems in which each resource class exists only once, there are already some approaches (D19, D20, D21), which, however, do not provide any real-time guarantees, but concentrate on a fair resource distribution or on an optimization of the overall throughput. In addition, there are no systems treated where the resources are distributed.

Eine vorteilhafte Weiterbildung der Erfindung ermöglicht eine Integration der oben beschriebenen Mechanismen durch Verwendung eines zentralen Ressourcen-Managers.An advantageous development of the invention enables integration of the mechanisms described above by using a central resource manager.

In 1 ist die prinzipielle Architektur eines Mehrprozessor-Computersystems, welches die Erfindung beinhaltet, dargestellt. Dieses enthält im Einzelnen mehrere Prozessoren 102, welche jeweils private Cache-Speicher enthalten können, mehrere gemeinsam genutzte Cache-Tiles 103, welche jeweils einem Prozessor 102 räumlich zugeordnet sein können, einen zentralen RM 101, eine oder mehrere Datentransfereinheiten (DTE) 105, einen oder mehrere Hauptspeichercontroller 106 zur Anbindung des Hauptspeichers, welche über mehrere physikalisch getrennte Speichercontroller realisiert sein können, eine oder mehrere Ein-/Ausgabe-Schnittstellen 107, optional einen oder mehrere Hardwarebeschleuniger 108 gleicher oder unterschiedlicher Art, sowie ein gemeinsam genutztes Kommunikationsmedium 104, an das alle Komponenten 101, 102, 103, 105, 106, 107 und 108 angebunden sein können.In 1 Figure 3 illustrates the principal architecture of a multiprocessor computer system embodying the invention. This contains in detail several processors 102 , which may each contain private cache memory, multiple shared cache tiles 103 which each have a processor 102 spatially assigned, a central RM 101 , one or more data transfer units (DTE) 105 , one or more main memory controllers 106 for connecting the main memory, which may be realized via a plurality of physically separate memory controller, one or more input / output interfaces 107 , optionally one or more hardware accelerators 108 same or different kind, as well as a shared communication medium 104 to which all components 101 . 102 . 103 . 105 . 106 . 107 and 108 can be connected.

Eine konkrete Ausprägung einer solchen Architektur kann z. B. 64 Prozessoren mit privaten Level-1-Caches, einen auf 64 Teile verteilten Level-2-Cache, 2 Speichercontroller, 2 I/O-Controller und einen RM enthalten, welche über ein 8 × 8 Mesh-Netzwerk verbunden sind. Der verteilte Cache unterstützt Cache-Locking sowie Cache-Partitionierung. Die Speichercontroller implementieren eine prioritätsgesteuerte Ablaufplanung mit zwei Prioritätsklassen LOW und NORMAL, mit einer einstellbaren Datenratenbegrenzung (Traffic-Shaping) für die NORMAL-Klasse. Das Netzwerk unterstützt drei Prioritäten LOW, NORMAL und HIGH, welche mittels Priorisierung und verteilter Datenratenbegrenzung (Traffic-Shaping) eine Isolierung ermöglichen. Zudem erlaubt das Netzwerk mittels Address-Mapping die flexible Zuordnung von Speicher- und Netzwerkadressen.A concrete expression of such an architecture can, for. For example, there are 64 processors with private level 1 caches, a level 2 cache distributed in 64 parts, 2 memory controllers, 2 I / O controllers, and 1 RM connected via an 8x8 mesh network. The distributed cache supports cache locking and cache partitioning. The memory controllers implement priority scheduling with two priority classes LOW and NORMAL, with adjustable NORMAL class traffic shaping. The network supports three priorities LOW, NORMAL and HIGH, which enable isolation through prioritization and distributed data rate limiting (traffic shaping). In addition, the network allows the flexible assignment of memory and network addresses by means of address mapping.

Charakteristisch für jede Ausprägung eines solchen Computersystems sind Mechanismen zur Verwaltung bzw. Reservierung aller gemeinsam genutzten Ressourcen, also z. B. Speicher bzw. Cache, Kommunikationsmedium, DTE, Speichercontroller und Ein-/Ausgabe-Einheit. Auf diese Infrastruktur setzt in jeder Ausprägung ein Ressourcen-Manager auf.Characteristic of each version of such a computer system are mechanisms for the management or reservation of all shared resources, so z. As memory or cache, communication medium, DTE, memory controller and input / output unit. A resource manager builds on this infrastructure in every form.

In der Grundkonfiguration stellt dieses System ein symmetrisches Mehrprozessorsystem (SMP) mit uneinheitlichem Cache-Zugriff (non-uniform cache access, NUCA) und ggf. uneinheitlichem Speicherzugriff (non-uniform memory access, NUMA) dar. Hierbei können alle Prozessoren 102 unter Verwendung eines gemeinsamen Adressraumes über Cache-Speicher 103 auf den Hauptspeicher 106 zugreifen.In the basic configuration, this system is a symmetric multiprocessor (SMP) system with non-uniform cache access (NUCA) and possibly non-uniform memory access (NUMA) 102 using a shared address space via cache memory 103 to the main memory 106 access.

Applikationen können nun beim RM bestimmte Dienste anfragen. Diese Anfragen können in Form von virtuellen Komponenten mit definiertem Zeitverhalten gestellt werden. Hierbei übernimmt der RM die Konfiguration sämtlicher Komponenten, wie in 3 dargestellt: Anwendungen 403 (welche auf einem oder mehreren Prozessoren 102 ausgeführt werden) stellen Reservierungsanfragen 401. Der RM bearbeitet eine solche Reservierungsanfrage, indem er geeignete Ressourcen bzw. deren Konfiguration auswählt. Diese ausgewählte Konfiguration wird dann über Konfigurationsnachrichten 402 und/oder Konfigurationsregister in den einzelnen beteiligten Komponenten 103, 104, 105, 106, 107 und 108 eingestellt.Applications can now request specific services from the RM. These requests can be made in the form of virtual components with a defined time behavior. Here, the RM takes over the configuration of all components, as in 3 presented: Applications 403 (which on one or more processors 102 be executed) make reservation requests 401 , The RM handles such a reservation request by selecting appropriate resources or their configuration. This selected configuration will then be via configuration messages 402 and / or configuration register in the individual components involved 103 . 104 . 105 . 106 . 107 and 108 set.

Vorteilhafte Arten von Reservierungsanfragen sind im Folgenden aufgeführt und erläutert.Advantageous types of reservation requests are listed and explained below.

Reservierung eines virtuellen eingebetteten Systems Reservation of a virtual embedded system

Hierbei fragt die Anwendung 403 ein virtuelles eingebettetes System an, wie in 2 beispielhaft dargestellt, mit virtuellen Prozessoren 302, SPMs 303, Caches 103, virtuellen Datentransfereinheiten (DTE) 305 und Punkt-zu-Punkt-Verbindungen 304 sowie ggf. Ein-/Ausgabeeinheiten 107 und Hardware-Beschleunigern 108, jeweils mit gewünschten Mindestanforderungen und definiertem Zeitverhalten. In einer solchen Anfrage übermittelt die anfragende Anwendung also eine komplette Beschreibung eines virtuellen Systems inklusive dem gewünschten Zeitverhalten. Diese Beschreibung umfasst virtuelle Prozessoren 302 und/oder Hardwarebeschleuniger 108 mit einer definierten Ausführungsrate, virtuelle softwareverwaltete Speicher 303 und/oder Caches 103 und/oder Hauptspeicher 106 mit definierter Kapazität, Zugriffszeit und -bandbreite, virtuelle DTE 305 sowie virtuelle Punkt-zu-Punkt-Kommunikationsverbindungen 304 zwischen den virtuellen und realen Komponenten mit definierten Maximallatenzen und Mindestdatenraten.This asks the application 403 a virtual embedded system, as in 2 exemplified, with virtual processors 302 , SPMs 303 , Caches 103 Virtual Data Transfer Units (DTE) 305 and point-to-point connections 304 as well as input / output units 107 and hardware accelerators 108 , each with desired minimum requirements and defined time behavior. In such a request, the requesting application thus transmits a complete description of a virtual system including the desired time behavior. This description includes virtual processors 302 and / or hardware accelerator 108 with a defined execution rate, virtual software managed storage 303 and / or caches 103 and / or main memory 106 with defined capacity, access time and bandwidth, virtual DTE 305 as well as virtual point-to-point communication links 304 between the virtual and real components with defined maximum latencies and minimum data rates.

Jede Anfrage 401 durchläuft im RM mehrere Schritte gemäß 4: Zunächst wird im Schritt 501 eine Konfiguration bzw. eine entsprechende Konfigurationsänderung erstellt. Jede Konfigurationsänderung prüft der RM im Schritt 502 zunächst auf ihre Durchführbarkeit. Hierzu liegt eine Systembeschreibung (System-Modell) in Form einer geeigneten Datenstruktur vor, welche die vorhandenen Systemkomponenten, deren Kapazität, aktuelle Auslastung bzw. Konfiguration und Anbindung im System enthält. Anhand dieser Beschreibung kann für eine zu einer Anfrage passenden Systemkonfiguration ermittelt werden, ob diese mit den aktuell verfügbaren Ressourcen erfüllbar ist. Ist dies nicht der Fall, können gemäß Schritt 504 ggf. alternative Konfigurationen probiert werden, indem z. B. eine andere Zuordnung von virtuellen SPMs zu Cache-Teilen gewählt wird. Kann so eine erfüllbare Konfiguration gefunden werden, so wird diese im Schritt 503 vom RM durchgeführt. Anhand der Systembeschreibung kann der RM zudem im Schritt 501 eine Optimierung durchführen, bevor eine Konfigurationsänderung im Schritt 503 erfolgt. So lassen sich beispielsweise durch geeignete Auswahl der Prozessoren und/oder Cache-Teile die benötigten Kommunikationsressourcen minimieren. Alternativ kann eine Optimierung der Leistungsaufnahme oder der Performance von Hintergrundapplikationen durchgeführt werden.Any request 401 goes through several steps in the RM 4 : First, in step 501 created a configuration or a corresponding configuration change. Each configuration change checks the RM in step 502 first on their feasibility. For this purpose, a system description (system model) exists in the form of a suitable data structure which contains the existing system components, their capacity, current utilization or configuration and connection in the system. On the basis of this description, it can be determined for a system configuration suitable for a request whether this can be satisfied with the currently available resources. If this is not the case, as per step 504 if necessary alternative configurations are tried by z. For example, another mapping of virtual SPMs to cache parts is chosen. If such a satisfiable configuration can be found, it will be in step 503 performed by the RM. Based on the system description, the RM can also in step 501 perform an optimization before a configuration change in step 503 he follows. For example, by suitable selection of the processors and / or cache parts, the required communication resources can be minimized. Alternatively, an optimization of the power consumption or the performance of background applications can be carried out.

Reservierungsanfragen können mit einer Priorität versehen werden. Stellt der RM bei einer Anfrage mit einer bestimmten Priorität im Schritt 505 fest, dass diese auf Grund von früheren Anfragen mit geringerer Priorität nicht erfüllt werden kann, so kann der RM der bzw. den Anwendungen mit niedrigerer Priorität die bereits zugeteilten Ressourcen im Schritt 506 wieder entziehen, wobei eine höhere Instanz wie das Betriebssystem hinzugezogen werden kann, um den Entzug der Reservierung auf Anwendungsseite abzuwickeln.Reservation requests can be given a priority. Sets the RM on a request with a specific priority in step 505 determining that it can not be met due to earlier lower priority requests, the RM of the lower priority application (s) may allocate the resources already allocated in the step 506 withdraw, wherein a higher instance such as the operating system can be used to handle the withdrawal of the reservation on the application side.

Ist eine Anfrage auf Grund der verfügbaren Ressourcen nicht erfüllbar und existiert auch keine erfüllbare alternative Konfiguration, teilt der RM dies der anfragenden Anwendung im Schritt 507 mit. Diese kann daraufhin gemäß dem Pfad 508 eine alternative Anfrage stellen, welche weniger Ressourcen einer bestimmten Klasse bzw. weniger enge Zeitanforderungen enthält. Hierzu kann die Anwendung beim RM den Grund der Ablehnung einer Anfrage erfragen.If a request can not be fulfilled due to the available resources and there is no satisfiable alternative configuration, the RM notifies the requesting application in the step 507 With. This can then according to the path 508 make an alternative request that contains fewer resources of a particular class or less tight time requirements. For this, the application can ask the RM for the reason for rejecting a request.

Um nach Beendigung einer Anwendung bzw. bei höher priorisierten Anfragen reservierte Ressourcen wieder freizugeben, protokolliert der RM jede durchgeführte Konfigurationsänderung zusammen mit einem Verweis auf die Anfrage bzw. Anwendung, welche diese Konfigurationsänderung veranlasst hat.In order to release resources reserved after the termination of an application or for requests with a higher priority, the RM logs each configuration change made together with a reference to the request or application that caused this configuration change.

Die Auswahl einer Konfiguration erfolgt anhand eines System-Modells und stellt ein mehrdimensionales Optimierungsproblem dar. Eine effiziente Lösung kann daher in mehreren Schritten erfolgen. So kann der RM zunächst freie Prozessoren, Cache-Speicher, Hardwarebeschleuniger, Datentransfereinheiten und Speichercontroller auswählen und konfigurieren, bevor in einem zweiten Schritt die dazwischenliegenden Kommunikationsressourcen entsprechend den Latenz- und Bandbreitenanforderungen konfiguriert werden.The selection of a configuration is based on a system model and represents a multi-dimensional optimization problem. An efficient solution can therefore be done in several steps. Thus, the RM may first select and configure idle processors, caches, hardware accelerators, data transfer units, and storage controllers before, in a second step, configuring the intervening communication resources according to the latency and bandwidth requirements.

Die Reservierung der ausgewählten Ressourcen erfolgt durch den Ressourcen-Manager, wie in 5 dargestellt. Dieser greift, ggf. über ein Kommunikationsmedium, auf entsprechende Konfigurationsschnittstellen der beteiligten Ressourcen zu, wie nachfolgend beispielhaft beschrieben:

– Um die reservierten Speicher in den Adressraum der beteiligten Komponenten (Prozessoren und Hardwarebeschleuniger) einzubinden, wird das Address-Mapping dieser Komponenten bzw. der betroffenen Netzwerk-Adapter entsprechend eingestellt.
– Cache-Speicher wird über Cachepartitionierungsregister der beteiligten Caches reserviert. Für die Reservierung von Cache-Teilen als SPM werden diese gesperrt. Um eine cachezeilenweise Sperrung zu beschleunigen, kann der RM durch eine DTE unterstützt werden, welche die entsprechenden Anfragen an die Caches im Hintergrund generiert. Hierbei verwendet die DTE das zuvor eingestellte Address-Mapping. Die DTE meldet die Fertigstellung der Sperrung an den RM.
– Prozessoren und Hardwarebeschleuniger werden über das Scheduling der Laufzeitumgebung und/oder entsprechende Konfigurationsregister reserviert.
– Bandbreiten und Latenzen von Hauptspeicherzugriffen werden z. B. über entsprechende Konfigurationsregister in den Hauptspeichercontrollern gesteuert.
– Der RM protokolliert die durchgeführten Konfigurationsänderungen zusammen mit der Reservierungsanfrage bzw. einer Referenz auf die reservierende Anwendung.
– Sobald alle Ressourcen reserviert wurden, teilt der RM dies der Anwendung bzw. der Laufzeitumgebung mit, woraufhin die Anwendung das reservierte virtuelle System nutzen kann.

The reservation of the selected resources is done by the resource manager, as in 5 shown. This accesses, possibly via a communication medium, to corresponding configuration interfaces of the resources involved, as described below by way of example:

- To integrate the reserved memory into the address space of the components involved (processors and hardware accelerators), the address mapping of these components or the affected network adapters is set accordingly.
Cache memory is reserved via cache partitioning registers of the involved caches. For the reservation of cache parts as SPM these are blocked. To speed up cache-line locking, the RM can be supported by a DTE that generates the corresponding requests to the caches in the background. Here, the DTE uses the previously set address mapping. The DTE reports the completion of the blockage to the RM.
- Processors and hardware accelerators are reserved via the scheduling of the runtime environment and / or corresponding configuration registers.
- Bandwidths and latencies of main memory accesses are z. B. controlled via corresponding configuration register in the main memory controllers.
- The RM logs the configuration changes made together with the reservation request or a reference to the reserving application.
- Once all resources have been reserved, the RM notifies the application or the runtime environment, whereupon the application can use the reserved virtual system.

Reservierung eines virtuellen, softwareverwalteten SpeichersReservation of virtual software-managed storage

Hierbei fragt die Anwendung 403 einen virtuellen, softwareverwalteten Speicher mit konfigurierbarer Größe, maximaler Zugriffslatenz und minimaler Zugriffsdatenrate an. Eine solche Anfrage erfüllt der RM 101, indem er entsprechend große Teile des verteilten Cache-Speichers 103 auswählt und sperrt (lockt). Hierzu kann wieder eine DTE verwendet werden, um die Sperrung im Hintergrund durchzuführen. Anschließend konfiguriert der RM das Kommunikationsmedium 104 so, dass die Zugriffslatenz und -datenrate erfüllt werden.This asks the application 403 a virtual, software-managed storage with configurable size, maximum access latency, and minimal access data rate. Such a request is fulfilled by the RM 101 by correspondingly large parts of the distributed cache memory 103 selects and locks (lures). For this purpose, a DTE can be used again to perform the blocking in the background. The RM then configures the communication medium 104 such that the access latency and data rate are met.

6 zeigt das Verfahren im Detail anhand eines Beispiels: Die Anwendung 403 stellt eine Anfrage an den Ressourcen-Manager 101 zur Bereitstellung eines virtuellen SPM, welche geforderte Parameter, nämlich Kapazität, Zugriffslatenz und Zugriffsbandbreite, für zu reservierenden Cache-Speicher enthalten. Zur Erfüllung einer solchen Anfrage wählt der RM einen oder mehrere der verteilen Cache-Teile 103 aus und reserviert (bzw. lockt) entsprechend große Teile, hier ohne Beteiligung der DTE dargestellt. Zusätzlich konfiguriert der RM die Prioritäten und Bandbreitenbegrenzer im Kommunikationsmedium 104 in der Art um, dass die gewünschten Zugriffslatenz und -bandbreite zwischen den Prozessoren der anfragenden Anwendung und den reservierten Cache-Speichern gewährleistet sind. In diesem Schritt wird auch die Adressumsetzung, welche im Kommunikationsmedium implementiert sein kann, so eingestellt, dass die reservierten Cache-Speicher in den Adressraum der anfragenden Anwendung eingebunden werden. 6 shows the procedure in detail by means of an example: The application 403 makes a request to the resource manager 101 for providing a virtual SPM containing requested parameters, namely capacity, access latency and access bandwidth, for caches to be reserved. To fulfill such a request, the RM selects one or more of the distributed cache parts 103 off and reserved (or enticed) correspondingly large parts, shown here without involvement of the DTE. In addition, the RM configures the priorities and bandwidth limiter in the communication medium 104 such that the desired access latency and bandwidth between the processors of the requesting application and the reserved cache memories are ensured. In this step, the address translation, which may be implemented in the communication medium, is set so that the reserved caches are incorporated into the address space of the requesting application.

Durchführung eines Datentransfers im HintergrundCarrying out a data transfer in the background

Hierbei fragt die Anwendung 403 einen Datentransfer im Hintergrund mit konfigurierbaren Quell- und Zieladressmustern sowie einer spätesten Fertigstellungszeit an. Eine solche Anfrage erfüllt der RM 101, indem er aus Quell- und Zieladressmustern die Quelle, das Ziel sowie das zu transportierende Datenvolumen bestimmt. Aus dem Datenvolumen und der spätesten Fertigstellungszeit ermittelt der RM die nötige durchschnittliche Datenrate und konfiguriert anschließend das Kommunikationsmedium 104 zwischen Quelle und Ziel entsprechend. Der RM wählt nun eine passende DTE 105 aus und konfiguriert diese so, dass der gewünschte Datentransfer durchgeführt wird.This asks the application 403 background data transfer with configurable source and destination address patterns and a latest completion time. Such a request is fulfilled by the RM 101 by determining the source, the destination as well as the data volume to be transported from source and destination address patterns. From the data volume and the latest completion time, the RM determines the necessary average data rate and then configures the communication medium 104 between source and destination accordingly. The RM now chooses a suitable DTE 105 and configure it so that the desired data transfer is performed.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

Ray, S. et al.: „A reconfigurable bus structure for multiprocessors with bandwidth reuse. in: Journal of Systems Architecture, Vol. 45, No. 11, May 1999, pp. 847-862, Abstract” [0007] Ray, S. et al .: "A reconfigurable bus structure for multiprocessors with bandwidth reuse. in: Journal of Systems Architecture, Vol. 45, no. 11, May 1999, pp. 847-862, abstract " [0007]

Claims

Kommunikationsmedium für ein Mehrprozessor-Computersystem, das in Bezug auf das Zeitverhalten einstellbar ist, derart, dass ein Hintergrunddatenverkehr vor einem Datenverkehr mit definierten Bandbreitenanforderungen bevorzugt behandelt wird, wobei das Kommunikationsmedium durch Bandbreitenregulierung derart einstellbar ist, dass ausreichend Bandbreite für den Datenverkehr mit definierten Bandbreitenanforderungen verfügbar ist.A communication medium for a multi-processor computer system that is adjustable in timing such that background traffic is preferentially treated prior to data traffic having defined bandwidth requirements, wherein the communication medium is tunable by bandwidth regulation to provide sufficient bandwidth for traffic with defined bandwidth requirements is.

Kommunikationsmedium nach Anspruch 1, dadurch gekennzeichnet, dass das Kommunikationsmedium als Network-On-Chip ausgeführt ist.Communication medium according to claim 1, characterized in that the communication medium is designed as a network-on-chip.

Kommunikationsmedium nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kommunikationsmedium eine Vielzahl von Netzwerk-Routern aufweist, über die die Kommunikation Paket-basiert erfolgt.Communication medium according to one of the preceding claims, characterized in that the communication medium comprises a plurality of network routers over which the communication is packet-based.

Kommunikationsmedium nach Anspruch 3, dadurch gekennzeichnet, dass die Netzwerk-Router in einem Gitter angeordnet sind.Communication medium according to claim 3, characterized in that the network routers are arranged in a grid.

Kommunikationsmedium nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass ein Netzwerk-Router drei Verkehrsklassen unterstützt: 1) garantierte Mindestbandbreite mit nach oben beschränkter Latenz, 2) keine Garantien, aber möglichst geringe Latenz, 3) garantierte maximale Latenz bei nach oben beschränkter Bandbreite.Communication medium according to claim 3 or 4, characterized in that a network router supports three classes of traffic: 1) guaranteed minimum bandwidth with limited latency, 2) no guarantees, but the lowest possible latency, 3) guaranteed maximum latency with upwardly limited bandwidth.

Kommunikationsmedium nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kommunikationsmedium dazu eingerichtet ist, einzelne Kommunikationslinks zu vergeben, indem zunächst eine bekannte Priorisierung innerhalb der Arbitrierung eingesetzt wird, bei der jeder Verkehrsklasse separate Puffer zugewiesen werden, hierbei die Verkehrsklasse 3 bevorzugt behandelt wird und die Verkehrsklasse 2 vor der Verkehrsklasse 1 bevorzugt behandelt wird.Communication medium according to one of the preceding claims, characterized in that the communication medium is adapted to allocate individual communication links by first a known prioritization is used within the arbitration, in which each class of traffic is assigned separate buffers, in this case the traffic class 3 is preferably treated and the traffic class 2 before the traffic class 1 is treated preferentially.

Kommunikationsmedium nach Anspruch 6, dadurch gekennzeichnet, dass das Kommunikationsmedium Bandbreitenbegrenzer aufweist, die bei entsprechender Konfiguration die Bandbreite der Verkehrsklassen 2 und 3 beschränken, derart, dass im Mittel genug Bandbreite frei bleibt, um die Anforderungen von Verkehrsklasse 1 zu erfüllen.Communication medium according to claim 6, characterized in that the communication medium has bandwidth limiters which, when appropriately configured, limit the bandwidth of traffic classes 2 and 3, such that on average enough bandwidth remains available to meet the requirements of traffic class 1.

Kommunikationsmedium nach Anspruch 7, dadurch gekennzeichnet, dass die Bandbreitenbegrenzer als Token-Bucket-Shaper ausgeführt sind.Communication medium according to claim 7, characterized in that the Bandbreitenbegrenzer are designed as a token bucket shapers.

Kommunikationsmedium nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Bandbreitenbegrenzer an den jeweiligen Ausgangsports der Router wirken.Communication medium according to claim 7 or 8, characterized in that the Bandbreitenbegrenzer act on the respective output ports of the router.

Verwendung eines Kommunikationsmediums nach einem der vorhergehenden Ansprüche in einem Mehrprozessor-Computersystem mit wenigstens zwei Mikroprozessoren (102) sowie von den Mikroprozessoren gemeinsam benutzten realen Hardware-Ressourcen (103, 105, 106, 107, 108), wobei die realen Hardware-Ressourcen (103, 105, 106, 107, 108) sowie die Mikroprozessoren (102) an das Kommunikationsmedium (104) angebunden sind und zur gemeinsamen Nutzung des Kommunikationsmedium (104) eingerichtet sind.Use of a communication medium according to one of the preceding claims in a multiprocessor computer system having at least two microprocessors ( 102 ) as well as real hardware resources shared by the microprocessors ( 103 . 105 . 106 . 107 . 108 ), where the real hardware resources ( 103 . 105 . 106 . 107 . 108 ) as well as the microprocessors ( 102 ) to the communication medium ( 104 ) and for sharing the communication medium ( 104 ) are set up.

Verwendung eines Kommunikationsmediums nach Anspruch 10, dadurch gekennzeichnet, dass wenigstens ein Ressourcen-Manager (101) als separate Hardware-Komponente vorgesehen ist, wobei der Ressourcen-Manager (101) a) eine von einem Programm (403) gesandte Reservierungsanfrage (401) zur Reservierung einer gewünschten virtuellen Ressource (302, 303, 305) empfängt und verarbeitet, wobei die Reservierungsanfrage (401) wenigstens Art, Kapazität sowie Zugriffslatenz und Zugriffsbandbreite der gewünschten virtuellen Ressource (302, 303, 305) funktional beschreibt, b) eine Zuordnung der virtuellen Ressource (302, 303, 305) zu realen Hardware-Ressourcen (103, 105, 106, 107, 108) vornimmt, c) die reale Hardware-Ressource (103, 105, 106, 107, 108) und das Kommunikationsmedium (104) so einstellt, dass die gewünschte Zugriffslatenz und Zugriffsbandbreite zwischen den Mikroprozessoren (102), auf denen das anfragende Programm (403) ausgeführt wird, und den realen Hardware-Ressourcen (103, 105, 106, 107, 108) gewährleistet sind.Use of a communication medium according to claim 10, characterized in that at least one resource manager ( 101 ) is provided as a separate hardware component, wherein the resource manager ( 101 ) a) one of a program ( 403 ) sent reservation request ( 401 ) for reserving a desired virtual resource ( 302 . 303 . 305 ) receives and processes the reservation request ( 401 ) at least the type, capacity and access latency and access bandwidth of the desired virtual resource ( 302 . 303 . 305 ) functionally describes b) an assignment of the virtual resource ( 302 . 303 . 305 ) to real hardware resources ( 103 . 105 . 106 . 107 . 108 ), c) the real hardware resource ( 103 . 105 . 106 . 107 . 108 ) and the communication medium ( 104 ) so that the desired access latency and access bandwidth between the microprocessors ( 102 ) on which the requesting program ( 403 ) and the real hardware resources ( 103 . 105 . 106 . 107 . 108 ) are guaranteed.