-
TECHNISCHES GEBIET
-
Mindestens eine Ausführungsform betrifft das Training von Robotern, um Aufgaben durchzuführen. Beispielsweise betrifft mindestens eine Ausführungsform das Training von Robotern unter Verwendung von Modellen und künstlicher Intelligenz gemäß verschiedener neuartiger hier beschrieben Techniken.
-
HINTERGRUND
-
Das Training von Robotern, um Aufgaben akkurat durchzuführen, kann beträchtlichen Speicher, Zeit oder Rechenressourcen verwenden. Manchmal kann dieses Training bewirken, dass extreme Mengen an Trainingsdaten erforderlich werden, die für einige Aufgaben nicht verfügbar oder unerschwinglich kostspielig sein können, zu erlangen. In einigen Beispielen kann das Training zu einem übermäßig brüchigen oder instabilen System führen, das auf eine Lösung zu einer Aufgabe nicht zuverlässig konvergiert. Daher ist das Finden von Wegen, um wirksamer und effizienter zu trainieren, ein bedeutendes Problem.
-
Figurenliste
-
- 1 veranschaulicht einen Prozess, der einen Roboter anweist, eine Aufgabe unter Verwendung einer Kombination aus modellbasierten und modellfreien Verfahren abzuschließen, gemäß mindestens einer Ausführungsform;
- 2 veranschaulicht einen Überblick eines Wahrnehmungsmoduls für ein modellbasiertes Robotersteuersystem gemäß mindestens einer Ausführungsform;
- 3 veranschaulicht einen Überblick eines Wahrnehmungsmoduls für ein modellfreies Robotersteuersystem gemäß mindestens einer Ausführungsform;
- 4 veranschaulicht Beispiele von Trainingsbildern für ein Robotersteuersystem gemäß mindestens einer Ausführungsform;
- 5 veranschaulicht ein Beispiel von Testergebnissen für verschiedene Robotersteuerverfahren gemäß mindestens einer Ausführungsform;
- 6 veranschaulicht eine Tabelle von Testergebnissen für die Leistung einer Aufgabe gemäß mindestens einer Ausführungsform;
- 7 veranschaulicht einen Prozess, der als ein Ergebnis dessen durchgeführt wird, das ein Computersystem veranlasst wird, einen Roboter anzuweisen, eine Aufgabe unter Verwendung einer Kombination von modellbasierten und modellfreien Verfahren durchzuführen, gemäß mindestens einer Ausführungsform;
- 8A veranschaulicht eine Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform;
- 8B veranschaulicht eine Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform;
- 9 veranschaulicht Training und Einsatz eines neuronalen Netzwerks gemäß mindestens einer Ausführungsform;
- 10 veranschaulicht ein beispielhaftes Rechenzentrumsystem, gemäß mindestens einer Ausfuhrungsform;
- 11A veranschaulicht ein Beispiel eines autonomen Fahrzeugs gemäß mindestens einer Ausführungsform;
- 11B veranschaulicht ein Beispiel von Kameraorten und Sichtfeldern für das autonome Fahrzeug von 11A gemäß mindestens einer Ausführungsform;
- 1 IC ist ein Blockdiagramm, das eine beispielhafte Systemarchitektur für das autonome Fahrzeug von 11A veranschaulicht, gemäß mindestens einer Ausführungsform;
- 11D ist ein Diagramm, das ein System zur Kommunikation zwischen einem Cloudbasierten Server(n) und dem autonomen Fahrzeug von 11A veranschaulicht, gemäß mindestens einer Ausführungsform;
- 12 ist ein Blockdiagramm, das ein Computersystem gemäß mindestens einer Ausführungsform veranschaulicht;
- 13 ist ein Blockdiagramm, das ein Computersystem gemäß mindestens einer Ausführungsform veranschaulicht;
- 14 veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
- 15 veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
- 16A veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
- 16B veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
- 16C veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
- 16D veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
- 16E und 16F veranschaulichen ein gemeinsam genutztes Programmiermodell gemäß mindestens einer Ausführungsform;
- 17 veranschaulicht beispielhafte integrierte Schaltungen und zugeordnete Graphikprozessoren gemäß mindestens einer Ausführungsform;
- 18A und 18B veranschaulichen beispielhafte integrierte Schaltungen und zugeordnete Graphikprozessoren gemäß mindestens einer Ausführungsform;
- 19A und 19B veranschaulichen eine zusätzliche beispielhafte Graphikprozessorlogik gemäß mindestens einer Ausführungsform;
- 20 veranschaulicht ein Computersystem gemäß mindestens einer Ausführungsform;
- 21A veranschaulicht einen Parallelprozessor gemäß mindestens einer Ausführungsform;
- 21B veranschaulicht eine Partitionseinheit gemäß mindestens einer Ausführungsform;
- 21C veranschaulicht einen Verarbeitungscluster gemäß mindestens einer Ausführungsform;
- 21D veranschaulicht einen Graphik-Multiprozessor gemäß mindestens einer Ausführungsform;
- 22 veranschaulicht ein Multi-Graphikverarbeitungseinheit(GPU)-System gemäß mindestens einer Ausführungsform;
- 23 veranschaulicht einen Graphikprozessor gemäß mindestens einer Ausführungsform;
- 24 ist ein Blockdiagramm, das eine Prozessormikroarchitektur für einen Prozessor veranschaulicht, gemäß mindestens einer Ausführungsform;
- 25 veranschaulicht einen tief lernenden Anwendungsprozessor gemäß mindestens einer Ausführungsform;
- 26 ist ein Blockdiagramm, das einen beispielhaften neuromorphischen Prozessor veranschaulicht, gemäß mindestens einer Ausführungsform;
- 27 veranschaulicht mindestens Abschnitte eines Graphikprozessors gemäß einer oder mehreren Ausführungsformen;
- 28 veranschaulicht mindestens Abschnitte eines Graphikprozessors gemäß einer oder mehreren Ausführungsformen;
- 29 veranschaulicht mindestens Abschnitte eines Graphikprozessors gemäß einer oder mehreren Ausführungsformen;
- 30 ist ein Blockdiagramm einer Graphikverarbeitung-Engine eines Graphikprozessors gemäß mindestens einer Ausführungsform;
- 31 ist ein Blockdiagramm von mindestens Abschnitte eines Graphikprozessorkerns gemäß mindestens einer Ausführungsform;
- 32A und 32B veranschaulichen eine Threadausführungslogik mit einer Anordnung von Verarbeitungselementen eines Graphikprozessorkerns gemäß mindestens einer Ausführungsform;
- 33 veranschaulicht eine Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform;
- 34 veranschaulicht einen allgemeinen Verarbeitungscluster („GPC“) gemäß mindestens einer Ausführungsform;
- 35 veranschaulicht eine Speicherpartitionseinheit einer Parallelverarbeitungseinheit („PPU“) gemäß mindestens einer Ausführungsform;
- 36 veranschaulicht einen Streaming-Multiprozessor gemäß mindestens einer Ausführungsform.
- 37 ist ein beispielhaftes Datenflussdiagramm für eine erweiterte Rechen-Pipeline gemäß mindestens einer Ausführungsform;
- 38 ist ein Systemdiagramm für ein beispielhaftes System zum Trainieren, Anpassen, Instanziieren und Einsetzen maschineller Lernmodelle in eine erweiterte Rechen-Pipeline gemäß mindestens einer Ausführungsform;
- 39 umfasst eine beispielhafte Veranschaulichung einer erweiterten Rechen-Pipeline zur Verarbeitung von Bildgebungsdaten gemäß mindestens einer Ausführungsform;
- 40A umfasst ein beispielhaftes Datenflussdiagramm eines virtuellen Geräts, das eine Ultraschallvorrichtung unterstützt, gemäß mindestens einer Ausführungsform;
- 40B umfasst ein beispielhaftes Datenflussdiagramm eines virtuellen Geräts, das einen CT-Scanner unterstützt, gemäß mindestens einer Ausführungsform;
- 41A veranschaulicht ein Datenflussdiagramm für einen Prozess, um ein maschinelles Lernmodell zu trainieren, gemäß mindestens einer Ausführungsform; und
- 41B ist eine beispielhafte Veranschaulichung einer Client-Server Architektur, um Annotationstools mit vortrainierten Annotationsmodellen zu verbessern, gemäß mindestens einer Ausführungsform.
-
AUSFÜHRLICHE BESCHREIBUNG
-
In mindestens einer Ausführungsform zeigen hier beschriebe Techniken einen Robotersteueralgorithmus, der Stärken eines modellbasierten Verfahrens (model-based method; „MBM“) mit Stärken eines modellfreien Verfahrens (model-free method; „MFM“) kombiniert. In mindestens einer Ausführungsform wird ein MBM wirksam eingesetzt, um eine effiziente Bewegung in einer Freiraumumgebung bereitzustellen. Beispielsweise wird in mindestens einer Ausführungsform ein MBM benutzt, um einen Roboter in einem Raum zu betreiben, wo Kollisionen mit der Umgebung oder Menschen leicht zu vermeiden sind. In mindestens einer Ausführungsform wird ein MBM in Kombination mit einem MFM verwendet, das eine Kapazität hinzufügt, um eine Umgebung unter Verwendung eines losen definierten Ziels zu lernen. In mindestens einer Ausführungsform wird ein Wahrnehmungssystem verwendet, das Posenunsicherheiten vorhersagen kann, um dem System dabei zu helfen, MBM und MFM zu fusionieren.
-
Techniken, wie beispielsweise tiefes Verstärkungslemen (Reinforcement Learning; „RL“), ermöglichen Robotern, aus rohen sensorischen Daten zu lernen und zu wirken. Beispielsweise können RL-Verfahren erfolgreich auf kontaktreiche Manipulationsaufgaben, wie Einsetzen, Schieben und Greifen von Objekten, angewandt werden. In einigen Situationen kann das RL-Verfahren jedoch probenineffizient sein, was viele Training-Wechselwirkungen mit der Umgebung erfordern, um für Anwendungen der realen Welt praktisch zu sein. Um diese Einschränkung abzumildern, können verschiedene Ausführungsformen dicht geformte Belohnungen sorgfältig abstimmen, die häufig explizite Kenntnis des Zustands der Welt erfordert, wie beispielsweise eines Zielorts. Andererseits gibt es angesichts eines genauen Modells und aktuellen Zustands der Welt, viele Algorithmen, um zu planen, zu entwickeln oder nach Richtlinien zu suchen, um die Aufgabe zu erfüllen. Diese Art von modellbasierten („MB“) Strategien kann für viele Manipulationsaufgaben, wie beispielsweise Einsetzen, Greifen und Erreichen von Stiften, verwendet werden. Nichtsdestotrotz können in einigen Beispielen MB-Strategien durch Modellverzerrung und Zustandsschätzungsfehler lahmgelegt werden und erreichen häufig eine niedrigere asymptotische Leistung.
-
Mindestens eine hier beschriebene Ausführungsform kombiniert die Probeneffizienz einer modellbasierten Richtlinie und überwindet die Fehler in den Dynamik- und Wahrnehmungsmodellen mit einer Verstärkungslernrichtlinie, welche die Schleife an rohen sensorischen Daten schließt. Mindestens eine Ausführungsform verwendet die Effizienz eines modellbasierten Verfahrens wirksam, um sich in den freien Raum zu bewegen, wo Kollisionen und Kontakt mit der Umgebung und Menschen unmöglich sind. Mindestens eine Ausführungsform verwendet die Kapazität eines RL-Verfahrens, um von den Wechselwirkungen des Agenten mit der Umgebung und einem lose definierten Ziel zu lernen. Um zwischen dem MBM und RL umzuschalten, führen verschiedenen Beispiele ein Wahrnehmungssystem ein, das Posenunsicherheiten vorhersagen kann, um dem System dabei zu helfen, die beiden Richtlinien zu fusionieren. In mindestens einer Ausführungsform wird die Aufgabe mit einer MB-Richtlinie initialisiert, wobei sie den Roboter innerhalb des Bereichs der Unsicherheiten des Objekt von Interesse bewegt, beispielsweise der Box, wo der Stift einzusetzen ist. In mindestens einer Ausführungsform schaltet, wenn das System die Unsicherheitsregion erreicht, es auf eine RL-Richtlinie, um die Aufgabe zu beenden. Zur Lernzeit setzen wir Informationen von dem RL wirksam ein, um die Unsicherheiten des Wahrnehmungssystems zu verringern. Mindestens eine Ausführungsform verwendet die Unsicherheit wirksam, um MB und RL-Richtlinien zu vermischen, um komplizierte Aufgaben zu erfüllen, die eine ziemliche Herausforderung sein würden, wenn einer der beiden Verfahren allein verwendet wird.
-
In verschiedenen Ausführungsformen stützen sich Robotervorgehensweisen auf ein genaues Modell einer Umgebung, eine ausführliche Beschreibung, wie eine Aufgabe durchzuführen ist, und ein robustes Wahrnehmungssystem, um einen aktuellen Zustand weiter zu verfolgen. In einigen anderen Ausführungsformen arbeiten Vorgehensweisen des Verstärkungslernens („RL“) unmittelbar aus rohen sensorischen Eingaben, die ein Belohnungssignal benutzen, um die Aufgabe zu beschreiben. In einer Ausführungsform wird ein System entwickelt, um ein allgemeines Verfahren zu erhalten, das imstande ist, Ungenauigkeiten von Elementen in einer herkömmlichen Pipeline zu überwinden, während eine minimale Wechselwirkung mit einer Umgebung erfordert wird. In mindestens einer Ausführungsform wird dies durch wirksames Einsetzen von Unsicherheitsschätzungen erreicht, um den Raum in Regionen aufzuteilen, wo die gegebene modellbasierte Richtlinie zuverlässig ist, und in Regionen, wo sie Defekte aufweist oder nicht gut definiert ist. In mindestens einer Ausführungsform wird in diesen harten Regionen eine lokale modellfreie Richtlinie unmittelbar aus rohen sensorischen Eingaben gelernt. Diese „harten Regionen“ können ebenfalls als „unsichere Regionen“ bezeichnet werden, weil das in dem modellbasierten Verfahren verwendete Modell in einer Ausführungsform unsicher sein kann. In mindestens einer Ausführungsform ermöglicht das System einen schnelleren Aufbau von Robotersystemen aus einfachen und kostengünstigen Komponenten und lediglich aus einer Beschreibung auf hoher Ebene der Aufgabe. In mindestens einer Ausführungsform wird ein Algorithmus genannt geführte Unsicherheit-bewusste Richtlinienoptimierung (Guided Uncertainty-Aware Policy Optimization; „GUAPO“) in einem Roboter der realen Welt benutzt, um eine Aufgabe einer enganliegenden Stifteinsetzung durchzuführen.
-
In mindestens einer Ausführungsform wird die Aufgabe mit dem MBM initialisiert, wobei das Verfahren den Roboter innerhalb des Bereichs der Unsicherheiten des Objekts von Interesse bewegt, z.B. der Box, in welcher ein Stift einzusetzen ist. In mindestens einer Ausführungsform schaltet, nach Erreichen einer definierten Region nahe dem Ziel, das System das Steuerverfahren auf ein MFM um, um die Aufgabe zu beenden. In mindestens einer Ausführungsform werden zur Lernzeit Informationen von der MFM Aufgabenfertigstellung wirksam eingesetzt, um Wahrnehmungssystem-Unsicherheiten zu verringern. In mindestens einer Ausführungsform mischt das System MBM und MFM, um eine komplizierte Aufgabe zu erfüllen, die Umgebungswechselwirkungen erfordert. In verschiedenen Beispielen wird das Umschalten zwischen MBM und MFM durch RL oder Optimierung gelernt.
-
In mindestens einer Ausführungsform wird eine einfache und dennoch effiziente Weise benutzt, um Posenunsicherheiten für einen Schlüsselpunkt-basierten Posenschätzer auszudrücken. In mindestens einer Ausführungsform augmentiert diese Erweiterung den Spitzenschätzalgorithmus durch Anpassen einer 2D-Gauß-Funktion um jede gefundene Spitze. In mindestens einer Ausführungsform wird der PnP-Algorithmus auf n Sätzen von Schlüsselpunkten ausgeführt, wobei jeder Satz von Schlüsselpunkten durch Abtasten von allen den 2D-Gauß-Funktionen aufgebaut wird. In mindestens einer Ausführungsform stellt dies n mögliche Posen des Objekts konsistent mit dem Erfassungsalgorithmus bereit, die in einigen hier beschriebenen Beispielen als gleich wahrscheinlich behandelt werden.
-
In mindestens einer Ausführungsform wird ein Wahrnehmungsmodul benutzt, um den Zustand der Welt zu erfassen und zu verfolgen. In einigen Beispielen kann eine einfache Wahrnehmungsstörung in diesem Kontext für einen Roboter katastrophisch sein, da sich sein Bewegungsgenerator darauf stützen kann. Außerdem sind in einigen Situationen klassische Bewegungsgeneratoren darin starr und inflexible, wie sie eine Aufgabe erfüllen. Dies kann zu einer Unfähigkeit führen, sich auf ändernde Bedingungen einzustellen. Beispielsweise kann ein Roboter, der durch einen klassischen Bewegungsgenerator gesteuert wird, lediglich imstande sein, ein Objekt in einer spezifischen Weise zu wählen, und unfähig sein, sich zu erholen, wenn das Greifen versagt. In mindestens einer Ausführungsform können diese Probleme Robotiksysteme, die auf derartigen Steueralgorithmen basieren, in neuen Domänen instabil und schwierig zu skalieren machen. Um die Robotikreichweite zu expandieren, können mehrere robuste, adaptive und flexible Systeme eingesetzt werden, wie hier beschrieben.
-
In mindestens einer Ausführungsform setzt ein Robotersystem die Kapazität von Robotikern wirksam ein, um seine Umgebung zu modellieren. Ein MBM kann verwendet werden, um sich innerhalb des Roboter-freien Raums zu bewegen, wie beispielsweise Pfadverfolgung. In verschiedenen Ausführungsformen kann das Verwenden eines MBM, wenn der Roboter mit seiner Umgebung wechselwirken muss--z.B., Greifen eines Objekts, Platzieren eines Objekts, Objekteinsetzung usw. - aufgrund von Einschränkungen oder Ungenauigkeiten in dem Modell schwierig sein. Physikalische Systeme der realen Welt können komplex und stochastisch sein. Innerhalb eines Robotiksimulators kann es eine nicht triviale Aufgabe sein, die richtigen Parameter zu modellieren, die reales Roboterverhalten anschaulich darstellen. In verschiedenen Ausführungsformen kann das Benutzen des MBM in gemeinsamen Aufgaben schwierig und komplex sein. Des Weiteren stützt sich das MBM häufig auf Wahrnehmungssysteme, die unvollkommen sind. Es kann schwierig sein, diese potenziellen Fehler, gemischt mit verschiedenen komplexen physikalischen Systeme, zu verwalten. Außerdem kann das MBM zeitaufwändig und kostspielig zu benutzen sein, weil es an das Fachwissen und den Einfallsreichtum des Robotikers gebunden sein kann.
-
In verschiedenen Ausführungsformen weist ein MFM die Kapazität auf, sich anzupassen und unmittelbar mit rohen sensorischen Eingaben umzugehen, die keinen Schätzfehlern unterliegen können. In mindestens einer Ausführungsform beruht die Stärke des MFM aus seiner Kapazität, eine Aufgabe bei einem höheren Niveau durch eine Belohnungsfunktion zu definieren, die angibt, was zu tun ist, und nicht durch einen expliziten Satz von Steueraktionen, die beschreiben, wie die Aufgabe durchgeführt werden sollte. In mindestens einer Ausführungsform benötigt ein MFM keine spezifische physikalische Modellierung, weil es implizit derartiges aus der Wechselwirkung mit einer Umgebung lernt, was ermöglicht, dass das Verfahren in unterschiedliche Einstellungen eingesetzt werden kann. In mindestens einer Ausführungsform weisen MFM-Verfahren verschiedene Beschränkungen auf, einschließlich dessen, dass ein zufälliges Wechselwirken mit einer Umgebung für menschliche Benutzer sowie auch für verschiedene Materialien komplex sein kann und dass das MFM manchmal nicht probeneffizient ist. In einigen Beispielen ist das Einführen von MFM in eine neue Umgebung schwierig und komplex.
-
In mindestens einer Ausführungsform implementiert ein System einen Algorithmus, der die Stärken des MBM und MFM kombiniert. In mindestens einer Ausführungsform wird die Effizienz des MBM, sich in einer Umwelt im freien Raum zu bewegen -- z.B., einem Raum, wo Kollisionen mit der Umgebung oder Menschen leicht zu vermeiden sind -- mit der Kapazität von MFM genutzt, um aus seiner Umgebung von einem lose definierten Ziel zu lernen. In mindestens einer Ausführungsform sagt ein Wahrnehmungssystem Posenunsicherheiten voraus, um dem System zu helfen, MBM und MFM zu fusionieren.
-
Modellbasierte Verfahren sind Steuerverfahren, die sich auf ein physikalisches Modell der Umgebung stützen, um den Roboter zu steuern. Ein physikalisches Modell (manchmal einfach als ein Modell bezeichnet) stellt Orte und Posen für verschiedene Objekte in der Umgebung des Roboters und in einigen Beispiele eine Pose des Roboters selbst bereit. Beispielsweise kann ein physikalisches Modell ein Modell eines festes Objekts des Robotern und von Objekten in der Nähe des Roboters sein. Derartige Verfahren planen Bewegungen basierend auf dem physikalischen Modell, das in verschiedenen Beispielen Objektvermeidung und Objektmanipulation umfasst. Derartige Systeme verwenden häufig ein Wahrnehmungssystem, wie beispielsweise eine Kamera oder Tiefenkamera, um Objekte zu lokalisieren und eine Orientierung und Position oder Pose des Modells zu bestimmen. Wenn unter der Steuerung eines modellbasierten Verfahrens, ist die Leistung des Roboters im Allgemeinen durch die Genauigkeit des Modells und die Genauigkeit des Wahrnehmungssystems begrenzt. Eine Alternative zu dem modellbasierten Verfahren ist ein modellfreies Verfahren, wie beispielsweise Verstärkungslemen. Modellfreie Verfahren sind Steuerverfahren, die sich nicht auf ein physikalisches Modell der Umgebung stützen, um zu arbeiten. Derartige Systeme können von Sensordaten unmittelbar, ohne die Verwendung eines Modells, in verschiedenen Beispielen arbeiten. Beispielsweise kann ein modellfreies Verfahren ein Objekt unter Verwendung von Bilddaten einer In-Hand-Kamera und basierend auf zukünftigen Bewegungen auf den Bildern und nicht ein expliziten physikalische Modell manipulieren. Modellfreie Systeme können jedoch sehr zeitaufwändig und schwierig, insbesondere für komplexe Aufgaben, zu trainieren sein.
-
1 veranschaulicht einen Prozess, der einen Roboter anweist, eine Aufgabe unter Verwendung einer Kombination von modellbasierten und modellfreien Verfahren abzuschließen, gemäß mindestens einer Ausführungsform. 1 veranschaulicht ein Beispiel 100 einer Einstellung der realen Welt für die Stifteinsetzung. In mindestens einer Ausführungsform versucht ein Roboter 102 eine Aufgabe abzuschließen, wobei ein Stift in ein Loch 104 eingesetzt wird. In mindestens einer Ausführungsform gibt ein erstes Wahrnehmungssystem 106 (wie beispielsweise eine Kamera) die ungefähre Position der relevanten Objekte und ein modellbasiertes Verfahren 110 treibt das System innerhalb des Unsicherheitsbereichs 112. Sobald es innerhalb dieses Unsicherheitsbereichs 112 ist, kann dem Modell nicht getraut werden und eine modellfreie Richtlinie 114 wird unmittelbar von den rohen sensorischen Eingaben eines zweiten Wahrnehmungssystems 108 gelernt, die genug Informationen geben, um die Aufgabe 116 abzuschließen. In verschiedenen Beispielen kann ein Wahrnehmungssystem eine Kamera, Infrarotkamera, RADAR, LIDAR, Tiefenkamera oder 2D- oder 3D-Bildgebungssystem sein.
-
1 stellt ein Überblick eines Systems gemäß verschiedener Ausführungsformen anschaulich dar, in denen eine Aufgabe 116 mit dem MBM initialisiert werden kann, wobei es den Roboter innerhalb des Bereichs der Unsicherheiten des Objekt von Interesse, z.B., einer Box, bewegen kann, wo der Stift einzusetzen ist. In mindestens einer Ausführungsform kann das MFM dann benutzt werden, um die Aufgabe zu beenden. In mindestens einer Ausführungsform werden zur Lernzeit Informationen von dem Abschluss der MFM-Aufgabe benutzt, um Wahrnehmungssystem-Unsicherheiten zu verringern. In mindestens einer Ausführungsform benutzt das System MBM und MFM, um komplizierte Aufgaben zu erfüllen, die Umgebung-Wechselwirkungen erfordern. In verschiedenen Ausführungsformen übertrifft das System MFM oder MBM klassische Vorgehensweisen für unterschiedliche komplizierte Aufgaben, wie beispielsweise Stifteinsetzung. In mindestens einer Ausführungsform wird das System benutzt, um Posenunsicherheiten für einen Schlüsselpunkt-basierten Posenschätzer auszudrücken. In mindestens einer Ausführungsform ist das System probeneffizient für Lernverfahren auf Robotern der realen Welt.
-
Mindestens eine hier beschriebene Ausführungsform löst das Problem des Lernens, um eine a-priori unbekannte Operation in einem Bereich durchzuführen, von dem es lediglich einen geschätzten Ort und kein genaues Modell geben kann. In mindestens einer Ausführungsform kann das Problem als Lösung eines Markov-Entscheidungsprozesses (Markov Decision Process; „MDP“) formalisiert werden, bei dem eine bestimmte Belohnung r = S → durch Lernen einer Richtlinie
maximiert wird, die eine Wahrscheinlichkeitsverteilung über Aktionen a e A bei jedem gegebenen Zustand s ∈ S ist. In mindestens einer Ausführungsform wird eine erste Annahme, die innerhalb des Systeme benutzt wird, als Teilkenntnis der Übergangsfunktion
aufweisend ausgedrückt, welche die Wahrscheinlichkeit über nächste Zustände diktiert, wenn eine bestimmte Aktion auf den aktuellen Zustand angewandt wird. In mindestens einer Ausführungsform wird angenommen, dass der Übergang lediglich innerhalb eines Unterraums des Zustandsraums S
open c S. verfügbar ist. Dies ist in verschiedenen Robotersystemen nützlich, wo bestimmt werden kann, wie sich der Roboter bewegt, während er in dem offenen Raum ist, wobei es jedoch keine zuverlässigen und genauen Modelle von allgemeines Kontakten und Wechselwirkungen mit der Umgebung des Roboters gibt. In mindestens einer Ausführungsform wird dieses Teilmodell mit verschiedenen Verfahren kombiniert, die imstande sind, Trajektorien zu planen und auszuführen, die S
open durchlaufen, wobei jedoch das Erledigen von Aufgaben, die Handeln in S
hard = S\S
open erfordern, immer noch schwierig und komplex sein kann.
-
In verschiedenen Ausführungsformen umfassen Aufgaben, die gelöst werden können, das Erreichen eines bestimmten Zustands oder Konfiguration durch Wechselwirkung mit der Umgebung, wie beispielsweise Stifteinsetzung, Hin- und Herschalten von Schaltern oder Greifen. In verschiedenen Ausführungsformen werden diese Aufgaben durch eine binäre Belohnungsfunktion r(s) = 1[s ∈ Sg] definiert, die das erfolgreiche Erreichen eines eingestellten Ziels Sg ⊂ Shard angibt. Diese Belohnung kann äußerst spärlich sein, und um zufällige Aktionen zu entdecken, kann daher eine große Menge an Proben benötigt werden. Des Weiteren kann in vielen Beispielen nicht der genaue Ort von Shard sondern lediglich nur eine Rauschschätzung davon angenommen werden. In mindestens einer Ausführungsform lernt das System die volle Aufgabe durch Wechselwirkung mit der Umgebung unter Benutzung verschiedener unvollkommener Wahrnehmungssysteme und Dynamik effizient zu lösen.
-
In mindestens einer Ausführungsform wird ein modellfreies Verfahren („MFM“) benutzt, um eine Aufgabe durchzuführen. In einigen Ausführungsformen ist das Ausführen eines MFM ineffizient und brüchig, weil es notwendig sein kann, zu lernen, wie der Roboter überall gesteuert werden kann, und wenn sich die Position des Ziels ändert, kann die Aufgabe unterschiedlich aussehen. In mindestens einer Ausführungsform wird ein Teilmodell mit einem modellbasierten Verfahren („MBM“) wirksam eingesetzt, welches die Unsicherheit in der Wahrnehmung und der Betätigungssysteme bestimmt, die den Agenten zu der relevanten Region führen, womit folglich der Bereich verringert wird, wo die MFM-Richtlinie möglicherweise zu optimieren ist und sie invarianter zu dem absoluten Zielort macht. In dem vorliegenden Dokument werden verschiedene Ausführungsformen des Algorithmus als geführte Unsicherheit-bewusste Richtlinienoptimierung („GUAPO“) bezeichnet.
-
In mindestens einer Ausführungsform umfasst die GUAPO ein Verfahren, um eine Supermenge S^hard von Shard basierend auf der Wahrnehmungssystem-Unsicherheitsschätzung zu erzeugen. In mindestens einer Ausführungsform wird die Menge verwendet, um den Raum in den Regionen, wo das MBM verwendet wird, und Regionen, wo das MFM trainiert wird, zu partitionieren. In mindestens einer Ausführungsform wird ein MBM bestimmt, das außerhalb von S^hard verwendet wird, um den Roboter in die Menge zu bringen. In mindestens einer Ausführungsform ist das MFM definiert und Lernen wird dadurch effizienter gemacht, indem seine Eingaben lokal gemacht werden.
-
In vielen Beispielen kann es schneller sein, grobe Wahrnehmungssysteme einzurichten, weil sie einfachere Hardware, wie RGB-Kameras, erfordern können, und außerhalb der Box ohne übermäßige Abstimmungs- und Kalibrierungsbemühungen verwendet werden können. Wenn ein derartiges System benutzt wird, um S
hard unmittelbar zu lokalisieren, können die Wahrnehmungsfehler irreführenderweise angeben, dass ein bestimmter Bereich zu S
open gehört, was zu dem Versuch führen kann, das MBM anzuwenden und potenziell nicht imstande zu sein, zu lernen, wie man sich davon erholt. In verschiedenen Ausführungsformen wird ein Wahrnehmungssystem benutzt, das ebenfalls eine Unsicherheitsschätzung gibt. In mindestens einer Ausführungsform werden verschiedene Verfahren verwendet, um die Unsicherheit durch eine nichtparametrische Verteilung mit n mögliche Posen der Region
und ihrer zugeordnete Gewichte
darzustellen. Wenn diese Gewichte als die Wahrscheinlichkeiten interpretiert werden, kann die Wahrscheinlichkeit eines bestimmten Zustands s, der zu S
hard gehört, ausgedrückt werden als:
-
In mindestens einer Ausführungsform stellt das Wahrnehmungssystem eine parametrische Verteilung bereit und die obige Wahrscheinlichkeit kann durch Integration berechnet oder in einer derartigen Weise approximiert werden, dass die Menge S^
hard = {s : p(s ∈ S
hard) > ε) eine Supermenge von S
hard für eine entsprechende Menge ε durch ein Benutzer sein kann. In mindestens einer Ausführungsform macht ein genaueres Wahrnehmungssystem S^
hard eine engere Supermenge von S
hard, wobei folglich der Bereich weiter verringert wird, wo das modellfreie Verfahren erforderlich ist. α(s) kann als α(s) = 1[s ∈ S^
hard] definiert werden und die gesamte benutzte Richtlinie kann sein:
wobei π
MB(α|s) und π
MF(a|s) jeweils die modellbasierten und modellfreien Richtlinien sein können. In mindestens einer Ausführungsform wird daher ein Schalter zwischen diesen beiden Richtlinien basierend mindestens teilweise auf der Unsicherheitsschätzung benutzt. Beispielsweise kann ein System von MBM in MFM übergehen, wenn bestimmt wird, dass der Roboter innerhalb S^
hard mit einem Spielraum basierend auf der Unsicherheit des Wahrnehmungsmoduls ist. Dies würde in verschiedenen Beispielen bewirken, dass der Roboter bestimmt wird, innerhalb einer Unterregion von S^
hard zu sein. Ein Unterregion ist eine Region, die vollständig in S^
hard umschlossen ist, die im Gesamtvolumen kleiner als S^
hard ist.
-
In mindestens einer Ausführungsform ist S^hard die Region, wo bekannt ist, dass es eine bestimmte Belohnung gibt, die Aufgabe zu erreichen, jedoch nicht, wie die Aufgabe zu erreichen ist. In mindestens einer Ausführungsform sei angenommen, dass außerhalb dieser Region das Umgebungsmodell wohl bekannt und es daher zugänglich ist, eine modellbasierte Vorgehensweise zu verwenden. In mindestens einer Ausführungsform kann daher, außerhalb von S^hard, die modellbasierte Vorgehensweise den Roboter darin zurückbringen. In mindestens einer Ausführungsform wählt das System wählt einen spezifischen Punkt innerhalb Shard, wie beispielsweise seinen Schwerpunkt, der als der wahrscheinlichste Ort basierend auf der Wahrscheinlichkeitsverteilung gefunden werden kann, der aus dem Wahrnehmungssystem erhalten werden kann, und stellt diesen Ort als ein Ziel für das modellbasierte Verfahren ein. In mindestens einer Ausführungsform kann dies sicherstellen, dass der Roboter in Richtung S^hard geht, wann immer er außerhalb davon ist.
-
In mindestens einer Ausführungsform wird die Formulierung erweitert, um mehrere Belohnungen zu berücksichtigen. Wenn es beispielsweise ein Hindernis gibt, das vermieden werden muss und es eine Unsicherheit über seinen Ort gibt, kann S^
hard als
beschrieben werden, wobei
und
Dann kann in mindestens einer Ausführungsform ein Hindernis-vermeidendes MBM benutzt werden, um zu dem Bereich zu gelangen, wo das Ziel ist, während die Regionen vermieden werden, wo das Hindernis sein könnte.
-
In mindestens einer Ausführungsform wird, sobald πMB das System in S^hard gebracht hat, die Steuerung an πMF übergeben, wie in der Richtlinie ausgedrückt. In mindestens einer Ausführungsform kann die Schaltdefinition beide Wege gehen und daher kann, wenn πMF Erkundungsaktionen vornimmt, die sich außerhalb von S^hard, bewegen, die MBM erneut handeln, um den Zustand in den Bereich von Interesse zu drängen. In mindestens einer Ausführungsform stellt dies ein Rahmenwerk für sicheres Lernen in dem Fall bereit, in dem es zu vermeidende Hindernisse geben kann, wie oben erläutert. In mindestens einer Ausführungsform kann es mehrere Vorteile geben, einen eingeschränkteren Bereich aufzuweisen, wobei das MFM lernen muss, wie zu handeln ist: erstens kann die Erkundung einfacher werden und zweitens kann die Richtlinie lokal sein. In mindestens einer Ausführungsform werden beispielsweise lediglich Bilder πMF zugeführt, wobei die Bilder von einer am Handgelenk angebrachten Kamera und ihren aktuellen Geschwindigkeiten sind, wie in 3 anschaulich dargestellt.
-
In mindestens einer Ausführungsform, die keine globale Informationen aufweist, wie die durch das Wahrnehmungssystem in 2 bereitgestellten, verallgemeinert die MFM-Richtlinie besser über Orte von S^hard. In mindestens einer Ausführungsform wird ein richtlinienloser MFM-Algorithmus derart benutzt, dass sämtliche der beobachteten Übergänge in dem Wiederholungspuffer hinzugefügt werden können, egal, ob sie von πMB oder πMF kommen.
-
In mindestens einer Ausführungsform verwendet dieses Rahmenwerk jede neu erfasste Erfahrung, um S^hard derart zu verringern, dass nachfolgende Einführungen das modellbasierte Verfahren in größeren Bereichen des Zustandsraums verwenden können. Beispielsweise kann bei der Stifteinsetzaufgabe, sobald die Belohnung des vollständigen Einsetzens des Stift empfangen wird, kann der Ort der Öffnung sofort bekannt sein und S^hard = Shard kann aktualisiert werden, wobei nun das modellfreie Verfahren lediglich die tatsächliche Einsetzung tun muss und nicht weiter nach der Öffnung suchen muss.
-
In mindestens einer Ausführungsform wird ein GUAPO-Algorithmus für eine Aufgabe einer enganliegenden Stifteinsetzung mit Franka Panda, einem 7-DoF Drehmoment-gesteuerten Roboter, entwickelt, obwohl in verschiedenen Ausführungsformen ein beliebiger Roboter benutzt werden kann. In mindestens einer Ausführungsform wird ein Zustandsschätzmodul benutzt und eine Unsicherheitsschätzung wird erhalten, um S^ zu lokalisieren. In mindestens einer Ausführungsform wird eine modellbasierte Richtlinie benutzt, um in Sopen zu navigieren, während Hindernisse vermieden werden, und ein RL-Algorithmus und eine modellfreie Richtlinie einer Architektur werden ebenfalls benutzt.
-
In mindestens einer Ausführungsform wird ein Tiefobjekt-Posenschätzer (Deep Object Pose Estimator; „DOPE“) als ein Wahrnehmungssystem benutzt. In mindestens einer Ausführungsform verwendet der DOPE eine einfache neuronale Netzwerkarchitektur, die schnell mit synthetischen Daten und Domänen-Randomisierung trainiert werden kann.
-
4 veranschaulicht Beispiele von Trainingsbildern für ein Robotersteuersystem gemäß mindestens einer Ausführungsform. 4 stellt erzeugte Bilder mit starker Nutzung von Domänen-Randomisierung dar, die verwendet werden, um ein Wahrnehmungssystem zu trainieren. In einigen Beispielen kann das Modell des Objekts, das DOPE erfassen muss, nicht sehr ausführlich sein, wobei grundsätzlich aus der Form besteht. In mindestens einer Ausführungsform wird keine Tiefenerfassung benutzt, um die RGB-Informationen zu ergänzen. In mindestens einer Ausführungsform findet der Algorithmus zuerst die Schlüsselpunkte des quaderförmigen Objekts unter Verwendung einer lokalen Spitze auf der Karte. Mit den realen Abmessungen des Quaders, Kamera-Intrinsics und den Schlüsselpunktorten kann der DOPE einen „Perspective-n-Point" (PnP)-Algorithmus ausführen, um in einer Ausführungsform die endgültige Objektpose in dem Kamerarahmen zu finden. In dem in 4 gezeigten Beispiel veranschaulichen die Trainingsbilder eine Loch-Box mit verschiedenen Verdeckungen oder Hintergründen.
-
2 veranschaulicht einen Überblick eines Wahrnehmungsmoduls für ein modellbasiertes Robotersteuersystem gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform veranschaulicht 2 DOPE-Wahrnehmung und Unsicherheit, um Shard zu schätzen. In mindestens einer Ausführungsform wird ein von einer Kamera erhaltenes Bild 202 einem DOPE-Wahrnehmungssystem 204 bereitgestellt, das eine Schätzung von Orten für Objekte in der Umgebung eines Roboters bereitstellt.
-
In mindestens einer Ausführungsform wird das DOPE-Wahrnehmungssystem erweitert, um Unsicherheitsschätzungen der Objektpose zu erhalten. In mindestens einer Ausführungsform augmentiert die Erweiterung den Spitzenschätzungsalgorithmus durch Anpassen einer 2D-Gauß-Funktion um jede gefundene Spitze, wie durch die dunklen Konturkarten 206 in 2 anschaulich dargestellt. In mindestens einer Ausführungsform wird ein PnP-Algorithmus auf einer Menge n von Schlüsselpunkten ausgeführt, wobei jede Menge von Schlüsselpunkten durch Abtasten der 2D-Gauß-Funktionen aufgebaut wird. In mindestens einer Ausführungsform stellt dies n mögliche Posen 208, 210 und 212 des Objekts konsistent mit dem Erfassungsalgorithmus bereit, wie in 2 gezeigt. In mindestens einer Ausführungsform können sie als gleich wahrscheinlich betrachtet werden.
-
In einigen Beispielen kann der Zugriff auf eine grobe Beschreibung des Bereichs von Interesse S
hard 214 um das Objekt, wo eine Operation durchgeführt werden muss, angenommen werden. In einer Ausführungsform der Stifteinsetzaufgabe ist dies ein Rechteck, das an der Öffnung des Lochs zentriert ist. In mindestens einer Ausführungsform kann, für jede der n Posenproben, die durch den verlängerten DOPE-Wahrnehmungsalgorithmus gegeben werden, seine zugeordnete Lochöffnungsposition
berechnet werden, die in
2 dargestellt ist. In mindestens einer Ausführungsform werden diese Punkte dann durch eine 3D-Gauß-Funktion mit diagonaler Kovarianz angepasst, die in der gleichen Figur in blau dargestellt wird. In mindestens einer Ausführungsform wird der Mittelwert
als die Mitte von S^
hard benutzt und die Wahrscheinlichkeit eines bestimmten Zustands, der zu S
hard gehört, wird durch Verschieben von S
hard entlang der Achse um eine Standardabweichung geschätzt.
-
In mindestens einer Ausführungsform wird die volle Einstellung in 1 anschaulich dargestellt, wobei die Kamera für DOPE (640x480x3 RGB Bilder) auf dem Arbeitsbereich angebracht ist und ein Beispielbild bereitgestellt wird.
-
In mindestens einer Ausführungsform werden als ein modellbasierte Controller Zielattraktoren benutzt, die durch Riemannsche Bewegungsrichtlinien (Riemannian Motion Policies; „RMPs“) definiert sind, um den Roboter in Richtung eines gewünschten Endeffektor-Ortes zu bewegen. In mindestens einer Ausführungsform nehmen die RMPs eine gewünschte Endeffektor-Position
im kartesischen Raum ein. In mindestens einer Ausführungsform wird das Ziel eingestellt, um der Schwerpunkt von S^
hard zu sein, welcher der Öffnung des Lochs
entspricht. In mindestens einer Ausführungsform kann ein grobes Modell des Objekts verwendet werden, um ein Wahrnehmungsmodul zu trainieren, das imstande ist, diese Lokalisierungsschätzung und ihre Unsicherheit bereitzustellen. In mindestens einer Ausführungsform verwenden die RMPs ebenfalls ein Modell des Roboters. In mindestens einer Ausführungsform können diese beiden Merkmale zu der „modellbasierten“ Komponente des Systems beitragen. In mindestens einer Ausführungsform benötigt der GUAPO-Algorithmus diese Modelle nicht, um extrem genau zu sein. In mindestens einer Ausführungsform können, wenn Hindernisse vermieden werden müssen, um S^ zu erreichen, RMPs vom Barrierentyp definiert werden.
-
In verschiedenen Ausführungsformen senden die Richtlinien Endeffektor-Positionsbefehle bei 20 Hz. In mindestens einer Ausführungsform berechnen die RMPs gewünschte Gelenkpositionen qd bei 1000 Hz. In mindestens einer Ausführungsform kann angesichts der Tatsache, dass die Impedanz-Endeffektor-Steuerung ein Aktionsraum ist, der die Probeneffizienz zum Richtlinienlernen für RL verbessert, wobei die Schnittstelle der RMPs als ein modellfreier Aktionsraum benutzt werden kann.
-
3 veranschaulicht einen Überblick eines Wahrnehmungsmoduls für ein modellfreies Robotersteuersystem gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wird einen variational Autocodierer für ein modellfreies System verwendet, um eine Aufgabe abzuschließen. In mindestens einer Ausführungsform werden einem Autocodierer 306 und 308 ein RGB-Bild 302 und Geschwindigkeiten bereitgestellt.
-
In mindestens einer Ausführungsform wird ein modellfreier, richtlinienloser (off-policy) RL-Algorithmus, wie beispielsweise Soft Actor Critic, benutzt. In mindestens einer Ausführungsform wirkt die modellfreie Richtlinie unmittelbar von rohen sensorischen Eingaben. In mindestens einer Ausführungsform besteht dies aus Gelenkgeschwindigkeiten und Bilder von einer auf einem Roboter am Handgelenk angebrachten Kamera (z.B., 64x64x3 RGB Bilder einer Logitech Carl Zeiss Tessar) (siehe 1). In mindestens einer Ausführungsform können, wie in 3 veranschaulicht, Eingaben in einen β-variational Autocodierer („VAE“) eingespeist werden, der eine niedrigdimensionale latente Raumdarstellung des Zustands gibt. In mindestens einer Ausführungsform werden die Parameter dieses VAE im Voraus auf einem offline gesammelte Datensatz trainiert. In mindestens einer Ausführungsform ist der Teil, der durch den RL-Algorithmus gelernt werden kann, eine zweischichtige mehrstufige Wahrnehmung (multi-level perception; „MLP“) 314 und 316, die als Eingabe die durch den VAE gegebene 64-dimensionale latente Darstellung 310 nimmt und eine 3 D-Positionsverschiebung Δx des Roboter-Endeffektors erzeugt. In mindestens einer Ausführungsform wird dem Autocodierer eine Roboterhandlung 312 bereitgestellt, die eine nächste Geschwindigkeit 318 und ein rekonstruiertes Bild 320 schätzt.
-
In mindestens einer Ausführungsform wird der VAE mit mindestens 160.000 Datenpunkte für 12 Epochen auf einer Graphikverarbeitungseinheit, wie beispielsweise der Titan XP GPU, trainiert. In mindestens einer Ausführungsform wird der DOPE für 8 Stunden auf vier P100 GPUs trainiert, obwohl in verschiedenen Ausführungsformen eine beliebige Verarbeitungseinheit benutzt werden kann. In mindestens einer Ausführungsform werden GUAPO, SAC und Residual für 60 Trainingsepisoden jeweils mit 1000 Schritten trainiert, wozu in einigen Beispiele ungefähr 90 Minuten benötigt werden.
-
In mindestens einer Ausführungsform wird für die GUAPO eine spärliche Belohnung benutzt, wenn die Richtlinie die Aufgabe (den Stift einzusetzen) beendet. In mindestens einer Ausführungsform bekommt die Richtlinie -1 überall und 0, wenn sie die Aufgabe beendet. In mindestens einer Ausführungsform wird für SAC und Residual eine negative L2 Norm zu der Wahrnehmungsschätzung des Zielorte
eine 0 Belohnung, wenn sie S^
hard erreicht und 1, wenn sie die Aufgabe beendet, benutzt.
-
Die Leistung des GUAPO-Algorithmus kann in verschiedenen Beispielen gemessen werden. In einem Beispiel von Leistungskennzahlen werden drei Gesamtgrundlinien benutzt. Am Anfang sind die Grundlinien, die kein Lernen beinhalten. In mindestens einer Ausführungsform sind diese diejenigen, die als statische „modellbasierte“ Verfahren bezeichnet werden können, die keine Wechselwirkung der realen Welt wirksam einsetzen, um ihre Richtlinien zu aktualisieren. Somit können sich derartige Ausführungsformen nicht von Ausfällen erholen und können in verschiedenen Graphen als horizontal gepunktete Linien dargestellt werden. Ein zweiter Typ von Grundlinie ist ein ähnlicher modellfreier Algorithmus, der in einer oder mehreren Ausführungsformen des GUAPO-Verfahrens benutzt wird, jedoch ohne wirksames Einsetzen einer modellbasierten Richtlinie, um seinen Arbeitsbereich zu verringern. Hier wird in einem Beispiel die Soft Actor Critic („SAC“) benutzt, um mit GUAPO zu vergleichen. Schließlich können Residual Lerntechniken verglichen werden, die ebenfalls versuchen können, modellbasierte und modellfreie Verfahren zu kombinieren.
-
Innerhalb der Kategorie der statischen modellbasierten Grundlinien kann die Leistung eines skriptgeführten Verfahrens berücksichtigt werden. In mindestens einer Ausführungsform kann das unmittelbarste Verfahren die gleiche Attraktor-basierte Steuerung benutzen, die in dem GUAPO-Verfahren benutzt werden kann, um den Schwerpunkt von S^hard unmittelbar zu erreichen, und dann eine skriptgeführte Richtlinie zu benutzen, die beendet wird, um die Aufgabe durchzuführen. In mindestens einer Ausführungsform kann dies bei der Stifteinsetzaufgabe ein Hartcodieren eines direkten Absenkens des Stifts sein. In mindestens einer Ausführungsform ist dieses Verfahren sehr sensitiv gegen Fehler in dem Wahrnehmungssystem, weil sogar einige wenige Millimeter eines Fehlers bewirken können, dass der Stift nicht ordnungsgemäß eingesetzt wird. In mindestens einer Ausführungsform können, um verbesserte Chancen des Einsetzens des Stifts und folglich des Abschließens der Aufgabe bereitzustellen, können zufällige Aktionen zu dieser Abwärtsbewegung hinzugefügt werden. In mindestens einer Ausführungsform wird dies durch die Kurve einer modellbasierten Richtlinie mit zufälligen Aktionen unter Verwendung von DOPE-Zielschätzungen) (Model-Based Policy with Random Actions using DOPE Goal Estimates; MB-RA-DOPE-EST) gezeigt, wie in 5 anschaulich dargestellt.
-
5 veranschaulicht ein Beispiel von Testergebnissen für verschiedene Robotersteuerverfahren gemäß mindestens einer Ausführungsform. Eine erstes Diagramm 502 veranschaulicht Aufgabenfertigstellung vs. einer Anzahl von Trainingsiterationen für Aufgabe Erfolg und eine zweites Diagramm 504 veranschaulicht die Anzahl der Schritten, die zur Aufgabenfertigstellung vs. Trainingsiterationen erforderlich sind. 5 veranschaulicht Aufgabenergebnisse, wobei GUAPO mit fünf anderen Grundlinien verglichen wird: (1) modellbasierte Richtlinie mit perfekter Zielschätzung (Model-Based Policy with Perfect Goal Estimate; MBPERF-EST), (2) modellbasierte Richtlinie mit zufällige Aktionen mit perfekter Zielschätzung (Model-Based Policy with Random Actions with Perfect Goal Estimate; MB-RA-PERF-EST), (3) modellbasierte Richtlinie mit zufälligen Aktionen unter Verwendung von DOPE Zielschätzungen (Model-Based Policy with Random Actions using DOPE Goal Estimates; MB-RA-DOPE-EST), (4) modellfreie Soft Actor Critic (SAC) und (5) Residual Richtlinie. In diesem Beispiel werden GUAPO, SAC und Residual werden für 60 Trainingsepisoden trainiert. In mindestens einer Ausführungsform ist GUAPO nach 60 Episoden (etwa 90 Minuten Trainingszeit) imstande, den Stift 100% der Zeit einzusetzen und die Anzahl von Schritten zu verringern, die zur Stifteinsetzung benötigt werden. In mindestens einer Ausführungsform gelingt, wenn DOPE verwendet wird, einem modellbasierten Algorithmus („MB“) nicht, die Aufgabe aufgrund von Fehlern in dem Wahrnehmungssystem zu lösen, und SAC und Residual sind nicht imstande, die Aufgabe mit lediglich 60 Episoden zu erfüllen.
-
Um ein Orakel bereitzustellen und um zu zeigen, dass dieses skriptgeführte Verfahren unter einer perfekten Zustandsschätzung arbeiten kann, kann die Leistung dieser Richtlinie unter perfekter Zustandsschätzung mit Modellbasierte Richtlinie mit Perfekter Zielschätzung (Model-Based Policy with Perfect Goal Estimate; MB-PERF-EST) und Modellbasierte Richtlinie mit Zufälligen Aktionen mit Perfekter Zielschätzung (Model-Based Policy with Random Actions with Perfect Goal Estimate; MB-RA-PERF-EST) betrachtet werden. MB-PERF-EST kann gerade zu dem Loch gehen und nach unten drücken, ohne zufällige Aktionen auszuführen. In einigen Beispielen verschlechtern zufällige Aktionen die volle Leistung nicht übermäßig, die durch die gleiche skriptgeführte Bewegung erreicht wird, jedoch ohne irgendeine hinzugefügte zufällige Aktion. Wenn es Wahrnehmungsfehler gibt, kann MB-RA-DOPE-EST imstande sein, eine bessere Leistung als MB-DOPE-EST in einigen Beispielen zu zeigen, wie in 6 gesehen. 6 veranschaulicht eine Tabelle von Testergebnissen für die Durchführen einer Aufgabe gemäß mindestens einer Ausführungsform.
-
In mindestens einer Ausführungsform wird ein modellbasiertes Verfahren, wie beispielsweise SAC, ohne verschiedene modellbasierte Komponenten verglichen. In einigen Beispiele kann SAC nicht imstande sein, eine beliebige Einsetzung zu erreichen. In einigen Beispiele beruht dies auf einem extrem niedrigen Datenregime. In einigen Beispiele kann RL mehrere Größenordnungen von zusätzlichen Daten erfordern.
-
In mindestens einer Ausführungsform kann Residual Lernen ebenfalls berücksichtigt werden. In mindestens einer Ausführungsform wendet dieses Verfahren zufällige Aktionen auf einer gegebenen Richtlinie an. In einigen Beispielen ist dies eine skriptgeführte Richtlinie. In verschiedenen Ausführungsformen führte sogenanntes „Residual Learning“ zu verschiedenen Fehlern. In mindestens einer Ausführungsform ist ein bekannter Störungsfall das Anwenden großer Perturbationen zu weit entfernt von der Lochöffnung und daher auf der Seite der Box zu landen, wo das Loch ist, und dann stattdessen gegen die Seite der Box zu schieben. In mindestens einer Ausführungsform schaltet das System nur den modellfreien Abschnitt an, sobald er bereits in der Nähe der Region von Interesse ist, wobei dieser Störungsfall vermieden wird.
-
Ergebnisse werden in 5 und in 6 in einer Ausführungsform anschaulich dargestellt. In mindestens einer Ausführungsform können die modellbasierten Richtlinien mit perfekten Wahrnehmungsschätzungen („MB-PERF-EST“) den GUAPO leistungsmäßig übertreffen, weil die Richtlinie genau weiß, wo das Loch der Box ist und eine Hand-skriptgeführte Bewegung benutzen kann, um die Aufgabe zu beenden. In mindestens einer Ausführungsform fällt jedoch, wenn DOPE als das Wahrnehmungssystem benutzt wird, das etwa 2,5 bis 3,5 cm von Rauschen und Fehlerwerte aufweisen kann, die Leistung von MB-DOPE-EST und MB-RA-DOPE-EST jedoch drastisch ab. In mindestens einer Ausführungsform, weist MB-RA-DOPE-EST zu 26,6% eine höhere Leistung als MB-DOPE-EST auf, weil die zufälligen Aktionen den Wahrnehmungsfehler versetzen. In mindestens einer Ausführungsform sind sowohl Residual als auch SAC nicht imstande, die Aufgabe innerhalb des Trainingszeitrahmens auszuführen. In mindestens einer Ausführungsform ist Residual jedoch imstande, S^hard 100% der Zeit nach 60 Trainingsepisoden zu erreichen, wohingegen SAC weiterhin nicht in der Lage ist, diese Region zu erreichen.
-
In mindestens einer Ausführungsform der robotergestützten Manipulation gibt es verschiedene Paradigmen, eine Aufgabe durchzuführen, wie beispielsweise modellbasierte und modellfreie Paradigmen. In mindestens einer Ausführungsform kann sich die erste Kategorie von Verfahren auf eine genaue Beschreibung der Aufgabe, wie beispielsweise dem genauen CAD-Modell aller Objekte, sowie auch verschiedenen Wahrnehmungssystemen stützen. In einigen Beispiele kann sie mit verschiedenen Suchalgorithmen, wie Bewegungsplanung, benutzt werden. In mindestens einer Ausführungsform ist diese Vorgehensweise durch die Implementierung begrenzt und beide können mit einer nicht behebbaren Störung verbunden sein, falls das Wahrnehmungssystem etwas Rauschen aufweist.
-
In mindestens einer Ausführungsform erfordert eine modellfreie Vorgehensweise keine ausführliche Beschreibung, jedoch stattdessen Zugriff auf Wechselwirkung mit der Umgebung, sowie auch eine Belohnung, die Erfolg angeben kann. In mindestens einer Ausführungsform können derartige binäre Belohnungen leicht zu beschreiben sein, wobei sie jedoch RL-Verfahren extrem probenineffizient machen können, und extrem ausgebildete Belohnungen können benutzt werden, die beträchtliches Abstimmen und genaue Wahrnehmungssysteme erfordern. In mindestens einer Ausführungsform können automatische Curriculum-Erzeugung oder die Verwendung von Demonstrationen benutzt werden und können große Mengen an Wechselwirkung mit der Umgebung erfordern. Des Weiteren kann es sein, wenn sich die Position der Objekte in der Szene ändert oder es neue Distraktoren im Hintergrund gibt, dass diese Verfahren in verschiedenen Ausführungsformen umtrainiert werden müssen. In mindestens einer Ausführungsform ist das entwickelte System sogar probeneffizient, wenn lediglich eine spärliche Belohnung des Erfolges verwendet wird, und ist robust gegenüber diesen Variationen aufgrund der modellbasierten Komponente.
-
In mindestens einer Ausführungsform wird eine Objektposenschätzung in verschiedenen Robotik- und Computervision-Anwendungen benutzt. In mindestens einer Ausführungsform wird ein Zurückgehen auf Schlüsselpunkte auf dem Objekt oder auf einen das Objekt umgebenden Quader benutzt. In mindestens einer Ausführungsform werden Schlüsselpunkte zuerst durch ein neuronales Netzwerk erfasst, dann wird PnP verwendet, um die Pose des Objekts vorherzusagen. In mindestens einer Ausführungsform wird Unsicherheit durch wirksames Einsetzen eines zufälligen Stichprobenübereinstimmungs(Ransac)-Abstimmungsalgorithmus benutzt, um Regionen zu finden, wo ein Schlüsselpunkt erfasst werden könnte. In mindestens einer Ausführungsform erlaubt die Nutzung eines probabilistischen PnP, wobei unterschiedliche Schlüsselpunkte gemäß ihrer räumlichen Verteilung gewichtet werden. In mindestens einer Ausführungsform kann auf eine Vektorabstimmungskarte regressiert werden, wobei der Linienschnittpunkt dann verwendet werden kann, um Schlüsselpunkte zu finden. In einigen Ausführungsformen wird Posenunsicherheit in der endgültigen Vorhersage nicht berücksichtigt.
-
In einer Ausführungsform wird ein GUAPO-Algorithmus entwickelt, der die Verallgemeinerungsfähigkeiten von modellbasierten Verfahren und die Anpassungsfähigkeit von modellfreien Verfahren kombiniert. In mindestens einer Ausführungsform kann er ermöglichen, die Aufgabe lose zu definieren, indem lediglich ein grobes Modell der Objekte und eine grobe Beschreibung des Bereichs bereitgestellt wird, wo eine Operation durchgeführt werden muss. In mindestens einer Ausführungsform kann das modellbasierte System Informationen auf hohem Niveau und günstige Zustandsschätzsysteme wirksam einsetzen, um einen Trichter um den Bereich von Interesse zu erzeugen. In mindestens einer Ausführungsform kann eine Unsicherheitsschätzung, die durch Wahrnehmungssysteme bereitgestellt wird, benutzt werden, um automatisch zwischen einer modellbasierten Richtlinie und einer modellfreien Richtlinie umzuschalten, die imstande sein kann, aus einer spärlichen Belohnung zu lernen, was die Modell- und Schätzfehler des modellbasierten Teils überwinden kann. In mindestens einer Ausführungsform wird das Lernen in der realen Welt einer eng passenden Stifteinsetzaufgabe erreicht.
-
7 veranschaulicht einen Prozess, der als Ergebnis dessen, dass er durch ein Computersystem durchgeführt wird, wie beispielsweise die nachstehend in 8-41 und zugeordnete Beschreibung beschrieben, das Computersystem veranlasst, einen Roboter anzuweisen, eine Aufgabe unter Verwendung einer Kombination von modellbasierten und modellfreien Verfahren, wie oben beschrieben, gemäß mindestens einer Ausführungsform durchzuführen. In mindestens einer Ausführungsform beginnt der Prozess bei Block 702, mit das Computersystem Informationen von einem ersten Wahrnehmungssystem erhält. Ein Wahrnehmungssystem kann eine Kamera, Tiefenkamera, LIDAR, RADAR oder ein anderes sensorisches System sein, das Position- oder Lokalisierungsinformation bereitstellt, wie beispielsweise nachstehend aufgelistet. In mindestens einer Ausführungsform ist das Wahrnehmungssystem eine stationäre Kamera, die den Roboter und die umgebende Umwelt beobachtet. In mindestens einer Ausführungsform werden bei Block 704 die Informationen mit einem Posenschätzer wie beispielsweise DOPE verarbeitet, wie oben beschrieben, um ein physikalisches Modell der Umgebung zu erzeugen, das den Roboter umgibt. In mindestens einer Ausführungsform ist das physikalische Modell ein 2D- oder 3D-Modell von Objekten und Oberflächen um den Roboter. In mindestens einer Ausführungsform umfasst das physikalische Modell Posen- und Lokalisierungsinformationen von Objekten und in einigen Ausführungsformen von dem Roboter selbst. Der Roboter kann ein gelenkiger Roboter, ein autonomes Fahrzeug, ein Bestückungsautomat oder eine andere Maschine sein, die unter der Steuerung des Computersystems ist. In mindestens einer Ausführungsform wird eine Unsicherheit der Informationen von dem ersten Wahrnehmungssystem bestimmt 706, wie oben beschrieben. In mindestens einer Ausführungsform ist die Unsicherheit eine Verteilung von möglichen Objekt- und/oder Roboterposen. In mindestens einer Ausführungsform basiert die Unsicherheit auf einer Kameraauflösung und einem Fehler des ersten Wahrnehmungssystems.
-
In mindestens einer Ausführungsform verwendet das Computersystem das physikalische Modell bei Block 708, um ein modellbasierten Verfahren zu implementieren, wie beispielsweise das oben beschriebene MBM, um den Roboter in eine Region des Raums zu bewegen, die in einigen Beispiele basierend auf der Unsicherheit bestimmt wird. In mindestens einer Ausführungsform ist die Region des Raums ein Bereich, wo das Computersystem bestimmt, dass das Modell nicht länger ausreichend genau ist, um die Fertigstellung einer Aufgabe durch den Roboter zu ermöglichen. In mindestens einer Ausführungsform bestimmt das Computersystem bei Entscheidungsblock 710 basierend auf der Unsicherheit, ob der Roboter in der Region ist. Beispielsweise kann das System unter Verwendung der Unsicherheit bestimmen, dass die Wahrscheinlichkeit, dass der Roboter innerhalb der Region ist, größer als ein Schwellenwert oder Prozentsatz ist. Wenn der Roboter nicht in der Region ist, kehrt die Ausführung zu dem Block 702 zurück, wenn jedoch bestimmt wird, dass der Roboter innerhalb der Region mit der erforderlichen Sicherheit zu sein, rückt die Ausführung zu Block 712 vor.
-
In mindestens einer Ausführungsform erhält bei Block 712 das Computersystem Informationen von einem zweiten Wahrnehmungssystem. In mindestens einer Ausführungsform ist das zweite Wahrnehmungssystem eine In-Hand Kamera, die auf einem Robotermanipulator angebracht ist, oder eine Kamera, die a Handgelenk des Roboters angebracht ist. In mindestens einer Ausführungsform stellt das Computersystem bei Block 714 die Informationen des zweiten Wahrnehmungssystems einem modellfreien Verfahren bereit, das Steueranweisungen an den Roboter aus der Information erzeugt, ohne sich auf ein physikalisches Modell zu stützen. In mindestens einer Ausführungsform wird der Roboter bei Block 716 unter Verwendung der Steueranweisungen bewegt, die unter Verwendung des modellfreien Verfahrens erzeugt wurden. In mindestens einer Ausführungsform bestimmt das Computersystem bei Entscheidungsblock 718, ob die Aufgabe, die durch das modellfreie Verfahren durchgeführt wird, abgeschlossen wurde. Wenn nicht, kehrt die Ausführung zu Block 712 zurück. In mindestens einer Ausführungsform rückt, wenn die Aufgabe abgeschlossen ist, die Ausführung zu Block 720 vor und der Prozess endet. In verschiedenen Beispielen kann die Aufgabe die Einsetzung eines Stifts in ein Loch, wie oben beschrieben, oder der Betrieb eines autonomen Fahrzeugs sein, wie nachstehend beschrieben.
-
INFERENZIERUNG- UND TRAININGSLOGIK
-
8A veranschaulicht die Inferenzierungs- und/oder Trainingslogik 815, die verwendet wird, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen verbunden sind. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 815 werden nachstehend in Verbindung mit 8A und/oder 8B bereitgestellt.
-
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815, ohne darauf beschränkt zu sein, Code- und/oder Datenspeicherung 801 zum Speichern von Vorwärts- und/oder Ausgabegewicht und/oder Eingangs-/Ausgangsdaten und/oder anderen Parametern zum Konfigurieren von Neuronen oder Schichten eines neuronalen Netzwerks umfassen, das zur Inferenzierung in Aspekten einer oder mehrerer Ausführungsformen trainiert und/oder verwendet wird. In mindestens einer Ausführungsform kann die Trainingslogik 815 Code und/oder Datenspeicherung 801 umfassen oder mit diesem gekoppelt sein, um Graphikcode oder andere Software zum Steuern des Timings und/oder der Reihenfolge zu speichern, in welcher Gewichts- und/oder andere Parameterinformationen zu laden sind, um Logik, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammen arithmetische Logikeinheiten (ALUs)) zu konfigurieren. In mindestens einer Ausführungsform lädt Code, wie beispielsweise Graphikcode, Gewichts- oder andere Parameterinformationen in Prozessor-ALUs, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht. In mindestens einer Ausführungsform speichert die Code- und/oder Datenspeicherung 801 Gewichtsparameter und/oder Ein-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das in Verbindung mit einer oder mehreren Ausführungsformen während der Vorwärtspropagation von Ein-/Ausgabedaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenzierung unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder verwendet wurde. In mindestens einer Ausführungsform kann jeder Abschnitt der Code- und/oder Datenspeicherung 801 in anderem On-Chip- oder Off-Chip-Datenspeicher, einschließlich des L1-, L2- oder L3-Caches oder Systemspeichers eines Prozessors, enthalten sein.
-
In mindestens einer Ausführungsform kann jeder beliebige Abschnitt der Code- und/oder Datenspeicherung 801 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen sein. In mindestens einer Ausführungsform können Code und/oder die Code- und/oder Datenspeicherung 801 Cache-Speicher, dynamisches RAM („DRAM“), statisches RAM („SRAM“), nichtflüchtiger Speicher (z.B. Flash-Speicher) oder andere Speicherung sein. In mindestens einer Ausführungsform kann die Wahl, ob Code und/oder die Code- und/oder Datenspeicherung 801 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash-Speicher oder einem anderen Speicherungstyp besteht, von auf dem Chip bzw. on-chip gegenüber nicht auf dem Chip bzw. off-chip verfügbarem Speicherung, Latenzanforderungen der durchgeführten Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
-
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815, ohne darauf beschränkt zu sein, eine Code- und/oder Datenspeicherung 805 umfassen zum Speichern von Rückwärts- und/oder Ausgangsgewichten und/oder Eingangs-/Ausgangsdaten, die Neuronen oder Schichten eines neuronalen Netzwerks entsprechen, das zur Inferenzierung in Aspekten einer oder mehrerer Ausführungsformen trainiert und/oder verwendet wird. In mindestens einer Ausführungsform speichert de Code- und /oder Datenspeicherung 805 Gewichtsparameter und/oder Eingangs-/Ausgangsdaten jeder Schicht eines neuronalen Netzwerks, die in Verbindung mit einer oder mehreren Ausführungsformen während einer Rückwärtspropagation von Eingangs-/Ausgangsdaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenzierung unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen trainiert oder verwendet werden. In mindestens einer Ausführungsform kann die Trainingslogik 815 die Code- und/oder Datenspeicherung 805 umfassen oder mit dieser gekoppelt sein, um Graphikcode oder andere Software zum Steuern des Timings und/oder der Reihenfolge zu speichern, in welchem bzw. welcher Gewichts- und/oder andere Parameterinformationen zum Konfigurieren von Logik einschließlich Ganzzahl- und/oder Gleitkommaeinheiten (zusammen arithmetische Logikeinheiten (ALUs)) zu laden sind.
-
In mindestens einer Ausführungsform lädt Code, wie beispielsweise Graphikcode, basierend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht, Gewichts- oder andere Parameterinformationen in Prozessor-ALUs. In mindestens einer Ausführungsform kann jeder beliebige Abschnitt der Code- und/oder Datenspeicherung 805 mit anderem On-Chip- oder Off-Chip-Datenspeicherung, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, verbunden sein. In mindestens einer Ausführungsform kann jeder beliebige Abschnitt der Code- und/oder Datenspeicherung 805 intern oder extern zu einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen sein. In mindestens einer Ausführungsform kann die Code- und/oder Datenspeicherung 805 Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder eine andere Speicherung sein. In mindestens einer Ausführungsform kann die Wahl, ob die Code- und/oder Datenspeicherung 805 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash-Speicher oder einem anderen Speicherungstyp besteht, von On-Chip gegenüber Off-Chip verfügbarem Speicher, Latenzanforderungen an durchgeführten Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendeten Daten oder einer Kombination dieser Faktoren abhängen.
-
In mindestens einer Ausführungsform können die Code- und/oder Datenspeicherung 801 und die Code- und/oder Datenspeicherung 805 separate Speicherungsstrukturen sein. In mindestens einer Ausführungsform können die Code- und/oder Datenspeicherung 801 und die Code- und/oder Datenspeicherung 805 eine gleiche Speicherungsstruktur sein. In mindestens einer Ausführungsform können die Code- und/oder Datenspeicherung 801 und die Code- und/oder Datenspeicherung 805 teilweise eine gleiche Speicherungsstruktur und teilweise separate Speicherungsstrukturen sein. In mindestens einer Ausführungsform kann jeder beliebige Abschnitt der Code- und/oder Datenspeicherung 801 und der Code- und/oder Datenspeicherung 805 mit anderen On-Chip- oder Off-Chip-Datenspeicherungen, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, kombiniert sein.
-
In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815, ohne darauf beschränkt zu sein, eine oder mehrere arithmetische Logikeinheiten („ALU(s)“) 810, einschließlich Ganzzahl- und/oder Gleitkommaeinheiten, umfassen, um logische und/oder mathematische Operationen durchzuführen, die mindestens teilweise auf Trainings- und/oder Inferenzcode (beispielsweise Graphikcode) basieren oder durch diesen angezeigt werden, deren Ergebnis Aktivierungen (z.B. Ausgangswerte von Schichten oder Neuronen innerhalb eines neuronalen Netzwerks), die in einer Aktivierungsspeicherung 820 gespeichert sind, erzeugen kann, die Funktionen von Eingangs-/Ausgangs- und/oder Gewichtsparameterdaten sind, die in der Code- und/oder Datenspeicherung 801 und/oder der Code- und/oder Datenspeicherung 805 gespeichert sind. In mindestens einer Ausführungsform werden in der Aktivierungsspeicherung 820 gespeicherte Aktivierungen in Übereinstimmung mit linearer algebraischer und/oder matrixbasierter Mathematik erzeugt, die von den ALU(s) 810 im Ansprechen auf das Ausführen von Anweisungen oder anderem Code durchgeführt wird, wobei Gewichtswerte, die in der Code- und/oder Datenspeicherung 805 sind, und/oder Daten 801 als Operanden zusammen mit anderen Werten, wie beispielsweise Biaswerten, Gradienteninformationen, Impulswerten oder anderen Parametern oder Hyperparametern, verwendet werden, von welchen beliebige oder alle in der Code- und/oder Datenspeicherung 805 oder dem Code und/oder der Code- und/oder Datenspeicherung 801 oder einer anderen Speicherung auf oder außerhalb des Chips gespeichert sein können.
-
In mindestens einer Ausführungsform ist bzw. sind die ALU(s) 810 in einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen enthalten, während in einer anderen Ausführungsform die ALU(s) 810 extern zu einem Prozessor oder einer anderen Hardware-Logikvorrichtung oder Schaltung, die sie verwendet (z.B. einem Co-Prozessor), sein kann bzw. können. In mindestens einer Ausführungsform können ALUs 810 in den Ausführungseinheiten eines Prozessors oder anderweitig in einer Bank von ALUs, auf welche die Ausführungseinheiten eines Prozessors entweder innerhalb desselben Prozessors oder verteilt auf verschiedene Prozessoren unterschiedlicher Art (z.B. Zentraleinheiten, Graphikverarbeitungseinheiten, Festfunktionseinheiten usw.) zugreifen können, aufgenommen sein. In mindestens einer Ausführungsform können die Code- und/oder Datenspeicherung 801, die Code- und/oder Datenspeicherung 805 und die Aktivierungsspeicherung 820 einen Prozessor oder eine anderen Hardware-Logikvorrichtung oder -schaltung gemeinsam nutzen, wohingegen sie in einer anderen Ausführungsform in unterschiedlichen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen oder einer Kombination aus gleichen und unterschiedlichen Prozessoren oder anderen Hardware-Logikvorrichtungen oder -schaltungen sein können. In mindestens einer Ausführungsform kann ein beliebiger Abschnitt der Aktivierungsspeicherung 820 mit einer anderen On-Chip- oder Off-Chip-Datenspeicherung, einschließlich des L1-, L2- oder L3-Cache oder Systemspeichers eines Prozessors, enthalten sein. Ferner kann Inferenzierungs- und/oder Trainingscode mit anderem Code gespeichert sein, der einem Prozessor oder einer anderen Hardware-Logik oder -Schaltung zugänglich ist, und kann unter Verwendung der Hol-, Decodier-, Planungs-, Ausführungs-, Stilllegungs- und/oder anderen logischen Schaltungen eines Prozessors abgerufen und/oder verarbeitet werden.
-
In mindestens einer Ausführungsform kann die Aktivierungsspeicherung 820 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder andere Speicherung sein. In mindestens einer Ausführungsform kann die Aktivierungsspeicherung 820 ganz oder teilweise innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer logischer Schaltungen sein. In mindestens einer Ausführungsform kann eine Wahl, ob der Aktivierungsspeicherung 820 beispielsweise intern oder extern zu einem Prozessor ist oder aus DRAM, SRAM, Flash-Speicher oder einer anderen Speicherungstyp besteht, von on-chip gegenüber off-chip verfügbarer Speicherung, Latenzanforderungen an die durchzuführenden Trainings- und/oder Inferenzierungsfunktionen, der Losgröße der Daten, die bei der Inferenzierung und/oder dem Training eines neuronalen Netzwerks verwendet werden, oder einer Kombination dieser Faktoren abhängen.
-
In mindestens einer Ausführungsform kann die in 8A dargestellte Inferenzierungs- und/oder Trainingslogik 815 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung („ASIC“), wie beispielsweise der Tensorflow®-Verarbeitungseinheit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“)-Prozessor der Intel Corp. verwendet werden. In mindestens einer Ausführungsform, kann die in 8A dargestellte Inferenzierungs- und/oder Trainingslogik 815 in Verbindung mit Hardware der Zentralverarbeitungseinheit („CPU“), Hardware der Graphikverarbeitungseinheit („GPU“) oder anderer Hardware, wie beispielsweise feldprogrammierbaren Gate-Arrays („FPGAs“), verwendet werden.
-
8B veranschaulicht die Inferenzierungs- und/oder Trainingslogik 815 gemäß mindestens einer unterschiedlichen Ausführungsform. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815, ohne darauf beschränkt zu sein, Hardwarelogik umfassen, in welcher Rechenressourcen dediziert oder anderweitig exklusiv in Verbindung mit Gewichtswerten oder anderen Informationen, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen, verwendet werden. In mindestens einer Ausführungsform kann die in 8B dargestellte Inferenzierungs- und/oder Trainingslogik 815 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC), wie beispielsweise der Tensorflowü-Verarbeitungseinheit von Google, einer Inferenzverarbeitungseinheit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“)-Prozessor der Intel Corp. verwendet werden. In mindestens einer Ausführungsform kann die in 8B dargestellte Inferenzierungs- und/oder Trainingslogik 815 in Verbindung mit Hardware der Zentralverarbeitungseinheit (CPU), Hardware der Graphikverarbeitungseinheit (GPU) oder anderer Hardware, wie beispielsweise feldprogammierbaren Gate Arrays (FPGAs), verwendet werden. In mindestens einer Ausführungsform umfasst die Inferenzierungs- und/oder Trainingslogik 815, ohne darauf beschränkt zu sein, die Code- und/oder Datenspeicherung 801 und die Code- und/oder Datenspeicherung 805, die zum Speichern von Code (z.B. Graphikcode), Gewichtswerten und/oder anderen Informationen, einschließlich Biaswerten, Gradienteninformationen, Impulswerten und/oder anderen Parameter- oder Hyperparameter-Informationen, verwendet werden können. In mindestens einer Ausführungsform, die in 8B dargestellt ist, ist jede der Code- und/oder Datenspeicherung 801 und der Code- und/oder Datenspeicherung 805 jeweils einer dedizierten Rechenressource zugeordnet, wie beispielsweise der Rechenhardware 802 und Rechenhardware 806. In mindestens einer Ausführungsform umfasst die Rechenhardware 802 und die Rechenhardware 806 jeweils eine oder mehrere ALUs, die mathematische Funktionen, wie beispielsweise lineare algebraische Funktionen, nur auf Informationen durchführen, die in der Code- und/oder Datenspeicherung 801 bzw. der Code- und/oder Datenspeicherung 805 gespeichert sind, deren Ergebnis in der Aktivierungsspeicherung 820 gespeichert wird.
-
In mindestens einer Ausführungsform entsprechen jeweils die Code- und/oder Datenspeicherung 801 und 805 und entsprechende Rechenhardware 802 und 806 jeweils verschiedenen Schichten eines neuronalen Netzwerks, so dass eine aus einem „Speicherung/Rechenpaar 801/802“ der Code- und/oder Datenspeicherung 801 und der Rechenhardware 802 resultierende Aktivierung als eine Eingabe in das nächste „Speicher/Rechenpaar 805/806“ der Code- und/oder Datenspeicherung 805 und der Rechenhardware 806 bereitgestellt wird, um die konzeptionelle Organisation eines neuronalen Netzwerks zu spiegeln. In mindestens einer Ausführungsform kann jedes der Speicherung/Rechenpaare 801/802 und 805/806 mehr als einer neuronalen Netzwerkschicht entsprechen. In mindestens einer Ausführungsform können zusätzliche Speicher/Rechenpaare (nicht gezeigt) nach oder parallel zu den Speicher/Rechenpaaren 801/802 und 805/806 in die Inferenzierungs- und/oder Trainingslogik 815 aufgenommen sein.
-
TRAINING UND EINSATZ EINES NEURONALEN NETZWERKS
-
9 veranschaulicht Training und Einsatz eines tiefen neuronalen Netzwerks gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wird ein untrainiertes neuronales Netzwerk 906 unter Verwendung eines Trainingsdatensatzes 902 trainiert. In mindestens einer Ausführungsform ist das Training-Framework 904 ein PyTorch-Framework, wohingegen in anderen Ausführungsformen das Training- Framework 904 ein Tensorflow-, Boost-, Caffe-, Microsoft Cognitive Toolkit/CNTK-, MXNet-, Chainer-, Keras-, Deepleaming4j- oder ein anderes Training-Framework ist. In mindestens einer Ausführungsform trainiert das Training-Framework 904 ein untrainiertes neuronales Netzwerk 906 und ermöglicht dessen Training unter Verwendung von hier beschriebenen Verarbeitungsressourcen, um ein trainiertes neuronales Netzwerk 908 zu erzeugen. In mindestens einer Ausführungsform können Gewichte zufällig oder durch Vortraining unter Verwendung eines Netzwerks tiefen Glaubens gewählt werden. In mindestens einer Ausführungsform kann das Training entweder in einer beaufsichtigten, teilweise beaufsichtigten oder unbeaufsichtigten Art und Weise durchgeführt werden.
-
In mindestens einer Ausführungsform wird ein untrainierte neuronales Netzwerk 906 unter Verwendung von beaufsichtigtem Lernen trainiert, wobei der Trainingsdatensatz 902 eine Eingabe umfasst, die mit einer gewünschten Ausgabe für eine Eingabe gepaart wird, oder wobei der Trainingsdatensatz 902 eine Eingabe mit einer bekannten Ausgabe umfasst und eine Ausgabe des neuronales Netzwerk 906 manuell eingestuft wird. In mindestens einer Ausführungsform wird ein untrainiertes neuronales Netzwerk 906 in einer beaufsichtigten Art und Weise trainiert und verarbeitet Eingaben von dem Trainingsdatensatz 902 und vergleicht resultierende Ausgaben gegen einen Satz von erwarteten oder gewünschten Ausgaben. In mindestens einer Ausführungsform werden Fehler dann durch das untrainierte neuronale Netzwerk 906 zurück propagiert. In mindestens einer Ausführungsform stellt das Training-Framework 904 Gewichte ein, die das untrainierte neuronale Netzwerk 906 steuern. In mindestens einer Ausführungsform umfasst das Training-Framework 904 Tools, um zu überwachen, wie gut das untrainierte neuronale Netzwerk 906 zu einem Modell hin konvergiert, wie beispielsweise das trainierte neuronale Netzwerk 908, das geeignet ist, korrekte Antworten, wie beispielsweise im Ergebnis 914, basierend auf bekannten Eingangsdaten, wie beispielsweise einem neuem Datensatz 912 zu erzeugen. In mindestens einer Ausführungsform trainiert das Training-Framework 904 das untrainierte neuronale Netzwerk 906 wiederholt, während Gewichte eingestellt werden, um eine Ausgabe des untrainierten neuronalen Netzwerks 906 unter Verwendung einer Verlustfunktion und eines Einstellalgorithmus, wie beispielsweise eines stochastischen Gradientenabstiegs, zu verfeinern. In mindestens einer Ausführungsform trainiert das Training-Framework 904 das untrainierte neuronale Netzwerk 906, bis das untrainierte neuronale Netzwerk 906 eine gewünschte Genauigkeit erreicht. In mindestens einer Ausführungsform kann dann das trainierte neuronale Netzwerk 908 eingesetzt werden, um eine beliebige Anzahl von Maschinenlernoperationen zu implementieren.
-
In mindestens einer Ausführungsform wird das untrainierte neuronale Netzwerk 906 unter Verwendung unbeaufsichtigten Lernens trainiert, wobei das untrainierte neuronale Netzwerk 906 versucht, sich selbst unter Verwendung von ungekennzeichneten Daten zu trainieren. In mindestens einer Ausführungsform wird der Trainingsdatensatz für unbeaufsichtigtes Lernen 902 Eingangsdaten ohne irgendwelche zugeordneten Ausgangsdaten oder „Ground-Truth“-Daten umfassen. In mindestens einer Ausführungsform kann das untrainierte neuronale Netzwerk 906 Gruppierungen innerhalb des Trainingsdatensatzes 902 lernen und kann bestimmen, wie einzelne Eingaben mit dem untrainierten Datensatz 902 in Beziehung stehen. In mindestens einer Ausführungsform kann unbeaufsichtigtes Training verwendet werden, um eine selbstorganisierende Karte im trainierten neuronalen Netzwerk 908 zu erzeugen, die zum Durchführen von Operationen imstande ist, die beim Verringern der Dimensionalität eines neuen Datensatzes 912 nützlich sind. In mindestens einer Ausführungsform kann das unbeaufsichtigte Training ebenfalls verwendet werden, um eine Anomalieerkennung durchzuführen, die eine Identifikation von Datenpunkten in einem neuen Datensatz 912 ermöglicht, die von normalen Mustern des neuen Datensatzes 912 abweichen.
-
In mindestens einer Ausführungsform kann halbbeaufsichtigtes Lernen verwendet werden, das eine Technik ist, bei welcher ein Trainingsdatensatz 902 eine Mischung aus gekennzeichneten und nicht gekennzeichneten Daten umfasst. In mindestens einer Ausführungsform kann das Training-Framework 904 verwendet werden, um inkrementelles Lernen durchzuführen, wie beispielsweise durch transferierte Lerntechniken. In mindestens einer Ausführungsform ermöglicht das inkrementelle Lernen dem trainierten neuronalen Netzwerk 908, sich an einen neue Datensatz 912 anzupassen, ohne das Wissen zu vergessen, das während des anfänglichen Trainings in das trainierte neuronale Netzwerk 908 eingebracht wurde.
-
RECHENZENTRUM
-
10 veranschaulicht ein beispielhaftes Rechenzentrum 1000, in welchem mindestens eine Ausführungsform verwendet werden kann. In mindestens einer Ausführungsform umfasst das Rechenzentrum 1000 eine Rechenzentrum-Infrastrukturschicht 1010, eine Framework-Schicht 1020, eine Softwareschicht 1030 und eine Anwendungsschicht 1040.
-
In mindestens einer Ausführungsform kann, wie in 10 gezeigt, die Rechenzentrum-Infrastrukturschicht 1010 einen Ressourcenorchestrator 1012, gruppierte Rechenressourcen 1014 und Knotenrechenressourcen („Knoten-C.R.“) 1016(1)-1016(N) umfassen, wobei „N“ eine positive ganze Zahl darstellt (die eine unterschiedliche ganze Zahl „N“ als die sein kann, die in anderen Figuren verwendet wird). In mindestens einer Ausführungsform können die Knoten-C.R.s 1016(1)-1016(N), sind jedoch nicht beschränkt auf, eine beliebige Anzahl von zentralen Verarbeitungseinheiten („CPUs“) oder anderen Prozessoren (einschließlich Beschleunigern, feldprogrammierbaren Gate-Arrays (FPGAs), Graphikprozessoren usw.), Speicherspeicherungsvorrichtungen 1018(1)-1018(N), (z.B. dynamischer Nur-Lese-Speicher), Speichervorrichtungen (z.B. Solid-State-Speicherung- oder Festplattenlaufwerke), Netzwerk-Eingabe-/Ausgabe („NW E/A“)-Vorrichtungen, Netzwerkschalter, virtuelle Maschinen („VMs“), Leistungsmodule und Kühlmodule usw. umfassen. In mindestens einer Ausführungsform können ein oder mehrere Knoten-C.R.s aus den Knoten-C.R.s 1016(1)-1016(N) ein Server mit einer oder mehreren der oben erwähnten Rechenressourcen sein.
-
In mindestens einer Ausführungsform können gruppierte Rechenressourcen 1014 separate Gruppierungen von Knoten-C.R.s. umfassen, die in einem oder mehreren Racks (nicht gezeigt) untergebracht sind, oder in vielen Racks, die in Rechenzentren an verschiedenen geografischen Standorten untergebracht sind (ebenfalls nicht gezeigt). In mindestens einer Ausführungsform können separate Gruppierungen von Knoten-C.R.s. innerhalb gruppierter Rechenressourcen 1014 gruppierte Rechen-, Netzwerk-, Speicher- oder Speicherungsressourcen umfassen, die konfiguriert oder zugeteilt sein können, um eine oder mehrere Arbeitslasten zu unterstützen. In mindestens einer Ausführungsform können mehrere Knoten-C.R.s einschließlich CPUs oder Prozessoren innerhalb eines oder mehrerer Racks gruppiert sein, um Rechenressourcen zur Unterstützung einer oder mehrerer Arbeitslasten bereitzustellen. In mindestens einer Ausführungsform können ein oder mehrere Racks ebenfalls eine beliebige Anzahl von Leistungsmodulen, Kühlmodulen und in beliebiger Kombination umfassen.
-
In mindestens einer Ausführungsform kann der Ressourcenorchestrator 1012 eine oder mehrere Knoten-C.R.s 1016(1)-1016(N) und/oder gruppierte Rechenressourcen 1014 konfigurieren oder anderweitig steuern. In mindestens einer Ausführungsform kann der Ressourcenorchestrator 1012 eine Software-Design-Infrastruktur („SDI“)-Verwaltungseinheit für das Rechenzentrum 1000 umfassen. In mindestens einer Ausführungsform kann der Ressourcenorchestrator Hardware, Software oder eine Kombination davon umfassen.
-
In mindestens einer Ausführungsform umfasst, wie in 10 gezeigt, die Framework-Schicht 1020 einen Job-Scheduler 1022, einen Konfigurationsverwalter 1024, einen Ressourcenverwalter 1026 und ein verteiltes Dateisystem 1028. In mindestens einer Ausführungsform kann die Framework-Schicht 1020 ein Framework zur Unterstützung der Software 1032 der Softwareschicht 1030 und/oder eine oder mehrere Anwendungen 1042 der Anwendungsschicht 1040 umfassen. In mindestens einer Ausführungsform kann die Software 1032 oder können die Anwendung(en) 1042 jeweils webbasierte Dienstsoftware oder Anwendungen umfassen, wie beispielsweise diejenigen, die von Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. In mindestens einer Ausführungsform kann, ohne darauf beschränkt zu sein, die Framework-Schicht 1020 eine Art Framework für eine freie und quelloffene Software-Webanwendung-Framework wie beispielsweise Apache Spark™ (nachfolgend als „Spark“ bezeichnet) sein, welches das verteilte Dateisystem 1028 für eine groß angelegte Datenverarbeitung (z.B. „big data“) nutzen kann. In mindestens einer Ausführungsform kann der Job-Scheduler 1032 einen Spark-Treiber umfassen, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Schichten des Rechenzentrums 1000 unterstützt werden. In mindestens einer Ausführungsform kann der Konfigurationsverwalter 1024 in der Lage sein, verschiedene Schichten wie beispielsweise die Softwareschicht 1030 und die Framework-Schicht 1020 einschließlich Spark und des verteilten Dateisystems 1028 zur Unterstützung der groß angelegten Datenverarbeitung zu konfigurieren. In mindestens einer Ausführungsform kann der Ressourcenverwalter 1026 in der Lage sein, geclusterte oder gruppierte Rechenressourcen zu verwalten, die zur Unterstützung des verteilten Dateisystems 1028 und des Job-Planers 1022 gemappt oder zugeteilt sind. In mindestens einer Ausführungsform können geclusterte oder gruppierte Rechenressourcen die gruppierte Rechenressource 1014 auf der Rechenzentrum-Infrastrukturschicht 1010 umfassen. In mindestens einer Ausführungsform kann sich der Ressourcenverwalter 1026 mit dem Ressourcenorchestrator 1012 koordinieren, um diese gemappten oder zugeteilten Rechenressourcen zu verwalten.
-
In mindestens einer Ausführungsform kann die in der Softwareschicht 1030 enthaltene Software 1032 Software, die von mindestens Teilen der Knoten-C.R.s 1016(1)-1016(N) verwendet wird, gruppierte Rechenressourcen 1014 und/oder das verteilte Dateisystem 1028 der Framework-Schicht 1020 umfassen. In mindestens einer Ausführungsform können eine oder mehrere Arten von Software, ohne darauf beschränkt zu sein, Internet-Webseiten-Suchsoftware, E-Mail-Virenscanner-Software, Datenbanksoftware und Streaming-Videoinhalt-Software umfassen.
-
In mindestens einer Ausführungsform kann(können) die in der Anwendungsschicht 1040 enthaltene(n) Anwendung(en) 1042 eine oder mehrere Arten von Anwendungen, die von mindestens Teilen der Knotens-C.R.s 1016(1)-1016(N) verwendet werden, gruppierte Rechenressourcen 1014 und/oder das verteilte Dateisystem 1028 der Framework-Schicht 1020 umfassen. In mindestens einer Ausführungsform können eine oder mehrere Arten von Anwendungen können, ohne darauf beschränkt zu sein, eine beliebige Anzahl von genomischen Anwendungen, ein kognitives Berechnen und Anwendungen maschinellen Lernens, einschließlich Trainings- oder Inferenzsoftware, Framework-Software für maschinelles Lernen (z.B. PyTorch, TensorFlow, Caffe usw.) oder andere Anwendungen maschinellen Lernens, umfassen, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden.
-
In mindestens einer Ausführungsform kann jeder der Konfigurationsmanager 1034, des Ressourcenmanager 1036 und des Ressourcenorchestrators 1012, basierend auf einer beliebigen Menge und der Art von Daten, die in beliebig technisch machbarer Weise erfasst wurden, eine beliebige Anzahl und Art von selbstmodifizierenden Aktionen implementieren. In mindestens einer Ausführungsform können selbstmodifizierende Aktionen einen Betreiber des Rechenzentrums 1000 davon befreien, möglicherweise schlechte Konfigurationsentscheidungen zu treffen und möglicherweise ungenutzte und/oder schlecht funktionierende Abschnitte eines Rechenzentrums zu vermeiden.
-
In mindestens einer Ausführungsform kann das Rechenzentrum 1000 Tools, Dienste, Software oder andere Ressourcen umfassen, um ein oder mehrere Modelle maschinellen Lernens zu trainieren oder Informationen unter Verwendung eines oder mehrerer Modelle maschinellen Lernens vorherzusagen oder abzuleiten, gemäß einer oder mehrerer hier beschriebener Ausführungsformen. Beispielsweise kann in mindestens einer Ausführungsform ein Modell maschinellen Lernens trainiert werden, indem Gewichtsparameter gemäß einer neuronalen Netzwerkarchitektur unter Verwendung der vorstehend in Bezug auf das Rechenzentrum 1000 beschriebenen Software und Rechenressourcen berechnet werden. In mindestens einer Ausführungsform können trainierte Modelle maschinellen Lernens, die einem oder mehreren neuronalen Netzwerken entsprechen, verwendet werden, um Informationen unter Verwendung der vorstehend in Bezug auf das Rechenzentrum 1000 beschriebenen Ressourcen unter Verwendung von Gewichtsparametern, die durch eine oder mehrere der hierin beschriebenen Trainingstechniken berechnet wurden, abzuleiten oder vorherzusagen.
-
In mindestens einer Ausführungsform kann das Rechenzentrum CPUs, anwendungsspezifische integrierte Schaltungen (ASICs), GPUs, FPGAs oder andere Hardware verwenden, um ein Training und/oder Inferenzieren unter Verwendung der vorstehend beschriebenen Ressourcen durchzuführen. Außerdem können eine oder mehrere der vorstehend beschriebenen Software- und/oder Hardware-Ressourcen als ein Dienst konfiguriert sein, um Benutzern zu erlauben, Informationen, wie beispielsweise Bilderkennung, Spracherkennung oder andere Dienste künstlicher Intelligenz, zu trainieren oder eine Inferenzierung derselben durchzuführen.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einem oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zur Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann in dem System von 10 die Inferenzierungs- und/oder Trainingslogik 915 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Computersystem, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Computersystem, wie oben beschrieben, einen Speicher umfassen, der ausführbare Anweisungen speichert, die als Ergebnis dessen, dass sie durch einen Prozessor des Computersystems ausgeführt werden, das Computersystem veranlassen, ein modellbasiertes und modellfreies Steuersystem zu implementieren, wie hier beschrieben.
-
AUTONOMES FAHRZEUG
-
11A veranschaulicht ein Beispiel eines autonomen Fahrzeugs 1100 gemäß mindestens einer Ausführungsformen. In mindestens einer Ausführungsform kann das autonome Fahrzeug 1100 (alternativ hier als „Fahrzeug 1100“ bezeichnet), ohne darauf beschränkt zu sein, ein Personenkraftwagen, wie beispielsweise ein Pkw, ein Lastkraftwagen, ein Bus und/oder eine andere Art von Fahrzeug sein, das einen oder mehrere Fahrgäste aufnehmen kann. In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ein Halb-Zugmaschinen-Anhänger-Lastwagen sein, der zum Ziehen von Fracht verwendet wird. In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ein Flugzeug, ein Roboterfahrzeug oder eine andere Art von Fahrzeug sein.
-
Autonome Fahrzeuge können im Allgemeinen hinsichtlich Automatisierungsgrade beschrieben werden, die von der National Highway Traffic Safety Administration („NHTSA“), einer Abteilung des US Department of Transportation, und dem Standard „Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles“ der Society of Automotive Engineers („SAE“) (z.B. Standard Nr. J3016-201806, veröffentlicht am 15. Juni 2018, Standard Nr. J3016-201609, veröffentlicht am 30. September 2016, und frühere und zukünftige Versionen dieser Norm) definiert wird. In einer oder mehreren Ausführungsformen kann ein Fahrzeug 1100 in Übereinstimmung mit einer oder mehreren der autonomen Fahrstufen 1 bis 5 funktionsfähig sein. Beispielsweise kann ein Fahrzeug 1100 in mindestens einer Ausführungsform in der Lage sein, eine bedingte Automatisierung (Stufe 3), eine hohe Automatisierung (Stufe 4) und/oder eine vollständige Automatisierung (Stufe 5) durchzuführen.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 Komponenten, wie beispielsweise ein Fahrgestell, eine Fahrzeugkarosserie, Räder (z.B. 2, 4, 6, 8, 18 usw.), Reifen, Achsen und andere Komponenten eines Fahrzeugs umfassen. In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ein Antriebssystem 1150, wie beispielsweise einen Verbrennungsmotor, eine Hybrid-Elektroanlage, einen vollelektrischen Motor und/oder eine andere Art eines Antriebssystems umfassen. In mindestens einer Ausführungsform kann das Antriebssystem 1150 mit einem Antriebsstrang des Fahrzeugs 1100 verbunden sein, der ein Getriebe umfassen kann, um den Antrieb des Fahrzeugs 1100 zu ermöglichen. In mindestens einer Ausführungsform kann das Antriebssystem 1150 als Antwort auf das Empfangen von Signalen von einer Drossel/einem Beschleuniger(n) 1152 gesteuert werden.
-
In mindestens einer Ausführungsform wird ein Lenksystem 1154, das ein Lenkrad, ohne darauf beschränkt zu sein, umfassen kann, verwendet, um ein Fahrzeug 1100 (z.B. entlang eines gewünschten Wegs oder Route) zu lenken, wenn das Antriebssystem 1150 in Betrieb ist (z.B., wenn ein Fahrzeug 1100 in Bewegung ist). In mindestens einer Ausführungsform kann das Lenksystem 1154 Signale von einem Lenkaktuator(en) 1156 empfangen. Ein Lenkrad kann für die Funktionalität der Vollautomatisierung (Stufe 5) optional sein. In mindestens einer Ausführungsform kann das Bremssensorsystem 1146 verwendet werden, um Fahrzeugbremsen als Antwort auf das Empfangen von Signalen von dem(den) Bremsaktuator(en) 1148 und/oder Bremssensoren zu betätigen.
-
In mindestens einer Ausführungsform stellen der(die) Controller 1136, der(die) ein oder mehrere Systeme on Chips („SoCs“) (in 11A nicht gezeigt) und/oder Graphikverarbeitungseinheiten („GPU(s“) umfassen kann(können), Signale (z.B. welche Befehle repräsentieren) einer oder mehreren Komponenten und/oder Systemen des Fahrzeugs 1100 bereit. Beispielsweise kann(können) der(die) Controller 1136 Signale zum Betätigen von Fahrzeugbremsen über ein oder mehrere Bremsaktuatoren 1148, zum Betätigen des Lenksystems 1154 über ein oder mehrere Lenkaktuatoren 1156 und zum Betätigen des Antriebssystems 1150 über ein oder mehrere Drosseln/Beschleuniger 1152 senden. In mindestens einer Ausführungsform kann(können) der(die) Controller 1136 eine oder mehrere eingebaute (z.B. integrierte) Rechenvorrichtungen umfassen, die Sensorsignale verarbeiten und Betriebsbefehle (z.B. Signale, die Befehle repräsentieren) ausgeben, um autonomes Fahren zu ermöglichen und/oder einen menschlichen Fahrer beim Fahren des Fahrzeugs 1100 zu unterstützen. In mindestens einer Ausführungsform kann(können) der(die) Controller 1136 einen ersten Controller für autonome Fahrfunktionen, einen zweiten Controller für funktionale Sicherheitsfunktionen, einen dritten Controller für Funktionen der künstlichen Intelligenz (z.B. Computer-Vision), einen vierten Controller für Infotainment-Funktionalität, einen fünften Controller für Redundanz bei Notfällen und/oder andere Controller umfassen. In mindestens einer Ausführungsform kann ein einzelner Controller zwei oder mehr der obigen Funktionalitäten handhaben, zwei oder mehr Controller können eine einzelne Funktionalität und/oder eine beliebige Kombination davon handhaben.
-
In mindestens einer Ausführungsform kann(können) der(die) Controller 1136 Signale zum Steuern einer oder mehrerer Komponenten und/oder Systeme des Fahrzeugs 1100 als Antwort auf Sensordaten bereitstellen, die von einem oder mehreren Sensoren (z.B. Sensoreingaben) empfangen werden. In mindestens einer Ausführungsform können die Sensordaten, beispielsweise und ohne darauf beschränkt zu sein, von Sensor(en) von globalen Navigationssatellitensystemen 1158 (z.B. Global Positioning System Sensor(s); „GNSS“), RADAR-Sensor(en) 1160, Ultraschallsensor(en) 1162, LIDAR-Sensor(en) 1164, Inertial Measurement Unit (IMU) Sensor(en) 1166 (z.B. Beschleunigungssensor(en), Gyroskop(e), Magnetkompass(e), Magnetometer(e), usw.), Mikrophon(e) 1196, Stereokamera(s) 1168, Weitwinkelkamera(s) 1170 (z.B. Fischaugenkameras), Infrarot-Kamera(s) 1172, Surround-Kamera(s) 1174 (z.B. 360-Grad-Kameras), Fernbereichskameras (in 11A nicht gezeigt), Mittelbereichskamera(s) (in 11A nicht gezeigt), Geschwindigkeitssensor(en) 1144 (z.B. zur Messung der Geschwindigkeit des Fahrzeugs 1100), Schwingungssensor(en) 1142, Lenksensor(en) 1140, Bremssensor(en) (z.B. als Teil des Bremssensorsystems 1146) und/oder anderen Sensortypen empfangen werden.
-
In mindestens einer Ausführungsform können ein oder mehrere Controller 1136 Eingaben (z.B. repräsentiert durch Eingabedaten) von einer Instrumentengruppe 1132 des Fahrzeugs 1100 empfangen und Ausgaben (z.B., repräsentiert durch Ausgabedaten, Anzeigedaten usw.) über eine Anzeige einer Mensch-Maschine-Schnittstelle (Human-Machine Interface; „HMI“) 1134, eine hörbare Meldevorrichtung, einen Lautsprecher und/oder über andere Komponenten des Fahrzeugs 1100 bereitstellen. In mindestens einer Ausführungsform können die Ausgaben Informationen, wie beispielsweise Fahrzeugvektorgeschwindigkeit, Geschwindigkeit, Zeit, Kartendaten (z.B. eine Hochdefinitions-Karte (in 11A nicht gezeigt), Standortdaten (z.B. den Standort des Fahrzeugs, wie z.B. auf einer Karte), Richtung, Standort anderer Fahrzeuge (z.B. ein Belegungsgitter), Informationen über Objekte und Status von Objekten, wie von dem(den) Controllern 1136 wahrgenommen, usw. umfassen. Beispielsweise kann in mindestens einer Ausführungsform die HMI-Anzeige 1134 Informationen über das Vorhandensein eines oder mehrerer Objekte (z.B. eines Straßenschilds, eines Warnschilds, einer Ampeländerung usw.) und/oder Informationen über Fahrmanöver, die ein Fahrzeug durchführte, gerade durchführt oder durchführen wird (z.B. aktuelles Wechseln von Spuren, Nehmen einer Ausfahrt 34B in zwei Meilen, usw.), anzeigen.
-
In mindestens einer Ausführungsform umfasst ein Fahrzeug 1100 ferner eine Netzwerkschnittstelle 1124, die eine oder mehrere drahtlose Antenne(n) 1126 und/oder Modem(s) zur Kommunikation über ein oder mehrere Netzwerke verwenden kann. Beispielsweise kann in mindestens einer Ausführungsform eine Netzwerkschnittstelle 1124 imstande sein, über Long-Term Evolution („LTE“), Wide Code Division Multiple Access („WCDMA“), Universal Mobile Telecommunications System („UMTS“), Global System for Mobile Communication („GSM“), („CDMA2000“),IMT-CDMA Multi-Carrier („CDMA2000“) Netzwerke usw. zu kommunizieren. In mindestens einer Ausführungsform kann(können) die drahtlose(n) Antenne(n) 1126 ebenfalls eine Kommunikation zwischen Objekten in der Umgebung (z.B. Fahrzeugen, mobilen Vorrichtungen usw.) unter Verwendung von einem Lokalbereichsnetzwerk(en), wie beispielweise Bluetooth, Bluetooth Low Energy („LE“), Z-Wave, ZigBee usw., und/oder einem Weitbereichsnetzwerk(en) mit geringer Leistung („LPWANs“), wie beispielsweise LoRaWAN, SigFox usw. Protokollen, ermöglichen.
-
Eine Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in dem System von 11A zum Inferenzieren oder Voraussagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtungsparameter basieren, die unter Verwendung von neuronalen Netzwerktrainingsoperationen, neuronalen Netzwerkfunktionen und/oder Architekturen, oder hier beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet wurden.
-
In mindestens einer Ausführungsform können die hier beschriebenen Techniken verwendet werden, um ein autonomes Fahrzeug zu steuern. Beispielsweise kann ein modellbasierter Steueralgorithmus verwendet werden, um ein Fahrzeug zum Parken zu positionieren, oder ein modellfreies RL-Netzwerk kann verwendet werden, um ein Fahrzeug zu parken.
-
11B veranschaulicht ein Beispiel von Kamerastandorten und Sichtfeldern für das beispielhafte autonome Fahrzeug 1100 von 11A gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform sind die Kameras und jeweilige Sichtfelder eine beispielhafte Ausführungsform und sind nicht bestimmt, einschränkend zu sein. Beispielsweise können zusätzliche und/oder alternative Kameras umfasst sein und/oder die Kameras können an unterschiedlichen Stellen an einem Fahrzeug 1100 lokalisiert sein.
-
In mindestens einer Ausführungsform können die Kameratypen für Kameras, sind jedoch nicht beschränkt darauf, Digitalkameras umfassen, die für eine Verwendung mit den Komponenten und/oder Systemen des Fahrzeugs 1100 angepasst sein können. In mindestens einer Ausführungsform kann(können) die Kamera(s) bei dem Automotive Safety Integrity Level (ASIL) B und/oder bei einem anderen ASIL arbeiten. Die Kameratypen können für eine beliebige Bildaufnahmerate, z.B. 60 Einzelbilder pro Sekunde (fps), 1120 fps, 240 fps, usw. abhängig von der Umgebung fähig sein. In mindestens einer Ausführungsform können die Kameras in der Lage sein, rollende Verschlüsse, globale Verschlüsse, eine andere Art von Verschluss oder eine Kombination davon zu verwenden. In mindestens einer Ausführungsform kann ein Farbfilterarray ein Red Clear („RCCC“) Farbfilterarray, ein Red Clear Blue („RCCB“) Farbfilterarray, ein Red Blue Green Clear („RBGC“) Farbfilterarray, ein Foveon X3 Farbfilterarray, ein Bayer-Sensoren („RGGB“) Farbfilterarray, ein monochromes Sensorfarbfilterarray und/oder eine andere Art von Farbfilterarray umfassen. In mindestens einer Ausführungsform können klare Pixelkameras, wie beispielsweise Kameras mit einem RCCC-, einem RCCB- und/oder einem RBGC-Farbfilterarray, in einem Bemühen verwendet werden, die Lichtempfindlichkeit zu erhöhen.
-
In mindestens einer Ausführungsform kann(können) eine oder mehrere der Kameras verwendet werden, um Advanced Driver Assistance Systems („ADAS“)-Funktionen (z.B. als Teil eines redundanten oder ausfallsicheren Designs) durchzuführen. Beispielsweise kann in mindestens einer Ausführungsform eine Multifunktion-Monokamera installiert sein, um Funktionen bereitzustellen, die Spurabweichungswarnung, Verkehrszeichenunterstützung und intelligente Scheinwerfersteuerung umfassen. In mindestens einer Ausführungsform kann(können) eine oder mehrere der Kameras (z.B. alle Kameras) Bilddaten (z.B. Video) gleichzeitig aufzeichnen und bereitstellen.
-
In mindestens einer Ausführungsform können eine oder mehrere Kameras in einer Montagebaugruppe, wie beispielsweise einer kundenspezifischen (dreidimensionalen („3D“) gedruckten) Baugruppe, angebracht sein, um Streulicht und Reflexionen aus einem Fahrzeuginneren (z.B. Reflexionen vom Armaturenbrett, die in den Spiegeln der Windschutzscheibe reflektiert werden) abzubauen, welche die Fähigkeiten der Bilddatenerkennung der Kamera beeinträchtigen können. In Bezug auf die Montagebaugruppen der Außenspiegel können in mindestens einer Ausführungsform die Außenspiegelbaugruppen kundenspezifisch in 3D gedruckt werden, so dass eine Kameramontageplatte einer Form eines Außenspiegels entspricht. In mindestens einer Ausführungsform kann(können) die Kamera(s) in Außenspiegeln integriert sein. In mindestens einer Ausführungsform kann(können) für Seitensichtkameras die Kamera(s) auch innerhalb vier Säulen an jeder Ecke einer Kabine integriert sein.
-
In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Teile einer Umgebung vor einem Fahrzeug 1100 umfasst (z.B. nach vorne gerichtete Kameras), für eine Rundumsicht verwendet werden, um dabei zu helfen, nach vorne gerichtete Wege und Hindernisse zu identifizieren, sowie auch dabei zu helfen, mit Hilfe eines oder mehrerer Controller 1136 und/oder Steuer-SoCs, wichtige Informationen zum Erzeugen eines Belegungsgitters und/oder zum Bestimmen der bevorzugten Fahrzeugwege bereitzustellen. In mindestens einer Ausführungsform können nach vorne gerichtete Kameras verwendet werden, um viele der gleichen ADAS-Funktionen, wie LIDAR, einschließlich, ohne darauf beschränkt zu sein, Notbremsung, Fußgängererkennung und Kollisionsvermeidung, durchzuführen. In mindestens einer Ausführungsform können nach vorne gerichtete Kameras auch für ADAS-Funktionen und -Systeme, einschließlich Spurverlassungswarnungen (Lane Departure Warnings; „LDW“), autonome Geschwindigkeitsregelung (Autonomous Cruise Control; „ACC“) und/oder andere Funktionen, wie beispielsweise Verkehrszeichenerkennung, verwendet werden.
-
In mindestens einer Ausführungsform kann eine Vielfalt von Kameras in einer nach vorne gerichteten Konfiguration verwendet werden, die beispielsweise eine monokulare Kameraplattform umfasst, die einen CMOS(„complementary metal oxide semiconductor“)-Farbbildgeber umfasst. In mindestens einer Ausführungsform kann eine Weitwinkelkamera 1170 verwendet werden, um Objekte wahrzunehmen, die von einer Peripherie in Sicht kommen (z.B. Fußgänger, Kreuzverkehr oder Fahrräder). Obwohl nur eine Weitwinkelkamera 180 in 11B veranschaulicht ist, kann es in anderen Ausführungsformen eine beliebige Anzahl (einschließlich null) von Weitwinkelkameras an einem Fahrzeug 1100 geben. In mindestens einer Ausführungsform kann eine beliebige Anzahl von Fernbereichskameras 1198 (z.B. ein Langsicht-Stereokamerapaar) zur tiefenbasierten Objekterkennung insbesondere für Objekte verwendet werden, für die ein neuronales Netzwerk noch nicht trainiert wurde. In mindestens einer Ausführungsform kann(können) eine Fernbereichskamera(s) 1198 ebenfalls zur Objekterkennung und - klassifizierung sowie auch zur grundlegenden Objektverfolgung eingesetzt werden.
-
In mindestens einer Ausführungsform können eine oder mehrere Stereokameras 1168 ebenfalls in einer nach vorne gerichteten Konfiguration umfasst sein. In mindestens einer Ausführungsform kann eine oder mehrere Stereokameras 1168 eine integrierte Steuereinheit umfassen, die eine skalierbare Verarbeitungseinheit umfasst, die eine programmierbare Logik („FPGA“) und einen Mehrkernmikroprozessor mit einer integrierten Controller Area Network („CAN“) oder Ethernet-Schnittstelle auf einem einzigen Chip bereitstellen kann. In mindestens einer Ausführungsform kann eine derartige Einheit verwendet werden, um eine 3D-Karte der Umgebung des Fahrzeugs 1100 zu erzeugen, die eine Abstandsschätzung für alle Punkte in einem Bild umfasst. In mindestens einer Ausführungsform kann(können) eine alternative Stereokamera(s) 1168 einen kompakten Stereosichtsensor(en) umfassen, der zwei Kameraobjektive (je eine links und rechts) und einen Bildverarbeitungschip, ohne darauf beschränkt zu sein, umfassen kann, der den Abstand von einem Fahrzeug 1100 zu dem Zielobjekt messen und die erzeugten Informationen (z.B. Metadaten) verwenden kann, um die autonomen Funktionen der Notbremsung und Spurverlassungswarnung zu aktivieren. In mindestens einer Ausführungsform können andere Typen einer(von) Stereokamera(s) 1168 zusätzlich zu oder alternativ aus den hier beschriebenen verwendet werden.
-
In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Teile der Umgebung seitlich des Fahrzeugs 1100 umfasst (z.B. Seitensichtkameras), für die Surround-Ansicht verwendet werden, die Informationen bereitstellt, die zum Erzeugen und Aktualisieren des Belegungsgitters sowie auch zum Erzeugen von Seitenaufprallwarnungen verwendet werden. Beispielsweise kann(können) in mindestens einer Ausführungsform die Surround-Kamera(s) 1174 (z.B. vier Surround-Kameras 1174, wie in 11B veranschaulicht) an einem Fahrzeug 1100 positioniert werden. In mindestens einer Ausführungsform kann(können) die Surround-Kamera(s) 184, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Kombination von Weitwinkelkamera(s) 180, Fischaugenkamera(s), 360-Grad-Kamera(s) und/oder ähnliche Kameras umfassen. Beispielsweise können in mindestens einer Ausführungsform vier Fischaugenkameras an einer Vorderseite, einer Rückseite und den Seiten des Fahrzeugs 1100 positioniert werden. In mindestens einer Ausführungsform kann ein Fahrzeug 1100 drei Surround-Kameras 1174 (z.B. links, rechts und hinten) verwenden und kann eine oder mehrere andere Kameras (z.B. eine nach vorne gerichtete Kamera) als eine vierte Surround-View-Kamera wirksam einsetzen.
-
In mindestens einer Ausführungsform können Kameras mit einem Sichtfeld, das Abschnitte einer Umgebung hinter einem Fahrzeug 1100 umfasst (z.B. Rückfahrkameras), für eine Einparkhilfe, eine Rundumsicht, Warnungen vor Heckkollision sowie zum Erzeugen und Aktualisieren eines Belegungsgitters verwendet werden. In mindestens einer Ausführungsform kann eine weite Vielfalt von Kameras verwendet werden, einschließlich, jedoch nicht beschränkt auf, Kameras, die auch als eine nach vorne gerichtete Kamera(s) geeignet sind (z.B. Fern- und/oder Mittelbereichskamera(s) 1176, Stereokamera(s) 1168, Infrarotkameras 1172 usw.), wie hier beschrieben.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 werden nachstehend in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in dem System von 11B zum Inferenzieren oder Voraussagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtungsparameter basieren, die unter Verwendung von neuronalen Netzwerktrainingsoperationen, neuronalen Netzwerkfunktionen und/oder Architekturen, oder hier beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet wurden.
-
In mindestens einer Ausführungsform können Robotersteuersysteme, wie hier beschrieben, verwendet werden, um ein autonomes Fahrzeug zu navigieren. Bespielweise kann ein modellbasiertes Steuersystem das Automobil unter Verwendung einer Karte und GPS-Signalen navigieren, während eine modellbasierte Steuerung verwendet wird, um Spurbeibehaltung während des Fahrens bereitzustellen.
-
11C ist ein Blockdiagramm, das eine beispielhafte Systemarchitektur für das autonome Fahrzeug 1100 von 11A veranschaulicht, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform wird jede der Komponenten, Merkmale und Systeme des Fahrzeugs 1100 in 11C als über einen Bus 1102 verbunden veranschaulicht. In mindestens einer Ausführungsform kann der Bus 1102 eine CAN(Controller Area Network)-Datenschnittstelle (alternativ hier als ein „CAN-Bus“ bezeichnet) umfassen. In mindestens einer Ausführungsform kann ein CAN ein Netzwerk innerhalb des Fahrzeugs 1100 sein, das verwendet wird, um bei der Steuerung unterschiedlicher Merkmale und der Funktionalität des Fahrzeugs 1100 zu helfen, wie beispielsweise der Betätigung von Bremsen, Beschleunigung, Bremsen, Lenkung, Scheibenwischern usw. In mindestens einer Ausführungsform kann der Bus 1102 konfiguriert sein, um Dutzende oder sogar Hunderte von Knoten jeweils mit seinem eigenen eindeutigen Identifikator (z.B. einer CAN-ID) aufzuweisen. In mindestens einer Ausführungsform kann der Bus 1102 gelesen werden, um Lenkradwinkel, Bodengeschwindigkeit, Motordrehzahlen pro Minute (U/min), Schalterpositionen und/oder andere Fahrzeugstatusanzeigen zu ermitteln. In mindestens einer Ausführungsform kann der Bus 1102 ein CAN-Bus sein, der ASIL B konform ist.
-
In mindestens einer Ausführungsform kann zusätzlich zu oder alternativ von CAN, FlexRay- und/oder Ethernet-Protokolle verwendet werden. In mindestens einer Ausführungsform kann es eine beliebige Anzahl von Bussen geben, die den Bus 1102 bilden, der, ohne darauf beschränkt zu sein, null oder mehr CAN-Busse, null oder mehr FlexRay-Busse, null oder mehr Ethernet-Busse und/oder keinen und/oder null oder weitere andere Arten von Bussen mit einem unterschiedlichen Protokoll umfassen können. In mindestens einer Ausführungsform können zwei oder mehr Busse 1102 verwendet werden, um unterschiedliche Funktionen auszuführen, und/oder können für Redundanz verwendet werden. Beispielsweise kann ein erster Bus für eine Kollisionsvermeidungsfunktionalität und ein zweiter Bus zur Betätigungssteuerung verwendet werden. In mindestens einer Ausführungsform kann jeder Bus 1102 mit beliebigen der Komponenten des Fahrzeugs 1100 kommunizieren, und zwei oder mehr Busse 1102 können mit entsprechenden Komponenten kommunizieren. In mindestens einer Ausführungsform kann jedes einer beliebigen Anzahl von System(en)-auf-Chip(s) (System on Chip(s); „SoC(s)“) (wie beispielsweise SoC 1104(A) und SoC 1104(B), jeder der Controller 1136 und/oder jeder Computer im Fahrzeug Zugriff auf die gleichen Eingangsdaten aufweisen (z.B. Eingaben von Sensoren des Fahrzeugs 1100) und mit einem gemeinsamen Bus, wie beispielsweise einem CAN-Bus, verbunden sein.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 einen oder mehrere Controller 1136 umfassen, wie beispielsweise jene, die hier in Bezug auf 11A beschrieben sind. In mindestens einer Ausführungsform kann(können) der(die) Controller 1136 für eine Vielfalt von Funktionen verwendet werden. In mindestens einer Ausführungsform kann(können) der(die) Controller 1136 mit einer von unterschiedlichen anderen Komponenten und Systemen des Fahrzeugs 1100 gekoppelt werden und kann(können) zur Steuerung des Fahrzeugs 1100, der künstlichen Intelligenz des Fahrzeugs 1100, des Infotainments für ein Fahrzeug 1100 und/oder dergleichen verwendet werden.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 eine beliebige Anzahl von SoCs 1104 umfassen. In mindestens einer Ausführungsform kann(können) jedes(alle) der SoCs 1104, ohne darauf beschränkt zu sein, zentrale Verarbeitungseinheiten („CPU(s)“) 1106, Graphikverarbeitungseinheiten („GPU(s)“) 1108, Prozessor(en) 1110, Cache-Speicher 1112, Beschleuniger 1114, Datenspeicher 1116 und/oder andere nicht veranschaulichte Komponenten und Merkmale umfassen. In mindestens einer Ausführungsform kann(können) das(die) SoC(s) 1104 zur Steuerung des Fahrzeugs 1100 in einer Vielfalt von Plattformen und Systemen verwendet werden. Beispielsweise kann(können) in mindestens einer Ausführungsform das(die) SoC(s) 1104 in einem System (z.B. dem System des Fahrzeugs 1100) mit einer High-Definition(„HD“)-Karte 1122 kombiniert werden, die Kartenauffrischungen und/oder -aktualisierungen über eine Netzwerkschnittstelle 1124 von einem oder mehreren Servern (in 11C nicht gezeigt) erhalten können.
-
In mindestens einer Ausführungsform kann(können) die CPU(s) 1106 einen CPU-Cluster oder CPU-Komplex (alternativ hier als ein „CCPLEX“ bezeichnet) umfassen. In mindestens einer Ausführungsform kann(können) die CPU(s) mehrere Kerne und/oder Level-2 („L2“)-Caches umfassen. Beispielsweise kann(können) in mindestens einer Ausführungsform die CPU(s) 1106 acht Kerne in einer kohärenten Multiprozessor-Konfiguration umfassen. In mindestens einer Ausführungsform kann(können) die CPU(s) 1106 vier Dual-Core-Cluster umfassen, wobei jeder Cluster einen dedizierten L2-Cache (z.B. einen 2 Megabyte (MB) L2-Cache) aufweist. In mindestens einer Ausführungsform kann(können) die CPU(s) 1106 (z.B. der CCPLEX) so konfiguriert sein, dass sie simultane Clusteroperationen unterstützen, die einer beliebigen Kombination von Clustern der CPU(s) 1106 ermöglichen, zu einem gegebenen Zeitpunkt aktiv zu sein.
-
In mindestens einer Ausführungsform können eine oder mehrere der CPU(s) 1106 Energieverwaltungsfähigkeiten implementieren, die, ohne darauf beschränkt zu sein, ein oder mehrere der folgenden Merkmale umfassen: einzelne Hardwareblöcke können durch Clock-Gating automatisch im Leerlauf gesteuert werden, um dynamische Leistung zu sparen; jeder Kerntakt kann durch Gating gesteuert werden, wenn der Kern aufgrund der Ausführung von Wait for Interrupt(„WFI“)/Wait for Event(„WFE“)-Anweisungen keine aktiven Anweisungen ausführt; jeder Kern kann unabhängig durch Power-Gating gesteuert werden; jeder Kerncluster kann durch Clock-Gating unabhängig gesteuert werden, wenn alle Kerne durch Clock-Gating oder Power-Gating gesteuert werden; und/oder jeder Kerncluster kann unabhängig durch Power-Gating gesteuert werden, wenn alle Kerne durch Power-Gating gesteuert werden. In mindestens einer Ausführungsform kann(können) die CPU(s) 1106 ferner einen erweiterten Algorithmus zur Verwaltung von Leistungszuständen implementieren, bei dem zulässige Leistungszustände und erwartete Aufwachzeiten spezifiziert sind, und die Hardware/der Mikrocode bestimmt den besten Leistungszustand, der für den Kern, den Cluster und den CCPLEX einzugeben ist. In mindestens einer Ausführungsform können die Verarbeitungskerne vereinfachte Eingangssequenzen für den Leistungszustand in der Software unterstützen, wobei die Arbeit auf einen Mikrocode abgeladen wird.
-
In mindestens einer Ausführungsform kann(können) die GPU(s) 1108 eine integrierte GPU(s) umfassen, (alternativ hier als „iGPU“ bezeichnet). In mindestens einer Ausführungsform kann(können) die GPU(s) 1108 programmierbar und für parallele Arbeitslasten effizient sein. In mindestens einer Ausführungsform kann(können) die GPU(s) 1108 einen erweiterten Tensorbefehlssatz verwenden. In mindestens einer Ausführungsform kann(können) die GPU(s) 1108 einen oder mehrere Streaming-Mikroprozessoren umfassen, wobei jeder Streaming-Mikroprozessor einen Level-1 („L1“)-Cache (z.B. einen L1-Cache mit mindestens 116KB Speicherkapazität) umfassen kann, und zwei oder mehrere der Streaming-Mikroprozessoren können einen Level-2 („L2“)-Cache (z.B. einen L2-Cache mit einer Speicherkapazität von 512 KB) gemeinsam nutzen . In mindestens einer Ausführungsform kann(können) die GPU(s) 1108 mindestens acht Streaming-Mikroprozessoren umfassen. In mindestens einer Ausführungsform kann(können) die GPU(s) 1108 eine Anwendungsprogrammierschnittstelle(n) (Application Programming Interface(s); „API(s)“) verwenden. In mindestens einer Ausführungsform kann(können) die GPU(s) 1108 eine oder mehrere parallele Computerplattformen und/oder Programmiermodelle (z.B. NVIDIA's CUDA-Modell) verwenden.
-
In mindestens einer Ausführungsform kann(können) die GPU(s) 1108 zur besten Leistung in Automobil- und eingebetteten Anwendungsfällen leistungsoptimiert sein. Beispielsweise könnte(n) in einer Ausführungsform die GPU(s) 1108 auf einem Fin-Feldeffekttransistor („FinFET“) hergestellt werden. In mindestens einer Ausführungsform kann jeder Streaming-Mikroprozessor eine Anzahl von gemischtpräzisen Verarbeitungskernen aufnehmen, die in mehrere Blöcke unterteilt sind. Beispielsweise, und ohne darauf beschränkt zu sein, könnten 64 PF32-Kerne und 32 PF64-Kerne in vier Verarbeitungsblöcke unterteilt werden. In mindestens einer Ausführungsform könnte jeder Verarbeitungsblock 16 FP32-Kernen, 8 FP64-Kernen, 16 INT32-Kernen, zwei NVIDIA Tensorkerne mit gemischter Präzision für Deep-Learning-Matrix-Arithmetik, ein Level-0 („L“)-Befehls-Cache, ein Warp-Planer, eine Dispositionseinheit und/oder eine 64KB-Registerdatei zugeteilt werden. In mindestens einer Ausführungsform können Streaming-Mikroprozessoren unabhängige parallele Ganzzahl- und Gleitkomma-Datenpfade umfassen, um eine effiziente Ausführung von Arbeitslasten mit einer Mischung aus Rechen- und Adressierungsberechnungen vorzusehen. In mindestens einer Ausführungsform können Streaming-Mikroprozessoren eine unabhängige Thread-Scheduling-Funktionalität umfassen, um eine feinere Synchronisation und Zusammenarbeit zwischen parallelen Threads zu ermöglichen. In mindestens einer Ausführungsform können die Streaming-Mikroprozessoren einen kombinierten L1-Daten-Cache und eine gemeinsam genutzte Speichereinheit umfassen, um die Leistung zu verbessern, während die Programmierung vereinfacht wird.
-
In mindestens einer Ausführungsform kann(können) eine oder mehrere die(der) GPU(s) 1108 einen Speicher mit hoher Bandbreite (High Bandwidth Memory; „HBM“) und/oder ein 16 GB HBM2-Speicherteilsystem umfassen, um in einigen Beispielen eine Spitzenspeicherbandbreite von etwa 900 GB/Sekunde bereitzustellen. In mindestens einer Ausführungsform kann zusätzlich zu oder alternativ aus dem HBM-Speicher ein synchroner Graphik-Random-Access-Speicher („SGRAM“) verwendet werden, wie beispielsweise ein Typ 5 synchroner Graphik-Doppel-Datenraten-Speicher (Graphics Double Data Rate Type Five Synchronous Random-Access Memory; „GDDR5“).
-
In mindestens einer Ausführungsform kann(können) die GPU(s) 1108 eine vereinheitlichte Speichertechnologie umfassen. In mindestens einer Ausführungsform kann die Unterstützung von Adressübersetzungsdiensten (Address Translation Services; „ATS“) verwendet werden, um der(den) GPU(s) 1108 zu ermöglichen, direkt auf Seitentabellen der CPU(s) 1106 zugreifen. In mindestens einer Ausführungsform kann, wenn die Speicherverwaltungseinheit (Memory Management Unit; „MMU“) der GPU(s) 1108 einem Fehlzugriff unterliegt, eine Adressübersetzungsanforderung an die CPU(s) 1106 gesendet werden. Als Antwort darauf kann(können) in mindestens einer Ausführungsform die CPU(s) 1106 in ihren Seitentabellen nach der virtuellen-zu-physikalischen Adresszuordnung für die Adresse suchen und die Übersetzung zurück an die GPU(s) 1108 übertragen. In mindestens einer Ausführungsform kann die vereinheitlichte Speichertechnologie einen einzigen einheitlichen virtuellen Adressraum für Speicher von sowohl der CPU(s) 1106 als auch der GPU(s) 1108 ermöglichen, wodurch die Programmierung der GPU(s) 1108 und die Portierung von Anwendungen auf die GPU(s) 1108 vereinfacht wird.
-
In mindestens einer Ausführungsform kann(können) die GPU(s) 1108 eine beliebige Anzahl von Zugriffszählern umfassen, welche die Häufigkeit eines Zugriffs der GPU(s) 1108 auf den Speicher anderer Prozessoren nachverfolgen können. In mindestens einer Ausführungsform kann(können) der(die) Zugriffszähler beitragen, dass Speicherseiten in den physischen Speicher des Prozessors verschoben werden, der am häufigsten auf Seiten zugreift, um dadurch die Effizienz für zwischen Prozessoren gemeinsam genutzte Speicherbereiche zu verbessern.
-
In mindestens einer Ausführungsform kann ein oder mehrere der SoCs 1104 eine beliebige Anzahl von Caches 1112 umfassen, einschließlich derjenigen der hier beschriebenen. Beispielsweise kann(können) in mindestens einer Ausführungsform der(die) Cache(s) 1112 einen Level-3(„L3“)-Cache umfassen, der sowohl für die CPU(s) 1106 als auch die GPU(s) 1108 verfügbar ist (z.B. der sowohl mit der(den) CPU(s) 1106 und der(den) GPU(s) 1108 verbinden ist). In mindestens einer Ausführungsform kann(können) der(die) Cache(s) 1112 einen Write-Back-Cache umfassen, der Zustände der Leitungen nachverfolgen kann, wie beispielsweise durch Verwendung eines Cache-Kohärenzprotokolls (z.B. MEI, MESI, MSI usw.). In mindestens einer Ausführungsform kann ein L3-Cache abhängig von der Ausführungsform 4 MB oder mehr umfassen, obwohl kleinere Cachegrößen verwendet werden können.
-
In mindestens einer Ausführungsform können ein oder mehrere der SoCs 1104 einen oder mehrere Beschleuniger 1114 umfassen (z.B. Hardwarebeschleuniger, Softwarebeschleuniger oder eine Kombination davon). In mindestens einer Ausführungsform kann(können) der(die) SoC(s) 1104 einen Hardwarebeschleunigungscluster umfassen, der optimierte Hardwarebeschleuniger und/oder einen großen On-Chip-Speicher umfassen kann. In mindestens einer Ausführungsform kann ein großer On-Chip-Speicher (z.B. 4 MB SRAM) einem Hardwarebeschleunigungscluster ermöglichen, neuronale Netzwerke und andere Berechnungen zu beschleunigen. In mindestens einer Ausführungsform kann der Hardwarebeschleunigungscluster verwendet werden, um die GPU(s) 1108 zu ergänzen und einige der Aufgaben der GPU(s) 1108 auszulagern (z.B., um mehr Zyklen der GPU(s) 1108 zum Durchführen anderer Aufgaben freizugeben). In mindestens einer Ausführungsform könnte(n) der(die) Beschleuniger 1114 für gezielte Arbeitslasten (z.B. Wahrnehmung, faltende neuronale Netzwerke (Convolutional Neural Networks; „CNNs“), rekurrente neuronale Netzwerke (Recurrent Neural Networks; „RNNs“), usw.) verwendet werden, die stabil genug sind, um für eine Beschleunigung zugänglich zu sein. In mindestens einer Ausführungsform kann ein CNN Regionen-basierte oder regionale faltende neuronale Netzwerke (Regional Convolutional Neural Networks; „RCNNs“) und Fast RCNNs (z.B. wie zur Objekterkennung verwendet) umfassen.
-
In mindestens einer Ausführungsform kann(können) der(die) Beschleuniger 1114 (z.B. der Hardwarebeschleunigungscluster) einen Beschleuniger für tiefes Lernen (Deep Learning Accelerator(s); „DLA(s)“) umfassen. DLA(s) kann(können), ohne darauf beschränkt zu sein, eine oder mehrere Tensor-Verarbeitungseinheiten (Tensor Processing Units; „TPUs“) umfassen, die konfiguriert sein können, um zusätzliche zehn Billionen Operationen pro Sekunde für Deep-Learning-Anwendungen und Inferenzieren bereitzustellen. Die TPUs können Beschleuniger sein, die für die Durchführung von Bildverarbeitungsfunktionen konfiguriert und optimiert sind (z.B. für CNNs, RCNNs usw.). In mindestens einer Ausführungsform kann(können) der(die) DLA(s) ferner für einen bestimmten Satz von neuronalen Netzwerktypen und Gleitkommaoperationen sowie zum Inferenzieren optimiert sein. In mindestens einer Ausführungsform kann die Ausgestaltung der DLA(s) mehr Leistung pro Millimeter bereitstellen als ein typischer Allzweck-Graphikprozessor und übersteigt typischerweise bei weitem die Leistung einer CPU. In mindestens einer Ausführungsform kann(können) TPU(s) mehrere Funktionen ausführen, einschließlich einer Einzelinstanz-Faltungsfunktion, die beispielsweise, und ohne darauf beschränkt zu sein, sowohl Merkmale und Gewichtungen bei den Datentypen INT8, INT16 und FP16 sowie auch Postprozessorfunktionen unterstützt. In mindestens einer Ausführungsform kann(können) DLA(s) neuronale Netzwerke, insbesondere CNNs, schnell und effizient auf verarbeiteten oder unverarbeiteten Daten für beliebige einer Vielfalt von Funktionen ausführen, einschließlich beispielsweise und ohne darauf beschränkt zu sein: ein CNN zur Objektidentifikation und -erkennung unter Verwendung von Daten von Kamerasensoren; ein CNN zur Abstandsschätzung unter Verwendung von Daten von Kamerasensoren; ein CNN zur Fahrzeugerkennung und -identifikation und -erkennung unter Verwendung von Daten aus Mikrophonen 1196; ein CNN zur Gesichtserkennung und Fahrzeughalteridentifikation unter Verwendung von Daten aus Kamerasensoren; und/oder ein CNN für Sicherheit und/oder sicherheitsbezogene Ereignisse.
-
In mindestens einer Ausführungsform kann(können) DLA(s) jede beliebige Funktion der GPU(s) 1108 ausführen und durch Verwenden eines Inferenzbeschleunigers kann ein Designer beispielsweise für jede Funktion entweder die DLA(s) oder die GPU(s) 1108 ansteuern. Beispielsweise kann sich in mindestens einer Ausführungsform der Designer auf die Verarbeitung von CNNs und Gleitkommaoperationen auf dem(den) DLA(s) konzentrieren und andere Funktionen dem(den) GPU(s) 1108 und/oder einem anderem(anderen) Beschleuniger(n) 1114 überlassen.
-
In mindestens einer Ausführungsform kann(können) der(die) Beschleuniger 1114 einen programmierbaren Visionsbeschleuniger (Programmable Vision Accelerator; „PVA“) umfassen, der hier alternativ als ein Computer-Vision-Beschleuniger bezeichnet werden kann. In mindestens einer Ausführungsform kann der PVA ausgestaltet und konfiguriert sein, um Bildverarbeitungsalgorithmen für Anwendungen der fortgeschrittene Fahrerassistenzsysteme (Advanced Driver Assistance Systems; „ADAS“), des autonomen Fahrens, der Augmented Reality („AR“) Anwendungen und/oder Virtual Reality („VR“) Anwendungen zu beschleunigen. In mindestens einer Ausführungsform kann ein PVA ein Gleichgewicht zwischen Leistung und Flexibilität bereitstellen. Beispielsweise kann in mindestens einer Ausführungsform jeder PVA, beispielsweise und ohne darauf beschränkt zu sein, eine beliebige Anzahl von Computer mit reduziertem Befehlssatzkernen (Reduced Instruction Set Computer cores; „RISC“ cores), Direktzugriffsspeicher (Direct Memory Access; „DMA“) und/oder eine beliebige Anzahl von Vektorprozessoren umfassen.
-
In mindestens einer Ausführungsform können RISC-Kerne mit Bildsensoren (z.B. Bildsensoren von beliebigen der hier beschriebenen Kameras), Bildsignalprozessor(en) usw. wechselwirken. In mindestens einer Ausführungsform können RISC-Kerne eine beliebige Menge an Speicher umfassen. In mindestens einer Ausführungsform können RISC-Kerne eine beliebige Anzahl von Protokollen abhängig von der Ausführungsform verwenden. In mindestens einer Ausführungsform können RISC-Kerne ein Echtzeitbetriebssystem (Realtime Operating System; „RTOS“) ausführen. In mindestens einer Ausführungsform können RISC-Kerne unter Verwendung einer oder mehreren integrierten Schaltungsvorrichtungen, anwendungsspezifischen integrierten Schaltungen (Application Specific Integrated Circuits; „ASICs“) und/oder Speichervorrichtungen implementiert werden. Beispielsweise können in mindestens einer Ausführungsform die RISC-Kerne einen Befehls-Cache und/oder einen eng gekoppelten RAM umfassen.
-
In mindestens einer Ausführungsform kann der DMA Komponenten des PVA ermöglichen, unabhängig von CPU(s) 1106 auf den Systemspeicher zuzugreifen. In mindestens einer Ausführungsform kann der DMA eine beliebige Anzahl von Merkmalen unterstützen, die verwendet werden, um eine Optimierung einem PVA bereitzustellen, einschließlich, jedoch nicht beschränkt auf, der Unterstützung multidimensionaler Adressierung und/oder zirkulärer Adressierung. In mindestens einer Ausführungsform kann der DMA bis zu sechs oder mehr Dimensionen der Adressierung unterstützen, welche, ohne darauf beschränkt zu sein, Blockbreite, Blockhöhe, Blocktiefe, horizontale Blockabstufung, vertikale Blockabstufung und/oder Tiefenabstufung umfassen können.
-
In mindestens einer Ausführungsform können die Vektorprozessoren programmierbare Prozessoren sein, die ausgestaltet sein können, um effizient und flexibel die Programmierung für Computer-Vision-Algorithmen durchzuführen und Signalverarbeitungsfähigkeiten bereitzustellen. In mindestens einer Ausführungsform kann der PVA einen PVA-Kern und zwei Vektorverarbeitungs-Teilsystem-Partitionen umfassen. In mindestens einer Ausführungsform kann der PVA ein Prozessorteilsystem, ein(mehrere) DMA-Engine(s) (z.B. zwei DMA-Engines) und/oder andere Peripheriegeräte umfassen. In mindestens einer Ausführungsform kann das Vektorverarbeitungs-Teilsystem als primäre Verarbeitungs-Engine des PVA arbeiten und kann eine Vektorverarbeitungseinheit (Vector Processing Unit; „VPU“), einen Befehls-Cache und/oder einen Vektorspeicher (z.B. Vector Memory; „VMEM“) umfassen. In mindestens einer Ausführungsform kann die VPU einen digitalen Signalprozessor, wie beispielsweise einen digitalen Signalprozessor mit mehreren Daten (Single Instruction, Multiple Data; „SIMD“) und einen digitalen Signalprozessor mit sehr langem Befehlswort (Very Long Instruction Word; „VLIW“) umfassen. In mindestens einer Ausführungsform kann die Kombination von SIMD und VLIW den Durchsatz und die Geschwindigkeit erhöhen.
-
In mindestens einer Ausführungsform kann jeder der Vektorprozessoren einen Befehls-Cache umfassen und mit einem dedizierten Speicher gekoppelt sein. Als Ergebnis kann in mindestens einer Ausführungsform jeder der Vektorprozessoren konfiguriert sein, um unabhängig von anderen Vektorprozessoren ausführen zu können. In mindestens einer Ausführungsform können Vektorprozessoren, die in einem bestimmten PVA umfasst sind, konfiguriert sein, um Datenparallelität zu benutzen. Beispielsweise können in mindestens einer Ausführungsform mehrere, in einem einzigen PVA enthaltene Vektorprozessoren, den gleichen Computer-Vision-Algorithmus jedoch auf unterschiedlichen Bereichen eines Bildes ausführen. In mindestens einer Ausführungsform können die in einem bestimmten PVA enthaltenen Vektorprozessoren gleichzeitig unterschiedliche Computer-Vision-Algorithmen an demselben Bild ausführen oder sogar unterschiedliche Algorithmen an sequenziellen Bildern oder Teilen eines Bildes ausführen. In mindestens einer Ausführungsform können unter anderem beliebig viele PVAs in dem Hardwarebeschleunigungscluster und beliebig viele Vektorprozessoren in jedem PVA enthalten sein. In mindestens einer Ausführungsform kann der PVA zusätzlich einen Speicher für einen fehlerkorrigierenden Code (Error Correcting Code; „ECC“) umfassen, um die Gesamtsystemsicherheit zu erhöhen.
-
In mindestens einer Ausführungsform kann(können) der(die) Beschleuniger 1114 ein On-Chip-Computer-Vision-Netzwerk und einen statischen Direktzugriffsspeicher (Static Random-Access Memory; „SRAM“) umfassen, um ein SRAM mit hoher Bandbreite und niedriger Latenz für den(die) Beschleuniger 1114 bereitzustellen. In mindestens einer Ausführungsform kann der On-Chip-Speicher mindestens 4 MB SRAM umfassen, der beispielsweise und ohne Beschränkung aus acht feldkonfigurierbaren Speicherblöcken besteht, die sowohl für einen PVA als auch für einen DLA zugänglich sind. In mindestens einer Ausführungsform kann jedes Speicherblockpaar eine erweiterte periphere Busschnittstelle (Advanced Peripheral Bus interface; „APB“), Konfigurationsschaltungen, einen Controller und einen Multiplexer umfassen. In mindestens einer Ausführungsform kann eine beliebige Art von Speicher verwendet werden. In mindestens einer Ausführungsform kann der PVA und DLA über ein Rückgrat bzw. Backbone auf den Speicher zugreifen, das einem PVA und einem DLA einen Hochgeschwindigkeitszugriff auf den Speicher bereitstellt. In mindestens einer Ausführungsform kann das Backbone ein On-Chip Computer-Vision-Netzwerk umfassen, welches den PVA und den DLA mit dem Speicher (z.B. unter Verwendung der APB) verbindet.
-
In mindestens einer Ausführungsform kann das On-Chip-Computer-Vision-Netzwerk eine Schnittstelle umfassen, die vor der Übertragung irgendwelcher Steuersignalen/Adressen/Daten bestimmt, dass sowohl der PVA als auch der DLA bereite und gültige Signale bereitstellen. In mindestens einer Ausführungsform kann eine Schnittstelle getrennte Phasen und getrennte Kanäle für die Übertragung von Steuersignalen/Adressen/Daten sowie eine Kommunikation der Burst-Art für einen kontinuierlichen Datentransfer vorsehen. In mindestens einer Ausführungsform kann eine Schnittstelle den Standards der International Organization for Standardization („ISO“) 26262 oder den Standards der International Electrotechnical Commission („IEC“) 61508 entsprechen, obwohl auch andere Standards und Protokolle verwendet werden können.
-
In mindestens einer Ausführungsform kann eine oder mehrere der SoC(s) 1104 einen Echtzeit-Strahlverfolgung-Hardwarebeschleuniger umfassen. In mindestens einer Ausführungsform kann der Echtzeit-Strahlverfolgung-Hardwarebeschleuniger verwendet werden, um schnell und effizient die Positionen und die Ausmaße von Objekten (z.B. innerhalb eines Weltmodells) zu bestimmen, um Echtzeit-Visualisierungssimulationen zur RADAR-Signalinterpretation, zur Schallausbreitungssynthese und/oder -analyse, zur Simulation von SONAR-Systemen, zur Simulation einer allgemeinen Wellenausbreitung, zum Vergleich mit LIDAR-Daten zum Zwecke der Lokalisierung und/oder andere Funktionen und/oder für andere Anwendungen zu erzeugen.
-
In mindestens einer Ausführungsform können ein(die) Beschleuniger 1114 ein breites Anwendungsspektrum für autonomes Fahren aufweisen. In mindestens einer Ausführungsform kann ein PVA für Verarbeitungsstufen in ADAS und autonomen Fahrzeugen verwendet werden kann. In mindestens einer Ausführungsform sind die Fähigkeiten eines PVA eine gute Übereinstimmung für algorithmische Domäne, die eine vorhersagbare Verarbeitung bei geringer Leistungsaufnahme und geringer Latenzzeit benötigen. Mit anderen Worten kann der PVA bei halbdichtem oder dichtem regulärem Rechnen selbst bei kleinen Datensätzen gut arbeiten, die vorhersagbare Laufzeiten mit geringer Latenzzeit und geringer Leistung benötigen. In mindestens einer Ausführungsform sind in autonomen Fahrzeugen, wie beispielsweise einem Fahrzeug 1100, PVAs ausgestaltet, klassische Computer-Vision-Algorithmen auszuführen, da sie bei der Objekterkennung effizient sind und mit ganzzahliger Mathematik arbeiten.
-
Zum Beispiel wird gemäß mindestens einer Ausführungsform der Technologie der PVA verwendet, um Computer-Stereo-Vision durchzuführen. In mindestens einer Ausführungsform kann ein halbglobaler Abgleich-basierter Algorithmus verwendet werden, obwohl dies nicht bestimmt ist, einschränkend zu sein. In mindestens einer Ausführungsform erfordern Anwendungen für das autonome Fahren der Stufe 3-5 eine Bewegungsschätzung/on-the-fly Stereoabgleich (z.B. Struktur aus Bewegung, Fußgängererkennung, Spurerkennung usw.). In mindestens einer Ausführungsform kann der PVA eine Computer-Stereo-Vision-Funktion an Eingaben aus zwei Monokularkameras ausführen.
-
In mindestens einer Ausführungsform kann der PVA zur Durchführung von dichtem optischem Fluss verwendet werden. Beispielsweise könnte in mindestens einer Ausführungsform der PVA RADAR-Rohdaten (z.B. unter Verwendung einer 4D Fast-Fourier-Transformation) verarbeiten, um verarbeitete RADAR-Daten bereitzustellen. In mindestens einer Ausführungsform wird ein PVA zur Flugzeit-Tiefenverarbeitung verwendet, indem Flugzeit-Rohdaten verarbeitet werden, um beispielsweise verarbeitete Flugzeit-Daten bereitzustellen.
-
In mindestens einer Ausführungsform kann ein DLA verwendet werden, um eine beliebige Art von Netzwerk zu betreiben, um die Kontrolle und Fahrsicherheit zu erhöhen, einschließlich beispielsweise, und ohne darauf beschränkt zu sein, eines neuronalen Netzwerks, das ein Maß an Vertrauen für jede Objekterkennung ausgibt. In mindestens einer Ausführungsform kann ein derartiger Vertrauenswert als eine Wahrscheinlichkeit oder als Bereitstellung einer relativen „Gewichtung“ jeder Erkennung im Vergleich mit anderen Erkennungen interpretiert werden. In mindestens einer Ausführungsform ermöglicht ein Vertrauensmaß einem System, weitere Entscheidungen hinsichtlich dessen zu treffen, welche Erkennungen als wahre positive Erkennungen und nicht als falsch positive Erkennungen betrachtet werden sollten. Beispielsweise kann in mindestens einer Ausführungsform ein System einen Schwellenwert für das Vertrauen festlegen und nur die den Schwellenwert übersteigenden Erkennungen als wahre positive Erkennungen betrachten. In einem automatischen Notbremssystem (Automatic Emergency Braking System; „AEB“-System) würden falsch positive Erkennungen dazu führen, dass ein Fahrzeug automatisch eine Notbremsung durchführt, was offensichtlich unerwünscht ist. In mindestens einer Ausführungsform können sehr vertrauensvolle Erkennungen als Auslöser für ein AEB in Betracht kommen. In mindestens einer Ausführungsform kann der DLA ein neuronales Netzwerk zum Regressieren des Vertrauenswerts betreiben. In mindestens einer Ausführungsform kann das neuronale Netzwerk mindestens eine Teilmenge von Parametern als seine Eingabe verwenden, wie beispielsweise Abmessungen eines Begrenzungskastens, einer Ground-Ebenen-Schätzung (z.B. von einem anderen Teilsystem), eine Ausgabe von Sensoren der Trägheitsmesseinheit (IMU) 1166, die mit der Orientierung des Fahrzeugs 1100 korreliert, eine Entfernung, 3D-Ortsschätzungen des Objekts, die unter anderem von dem neuronalen Netzwerk und/oder von anderen Sensoren (z.B. LIDAR-Sensor(en) 1164 oder RADAR-Sensor(en) 1160) stammen.
-
In mindestens einer Ausführungsform kann(können) ein oder mehrere der(die) SoC(s) 1104 (einen) Datenspeicher 1116 (z.B. Speicher) umfassen. In mindestens einer Ausführungsform kann(können) der(die) Datenspeicher 1116 ein On-Chip-Speicher des(der) SoC(s) 1104 sein, der neuronale Netzwerke speichern kann, die auf der(den) GPU(s) 1108 und/oder einem DLA ausgeführt werden sollen. In mindestens einer Ausführungsform kann(können) der(die) Datenspeicher 1116 in der Kapazität groß genug sein, um mehrere Instanzen neuronaler Netzwerke für Redundanz und Sicherheit zu speichern. In mindestens einer Ausführungsform kann(können) der(die) Datenspeicher 1116 einen(mehrere) L2- oder L3-Cache(s) 1112 umfassen.
-
In mindestens einer Ausführungsform kann(können) ein oder mehrere SoC(s) 1104 eine beliebige Anzahl von Prozessor(en) 1110 (z.B. eingebettete Prozessoren) umfassen. In mindestens einer Ausführungsform kann(können) ein Prozessor(en) 1110 einen Boot- und Leistungsmanagement-Prozessor umfassen, der ein dedizierter Prozessor und ein Teilsystem sein kann, um Boot-Leistungs- und Verwaltungs-Funktionen und die damit zugeordnete Sicherheitsdurchsetzung zu handhaben. In mindestens einer Ausführungsform kann der Boot- und Leistungsverwaltungs-Prozessor ein Teil der Boot-Sequenz des(der) SoC(s) 1104 sein und zur Laufzeit Leistung-Verwaltungs-Dienste bereitstellen. In mindestens einer Ausführungsform kann der Boot- und Leistungsverwaltungs-Prozessor Takt- und Spannungsprogrammierung, Unterstützung bei Systemübergängen mit niedrigem Leistungsverbrauch, Verwaltung von Thermik- und Temperatursensoren von SoC(s) 1104 und/oder Verwaltung der Leistungszustände von SoC(s) 1104 bereitstellen. In mindestens einer Ausführungsform kann jeder Temperatursensor als ein Ringoszillator implementiert sein, dessen Ausgangsfrequenz proportional zu der Temperatur ist, und das(die) SoC(s) 1104 kann(können) Ringoszillatoren verwenden, um Temperaturen der CPU(s) 1106, der GPU(s) 1108 und/oder des(der) Beschleuniger 1114 zu erfassen. In mindestens einer Ausführungsform kann, wenn bestimmt wird, dass die Temperaturen einen Schwellenwert überschreiten, dann der Boot- und Leistungsverwaltungs-Prozessor in eine Temperaturfehlerroutine eintreten und das(die) SoC(s) 1104 in einen niedrigeren Leistungszustand versetzen und/oder ein Fahrzeug 1100 in einen Chauffeur-zu-sicheren-Stoppmodus versetzen (z.B. ein Fahrzeug 1100 zu einem sicheren Halt bringen).
-
In mindestens einer Ausführungsform kann(können) der(die) Prozessor(en) 1110 ferner einen Satz von eingebetteten Prozessoren umfassen, die als eine Audioverarbeitungs-Engine dienen können, die ein Audioteilsystem sein kann, das eine vollständige Hardwareunterstützung für Mehrkanal-Audio über mehrere Schnittstellen und einen breite und flexiblen Bereich von Audio-E/A-Schnittstellen ermöglicht. In mindestens einer Ausführungsform ist die Audioverarbeitungs-Engine ein dedizierter Prozessorkern mit einem Digitalsignalprozessor mit dediziertem RAM.
-
In mindestens einer Ausführungsform kann(können) der(die) Prozessor(en) 1110 ferner eine Always-On-Processor-Engine umfassen, die notwendige Hardware-Merkmale bereitstellen kann, um die Verwaltung von Sensoren mit niedriger Leistung und Aufwachanwendungsfälle zu unterstützen. In mindestens einer Ausführungsform kann die Always-On-Processor-Engine einen Prozessorkern, ein eng gekoppeltes RAM, unterstützende Peripheriegeräte (z.B. Zeitgeber und Interrupt-Controller), unterschiedliche E/A-Controller-Peripheriegeräte und Routinglogik umfassen.
-
In mindestens einer Ausführungsform kann(können) der(die) Prozessor(en) 1110 ferner eine Sicherheitscluster-Engine umfassen, die, ohne darauf beschränkt zu sein, ein dediziertes Prozessorteilsystem umfasst, um das Sicherheitsmanagement für Automobilanwendungen zu handhaben. In mindestens einer Ausführungsform kann eine Sicherheitscluster-Engine, ohne darauf beschränkt zu sein, zwei oder mehr Prozessorkerne, ein eng gekoppeltes RAM, Unterstützung von Peripheriegeräten (z.B. Zeitgeber, Interrupt-Controller usw.) und/oder Routing-Logik umfassen. In einem Sicherheitsmodus können zwei oder mehr Kerne, in mindestens einer Ausführungsform, in einem Lockstep-Modus arbeiten und als ein einzelner Kern mit Vergleichslogik fungieren, um jegliche Unterschiede zwischen ihren Operationen zu erkennen. In mindestens einer Ausführungsform kann(können) der(die) Prozessor(en) 1110 ferner, ohne darauf beschränkt zu sein, eine Echtzeit-Kamera-Engine umfassen, die ein dediziertes Prozessor-Teilsystem für die Handhabung der Echtzeit-Kamera-Verwaltung umfassen kann. In mindestens einer Ausführungsform kann(können) der(die) Prozessor(en) 1110 ferner einen Signalprozessor mit hohem Dynamikbereich umfassen, der, ohne darauf beschränkt zu sein, einen Bildsignalprozessor umfassen kann, der eine Hardware-Engine ist, die Teil der Kameraverarbeitung-Pipeline ist.
-
In mindestens einer Ausführungsform kann(können) der(die) Prozessor(en) 1110 einen Videobild-Compositor umfassen, der ein Verarbeitungsblock (z.B. auf einem Mikroprozessor implementiert) sein kann, der Funktionen zur Videonachbearbeitung implementiert, die von einer Videowiedergabeanwendung benötigt werden, um das endgültige Bild für ein Abspielerfenster zu erzeugen. In mindestens einer Ausführungsform kann ein Videobild-Compositor eine Objektivverzerrungskorrektur an einer Weitwinkelkamera(s) 1170, einer Rundumsichtkamera(s) 1174 und/oder an einem kabineninternen Kamerasensor(en) durchführen. In mindestens einer Ausführungsform wird(werden) der(die) kabineninterne(n) Überwachungskamerasensor(en) bevorzugt von einem neuronalen Netzwerk überwacht, das auf einer anderen Instanz des SoC 1104 läuft und konfiguriert ist, Ereignisse in der Kabine zu identifizieren und entsprechend zu reagieren. In mindestens einer Ausführungsform kann ein kabineninternes System, ohne darauf beschränkt zu sein, Lippenlesen durchführen, um einen Mobilfunk zu aktivieren und einen Anruf zu tätigen, E-Mails zu diktieren, das Ziel eines Fahrzeugs zu ändern, ein Infotainmentsystem dessen Einstellungen eines Fahrzeugs zu aktivieren oder zu ändern, oder sprachaktiviertes Internetsurfen anzubieten. In mindestens einer Ausführungsform sind bestimmte Funktionen dem Fahrer verfügbar, wenn ein Fahrzeug in einem autonomen Modus arbeitet, und sind andernfalls deaktiviert.
-
In mindestens einer Ausführungsform kann ein Videobild-Compositor eine verbesserte zeitliche Rauschunterdrückung für sowohl räumliche als auch zeitliche Rauschunterdrückung umfassen. Wenn beispielsweise in mindestens einer Ausführungsform eine Bewegung in einem Video stattfindet, gewichtet die Rauschunterdrückung räumliche Information dementsprechend und verringert das Gewicht der von benachbarten Einzelbildern bereitgestellten Information. In mindestens einer Ausführungsform kann, wenn ein Bild oder ein Teil eines Bildes keine Bewegung umfasst, die von dem Videobild-Compositor durchgeführte zeitliche Rauschunterdrückung Information aus dem vorherigen Bild verwenden, um das Rauschen im aktuellen Bild zu verringern.
-
In mindestens einer Ausführungsform kann der Videobild-Compositor ebenfalls konfiguriert sein, um eine Stereogleichrichtung an eingegebenen Stereolinseneinzelbildern durchzuführen. In mindestens einer Ausführungsform kann der Videobild-Compositor ferner für eine Zusammensetzung der Benutzeroberfläche verwendet werden, wenn ein Betriebssystem des Desktop verwendet wird und die GPU(s) 1108 nicht erforderlich ist(sind), um kontinuierlich neue Oberflächen zu rendern. In mindestens einer Ausführungsform kann, wenn die GPU(s) 1108 eingeschaltet und aktiv 3D-Rendering durchführt(durchführen), der Videobild-Compositor verwendet werden, um die GPU(s) 1108 zu entlasten, um die Leistung und Reaktionsfähigkeit zu verbessern.
-
In mindestens einer Ausführungsform kann(können) ein oder mehrere SoC(s) 1104 ferner eine serielle MIPI (Mobile Industry Processor Interface; „MIPI“)-Kameraschnittstelle zum Empfangen von Video und Eingaben von Kameras, eine Hochgeschwindigkeitsschnittstelle und/oder einen Videoeingangsblock umfassen, der für Kamera- und zugehörige Pixeleingabefunktionen verwendet werden kann. In mindestens einer Ausführungsform können ein oder mehrere SoCs 1104 ferner einen Eingabe-/Ausgabe-Controller umfassen, der(die) durch Software gesteuert werden kann(können) und zum Empfangen von E/A-Signalen verwendet werden kann(können), die nicht an eine spezifische Rolle gebunden sind.
-
In mindestens einer Ausführungsform kann(können) das(die SoC(s) 1104 ferner einen breiten Bereich von Peripherieschnittstellen umfassen, um die Kommunikation mit Peripheriegeräten, Audio-Codierern/Decodierern („Codecs“), einer Leistungsverwaltung und/oder anderen Vorrichtungen zu ermöglichen. Das(die) SoC(s) 1104 kann(können) verwendet werden, um Daten von Kameras (z.B. über Gigabit Multimedia Serial Link und Ethernet verbunden), Sensoren (z.B. LIDAR-Sensor(en) 1164, RADAR-Sensor(en) 1160 usw., die über Ethernet verbunden sein können), Daten von dem Bus 1102 (z.B. Fahrzeuggeschwindigkeit 1100, Lenkradposition usw.), Daten von GNSS-Sensor(en) 1158 (z.B. über Ethernet oder CAN-Bus verbunden) zu verarbeiten. In mindestens einer Ausführungsform kann(können) ein oder mehrere SoC(s) 1104 ferner dedizierte Hochleistungs-Massenspeicher-Controller umfassen, die ihre eigenen DMA-Engines umfassen können und die verwendet werden können, um die CPU(s) 1106 von Routinedatenverwaltungsaufgaben zu befreien.
-
In mindestens einer Ausführungsform kann(können) ein oder mehrere SoC(s) 1104 eine Ende-zu-Ende-Plattform mit einer flexiblen Architektur sein, die sich über die Automatisierungsstufen 3-5 erstreckt, um dadurch eine umfassende funktionale Sicherheitsarchitektur bereitzustellen, die Computer-Vision- und ADAS-Techniken für Diversität und Redundanz nutzt und effizient einsetzt, sowie eine Plattform für einen flexiblen, zuverlässigen Treiber-Software-Stapel zusammen mit Werkzeugen des tiefen Lernens bereitstellt. In mindestens einer Ausführungsform kann(können) das(die SoC(s) 1104 schneller, zuverlässiger, und sogar energieeffizienter und platzsparender als herkömmliche Systeme sein. Beispielsweise kann(können) in mindestens einer Ausführungsform der(die) Beschleuniger 1114 in Kombination mit der(den) CPU(s) 1106, der(den) GPU(s) 1108 und dem(den) Datenspeicher(n) 1116 eine schnelle, effiziente Plattform für autonome Fahrzeuge der Stufe 3-5 bieten.
-
In mindestens einer Ausführungsform können Computer-Vision-Algorithmen auf CPUs ausgeführt werden, die mit einer hochrangigen Programmiersprache, wie beispielsweise der Programmiersprache C, konfiguriert sein können, um eine breite Vielfalt von Verarbeitungsalgorithmen mit einer weiten Vielfalt von visuellen Daten auszuführen. Jedoch sind CPUs in mindestens einer Ausführungsform häufig nicht in der Lage, die Leistungsanforderungen vieler Bildverarbeitungsanwendungen zu erfüllen, wie beispielsweise jene bezogen auf Ausführungszeit und Leistungsverbrauch. In mindestens einer Ausführungsform sind viele CPUs nicht in der Lage, komplexe Objekterkennungsalgorithmen in Echtzeit auszuführen, die für ADAS-Anwendungen im Fahrzeug und für praktische autonome Fahrzeuge der Stufe 3-5 verwendet werden.
-
Hier beschriebene Ausführungsformen ermöglichen, dass mehrere neuronale Netzwerke gleichzeitig und/oder sequenziell verwendet und die Ergebnisse zusammen kombiniert werden können, um eine autonome Fahrfunktionalität der Stufe 3-5 zu ermöglichen. Beispielsweise kann in mindestens einer Ausführungsform ein CNN, das auf dem DLA oder einer diskreten GPU (z.B. der GPU(s) 1120) ausgeführt wird, eine Text- und Worterkennung umfassen, die ermöglichen, Verkehrszeichen zu lesen und zu verstehen, einschließlich Zeichen, für die das neuronale Netzwerk nicht speziell trainiert wurde. In mindestens einer Ausführungsform kann der DLA ferner ein neuronales Netzwerk umfassen, das in der Lage ist, ein Zeichen zu identifizieren, zu interpretieren und semantisch zu verstehen und dieses semantische Verständnis an die auf einem CPU-Komplex laufenden Wegplanungsmodule weiterzugeben.
-
In mindestens einer Ausführungsform können mehrere neuronale Netzwerke gleichzeitig ausgeführt werden, wie es für das Fahren auf Stufe 3, 4 oder 5 erforderlich ist. Beispielsweise kann in mindestens einer Ausführungsform ein Warnzeichen bestehend aus „Vorsicht: Blinklichter zeigen eisige Zustände an“ zusammen mit einem elektrischen Licht von mehreren neuronalen Netzwerken unabhängig oder gemeinsam interpretiert werden. In mindestens einer Ausführungsform kann ein derartiges Warnzeichen selbst durch ein erstes eingesetztes neuronales Netzwerk (z.B. ein neuronales Netzwerk, das trainiert wurde) als ein Verkehrszeichen identifiziert werden, der Text „Blinklichter zeigen eisige Zustände an“ durch ein zweites eingesetztes neuronales Netzwerk interpretiert werden, das die Wegplanungssoftware des Fahrzeugs (vorzugsweise auf dem CPU-Komplex) darüber informiert, dass bei Erkennung von blinkenden Lichtern eisige Bedingungen existieren. In mindestens einer Ausführungsform kann ein blinkende Licht identifiziert werden, indem ein drittes eingesetztes neuronales Netzwerk über mehrere Einzelbilder betrieben wird, das die Wegplanungssoftware des Fahrzeugs über das Vorhandensein (oder Fehlen) von blinkenden Lichtern informiert. In mindestens einer Ausführungsform können alle drei neuronalen Netzwerke z.B. innerhalb des DLA und/oder auf der(den) GPU(s) 1108 gleichzeitig laufen.
-
In mindestens einer Ausführungsform kann ein CNN zur Gesichtserkennung und Fahrzeughalteridentifikation Daten von Kamerasensoren verwenden, um die Anwesenheit eines autorisierten Fahrers und/oder eines Eigentümers des Fahrzeugs 1100 zu identifizieren. In mindestens einer Ausführungsform kann die Always-On-Sensor-Verarbeitungs-Engine verwendet werden, um ein Fahrzeug zu entriegeln, wenn sich ein Eigentümer einer Fahrertür nähert, und Lichter anzuschalten, und um ein Fahrzeug im Sicherheitsmodus zu deaktivieren, wenn ein Eigentümer ein Fahrzeug verlässt. Auf diese Weise bietet(bieten) das(die) SoC(s) 1104 Schutz vor Diebstahl und/oder Fahrzeugraub.
-
In mindestens einer Ausführungsform kann ein CNN zur Erkennung und Identifizierung von Rettungsfahrzeugen Daten aus Mikrophonen 1196 verwenden, um Sirenen von Rettungsfahrzeugen zu erkennen und zu identifizieren. In mindestens einer Ausführungsform verwendet(verwenden) das(die) SoC(s) 1104 ein CNN zur Klassifizierung von Umwelt- und Stadtgeräuschen sowie zur Klassifizierung visueller Daten. In mindestens einer Ausführungsform wird ein CNN, das auf einem DLA läuft, trainiert, um die relative Annäherungsgeschwindigkeit des Einsatzfahrzeugs (z.B. durch Verwendung des Doppler-Effekts) zu kennzeichnen. In mindestens einer Ausführungsform kann ein CNN ebenfalls trainiert werden, um Rettungsfahrzeuge zu identifizieren, die spezifisch für das lokale Gebiet sind, in dem ein Fahrzeug eingesetzt wird, wie durch einen GNSS-Sensor(en) 1158 identifiziert. In mindestens einer Ausführungsform wird beispielsweise das CNN beim Arbeiten in Europa versuchen, europäische Sirenen zu erkennen, und wenn es in den Vereinigten Staaten ist, wird das CNN versuchen, nur nordamerikanische Sirenen zu identifizieren. In mindestens einer Ausführungsform kann, sobald ein Rettungsfahrzeug erfasst ist, ein Steuerprogramm verwendet werden, um eine Notfallroutine für die Fahrzeugsicherheit auszuführen, ein Fahrzeug zu verlangsamen, an einen Straßenrand zu fahren, ein Fahrzeug zu parken und/oder ein Fahrzeug mit Hilfe eines(von) Ultraschallsensors(en) 1162 im Leerlauf zu halten, bis Rettungsfahrzeuge vorbeifahren.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 eine CPU(s) 1118 (z.B. diskrete CPU(s) oder dCPU(s)) umfassen, die über eine Hochgeschwindigkeitsverbindung (z.B. PCIe) mit dem(den) SoC(s) 1104 gekoppelt sein kann(können). In mindestens einer Ausführungsform kann(können) die CPU(s) 1118 beispielsweise einen X86-Prozessor umfassen. Die CPU(s) 1118 kann(können) beispielsweise verwendet werden, um eine Vielfalt von Funktionen auszuführen, einschließlich einer Arbitrierung potenziell inkonsistenter Ergebnisse zwischen ADAS-Sensoren und dem(den) SoC(s) 1104 und/oder einer beispielhaften Überwachung von Status und Gesundheitszustand des(der) Controllers 1136 und/oder eines Infotainment-System-on-Chip („Infotainment-SoC“) 1130.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 eine oder mehrere GPU(s) 1120 (z.B. diskrete GPU(s) oder dGPU(s)) umfassen, die über eine Hochgeschwindigkeitsverbindung (z.B. NVIDIA's NVLINK-Kanal) mit dem(den) SoC(s) 1104 gekoppelt werden kann(können). Die GPU(s) 1120 kann(können) eine zusätzliche Funktionalität künstlicher Intelligenz bereitstellen, wie beispielsweise durch die Ausführung redundanter und/oder unterschiedlicher neuronaler Netzwerke, und (kann)können verwendet werden, um neuronale Netzwerke basierend teilweise auf Eingaben (z.B. Sensordaten) von Sensoren eines Fahrzeugs 1100 zu trainieren und/oder zu aktualisieren.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ferner eine Netzwerkschnittstelle 1124 umfassen, die eine oder mehrere drahtlose Antennen 1126 umfassen kann (z.B. eine oder mehrere drahtlose Antennen für unterschiedliche Kommunikationsprotokolle, wie beispielsweise eine Mobilfunkantenne, eine Bluetooth-Antenne usw.). In mindestens einer Ausführungsform kann eine Netzwerkschnittstelle 1124 verwendet werden, um eine drahtlose Konnektivität zu Internet-Cloud-Dienste (z.B. mit einem oder mehreren Server(n) und/oder anderen Netzwerkvorrichtungen), mit anderen Fahrzeugen und/oder mit Rechenvorrichtungen (z.B. Client-Vorrichtungen von Passagieren) zu ermöglichen. In mindestens einer Ausführungsform kann, um mit anderen Fahrzeugen zu kommunizieren, eine direkte Verbindung zwischen einem Fahrzeug 1100 und einem anderen Fahrzeug und/oder eine indirekte Verbindung (z.B. über Netzwerke und über das Internet) aufgebaut werden. In mindestens einer Ausführungsform können direkte Verbindungen über eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung bereitgestellt werden. Eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung kann einem Fahrzeug 1100 Informationen über Fahrzeuge in der Nähe des Fahrzeugs 1100 bereitstellen (z.B. Fahrzeuge vor, an der Seite und/oder hinter einem Fahrzeug 1100). In mindestens einer Ausführungsform kann die vorerwähnte Funktionalität Teil einer kooperativen adaptiven Geschwindigkeitsregelungsfunktion eines Fahrzeugs 1100 sein.
-
In mindestens einer Ausführungsform kann eine Netzwerkschnittstelle 1124 ein SoC umfassen, das Modulations- und Demodulationsfunktionalität bereitstellt und einem Controller(n) 1136 eine Kommunikation über drahtlose Netzwerke ermöglicht. In mindestens einer Ausführungsform kann eine Netzwerkschnittstelle 1124 ein Hochfrequenz-Frontend zur Aufwärtskonvertierung von einem Basisband zur Hochfrequenz und zur Abwärtskonvertierung von einer Hochfrequenz in ein Basisband umfassen. In mindestens einer Ausführungsform können die Frequenzumwandlungen durch jedes technisch machbare Verfahren durchgeführt werden. Beispielsweise könnten Frequenzumwandlungen durch wohlbekannte Verfahren und oder durch Verwenden von Superheterodyn-Verfahren durchgeführt werden. In mindestens einer Ausführungsform kann die Radiofrequenz-Frontend-Funktionalität durch einen separaten Chip bereitgestellt werden. In mindestens einer Ausführungsform kann eine Netzwerkschnittstelle drahtlose Funktionen für die Kommunikation über LTE, WCDMA, UMTS, GSM, CDMA2000, Bluetooth, Bluetooth LE, Wi-Fi, Z-Wave, ZigBee, LoRaWAN und/oder andere drahtlose Protokolle umfassen.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ferner, ohne darauf beschränkt zu sein, (einen) Datenspeicher 1128 umfassen, der(die) auch Off-Chip-Speicher (z.B. außerhalb des(der) SoC((s) 1104)) umfassen kann(können). In mindestens einer Ausführungsform kann(können) der (die) Datenspeicher 1128, ohne darauf beschränkt zu sein, ein oder mehrere Speicherelemente einschließlich RAM, SRAM, dynamischen Direktzugriffspeicher („DRAM“), Video-Direktzugriffspeicher („VRAM“), Flash, Festplatten und/oder andere Komponenten und/oder Vorrichtungen umfassen, die mindestens ein Datenbit speichern können.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ferner einen oder mehrere GNSS-Sensoren 1158 (z.B. GPS- und/oder assistierte GPS-Sensoren) umfassen), um bei der Kartierung, Wahrnehmung, Belegungsgittererzeugung und/oder Wegplanungsfunktionen zu helfen. In mindestens einer Ausführungsform kann eine beliebige Anzahl von GNSS-Sensoren 1158 verwendet werden, einschließlich beispielsweise, und ohne darauf beschränkt zu sein, eines GPS mit einem USB-Verbinder und einer Ethernet-zu-Seriell-(z.B., RS-232)-Brücke.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ferner einen RADAR-Sensor(en) 1160 umfassen. In mindestens einer Ausführungsform kann(können) ein RADAR-Sensor(en) 1160 von einem Fahrzeug 1100 zur Fahrzeugerkennung mit großer Reichweite selbst bei Dunkelheit und/oder extremen Wetterbedingungen verwendet werden. In mindestens einer Ausführungsform können die funktionalen Sicherheitsstufen des RADAR gleich ASIL B sein. In mindestens einer Ausführungsform kann(können) ein RADAR-Sensor(en) 1160 einen CAN-Bus und/oder einen Bus 1102 (z.B., um von RADAR-Sensoren 1160 erzeugte Daten zu übertragen) zur Steuerung und zum Zugriff auf Objektverfolgungsdaten und mit Zugriff auf Ethernet zum Zugriff auf Rohdaten verwenden. In mindestens einer Ausführungsform kann eine breite Vielfalt von RADAR-Sensortypen verwendet werden. Beispielsweise, und ohne darauf beschränkt zu sein, kann(können) ein RADAR-Sensor(en) 1160 für den vorderen, hinteren und seitlichen RADAR-Einsatz geeignet sein. In mindestens einer Ausführungsform ist oder mehrere Sensor(en) ein Puls-Doppler-RADAR-Sensor.
-
In mindestens einer Ausführungsform kann(können) der(die) RADAR-Sensoren 1160 unterschiedliche Konfigurationen umfassen, wie z.B. eine große Reichweite mit engem Sichtfeld, eine kurze Reichweite mit breitem Sichtfeld, eine seitliche Abdeckung mit kurzer Reichweite usw. In mindestens einer Ausführungsform kann das RADAR mit großer Reichweite für eine adaptive Geschwindigkeitsregelungsfunktion verwendet werden. In mindestens einer Ausführungsform können RADAR-Systeme mit großer Reichweite ein breites Sichtfeld bereitstellen, das von zwei oder mehr unabhängigen Scans, wie beispielsweise innerhalb einer Reichweite von 250 m, verwirklicht wird. In mindestens einer Ausführungsform kann(können) der(die) RADAR-Sensor(en) 1160 helfen, zwischen statischen und beweglichen Objekten zu unterscheiden, und kann(können) von einem ADAS-System 1138 zur Notbremsunterstützung und Vorwärtskollisionswarnung verwendet werden. In mindestens einer Ausführungsform kann(können) ein Sensor(en) 1160, der(die) in einem RADAR-System mit großer Reichweite enthalten ist(sind), ohne darauf beschränkt zu sein, monostatische multimodale RADAR-Sensoren mit mehreren (z.B. sechs oder mehr) festen RADAR-Antennen und einer Hochgeschwindigkeit-CAN- und FlexRay-Schnittstelle umfassen. In mindestens einer Ausführungsform mit sechs Antennen können die zentralen vier Antennen ein fokussiertes Strahlmuster erzeugen, das ausgelegt ist, um Umgebungen des Fahrzeugs 1100 bei höheren Geschwindigkeiten mit minimalen Störungen durch den Verkehr in benachbarten Spuren aufzunehmen. In mindestens einer Ausführungsform können die beiden anderen Antennen das Sichtfeld erweitern, so dass es möglich ist, Fahrzeuge, die in die Spur des Fahrzeugs 1100 eintreten oder diese verlassen, schnell erkannt werden können.
-
In mindestens einer Ausführungsform können RADAR-Systeme mit mittlerer Reichweite beispielsweise eine Reichweite von bis zu 1160 m (vorne) oder 80 m (hinten) und ein Sichtfeld von bis zu 42 Grad (vorne) oder 150 Grad (hinten) umfassen. RADAR-Systeme mit kurzer Reichweite können, ohne darauf beschränkt zu sein, RADAR-Sensoren umfassen, die für die Installation an beiden Enden der hinteren Stoßstange ausgestaltet sind. Bei Installation an beiden Enden der hinteren Stoßstange kann, in mindestens einer Ausführungsform, ein derartiges RADAR-Sensorsystem zwei Strahlen erzeugen, die den toten Winkel im Heck und neben einem Fahrzeug ständig überwachen. In mindestens einer Ausführungsform können RADAR-Systeme mit kurzer Reichweite in einem ADAS-System zur Erkennung des toten Winkels und/oder zur Spurwechselassistenz verwendet werden.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ferner einen oder mehrere Ultraschallsensoren 1162 umfassen. In mindestens einer Ausführungsform kann(können) ein Ultraschallsensor(en) 1162, der(die) vorne, hinten und/oder an den Seiten des Fahrzeugs 1100 positioniert werden kann(können), für eine Einparkhilfe und/oder zum Erzeugen und Aktualisieren eines Belegungsgitters verwendet werden. In mindestens einer Ausführungsform kann eine breite Vielfalt von Ultraschallsensoren 1162 verwendet werden, und unterschiedliche Ultraschallsensoren 1162 können für unterschiedliche Erkennungsbereiche (z.B. 2,5 m; 4 m) verwendet werden. In mindestens einer Ausführungsform kann(können) ein Ultraschallsensor(en) 1162) auf den funktionalen Sicherheitsstufen von ASIL B arbeiten.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ein oder mehrere LIDAR-Sensoren 1164 umfassen. Ein LIDAR-Sensor(en) 1164 kann(können) zur Objekt- und Fußgängererkennung, Notbremsung, Kollisionsvermeidung und/oder für andere Funktionen verwendet werden. In mindestens einer Ausführungsform kann(können) ein LIDAR-Sensor(en) von der Funktionssicherheitsstufe ASIL B sein. In mindestens einer Ausführungsform kann ein Fahrzeug 1100 mehrere LIDAR-Sensoren 1164 (z.B. zwei, vier, sechs usw.) umfassen, die einen Ethernet-Kanal (z.B. um einem Gigabit-Ethernet-Schalter Daten bereitzustellen) verwenden können.
-
In mindestens einer Ausführungsform kann(können) ein LIDAR-Sensor(en) 1164 in der Lage sein, eine Liste von Objekten und deren Abstände für ein 360-Grad-Sichtfeld bereitzustellen. Handelsübliche LIDAR-Sensoren 1164 können beispielsweise eine beworbene Reichweite von ungefähr 100 m mit einer Genauigkeit von 2 cm bis 3 cm und mit Unterstützung für eine 100 Mbit/s Ethernet-Verbindung aufweisen. In mindestens einer Ausführungsform können ein oder mehrere nicht vorstehende LIDAR-Sensoren 1164 verwendet werden. In einer derartigen Ausführungsform kann(können) der(die) LIDAR-Sensor(en) 1164 eine kleine Vorrichtung umfassen, die in einer Vorderseite, einem Heck, einer Seite und/oder einer Ecke des Fahrzeugs 1100 eingebettet sein kann. In mindestens einer Ausführungsform kann(können) ein LIDAR-Sensor(en) 1164, in einer derartigen Ausführungsform, ein horizontales Sichtfeld von bis zu 120 Grad und ein vertikales Sichtfeld von 35 Grad mit einer Reichweite von 200 m sogar für Objekte mit geringer Reflexion bereitstellen. In mindestens einer Ausführungsform kann(können) ein vorderseitig montierter LIDAR-Sensor(en) 1164) für ein horizontales Sichtfeld zwischen 45 Grad und 135 Grad konfiguriert sein.
-
In mindestens einer Ausführungsform können LIDAR-Technologien, wie beispielsweise 3D-Flash-LIDAR, ebenfalls verwendet werden. In mindestens einer Ausführungsform verwendet 3D-Flash-LIDAR einen Laserblitz als eine Übertragungsquelle, um Umgebungen eines Fahrzeugs bis zu ungefähr 200 m zu beleuchten. In mindestens einer Ausführungsform umfasst eine Flash-LIDAR-Einheit, ohne darauf beschränkt zu sein, einen Rezeptor, der die Laserpulslaufzeit und das reflektierte Licht auf jedem Pixel erfasst, was wiederum einer Reichweite von einem Fahrzeug 1100 bis zu Objekten entspricht. In mindestens einer Ausführungsform kann Flash-LIDAR ermöglichen, dass mit jedem Laserblitz hochpräzise und verzerrungsfreie Bilder von Umgebungen erzeugt werden. In mindestens einer Ausführungsform können vier Flash-LIDAR-Sensoren eingesetzt werden, einer an jeder Seite des Fahrzeugs 1100. In mindestens einer Ausführungsform umfassen 3D-Flash-LIDAR-Systeme, ohne darauf beschränkt zu sein, eine 3D-Festkörper-LIDAR-Kamera mit starrender Anordnung ohne bewegliche Teile außer einem Lüfter (z.B. eine nicht abtastende LIDAR-Vorrichtung). In mindestens einer Ausführungsform kann(können) eine Flash-LIDAR-Vorrichtung(en) einen Laser der Klasse I (augensicher) mit Pulsen von 5 Nanosekunden pro Einzelbild verwenden und das reflektierte Laserlicht in Form von 3D-Reichweitenpunktwolken und gemeinsam registrierten Intensitätsdaten erfassen.
-
In mindestens einer Ausführungsform kann ein Fahrzeug ferner einen oder mehrere IMU-Sensoren 1166 umfassen. In mindestens einer Ausführungsform kann(können) ein IMU-Sensor(en) 1166 in mindestens einer Ausführungsform an einer Mitte der Hinterachse des Fahrzeugs 1100 lokalisiert sein. In mindestens einer Ausführungsform kann(können) ein IMU-Sensor(en) 1166, beispielsweise und ohne darauf beschränkt zu sein, einen Beschleunigungssensor(en), Magnetometer, Gyroskop(e), Magnetkompass(e) und/oder andere Sensortypen umfassen. In mindestens einer Ausführungsform kann(können), wie beispielsweise in neunachsigen Anwendungen, ein IMU-Sensor(en) 1166 Beschleunigungssensoren und Gyroskope umfassen, während in neunachsigen Anwendungen ein IMU-Sensor(en) 1166 Beschleunigungssensoren, Gyroskope und Magnetometer umfassen können.
-
In mindestens einer Ausführungsform kann(können) ein IMU-Sensor(en) 1166 als ein miniaturisiertes, leistungsstarkes GPS-gestütztes Trägheitsnavigationssystem (GPS-aided Inertial Navigation System; „GPS/INS“) implementiert sein, das mikroelektromechanische Systeme (micro-electro-mechanical systems; MEMS) von Trägheitssensoren, einen hochempfindlichen GPS-Empfänger und erweiterte Kalman-Filteralgorithmen kombiniert, um Schätzungen von Position, Geschwindigkeitsvektor und Höhe bereitzustellen. In mindestens einer Ausführungsform kann(können) ein IMU-Sensor(en) 1166 einem Fahrzeug 1100 ermöglichen, die Fahrtrichtung abzuschätzen, ohne dass eine Eingabe von einem Magnetsensor erforderlich ist, indem Änderungen im Geschwindigkeitsvektor von einem GPS zu einem IMU-Sensor(en) 1166 direkt beobachtet und korreliert werden. In mindestens einer Ausführungsform kann(können) ein IMU-Sensor(en) 1166 und ein GNSS-Sensor(en) 1158 in einer einzigen integrierten Einheit kombiniert sein.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ein oder mehrere Mikrophone 1196 umfassen, die in und/oder um ein Fahrzeug 1100 angeordnet sind. In mindestens einer Ausführungsform kann(können) ein Mikrophon(e) 1196 unter anderem zur Erkennung und Identifizierung von Rettungsfahrzeugen verwendet werden.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ferner eine beliebige Anzahl von Kameratypen umfassen, einschließlich einer oder mehreren Stereokameras 1168, einer oder mehreren Weitwinkelkameras 1170, einer oder mehreren Infrarotkameras 1172, einer oder mehreren Rundumsichtkameras 1174, einer oder mehreren Kameras 1198 mit großer und/oder mittlerer Reichweite und/oder andere Kameratypen. In mindestens einer Ausführungsform können Kameras zum Erfassen von Bilddaten über einen gesamten Umfang des Fahrzeugs 1100 verwendet werden. In mindestens einer Ausführungsform können die verwendeten Kameratypen von den Ausführungsformen und Anforderungen an ein Fahrzeug 1100 abhängen. In mindestens einer Ausführungsform kann eine beliebige Kombination von Kameratypen verwendet werden, um die erforderliche Abdeckung rund um ein Fahrzeug 1100 bereitzustellen. In mindestens einer Ausführungsform kann sich die Anzahl der Kameras abhängig von der Ausführungsform unterscheiden. Beispielsweise könnte in mindestens einer Ausführungsform ein Fahrzeug sechs Kameras, sieben Kameras, zehn Kameras, zwölf Kameras und/oder eine andere Anzahl von Kameras umfassen. In mindestens einer Ausführungsform können Kameras, beispielsweise und ohne darauf beschränkt zu sein, Gigabit Multimedia Serial Link („GMSL“) und/oder Gigabit Ethernet unterstützen. In mindestens einer Ausführungsform könnte jede Kamera sein, wie hier vorstehend mit Bezug auf 11A und 11B ausführlicher beschrieben.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ferner einen oder mehrere Schwingungssensoren 1142 umfassen. In mindestens einer Ausführungsform kann(können) ein Schwingungssensor(en) 1142 die Schwingungen von Komponenten des Fahrzeugs, wie beispielsweise (von) einer Achse(n), messen. Beispielsweise können in mindestens einer Ausführungsform Änderungen in Schwingungen eine Veränderung in der Straßenoberfläche angeben. In mindestens einer Ausführungsform können, wenn zwei oder mehr Schwingungssensoren 1142 verwendet werden, Unterschiede zwischen Schwingungen verwendet werden, um Reibung oder Schlupf der Straßenoberfläche zu bestimmen (z.B., wenn ein Schwingungsunterschied zwischen einer angetriebenen Achse und einer sich frei drehenden Achse besteht).
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ein ADAS-System 1138 umfassen. In mindestens einer Ausführungsform kann ein ADAS-System 1138 in einigen Beispielen, ohne darauf beschränkt zu sein, ein SoC umfassen. In mindestens einer Ausführungsform kann ein ADAS-System 1138, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Kombination aus einem autonomen/adaptiven/automatischen Geschwindigkeitsregler-System („ACC“-System), einem kooperative adaptiven Geschwindigkeitsregler-System („CACC“-System), einem Vorwärts-Zusammenstoßwarnung-System („FCW“-System), einem automatischen Notbremsung-System („AEB“-System), einem Spurverlassungswarnung-System („LDW“-System), einem Spurhalteassistent-System („LKA“-System), einem Tote-Winkel-Warnung-System („BSW“-System), einem hinteren Querverkehrswarnung-System („RCTW“-System), einem Kollisionswarn-System („CW“-System), einem Spurzentrierung-System („LC“-System) und/oder anderen Systeme, Merkmalen und/oder Funktionalität umfassen.
-
In mindestens einer Ausführungsform kann ein ACC-System einen oder mehrere RADAR-Sensoren 1160, einen oder mehrere LIDAR-Sensoren 1164 und/oder eine beliebige Anzahl von Kameras verwenden. In mindestens einer Ausführungsform kann ein ACC-System ein longitudinales ACC und/oder ein laterales ACC-System umfassen. In mindestens einer Ausführungsform überwacht und steuert ein longitudinales ACC-System einen Abstand zum Fahrzeug unmittelbar vor einem Fahrzeug 1100 und passt die Fahrzeuggeschwindigkeit automatisch an, um einen Sicherheitsabstand zu den vorausfahrenden Fahrzeugen einzuhalten. In mindestens einer Ausführungsform führt ein laterales ACC-System Abstandshaltung durch und empfiehlt einem Fahrzeug 1100, bei Bedarf Spuren zu wechseln. In mindestens einer Ausführungsform steht ein laterales ACC-System im Zusammenhang mit anderen ADAS-Anwendungen wie beispielsweise LC und CW.
-
In mindestens einer Ausführungsform verwendet ein CACC-System Informationen von anderen Fahrzeugen, die über eine Netzwerkschnittstelle 1124 und/oder ein oder mehrere drahtlose Antennen 1126 von anderen Fahrzeugen über eine drahtlose Verbindung oder indirekt über eine Netzwerkverbindung (z.B. über das Internet) empfangen werden können. In mindestens einer Ausführungsform können direkte Verbindungen durch eine Fahrzeug-zu-Fahrzeug (vehicle-to-vehicle; „V2V“)-Kommunikationsverbindung bereitgestellt werden, während indirekte Verbindungen durch eine Infrastruktur-zu-Fahrzeug (infrastructure-to-vehicle; „I2V“)-Kommunikationsverbindung bereitgestellt werden können. Im Allgemeinen stellt das V2V-Kommunikationskonzept Informationen über die unmittelbar vorausfahrenden Fahrzeuge bereit (z.B. Fahrzeuge unmittelbar vor und in der gleichen Spur wie ein Fahrzeug 1100), während das I2V-Kommunikationskonzept Informationen über weiter entfernten Verkehr liefern kann. In mindestens einer Ausführungsform kann ein CACC-System eine oder beide der 12V- und V2V-Informationsquellen umfassen. In mindestens einer Ausführungsform kann bei gegebener Information der vor einem Fahrzeug 1100 fahrenden Fahrzeuge ein CACC-System zuverlässiger sein und weist das Potenzial auf, die Gleichmäßigkeit des Verkehrsflusses zu verbessern und Stau auf der Straße zu verringern.
-
In mindestens einer Ausführungsform ist ein FCW-System ausgestaltet, um einen Fahrer vor einer Gefahr zu warnen, so dass der Fahrer Korrekturmaßnahmen ergreifen kann. In mindestens einer Ausführungsform verwendet ein FCW-System eine nach vorne gerichtete Kamera und/oder einen oder mehrere RADAR-Sensoren 1160, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrische gekoppelt ist, um eine Fahrerrückkopplung, wie beispielsweise einer Anzeige, einem Lautsprecher und/oder einer Schwingungskomponente, bereitzustellen. In mindestens einer Ausführungsform kann ein FCW-System eine Warnung, wie beispielweise in Form eines Geräusches, einer optischer Warnung, einer Schwingung und/oder einem schnellen Bremsimpuls bereitstellen.
-
In mindestens einer Ausführungsform erkennt ein AEB-System eine drohende Vorwärtskollision mit einem anderen Fahrzeug oder einem anderen Objekt und kann die Bremsen automatisch betätigen, wenn ein Fahrer innerhalb einer bestimmten Zeit oder Abstandsparameter keine Korrekturmaßnahmen ergreift. In mindestens einer Ausführungsform kann ein AEB-System eine oder mehrere nach vorne gerichtete Kameras und/oder einen oder mehrere Radarsensoren 1160 verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind. In mindestens einer Ausführungsform wird, wenn ein AEB-System eine Gefahr erkennt, es zunächst einen Fahrer warnen, um Korrekturmaßnahmen zur Vermeidung einer Kollision zu ergreifen, und wenn ein Fahrer keine Korrekturmaßnahmen ergreift, kann ein AEB-System automatisch Bremsen in einem Bemühen betätigen, eine Auswirkung einer vorhergesagten Kollision zu verhindern oder mindestens abzumildern. In mindestens einer Ausführungsform kann ein AEB-System Techniken, wie beispielsweise dynamische Bremsunterstützung und/oder Bremsen bei drohender Kollision, umfassen.
-
In mindestens einer Ausführungsform stellt ein LDW-System visuelle, akustische und/oder taktile Warnungen bereit, wie beispielsweise Lenkrad- oder Sitzschwingungen, um einen Fahrer zu warnen, wenn ein Fahrzeug 1100 Fahrbahnmarkierungen überquert. In mindestens einer Ausführungsform wird ein LDW-System nicht aktiviert, wenn ein Fahrer ein absichtliches Verlassen der Spur, wie beispielsweise durch Aktivieren eines Blinkers, angibt. In mindestens einer Ausführungsform kann ein LDW-System nach vorne/seitlich gerichtete Kameras verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, das elektrisch mit einer Fahrerrückkopplung gekoppelt ist, wie beispielsweise einer Anzeige, einem Lautsprecher und/oder einer Schwingungskomponente. In mindestens einer Ausführungsform ist ein LKA-System eine Variante eines LDW-Systems. In mindestens einer Ausführungsform sieht ein LKA-System eine Lenkeingabe oder Bremsen vor, um ein Fahrzeug 1100 zu korrigieren, wenn ein Fahrzeug 1100 beginnt, seine Spur zu verlassen.
-
In mindestens einer Ausführungsform erkennt ein BSW-System Fahrzeuge im toten Winkel eines Fahrzeugs und warnt einen Fahrer davor. In mindestens einer Ausführungsform kann ein BSW-System einen visuellen, akustischen und/oder taktilen Alarm bereitstellen, um anzugeben, dass das Zusammenführen oder Wechseln von Spuren unsicher ist. In mindestens einer Ausführungsform kann ein BSW-System eine zusätzliche Warnung ausgeben, wenn ein Fahrer einen Blinker verwendet. In mindestens einer Ausführungsform kann ein BSW-System eine oder mehrere rückseitig gerichtete Kameras und/oder einen oder mehrere RADAR-Sensoren 1160 verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der(das) elektrisch mit einer Fahrerrückkopplung gekoppelt ist, wie beispielsweise einer Anzeige, einem Lautsprecher und/oder einer Schwingungskomponente.
-
In mindestens einer Ausführungsform kann ein RCTW-System eine visuelle, akustische und/oder taktile Benachrichtigung bereitstellen, wenn ein Objekt außerhalb des Rückfahrkamerabereichs erkannt wird, wenn ein Fahrzeug 1100 rückwärtsfährt. In mindestens einer Ausführungsform umfasst ein RCTW-System ein AEB-System, um sicherzustellen, dass die Fahrzeugbremsen betätigt werden, um einen Unfall zu vermeiden. In mindestens einer Ausführungsform kann ein RCTW-System einen oder mehrere nach hinten gerichtete RADAR-Sensoren 1160 verwenden, der(die) mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt ist(sind), der elektrisch mit einer Fahrerrückkopplung, wie beispielsweise einer Anzeige, einem Lautsprecher und/oder einer Schwingungskomponente, gekoppelt ist.
-
In mindestens einer Ausführungsform können herkömmliche ADAS-Systeme für falsch positive Ergebnisse anfällig sein, die für einen Fahrer lästig und störend sein können, jedoch typischerweise nicht katastrophal sind, weil die ADAS-Systeme einen Fahrer warnen und dem Fahrer ermöglichen, zu entscheiden, ob eine Sicherheitsbedingung tatsächlich vorliegt, und entsprechend zu handeln. In mindestens einer Ausführungsform entscheidet ein Fahrzeug 1100 selbst im Falle von widersprüchlichen Ergebnissen, ob es ein Ergebnis von einem Primärcomputer oder einem Sekundärcomputer (z.B. einem ersten Controller oder einem zweiten Controller 1136) beachtet. Beispielsweise kann in mindestens einer Ausführungsform ein ADAS-System 1138 ein Backup- und/oder ein Sekundärcomputer sein, um einem Rationalitätsmodul eines Backup-Computers Wahrnehmungsinformationen zur Verfügung zu stellen. In mindestens einer Ausführungsform kann ein Rationalitätsmonitor des Backup-Computers eine redundante, diverse Software auf Hardwarekomponenten ausführen, um Fehler in der Wahrnehmung und dynamischen Fahraufgaben zu erkennen. In mindestens einer Ausführungsform können Ausgaben von einem ADAS-System 1138 einer Supervisor-MCU bereitgestellt werden. In mindestens einer Ausführungsform bestimmt, wenn Ausgaben von einem Primärcomputer und Ausgaben von einem Sekundärcomputer im Widerspruch stehen, die Supervisor-MCU, wie der Konflikt zu lösen ist, um einen sicheren Betrieb zu gewährleisten.
-
In mindestens einer Ausführungsform kann ein Primärcomputer konfiguriert sein, um einer Supervisor-MCU einen Vertrauenswert zu liefern, der das Vertrauen eines Primärcomputers in das gewählte Ergebnis anzeigt. In mindestens einer Ausführungsform kann, wenn der Vertrauenswert einen Schwellenwert überschreitet, eine Supervisor-MCU der Richtung eines Primärcomputers ungeachtet dessen folgen, ob der Sekundärcomputer ein widersprüchliches oder inkonsistentes Ergebnis liefert. In mindestens einer Ausführungsform kann, wenn ein Vertrauenswert einen Schwellenwert nicht erreicht und wobei Primär- und Sekundärcomputer unterschiedliche Ergebnisse angeben (z.B. einen Konflikt), kann eine Supervisor-MCU zwischen Computern vermitteln, um ein angemessene Ergebnis zu bestimmen.
-
In mindestens einer Ausführungsform kann eine Supervisor-MCU konfiguriert sein, um ein oder mehrere neuronale Netzwerke zu betreiben, das(die) trainiert und konfiguriert ist(sind), um basierend teilweise auf den Ergebnissen von einem Primärcomputers und einem Sekundärcomputer Bedingungen zu bestimmen, unter denen der Sekundärcomputer Fehlalarme liefert. In mindestens einer Ausführungsform kann(können) ein neuronales Netzwerk(e) in einer Supervisor-MCU lernen, wenn einer Ausgabe des Sekundärcomputers vertraut werden kann und wenn nicht. Wenn der Sekundärcomputer in mindestens einer Ausführungsform beispielsweise ein RADAR-basiertes FCW-System ist, kann(können) ein neuronales Netzwerk(e) in der Supervisor-MCU lernen, wenn ein FCW-System metallische Objekte identifiziert, die in Wirklichkeit keine Gefahren sind, wie beispielsweise ein Drainagerost oder eine Schachtabdeckung, die einen Alarm auslöst. In mindestens einer Ausführungsform kann, wenn ein Sekundärcomputer ein kamerabasiertes LDW-System ist, ein neuronales Netzwerk in der Supervisor-MCU lernen, das LDW zu übersteuern, wenn Radfahrer oder Fußgänger anwesend sind und ein Verlassen der Spur tatsächlich das sicherste Manöver ist. In mindestens einer Ausführungsform kann eine Supervisor-MCU mindestens eines von einer DLA oder einer GPU umfassen, die zum Ausführen eines neuronalen Netzwerks(e) mit zugehörigem Speicher geeignet ist. In mindestens einer Ausführungsform kann eine Supervisor-MCU eine Komponente umfassen und/oder als eine Komponente des(der) SoC(s) 1104 enthalten sein.
-
In mindestens einer Ausführungsform kann ein ADAS-System 1138 einen Sekundärcomputer umfassen, der eine ADAS-Funktionalität unter Verwendung herkömmlicher Regeln der Computer-Vision ausführt. In mindestens einer Ausführungsform kann der Sekundärcomputer klassische Computer-Vision-Regeln (wenn-dann) verwenden und das Vorhandensein eines oder mehrerer neuronaler Netzwerke in der Supervisor-MCU kann Zuverlässigkeit, Sicherheit und Leistung verbessern. Beispielsweise macht in mindestens einer Ausführungsform die vielfältige Implementierung und absichtliche Nicht-Identität ein Gesamtsystem insbesondere gegenüber Fehlern fehlertoleranter, die durch eine Funktionalität von Software (oder einer Software-Hardware-Schnittstelle) verursacht werden. Wenn es beispielsweise in mindestens einer Ausführungsform einen Software-Bug oder Fehler in einer auf dem Primärcomputer laufenden Software gibt und ein nicht-identischer Softwarecode, der auf einem Sekundärcomputer läuft, ein konsistentes Gesamtergebnis liefert, dann kann eine Supervisor-MCU mehr Vertrauen aufweisen, dass ein Gesamtergebnis korrekt ist und ein Bug in der Software oder Hardware auf dem Primärcomputer keinen wesentlichen Fehler verursacht.
-
In mindestens einer Ausführungsform kann eine Ausgabe eines ADAS-Systems 1138 in einen Wahrnehmungsblock eines Primärcomputers und/oder in einen dynamischen Fahraufgabenblock eines Primärcomputers eingespeist werden. Wenn in mindestens einer Ausführungsform ein ADAS-System 1138 beispielsweise eine Vorwärts-Zusammenstoß-Warnung aufgrund eines unmittelbar vorausgehenden Objekts angibt, kann ein Wahrnehmungsblock diese Information beim Identifizieren von Objekten verwenden. In mindestens einer Ausführungsform kann ein Sekundärcomputer sein eigenes neuronales Netzwerk aufweisen, das trainiert wird und somit ein Risiko von falschen Positiven verringert, wie hier beschrieben.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ferner ein Infotainment-SoC 1130 umfassen (z.B. ein Infotainmentsystem in einem Fahrzeug (in-vehicle infotainment; IVI)). Obwohl als ein SoC in mindestens einer Ausführungsform veranschaulicht und beschrieben, kann das Infotainmentsystem, in mindestens einer Ausführungsform, möglicherweise kein SoC sein und kann, ohne darauf beschränkt zu sein, zwei oder mehr diskrete Komponenten umfassen. In mindestens einer Ausführungsform kann ein Infotainment-SoC 1130, ohne darauf beschränkt zu sein, eine Kombination aus Hardware und Software umfassen, die verwendet werden kann, um Audio (z.B. Musik, einen persönlichen digitalen Assistenten, Navigationsanweisungen, Nachrichten, Radio usw.), Video (z.B. TV, Filme, Streaming usw.), Telefon (z.B. Freisprechfunktion), Netzwerkkonnektivität (z.B. LTE, WiFi usw.) und/oder Informationsdienste (z.B. Navigationssysteme, Heck-Einpark-Assistenz, ein Funkdatensystem, fahrzeugbezogene Informationen wie beispielsweise Kraftstoffstand, zurückgelegte Gesamtstrecke, Bremskraftstoffstand, Ölstand, Tür auf/zu, Luftfilterinformation usw.) einem Fahrzeug 1100 bereitzustellen. Beispielsweise könnte ein Infotainment-SoC 1130 Radios, Diskettenspieler, Navigationssysteme, Videoplayer, USB- und Bluetooth-Konnektivität, Carputer, In-Car-Entertainment, WiFi, Lenkrad-Audiosteuerungen, Freisprechfunktion, eine Head-Up-Display („HUD“), eine HMI-Anzeige 1134, ein Telematikgerät, ein Bedienfeld (z.B. zur Steuerung und/oder Wechselwirkung mit unterschiedlichen Komponenten, Merkmalen und/oder Systemen) und/oder andere Komponenten umfassen. In mindestens einer Ausführungsform kann ein Infotainment-SoC 1130 ferner verwendet werden, um Informationen (z.B. visuell und/oder akustisch) einem Benutzer(n) eines Fahrzeugs 1100 bereitzustellen, wie beispielsweise Informationen von einem ADAS-System 1138, autonome Fahrinformationen, wie beispielsweise geplante Fahrzeugmanöver, Trajektorien, umgebende Umweltinformationen (z.B. Kreuzungsinformation, Fahrzeuginformation, Straßeninformation usw.) und/oder andere Informationen bereitzustellen.
-
In mindestens einer Ausführungsform kann ein Infotainment-SoC 1130 jede Menge und Art an GPU-Funktionalität umfassen. In mindestens einer Ausführungsform kann ein Infotainment-SoC 1130 über einen Bus 1102 (z.B. CAN-Bus, Ethernet usw.) mit anderen Vorrichtungen, Systemen und/oder Komponenten eines Fahrzeugs 1100 kommunizieren. In mindestens einer Ausführungsform kann ein Infotainment-SoC 1130 mit einer Supervisor-MCU gekoppelt sein, so dass eine GPU des Infotainmentsystems einige Selbstfahrfunktionen in einem Fall übernehmen kann, in dem der(die) primäre(n) Controller 1136 (z.B. die primären und/oder Backup-Computer des Fahrzeugs 1100) versagt(versagen). In mindestens einer Ausführungsform kann ein Infotainment-SoC 1130 ein Fahrzeug 1100 in einen Chauffeur-zu-sicherem-Stoppmodus versetzen, wie hier beschrieben.
-
In mindestens einer Ausführungsform kann ein Fahrzeug 1100 ferner ein Kombiinstrument 1132 umfassen (z.B. ein digitales Armaturenbrett, ein elektronisches Kombiinstrument, eine digitale Instrumententafel usw.). In mindestens einer Ausführungsform kann das Kombiinstrument 1132, ohne darauf beschränkt zu sein, einen Controller und/oder einen Supercomputer (z.B. einen diskreten Controller oder einen Supercomputer) umfassen. In mindestens einer Ausführungsform kann das Kombiinstrument 1132 eine beliebige Anzahl und Kombination eines Satzes von Instrumenten umfassen, wie beispielsweise einen Geschwindigkeitsmesser, einen Kraftstoffstand, einen Öldruck, einen Drehzahlmesser, einen Kilometerzähler, einen Blinker, eine Schaltpositionsanzeige, eine oder mehrere Sicherheitsgurtwarnleuchten, eine oder mehrere Feststellbremswarnleuchten, eine oder mehrere Motorstörungsleuchten, zusätzliches Rückhaltesystem(z.B. Airbag)-Informationen, Beleuchtungssteuerungen, Sicherheitssystemsteuerungen, Navigationsinformationen usw. In einigen Beispielen können Informationen zwischen einem Infotainment-SoC 1130 und einem Kombiinstrument 1132 angezeigt und/oder gemeinsam benutzt werden. In mindestens einer Ausführungsform kann ein Kombiinstrument 1132 als Teil eines Infotainment-SoC 1130 integriert sein oder umgekehrt.
-
Eine Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 werden nachstehend in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in dem System von 11C zum Inferenzieren oder Voraussagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtungsparameter basieren, die unter Verwendung von neuronalen Netzwerktrainingsoperationen, neuronalen Netzwerkfunktionen und/oder Architekturen, oder hier beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet wurden.
-
11D ist ein Systemdiagramm 1176 für die Kommunikation zwischen einem oder mehreren Cloud-basierten Servern und einem autonomen Fahrzeugs 1100 von 11A gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann ein System 1176, ohne darauf beschränkt zu sein, einen oder mehrere Server 1178, ein oder mehrere Netzwerke 1190 sowie eine beliebige Anzahl und Art von Fahrzeugen, einschließlich eines Fahrzeugs 1100, umfassen. In mindestens einer Ausführungsform kann(können) ein Server 1178 mehrere GPUs 1184(A)-1184(H) (hier zusammenfassend als GPUs 1184 bezeichnet), PCIe-Schalter 1182(A)-1182(H) (hier zusammenfassend als PCIe-Schalter 1182 bezeichnet) und/oder CPUs 1180(A)-1180(B) (hier zusammenfassend als CPUs 1180 bezeichnet) umfassen. In mindestens einer Ausführungsform können GPUs 1184, CPUs 1180 und PCIe-Schalter mit Hochgeschwindigkeits-Zwischenverbindungen, wie beispielsweise und ohne darauf beschränkt zu sein, NVLink-Schnittstellen 1188, die von NVIDIA entwickelt wurden, und/oder PCIe-Anschlüssen 1186 verbunden sein. In mindestens einer Ausführungsform sind GPUs 1184 über NVLink und/oder NVSwitch-SoC verbunden und die GPUs 1184 und die PCIe-Schalter 1182 sind über PCIe-Zwischenverbindungen verbunden. Obwohl in mindestens einer Ausführungsform acht GPUs 1184, zwei CPUs 1180 und zwei PCIe-Schalter veranschaulicht sind, ist dies nicht bestimmt, einschränkend zu sein. In mindestens einer Ausführungsform kann jeder (der) Server 1178, ohne darauf beschränkt zu sein, eine beliebige Anzahl von GPUs 1184, CPUs 1180 und/oder PCIe-Schalter umfassen. Beispielsweise könnten in mindestens einer Ausführungsform ein oder mehrere Server 1178 jeweils acht, sechzehn, zweiunddreißig und/oder mehr GPUs 1184 umfassen.
-
In mindestens einer Ausführungsform kann(können) ein Server 1178 über ein Netzwerk(e) 1190 und von Fahrzeugen Bilddaten empfangen, die Bilder repräsentieren, die unerwartete oder veränderte Straßenbedingungen zeigen, wie beispielsweise kürzlich begonnene Straßenarbeiten. In mindestens einer Ausführungsform kann(können) ein Server 1178 über ein Netzwerk(e) 1190 und an die Fahrzeuge neuronale Netzwerke 1192, aktualisiert oder anderweitig, neuronale Netzwerke 1192 und/oder Karteninformation 1194 übertragen, einschließlich, ohne darauf beschränkt zu sein, Informationen hinsichtlich Verkehrs- und Straßenzustände. In mindestens einer Ausführungsform kann(können) Aktualisierungen der Karteninformationen 1194 Aktualisierungen für die HD-Karte 1122 umfassen, wie beispielsweise Informationen über Baustellen, Schlaglöcher, Umwege, Überschwemmungen und/oder andere Hindernisse umfassen. In mindestens einer Ausführungsform können sich neuronale Netzwerke 1192 und/oder Karteninformationen 1194 aus einem neuen Training und/oder aus Erfahrungen, die durch Daten aus einer beliebigen Anzahl von Fahrzeugen in der Umgebung repräsentiert werden, und/oder basierend auf einem in einem Rechenzentrum durchgeführten Training (z.B. unter Verwendung des(der) Servers 1178 und/oder eines anderen/anderer Servers) ergeben haben.
-
In mindestens einer Ausführungsform kann(können) ein Server 1178 verwendet werden, um Modelle für maschinelles Lernen (z.B. neuronale Netzwerke) basierend teilweise auf Trainingsdaten zu trainieren. In mindestens einer Ausführungsform können Trainingsdaten durch Fahrzeuge und/oder in einer Simulation (z.B. mit einer Spielmaschine) erzeugt werden. In mindestens einer Ausführungsform werden beliebige viele Trainingsdaten mit einer Kennzeichnung versehen (z.B., wenn das neuronale Netzwerk von überwachtem Lernen profitiert) und/oder durchläuft eine andere Vorverarbeitung. In mindestens einer Ausführungsform werden beliebig viele Trainingsdaten nicht mit einer Kennzeichnung versehen und/oder vorverarbeitet (z.B., wenn das neuronale Netzwerk kein überwachtes Lernen erfordert). In mindestens einer Ausführungsform können, sobald Modelle für maschinelles Lernen trainiert sind, Modelle für maschinelles Lernen von Fahrzeugen verwendet werden (z.B. an Fahrzeuge über ein Netzwerk(e) 1190 übertragen), und/oder Modelle für maschinelles Lernen können von einem Server(n) 1178 zur Fernüberwachung von Fahrzeugen verwendet werden.
-
In mindestens einer Ausführungsform kann(können) ein Server 1178 Daten von Fahrzeugen empfangen und Daten auf aktuelle neuronale Echtzeit-Netzwerke für intelligente Echtzeit-Inferenzierung anwenden. In mindestens einer Ausführungsform kann(können) ein Server 1178 Deep-Learning-Supercomputer und/oder von einer oder mehreren GPUs 1184 angetriebene dedizierte KI-Computer umfassen, wie beispielsweise DGX- und DGX-Station-Maschinen, die von NVIDIA entwickelt wurden. In mindestens einer Ausführungsform kann(können) ein Server 1178 jedoch eine Deep-Learning-Infrastruktur umfassen, die CPUangetriebene Rechenzentren verwendet.
-
In mindestens einer Ausführungsform kann eine Deep-Learning-Infrastruktur von einem Server(n) 1178 in der Lage sein, schnell und in Echtzeit zu inferenzieren, und kann diese Fähigkeit nutzen, um die Gesundheit der Prozessoren, der Software und/oder der zugehörigen Hardware im Fahrzeug 1100 zu bewerten und zu überprüfen. Beispielsweise kann in mindestens einer Ausführungsform eine Deep-Learning-Infrastruktur periodische Aktualisierungen von einem Fahrzeug 1100 erhalten, wie beispielsweise eine Folge von Bildern und/oder Objekten, die ein Fahrzeug 1100 in dieser Folge von Bildern lokalisiert hat (z.B. durch Computer-Vision und/oder andere Techniken des maschinellen Lernens zur Klassifizierung von Lernobjekten). In mindestens einer Ausführungsform kann die Deep-Learning-Infrastruktur ihr eigenes neuronales Netzwerk betreiben, um Objekte zu kennzeichnen und sie mit den von einem Fahrzeug 1100 identifizierten Objekten zu vergleichen, und wenn Ergebnisse nicht übereinstimmen und eine Deep-Learning-Infrastruktur zu dem Schluss kommt, dass KI im Fahrzeug 1100 nicht funktioniert, dann kann(können) ein Server 1178 ein Signal an ein Fahrzeug 1100 senden, das einen ausfallsicheren Computer eines Fahrzeugs 1100 anweist, Steuerung zu übernehmen, Passagiere zu benachrichtigen und ein sicheres Parkmanöver durchzuführen.
-
In mindestens einer Ausführungsform kann(können) ein Server 1178 eine oder mehrere GPU(s) 1184 und einen oder mehrere programmierbare Inferenzbeschleuniger (z.B. NVIDIA's TensorRT 3 Vorrichtungen) umfassen. In mindestens einer Ausführungsform kann eine Kombination aus GPU-angetrieben Servern und Inferenzbeschleunigung Echtzeit-Reaktionsfähigkeit möglich machen. In mindestens einer Ausführungsform, wie beispielsweise wo Leistung weniger kritisch ist, können Server, die von CPUs, FPGAs und anderen Prozessoren betrieben werden, zur Inferenzierung verwendet werden. In mindestens einer Ausführungsform werden Hardwarestrukturen, um eine oder mehrere Ausführungsformen durchzuführen. Einzelheiten hinsichtlich einer Hardwarestruktur(en) 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt.
-
COMPUTERSYSTEME
-
12 ist ein Blockdiagramm, das ein beispielhaftes Computersystem veranschaulicht, welches ein System mit miteinander verbundenen Vorrichtungen und Komponenten, ein System auf einem Chip (SOC) oder eine Kombination davon sein kann, das mit einem Prozessor gebildet ist, der Ausführungseinheiten zum Ausführen einer Anweisung umfassen kann, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann ein Computersystem 1200, ohne darauf beschränkt zu sein, eine Komponente umfassen, wie beispielsweise einen Prozessor 1202, um Ausführungseinheiten mit Logik zum Ausführen von Algorithmen für Prozessdaten in Übereinstimmung mit der vorliegenden Offenbarung, wie beispielsweise der hier beschriebenen Ausführungsformen, zu benutzen. In mindestens einer Ausführungsform kann das Computersystem 1200 Prozessoren, wie beispielsweise die PENTIUM®-Prozessorfamilie, Xeon™, Itanium®, XScale™ und/oder StrongARM™, Intel® Gore™ oder Intel® Nervana™ Mikroprozessoren, umfassen, die von der Intel Corporation in Santa Clara, Kalifornien, erhältlich sind, obwohl auch andere Systeme (einschließlich PCs mit anderen Mikroprozessoren, Engineering-Arbeitsplätze, Set-Top-Boxen und dergleichen) verwendet werden können. In mindestens einer Ausführungsform kann das Computersystem 1200 eine Version des Betriebssystems WINDOWS ausführen, das bei der Microsoft Corporation in Redmond, Washington erhältlich ist, obwohl auch andere Betriebssysteme (z.B. UNIX und Linux), eingebettete Software und/oder graphische Benutzeroberflächen verwendet werden können.
-
Ausführungsformen können in anderen Geräten wie beispielsweise Handheld-Geräten und Eingebettete-Anwendungen verwendet werden. Einige Beispiele für tragbare bzw. Handheld-Geräte umfassen Mobiltelefone, Internet-Protokoll-Geräte, Digitalkameras, persönliche digitale Assistenten („PDAs“) und Handheld-PCs. In mindestens einer Ausführungsform können eingebettete Anwendungen einen Mikrocontroller, einen digitalen Signalprozessor („DSP“), ein System auf einem Chip, Netzwerkcomputer („NetPCs“), Set-Top-Boxen, Netzwerk-Hubs, Wide Area Network („WAN“) Schalter oder jedes andere System umfassen, das eine oder mehrere Anweisungen ausführen kann, gemäß mindestens einer Ausführungsform.
-
In mindestens einer Ausführungsform kann das Computersystem 1200, ohne darauf beschränkt zu sein, den Prozessor 1202 umfassen, der, ohne darauf beschränkt zu sein, eine oder mehrere Ausführungseinheiten 1208 umfassen kann, um in Übereinstimmung mit hier beschriebenen Techniken ein Training eines maschinell lernenden Modells und/oder Inferenzieren durchzuführen. In mindestens einer Ausführungsform ist ein Computersystem 1200 ein Einzelprozessor-Desktop- oder Serversystem, wobei in einer anderen Ausführungsform das Computersystem 1200 jedoch ein Multiprozessorsystem sein kann. In mindestens einer Ausführungsform kann der Prozessor 1202, ohne darauf beschränkt zu sein, einen Mikroprozessor mit komplexem Befehlssatz-Computer („CISC“), einen Mikroprozessor mit reduziertem Befehlssatz („RISC“), einen Mikroprozessor mit sehr langem Befehlswort („VLIW“), einen Prozessor, der eine Kombination von Befehlssätzen implementiert, oder jede andere Prozessorvorrichtung, wie beispielsweise einen digitalen Signalprozessor, umfassen. In mindestens einer Ausführungsform kann der Prozessor 1202 mit einem Prozessorbus 1210 gekoppelt sein, der Datensignale zwischen dem Prozessor 1202 und anderen Komponenten in dem Computersystem 1200 übertragen kann.
-
In mindestens einer Ausführungsform kann der Prozessor 1202, ohne darauf beschränkt zu sein, einen internen Level-1 („L1“)-Cache-Speicher („Cache“) 1204 umfassen. In mindestens einer Ausführungsform kann der Prozessor 1202 einen einzelnen internen Cache oder mehrere Ebenen eines internen Caches aufweisen. In mindestens einer Ausführungsform kann sich der Cache-Speicher extern zu dem Prozessor 1202 befinden. Andere Ausführungsformen können je nach Implementierung und Bedarf auch eine Kombination aus internen und externen Caches umfassen. In mindestens einer Ausführungsform kann eine Registerdatei 1206 verschiedene Arten von Daten in verschiedenen Registern speichern, einschließlich, jedoch nicht beschränkt auf, Ganzzahlregister, Gleitkommaregister, Zustandsregister und einem Befehlszeigerregister.
-
In mindestens einer Ausführungsform befindet sich die Ausführungseinheit 1208, einschließlich, jedoch ohne darauf beschränkt zu sein, Logik zum Ausführen von Ganzzahl- und Gleitkommaoperationen ebenfalls in dem Prozessor 1202. In mindestens einer Ausführungsform kann der Prozessor 1202 auch einen Mikrocode („ucode“)-Nur-LeseSpeicher („ROM“) umfassen, der Mikrocode für bestimmte Makrobefehle speichert. In mindestens einer Ausführungsform kann die Ausführungseinheit 1208 Logik zur Handhabung eines gepackten Befehlssatzes 1209 umfassen. In mindestens einer Ausführungsform können, indem der gepackte Befehlssatz 1209 in den Befehlssatz eines Universalprozessors aufgenommen wird, zusammen mit zugehörigen Schaltungen zur Ausführung von Anweisungen Operationen, die von vielen Multimedia-Anwendungen verwendet werden, unter Verwendung von gepackten Daten in einem Universalprozessor 1202 durchgeführt werden. In einer oder mehreren Ausführungsformen können viele Multimedia-Anwendungen beschleunigt und effizienter ausgeführt werden, indem die volle Breite eines Datenbusses des Prozessors für die Ausführung von Operationen auf gepackten Daten verwendet wird, welches die Notwendigkeit eliminieren kann, kleinere Dateneinheiten über den Datenbus des Prozessors zu übertragen, um eine oder mehrere Operationen jeweils Datenelement für Datenelement durchzuführen.
-
In mindestens einer Ausführungsform kann die Ausführungseinheit 1208 auch in Mikrocontrollern, eingebetteten Prozessoren, Graphikvorrichtungen, DSPs und anderen Arten von Logikschaltungen verwendet werden. In mindestens einer Ausführungsform kann das Computersystem 1200, ohne darauf beschränkt zu sein, einen Speicher 1220 umfassen. In mindestens einer Ausführungsform kann der Speicher 1220 als eine Dynamic Random Access Memory („DRAM“)-Vorrichtung, als eine Static Random Access Memory („SRAM“)-Vorrichtung, als eine Flash-Speichervorrichtung oder eine andere Speichervorrichtung implementiert sein. In mindestens einer Ausführungsform kann der Speicher 1220 einen oder mehrere Anweisungen 1219 und/oder Daten 1221 speichern, die durch Datensignale repräsentiert werden, die von dem Prozessor 1202 ausgeführt werden können.
-
In mindestens einer Ausführungsform kann ein Systemlogikchip mit dem Prozessorbus 1210 und dem Speicher 1220 gekoppelt sein. In mindestens einer Ausführungsform kann der Systemlogikchip, ohne darauf beschränkt zu sein, einen Speichercontroller-Hub („MCH“) 1216 umfassen, und der Prozessor 1202 kann über den Prozessorbus 1210 mit dem MCH 1216 kommunizieren. In mindestens einer Ausführungsform kann der MCH 1216 einen Speicherpfad 1218 mit hoher Bandbreite zu dem Speicher 1220 für Befehls- und Datenspeicherung sowie zur Speicherung von Graphikbefehlen, Daten und Texturen bereitstellen. In mindestens einer Ausführungsform kann der MCH 1216 Datensignale zwischen dem Prozessor 1202, dem Speicher 1220 und anderen Komponenten in dem Computersystem 1200 leiten und Datensignale zwischen dem Prozessorbus 1210, dem Speicher 1220 und einer System-E/A-Schnittstelle 1222 überbrücken. In mindestens einer Ausführungsform kann ein Systemlogikchip einen Graphikport zur Kopplung an einen Graphik-Controller bereitstellen. In mindestens einer Ausführungsform kann der MCH 1216 über einen Speicherpfad 1218 mit hoher Bandbreite mit dem Speicher 1220 gekoppelt sein, und eine Graphik-/Video-Karte 1218 kann über eine Accelerated Graphics Port („AGP“) Zwischenverbindung 1214 mit dem MCH 1216 gekoppelt sein.
-
In mindestens einer Ausführungsform kann das Computersystem 1200 die System-E/A-Schnittstelle 1222 als einen proprietärer Hub-Schnittstellenbus verwenden, um den MCH 1216 mit einem E/A-Controller-Hub („ICH“) 1230 zu verbinden. In mindestens einer Ausführungsform kann der ICH 1230 über einen lokalen E/A-Bus direkte Verbindungen zu einigen E/A-Vorrichtungen bereitstellen. In mindestens einer Ausführungsform kann ein lokaler E/A-Bus, ohne darauf beschränkt zu sein, einen Hochgeschwindigkeits-E/A-Bus zum Verbinden von Peripheriegeräten mit dem Speicher 1220, einem Chipsatz und dem Prozessor 1202 umfassen. Beispiele können, ohne darauf beschränkt zu sein, einen Audio-Controller 1229, einen Firmware-Hub („Flash-BIOS“) 1228, einen drahtlosen Transceiver 1226, eine Datenspeicherung 1224, einen Legacy-E/A-Controller 1223 mit Benutzereingabe und Tastaturschnittstellen, einen seriellen Erweiterungsport 1227, wie beispielsweise einen Universal Serial Bus („USB“) Port, und ein Netzwerk-Controller 1234 sein. In mindestens einer Ausführungsform kann die Datenspeicherung 1224 ein Festplattenlaufwerk, ein Diskettenlaufwerk, eine CD-ROM-Vorrichtung, eine Flash-Speicher-Vorrichtung oder eine andere Massenspeicherungsvorrichtung umfassen.
-
In mindestens einer Ausführungsform veranschaulicht 12 ein System, welches miteinander verbundene Hardware-Vorrichtungen oder „Chips“ umfasst, während in anderen Ausführungsformen 12 ein beispielhaftes System-on-Chip („SoC“) darstellen kann. In mindestens einer Ausführungsform können in 12 veranschaulichte Vorrichtungen mit proprietären Zwischenverbindungen, standardisierten Zwischenverbindungen (z.B. PCIe) oder einer Kombination derselben verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten des Computersystems 1200 unter Verwendung von Compute Express Link (CXL)-Zwischenverbindungen verbunden.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann in dem System von 12 die Inferenzierungs- und/oder Trainingslogik 815 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Computersystem, wie oben beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Computersystem, wie oben beschrieben, einen Speicher umfassen, der ausführbare Anweisungen speichert, die als Ergebnis dessen, dass sie durch einen Prozessor des Computersystem ausgeführt werden, das Computersystem veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
13 ist ein Blockdiagramm, das eine elektronische Vorrichtung 1300 zur Verwendung eines Prozessors 1310 darstellt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die elektronische Vorrichtung 1300 beispielsweise und ohne darauf beschränkt zu sein ein Notebook, ein turmförmig aufgebauter bzw. Tower-Server, ein Rahmengestell- bzw. Rack-Server, ein Einschub- bzw. Blade-Server, ein tragbarer Rechner bzw. Laptop, ein Tischcomputer bzw. Desktop, ein Tablett, ein mobiles Gerät, ein Telefon, ein eingebetteter bzw. Embedded-Computer oder jede andere geeignete elektronische Vorrichtung sein.
-
In mindestens einer Ausführungsform kann die elektronische Vorrichtung 1300, ohne darauf beschränkt zu sein, den Prozessor 1310 umfassen, der kommunikativ mit einer beliebigen geeigneten Anzahl oder Art von Komponenten, Peripheriegeräten, Modulen oder Vorrichtungen gekoppelt ist. In mindestens einer Ausführungsform ist der Prozessor 1310 über einen Bus oder eine Schnittstelle, wie beispielsweise einen I2C-Bus, einen System Management Bus („SMBus“), einen Low Pin Count (LPC)-Bus, eine serielle Peripherieschnittstelle („SPI“), einen High Definition Audio („HDA“)-Bus, einen Serial Advance Technology Attachment („SATA“)-Bus, einen Universal Serial Bus („USB“) (Versionen 1, 2, 3 usw.) oder einen Universal Asynchronous Receiver/Transmitter („UART“)-Bus, gekoppelt. In mindestens einer Ausführungsform veranschaulicht 13 ein System, welches miteinander verbundene Hardware-Vorrichtungen oder „Chips“ umfasst, während in anderen Ausführungsformen 13 ein beispielhaftes System auf einem Chip („SoC“) darstellen kann. In mindestens einer Ausführungsform können die in 13 veranschaulichten Vorrichtungen mit proprietären Verbindungen, standardisierten Zwischenverbindungen (z.B. PCIe) oder einer Kombination davon verbunden sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten von 13 unter Verwendung von Compute Express Link (CXL)-Zwischenverbindungen miteinander verbunden.
-
In mindestens einer Ausführungsform kann 13 eine Anzeige 1324, einen berührungsempfindlichen Bildschirm bzw. Touchscreen 1325, ein berührungsempfindliches Feld bzw. Touchpad 1330, eine Nahfeld-Kommunikationseinheit (Near Field Communications Unit; „NFC“) 1345, einen Sensor-Hub 1340, einen Thermosensor 1346, einen Express-Chipsatz („EC“) 1335, ein Trusted Platform Module („TPM“) 1338, BIOS/Firmware/Flash-Speicher („BIOS, FW-Flash“) 1322, einen DSP 1360, ein Laufwerk („SSD oder HDD“) 1312, wie beispielsweise eine Solid State Disk („SSD“) oder eine Festplatte („HDD“), eine Wireless Local Area Network Unit („WLAN“) 1350, eine Bluetooth-Einheit 1352, eine Wireless Wide Area Network Unit („WWAN“) 1356, ein Global Positioning System (GPS) Einheit 1355, eine Kamera („USB 3.0 Camera“) 1354, wie beispielsweise eine USB 3.0-Kamera, oder eine Low Power Double Data Rate („LPDDR“)-Speichereinheit („LPDDR3“) 1315, die beispielsweise in einem LPDDR3-Standard implementiert ist, umfassen. Diese Komponenten können jeweils in beliebig geeigneter Art und Weise implementiert sein.
-
In mindestens einer Ausführungsform können andere Komponenten durch die hier beschriebenen Komponenten kommunikativ mit dem Prozessor 1310 gekoppelt sein. In mindestens einer Ausführungsform können ein Beschleunigungssensor 1341, ein Umgebungslichtsensor (Ambient Light Sensor; „ALS“) 1342, ein Kompass 1343 und ein Gyroskop 1344 kommunikativ mit dem Sensor-Hub 1340 gekoppelt sein. In mindestens einer Ausführungsform können ein Thermosensor 1339, ein Lüfter 1337, eine Tastatur 1336 und ein Touchpad 1330 kommunikativ mit dem EC 1335 gekoppelt sein. In mindestens einer Ausführungsform können Lautsprecher 1363, Kopfhörer 1364 und ein Mikrofon („mic“) 1365 kommunikativ mit einer Audioeinheit („Audio-Codec und Class D-Amp“) 1362 gekoppelt sein, die wiederum kommunikativ mit dem DSP 1360 gekoppelt sein kann. In mindestens einer Ausführungsform kann eine Audioeinheit 1362, beispielsweise und ohne darauf beschränkt zu sein, einen Audio-Codierer/Decodierer („Codec“) und einen Klasse-D-Verstärker umfassen. In mindestens einer Ausführungsform kann die SIM-Karte („SIM“) 1357 kommunikativ mit der WWAN-Einheit 1356 gekoppelt sein. In mindestens einer Ausführungsform können Komponenten, wie beispielsweise die WLAN-Einheit 1350 und die Bluetooth-Einheit 1352 sowie auch die WWAN-Einheit 1356, in einem Formfaktor der nächsten Generation (Next Generation Form Faktor; „NGFF“) implementiert sein.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in dem System von 13 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Computersystem, wie oben beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Computersystem, wie oben beschrieben, einen Speicher umfassen, der ausführbare Anweisungen speichert, die als Ergebnis dessen, dass sie durch einen Prozessor des Computersystem ausgeführt werden, das Computersystem veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
14 veranschaulicht ein Computersystem 1400 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist das Computersystem 1400 konfiguriert, um verschiedene Prozesse und Verfahren zu implementieren, die überall in dieser Offenbarung beschrieben sind.
-
In mindestens einer Ausführungsform umfasst das Computersystem 1400, ohne darauf beschränkt zu sein, mindestens eine zentrale Verarbeitungseinheit („CPU“) 1402, die mit einem Kommunikationsbus 1410 verbunden ist, der unter Verwendung eines beliebigen geeigneten Protokolls, wie beispielsweise PCI („Peripheral Component Zwischenverbindung“), Peripheral Component Zwischenverbindung Express („PCI-Express“), AGP („Accelerated Graphics Port“), HyperTransport oder eines anderen Busses oder einem oder mehreren Punkt-zu-Punkt-Kommunikationsprotokoll(en) implementiert ist. In mindestens einer Ausführungsform umfasst das Computersystem 1400, ohne darauf beschränkt zu sein, einen Hauptspeicher 1404 und eine Steuerlogik (die z.B. als Hardware, Software oder eine Kombination davon implementiert ist), und Daten werden in dem Hauptspeicher 1404 gespeichert, der die Form eines Direktzugriffsspeichers („RAM“) annehmen kann. In mindestens einer Ausführungsform stellt ein Netzwerkschnittstellen-Teilsystem („Netzwerkschnittstelle“) 1422 eine Schnittstelle zu anderen Rechenvorrichtungen und Netzwerken zum Empfangen von Daten von und Übertragen von Daten an andere Systeme mit dem Computersystem 1400 bereit.
-
In mindestens einer Ausführungsform umfasst das Computersystem 1400 in mindestens einer Ausführungsform, ohne darauf beschränkt zu sein, Eingabevorrichtungen 1408, ein Parallelverarbeitungssystem 1412 und Anzeigevorrichtungen 1406, die unter Verwendung einer herkömmlichen Kathodenstrahlröhre („CRT“), einer Flüssigkristallanzeige („LCD“), Leuchtdioden („LED“), einer Plasmaanzeige oder anderer geeigneter Anzeigetechnologien implementiert sein können. In mindestens einer Ausführungsform wird Benutzereingabe von Eingabegeräten 1428 wie beispielsweise einer Tastatur, einer Maus, einem Touchpad, einem Mikrofon usw. empfangen. In mindestens einer Ausführungsform kann jedes hier beschriebene Modul auf einer einzigen Halbleiterplattform angeordnet sein, um ein Verarbeitungssystem zu bilden.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 im System von 14 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Computersystem, wie oben beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Computersystem, wie oben beschrieben, einen Speicher umfassen, der ausführbare Anweisungen speichert, die als Ergebnis dessen, dass sie durch einen Prozessor des Computersystem ausgeführt werden, das Computersystem veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
15 veranschaulicht ein Computersystem 1500 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das Computersystem 1500, ohne darauf beschränkt zu sein, einen Computer 1510 und einen USB-Stick 1520. In mindestens einer Ausführungsform kann der Computer 1510, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Art eines(von) Prozessor(en) (nicht gezeigt) und einen Speicher (nicht gezeigt) umfassen. In mindestens einer Ausführungsform umfasst der Computer 1510, ohne darauf beschränkt zu sein, einen Server, eine Cloud-Instanz, einen Laptop und einen Desktop-Computer.
-
In mindestens einer Ausführungsform umfasst der USB-Stick 1520, ohne darauf beschränkt zu sein, eine Verarbeitungseinheit 1530, eine USB-Schnittstelle 1540 und eine USB-Schnittstellenlogik 1550. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 1530 ein beliebiges Befehlsausführungssystem, -vorrichtung oder -einrichtung sein, das/die in der Lage ist, Befehle auszuführen. In mindestens einer Ausführungsform kann die Verarbeitungseinheit 1530, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Art von Verarbeitungskernen umfassen (nicht gezeigt). In mindestens einer Ausführungsform umfasst der Verarbeitungskern 1530 eine anwendungsspezifische integrierte Schaltung („ASIC“), die optimiert ist, um jede Menge und Art von Operationen im Zusammenhang mit maschinellem Lernen durchzuführen. Beispielsweise ist in mindestens einer Ausführungsform der Verarbeitungseinheit 1530 eine Tensor-Verarbeitungseinheit („TPC“), die für die Durchführung von Inferenzoperationen des maschinellen Lernens optimiert ist. In mindestens einer Ausführungsform ist die Verarbeitungseinheit 1530 eine Visionsverarbeitungseinheit („VPU“), die optimiert ist, um Machine Vision- und Machine Learning-Inferenzoperationen durchzuführen.
-
In mindestens einer Ausführungsform kann die USB-Schnittstelle 1540 jede beliebige Art von USB-Verbinder oder USB-Buchse sein. Beispielsweise ist in mindestens einer Ausführungsform die USB-Schnittstelle 1540 eine USB 3.0 Typ-C Buchse für Daten und Leistung. In mindestens einer Ausführungsform ist die USB-Schnittstelle 1540 ein USB 3.0 Typ-A-Verbinder. In mindestens einer Ausführungsform kann die USB-Schnittstellenlogik 1550 jede beliebige Menge und Art von Logik umfassen, die es der Verarbeitungseinheit 1530 ermöglicht, über den USB-Verbinder 1540 mit Vorrichtungen (z.B. dem Computer 1510) zu kommunizieren.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann in dem System von 15 die Inferenzierungs- und/oder Trainingslogik 815 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Computersystem, wie oben beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Computersystem, wie oben beschrieben, einen Speicher umfassen, der ausführbare Anweisungen speichert, die als Ergebnis dessen, dass sie durch einen Prozessor des Computersystem ausgeführt werden, das Computersystem veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
16A veranschaulicht eine beispielhafte Architektur, in der mehrere GPUs 1610(1)-1610(N) kommunikativ mit mehreren Mehrkern-Prozessoren 1605(1)-1605(M) über Hochgeschwindigkeitsverbindungen 1640(1)-1640(N) (z.B. Busse, Punkt-zu-Punkt-Zwischenverbindungen, usw.) gekoppelt ist. In einer Ausführungsform unterstützen die Hochgeschwindigkeitsverbindungen 1640(1)-1640(N) einen Kommunikationsdurchsatz von 4GB/s, 30GB/s, 80GB/s oder höher. In mindestens einer Ausführungsform können verschiedene Zwischenverbindungsprotokolle verwendet werden, einschließlich, jedoch nicht beschränkt auf, PCIe 4.0 oder 5.0 und NVLink 2.0. In verschiedenen Figuren stellen („N“) und („M“) positive ganze Zahlen dar, deren Werte von Figur zu Figur unterschiedlich sein können.
-
Außerdem sind in einer Ausführungsform zwei oder mehr GPUs 1610 über Hochgeschwindigkeitsverbindungen 1629(1)-1629(2) miteinander verbunden, die unter Verwendung von ähnlichen oder unterschiedlichen Protokollen/Verbindungen als diejenigen implementiert sein können, die für die Hochgeschwindigkeitsverbindungen 1640(1)-1640(N) verwendet werden. Auf ähnliche Weise können zwei oder mehr Mehrkern-Prozessoren 1605 über eine Hochgeschwindigkeitsverbindung 1628 verbunden sein, welche symmetrische Mehrkern-Prozessor-(SMP)-Busse sein können, die mit 12 GB/s, 30 GB/s, 120 GB/s oder mehr arbeiten. Alternativ kann die gesamte Kommunikation zwischen in 16A gezeigten, verschiedenen Systemkomponenten unter Verwendung derselben Protokolle/Verbindungen (z.B. über eine gemeinsame Zwischenverbindungsarchitektur) ausgeführt werden.
-
In einer Ausführungsform ist jeder Mehrkern-Prozessor 1605 mit einem Prozessorspeicher 1601(1)-1601(M) über die Speicher-Zwischenverbindungen 1626(1)-1626(M) jeweils gekoppelt, und jede GPU 1610(1)-1610(N) ist jeweils über GPU-Speicher-Zwischenverbindungen 1650(1)-1650(N) kommunikativ mit dem GPU-Speicher 1620(1)-1620(N) gekoppelt. In mindestens einer Ausführungsform können die Speicher-Zwischenverbindungen 1626 und 1650 dieselben oder unterschiedliche Speicherzugriffstechnologien nutzen. Beispielsweise und nicht beschränkend können die Prozessorspeicher 1601(1)-1601(M) und GPU-Speicher 1620 flüchtige Speicher wie Dynamic Random Access-Speicher (DRAMs) (einschließlich gestapelter DRAMs), Graphik-DDR-SDRAM (GDDR) (z.B. GDDR5, GDDR6) oder Speicher mit hoher Bandbreite (High Bandwidth Memory; „HBM“) und/oder nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein. In einer Ausführungsform kann ein Teil der Prozessorspeicher 1601 flüchtiger Speicher und ein anderer Teil nichtflüchtiger Speicher sein (z.B. unter Verwendung einer zweistufigen Speicher (2LM)-Hierarchie).
-
Wie hier beschrieben können, obwohl verschiedene Mehrkernprozessoren 1605 und GPUs 1610 physikalisch mit jeweils einem bestimmten Speicher 1601, 1620 gekoppelt sein, und/oder eine vereinheitlichte Speicherarchitektur kann implementiert sein, in welcher ein virtueller Systemadressraum (auch als „effektiver Adressraum“ bezeichnet) auf verschiedene physikalische Speicher verteilt ist. Beispielsweise können Prozessorspeicher 1601(1)-1601(M) jeweils 64 GB Systemspeicheradressraum und GPU-Speicher 1620(1)-1620(N) jeweils 32 GB Systemspeicheradressraum umfassen, welches insgesamt zu 256 GB adressierbarem Speicher resultiert, wenn M=2 und N=4 ist.
-
16B veranschaulicht zusätzliche Einzelheiten für eine Zwischenverbindung zwischen einem Mehrkern-Prozessor 1607 und einem Graphikbeschleunigungsmodul 1646 gemäß einer beispielhaften Ausführungsform. In mindestens einer Ausführungsform kann das Graphikbeschleunigungsmodul 1646 einen oder mehrere GPU-Chips umfassen, die auf einer Verdrahtungskarte integriert sind, welche über eine Hochgeschwindigkeitsverbindung 1640 (z.B. ein PCI-Bus, NVLink usw.) mit dem Prozessor 1607 gekoppelt ist. In mindestens einer Ausführungsform kann das Graphikbeschleunigungsmodul 1646 alternativ auf einem Gehäuse oder Chip mit dem Prozessor 1607 integriert sein.
-
In mindestens einer Ausführungsform umfasst der Prozessor 1607 mehrere Kernen 1660A-1660D jeweils mit einem Translation-Lookaside-Puffer („TLB“) 1661A-1661D und einem oder mehrere Caches 1662A-1662D umfasst. In mindestens einer Ausführungsform können Kerne 1660A-1660D verschiedene andere Komponenten zur Ausführung von Anweisungen und zur Verarbeitung von Daten umfassen, welche nicht veranschaulicht sind. In mindestens einer Ausführungsform können die Caches 1662A-1662D Level-1 (L1)- und Level-2 (L2)-Caches umfassen. Außerdem können ein oder mehrere gemeinsam genutzte Caches 1656 in den Caches 1662A-1662D umfasst sein und von Sätzen von Kernen 1660A-1660D gemeinsam genutzt werden. Eine Ausführungsform des Prozessors 1607 umfasst beispielsweise 24 Kerne jeweils mit seinem eigenen L1-Cache, zwölf gemeinsam genutzten L2-Caches und zwölf gemeinsam genutzten L3-Caches. In dieser Ausführungsform werden ein oder mehrere L2- und L3-Caches von zwei benachbarten Kernen gemeinsam genutzt. In mindestens einer Ausführungsform verbinden sich der Prozessor 1607 und das Graphikbeschleunigungsmodul 1646 mit dem Systemspeicher 1614, welcher die Prozessorspeicher 1601(1)-1601(M) von 16A umfassen kann.
-
In mindestens einer Ausführungsform wird Kohärenz für in verschiedenen Caches 1662A-1662D, 1656 und dem Systemspeicher 1614 gespeicherten Daten und Anweisungen über Inter-Kern-Kommunikation über einen Kohärenzbus 1664 aufrechterhalten. Beispielsweise kann jedem Cache eine Cache-Kohärenz-Logik/Schaltung zugeordnet sein, um als Antwort auf erfasste Lese- oder Schreiboperationen auf bestimmte Cache-Zeilen mit dem Kohärenzbus 1664 zu kommunizieren. In mindestens einer Ausführungsform ist ein Cache-Beobachtungsprotokoll über den Kohärenzbus 1664 implementiert, um Cache-Zugriffe zu beobachten.
-
In mindestens einer Ausführungsform koppelt eine Proxy-Schaltung (PROXY) 1625 das Graphikbeschleunigungsmodul 1646 kommunikativ mit dem Kohärenzbus 1664, so dass das Graphikbeschleunigungsmodul 1646 als ein Gleichgestelltes der Kerne 1660A-1660D an einem Cache-Kohärenzprotokoll teilnehmen kann. Insbesondere bietet eine Schnittstelle (INTF) 1635 Konnektivität zur Proxy-Schaltung 1625 über die Hochgeschwindigkeitsverbindung 1640 und eine Schnittstelle (INTF) 1637 verbindet das Graphikbeschleunigungsmodul 1646 mit der Hochgeschwindigkeitsverbindung 1640.
-
In mindestens einer Ausführungsform stellt eine Beschleuniger-Integrationsschaltung 1636 Cache-Verwaltungs-, Speicherzugriffs-, Kontextverwaltungs- und Unterbrechungsverwaltungsdienste im Namen mehrerer Graphikverarbeitungs-Engines 1631 (1)-1631 (N) des Graphikbeschleunigungsmoduls 1646 bereit. In mindestens einer Ausführungsform können die Graphikverarbeitungs-Engines 1631 (1)-1631 (N) jeweils eine separate Graphikverarbeitungseinheit (GPU) umfassen. In mindestens einer Ausführungsform können die Graphikverarbeitungs-Engines 1631 (1)-1631 (N) alternativ verschiedene Arten von Graphikverarbeitungs-Engines innerhalb einer GPU umfassen, wie beispielsweise Graphikausführungseinheiten, Medienverarbeitungs-Engines (z.B. Video-Codierer/Decodierer), Abtaster und Blit-Engines. In mindestens einer Ausführungsform kann das Graphikbeschleunigungsmodul 1646 eine GPU mit mehreren Graphikverarbeitungs-Engines 1631 (1)-1631 (N) sein, oder die Graphikverarbeitungs-Engines 1631 (1)-1631 (N) können individuelle GPUs sein, die in bzw. auf einem gemeinsamen Gehäuse, einer gemeinsamen Verdrahtungskarte oder einem gemeinsamen Chip integriert sind.
-
In mindestens einer Ausführungsform umfasst die Beschleuniger-Integrationsschaltung 1636 eine Speicherverwaltungseinheit (MMU) 1639 zum Durchführen verschiedener Speicherverwaltungsfunktionen, wie beispielsweise Speicherübersetzungen von virtuell zu physikalisch (auch als Speicherübersetzungen von effektiv zu real bezeichnet) und Speicherzugriffsprotokollen zum Zugriff auf den Systemspeicher 1614. In mindestens einer Ausführungsform kann die MMU 1639 auch einen Translation-Lookaside-Puffer (TLB) (nicht gezeigt) zum Zwischenspeichern von virtuellen/effektiven zu physikalischen/realen Adressübersetzungen umfassen. In mindestens einer Ausführungsform kann ein Cache 1638 Befehle und Daten für effizienten Zugriff durch die Graphikverarbeitungs-Engines 1631(1)-1631(N). In einer Ausführungsform werden die in dem Cache 1638 und den Graphikspeichern (GFX MEM) 1633(1)-1633(M) gespeicherten Daten mit Kerncaches 1662A-1662D, 1656 und dem Systemspeicher 1614 möglicherweise unter Verwendung einer Holeinheit 1644 kohärent gehalten. Wie erwähnt, kann dies über die Proxy-Schaltung 1625 im Namen des Caches 1638 und der Speicher 1633(1)-1633(M) (z.B. Senden von Aktualisierungen an den Cache 1638 mit Bezug auf Modifikationen/Zugriffe auf Cache-Zeilen auf den Prozessor-Caches 1662A-1662D, 1656 und Empfangen von Aktualisierungen von dem Cache 1638) erreicht werden.
-
In mindestens einer Ausführungsform speichert ein Satz von Registern 1645 Kontextdaten für Threads, die von den Graphikverarbeitungs-Engines 1631 (1)-1631 (N) ausgeführt werden, und eine Kontextverwaltungsschaltung 1648 verwaltet Thread-Kontexte. Beispielsweise kann die Kontextverwaltungsschaltung 1648 Speicherungs- und Wiederherstellungs-Operationen durchführen, um Kontexte verschiedener Threads während Kontextwechseln zu speichern und wiederherzustellen (z.B., wenn ein erster Thread gesichert wird und ein zweiter Thread gespeichert wird, so dass ein zweiter Thread von einer Graphikverarbeitungs-Engine ausgeführt werden kann). Beispielsweise kann die Kontextverwaltungsschaltung 1648 bei einem Kontextwechsel aktuelle Registerwerte in einen bestimmten Bereich in dem Speicher speichern (der z.B. durch einen Kontextzeiger identifiziert wird). Bei der Rückkehr zu einem Kontext kann sie dann die Registerwerte wiederherstellen. In einer Ausführungsform empfängt und verarbeitet eine Unterbrechungsverwaltungsschaltung (INTRPT MGMT) 1647 von Systemvorrichtungen empfangene Unterbrechungen.
-
In einer Implementierung werden virtuelle/effektive Adressen von einer Graphikverarbeitungs-Engine 1631 in reale/physikalische Adressen in dem Systemspeicher 1614 durch die MMU 1639 übersetzt. Eine Ausführungsform der Beschleunigerintegrationsschaltung 1636 unterstützt mehrere (z.B. 4, 8, 16) Graphikbeschleunigermodule 1646 und/oder andere Beschleunigungsvorrichtungen. In mindestens einer Ausführungsform kann das Graphikbeschleunigermodul 1646 einer einzelnen Anwendung zugeordnet sein, die auf dem Prozessor 1607 ausgeführt wird, oder kann zwischen mehreren Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform wird eine virtualisierte Graphikausführungsumgebung präsentiert, in welcher Ressourcen der Graphikverarbeitungs-Engines 1631 (1)-1631 (N) von mehreren Anwendungen oder virtuellen Maschinen (VMs) gemeinsam genutzt werden. In mindestens einer Ausführungsform können Ressourcen in „Scheiben“ bzw. „Slices“ unterteilt sein, die basierend auf Verarbeitungsanforderungen und Prioritäten, die mit VMs und/oder Anwendungen verbunden sind, verschiedenen VMs und/oder Anwendungen zugeteilt werden.
-
In mindestens einer Ausführungsform fungiert die Beschleuniger-Integrationsschaltung 1636 als eine Brücke zu einem System für das Graphikbeschleunigungsmodul 1646 und stellt Adressübersetzungs- und Systemspeicher-Cache-Dienste bereit. Außerdem kann die Beschleuniger-Integrationsschaltung 1636 Virtualisierungseinrichtungen für einen Host-Prozessor bereitstellen, um die Virtualisierung von Graphikverarbeitungs-Engines 1631-1632, Interrupts und Speicherverwaltung zu verwalten.
-
In mindestens einer Ausführungsform kann, weil Hardwareressourcen der Graphikverarbeitungs-Engines 1631 (1)-1631 (N) explizit auf einen realen Adressraum abgebildet werden, der von dem Host-Prozessor 1607 gesehen wird, jeder Host-Prozessor diese Ressourcen unter Verwendung eines effektiven Adresswerts direkt adressieren. In mindestens einer Ausführungsform ist eine Funktion der Beschleunigerintegrationsschaltung 1636 die physikalische Trennung der Graphikverarbeitungs-Engines 1631(1)-1631(N), so dass sie einem System als unabhängige Einheiten erscheinen.
-
In mindestens einer Ausführungsform sind ein oder mehrere Graphikspeicher 1633(1)-1633(M) mit jeder der Graphikverarbeitungs-Engines 1631(1)-1631(N) gekoppelt. In mindestens einer Ausführungsform speichern die Graphikspeicher 1633(1)-1633(M) Anweisungen und Daten, die von jeder der Graphikverarbeitungs-Engines 1631(1)-1631(N) verarbeitet werden. In mindestens einer Ausführungsform können die Graphikspeicher 1633(1)-1633(M) flüchtige Speicher, wie beispielsweise DRAMs (einschließlich gestapelter DRAMs), GDDR-Speicher (z.B. GDDR5, GDDR6) oder HBM sein, und/oder können nichtflüchtige Speicher wie 3D XPoint oder Nano-Ram sein.
-
In einer Ausführungsform werden, um den Datenverkehr über die Hochgeschwindigkeitsverbindung 1640 zu verringern, Biasing-Verfahren verwendet, um sicherzustellen, dass Daten, die in den Graphikspeichern 1633(1)-1633(M) gespeichert sind, Daten sind, welche am häufigsten von den Graphikverarbeitungs-Engines 1631 (1)-1631 (N) verwendet werden und vorzugsweise nicht (wenigstens nicht häufig) von den Kernen 1660A-1660D verwendet werden. Auf ähnliche Weise versucht in mindestens einer Ausführungsform ein Biasing-Mechanismus, die von den Kernen (und vorzugsweise nicht von den Graphikverarbeitungs-Engines 1631 (1)-1631 (N)) benötigten Daten in den Caches 1662A-1662D, 1656 und dem Systemspeicher 1614 zu halten.
-
16C veranschaulicht eine weitere beispielhafte Ausführungsform, bei welcher die Beschleunigerintegrationsschaltung 1636 in dem Prozessor 1607 integriert ist. In dieser Ausführungsform kommunizieren Graphikverarbeitungs-Engines 1631 (1)-1631 (N) direkt über die Hochgeschwindigkeitsverbindung 1640 mit der Beschleunigerintegrationsschaltung 1636 über die Schnittstelle 1637 und Schnittstelle 1635 (die wiederum eine beliebige Form von Bus- oder Schnittstellenprotokoll verwenden kann). In mindestens einer Ausführungsform kann die Beschleuniger-Integrationsschaltung 1636 ähnliche Operationen wie diejenigen durchführen, die in Bezug auf 16B beschrieben sind, jedoch potenziell mit einem höheren Durchsatz, da sie in unmittelbarer Nähe zum Kohärenzbus 1664 und den Caches 1662A-1662D, 1656 liegt. Eine Ausführungsform unterstützt unterschiedliche Programmiermodelle, die ein dediziertes Prozessprogrammiermodell (keine Virtualisierung des Graphikbeschleunigungsmoduls) und gemeinsam genutzte Programmiermodelle (mit Virtualisierung) umfassen, welche Programmiermodelle umfassen können, die von der Beschleunigerintegrationsschaltung 1636 gesteuert werden, und Programmiermodelle, welche von dem Graphikbeschleunigungsmodul 1646 gesteuert werden.
-
In mindestens einer Ausführungsform sind die Graphikverarbeitungs-Engines 1631(1)-1631(N) für eine einzelne Anwendung oder einen einzelnen Prozess unter einem einzigen Betriebssystem dediziert. In mindestens einer Ausführungsform kann eine einzelne Anwendung andere Anwendungsanforderungen an die Graphikverarbeitungs-Engines 1631(1)-1631(N) leiten, um eine Virtualisierung innerhalb einer VM/Partition bereitstellen.
-
In mindestens einer Ausführungsform können die Graphikverarbeitungs-Engines 1631(1)-1631(N) von mehreren VM-/Anwendungs-Partitionen gemeinsam genutzt werden. In mindestens einer Ausführungsform können gemeinsam genutzte Modelle einen Systemhypervisor verwenden, um Graphikverarbeitungs-Engines 1631 (1)-1631(N) zu virtualisieren, um einen Zugriff durch jedes Betriebssystem zu ermöglichen. In mindestens einer Ausführungsform für Systeme mit einer einzigen Partition ohne einen Hypervisor sind die Graphikverarbeitungs-Engines 1631(1)-1631 (N) im Besitz eines Betriebssystems. In mindestens einer Ausführungsform kann ein Betriebssystem die Graphikverarbeitungs-Engines 1631(1)-1631(N) virtualisieren, um einen Zugriff auf jeden Prozess oder jede Anwendung zu ermöglichen.
-
In mindestens einer Ausführungsform wählt das Graphikbeschleunigungsmodul 1646 oder eine einzelne Graphikverarbeitungs-Engine 1631(1)-1631(N) ein Prozesselement unter Verwendung eines Prozess-Handle aus. In einer Ausführungsform werden Prozesselemente in dem Systemspeicher 1614 gespeichert und sind unter Verwendung der hier beschriebenen Techniken zur Übersetzung von effektiven Adressen in echte Adressen adressierbar. In mindestens einer Ausführungsform kann ein Prozesshandle ein implementierungsspezifischer Wert sein, der einem Hostprozess bei der Registrierung seines Kontextes mit der Graphikverarbeitungs-Engine 1631 (1)-1631(N) bereitgestellt wird (d.h. Aufruf einer Systemsoftware, um ein Prozesselement zu einer verknüpften Liste von Prozesselementen hinzuzufügen). In mindestens einer Ausführungsform können untere 16 Bits eines Prozess-Handle ein Versatz des Prozesselements innerhalb einer verknüpften Liste von Prozesselementen sein.
-
16D veranschaulicht ein beispielhaftes Beschleunigerintegrations-Slice 1690. In mindestens einer Ausführungsform umfasst ein „Slice“ einen bestimmten Teil der Verarbeitungsressourcen der Beschleunigerintegrationsschaltung 1636. In mindestens einer Ausführungsform speichert ein anwendungseffektiver Adressraum 1682 in dem Systemspeicher 1614 Prozesselemente 1683. In mindestens einer Ausführungsform werden die Prozesselemente 1683 als Antwort auf GPU-Aufrufe 1681 aus den auf dem Prozessor 1607 ausgeführten Anwendungen 1680 gespeichert.. In mindestens einer Ausführungsform enthält ein Prozesselement 1683 den Prozesszustand für die entsprechende Anwendung 1680. Ein in dem Prozesselement 1683 enthaltener Arbeitsdeskriptor (WD) 1684 kann ein einzelner von einer Anwendung angeforderter Auftrag bzw. Job sein oder einen Zeiger auf eine Warteschlange von Aufträgen enthalten. In mindestens einer Ausführungsform ist WD 1684 ein Zeiger auf eine Auftragsanforderungswarteschlange in dem wirksamem Adressraum 1682 einer Anwendung.
-
In mindestens einer Ausführungsform kann als Graphikbeschleunigungsmodul 1646 und/oder einzelne Graphikverarbeitungs-Engines 1631 (1)-1631 (N) können von allen oder einer Teilmenge von Prozessen in einem System gemeinsam genutzt werden. In mindestens einer Ausführungsform kann eine Infrastruktur zum Einrichten des Prozesszustands und zum Senden einer WD 1684 an ein Graphikbeschleunigungsmodul 1646 zum Starten eines Auftrags in einer virtualisierten Umgebung enthalten sein.
-
In mindestens einer Ausführungsform ist ein dediziertes Prozessprogrammierungsmodell implementierungsspezifisch. In mindestens einer Ausführungsform besitzt in diesem Modell ein einzelner Prozess das Graphikbeschleunigungsmodul 1646 oder eine einzelne Graphikverarbeitungs-Engine 1631. In mindestens einer Ausführungsform initialisiert, wenn das Graphikbeschleunigungsmodul 1646 einem einzelnen Prozess gehört, ein Hypervisor die Beschleunigerintegrationsschaltung 1636 für eine besitzende Partition und ein Betriebssystem initialisiert die Beschleunigerintegrationsschaltung 1636 für einen besitzenden eines Prozess, wenn das Graphikbeschleunigungsmodul 1646 zugewiesen wird.
-
In mindestens einer Ausführungsform holt im Betrieb eine WD-Holeinheit 1691 in dem Beschleunigerintegrations-Slice 1690 den nächsten WD 1684, welcher eine Angabe der von einer oder mehreren Graphikverarbeitungs-Engines des Graphikbeschleunigungsmoduls 1646 zu verrichtenden Arbeiten umfasst. In mindestens einer Ausführungsform können Daten aus dem WD 1684 in Registern 1645 gespeichert und von der MMU 1639, der Unterbrechungsverwaltungsschaltung 1647 und/oder der Kontextverwaltungsschaltung (CONTEXT MGMT) 1648 wie veranschaulicht verwendet werden. Eine Ausführungsform der MMU 1639 beinhaltet beispielsweise eine Segment-/Seiten-Durchlauf-Schaltungsanordnung zum Zugreifen auf Segment-/Seitentabellen 1686 innerhalb eines virtuellen Adressraums 1685 des Betriebssystems (OS). In mindestens einer Ausführungsform kann die Unterbrechungsverwaltungsschaltung 1647 Unterbrechungsereignisse 1692 verarbeiten, die von dem Graphikbeschleunigungsmodul 1646 empfangen werden. In mindestens einer Ausführungsform wird bei der Durchführung von Graphikoperationen eine von einer Graphikverarbeitungs-Engine 1631(1)-1631(N) erzeugte effektive Adresse 1693 von der MMU 1639 in eine reale Adresse übersetzt.
-
In einer Ausführungsform wird ein und derselbe Satz von Registern
1645 für jede Graphikverarbeitungs-Engine
1631(1)-1631(N) und/oder das Graphikbeschleunigungs-Modul
1646 dupliziert und kann von einem Hypervisor oder Betriebssystem initialisiert werden. Jedes dieser duplizierten Register kann in einem Beschleunigerintegrations-Slice
1690 umfasst sein. Beispielhafte Register, die von einem Hypervisor initialisiert werden können, werden in Tabelle 1 gezeigt.
Tabelle 1 - Hypervisor-initialisierte Register
Register | Beschreibung |
1 | Slice-Steuerregister |
2 | Zeiger auf reale Adresse (RA) des Bereichs geplanter Prozesse |
3 | Register für die Übersteuerung von Berechtigungsmasken |
4 | Versatz Unterbrechungsvektortabelleneintrag |
5 | Grenze Unterbrechungsvektortabelleneintrag |
6 | Zustandsregister |
7 | ID der logischen Partition |
8 | Zeiger auf reale Adresse (RA) des Hypervisor- |
| Beschleunigerauslastungseintrags |
9 | Speicherbeschreibungsregister |
-
Beispielhafte Register, die von einem Betriebssystem initialisiert werden können, werden in Tabelle 2 gezeigt.
Tabelle 2 - Betriebssystem-initialisierte Register
Register | Beschreibung |
1 | Prozess- und Thread-Identifikation |
2 | Zeiger auf effektive Adresse (EA) des Kontext- |
| Sichern/Wiederherstellens |
3 | Zeiger auf virtuelle Adresse (VA) des Beschleunigerauslastungseintrags |
4 | Zeiger auf virtuelle Adresse (VA) der Speichersegmenttabelle |
5 | Berechtigungsmaske |
6 | Arbeitsdeskriptor |
-
In mindestens einer Ausführungsform ist jeder WD 1684 spezifisch für ein bestimmtes Graphikbeschleunigungsmodul 1646 und/oder Graphikverarbeitungs-Engines 1631(1)-1631(N). In mindestens einer Ausführungsform enthält er alle Informationen, die von einer Graphikverarbeitungs-Engine 1631(1)-1631(N) zum Verrichten von Arbeit benötigt werden, oder er kann ein Zeiger auf einen Speicherort sein, bei dem eine Anwendung eine Befehlswarteschlange für abzuschließende Arbeiten eingerichtet hat.
-
16E veranschaulicht zusätzliche Einzelheiten für eine beispielhafte Ausführungsform eines gemeinsam genutzten Modells. Diese Ausführungsform umfasst einen Hypervisor-Real-Adressraum 1698, in welchem eine Prozesselementliste 1699 gespeichert ist. Der Hypervisor-Real-Adressraum 1698 ist über einen Hypervisor 1696 zugänglich, welcher Graphikbeschleunigungsmodul-Engines für das Betriebssystem 1695 virtualisiert.
-
In mindestens einer Ausführungsform ermöglichen gemeinsam genutzte Programmiermodelle die Verwendung eines Graphikbeschleunigungsmoduls 1646 für alle oder eine Teilmenge von Prozessen aus allen oder einer Teilmenge von Partitionen in einem System. Es gibt zwei Programmiermodelle, bei denen das Graphikbeschleunigungsmodul 1646 von mehreren Prozessen und Partitionen gemeinsam genutzt wird: zeit-sliced gemeinsam genutzt und graphikorientiert gemeinsam genutzt.
-
In diesem Modell besitzt der Systemhypervisor 1696 das Graphikbeschleunigungsmodul 1646 und stellt seine Funktion allen Betriebssystemen 1695 zur Verfügung. Damit ein Graphikbeschleunigungsmodul 1646 eine Virtualisierung durch den Systemhypervisor 1696 unterstützen kann, kann das Graphikbeschleunigungsmodul 1646 wie folgt eingesetzt werden:
- 1) Die Auftragsanforderung einer Anwendung muss autonom sein (d.h. der Zustand braucht zwischen Aufträgen nicht aufrechterhalten zu werden), oder das Graphikbeschleunigungsmodul 1646 muss einen Mechanismus zum Speichern und Wiederherstellen von Kontext bereitstellen.
- 2) Das Graphikbeschleunigungsmodul 1646 garantiert, dass die Auftragsanforderung einer Anwendung in einer bestimmten Zeitspanne abgeschlossen wird, einschließlich etwaiger Übersetzungsfehler, oder das Graphikbeschleunigungsmodul 1646 bietet eine Möglichkeit, der Verarbeitung eines Auftrags zuvorzukommen.
- 3) Dem Graphikbeschleunigungsmodul 1646 muss Fairness zwischen Prozessen garantiert werden, wenn es in einem gezielten, gemeinsam genutzten Programmiermodell arbeitet.
-
In mindestens einer Ausführungsform muss die Anwendung 1680 einen Systemaufruf des Betriebssystems 1695 mit einem Typ des Graphikbeschleunigungsmoduls 1646, einem Arbeitsdeskriptor (WD), einem Wert eines Berechtigungsmaskenregisters (AMR) und einem Zeiger auf einen Kontext-Speicher-/Wiederherstellungsbereich (CSRP) durchführen. In mindestens einer Ausführungsform beschreibt der Typ des Graphikbeschleunigungsmoduls 1646 eine Soll-Beschleunigungsfunktion für einen Systemaufruf. In mindestens einer Ausführungsform kann der Typ des Graphikbeschleunigungsmoduls 1646 ein systemspezifischer Wert sein. In mindestens einer Ausführungsform ist der WD speziell für das Graphikbeschleunigungsmodul 1646 formatiert und kann in einer Form eines Befehls des Graphikbeschleunigungsmoduls 1646, eines effektiven Adresszeigers auf eine benutzerdefinierte Struktur, eines effektiven Adresszeigers auf eine Befehlswarteschlange oder einer beliebigen anderen Datenstruktur zur Beschreibung der von dem Graphikbeschleunigungsmodul 1646 auszuführenden Arbeiten vorliegen.
-
In einer Ausführungsform ist ein AMR-Wert ein AMR-Zustand, der für einen aktuellen Prozess zu verwenden ist. In mindestens einer Ausführungsform ist ein an ein Betriebssystem übergebener Wert vergleichbar mit einer Anwendung, die ein AMR einstellt. In mindestens einer Ausführungsform kann, falls die Implementierungen der Beschleunigerintegrationsschaltung 1636 und des Graphikbeschleunigungsmoduls 1646 ein Benutzerberechtigungsmasken-Übersteuerungsregister (User Authority Mask Override Register; „UAMOR“) nicht unterstützen, ein Betriebssystem einen aktuellen UAMOR-Wert auf einen AMR-Wert anwenden, bevor es einen AMR in einem Hypervisor-Aufruf übergibt. Der Hypervisor 1696 kann optional einen aktuellen Berechtigungsmasken-Übersteuerungsregister (Authority Mask Override Register; AMOR)-Wert anwenden, bevor er ein AMR in das Prozesselement 1683 platziert. In mindestens einer Ausführungsform ist CSRP eines von Registern 1645, die eine effektive Adresse eines Bereichs im Adressraum 1682 einer Anwendung für das Graphikbeschleunigungsmodul 1646 zum Speichern und Wiederherstellen des Kontextzustands enthalten. In mindestens einer Ausführungsform ist dieser Zeiger optional, falls zwischen Aufträgen kein Zustand gespeichert werden muss, oder falls einem Auftrag zuvorgekommen wird. In mindestens einer Ausführungsform kann der Kontext-Speicherungs-/Wiederherstellungs-Bereich als fester Systemspeicher dienen.
-
Bei Empfangen eines Systemaufrufs kann das Betriebssystem
1695 verifizieren, dass die Anwendung
1680 registriert ist und die Berechtigung zur Verwendung des Graphikbeschleunigungsmoduls
1646 erhalten hat. In mindestens einer Ausführungsform ruft das Betriebssystem
1695 dann den Hypervisor
1696 mit den in Tabelle 3 gezeigten Informationen auf.
Tabelle 3 - Parameter für Hypervisor-Aufruf durch Betriebssystem
Parameter | Beschreibung |
1 | Ein Arbeitsdeskriptor (WD) |
2 | Ein Berechtigungsmaskenregister (AMR)-Wert (potenziell maskiert). |
3 | Ein Zeiger auf eine effektive Adresse (EA) des Kontext-Speicherungs-/Wiederherstellungs-Bereichs (CSRP) |
4 | Eine Prozess-ID (PID) und eine optionale Thread-ID (TID). |
5 | Ein Zeiger auf eine virtuelle Adresse (VA) des Beschleunigerauslastungseintrags (AURP) |
6 | Zeiger auf virtuelle Adresse der Speichersegmenttabelle (SSTP) |
7 | Eine logische Unterbrechungsdienstnummer (LISN) |
-
In mindestens einer Ausführungsform verifiziert bei Empfangen eines Hypervisoraufrufs der Hypervisor
1696, dass das Betriebssystem
1695 registriert hat und berechtigt ist, das Graphikbeschleunigungsmodul
1646 zu verwenden. In mindestens einer Ausführungsform stellt der Hypervisor
1696 dann das Prozesselement
1683 in eine verknüpfte Liste von Prozesselementen für einen Typ eines entsprechendes Graphikbeschleunigungsmodul
1646 ein. In mindestens einer Ausführungsform kann ein Prozesselement in Tabelle 4 gezeigte Informationen umfassen.
Tabelle 4 - Informationen zu Prozesselementen
Element | Beschreibung |
1 | Ein Arbeitsdeskriptor (WD) |
2 | Ein Berechtigungsmaskenregister (AMR)-Wert (potenziell maskiert) |
3 | Ein Zeiger auf eine effektive Adresse (EA) des Kontext-Speicherungs-/Wiederherstellungs-Bereichs (CSRP) |
4 | Eine Prozess-ID (PID) und eine optionale Thread-ID (TID) |
5 | Ein Zeiger auf eine virtuelle Adresse (VA) des Beschleunigerauslastungseintrags (AURP) |
6 | Zeiger auf virtuelle Adresse der Speichersegmenttabelle (SSTP) |
7 | Eine logische Unterbrechungsdienstnummer (LISN) |
8 | Unterbrechungsvektortabelle, abgeleitet aus Hypervisor-Aufrufparametern |
9 | Ein Zustandsregister (SR)-Wert |
10 | Eine logische Partitions-ID (LPID) |
11 | Ein Zeiger auf eine reale Adresse (RA) des Hypervisor-Beschleunigerauslastungseintrags |
12 | Speicherdeskriptorregister (SDR) |
-
In mindestens einer Ausführungsform initialisiert der Hypervisor mehrere Register 1645 des Beschleunigerintegrations-Slice 1690.
-
Wie in 16F veranschaulicht, wird in mindestens einer Ausführungsform ein vereinigter Speicher verwendet, der über einen gemeinsamen virtuellen Speicheradressraum adressierbar ist, der für den Zugriff auf physikalische Prozessorspeicher 1601 (1)-1601 (N) und GPU-Speicher 1620(1)-1620(N) verwendet wird. In dieser Implementierung verwenden Operationen, die auf GPUs 1620(1)-1620(N) ausgeführt werden, ein und denselben virtuellen/effektiven Speicheradressraum, um auf die Prozessorspeicher 1601 (1)-1601 (N) zuzugreifen und umgekehrt, wodurch die Programmierbarkeit vereinfacht wird. In mindestens einer Ausführungsform ist ein erster Abschnitt eines virtuellen/effektiven Adressraums dem Prozessorspeicher 1601, ein zweiter Abschnitt dem zweiten Prozessorspeicher 1602, ein dritter Abschnitt dem GPU-Speicher 1612 zugeteilt, und so weiter. In mindestens einer Ausführungsform wird dadurch ein gesamter virtueller/effektiver Speicherraum (manchmal auch als ein effektiver Adressraum bezeichnet) über jeden der Prozessorspeicher 1601 und GPU-Speicher 1620 hinweg verteilt, so dass jeder Prozessor oder jede GPU auf jeden physikalischen Speicher zugreifen kann, wobei eine virtuelle Adresse auf diesen Speicher abgebildet wird.
-
In einer Ausführungsform stellen die Bias/Kohärenzverwaltungs-Schaltungen 1694A-1694E innerhalb einer oder mehrerer MMUs 1639A-1639E die Cache-Kohärenz zwischen Caches eines oder mehrerer Host-Prozessoren (z.B. 1605) und den GPUs 1610 sicher und implementieren Biasing-Techniken, die physikalische Speicher angeben, in welchen bestimmte Arten von Daten gespeichert werden sollten. In mindestens einer Ausführungsform können, während in 16F mehrere Instanzen der Bias-/Kohärenzverwaltungsschaltungen 1694A-1694E veranschaulicht sind, die Bias-/Kohärenzschaltungen innerhalb einer MMU eines oder mehrerer Hostprozessoren 1605 und/oder innerhalb der Beschleunigerintegrationsschaltung 1636 implementiert sein.
-
Eine Ausführungsform ermöglicht GPU-Speichern 1620 als Teil des Systemspeichers abgebildet zu werden und unter Verwendung einer gemeinsam genutzten Technologie virtuellen Speichers (Shared Virtual Memory; SVM) darauf zugegriffen zu werden, ohne jedoch Leistungseinbußen im Zusammenhang mit voller Systemcache-Kohärenz zu erleiden. In mindestens einer Ausführungsform bietet die Möglichkeit, auf den an die GPU gebundenen Speicher 1620 als Systemspeicher ohne lästigen Cachekohärenz-Overhead zuzugreifen, eine vorteilhafte Betriebsumgebung für GPU-Entlastung. Diese Anordnung ermöglicht Software des Host-Prozessors 1605, Operanden einzurichten und ohne den Aufwand traditioneller E/A-DMA-Datenkopien auf Rechenergebnisse zuzugreifen. In mindestens einer Ausführungsform beinhalten derartige traditionelle Kopien Treiberaufrufe, Unterbrechungen bzw. Interrupts und Memory Mapped I/O (MMIO)-Zugriffe, die im Vergleich zu einfachen Speicherzugriffen alle ineffizient sind. In mindestens einer Ausführungsform kann eine Fähigkeit, auf den an die GPU gebundenen Speicher 1620 ohne Cache-Kohärenz-Overheads zuzugreifen, entscheidend für die Ausführungszeit einer entlasteten Berechnung sein. In mindestens einer Ausführungsform kann in Fällen mit wesentlichem Streaming-Speicherschreibe-Datenaufkommen beispielsweise der Cache-Kohärenz-Overhead eine effektive Schreibbandbreite, die von einer GPU 1610 gesehen wird, beträchtlich verringern. In mindestens einer Ausführungsform können die Effizienz der Operandeneinrichtung, die Effizienz des Zugriffs auf Ergebnisse und die Effizienz der Berechnung durch die GPU eine Rolle bei der Bestimmung der Effektivität einer GPU-Entlastung spielen.
-
In mindestens einer Ausführungsform wird die Auswahl von GPU-Bias und Host-Prozessor-Bias durch eine Bias-Tracker-Datenstruktur gesteuert. In mindestens einer Ausführungsform kann beispielsweise eine Bias-Tabelle verwendet werden, die eine Seitengranularstruktur sein kann (d.h. auf eine Granularität einer Speicherseite gesteuert wird), die 1 oder 2 Bit pro GPU-gebundener Speicherseite enthält. In mindestens einer Ausführungsform kann eine Bias-Tabelle in einem gestohlenen Speicherbereich eines oder mehrerer GPU-gebundener Speicher 1620 mit oder ohne einen Bias-Cache in einer GPU 1610 implementiert sein (z.B. um häufig/kürzlich verwendete Einträge einer Bias-Tabelle zwischenzuspeichern). Alternativ kann in mindestens einer Ausführungsform eine gesamte Bias-Tabelle innerhalb einer GPU aufrechterhalten werden.
-
In mindestens einer Ausführungsform wird auf einen Bias-Tabelleneintrag zugegriffen, der jedem Zugriff auf den GPU-gebundenen Speicher 1620 zugeordnet ist, bevor tatsächlich auf einen GPU-Speicher zugegriffen wird, welcher die folgenden Operationen veranlasst. Zunächst werden lokale Anfragen von einer GPU 1610, die ihre Seite in GPU-Bias finden, direkt an einen entsprechenden GPU-Speicher 1620 weitergeleitet. In mindestens einer Ausführungsform werden lokale Anfragen von einer GPU, die ihre Seite in Host-Bias finden, an den Prozessor 1605 weitergeleitet (z.B. über eine Hochgeschwindigkeitsverbindung, wie hier beschrieben). In mindestens einer Ausführungsform beenden Anfragen von dem Prozessor 1605, die eine angeforderte Seite in Hostprozessor-Bias finden, eine Anfrage wie ein normales Lesen des Speichers. Alternativ können Anfragen, die an eine Seite mit GPU-Bias gerichtet sind, an eine GPU 1610 weitergeleitet werden. In mindestens einer Ausführungsform kann eine GPU dann eine Seite in einen Hostprozessor-Bias überführen, wenn sie derzeit keine Seite verwendet. In mindestens einer Ausführungsform kann ein Bias-Zustand einer Seite entweder durch einen softwarebasierten Mechanismus, einen hardwaregestützten softwarebasierten Mechanismus oder, für eine begrenzte Anzahl von Fällen, einen rein hardwarebasierten Mechanismus geändert werden.
-
In mindestens einer Ausführungsform benutzt ein Mechanismus zum Ändern des Bias-Zustands einen API-Aufruf (z.B. OpenCL), welcher wiederum den Gerätetreiber einer GPU aufruft, welcher wiederum eine Nachricht an eine GPU sendet (oder einen Befehlsdeskriptor in eine Warteschlange stellt), der sie anweist, einen Bias-Zustand zu ändern und, für einige Übergänge, eine Cache-Leerungs-Operation in einem Host durchzuführen. In mindestens einer Ausführungsform wird eine Cache-Leerungsoperation für einen Übergang von Bias des Host-Prozessors 1605 zur Bias der GPU verwendet, nicht jedoch für einen entgegengesetzten Übergang.
-
In einer Ausführungsform wird Cache-Kohärenz durch vorübergehendes Rendern von Seiten mit GPU-Bias, die von dem Hostprozessor 1605 nicht zwischengespeichert werden können, aufrechterhalten. Um auf diese Seiten zuzugreifen, kann der Prozessor 1605 Zugriff von der GPU 1610 anfordern, welche den Zugriff sofort gewähren kann oder auch nicht. Um die Kommunikation zwischen Prozessor 1605 und GPU 1610 zu verringern, ist es somit vorteilhaft, sicherzustellen, dass Seiten mit GPU-Bias diejenigen sind, die von einer GPU, jedoch nicht von dem Hostprozessor 1605 benötigt werden und umgekehrt.
-
Eine Hardwarestruktur(en) 815 wird(en) verwendet, um eine oder mehrere Ausführungsformen auszuführen. Einzelheiten hinsichtlich einer Hardwarestruktur(en) 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt.
-
17 veranschaulicht beispielhaft integrierte Schaltungen und zugehörige Graphikprozessoren, die unter Verwendung von einem oder mehreren IP-Kernen hergestellt sein können, gemäß verschiedenen hier beschriebenen Ausführungsformen. Zusätzlich zu dem, was veranschaulicht ist, können andere Logik und Schaltungen in mindestens einer Ausführungsform umfasst sein, einschließlich zusätzlicher Graphikprozessoren/Kerne, peripherer Schnittstellen-Controllers oder universeller Prozessorkerne.
-
17 ist ein Blockdiagramm, das ein beispielhaftes System auf einer integrierten Chip-Schaltung 1700 veranschaulicht, die aus einem oder mehreren IP-Kernen hergestellt sein kann, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst die integrierte Schaltung 1700 einen oder mehrere Anwendungsprozessor(en) 1705 (z.B. CPUs), mindestens einen Graphikprozessor 1710 und kann zusätzlich einen Bildprozessor 1715 und/oder einen Videoprozessor 1720 umfassen, von welchen jeder ein modularer IP-Kern sein kann. In mindestens einer Ausführungsform umfasst die integrierte Schaltung 1700 Peripherie- oder Buslogik mit einem USB-Controller 1725, einem UART-Controller 1730, einem SPI/SDIO-Controller 1735 und einem I22S/I22C-Controller 1740. In mindestens einer Ausführungsform kann die integrierte Schaltung 1700 eine Anzeigevorrichtung 1745 umfassen, die mit einem oder mehreren eines High-Definition-Multimedia-Schnittstellen-(HDMI)-Controllers 1750 und einer Anzeigeschnittstelle 1755 für ein Mobile Industry Processor Interface (MIPI) gekoppelt ist. In mindestens einer Ausführungsform kann Speicher durch ein Flash-Speicher-Teilsystem 1760 einschließlich eines Flash-Speichers und eines Flash-Speicher-Controllers bereitgestellt sein. In mindestens einer Ausführungsform kann eine Speicherschnittstelle über einen Speicher-Controller 1765 für Zugriff auf SDRAM- oder SRAM-Speichervorrichtungen bereitgestellt sein. In mindestens einer Ausführungsform umfassen einige integrierte Schaltungen zusätzlich eine eingebettete Sicherheits-Engine 1770.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in der integrierten Schaltung 1700 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
18A-18B veranschaulichen beispielhafte integrierte Schaltungen und zugeordnete Graphikprozessoren, die unter Verwendung eines oder mehrerer IP-Kerne hergestellt sein können, gemäß verschiedenen der hier beschriebenen Ausführungsformen. Zusätzlich zu dem, was veranschaulicht ist, können andere Logik und Schaltungen in mindestens einer Ausführungsform umfasst sein, einschließlich zusätzlicher Graphikprozessoren/Kerne, peripherer Schnittstellen-Controllers oder universeller Prozessorkerne.
-
18A-18B sind Blockdiagramme, die beispielhafte Graphikprozessoren zur Verwendung innerhalb eines SoC veranschaulichen, gemäß hier beschriebenen Ausführungsformen. 18A veranschaulicht einen beispielhaften Graphikprozessor 1810 eines Systems auf einer integrierten Chip-Schaltung, das unter Verwendung eines oder mehrerer IP-Kerne hergestellt sein kann, gemäß mindestens einer Ausführungsform. 18B veranschaulicht einen zusätzlichen beispielhaften Graphikprozessor 1840 eines Systems auf einer integrierten Chip-Schaltung, der unter Verwendung eines oder mehrerer IP-Kerne hergestellt sein kann, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der Graphikprozessor 1810 von 18A ein Graphikprozessorkern mit niedrigem Stromverbrauch. In mindestens einer Ausführungsform ist der Graphikprozessor 1840 von 18B ein leistungsfähigerer Graphikprozessorkern. In mindestens einer Ausführungsform kann jeder der Graphikprozessoren 1810, 1840 eine Variante des Graphikprozessors 1710 von 17 sein.
-
In mindestens einer Ausführungsform umfasst der Graphikprozessor 1810 einen Vertex-Prozessor 1805 und einen oder mehrere Fragment-Prozessor(en) 1815A-1815N (z.B. 1815A, 1815B, 1815C, 1815D, bis 1815N-1 und 1815N). In mindestens einer Ausführungsform kann der Graphikprozessor 1810 verschiedene Shader-Programme über separate Logik ausführen, so dass der Vertex-Prozessor 1805 für die Ausführung von Operationen für Vertex-Shader-Programme optimiert ist, während ein oder mehrere Fragment-Prozessoren 1815A-1815N Fragment (beispielsweise Pixel)-Shading-Operationen für Fragment- oder Pixel-Shader-Programme ausführen. In mindestens einer Ausführungsform führt der Vertex-Prozessor 1805 eine Vertex-Verarbeitungsphase einer 3D-Graphikpipeline durch und erzeugt Primitive und Vertex-Daten. In mindestens einer Ausführungsform verwenden der(die) Fragment-Prozessor(en) 1815A-1815N Primitive- und Vertex-Daten, die von dem Vertex-Prozessor 1805 erzeugt wurden, um einen Frame- bzw. Einzelbildpuffer zu erzeugen, der auf einer Anzeigevorrichtung angezeigt wird. In mindestens einer Ausführungsform sind der bzw. die Fragment-Prozessor(en) 1815A-1815N optimiert, Fragment-Shader-Programme auszuführen, wie sie in einer OpenGL-API vorgesehen sind, welche verwendet werden können, ähnliche Operationen wie ein Pixel-Shader-Programm durchzuführen, wie sie in einer Direct 3D-API vorgesehen sind.
-
In mindestens einer Ausführungsform umfasst der Graphikprozessor 1810 zusätzlich eine oder mehrere Speicherverwaltungseinheiten (MMUs) 1820A-1820B, Cache(s) 1825A-1825B und Schaltungszwischenverbindung(en) 1830A-1830B. In mindestens einer Ausführungsform stellen eine oder mehrere MMU(s) 1820A-1820B ein Adressmapping von virtuell nach physikalisch für den Graphikprozessor 1810 bereit, einschließlich des Vertex-Prozessors 1805 und/oder des/der Fragment-Prozessoren 1815A-1815N, die auf Vertex- oder Bild-/Texturdaten Bezug nehmen können, die in Speicher gespeichert sind, zusätzlich zu Vertex- oder Bild-/Textur-Daten, die in einem oder mehreren Cache(s) 1825A-1825B gespeichert sind. In mindestens einer Ausführungsform können eine oder mehrere MMU(s) 1820A-1820B mit anderen MMU(s) innerhalb des Systems synchronisiert werden, einschließlich einer oder mehrerer MMU(s), die einem oder mehreren Anwendungsprozessor(en) 1705, Bildprozessoren 1715 und/oder Videoprozessoren 1712 von 17 zugeordnet sind, so dass jeder Prozessor 1705-1712 an einem gemeinsam genutzten oder vereinigten virtuellen Speichersystem partizipieren kann. In mindestens einer Ausführungsform ermöglichen eine oder mehrere Schaltungs-Zwischenverbindung(en) 1830A-1830B dem Graphikprozessor 1810, sich mit anderen IP-Kernen innerhalb des SoC entweder über einen internen Bus des SoC oder über eine direkte Verbindung schnittstellenmäßig zu verbinden.
-
In mindestens einer Ausführungsform umfasst der Graphikprozessor 1840 einen oder mehrere Shader-Kerne 1855A-1855N (z.B. 1855A, 1855B, 1855C, 1855D, 1855E, 1855F, bis 1855N-1 und 1855N), wie in 18B gezeigt, welche eine vereinheitlichte Shader-Kern-Architektur bereitstellen, in welcher ein einzelner Kern oder Typ oder Kern alle Arten von programmierbarem Shader-Code ausführen kann, einschließlich Shader-Programmcode zur Implementierung von Vertex-Shadern, Fragment-Shadern und/oder Rechen-Shadern. In mindestens einer Ausführungsform kann eine Anzahl von Shader-Kernen variieren. In mindestens einer Ausführungsform umfasst der Graphikprozessor 1840 einen Inter-Core-Task-Manager 1845, der als ein Thread-Dispatcher fungiert, um Ausführung-Threads an einen oder mehrere Shader-Kerne 1855A-1855N zu senden, und eine Kachelungs-Einheit 1858, um Kachelungs-Operationen für kachelbasiertes Rendering zu beschleunigen, bei welchen Rendering-Operationen für eine Szene im Bildraum unterteilt sind, um beispielsweise lokale räumliche Kohärenz innerhalb einer Szene auszunutzen oder die Nutzung interner Caches zu optimieren.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in der integrierten Schaltung 18A und/oder 18B verwendet werden, um Operationen zu inferenzieren oder vorherzusagen, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
19A-19B veranschaulichen eine zusätzliche beispielhafte Graphikprozessorlogik gemäß hier beschriebenen Ausführungsformen. 19A veranschaulicht einen Graphikkern 1900, der in mindestens einer Ausführungsform in dem Graphikprozessor 1710 von 17 umfasst sein kann und in mindestens einer Ausführungsform ein vereinheitlichter Shader-Kern 1855A-1855N wie in 18B in mindestens einer Ausführungsform sein kann. 19B veranschaulicht eine hochparallele universelle Graphikverarbeitungseinheit („GPGPU“) 1930, die für den Einsatz auf einem Multi-Chip-Modul in mindestens einer Ausführungsform geeignet ist.
-
In mindestens einer Ausführungsform umfasst der Graphikkern 1900 einen gemeinsam genutzten Befehls-Cache 1902, eine Textureinheit 1918 und einen Cache/gemeinsam genutzten Speicher 1920, die für Ausführungsressourcen innerhalb des Graphikkerns 1900 gemeinsam sind. In mindestens einer Ausführungsform kann der Graphikkern 1900 mehrere Slices 1901A-1901N oder Partitionen für jeden Kern umfassen, und kann ein Graphikprozessor mehrere Instanzen des Graphikkerns 1900 umfassen. In mindestens einer Ausführungsform können die Slices 1901A-1901N eine Unterstützungslogik umfassen, die einen lokalen Befehls-Cache 1904A-1904N, einen Thread-Planer 1906A-1906N, einen Thread-Dispatchers 1908A-1908N und einen Satz von Registern 1910A-1910N umfasst. In mindestens einer Ausführungsform können die Slices 1901A-190IN einen Satz zusätzlicher Funktionseinheiten (AFUs 1912A-1912N), Gleitkommaeinheiten (FPU 1914A-1914N), Ganzzahl-Rechenlogikeinheiten (ALUs 1916A-1916N), Adressberechnungseinheiten (ACU 1913A-1913N), doppelt genaue Gleitkommaeinheiten (DPFPU 1915A-1915N) und Matrixverarbeitungseinheiten (MPU 1917A-1917N) umfassen.
-
In mindestens einer Ausführungsform können FPUs 1914A-1914N einfach genaue (32-Bit) und halb genaue (16-Bit) Gleitkomma-Operationen durchführen, während die DPFPUs 1915A-1915N doppelt genaue (64-Bit) Gleitkomma-Operationen durchführen. In mindestens einer Ausführungsform können die ALUs 1916A-1916N Ganzzahl-Operationen mit variabler Genauigkeit und 8-Bit-, 16-Bit- und 32-Bit-Genauigkeit durchführen und für Operationen mit gemischter Genauigkeit konfiguriert sein. In mindestens einer Ausführungsform können die MPUs 1917A-1917N auch für Matrix-Operationen mit gemischtere Genauigkeit konfiguriert sein, einschließlich halb genauer Gleitkomma- und 8-Bit Ganzzahl-Operationen. In mindestens einer Ausführungsform können die MPUs 1917-1917N eine Vielzahl von Matrix-Operationen durchführen, um die Frameworks von Anwendungen für maschinelles Lernen zu beschleunigen, einschließlich des Ermöglichens von Unterstützung für beschleunigte allgemeine bzw. generelle Matrix-zu-Matrix Multiplikation (GEMM). In mindestens einer Ausführungsform können die AFUs 1912A-1912N zusätzliche logische Operationen durchführen, die nicht von Gleitkomma- oder Integer-Einheiten unterstützt werden, die trigonometrische Operationen (z.B. Sinus, Cosinus usw.) umfassen.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in dem Graphikkern 1900 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
19B veranschaulicht eine Allzweck-Verarbeitungseinheit (GPGPU) 1930, die konfiguriert sein kann, hochparallele Rechenoperationen zu ermöglichen, die von einer Anordnung von Graphikverarbeitungseinheiten durchzuführen sind, in mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die GPGPU 1930 direkt mit anderen Instanzen der GPGPU 1930 verknüpft sein, um einen Multi-GPU-Cluster zu erstellen, um die Trainingsgeschwindigkeit für tiefe neuronale Netzwerke zu verbessern. In mindestens einer Ausführungsform umfasst die GPGPU 1930 eine Host-Schnittstelle 1932, um eine Verbindung mit einem Host-Prozessor zu ermöglichen. In mindestens einer Ausführungsform ist die Host-Schnittstelle 1932 eine PCI-Express-Schnittstelle. In mindestens einer Ausführungsform kann die Host-Schnittstelle 1932 eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur sein. In mindestens einer Ausführungsform empfängt die GPGPU 1930 Befehle von einem Host-Prozessor und verwendet einen globalen Planer 1934, um die diesen Befehlen zugeordneten Ausführung-Threads an einen Satz von Rechenclustern 1936A-1936H zu verteilen. In mindestens einer Ausführungsform nutzen die Rechencluster 1936A-1936H einen Cache-Speicher 1938 gemeinsam. In mindestens einer Ausführungsform kann der Cache-Speicher 1938 als ein übergeordneter Cache für Cache-Speicher innerhalb der Rechencluster 1936A-1936H dienen.
-
In mindestens einer Ausführungsform umfasst die GPGPU 1930 den Speicher 1944A-1944B, der mit den Rechenclustern 1936A-1936H über einen Satz von Speicher-Controllern 1942A-1942B gekoppelt ist. In mindestens einer Ausführungsform kann der Speicher 1944A-1944B verschiedene Arten von Speichervorrichtungen umfassen, einschließlich eines dynamischen Direktzugriffsspeichers (DRAM) oder eines Graphik-Direktzugriffspeichers, wie beispielsweise einen synchroner Graphik-Direktzugriffspeicher (SGRAM), der einen Graphikspeicher mit doppelter Datenrate (GDDR) umfasst.
-
In mindestens einer Ausführungsform umfassen die Rechencluster 1936A-1936H jeweils einen Satz von Graphikkernen, wie beispielsweise den Graphikkern 1900 von 19A, der mehrere Typen von Ganzzahl- und Gleitkomma-Logikeinheiten umfassen kann, die Rechenoperationen mit einer Reihe von Genauigkeitsstufen durchführen können, die auch für Berechnungen zum maschinellen Lernen geeignet sind. Beispielsweise kann in mindestens einer Ausführungsform mindestens eine Teilmenge von Gleitkommaeinheiten in jedem der Rechencluster 1936A-1936H konfiguriert sein, um 16-Bit- oder 32-Bit-Gleitkommaoperationen durchzuführen, während eine andere Teilmenge von Gleitkommaeinheiten konfiguriert sein kann, um 64-Bit-Gleitkommaoperationen durchzuführen.
-
In mindestens einer Ausführungsform können mehrere Instanzen der GPGPU 1930 konfiguriert sein, als Rechencluster zu arbeiten. In mindestens einer Ausführungsform variiert die Kommunikation, die von den Rechenclustern 1936A-1936H für die Synchronisation und den Datenaustausch verwendet wird, je nach Ausführungsform. In mindestens einer Ausführungsform kommunizieren mehrere Instanzen der GPGPU 1930 über die Host-Schnittstelle 1932. In mindestens einer Ausführungsform umfasst die GPGPU 1930 einen E/A-Hub 1939, der die GPGPU 1930 mit einer GPU-Verbindung 1940 koppelt, die eine direkte Verbindung zu anderen Instanzen der GPGPU 1930 ermöglicht. In mindestens einer Ausführungsform ist die GPU-Verbindung 1940 mit einer dedizierten GPU-zu-GPU-Brücke gekoppelt, die die Kommunikation und Synchronisation zwischen mehreren GPGPU 1930-Instanzen ermöglicht. In mindestens einer Ausführungsform koppelt die GPU-Verbindung 1940 mit einer Hochgeschwindigkeitsverbindung, um Daten an andere GPGPUs oder Parallelprozessoren zu senden und zu empfangen. In mindestens einer Ausführungsform befinden sich mehrere Instanzen der GPGPU 1930 in separaten Datenverarbeitungssystemen und kommunizieren über eine Netzwerkvorrichtung, die über die Host-Schnittstelle 1932 zugänglich ist. In mindestens einer Ausführungsform kann die GPU-Verbindung 1940 konfiguriert sein, eine Verbindung zu einem Host-Prozessor zusätzlich oder alternativ zu der Host-Schnittstelle 1932 zu ermöglichen.
-
In mindestens einer Ausführungsform kann die GPGPU 1930 konfiguriert sein, um neuronale Netzwerke zu trainieren. In mindestens einer Ausführungsform kann die GPGPU 1930 innerhalb einer Inferenzplattform verwendet werden. In mindestens einer Ausführungsform, in welcher die GPGPU 1930 zur Inferenzierung verwendet wird, kann die GPGPU weniger Rechencluster 1936A-1936H umfassen als dann, wenn die GPGPU 1930 zum Training eines neuronalen Netzwerks verwendet wird. In mindestens einer Ausführungsform kann sich die dem Speicher 1944A-1944B zugeordnete Speichertechnologie zwischen Inferenzierungs- und Trainingskonfigurationen unterscheiden, wobei Speichertechnologien mit höherer Bandbreite für Trainingskonfigurationen vorgesehen sind. In mindestens einer Ausführungsform kann die Inferenzkonfiguration der GPGPU 1930 die inferenzspezifische Anweisungen unterstützen. Beispielsweise kann in mindestens einer Ausführungsform eine Inferenzkonfiguration eine oder mehrere 8-Bit-Ganzzahl-Skalarprodukt-Anweisungen unterstützen, welche während Inferenzoperationen für bereitgestellte neuronale Netzwerke verwendet werden können.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in der GPGPU 1930 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
20 ist ein Blockdiagramm, das ein Computersystem 2000 gemäß mindestens einer Ausführungsform darstellt. In mindestens einer Ausführungsform umfasst das Computersystem 2000 ein Verarbeitungsteilsystem 2001 mit einem oder mehreren Prozessor(en) 2002 und einem Systemspeicher 2004, der über einen Zwischenverbindungspfad kommuniziert, der einen Speicher-Hub 2005 umfassen kann. In mindestens einer Ausführungsform kann der Speicher-Hub 2005 eine separate Komponente innerhalb einer Chipsatz-Komponente sein oder in einen oder mehrere Prozessor(en) 2002 integriert sein. In mindestens einer Ausführungsform koppelt der Speicher-Hub 2005 über eine Kommunikationsverbindung 2006 mit einem E/A-Teilsystem 2011. In mindestens einer Ausführungsform umfasst das E/A-Teilsystem 2011 einen E/A-Hub 2007, der es dem Computersystem 2000 ermöglichen kann, Eingaben von einer oder mehreren Eingabevorrichtung(en) 2008 zu empfangen. In mindestens einer Ausführungsform kann der E/A-Hub 2007 einem Anzeigen-Controller, der in einem oder mehreren Prozessor(en) 2002 umfasst sein kann, ermöglichen, Ausgaben an eine oder mehrere Anzeigevorrichtung(en) 2010A bereitzustellen. In mindestens einer Ausführungsform können eine oder mehrere mit dem E/A-Hub 2007 gekoppelte Anzeigevorrichtung(en) 2010A eine lokale, interne oder eingebettete Anzeigevorrichtung umfassen.
-
In mindestens einer Ausführungsform umfasst das Verarbeitungsteilsystem 2001 einen oder mehrere Parallelprozessor(en) 2012, die über einen Bus oder eine andere Kommunikationsverbindung 2013 mit dem Speicher-Hub 2005 gekoppelt sind. In mindestens einer Ausführungsform kann die Kommunikationsverbindung 2013 eine von einer beliebigen Anzahl von auf Standards basierenden Kommunikation-Verbindungstechnologien oder - Verbindungsprotokollen sein, wie beispielsweise, jedoch nicht beschränkt auf, PCI Express, oder kann sie eine herstellerspezifische Kommunikationsschnittstelle oder Kommunikationsstruktur sein. In mindestens einer Ausführungsform bilden ein oder mehrere Parallelprozessor(en) 2012 ein rechnerisch fokussiertes Parallel- oder Vektor-Verarbeitungssystem, das eine große Anzahl von Verarbeitungskernen und/oder Verarbeitungsclustern umfassen kann, wie beispielsweise einen Prozessor mit vielen integrierten Kernen (Many Integrated Core; MIC). In mindestens einer Ausführungsform bilden ein oder mehrere Parallelprozessor(en) 2012 ein Graphikverarbeitungs-Teilsystem, das Pixel an eine oder mehrere Anzeigevorrichtung(en) 2010A ausgeben kann, die über den E/A-Hub 2007 gekoppelt sind. In mindestens einer Ausführungsform können ein oder mehrere Parallelprozessor(en) 2012 auch einen Anzeigen-Controller und eine Anzeigeschnittstelle (nicht gezeigt) umfassen, um eine direkte Verbindung zu einer oder mehreren Anzeigevorrichtung(en) 2010B zu ermöglichen.
-
In mindestens einer Ausführungsform kann sich eine Systemspeichereinheit 2014 mit dem E/A-Hub 2007 verbinden, um einen Speichermechanismus für das Computersystem 2000 bereitzustellen. In mindestens einer Ausführungsform kann ein E/A-Schalter 2016 verwendet werden, um einen Schnittstellenmechanismus bereitzustellen, um Verbindungen zwischen dem E/A-Hub 2007 und anderen Komponenten, wie beispielsweise einem Netzwerkadapter 2018 und/oder einem drahtlosen Netzwerkadapter 2019, der in die Plattform integriert sein kann, und verschiedenen anderen Vorrichtungen, die über eine oder mehrere Add-In-Vorrichtung(en) 2012 hinzugefügt sein können, zu ermöglichen. In mindestens einer Ausführungsform kann der Netzwerkadapter 2018 ein Ethernet-Adapter oder ein anderer verdrahteter Netzwerkadapter sein. In mindestens einer Ausführungsform kann der drahtlose Netzwerkadapter 2019 ein oder mehrere Wi-Fi, Bluetooth-, Nahfeldkommunikation(NFC)- oder andere Netzwerkgeräte umfassen, die ein oder mehrere drahtlose Funkeinrichtungen umfassen.
-
In mindestens einer Ausführungsform kann das Computersystem 2000 andere Komponenten umfassen, die nicht explizit gezeigt sind, einschließlich USB- oder andere Portverbindungen, optische Speicherlaufwerke, Videoaufnahmevorrichtungen und dergleichen, die auch mit dem E/A-Hub 2007 verbunden sein können. In mindestens einer Ausführungsform können Kommunikationspfade, die verschiedene Komponenten in 20 miteinander verbinden, unter Verwendung beliebiger geeigneter Protokolle, wie z. B. PCI-(Peripheral Component Zwischenverbindung)-basierter Protokolle (z. B. PCI-Express), oder anderer Bus- oder Punkt-zu-Punkt-Kommunikationsschnittstellen und/oder - Protokolle(n), wie z.B. NV-Link-Hochgeschwindigkeitsverbindungen oder Zwischenverbindungsprotokolle, implementiert sein.
-
In mindestens einer Ausführungsform umfassen ein oder mehrere Parallelprozessor(en) 2012 für Graphik- und Videoverarbeitung optimierte Schaltungen, die beispielsweise Videoausgabeschaltungen umfassen und eine Graphikverarbeitungseinheit (GPU) bilden. In mindestens einer Ausführungsform umfassen ein oder mehrere Parallelprozessor(en) 2012 für allgemeine Verarbeitung optimierte Schaltungen. In mindestens einer Ausführungsform können Komponenten des Computersystems 2000 mit einem oder mehreren anderen Systemelementen auf einer einzigen integrierten Schaltung integriert sein. Beispielsweise können in mindestens einer Ausführungsform ein oder mehrere Parallelprozessor(en) 2012, der Speicher-Hub 2005, der bzw. die Prozessor(en) 2002 und der E/A-Hub 2007 in eine System-on-Chip (SoC)-integrierte Schaltung integriert sein. In mindestens einer Ausführungsform können Komponenten des Computersystems 2000 in ein einziges Gehäuse integriert sein, um eine System-in-Package (SIP)-Konfiguration zu bilden. In mindestens einer Ausführungsform kann mindestens ein Teil von Komponenten des Computersystems 2000 in ein Multi-Chip-Modul (MCM) integriert sein, welches mit anderen Multi-Chip-Modulen zu einem modularen Computersystem verbunden sein kann.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in dem System 2000 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
PROZESSOREN
-
21A veranschaulicht einen Parallelprozessor 2100 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können verschiedene Komponenten des Parallelprozessors 2100 unter Verwendung einer oder mehrerer integrierter Schaltungsvorrichtungen, wie beispielsweise programmierbare Prozessoren, anwendungsspezifische integrierte Schaltungen (ASICs) oder feldprogrammierbare Gate-Arrays (FPGA) implementiert sein. In mindestens einer Ausführungsform ist der veranschaulichte Parallelprozessor 2100 eine Variante eines oder mehrerer in 20 gezeigter Parallelprozessoren 2012 gemäß einer beispielhaften Ausführungsform.
-
In mindestens einer Ausführungsform umfasst der Parallelprozessor 2100 eine Parallelverarbeitungseinheit 2102. In mindestens einer Ausführungsform umfasst die Parallelverarbeitungseinheit 2102 eine E/A-Einheit 2104, die eine Kommunikation mit anderen Vorrichtungen ermöglicht, einschließlich anderer Instanzen der Parallelverarbeitungseinheit 2102. In mindestens einer Ausführungsform kann die E/A-Einheit 2104 direkt mit anderen Vorrichtungen verbunden sein. In mindestens einer Ausführungsform verbindet sich die E/A-Einheit 2104 mit anderen Vorrichtungen unter Verwendung eines Hubs oder einer Schalter-Schnittstelle, wie beispielsweise dem Speicher-Hub 2105. In mindestens einer Ausführungsform bilden Verbindungen zwischen dem Speicher-Hub 2105 und der E/A-Einheit 2104 eine Kommunikationsverbindung 2113. In mindestens einer Ausführungsform verbindet sich die E/A-Einheit 2104 mit einer Host-Schnittstelle 2106 und einer Speicherquerschiene 2116, wobei die Host-Schnittstelle 2106 Befehle empfängt, die zur Durchführung von Verarbeitungsoperationen bestimmt sind, und die Speicherquerschiene 2116 Befehle empfängt, die zur Durchführung von Speicheroperationen bestimmt sind.
-
n mindestens einer Ausführungsform kann dann, wenn die Host-Schnittstelle 2106 über die E/A-Einheit 2104 einen Befehlspuffer empfängt, die Host-Schnittstelle 2106 Arbeitsoperationen anweisen, um diese Befehle an einem Frontend 2108 auszuführen. In mindestens einer Ausführungsform koppelt das Frontend 2108 mit einem Planer 2110, der konfiguriert ist, um Befehle oder andere Arbeitselemente an eine Verarbeitungsclusteranordnung 2112 zu verteilen. In mindestens einer Ausführungsform stellt der Planer 2110 sicher, dass die Clusteranordnung 2112 richtig konfiguriert ist und sich in einem gültigen Zustand befindet, bevor Aufgaben an die Verarbeitungsclusteranordnung 2112 der Verarbeitungsclusteranordnung 2112 verteilt werden. In mindestens einer Ausführungsform ist der Planer 2110 über Firmware-Logik implementiert, die auf einem Mikrocontroller ausgeführt wird. In mindestens einer Ausführungsform ist der von dem Mikrocontroller implementierte Planer 2110 konfigurierbar, um komplexe Planungs- und Arbeitsverteilungsoperationen mit grober und feiner Granularität durchzuführen, was eine schnelle Vorwegnahme und Kontextumschaltung von Threads ermöglicht, die auf der Verarbeitungsanordnung 2112 ausgeführt werden. In mindestens einer Ausführungsform kann die Host-Software Arbeitslasten für die Planung auf der Verarbeitungsanordnung 2112 über eine von mehreren Graphikverarbeitungstürklingeln nachweisen. In mindestens einer Ausführungsform können dann Arbeitslasten über die Verarbeitungsanordnung 2112 hinweg durch die Logik des Planers 2110 innerhalb eines Mikrocontrollers einschließlich des Planers 2110 automatisch verteilt werden.
-
In mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 2112 bis zu „N“-Verarbeitungscluster (z.B. Cluster 2114A, Cluster 2114B, bis Cluster 2114N) umfassen. In mindestens einer Ausführungsform kann jeder Cluster 2114A-2114N der Verarbeitungsclusteranordnung 2112 eine große Anzahl gleichzeitiger Threads ausführen. In mindestens einer Ausführungsform kann der Planer 2110 den Clustern 2114A-2114N der Verarbeitungsclusteranordnung 2112 unter Verwendung verschiedener Planungs- und/oder Arbeitsverteilungs-algorithmen Arbeit zuweisen, welche je nach Arbeitsbelastung, die für jede Art von Programm oder Berechnung aufkommt, variieren kann. In mindestens einer Ausführungsform kann die Planung von dem Planer 2110 dynamisch gehandhabt werden, oder kann teilweise durch Compilerlogik während der Kompilierung der Programmlogik, die für die Ausführung durch die Verarbeitung der Clusteranordnung 2112 konfiguriert ist, unterstützt werden. In mindestens einer Ausführungsform können verschiedene Cluster 2114A-2114N der Verarbeitungsclusteranordnung 2112 zur Verarbeitung verschiedener Arten von Programmen oder zur Durchführung verschiedener Arten von Berechnungen allokiert sein.
-
In mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 2112 konfiguriert sein, um verschiedene Arten von Parallelverarbeitungsoperationen durchzuführen. In mindestens einer Ausführungsform ist die Verarbeitungsclusteranordnung 2112 konfiguriert, um allgemeine parallele Rechenoperationen durchzuführen. Beispielsweise kann in mindestens einer Ausführungsform die Verarbeitungsclusteranordnung 2112 Logik umfassen, um Verarbeitungsaufgaben einschließlich eines Filterns von Video- und/oder Audiodaten, Durchführens von Modellierungsoperationen, einschließlich physikalischer Operationen, und Durchführens von Datentransformationen auszuführen.
-
In mindestens einer Ausführungsform ist die Verarbeitungsclusteranordnung 2112 konfiguriert, um parallele Graphikverarbeitungsoperationen durchzuführen. In mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 2112 zusätzliche Logik umfassen, um die Ausführung solcher Graphikverarbeitungs-operationen zu unterstützen, einschließlich einer, jedoch nicht beschränkt auf, Texturabtastlogik zur Durchführung von Texturoperationen, sowie einer Tessellierungslogik und anderer Vertex-Verarbeitungslogik. In mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 2112 konfiguriert sein, um graphikverarbeitungsbezogene Shader-Programme auszuführen, wie beispielsweise Vertex-Shader, Tessellation-Shader, Geometrie-Shader und Pixel-Shader. In mindestens einer Ausführungsform kann die Parallelverarbeitungseinheit 2102 Daten aus dem Systemspeicher über die E/A-Einheit 2104 zur Verarbeitung übertragen. In mindestens einer Ausführungsform können während der Verarbeitung übertragene Daten während der Verarbeitung in einem On-Chip-Speicher (z.B. Speicher des Parallelprozessors 2122) gespeichert und anschließend in den Systemspeicher zurückgeschrieben werden.
-
In mindestens einer Ausführungsform kann dann, wenn die Parallelverarbeitungseinheit 2102 zur Durchführung von Graphikverarbeitung verwendet wird, der Planer 2110 konfiguriert sein, um eine Verarbeitungsarbeitslast in etwa gleich große Aufgaben aufzuteilen, um die Verteilung von Graphikverarbeitungsoperationen auf mehrere Cluster 2114A-2114N der Verarbeitungsclusteranordnung 2112 besser zu ermöglichen. In mindestens einer Ausführungsform können Abschnitte der Verarbeitungsclusteranordnung 2112 konfiguriert sein, um verschiedene Arten von Verarbeitung durchzuführen. Beispielsweise kann in mindestens einer Ausführungsform ein erster Abschnitt konfiguriert sein, um Vertex-Shading und Topologieerzeugung durchzuführen, kann ein zweiter Abschnitt konfiguriert sein, um Tesselation und Geometrie-Shading durchzuführen, und kann ein dritter Abschnitt konfiguriert sein, um Pixel-Shading oder andere Bildschirmraumoperationen durchzuführen, um ein gerendertes Bild für die Anzeige zu erzeugen. In mindestens einer Ausführungsform können Zwischendaten, die von einem oder mehreren der Cluster 2114A-2114N erzeugt wurden, in Puffern gespeichert werden, so dass Zwischendaten zwischen den Clustern 2114A-2114N zur weiteren Verarbeitung übertragen werden können.
-
In mindestens einer Ausführungsform kann die Verarbeitungsclusteranordnung 2112 Verarbeitungsaufgaben empfangen, die über den Planer 2110 auszuführen sind, der von dem Frontend 2108 Befehle empfängt, die Verarbeitungsaufgaben definieren. In mindestens einer Ausführungsform können Verarbeitungsaufgaben Indizes von zu verarbeitenden Daten umfassen, z.B. Oberflächen-(Patch)-Daten, Stammfunktionsdaten, Vertex-Daten und/oder Pixeldaten, sowie Zustandsparameter und Befehle, die definieren, wie Daten zu verarbeiten sind (z.B. welches Programm auszuführen ist). In mindestens einer Ausführungsform kann der Planer 2110 konfiguriert sein, um Indizes zu holen, die Aufgaben entsprechen, oder kann Indizes von dem Frontend 2108 empfangen. In mindestens einer Ausführungsform kann das Frontend 2108 konfiguriert sein, um sicherzustellen, dass die Verarbeitungsclusteranordnung 2112 in einen gültigen Zustand konfiguriert ist, bevor eine durch eingehende Befehlspuffer (z.B. Stapelpuffer, Schiebepuffer, usw.) spezifizierte Arbeitslast initiiert wird.
-
In mindestens einer Ausführungsform kann jede von einer oder mehreren Instanzen der Parallelverarbeitungseinheit 2102 mit dem Parallelprozessorspeicher 2122 gekoppelt sein. In mindestens einer Ausführungsform kann auf den Parallelprozessorspeicher 2122 über die Speicherquerschiene 2116 zugegriffen werden, die Speicheranforderungen von der Verarbeitungsclusteranordnung 2112 sowie der E/A-Einheit 2104 empfangen kann. In mindestens einer Ausführungsform kann die Speicherquerschiene 2116 über eine Speicherschnittstelle 2118 auf den Parallelprozessorspeicher 2122 zugreifen. In mindestens einer Ausführungsform kann die Speicherschnittstelle 2118 mehrere Partitionierungseinheiten (z.B. Partitionierungseinheit 2120A, Partitionierungseinheit 2120B bis Partitionierungseinheit 2120N) umfassen, die jeweils mit einem Abschnitt (z.B. der Speichereinheit) des Parallelprozessorspeichers 2122 koppeln können. In mindestens einer Ausführungsform ist eine Anzahl von Partitionierungseinheiten 2120A-2122N konfiguriert, um gleich einer Anzahl von Speichereinheiten zu sein, so dass eine erste Partitionierungseinheit 2120A eine entsprechende erste Speichereinheit 2124A aufweist, eine zweite Partitionierungseinheit 2120B eine entsprechende Speichereinheit 2124B aufweist und eine N-te Partitionierungseinheit 2120N eine entsprechende N-te Speichereinheit 2124N aufweist. In mindestens einer Ausführungsform kann eine Anzahl von Partitionierungseinheiten 2120A-2120N nicht gleich einer Anzahl von Speichervorrichtungen sein.
-
In mindestens einer Ausführungsform können die Speichereinheiten 2124A-2124N verschiedene Arten von Speichervorrichtungen umfassen, einschließlich dynamischen Direktzugriffspeichers (DRAM) oder Graphik-Direktzugriffspeichers, wie beispielsweise synchronen Graphik-Direktzugriffspeichers (SGRAM), einschließlich Graphikspeichers mit doppelter Datenrate (GDDR). In mindestens einer Ausführungsform können die Speichereinheiten 2124A-2124N auch 3D-Stapelspeicher umfassen, einschließlich, jedoch nicht beschränkt auf, Speicher mit hoher Bandbreite (HBM). In mindestens einer Ausführungsform können Renderziele, wie beispielsweise Einzelbildpuffer bzw. Frame-Puffer oder Texturkarten, über Speichereinheiten 2124A-2124N hinweg gespeichert sein, so dass die Partitionseinheiten 2120A-2120N Abschnitte jedes Renderziels parallel schreiben können, um verfügbare Bandbreite des Parallelprozessorspeichers 2122 effizient zu nutzen. In mindestens einer Ausführungsform kann eine lokale Instanz des Parallelprozessorspeichers 2122 zugunsten eines vereinheitlichten Speicherdesigns, das Systemspeicher in Verbindung mit lokalem Cache-Speicher nutzt, ausgeschlossen sein.
-
In mindestens einer Ausführungsform kann jeder beliebige der Cluster 2114A-2114N der Verarbeitungsclusteranordnung 2112 Daten verarbeiten, die in eine beliebige der Speichereinheiten 2124A-2124N in dem Parallelprozessorspeicher 2122 geschrieben werden. In mindestens einer Ausführungsform kann die Speicherquerschiene 2116 konfiguriert sein, um eine Ausgabe jedes Clusters 2114A-2114N an eine beliebige Partitionseinheit 2112A-2112N oder an einen anderen Cluster 2114A-2114N zu übertragen, der zusätzliche Verarbeitungsoperationen an einer Ausgabe durchführen kann. In mindestens einer Ausführungsform kann jeder Cluster 2114A-2114N mit der Speicherschnittstelle 2118 über die Speicherquerschiene 2116 kommunizieren, um aus verschiedenen externen Speichervorrichtungen zu lesen oder in diese zu schreiben. In mindestens einer Ausführungsform weist die Speicherquerschiene 2116 zur Kommunikation mit der E/A-Einheit 2104 Verbindung zu der Speicherschnittstelle 2118 auf, sowie eine Verbindung zu einer lokalen Instanz des Parallelprozessorspeichers 2122, so dass Verarbeitungseinheiten innerhalb verschiedener Verarbeitungscluster 2114A-2114N mit Systemspeicher oder anderem Speicher kommunizieren können, der nicht lokal zu der Parallelverarbeitungseinheit 2102 ist. In mindestens einer Ausführungsform kann die Speicherquerschiene 2116 virtuelle Kanäle verwenden, um Ströme von Datenaufkommen zwischen den Clustern 2114A-2114N und den Partitionierungseinheiten 2120A-2120N zu trennen.
-
In mindestens einer Ausführungsform können mehrere Instanzen der Parallelverarbeitungseinheit 2102 auf einer einzigen Erweiterungskarte bereitgestellt sein oder können mehrere Erweiterungskarten miteinander verbunden sein. In mindestens einer Ausführungsform können verschiedene Instanzen der Parallelverarbeitungseinheit 2102 konfiguriert sein, auch dann miteinander zu arbeiten, wenn verschiedene Instanzen eine unterschiedliche Anzahl von Verarbeitungskernen, unterschiedliche Mengen an lokalem Parallelprozessorspeicher und/oder andere Konfigurationsunterschiede aufweisen. Beispielsweise können in mindestens einer Ausführungsform einige Instanzen der Parallelverarbeitungseinheit 2102 relativ zu anderen Instanzen Gleitkommaeinheiten mit höherer Genauigkeit umfassen. In mindestens einer Ausführungsform können Systeme, die eine oder mehrere Instanzen der Parallelverarbeitungseinheit 2102 oder des Parallelprozessors 2100 umfassen, in einer Mehrzahl von Konfigurationen und Formfaktoren implementiert sein, einschließlich, jedoch nicht beschränkt auf, Desktop-, Laptop- oder Handheld-Personal Computer, Server, Workstations, Spielkonsolen und/oder eingebettete Systeme.
-
21B ist ein Blockdiagramm einer Partitionierungseinheit 2120 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Partitionierungseinheit 2120 eine Instanz einer der Partitionierungseinheiten 2120A-2120N aus 21A. In mindestens einer Ausführungsform umfasst die Partitionierungseinheit 2120 einen L2-Cache 2121, ein Frame-Buffer-Interface bzw. eine Einzelbildpufferschnittstelle 2125 und eine ROP 2126 (Rasteroperationseinheit). Der L2-Cache 2121 ist ein Lese-/Schreib-Cache, der konfiguriert ist, um Lade- und Speicheroperationen durchzuführen, die von der Speicherquerschiene 2116 und der ROP 2126 empfangen wurden. In mindestens einer Ausführungsform werden Lesefehler und dringende Rückschreibanforderungen von dem L2-Cache 2121 an die Einzelbildpufferschnittstelle 2125 zur Verarbeitung ausgegeben. In mindestens einer Ausführungsform können Aktualisierungen über die Einzelbildpufferschnittstelle 2125 zur Verarbeitung auch an einen Einzelbildpuffer gesendet werden. In mindestens einer Ausführungsform ist die Einzelbildpufferschnittstelle 2125 mit einer der Speichereinheiten in dem Parallelprozessorspeicher, wie beispielsweise den Speichereinheiten 2124A-2224N aus 21 (z.B. innerhalb des Parallelprozessor-speichers 2122) verbunden.
-
In mindestens einer Ausführungsform ist die ROP 2126 eine Verarbeitungseinheit, die Rasteroperationen wie Schablone, Z-Test, Blending und dergleichen durchführt. In mindestens einer Ausführungsform gibt die ROP 2126 dann verarbeitete Graphikdaten aus, die in dem Graphikspeicher gespeichert sind. In mindestens einer Ausführungsform umfasst die ROP 2126 eine Kompressionslogik zum Komprimieren von Tiefen- oder Farbdaten, die in den Speicher geschrieben werden, und zum Dekomprimieren von Tiefen- oder Farbdaten, die aus dem Speicher gelesen werden. In mindestens einer Ausführungsform kann die Kompressionslogik eine verlustfreie Kompressionslogik sein, die einen oder mehrere von multiplen Kompressionsalgorithmen verwendet. Die Art der Komprimierung, die von der ROP 2126 durchgeführt wird, kann basierend auf statistischen Merkmalen der zu komprimierenden Daten variieren. Beispielsweise wird in mindestens einer Ausführungsform eine Delta-Farbkompression auf Tiefen- und Farbdaten auf kachelweiser Grundlage durchgeführt.
-
In mindestens einer Ausführungsform ist die ROP 2126 in jedem Verarbeitungscluster (z.B. Cluster 2114A-2114N aus 21A) anstelle von in der Partitionierungseinheit 2120 umfasst. In mindestens einer Ausführungsform werden Lese- und Schreibanforderungen für Pixeldaten über die Speicherquerschiene 2116 anstelle von Pixelfragmentdaten übertragen. In mindestens einer Ausführungsform können verarbeitete Graphikdaten auf einer Anzeigevorrichtung, wie beispielsweise einer oder mehreren Anzeigevorrichtung(en) 2110 aus 20 angezeigt werden, zur weiteren Verarbeitung durch den/die Prozessor(en) 2002 weitergeleitet werden, oder zur weiteren Verarbeitung durch eine der Verarbeitungsentitäten innerhalb des Parallelprozessors 2100 aus 21A weitergeleitet werden.
-
21C ist ein Blockdiagramm eines Verarbeitungsclusters 2114 innerhalb einer Parallelverarbeitungseinheit gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist ein Verarbeitungscluster eine Instanz eines der Verarbeitungscluster 2114A-2114N aus 21A. In mindestens einer Ausführungsform kann der Verarbeitungscluster 2114 konfiguriert sein, um viele Threads parallel auszuführen, wobei sich „Thread“ auf eine Instanz eines bestimmten Programms bezieht, das auf einem bestimmten Satz von Eingangsdaten ausgeführt wird. In mindestens einer Ausführungsform werden Einzelanweisungs-Mehrfachdaten ((Single Instruction, Multiple Data; SIMD)-Befehlsausgabetechniken verwendet, die parallele Ausführung einer großen Anzahl von Threads zu unterstützen, ohne mehrere unabhängige Befehlseinheiten bereitzustellen. In mindestens einer Ausführungsform werden Einzelanweisungs-Mehrfachthread (Single Instruction, Multiple Thread; SIMT)-Techniken verwendet, die parallele Ausführung einer großen Anzahl von im Allgemeinen synchronisierten Threads zu unterstützen, wobei eine gemeinsame Befehlseinheit verwendet wird, die konfiguriert ist, um Anweisungen an eine Anzahl von Verarbeitungs-Engines innerhalb jedes einzelnen der Verarbeitungscluster auszugeben.
-
In mindestens einer Ausführungsform kann der Betrieb des Verarbeitungsclusters 2114 über einen Pipeline-Verwalter 2132 gesteuert werden, der Verarbeitungsaufgaben an SIMT-Parallelprozessoren verteilt. In mindestens einer Ausführungsform empfängt der Pipeline-Verwalter 2132 Anweisungen von dem Planer 2110 von 21A und verwaltet die Ausführung dieser Anweisungen über einen Graphik-Multiprozessor 2134 und/oder eine Textureinheit 2136. In mindestens einer Ausführungsform ist der Graphik-Multiprozessor 2134 eine beispielhafte Instanz eines SIMT-Parallelprozessors. In mindestens einer Ausführungsform können jedoch verschiedene Arten von SIMT-Parallelprozessoren unterschiedlicher Architekturen innerhalb des Verarbeitungsclusters 2114 umfasst sein. In mindestens einer Ausführungsform können eine oder mehrere Instanzen des Graphik-Multiprozessors 2134 in einem Verarbeitungscluster 2114 umfasst sein. In mindestens einer Ausführungsform kann der Graphik-Multiprozessor 2134 Daten verarbeiten und kann eine Datenquerschiene 2140 verwendet, um verarbeitete Daten an eines von mehreren möglichen Zielen, einschließlich anderer Shader-Einheiten, zu verteilen. In mindestens einer Ausführungsform kann der Pipeline-Verwalter 2132 die Verteilung der verarbeiteten Daten erleichtern, indem er Ziele für verarbeitete Daten spezifiziert, die über die Datenquerschiene 2140 zu verteilen sind.
-
In mindestens einer Ausführungsform kann jeder Graphik-Multiprozessor 2134 innerhalb des Verarbeitungsclusters 2114 einen identischen Satz funktionaler Ausführungslogik (z.B. Arithmetik-Logikeinheiten, Lade-Speicher-Einheiten usw.) umfassen. In mindestens einer Ausführungsform kann funktionale Ausführungslogik nach Art des Pipeline-Prinzips konfiguriert sein, in welcher neue Anweisungen ausgegeben werden können, bevor frühere Anweisungen beendet sind. In mindestens einer Ausführungsform unterstützt die funktionale Ausführungslogik eine Mehrzahl von Operationen, einschließlich Ganzzahl- und Gleitkommaarithmetik, Vergleichsoperationen, boolesche Operationen, Bit-Shifting und Berechnung verschiedener algebraischer Funktionen. In mindestens einer Ausführungsform kann die gleiche Hardware der funktionalen Einheit wirksam genutzt werden, um verschiedene Operationen durchzuführen, und jede beliebige Kombination von funktionalen Einheiten kann vorhanden sein.
-
In mindestens einer Ausführungsform bilden an den Verarbeitungscluster 2114 übertragene Anweisungen einen Thread. In mindestens einer Ausführungsform ist ein Satz von Threads, die über einen Satz von Parallelverarbeitungs-Engines ausgeführt werden, eine Thread-Gruppe. In mindestens einer Ausführungsform führt die Thread-Gruppe ein Programm an verschiedenen Eingangsdaten aus. In mindestens einer Ausführungsform kann jeder Thread innerhalb einer Thread-Gruppe einer unterschiedlichen Verarbeitungs-Engine innerhalb eines Graphik-Multiprozessors 2134 zugeordnet sein. In mindestens einer Ausführungsform kann eine Thread-Gruppe weniger Threads umfassen als eine Anzahl von Verarbeitungs-Engines innerhalb des Graphik-Multiprozessors 2134. In mindestens einer Ausführungsform kann, wenn eine Thread-Gruppe weniger Threads als eine Anzahl von Verarbeitungs-Engines enthält, eine oder mehrere der Verarbeitungs-Engines während der Zyklen, in welchen diese Thread-Gruppe verarbeitet wird, im Leerlauf sein. In mindestens einer Ausführungsform kann eine Thread-Gruppe mehr Threads als eine Anzahl von Verarbeitungs-Engines innerhalb des Graphik-Multiprozessors 2134 umfassen. In mindestens einer Ausführungsform kann, wenn eine Thread-Gruppe mehr Threads als eine Anzahl von Verarbeitungs-Engines innerhalb des Graphik-Multiprozessors 2134 umfasst, die Verarbeitung über aufeinanderfolgende Taktzyklen durchgeführt werden. In mindestens einer Ausführungsform können mehrere Thread-Gruppen nebenläufig auf einem Graphik-Multiprozessor 2134 ausgeführt werden.
-
In mindestens einer Ausführungsform umfasst der Graphik-Multiprozessor 2134 einen internen Cache-Speicher, um Lade- und Speicheroperationen durchzuführen. In mindestens einer Ausführungsform kann der Graphik-Multiprozessor 2134 auf einen internen Cache verzichten und einen Cache-Speicher (z.B. den L1-Cache 2148) innerhalb des Verarbeitungsclusters 2114 verwenden. In mindestens einer Ausführungsform weist jeder Graphik-Multiprozessor 2134 auch Zugriff auf L2-Caches innerhalb von Partitionseinheiten auf (z.B. den Partitionseinheiten 2120A-2120N von 21A), die unter allen Verarbeitungsclustern 2114 gemeinsam genutzt werden und zum Übertragen von Daten zwischen Threads verwendet werden können. In mindestens einer Ausführungsform kann der Graphik-Multiprozessor 2134 auch auf einen globalen Speicher außerhalb des Chips zugreifen, der einen oder mehrere lokale Parallelprozessorspeicher und/oder Systemspeicher umfassen kann. In mindestens einer Ausführungsform kann jeder Speicher, der außerhalb der Parallelverarbeitungseinheit 2102 liegt, als globalen Speicher verwendet werden. In mindestens einer Ausführungsform umfasst der Verarbeitungscluster 2114 mehrere Instanzen des Graphik-Multiprozessors 2134, der gemeinsame Anweisungen und Daten austauschen kann, welche in dem L1-Cache 2148 gespeichert sein können.
-
In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 2114 eine MMU 2145 (Speichermanagementeinheit) umfassen, die konfiguriert ist, um virtuelle Adressen auf physikalische Adressen abzubilden. In mindestens einer Ausführungsform können sich eine oder mehrere Instanzen der MMU 2145 innerhalb der Speicherschnittstelle 2118 von 21A befinden. In mindestens einer Ausführungsform umfasst die MMU 2145 einen Satz von Seitentabelleneinträgen (Page Table Entries; PTEs), die verwendet werden, um eine virtuelle Adresse auf eine physikalische Adresse einer Kachel und optional einen Cache-Zeilenindex abzubilden. In mindestens einer Ausführungsform kann die MMU 2145 Adressübersetzungs-Lookaside-Puffer (TLB) oder Caches umfassen, die sich in dem Graphik-Multiprozessor 2134 oder in dem L1-Cache 2148 oder in dem Verarbeitungscluster 2114 befinden können. In mindestens einer Ausführungsform wird eine physikalische Adresse verarbeitet, um den Oberflächendatenzugriff lokal zu verteilen, um eine effiziente Verschachtelung von Anforderungen zwischen Partitionierungseinheiten zu ermöglichen. In mindestens einer Ausführungsform kann der Cache-Zeilenindex verwendet werden, um zu bestimmen, ob eine Anforderung für eine Cache-Zeile ein Treffer oder ein Nichttreffer ist.
-
In mindestens einer Ausführungsform kann ein Verarbeitungscluster 2114 derart konfiguriert sein, dass jeder Graphik-Multiprozessor 2134 mit einer Textureinheit 2136 zum Durchführen von Texturmappingoperationen, z.B. einem Bestimmen von Texturprobenpositionen, einem Lesen von Texturdaten und einem Filtern von Texturdaten, gekoppelt ist. In mindestens einer Ausführungsform werden Texturdaten aus einem internen Textur-L1-Cache (nicht gezeigt) oder aus einem L1-Cache innerhalb des Graphik-Multiprozessors 2134 gelesen und bei Bedarf aus einem L2-Cache, einem lokalen Parallelprozessorspeicher oder einem Systemspeicher geholt. In mindestens einer Ausführungsform gibt jeder Graphik-Multiprozessor 2134 verarbeitete Aufgaben an die Datenquerschiene 2140 aus, um die verarbeitete Aufgabe einem anderen Verarbeitungscluster 2114 zur weiteren Verarbeitung bereitzustellen oder um die verarbeitete Aufgabe über die Speicherquerschiene 2116 in einem L2-Cache, lokalen Parallelprozessorspeicher oder Systemspeicher zu speichern. In mindestens einer Ausführungsform ist eine preROP 2142 (Pre-Raster Operations Unit) bzw. Vorrasteroperationseinheit konfiguriert, um Daten von dem Graphik-Multiprozessor 2134 zu empfangen und Daten an ROP-Einheiten zu leiten , welche mit Partitionierungseinheiten wie hier beschrieben angeordnet sein können (z.B. die Partitionierungseinheiten 2120A-2120N von 21A). In mindestens einer Ausführungsform kann die PreROP-Einheit 2142 Optimierungen zur Farbmischung durchführen, um Pixelfarbdaten zu organisieren und Adressübersetzungen durchzuführen.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 815 sind hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in dem Graphikverarbeitungscluster 2114 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
21D zeigt einen Graphik-Multiprozessor 2134 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform koppelt der Graphik-Multiprozessor 2134 mit dem Pipeline-Verwalter 2132 des Verarbeitungsclusters 2114. In mindestens einer Ausführungsform weist der Graphik-Multiprozessor 2134 eine Ausführungspipeline auf, die einen Anweisungs- bzw. Befehls-Cache 2152, eine Anweisungs- bzw. Befehlseinheit 2154, eine Adresszuordnungseinheit 2156, eine Registerdatei 2158, einen oder mehrere Vielzweck-Graphikverarbeitungseinheit GPGPU-Kerne 2162 und eine oder mehrere Lade-/Speicher-Einheiten 2166 umfasst, ohne darauf beschränkt zu sein. Die GPGPU-Kerne 2162 und die Lade-/Speicher-Einheiten 2166 sind mit dem Cache-Speicher 2172 und dem gemeinsam genutzten Speicher 2170 über eine Speicher- und Cache-Zwischenverbindung 2168 gekoppelt.
-
In mindestens einer Ausführungsform empfängt der Befehls-Cache 2152 einen Strom von Anweisungen, die von dem Pipeline-Verwalter 2132 auszuführen sind. In mindestens einer Ausführungsform werden Anweisungen in dem Befehls-Cache 2152 zwischengespeichert und zur Ausführung durch die Befehlseinheit 2154 bereitgestellt. In mindestens einer Ausführungsform kann die Befehlseinheit 2154 Anweisungen als Thread-Gruppen (z.B. Warps) senden, wobei jeder Thread der Thread-Gruppe einer anderen Ausführungseinheit innerhalb des GPGPU-Kerns 2162 zugeordnet ist. In mindestens einer Ausführungsform kann eine Anweisung auf einen beliebigen eines lokalen, gemeinsam genutzten oder globalen Adressraums zugreifen, indem sie eine Adresse innerhalb eines vereinheitlichten Adressraums spezifiziert. In mindestens einer Ausführungsform kann die Adresszuordnungseinheit 2156 verwendet werden, um Adressen in einem vereinheitlichten Adressraum in eine eindeutige Speicheradresse zu übersetzen, auf von den Lade-/Speicher-Einheiten 2166 zugegriffen werden kann.
-
In mindestens einer Ausführungsform stellt die Registerdatei 2158 einen Satz von Registern für funktionale Einheiten bzw. Funktionseinheiten des Graphik-Multiprozessors 2134 bereit. In mindestens einer Ausführungsform stellt die Registerdatei 2158 einen temporären Speicher für Operanden bereit, die mit Datenpfaden von Funktionseinheiten (z.B. den GPGPU-Kernen 2162, den Lade-/Speicher-Einheiten 2166) des Graphik-Multiprozessors 2134 verbunden sind. In mindestens einer Ausführungsform ist die Registerdatei 2158 derart auf jede der Funktionseinheiten aufgeteilt, dass jeder Funktionseinheit ein dedizierter Abschnitt der Registerdatei 2158 zugeordnet ist. In mindestens einer Ausführungsform ist die Registerdatei 2158 auf zwischen verschiedenen Ketten bzw. Warps aufgeteilt, die von dem den Graphik-Multiprozessor 2134 ausgeführt werden.
-
In mindestens einer Ausführungsform können die GPGPU-Kerne 2162 jeweils Gleitkommaeinheiten (FPUs) und/oder Ganzzahlarithmetik-Logikeinheiten (ALUs) umfassen, die zum Ausführen von Anweisungen des Graphik-Multiprozessors 2134 verwendet werden. Die GPGPU-Kerne 2162 können in der Architektur ähnlich sein oder sich in der Architektur unterscheiden. In mindestens einer Ausführungsform umfasst ein erster Abschnitt der GPGPU-Kerne 2162 eine FPU einfacher Genauigkeit und eine Ganzzahl-ALU, während ein zweiter Abschnitt der GPGPU-Kerne eine FPU doppelter Genauigkeit umfasst. In mindestens einer Ausführungsform können FPUs den IEEE 754-1208-Standard für Gleitkommaarithmetik implementieren oder eine Gleitkommaarithmetik mit variabler Genauigkeit ermöglichen. In mindestens einer Ausführungsform kann der Graphik-Multiprozessor 2134 zusätzlich eine oder mehrere Einheiten mit fester Funktion oder Spezialfunktion zum Durchführen bestimmter Funktionen wie beispielsweise Kopierrechteck- oder Pixelblendingoperationen umfassen. In mindestens einer Ausführungsform kann bzw. können ein oder mehrere GPGPU-Kerne 2162 auch Logik für eine feste oder spezielle Funktion umfassen.
-
In mindestens einer Ausführungsform umfassen die GPGPU-Kerne 2162 eine SIMD-Logik, die in der Lage ist, eine einzelne Anweisung auf bzw. für mehrere Datensätze durchzuführen. In mindestens einer Ausführungsform können GPGPU-Kerne 2162 SIMD4-, SIMD8- und SIMD16-Anweisungen physikalisch ausführen und SIMD1-, SIMD2- und SIMD32-Anweisungen logisch ausführen. In mindestens einer Ausführungsform können SIMD-Anweisungen für GPGPU-Cores zur Kompilierungszeit von einem Shader-Compiler generiert oder automatisch bei dem Ausführen von Programmen erzeugt werden, die für Single Program, Multiple Data (SPMD) oder SIMT-Architekturen geschrieben und kompiliert wurden. In mindestens einer Ausführungsform können mehrere Threads eines für ein SIMT-Ausführungsmodell konfigurierten Programms über eine einzelne SIMD-Anweisung ausgeführt werden. Beispielsweise können in mindestens einer Ausführungsform acht SIMT-Threads, die gleiche oder ähnliche Operationen durchführen, über eine einzige SIMD8-Logikeinheit parallel ausgeführt werden.
-
In mindestens einer Ausführungsform ist die Speicher- und Cache-Zwischenverbindung 2168 ein Zwischenverbindungsnetzwerk, das jede Funktionseinheit des Graphik-Multiprozessors 2134 mit der Registerdatei 2158 und dem gemeinsamen Speicher 2170 verbindet. In mindestens einer Ausführungsform ist die Speicher- und Cache-Zwischenverbindung 2168 eine Querschienen-Zwischenverbindung, die der Lade-/Speicher-Einheit 2166 ermöglicht, Lade- und Speicheroperationen zwischen dem gemeinsamen Speicher 2170 und der Registerdatei 2158 zu implementieren. In mindestens einer Ausführungsform kann die Registerdatei 2158 mit der gleichen Frequenz wie die GPGPU-Kerne 2162 arbeiten, so dass die Datenübertragung zwischen den GPGPU-Kernen 2162 und der Registerdatei 2158 eine sehr geringe Latenzzeit aufweist. In mindestens einer Ausführungsform kann der gemeinsame Speicher 2170 verwendet werden, um die Kommunikation zwischen Threads zu ermöglichen, die auf Funktionseinheiten innerhalb des Graphik-Multiprozessors 2134 ausgeführt werden. In mindestens einer Ausführungsform kann der Cache-Speicher 2172 beispielsweise als ein Datencache verwendet werden, um Texturdaten zwischenzuspeichern, die zwischen Funktionseinheiten und der Textureinheit 2136 ausgetauscht werden. In mindestens einer Ausführungsform kann der gemeinsam genutzte Speicher 2170 auch als ein programmverwalteter Cache verwendet werden. In mindestens einer Ausführungsform können Threads, die auf GPGPU-Kernen 2162 ausgeführt werden, Daten innerhalb des gemeinsam genutzten Speichers programmatisch zusätzlich zu automatisch zwischengespeicherten Daten speichern, die innerhalb des Cache-Speichers 2172 gespeichert sind.
-
In mindestens einer Ausführungsform ist ein Parallelprozessor oder eine GPGPU, wie hier beschrieben, kommunikativ mit Host/Prozessor-Kernen gekoppelt, um Graphikoperationen, Maschinenlemoperationen, Musteranalyseoperationen und verschiedene allgemeine GPU (GPGPU)-Funktionen zu beschleunigen. In mindestens einer Ausführungsform kann die GPU kommunikativ mit den Host/Prozessor-Kernen über einen Bus oder eine andere Zwischenverbindung (z.B. eine Hochgeschwindigkeits-Zwischenverbindung wie PCIe oder NVLink) gekoppelt sein. In mindestens einer Ausführungsform kann die GPU in bzw. auf demselben Gehäuse oder Chip wie die Kerne integriert und kommunikativ mit Kernen über einen internen Prozessorbus/eine interne Zwischenverbindung (d.h. intern in Bezug auf das Gehäuse oder den Chip) gekoppelt sein. In mindestens einer Ausführungsform können Prozessorkerne unabhängig davon, wie die GPU verbunden ist, der GPU Arbeit in Form von Sequenzen von Befehlen/Anweisungen zuweisen, die in einem Arbeitsdeskriptor umfasst sind. In mindestens einer Ausführungsform verwendet die GPU dann dedizierte Schaltkreise/Logik zum effizienten Verarbeiten dieser Befehle/Anweisungen.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 815 sind hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in dem Graphik-Multiprozessor 2134 verwendet werden, um Operationen zu inferenzieren oder vorherzusagen, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
22 veranschaulicht ein Multi-GPU-Computersystem 2200 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das Multi-GPU-Computersystem 2200 einen Prozessor 2202 umfassen, der über einen Host-Schnittstellen-Schalter 2204 mit mehreren universellen Graphikverarbeitungseinheiten (GPGPUs) 2206A-D gekoppelt ist. In mindestens einer Ausführungsform ist der Host-Schnittstellen-Schalter 2204 eine PCI-Express-Schaltervorrichtung, die den Prozessor 2202 an einen PCI-Express-Bus koppelt, über welchen der Prozessor 2202 mit den GPGPUs 2206A-D kommunizieren kann. In mindestens einer Ausführungsform können sich die GPGPUs 2206A-D können sich über eine Anzahl von Hochgeschwindigkeits-Punkt-zu-Punkt-GPU-zu-GPU-Verbindungen 2216 zwischenverbinden. In mindestens einer Ausführungsform verbinden sich die P2P-Verbindungen 2216 über eine dedizierte GPU-Verbindung mit jeder der GPGPUs 2206A-D. In mindestens einer Ausführungsform ermöglichen die P2P-GPU-Verbindungen 2216 eine direkte Kommunikation zwischen jeder der GPGPUs 2206A-D, ohne eine Kommunikation über den Host-Schnittstellenbus 2204 zu erfordern, mit welchem der Prozessor 2202 verbunden ist. In mindestens einer Ausführungsform bleibt mit GPU-zu-GPU-Datenaufkommen, das auf die P2P-GPU-Verbindungen 2216 gerichtet ist, der Host-Schnittstellenbus 2204 für Systemspeicherzugriff oder zur Kommunikation mit anderen Instanzen des Multi-GPU-Computersystems 2200, beispielsweise, über eine oder mehrere Netzwerkvorrichtung(en) verfügbar. Während in mindestens einer Ausführungsform die GPGPUs 2206A-D über den Host-Schnittstellen-Schalter 2204 mit dem Prozessor 2202 verbinden, umfasst in mindestens einer Ausführungsform der Prozessor 2202 direkte Unterstützung für die P2P-GPU-Verbindungen 2216 und kann direkt mit den GPGPUs 2206A-D verbunden werden.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 815 sind hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in dem Multi-GPU-Computersystem 2200 verwendet werden, um Operationen zu inferenzieren oder vorherzusagen, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
31 ist ein Blockdiagramm eines Graphikprozessors 2300 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst der Graphikprozessor 2300 eine Ring-Zwischenverbindung 2302, ein Pipeline-Frontend 2304, eine Medien-Engine 2337 und Graphikkerne 2380A-2380N. In mindestens einer Ausführungsform koppelt die Ring-Zwischenverbindung 2302 den Graphikprozessor 2300 an andere Verarbeitungseinheiten, einschließlich andere Graphikprozessoren oder einen oder mehrere universelle Prozessorkerne. In mindestens einer Ausführungsform ist der Graphikprozessor 2300 einer von vielen Prozessoren, die innerhalb eines Multicore-Verarbeitungssystems integriert sind.
-
In mindestens einer Ausführungsform empfängt der Graphikprozessor 2300 Stapel von Befehlen über die Ring-Zwischenverbindung 2302. In mindestens einer Ausführungsform werden eingehende Befehle von einem Befehlsstreamer 2303 in dem Pipeline-Frontend 2304 interpretiert. In mindestens einer Ausführungsform umfasst der Graphikprozessor 2300 eine skalierbare Ausführungslogik zur Durchführung von 3D-Geometrieverarbeitung und Medienverarbeitung über den/die Graphikkern(e) 2380A-2380N. In mindestens einer Ausführungsform liefert der Befehlsstreamer 2303 für 3D-Geometrieverarbeitungsbefehle Befehle an die Geometrie-Pipeline 2336. In mindestens einer Ausführungsform liefert der Befehlsstreamer 2303 für mindestens einige Befehle zur Medienverarbeitung Befehle an ein Video-Frontend 2334, das mit einer Medien-Engine 2337 gekoppelt ist. In mindestens einer Ausführungsform umfasst die Medien-Engine 2337 eine Videoqualitäts-Engine (VQE) 2330 zur Video- und Bild-Nachbearbeitung und eine Multiformat-Codier-/Decodier-Engine (MFX) 2333 zur hardwarebeschleunigten Mediendatencodierung und -decodierung. In mindestens einer Ausführungsform erzeugen die Geometrie-Pipeline 2336 und die Medien-Engine 2337 jeweils Ausführungsthreads für Thread-Ausführungsressourcen, die von mindestens einem Graphikkern 2380A bereitgestellt werden.
-
In mindestens einer Ausführungsform umfasst der Graphikprozessor 2300 skalierbare Thread-Ausführungsressourcen mit modularen Kernen 2380A-2380N (manchmal als Kern-Slices bezeichnet), die jeweils mehrere Unterkeme 2350A-550N, 2360A-2360N (manchmal als Kern-Subslices bezeichnet) aufweisen. In mindestens einer Ausführungsform kann der Graphikprozessor 2300 eine beliebige Anzahl von Graphikkernen 2380A bis 2380N aufweisen. In mindestens einer Ausführungsform umfasst der Graphikprozessor 2300 einen Graphikkern 2380A mit mindestens einem ersten Unterkern 2350A und einem zweiten Unterkern 2360A. In mindestens einer Ausführungsform ist der Graphikprozessor 2300 ein stromsparender Prozessor mit einem einzigen Unterkern (z.B. 2350A). In mindestens einer Ausführungsform umfasst der Graphikprozessor 2300 mehrere Graphikkerne 2380A-2380N, die jeweils einen Satz von ersten Unterkernen 2350A-2350N und einen Satz von zweiten Unterkemen 2360A-2360N umfassen. In mindestens einer Ausführungsform umfasst jeder Unterkern in den ersten Unterkemen 2350A-2350N mindestens einen ersten Satz von Ausführungseinheiten 2352A-2352N und Medien/Textur-Abtastern 2354A-2354N. In mindestens einer Ausführungsform umfasst jeder Unterkern in den zweiten Unterkemen 2360A-2360N mindestens einen zweiten Satz von Ausführungseinheiten 2362A-2362N und Abtastern 2364A-2364N. In mindestens einer Ausführungsform teilt sich jeder Unterkern 2350A-2350N, 2360A-2360N einen Satz gemeinsamer Ressourcen 2370A-2370N. In mindestens einer Ausführungsform umfassen gemeinsam genutzte Ressourcen gemeinsam genutzten Cache-Speicher und Pixeloperationslogik.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 815 sind hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenzierungs- und/oder Trainingslogik 815 in dem Graphikprozessor 2300 zum Inferenzieren oder Vorhersagen von Operationen verwendet werden, die mindestens teilweise auf Gewichtsparametern basieren, die unter Verwendung von Trainingsoperationen für neuronale Netzwerke, Funktionen und/oder Architekturen neuronaler Netzwerke oder hier beschriebenen Anwendungsfällen neuronaler Netzwerke berechnet wurden.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
24 zeigt einen Prozessor 2400, der Logikschaltungen zum Ausführen von Anweisungen umfassen kann, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozessor 2400 Anweisungen ausführen, einschließlich von x86-Befehlen, ARM-Befehlen, speziellen Anweisungen für anwendungsspezifische integrierte Schaltungen (ASICs) usw. In mindestens einer Ausführungsform kann der Prozessor 2400 Register umfassen zum Speichern gepackter Daten umfassen, wie beispielsweise 64-Bit breite MMX™-Register in Mikroprozessoren, die mit MMX-Technologie der Intel Corporation aus Santa Clara, Kalifornien, ausgestattet sind. In mindestens einer Ausführungsform können MMX-Register, die sowohl in Ganzzahl- als auch in Gleitkomma-Form verfügbar sind, mit gepackten Datenelementen arbeiten, die Einzelanweisungs-Mehrfachdaten („SIMD“) und Streaming-SIMD-Erweiterungen („SSE“) begleiten. In mindestens einer Ausführungsform können 128-Bit breite XMM-Register, die sich auf SSE2, SSE3, SSE4, AVX oder darüber hinaus beziehen (allgemein als „SSEx“ bezeichnet), solche gepackten Datenoperanden umfasst. In mindestens einer Ausführungsform können kann der Prozessor 2400 Anweisungen ausführen, um maschinelles Lernen oder Algorithmen für tiefes Lernen, Training oder Inferenzierung zu beschleunigen.
-
In mindestens einer Ausführungsform umfasst der Prozessor 2400 ein Frontend („Frontend“) 2401, um auszuführende Anweisungen zu holen und Anweisungen vorzubereiten, die später in der Prozessorpipeline zu verwenden sind. In mindestens einer Ausführungsform kann das Frontend 2401 mehrere Einheiten umfassen. In mindestens einer Ausführungsform holt ein Anweisungs-Vorabrufer bzw. -Prefetcher 2426 Anweisungen aus dem Speicher und leitet Anweisungen an einen Anweisungsdecodierer 2428 weiter, der wiederum Anweisungen decodiert oder interpretiert. Beispielsweise decodiert in mindestens einer Ausführungsform der Anweisungsdecodierer 2428 eine empfangene Anweisung in eine oder mehrere Operationen, die als „Mikroanweisungen“ oder „Mikrooperationen“ bezeichnet werden (die auch als „Mikro-Ops“ oder „Uops“ bezeichnet werden), die eine Maschine ausführen kann. In mindestens einer Ausführungsform parst bzw. analysiert der Anweisungsdecodierer 2428 eine Anweisung in einen Opcode und entsprechende Daten und Steuerfelder, die von der Mikroarchitektur verwendet werden können, um Operationen gemäß mindestens einer Ausführungsform durchzuführen. In mindestens einer Ausführungsform kann ein Trace- bzw. Spur-Cache 2430 decodierte Uops zu programmgeordneten Sequenzen oder Spuren in einer Uop-Warteschlange 2434 zur Ausführung zusammenstellen. In mindestens einer Ausführungsform stellt dann, wenn der Trace-Cache 2430 auf eine komplexe Anweisung trifft, ein Mikrocode-ROM 2432 die für den Abschluss der Operation erforderlichen Uops bereit.
-
In mindestens einer Ausführungsform können einige Anweisungen in eine einzige Mikro-Op umgewandelt werden, während andere mehrere Mikro-Operationen benötigen, um die volle Operation abzuschließen. In mindestens einer Ausführungsform kann dann, wenn mehr als vier Mikro-Ops benötigt werden, um eine Anweisung abzuschließen, der Anweisungsdecodierer 2421 auf den Mikrocode-ROM 2432 zugreifen, um die Anweisung auszuführen. In mindestens einer Ausführungsform kann eine Anweisung zur Verarbeitung an dem Anweisungsdecodierer 2421 in eine kleine Anzahl von Mikro-Ops. decodiert werden. In mindestens einer Ausführungsform kann eine Anweisung in dem Mikrocode ROM 2432 gespeichert werden, falls eine Anzahl von Mikro-Operationen zur Durchführung des Betriebs erforderlich sein sollte. In mindestens einer Ausführungsform bezieht sich der Trace-Cache 2430 auf eine programmierbare Eintrittspunkt-Logikanordnung („PLA“), um einen korrekten Mikroanweisungszeiger zum Lesen von Mikrocodesequenzen zu bestimmen, um eine oder mehrere Anweisungen von dem Mikrocode ROM 2432 abzuschließen, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform beendet der Mikrocode-ROM 2432 die Sequenzierung von Mikro-Ops für eine Anweisung, wobei das Frontend 2401 der Maschine das Abholen von Mikro-Ops aus dem Trace-Cache 2430 wieder aufnehmen kann.
-
In mindestens einer Ausführungsform kann eine Außer-Betrieb bzw. Out-of-Order-Ausführungs-Engine („Out-of-Order-Engine“) 2403 Anweisungen zur Ausführung vorbereiten. In mindestens einer Ausführungsform weist die Out-of-Order-Ausführungslogik eine Anzahl von Puffern auf, um den Fluss von Anweisungen zu glätten und neu zu ordnen, um die Leistung zu optimieren, während sie eine Pipeline hinuntergehen und zur Ausführung eingeplant werden. Die Out-of-Order-Ausführungs-Engine 2403 umfasst, ohne darauf beschränkt zu sein, einen Allokator/Register-Umbenenner 2440, eine Speicher-Uop-Warteschlange 2442, eine Ganzzahl/Gleitkomma-Uop-Warteschlange 2444, einen Speicher-Planer 2446, einen Schnell-Planer 2402, einen Langsam/Universal-Gleitkomma-Planer („Langsam/Universal-FP-Planer“) 2404 und einen einfachen Gleitkomma-Planer („Einfach-FP-Planer“) 2406. In mindestens einer Ausführungsform werden der Schnell-Planer 2402, der Langsam/Universal-Gleitkomma-Planer 2404 und der Einfach-Gleitkomma-Planer 3126 hier auch kollektiv als „Uop- Planer 2402, 2404, 2406“ bezeichnet. In mindestens einer Ausführungsform teilt der Allokator/Register-Umbenenner 2440 weist Engine- bzw. Maschinenpuffer und Ressourcen zu, die jeder Uop zur Ausführung benötigt. In mindestens einer Ausführungsform benennt der Allokator/Register-Umbenenner 2440 Logikregister auf Einträge in einer Registerdatei um. In mindestens einer Ausführungsform teilt der Allokator/Register-Umbenenner 2440 auch einen Eintrag für jeden Uop in einer von zwei Uop-Warteschlangen, der Speicher-Uop-Warteschlange 2442 für Speicheroperationen und der Ganzzahl/Gleitkomma-Uop-Warteschlange 2444 für Nichtspeicher-operationen, vor dem Speicher-Planer 2446 und den Uop-Planern 2402, 2404, 2406 zu. In mindestens einer Ausführungsform bestimmen die Uop-Planer 2402, 2404, 2406, wann ein Uop ausführbereit ist, basierend auf der Bereitschaft ihrer abhängigen Eingangsregister-Operandenquellen und der Verfügbarkeit von Ausführungsressourcen, die Uops benötigen, um ihre Operation abzuschließen. In mindestens einer Ausführungsform kann der Schnell-Planer 2402 auf jeder Hälfte eines Haupttaktzyklus planen, während der Langsam/Universal-Gleitkomma-Planer 2404 und der Einfach-Gleitkomma-Planer 2406 einmal pro Hauptprozessortaktzyklus planen können. In mindestens einer Ausführungsform arbitrieren die Uop-Planer 2402, 2404, 2406 für Sende-Ports, um Uops zur Ausführung einzuplanen.
-
In mindestens einer Ausführungsform umfasst ein Ausführungsblock 2411, ohne darauf beschränkt zu sein, ein Ganzzahl-Registerdatei/Umgehungs-Netzwerk 2408, ein Gleitkomma-Registerdatei/Umgehungsnetzwerk („FP-Registerdatei/Umgehungs-netzwerk“) 2410, Adresserzeugungseinheiten („AGUs“) 2412 und 2414, schnelle Arithmetiklogikeinheiten (ALUs) („schnelle ALUs“) 2416 und 2418, eine langsame Arithmetiklogikeinheit („langsame ALU“) 2412, eine Gleitkomma-ALU („FP“) 2422 und eine Gleitkomma-Bewegungseinheit („FP Bewegung“) 2424. In mindestens einer Ausführungsform werden das Ganzzahl-Registerdatei/Umgehungs-Netzwerk 2408 und das Gleitkomma-Registerdatei/Umgehungs-Netzwerk 2410 hier auch als „Registerdateien 2408, 2410“ bezeichnet. In mindestens einer Ausführungsform werden die AGUSs 2412 und 2414, die schnellen ALUs 2416 und 2418, die langsame ALU 2412, die Gleitkomma-ALU 2422 und die Gleitkomma-Bewegungseinheit 2424 auch als „Ausfiihrungseinheiten 2412, 2414, 2416, 2418, 2412, 2422 und 2424“ bezeichnet. In mindestens einer Ausführungsform kann der Ausführungsblock 2411, ohne darauf beschränkt zu sein, eine beliebige Anzahl (einschließlich Null) und Art von Registerdateien, Umgehungsnetzwerken, Adresserzeugungseinheiten und Ausführungseinheiten in beliebiger Kombination umfassen.
-
In mindestens einer Ausführungsform können die Registerdateien 2408, 2410 zwischen den Uop-Planern 2402, 2404, 2406 und den Ausführungseinheiten 2412, 2414, 2416, 2418, 2412, 2422 und 2424 angeordnet sein. In mindestens einer Ausführungsform führt das Ganzzahl-Registerdatei/Umgehungs-Netzwerk 2408 Ganzzahl-Operationen aus. In mindestens einer Ausführungsform führt das Gleitkomma-Registerdatei/Umgehungs-Netzwerk 2410 Gleitkommaoperationen durch. In mindestens einer Ausführungsform kann jedes der Registernetzwerke 2408, 2410, ohne darauf beschränkt zu sein, ein Umgehungs-Netzwerk umfassen, das gerade abgeschlossene Ergebnisse, die noch nicht in die Registerdatei geschrieben wurden, umgehen oder an neue abhängige Uops weiterleiten kann. In mindestens einer Ausführungsform können die Registerdateien 2408, 2410 Daten miteinander kommunizieren. In mindestens einer Ausführungsform kann das Ganzzahl-Registerdatei/Umgehungs-Netzwerk 2408, ohne darauf beschränkt zu sein, zwei separate Registerdateien, eine Registerdatei für 32 Datenbits niedriger Ordnung und eine zweite Registerdatei für 32 Datenbits hoher Ordnung, umfassen. In mindestens einer Ausführungsform kann das Gleitkomma-Registerdatei/Umgehungs-Netzwerk 2410, ohne darauf beschränkt zu sein, 128-Bit breite Einträge umfassen, weil Gleitkommaanweisungen typischerweise Operanden von 64 bis 128 Bit Breite aufweisen.
-
In mindestens einer Ausführungsform können die Ausführungseinheiten 2412, 2414, 2416, 2418, 2412, 2422, 2424 Anweisungen ausführen. In mindestens einer Ausführungsform speichern die Registerdateien 2408, 2410 Ganzzahl- und Gleitkomma-Daten-Operandenwerte, die Mikroanweisungen ausführen müssen. In mindestens einer Ausführungsform kann der Prozessor 2400, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Kombination von Ausführungseinheiten 2412, 2414, 2416, 2418, 2412, 2422, 2424 umfassen. In mindestens einer Ausführungsform können die Gleitkomma-ALU 2422 und die Gleitkomma-Bewegungseinheit 2424 Gleitkomma-, MMX-, SIMD-, AVX- und SSE-Operationen oder andere Operationen ausführen, einschließlich spezieller Anweisungen für maschinelles Lernen. In mindestens einer Ausführungsform kann die Gleitkomma ALU 2422, ohne darauf beschränkt zu sein, einen 64-Bit durch 64-Bit-Gleitkommateiler umfassen, um Divisions-, Quadratwurzel- und Rest-Mikrooperationen auszuführen. In mindestens einer Ausführungsform können Anweisungen, die einen Gleitkommawert umfassen, von Gleitkomma-Hardware gehandhabt werden. In mindestens einer Ausführungsform können ALU-Operationen an schnelle ALUs 2416, 2418 übergeben werden. In mindestens einer Ausführungsform können schnelle ALUS 2416, 2418 schnelle Operationen mit einer effektiven Latenz von einem halben Taktzyklus ausführen. In mindestens einer Ausführungsform gehen die komplexesten Ganzzahl-Operationen auf die langsame ALU 2412 über, da die langsame ALU 2412, ohne darauf beschränkt zu sein, eine Ganzzahl-Ausführungshardware für Operationen mit langer Latenz umfassen kann, wie beispielsweise ein Multiplikator, ein Schieber, Flag- bzw Kennzeichenbit-Logik und Zweigverarbeitung. In mindestens einer Ausführungsform können Speicher-Lade-/Speicher-Operationen von AGUS 2412, 2414 ausgeführt werden. In mindestens einer Ausführungsform können die schnelle ALU 2416, die schnelle ALU 2418 und die langsame ALU 2412 Ganzzahl-Operationen an 64-Bit-Datenoperanden durchführen. In mindestens einer Ausführungsform können die schnelle ALU 2416, die schnelle ALU 2418 und die langsame ALU 2420 implementiert sein, um eine Mehrzahl von Datenbitgrößen einschließlich sechzehn, zweiunddreißig, 128, 326 usw. zu unterstützen. In mindestens einer Ausführungsform können die Gleitkomma-ALU 2422 und die Gleitkomma-Bewegungseinheit 2424 implementiert sein, um eine Anzahl von Operanden mit Bits unterschiedlicher Breite zu unterstützen, wie beispielsweise 128-Bit breite gepackte Datenoperanden in Verbindung mit SIMD- und Multimedia-Anweisungen.
-
In mindestens einer Ausführungsform versenden die Uop-Planer 2402, 2404, 2406 abhängige Operationen, bevor die Ausführung einer Elternlast beendet ist. In mindestens einer Ausführungsform kann, da Uops spekulativ geplant und in dem Prozessor 2400 ausgeführt werden können, der Prozessor 2400 auch eine Logik zur Handhabung von Speicherfehlzugriffen umfassen. In mindestens einer Ausführungsform kann es dann, wenn eine Datenlast in einem Datencache fehlt, abhängige Operationen im Lauf der Pipeline geben, die einen Planer mit vorübergehend falschen Daten zurückgelassen haben. In mindestens einer Ausführungsform verfolgt ein Wiedergabemechanismus Anweisungen, die falsche Daten verwenden, und führt sie erneut aus. In mindestens einer Ausführungsform müssen abhängige Operationen möglicherweise wiedergegeben werden und unabhängige Operationen können abgeschlossen werden. In mindestens einer Ausführungsform können Planer und ein Wiedergabemechanismus von mindestens einer Ausführungsform eines Prozessors ebenfalls ausgelegt sein, um Anweisungssequenzen für Textkettenvergleichsoperationen abzufangen.
-
In mindestens einer Ausführungsform kann sich „Register“ auf On-Board-Prozessorspeicherplätze beziehen, die als Teil von Anweisungen zum Identifizieren von Operanden verwendet werden können. In mindestens einer Ausführungsform können Register diejenigen sein, die (aus der Sicht eines Programmierers) von außerhalb des Prozessors verwendbar sind. In mindestens einer Ausführungsform sind Register möglicherweise nicht auf einen bestimmten Schaltungstyp beschränkt. Vielmehr kann in mindestens einer Ausführungsform ein Register Daten speichern, Daten bereitstellen und die hier beschriebenen Funktionen ausführen. In mindestens einer Ausführungsform können hier beschriebene Register durch Schaltkreise innerhalb eines Prozessors unter Verwendung einer beliebigen Anzahl verschiedener Techniken implementiert sein, wie beispielsweise dedizierte physikalische Register, dynamisch allokierte physikalische Register, die Registerumbenennung verwenden, Kombinationen von dedizierten und dynamisch zugeordneten physikalischen Registern usw. In mindestens einer Ausführungsform speichern Ganzzahlregister 32-Bit-Ganzzahldaten. Eine Registerdatei mindestens einer Ausführungsform enthält darüber hinaus acht Multimedia-SIMD-Register für gepackte Daten.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 815 sind hier nachstehend in Verbindung mit 8A und/oder 8B bereitbestellt. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenzierungs- und/oder Trainingslogik 815 in einem Ausführungsblock 2411 und andere Speicher oder Register integriert sein, die gezeigt oder nicht gezeigt sind. Beispielsweise können in mindestens einer Ausführungsformen hier beschriebene Trainings- und/oder Inferenzierungstechniken eine oder mehrere der in dem Ausführungsblock 2411 veranschaulichten ALUs verwenden. Außerdem können Gewichtsparameter in On-Chip- oder Off-Chip-Speicher und/oder in Registern (gezeigt oder nicht gezeigt) gespeichert sein, die ALUs des Ausführungsblocks 2411 konfigurieren, um einen oder mehrere Algorithmen maschinellen Lernens, neuronale Netzwerkarchitekturen, Anwendungsfälle oder hier beschriebene Trainingstechniken auszuführen.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
25 veranschaulicht einen tief lernenden bzw. Deep-Learning-Anwendungsprozessor 2500 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform verwendet der Deep-Learning-Anwendungsprozessor 2500 Anweisungen, die dann, wenn sie durch den Deep-Learning-Anwendungsprozessor 2500 ausgeführt werden, bewirken, dass der Deep-Learning-Anwendungsprozessor 2500 einige oder alle der in dieser Offenbarung beschriebenen Prozesse und Techniken ausführt. In mindestens einer Ausführungsform ist der Deep-Learning-Anwendungsprozessor 2500 eine anwendungsspezifische integrierte Schaltung (ASIC). In mindestens einer Ausführungsform führt der Anwendungsprozessor 2500 Matrix-Multiplikationsoperationen entweder „fest verdrahtet“ in Hardware oder als ein Ergebnis der Durchführung einer oder mehrerer Anweisungen oder beides aus. In mindestens einer Ausführungsform umfasst der Deep-Learning-Anwendungsprozessor 2500, ohne darauf beschränkt zu sein, Verarbeitungscluster 2510(1)-2510(12), Inter-Chip-Verbindungen („ICLs“) 2512(1)-2512(12), Inter-Chip-Controller („ICCs“) 2530(1)-2530(2), Speicher mit hoher Bandbreite einer zweiten Generation („HBM2“) 2540(1)-2540(4), Speicher-Controller („Mem Ctrlrs“) 2542(1)-2542(4), eine physikalische Schicht von Speicher mit hoher Bandbreite („HBM PHY“) 2544(1)-2544(4), eine Management-Controller-Zentralverarbeitungseinheit („Management-Controller-CPU“) 2550, eine serielle Peripheriegeräte-Schnittstelle, eine integrierte Inter-Schaltung und einen universellen Eingabe-/Ausgabeblock („SPI, I2C, GPIO“) 2560, einen Peripheriekomponenten-Zwischenverbindungs-Express-Controller und einen Direktspeicherzugriffsblock („PCIe Controller und DMA“) 2570, sowie einen sechzehnkanaligen Peripheriekomponenten-Zwischenverbindungen-Express-Port („PCI Express × 16“) 2580.
-
In mindestens einer Ausführungsform können Verarbeitungscluster 2510 Deep-Learning-Operationen durchführen, einschließlich Inferenz- oder Vorhersage-Operationen basierend auf Gewichtsparametern, die mit einer oder mehreren Trainingstechniken berechnet wurden, einschließlich der hier beschriebenen. In mindestens einer Ausführungsform kann jeder Verarbeitungscluster 2510, ohne darauf beschränkt zu sein, eine beliebige Anzahl und Art von Prozessoren umfassen. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 2500 eine beliebige Anzahl und Art von Verarbeitungsclustern 2500 umfassen. In mindestens einer Ausführungsform sind Inter-Chip-Verbindungen 2512 bidirektional. In mindestens einer Ausführungsform ermöglichen Inter-Chip-Verbindungen 2512 und Inter-Chip-Controller 2530 mehreren Deep-Learning-Anwendungs-Prozessoren 2500, Informationen auszutauschen, einschließlich von Aktivierungsinformationen, die aus der Ausführung eines oder mehrerer Algorithmen maschinellen Lernens resultieren, die in einem oder mehreren neuronalen Netzwerken verkörpert sind. In mindestens einer Ausführungsform kann der Deep-Learning-Anwendungsprozessor 2500 eine beliebige Anzahl (einschließlich Null) und Art von ICLs 2512 und ICCs 2530 umfassen.
-
In mindestens einer Ausführungsform stellen die HBM2s 2540 insgesamt 32 Gigabyte (GB) Speicher zur Verfügung. Der HBM2 2540(i) ist sowohl der Speichersteuerung 2542(i) als auch der HBM PHY 2544(i) zugeordnet. In mindestens einer Ausführungsform kann eine beliebige Anzahl von HBM2s 2540 eine beliebige Art und Gesamtmenge an Speicher mit hoher Bandbreite bereitstellen und kann einer beliebigen Anzahl (einschließlich Null) und Art von Speicher-Controllern 2542 und HBM PHYs 2544 zugeordnet sein. In mindestens einer Ausführungsform können SPI, I2C, GPIO 2560, PCIe-Controller und DMA 2570 und/oder PCIe 2580 durch eine beliebige Anzahl und Art von Blöcken ersetzt sein, die eine beliebige Anzahl und Art von Kommunikationsstandards in beliebiger technisch machbaren Weise ermöglichen.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 sind hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor verwendet, um ein Modell maschinellen Lernens, wie beispielsweise ein neuronales Netzwerk, zu trainieren, Informationen vorherzusagen oder zu inferenzieren, die dem Deep-Learning-Anwendungsprozessor 2500 bereitgestellt werden. In mindestens einer Ausführungsform wird der Deep-Learning-Anwendungsprozessor 2500 verwendet, um Informationen basierend auf einem trainierten Modell maschinellen Lernens (z.B. ein neuronales Netzwerk), das von einem anderen Prozessor oder System oder von dem Deep-Learning-Anwendungsprozessor 2500 trainiert wurde, abzuleiten oder vorherzusagen. In mindestens einer Ausführungsform kann der Prozessor 3300 verwendet werden, um einen oder mehrere der hier beschriebenen Anwendungsfälle neuronaler Netzwerke durchzuführen.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
26 ist ein Blockdiagramm eines neuromorphen Prozessors 2600 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2600 ein oder mehrere Eingaben von zu dem neuromorphen Prozessor 2600 externen Quellen empfangen. In mindestens einer Ausführungsform können diese Eingaben an ein oder mehrere Neuronen 2602 innerhalb des neuromorphen Prozessors 2600 übertragen werden. In mindestens einer Ausführungsform können die Neuronen 2602 und ihre Komponenten unter Verwendung von Schaltungen oder Logik, einschließlich einer oder mehrerer Arithmetik-Logikeinheiten (ALUs), implementiert sein. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2600, ohne darauf beschränkt zu sein, Tausende oder Millionen von Instanzen von Neuronen 2602 umfassen, wobei jedoch eine beliebige Anzahl von Neuronen 2602 verwendet werden kann. In mindestens einer Ausführungsform kann jede Instanz des Neurons 2602 einen Neuroneneingang 2604 und einen Neuronenausgang 2606 umfassen. In mindestens einer Ausführungsform können Neuronen 2602 Ausgaben erzeugen, die Eingänge anderer Instanzen der Neuronen 2602 übertragen werden können. Beispielsweise können in mindestens einer Ausführungsform die Neuronen-Eingänge 2604 und die NeuronenAusgänge 2606 über Synapsen 2608 miteinander verbunden sein.
-
In mindestens einer Ausführungsform können die Neuronen 2602 und die Synapsen 2608 derart miteinander verbunden sein, dass der neuromorphe Prozessor 2600 zum Verarbeiten oder Analysieren der von dem neuromorphen Prozessor 2600 empfangenen Informationen eingesetzt wird. In mindestens einer Ausführungsform können die Neuronen 2602 einen Ausgangsimpuls (oder „Feuern“ oder „Spike“) senden, wenn über den Neuroneneingang 2604 empfangenen Eingaben einen Schwellenwert überschreiten. In mindestens einer Ausführungsform können die Neuronen 2602 Signale, die an den Neuroneneingängen 2604 empfangen wurden, summieren oder integrieren. Beispielsweise können in mindestens einer Ausführungsform Neuronen 2602 als lecke Integrations- und Feuerneuronen implementiert sein, wobei dann, wenn eine Summe (als ein „Membranpotential“ bezeichnet) einen Schwellenwert überschreitet, ein Neuron 2602 unter Verwendung einer Übertragungsfunktion, wie beispielsweise einer Sigmoid- oder Schwellenwertfunktion, eine Ausgabe (oder ein „Feuern“) erzeugen kann. In mindestens einer Ausführungsform kann ein leckes Integrations- und Feuerneuron Signale, die an den Neuroneneingängen 2604 empfangen wurden, zu einem Membranpotential summieren und kann darüber hinaus einen Zerfallsfaktor (oder ein Leck) anwenden, um ein Membranpotential zu verringern. In mindestens einer Ausführungsform kann ein leckes Integrations- und Feuerneuron feuern, falls mehrere Eingangssignale an den Neuroneneingängen 2604 schnell genug empfangen werden, um einen Schwellenwert zu überschreiten (d.h. bevor ein Membranpotential zu niedrig zum Feuern wird). In mindestens einer Ausführungsform können Neuronen 2602 unter Verwendung von Schaltungen oder Logik implementiert sein, die Eingaben empfangen, Eingaben zu einem Membranpotential integrieren und ein Membranpotential abbauen. In mindestens einer Ausführungsform können Eingaben gemittelt werden, oder kann eine beliebige andere geeignete Übertragungsfunktion verwendet werden. Ferner können in mindestens einer Ausführungsform, ohne darauf beschränkt zu sein, die Neuronen 2602 Komparatorschaltungen oder Logik umfassen, die einen Ausgangsspike an dem Neuronenausgang 2606 erzeugen, wenn ein Ergebnis der Anwendung einer Übertragungsfunktion auf den Neuroneneingang 2604 einen Schwellenwert überschreitet. In mindestens einer Ausführungsform kann, nachdem das Neuron 2602 feuert, es zuvor empfangene Eingangsinformationen ignorieren, indem es beispielsweise ein Membranpotenzial auf 0 oder einen anderen geeigneten Standardwert zurücksetzt. In mindestens einer Ausführungsform kann, nachdem das Membranpotential auf 0 zurückgesetzt ist, das Neuron 2602 nach einer geeigneten Zeitspanne (oder Refraktärperiode) den Normalbetrieb wieder aufnehmen.
-
In mindestens einer Ausführungsform können die Neuronen 2602 durch Synapsen 2608 miteinander verbunden sein. In mindestens einer Ausführungsform können die Synapsen 2608 betrieben werden, um Signale von einem Ausgang eines ersten Neurons 2602 zu einem Eingang eines zweiten Neurons 2602 zu übertragen. In mindestens einer Ausführungsform können Neuronen 2602 Informationen über mehr als eine Instanz der Synapse 2608 übertragen. In mindestens einer Ausführungsform können ein oder mehrere Instanzen des Neuronenausgangs 2606 über eine Instanz der Synapse 2608 mit einer Instanz des Neuroneneingangs 2604 im gleichen Neuron 2602 verbunden sein. In mindestens einer Ausführungsform kann eine Instanz des Neurons 2602, die eine Ausgabe erzeugt, die über eine Instanz der Synapse 2608 übertragen werden soll, als „präsynaptisches Neuron“ in Bezug auf diese Instanz der Synapse 2608 bezeichnet werden. In mindestens einer Ausführungsform kann eine Instanz des Neurons 2602, die eine über eine Instanz der Synapse 2608 übertragene Eingabe empfängt, in Bezug auf diese Instanz der Synapse 2608 als „postsynaptisches Neuron“ bezeichnet sein. Weil eine Instanz des Neurons 2602 Eingaben von einer oder mehreren Instanzen der Synapse 2608 empfangen kann, und auch Ausgaben über einen oder mehrere Instanzen der Synapse 2608 übertragen kann, kann eine einzelne Instanz des Neurons 2602 daher sowohl ein „präsynaptisches Neuron“ als auch ein „postsynaptisches Neuron“ in Bezug auf verschiedene Instanzen von Synapsen 2608 in mindestens einer Ausführungsform sein.
-
In mindestens einer Ausführungsform können die Neuronen 2602 in einer oder mehreren Schichten organisiert sein. Jede Instanz des Neurons 2602 kann einen Neuronenausgang 2606 aufweisen, der sich durch eine oder mehrere Synapsen 2608 zu einem oder mehreren Neuroneneingängen 2604 ausbreiten kann. In mindestens einer Ausführungsform können Neuronenausgänge 2606 von Neuronen 2702 in einer ersten Schicht 2710 mit Neuroneneingängen 2704 von Neuronen 2702 in einer zweiten Schicht 2712 verbunden sein. In mindestens einer Ausführungsform kann die Schicht 2610 als eine „Feed-Forward-Schicht“ bezeichnet sein. In mindestens einer Ausführungsform kann sich jede Instanz des Neurons 2602 in einer Instanz der ersten Schicht 2610 zu jeder Instanz des Neurons 2602 in der zweiten Schicht 2612 ausbreiten. In mindestens einer Ausführungsform kann die erste Schicht 2610 als „vollständig verbundene Feed-Forward-Schicht“ bezeichnet sein. In mindestens einer Ausführungsform kann sich jede Instanz des Neurons 2602 in einer Instanz der zweiten Schicht 2612 auf weniger als alle Instanzen des Neurons 2602 in einer dritten Schicht 2614 verteilen. In mindestens einer Ausführungsform kann die zweite Schicht 2612 als „spärlich verbundene Feed-Forward-Schicht“ bezeichnet sein. In mindestens einer Ausführungsform können sich Neuronen 2602 in der zweiten Schicht 2612 zu Neuronen 2602 in mehreren anderen Schichten ausbreiten, einschließlich zu Neuronen 2602 in der (gleichen) zweiten Schicht 2612. In mindestens einer Ausführungsform kann die zweite Schicht 2612 als „rekurrente Schicht“ bezeichnet sein. Der neuromorphe Prozessor 2600 kann, ohne darauf beschränkt zu sein, jede geeignete Kombination von rekurrenten Schichten und Feed-Forward-Schichten umfassen, einschließlich, ohne darauf beschränkt zu sein, sowohl spärlich verbundene Feed-Forward-Schichten als auch vollständig verbundene Feed-Forward-Schichten.
-
In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2600, ohne darauf beschränkt zu sein, eine rekonfigurierbare Zwischenverbindungsarchitektur oder dedizierte fest verdrahtete Zwischenverbindungen umfassen, um die Synapse 2608 mit den Neuronen 2602 zu verbinden. In mindestens einer Ausführungsform kann der neuromorphe Prozessor 2600, ohne darauf beschränkt zu sein, eine Schaltung oder Logik umfassen, die ermöglicht, Synapsen bei Bedarf verschiedenen Neuronen 2602 basierend auf neuronaler Netzwerktopologie und Neuronen-Fan-In/Out zuzuordnen. Beispielsweise können in mindestens einer Ausführungsform Synapsen 2608 mit Neuronen 2602 unter Verwendung einer Zwischenverbindungsstruktur, wie beispielsweise einem Netzwerk auf dem Chip, oder mit speziellen Verbindungen verbunden sein. In mindestens einer Ausführungsform können Synapsen-Zwischenverbindungen und Komponenten derselben unter Verwendung von Schaltungen oder Logik implementiert sein.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
27 ist ein Blockdiagramm eines Verarbeitungssystems gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst das System 2700 einen oder mehrere Prozessoren 2702 und einen oder mehrere Graphikprozessoren 2708 und kann ein Desktop-System mit einem einzelnen Prozessor, ein Multiprozessor-Workstation-System oder ein Serversystem mit einer großen Anzahl von Prozessoren 2702 oder Prozessorkernen 2707 sein. In mindestens einer Ausführungsform ist das System 2700 eine Verarbeitungsplattform, die in eine System-on-a-Chip (SoC)-integrierte Schaltung zur Verwendung in mobilen, tragbaren oder eingebetteten Geräten integriert ist.
-
In mindestens einer Ausführungsform kann das System 2700 eine Spielkonsole, einschließlich einer Spiel- und Medienkonsole, eine mobile Spielkonsole, eine tragbare Spielkonsole oder eine Online-Spielkonsole umfassen oder in diese innerhalb einer serverbasierten Spieleplattform integriert sein. In mindestens einer Ausführungsform ist das System 2700 ein Mobiltelefon, ein Smartphone, ein Tablet-Computergerät oder ein mobiles Internetgerät. In mindestens einer Ausführungsform kann das Verarbeitungssystem 2700 auch ein tragbares Gerät, wie beispielsweise ein tragbares Smart Watch-Gerät, ein intelligentes Brillengerät, ein Gerät für erweiterte Realität oder ein Gerät für virtuelle Realität umfassen, mit ihm koppeln oder in dieses integriert sein. In mindestens einer Ausführungsform ist das Verarbeitungssystem 2700 ein Fernseh- oder Set-Top-Box-Gerät mit einem oder mehreren Prozessoren 2702 und einer von einem oder mehreren Graphikprozessoren 2708 erzeugten Graphikschnittstelle.
-
In mindestens einer Ausführungsform umfassen ein oder mehrere Prozessoren 2702 jeweils einen oder mehrere Prozessorkerne 2707 zum Verarbeiten von Anweisungen, die dann, wenn sie ausgeführt werden, Operationen für ein System- und Benutzersoftware ausführen. In mindestens einer Ausführungsform ist jeder eines oder mehrerer Prozessorkerne 2707 konfiguriert, um eine bestimmte Befehlssequenz 2709 zu verarbeiten. In mindestens einer Ausführungsform kann die Befehlssequenz 2709 Complex Instruction Set Computing (CISC), Reduced Instruction Set Computing (RISC) oder das Rechnen über ein Very Long Instruction Word (VLIW) erleichtern. In mindestens einer Ausführungsform können die Prozessorkerne 2707 jeweils eine andere Befehlssequenz 2709 verarbeiten, die Anweisungen zum Erleichtern der Emulation anderer Befehlssequenzen umfassen kann. In mindestens einer Ausführungsform kann der Prozessorkern 2707 auch andere Verarbeitungsvorrichtungen, wie beispielsweise einen digitalen Signalprozessor (DSP), umfassen.
-
In mindestens einer Ausführungsform umfasst der Prozessor 2702 den Cache-Speicher 2704. In mindestens einer Ausführungsform kann der Prozessor 2702 einen einzelnen internen Cache oder mehrere Ebenen internen Caches aufweisen. In mindestens einer Ausführungsform wird der Cache-Speicher von verschiedenen Komponenten des Prozessors 2702 gemeinsam genutzt. In mindestens einer Ausführungsform verwendet der Prozessor 2702 auch einen externen Cache (z.B. einen Level 3 (L3)- Cache oder einen Last Level Cache (LLC)) (nicht gezeigt), welcher unter Verwendung bekannter Cache-Kohärenztechniken von den Prozessorkernen 2707 gemeinsam genutzt werden kann. In mindestens einer Ausführungsform ist die Registerdatei 2706 zusätzlich in dem Prozessor 2702 enthalten, welcher verschiedene Registertypen zum Speichern verschiedener Datentypen umfassen kann (z.B. ein Ganzzahlregister, ein Gleitkommaregister, ein Zustandsregister und ein Befehlszeigerregister). In mindestens einer Ausführungsform kann die Registerdatei 2706 Universalregister oder andere Register umfassen.
-
In mindestens einer Ausführungsform sind ein oder mehrere Prozessor(en) 2702 mit einem oder mehreren Schnittstellenbus(en) 2710 gekoppelt, um Kommunikationssignale wie Adressen, Daten oder Steuersignale zwischen dem Prozessor 2702 und anderen Komponenten in dem System 2700 zu übertragen. In mindestens einer Ausführungsform kann, in einer Ausführungsform, ein Schnittstellenbus 2710 ein Prozessorbus sein, wie beispielsweise eine Version eines Direct Media Interface (DMI)-Busses. In mindestens einer Ausführungsform ist die Schnittstelle 2710 nicht auf einen DMI-Bus beschränkt und kann einen oder mehrere Peripheral Connect Zwischenverbindung-Busse (z.B. PCI, PCI Express), Speicherbusse oder andere Arten von Schnittstellenbussen umfassen. In mindestens einer Ausführungsform umfassen der/die Prozessor(en) 2702 eine integrierte Speicher-Controller 2716 und einen Plattform-Controller-Hub 2730. In mindestens einer Ausführungsform erleichtert der Speicher-Controller 2716 die Kommunikation zwischen einer Speichervorrichtung und anderen Komponenten des Systems 2700, während der Plattform-Controller-Hub (PCH) 2730 Verbindungen zu E/A-Vorrichtungen über einen lokalen E/A-Bus bereitstellt.
-
In mindestens einer Ausführungsform kann eine Speichervorrichtung 2720 eine dynamische Direktzugriffspeicher (DRAM)-Vorrichtung, eine statische Direktzugriffspeicher (SRAM)-Vorrichtung, eine Flash-Speicher-Vorrichtung, eine Phasenänderungs-Speichervorrichtung oder irgendeine andere Speichervorrichtung mit geeigneter Leistung sein, um als Prozessspeicher zu dienen. In mindestens einer Ausführungsform kann die Speichervorrichtung 2720 als Systemspeicher für das System 2700 arbeiten, um Daten 2722 und Anweisungen 2721 zu speichern, die verwendet werden, wenn ein oder mehrere Prozessoren 2702 eine Anwendung oder einen Prozess ausführen. In mindestens einer Ausführungsform koppelt die Speichercontroller 2716 darüber hinaus mit einem optionalen externen Graphikprozessor 2712, welcher mit einem oder mehreren Graphikprozessoren 2708 in den Prozessoren 2702 kommunizieren kann, um Graphik- und Medienoperationen durchzuführen. In mindestens einer Ausführungsform kann eine Anzeigevorrichtung 2711 mit dem/den Prozessor(en) 2702 verbinden. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 2711 eine oder mehrere einer internen Anzeigevorrichtung umfassen, wie in einer mobilen elektronischen Vorrichtung oder einer Laptopvorrichtung oder einer externen Anzeigevorrichtung, die über eine Anzeigeschnittstelle (z.B. DisplayPort, usw.) angeschlossen ist. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 2711 eine kopfangebrachte Anzeige (HMD) umfassen, wie beispielsweise eine stereoskopische Anzeigevorrichtung zur Verwendung in Virtual-Reality-Anwendungen (VR) oder Augmented-Reality-Anwendungen (AR).
-
In mindestens einer Ausführungsform ermöglicht der Plattform-Controller-Hub 2730 Peripheriegeräten, sich mit der Speichervorrichtung 2720 und dem Prozessor 2702 über einen Hochgeschwindigkeits-E/A-Bus zu verbinden. In mindestens einer Ausführungsform umfassen E/A-Peripheriegeräte unter anderem, sind jedoch nicht beschränkt auf, einen Audio-Controller 2746, einen Netzwerk-Controller 2734, eine Firmware-Schnittstelle 2721, einen drahtlosen Sender-Empfänger 2726, Berührungssensoren 2725, eine Datenspeichervorrichtung 2724 (z.B. eine Festplatte, einen Flash-Speicher usw.). In mindestens einer Ausführungsform kann die Datenspeichervorrichtung 2724 über eine Speicherschnittstelle (z.B. SATA) oder über einen Peripheriebus, wie beispielsweise einen Peripheral Component Zwischenverbindung Bus (z.B. PCI, PCI Express) verbinden. In mindestens einer Ausführungsform können die Berührungssensoren 2725 Sensoren eines berührungsempfindlichen Bildschirms, Drucksensoren oder Fingerabdrucksensoren umfassen. In mindestens einer Ausführungsform kann der drahtlose Sender-Empfänger 2726 ein Wi-Fi-Sender-Empfänger, ein Bluetooth-Sender-Empfänger oder ein Mobilfunk-Sender-Empfänger wie beispielsweise ein 3G-, 4G- oder Long Term Evolution (LTE)-Transceiver sein. In mindestens einer Ausführungsform ermöglicht die Firmware-Schnittstelle 2721 die Kommunikation mit der System-Firmware und kann beispielsweise eine vereinheitlichte erweiterbare Firmware-Schnittstelle (UEFI) sein. In mindestens einer Ausführungsform kann der Netzwerk-Controller 2734 eine Netzwerkverbindung zu einem verdrahteten Netzwerk aktivieren. In mindestens einer Ausführungsform koppelt einen Hochleistungs-Netzwerk-Controller (nicht gezeigt) mit dem Schnittstellenbus 2710. In mindestens einer Ausführungsform ist der Audio-Controller 2746 ein mehrkanaliger hochauflösenden Audio-Controller. In mindestens einer Ausführungsform umfasst das System 2700 eine optionale Legacy-E/A-Steuereinrichtung 2740 zum Koppeln von Legacy-Geräten (z.B. Personal System 2 (PS/2)) mit dem System. In mindestens einer Ausführungsform kann der Plattform-Controller-Hub 2730 auch mit einer oder mehreren Universal Serial Bus (USB)-Controllern 2742 verbinden, um Eingabegeräte wie beispielsweise Tastatur- und Maus-Kombinationen 2743, eine Kamera 2744 oder andere USB-Eingabegeräte zu verbinden.
-
In mindestens einer Ausführungsform kann eine Instanz des Speichercontroller 2716 und des Plattform-Controller-Hub 2730 in einem diskreten externen Graphikprozessor, wie beispielsweise den externen Graphikprozessor 2712, integriert sein. In mindestens einer Ausführungsform können der Plattform-Controller-Hub 2730 und/oder der Speicher-Controller 2716 extern zu einem oder mehreren Prozessoren 2702 sein. Beispielsweise kann das System 2700 in mindestens einer Ausführungsform einen externen Speicher-Controller 2716 und einen Plattform-Controller-Hub 2730 umfassen, die als ein Speicher-Controller-Hub und ein peripherer Controller-Hub innerhalb eines System-Chipsatzes, der mit dem bzw. den Prozessor(en) 2702 in Verbindung steht, konfiguriert sein können.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform kann ein Abschnitt der oder die gesamte Inferenzierungs- und/oder Trainingslogik 815 in den Graphikprozessor 2700 integriert sein. Beispielsweise können in mindestens einer Ausführungsform hier beschriebene Trainings- und/oder InferenzierungsTechniken eine oder mehrere der in eine 3D-Pipeline verkörperten ALUs verwenden. Außerdem können in mindestens einer Ausführungsform hier beschriebene Inferenzierungs-und/oder Trainingsoperationen unter Verwendung einer anderen Logik als die in 8A oder 8B veranschaulichte Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, um die ALUs des Graphikprozessors 2700 konfigurieren, einen oder mehrere Algorithmen maschinellen Lernens, neuronale Netzwerkarchitekturen, Anwendungsfälle oder die hier beschriebenen Trainingstechniken auszuführen.
-
28 ist ein Blockdiagramm eines Prozessors 2800 mit einem oder mehreren Prozessorkernen 2802A-2802N, einen integrierten Speicher-Controller 2814 und einem integrierten Graphikprozessor 2808 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozessor 2800 zusätzliche Kerne bis hin zu dem und einschließlich des zusätzlichen Kern(s) 2802N umfassen, die durch gestrichelte, linierte Kästen dargestellt sind. In mindestens einer Ausführungsform umfasst jeder der Prozessorkerne 2802A-2802N eine oder mehrere interne Cache-Einheiten 2804A-2804N. In mindestens einer Ausführungsform weist jeder Prozessorkern auch Zugriff auf eine oder mehrere gemeinsam genutzte Cache-Einheiten 2806 auf.
-
In mindestens einer Ausführungsform stellen die internen Cache-Einheiten 2804A-2804N und die gemeinsam genutzten Cache-Einheiten 2806 eine Cache-Speicherhierarchie innerhalb des Prozessors 2800 dar. In mindestens einer Ausführungsform können die Cache-Speichereinheiten 2804A-2804N mindestens eine Befehls- und Daten-Cache-Ebene innerhalb jedes Prozessorkerns und eine oder mehrere Ebenen gemeinsam genutzten Mid-Level-Caches, wie beispielsweise ein Level 2 (L2), ein Level 3 (L3), ein Level 4 (L4) oder andere Cache-Ebenen, umfassen, wobei eine höchste Cache-Ebene vor externem Speicher als eine LLC klassifiziert ist. In mindestens einer Ausführungsform behält die Cache-Kohärenzlogik Kohärenz zwischen den verschiedenen Cache-Einheiten 2806 und 2804A-2804N bei.
-
In mindestens einer Ausführungsform kann der Prozessor 2800 auch einen Satz einer oder mehrerer Bus-Controller-Einheiten 2816 und einen System-Agent-Kern 2810 umfassen. In mindestens einer Ausführungsform verwalten eine oder mehrere Bus-Controller-Einheiten 2816 einen Satz von Peripheriebussen, wie beispielsweise einen oder mehrere PCI- oder PCI-Express-Busse. In mindestens einer Ausführungsform stellt der System-Agent-Kern 2810 Managementfunktionen für verschiedene Prozessorkomponenten zur Verfügung. In mindestens einer Ausführungsform umfasst der System-Agent-Kern 2810 eine oder mehrere integrierte Speichercontroller 2814, um den Zugriff auf verschiedene externe Speichervorrichtungen (nicht gezeigt) zu verwalten.
-
In mindestens einer Ausführungsform umfassen einer oder mehrere der Prozessorkerne 2802A-2802N Unterstützung für gleichzeitiges Multithreading. In mindestens einer Ausführungsform umfasst der System-Agent-Kern 2810 Komponenten zum Koordinieren und Betreiben der Kerne 2802A-2802N während der Multithreading-Verarbeitung. In mindestens einer Ausführungsform kann der System-Agent-Kern 2810 zusätzlich eine Leistungssteuereinheit (PCU) umfassen, die Logik und Komponenten zum Regeln eines oder mehrerer Leistungszustände der Prozessorkerne 2802A-2802N und des Graphikprozessors 2808 umfasst.
-
In mindestens einer Ausführungsform umfasst der Prozessor 2800 zusätzlich den Graphikprozessor 2808, um Graphikverarbeitungsoperationen auszuführen. In mindestens einer Ausführungsform koppelt der Graphikprozessor 2808 mit den gemeinsam genutzten Cache-Einheiten 2806 und dem System-Agent-Kern 2810, einschließlich einer oder mehrerer integrierter Speichercontrollers 2814. In mindestens einer Ausführungsform umfasst der System-Agent-Kern 2810 auch einen Anzeige-Controller 2811, um die Graphikprozessorausgabe auf ein oder mehrere gekoppelte Anzeigen zu treiben. In mindestens einer Ausführungsform kann der Anzeige-Controller 2811 auch ein separates Modul sein, das über mindestens eine Zwischenverbindung mit dem Graphikprozessor 2808 gekoppelt ist oder in den Graphikprozessor 2808 integriert sein kann.
-
In mindestens einer Ausführungsform wird eine ringbasierte Zwischenverbindungseinheit 2812 verwendet, interne Komponenten des Prozessors 2800 zu koppeln. In mindestens einer Ausführungsform kann eine alternative Verbindungseinheit verwendet werden, wie beispielsweise eine Punkt-zu-Punkt-Zwischenverbindung, eine geschaltete Zwischenverbindung oder andere Techniken. In mindestens einer Ausführungsform koppelt der Graphikprozessor 2808 über eine E/A-Verbindung 2813 mit der Ring-Zwischenverbindung 2812.
-
In mindestens einer Ausführungsform repräsentiert die E/A-Verbindung 2813 mindestens eine von mehreren Varianten von E/A-Zwischenverbindungen, einschließlich einer E/A-Zwischenverbindung auf dem Gehäuse, welche die Kommunikation zwischen verschiedenen Prozessorkomponenten und einem eingebetteten Hochleistungsspeichermodul 2818, wie beispielsweise einem eDRAM-Modul, erleichtert. In mindestens einer Ausführungsform verwenden jeder der Prozessorkerne 2802A-2802N und der Graphikprozessor 2808 eingebettete Speichermodule 2818 als einen gemeinsam genutzten Cache letzter Ebene bzw. Last Level Cache.
-
In mindestens einer Ausführungsform sind die Prozessorkerne 2802A-2802N homogene Kerne, die eine gemeinsame Befehlssatzarchitektur ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 2802A-2802N heterogen in Bezug auf die Befehlssatzarchitektur (Instruction Set Architecture; ISA), wobei einer oder mehrere der Prozessorkerne 2802A-2802N einen gemeinsamen Befehlssatz ausführen, während ein oder mehrere andere Kerne der Prozessorkerne 2802A-2802N eine Teilmenge eines gemeinsamen Befehlssatzes oder einen bzw. eines anderen Befehlssatzes ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 2802A-2802N in Bezug auf Mikroarchitektur heterogen, wobei ein oder mehrere Kerne mit einem relativ höheren Stromverbrauch mit einem oder mehreren Leistungskernen mit einem niedrigeren Stromverbrauch koppeln. In mindestens einer Ausführungsform kann der Prozessor 2800 auf einem oder mehreren Chips oder als eine in einem SoC integrierte Schaltung implementiert sein.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs-und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte der oder die gesamte(n) Inferenzierungs- und/oder Trainingslogik 815 in den Prozessor 2800 integriert sein. Beispielsweise können in mindestens einer Ausführungsform hier beschriebene Trainings- und/oder InferenzierungsTechniken eine oder mehrere ALUs verwenden, die in einer 3D-Pipeline, einem Graphikkern(en) 2802, gemeinsam genutzter Funktionslogik oder einer anderen Logik in 28 verkörpert sind. Darüber hinaus können in mindestens einer Ausführungsform hier beschriebene Inferenzierungs- und/oder Trainingsoperationen mit einer anderen Logik als der in den 8A oder 8B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtsparameter in einem On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs des Graphikprozessors 2800 konfigurieren, um einen oder mehrere Algorithmen maschinellen Lernens, neuronale Netzwerkarchitekturen, Anwendungsfälle oder die hier beschriebenen Trainingstechniken auszuführen.
-
29 ist ein Blockdiagramm eines Graphikprozessors 2900, der eine diskrete Graphikverarbeitungseinheit sein kann oder ein Graphikprozessor sein kann, der mit mehreren Verarbeitungskernen integriert sein kann. In mindestens einer Ausführungsform kommuniziert der Graphikprozessor 2900 über eine speicherabgebildete E/A-Schnittstelle mit Registern auf dem Graphikprozessor 2900 und mit Befehlen, die in dem Speicher platziert sind. In mindestens einer Ausführungsform umfasst der Graphikprozessor 2900 eine Speicherschnittstelle 2914, um auf den Speicher zuzugreifen. In mindestens einer Ausführungsform ist die Speicherschnittstelle 2914 eine Schnittstelle zu einem lokalen Speicher, einem oder mehreren internen Caches, einem oder mehreren gemeinsam genutzten externen Caches und/oder zu dem Systemspeicher.
-
In mindestens einer Ausführungsform umfasst der Graphikprozessor 2900 ebenfalls einen Anzeigecontroller 2902 zum Treiben von Anzeigeausgabedaten zu einer Anzeigevorrichtung 2920. In mindestens einer Ausführungsform umfasst der Anzeigecontroller 2902 Hardware für eine oder mehrere Überlagerungsebenen für die Anzeige 2920 und Zusammenstellung mehrerer Schichten von Video oder Anwenderschnittstellenelementen. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 2920 eine interne oder eine externe Anzeigevorrichtung sein. In mindestens einer Ausführungsform ist die Anzeigevorrichtung 2920 eine am Kopf angebrachte Anzeigevorrichtung, wie beispielsweise eine Anzeigevorrichtung für virtuelle Realität (VR) oder eine Anzeigevorrichtung für erweiterte Realität (AR). In mindestens einer Ausführungsform umfasst der Graphikprozessor 2900 eine Video-Codec-Engine 2906 zum Codieren, Decodieren oder Transcodieren von Medien in, aus oder zwischen einem oder mehreren Mediencodierungsformaten, die umfassen, ohne jedoch darauf beschränkt zu sein, sowohl Formate der „Moving Picture Experts Group“ (MPEG) wie beispielsweise MPEG-2, „Advanced Video Coding“- (AVC-) Formate wie beispielsweise H.264/MPEG-4 AVC, sowie auch Formate der „Society of Motion Picture & Television Engineers“ (SMPTE) 421M/VC-1 und „Joint Photographic Experts Group“ (JPEG) wie beispielsweise JPEG und Motion JPEG (MJPEG) umfassen.
-
In mindestens einer Ausführungsform umfasst der Graphikprozessor 2900 eine Blockbildübertragungs-(BLIT-) Engine 2904 zum Durchführen zweidimensionaler (2D) Rasterisierer-Operationen, die beispielsweise Bitgrenzenblockübertragungen umfassen. In mindestens einer Ausführungsform werden 2D-Graphikoperationen jedoch unter Verwendung einer oder mehrerer Komponenten der Graphikverarbeitungs-Engine (GPE) 2910 ausgeführt. In mindestens einer Ausführungsform ist die GPE 2910 eine Rechen-Engine zum Durchführen von Graphikoperationen, die dreidimensionale (3D-) Graphikoperationen und Medienoperationen umfassen.
-
In mindestens einer Ausführungsform umfasst die GPE 2910 eine 3D-Pipeline 2912 zum Durchführen von 3D-Operationen wie beispielsweise Rendern dreidimensionaler Bilder und Szenen unter Verwendung von Verarbeitungsfunktionen, die auf 3D-Grundformen (beispielsweise Rechteck, Dreieck usw.) arbeiten. In mindestens einer Ausführungsform umfasst die 3D-Pipeline 2912 programmierbare Elemente und Elemente mit fester Funktion, die verschiedene Aufgaben durchführen und/oder Ausführungs-Threads zu einem 3D/Medien-Untersystem 2915 erzeugen. Während die 3D-Pipeline 2912 verwendet werden kann, um Medienoperationen durchzuführen, umfasst in mindestens einer Ausführungsform der GPE 2910 ebenfalls eine Medien-Pipeline 2916, die verwendet wird, um Medienoperationen durchzuführen, wie beispielsweise Videonachverarbeitung und Bildverbesserung.
-
In mindestens einer Ausführungsform umfasst die Medien-Pipeline 2916 Logikeinheiten mit fester Funktion oder programmierbare Logikeinheiten zum Durchführen einer oder mehrerer spezialisierter Medienoperationen, wie beispielsweise Video-Decodierungsbeschleunigung, Video-Entschachtelung und Video-Codierungsbeschleunigung anstelle der oder im Auftrag der Video-Codec-Engine 2906. In mindestens einer Ausführungsform umfasst die Medien-Pipeline 2916 zusätzlich eine Thread-Erzeugungseinheit zum Erzeugen von Threads zur Ausführung auf dem 3D/Medien-Untersystem 2915. In mindestens einer Ausführungsform führen die erzeugten Threads Berechnungen für die Medienoperationen auf einer oder mehreren Graphikausführungseinheiten aus, die in dem 3D/Medien-Untersystem 2915 umfasst sind.
-
In mindestens einer Ausführungsform umfasst das 3D/Medien-Untersystem 2915 Logik zum Ausführen von Threads, die durch die 3D-Pipeline 2912 und die Medien-Pipeline 2916 erzeugt werden. In mindestens einer Ausführungsform senden die 3D-Pipeline und die Medien-Pipeline 2916 Thread-Ausführungsanforderungen an das 3D/Medien-Untersystem 2915, das Thread-Verteilungslogik zum Arbitrieren und Verteilen der verschiedenen Anforderungen an verfügbare Thread-Ausführungsressourcen umfasst. In mindestens einer Ausführungsform umfassen die Ausführungsressourcen eine Anordnung von Graphikausführungseinheiten zum Verarbeiten der 3D- und Medien-Threads. In mindestens einer Ausführungsform umfasst das 3D-Medien-Untersystem 2915 einen oder mehrere interne Caches für Thread-Anweisungen und Daten. In mindestens einer Ausführungsform umfasst das Untersystem auch einen gemeinsam genutzten Speicher, der Register und adressierbaren Speicher umfasst, um Daten durch Threads gemeinsam zu nutzen und Ausgabedaten zu speichern.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs-und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 815 sind hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte der oder die gesamte Inferenzierungs- und/oder Trainingslogik 815 in der Ausführungslogik 2900 integriert sein. Darüber hinaus können in mindestens einer Ausführungsform hier beschriebene Inferenzierungs- und/oder Trainingsoperationen mit einer anderen Logik als der in 8A oder 8B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs der Ausführungslogik 2900 konfigurieren, einen oder mehrere Algorithmen maschinellen Lernens, um Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder die hier beschriebenen Trainingstechniken auszuführen.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs-und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 sind hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte der oder die gesamte Inferenzierungs- und/oder Trainingslogik 815 in den Graphikprozessor 2900 integriert sein. Beispielsweise können in mindestens einer Ausführungsform hier beschriebene Trainings- und/oder InferenzierungsTechniken eine oder mehrere der ALUs verwenden, die in der 3D-Pipeline 2912 verkörpert sind. Außerdem können in mindestens einer Ausführungsform die hier beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen Logik als der in 8A oder 8B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs des Graphikprozessors 2900 konfigurieren, um einen oder mehrere Algorithmen maschinellen Lernens, neuronale Netzwerkarchitekturen, Anwendungsfälle oder die hier beschriebenen Trainingstechniken auszuführen.
-
30 ist ein Blockdiagramm einer Graphikverarbeitungs-Engine 410 eines Graphikprozessors gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die Graphikverarbeitungs-Engine (GPE) 3010 eine Version der in 29 gezeigten GPE 2910. In mindestens einer Ausführungsform ist eine Medien-Pipeline 3016 optional und kann in der GPE 3010 nicht ausdrücklich umfasst sein. In mindestens einer Ausführungsform ist ein separater Medien- und/oder Bildprozessor mit der GPE 3010 gekoppelt.
-
In mindestens einer Ausführungsform ist die GPE 3010 mit einem Befehls-Streamer 3003 gekoppelt oder umfasst ihn, der einen Befehlsstrom zu der 3D-Pipeline 3012 und/oder Medien-Pipeline 3016 bereitstellt. In mindestens einer Ausführungsform ist der Befehls-Streamer 3003 mit einem Speicher gekoppelt, der ein Systemspeicher oder einer oder mehrere aus internem Cache-Speicher und gemeinsam genutzter Cache-Speicher sein kann. In mindestens einer Ausführungsform empfängt der Befehls-Streamer 3003 Befehle von dem Speicher und sendet die Befehle an die 3D-Pipeline 3012 und/ oder Medien-Pipeline 3016. In mindestens einer Ausführungsform sind die Befehle Weisungen, Primitive oder Mikro-Operationen, die aus einem Ringpuffer geholt werden, der Befehle für die 3D-Pipeline 2912 und die Medien-Pipeline 3016 speichert. In mindestens einer Ausführungsform kann ein Ringpuffer zusätzlich Stapelbefehlspuffer umfassen, die Stapel aus mehreren Befehlen speichern. In mindestens einer Ausführungsform können die Befehle für die 3D-Pipeline 2912 außerdem Referenzen auf im Speicher gespeicherte Daten umfassen, wie beispielweise, ohne jedoch darauf beschränkt zu sein, Vertex- und Geometriedaten für die 3D-Pipeline 2912 und/oder Bilddaten und Speicherobjekte für die Medien-Pipeline 2916. Die 3D-Pipeline 2912 und die Medien-Pipeline 2916 verarbeiten die Befehle und Daten durch Durchführen von Operationen über Logik innerhalb der entsprechenden Pipelines oder durch Verteilen eines oder mehrerer Ausführungs-Threads zu einer Graphikkernanordnung 3014. In mindestens einer Ausführungsform umfasst die Graphikkernanordnung 3014 einen oder mehrere Blöcke von Graphikkernen (beispielsweise Graphikkern(e) 3025A, Graphikkern(e) 3015B), wobei jeder Block einen oder mehrere Graphikkerne umfasst. Jeder Graphikkern umfasst eine Gruppe von Graphikausführungsressourcen, die sowohl Allzweck- und graphikspezifische Ausführungslogik zum Durchführen von Graphik und Rechenoperationen als auch Beschleunigungslogik für Texturverarbeitung mit fester Funktion und/ oder maschinelles Lernen und künstliche Intelligenz umfassen.
-
In mindestens einer Ausführungsform umfasst die 3D-Pipeline 3012 Logik mit fester Funktion und programmierbare Logik, um ein oder mehrere Shader-Programme zu verarbeiten, wie beispielsweise Vertex-Shader, Geometrie-Shader, Pixel-Shader, Fragment-Shader, Rechen-Shader oder andere Shader-Programme, durch Verarbeiten der Anweisungen und Verteilen von Ausführungs-Threads zu der Graphikkernanordnung 3014. Die Graphikkernanordnung 3014 stellt einen einheitlichen Block von Ausführungsressourcen zum Gebrauch zum Verarbeiten dieser Shader-Programme bereit. In mindestens einer Ausführungsform umfasst eine Mehrzweck-Ausführungslogik (beispielsweise Ausführungseinheiten) innerhalb des(der) Graphikkerns(e) 3015A-414B der Graphikkernanordnung 3014 Unterstützung für verschiedene 3D-API-Shader-Sprachen und kann mehrere gleichzeitige Ausführungs-Threads ausführen, die mehreren Shadern zugeordnet sind.
-
In mindestens einer Ausführungsform umfasst die Graphikkernanordnung 3014 Ausführungslogik zum Durchführen von Medienfunktionen wie beispielsweise Video- und/oder Bildverarbeitung. In mindestens einer Ausführungsform umfassen die Ausführungseinheiten Allzwecklogik, die programmierbar ist, um parallele Allzweckberechnungsoperationen zusätzlich zu Graphikverarbeitungsoperationen durchzuführen.
-
In mindestens einer Ausführungsform können Ausgabedaten, die durch Threads erzeugt werden, die auf der Graphikkernanordnung 3024 ausgeführt werden, um Daten an einen Speicher in einem einheitlichen Rückgabepuffer (Unified Return Buffer; URB) 3018 ausgeben. In mindestens einer Ausführungsform kann der URB 3018 Daten für mehrere Threads speichern. In mindestens einer Ausführungsform kann der URB 3018 verwendet werden, um Daten zwischen unterschiedlichen Threads, die auf der Graphikkernanordnung 3014 ablaufen, zu senden. In mindestens einer Ausführungsform kann der URB 3018 zusätzlich zur Synchronisation zwischen Threads auf der Graphikkernanordnung 3014 und der Logik mit fester Funktion innerhalb der Logik 3020 mit gemeinsam genutzter Funktion verwendet werden.
-
In mindestens einer Ausführungsform ist die Graphikkernanordnung 3014 skalierbar, so dass die Anordnung 3014 eine variable Anzahl von Graphikkernen umfasst, von denen jeder eine variable Anzahl von Ausführungseinheiten basierend auf einer Zielleistung und dem Leistungsfähigkeitsniveau der Graphikverarbeitungs-Engine (GPE) 3010 aufweist. In mindestens einer Ausführungsform sind die Ausführungsressourcen dynamisch skalierbar, so dass Ausführungsressourcen je nach Bedarf aktiviert oder deaktiviert werden können.
-
Die Graphikkernanordnung 3014 ist mit der Logik 3020 mit gemeinsam genutzter Funktion gekoppelt, die mehrere Ressourcen umfasst, die von den Graphikkernen in der Graphikkernanordnung gemeinsam genutzt werden. Die gemeinsam genutzten Funktionen innerhalb der Logik 3020 mit gemeinsam genutzter Funktion sind Hardware-Logikeinheiten, die spezialisierte ergänzende Funktionalität für die Graphikkernanordnung 3014 bereitstellen. In verschiedenen Ausführungsformen umfasst die Logik 3020 mit gemeinsam genutzter Funktion, ohne jedoch darauf beschränkt zu sein, Logik für Sampler 3021, Math 3022 und Thread-übergreifende Kommunikation (ITC) 3023. Zusätzlich implementieren einige Ausführungsformen einen oder mehrere Cache(s) 3025 innerhalb der Logik 3020 mit gemeinsam genutzter Funktion.
-
In mindestens einer Ausführungsform wird eine gemeinsam genutzte Funktion verwendet, wenn der Bedarf für eine spezialisierte Funktion zum Aufnehmen in die Graphikkernanordnung 3014 nicht ausreichend ist. Stattdessen ist eine einzige Instanziierung dieser spezialisierten Funktion als eine eigenständige Instanziierung in der Logik 3020 für gemeinsam genutzte Funktion implementiert und wird von den Ausführungsressourcen innerhalb der Graphikkernanordnung 3014 gemeinsam genutzt. Die genaue Gruppe von Funktionen, die von der Graphikkernanordnung 3012 gemeinsam genutzt und in der Graphikkernanordnung 3014 umfassen ist, variiert über die Ausführungsformen. In mindestens einer Ausführungsform können spezifische gemeinsam genutzte Funktionen innerhalb der Logik 3020 mit gemeinsam genutzter Funktion, die durch die Graphikkernanordnung 3014 extensiv verwendet werden, in der Logik 3016 mit gemeinsam genutzter Funktion innerhalb der Graphikkernanordnung 3014 umfassen sein. In verschiedenen Ausführungsformen kann die Logik 3016 mit gemeinsam genutzter Funktion in der Graphikkernanordnung 3014 einen Teil der oder die gesamte Logik innerhalb der Logik 3020 mit gemeinsam genutzter Funktion umfassen. In mindestens einer Ausführungsform können alle Logikelemente innerhalb der Logik 3020 mit gemeinsam genutzter Funktion innerhalb der Logik 3016 mit gemeinsam genutzter Funktion der Graphikkernanordnung 3014 dupliziert sein. In mindestens einer Ausführungsform ist die Logik 3020 mit gemeinsam genutzter Funktion zugunsten der Logik 3016 mit gemeinsam genutzter Funktion innerhalb der Graphikkernanordnung 3014 ausgeschlossen.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 sind hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte der oder die gesamte Inferenzierungs- und/oder Trainingslogik 815 in den Graphikprozessor 3010 integriert sein. Beispielsweise können in mindestens einer Ausführungsform hier beschriebene Trainings- und/oder InferenzierungsTechniken eine oder mehrere der ALUs verwenden, die in der 3D-Pipeline 3012, Graphikkern(en) 3015, gemeinsam genutzter Funktionslogik 3026, gemeinsam genutzter Funktionslogik 3020 oder anderer Logik in 30 verkörpert sind. Außerdem können in mindestens einer Ausführungsform die hier beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen Logik als der in 8A oder 8B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs des Graphikprozessors 3010 konfigurieren, um einen oder mehrere Algorithmen maschinellen Lernens, neuronale Netzwerkarchitekturen, Anwendungsfälle oder die hier beschriebenen Trainingstechniken auszuführen.
-
31 ist ein Blockdiagramm von Hardwarelogik eines Graphikprozessorkerns 3100 gemäß mindestens einer hier beschriebenen Ausführungsform. In mindestens einer Ausführungsform kann der Graphikprozessorkern 3100, manchmal auch als ein Kern-Slice bezeichnet, ein oder mehrere Graphikkerne innerhalb eines modularen Graphikprozessors sein. In mindestens einer Ausführungsform ist der Graphikprozessorkern 3100 beispielhaft für ein Graphikkern-Slice, und ein Graphikprozessor, wie hier beschrieben, kann mehrere Graphikkern-Slices basierend auf einer Sollleistung und Leistungshüllen umfassen. In mindestens einer Ausführungsform kann jeder Graphikkern 3100 einen Festfunktionsblock 3130 umfassen, der mit mehreren, auch als Sub-Slices bezeichneten Unterkernen 3701A-3701F gekoppelt ist, die modulare Blöcke von Allzweck- und Festfunktionslogik umfassen.
-
In mindestens einer Ausführungsform umfasst der Festfunktionsblock 3130 eine Geometrie- und Festfunktions-Pipeline 3136, die von allen Unterkemen in dem Graphikprozessor 3100 beispielsweise bei Implementierungen von Graphikprozessoren mit geringerer Leistung und/oder geringerer Stromaufnahme gemeinsam genutzt werden kann. In mindestens einer Ausführungsform umfasst die Geometrie- und Festfunktions-Pipeline 3136 eine 3D-Festfunktions-Pipeline, eine Video-Frontend-Einheit, einen Thread-Spawner und Thread-Abfertiger sowie einen Unified Return Buffer Manager, der vereinheitlichte Rückgabepuffer verwaltet.
-
In mindestens einer Ausführungsform umfasst der Festfunktionsblock 3130 auch eine Graphik-SoC-Schnittstelle 3131, einen Graphik-Mikrocontroller 3138 und eine Medien-Pipeline 3139. Die Graphik-SoC-Schnittstelle 3137 stellt eine Schnittstelle zwischen dem Graphikkern 3100 und anderen Prozessorkernen innerhalb einer integrierten SoC-Schaltung bereit. In mindestens einer Ausführungsform ist der Graphik-Mikrocontroller 3138 ein programmierbarer Subprozessor, der konfiguriert sein kann, um verschiedene Funktionen des Graphikprozessors 3100 zu verwalten, einschließlich der Thread-Versendung, des Scheduling und der Präemption. In mindestens einer Ausführungsform umfasst die Medien-Pipeline 3139 Logik zur Erleichterung der Decodierung, Codierung, Vorverarbeitung und/oder Nachbearbeitung von Multimedia-Daten, einschließlich Bild- und Videodaten. In mindestens einer Ausführungsform implementiert die Medien-Pipeline 3139 Medienoperationen über Anforderungen an Berechnungs- oder Abtast-Logik innerhalb der Unterkerne 3101-3101F.
-
In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 3137 dem Graphikkern 3100, mit universellen Anwendungsprozessorkernen (z.B. CPUs) und/oder anderen Komponenten innerhalb eines SoC, einschließlich Speicherhierarchieelementen, wie beispielsweise gemeinsam genutztem Last Level Cache-Speicher, System-RAM und/oder eingebettetem On-Chip- oder On-Package-DRAM, zu kommunizieren. In mindestens einer Ausführungsform kann die SoC-Schnittstelle 3137 auch Kommunikation mit Vorrichtungen mit fester Funktion innerhalb eines SoC ermöglichen, wie beispielsweise Kameraabbildungspipelines, und ermöglicht die Verwendung und/oder Implementierung globaler Speicher-Atome, die zwischen dem Graphikkern 3100 und CPUs innerhalb eines SoC gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann die SoC-Schnittstelle 3137 auch Energiemanagementsteuerungen für den Graphikkern 3100 implementieren und eine Schnittstelle zwischen einer Taktdomäne des Graphikkerns 3100 und anderen Taktdomänen innerhalb eines SoC ermöglichen. In mindestens einer Ausführungsform ermöglicht die SoC-Schnittstelle 3137 den Empfang von Befehlspuffern von einem Befehlsstreamer und einem globalen Thread-Versender, die konfiguriert sind, um Befehle und Anweisungen an jeden eines einzelnen oder mehrerer Graphikkerne innerhalb eines Graphikprozessors bereitzustellen. In mindestens einer Ausführungsform können Befehle und Anweisungen an die Medien-Pipeline 3139, wenn Medienoperationen durchzuführen sind, oder an eine Geometrie- und Festfunktions-Pipeline (z.B. Geometrie- und Festfunktions-Pipeline 3136, Geometrie- und Festfunktions-Pipeline 3114), wenn Graphikverarbeitungsoperationen durchzuführen sind, gesendet werden.
-
In mindestens einer Ausführungsform kann der Graphik-Mikrocontroller 3138 konfiguriert sein, um verschiedene Planungs- und Managementaufgaben für den Graphikkern 3100 auszuführen. In mindestens einer Ausführungsform kann der Graphik-Mikrocontroller 3138 eine Graphik- und/oder Rechen-Arbeitslast-Planung auf verschiedenen parallelen Graphik-Engines innerhalb der Ausführungseinheit (EU)-Anordnungen 3102A-3102F, 3104A-3104F innerhalb der Unterkerne 3101A-3101F durchführen. In mindestens einer Ausführungsform kann Host-Software, die auf einem CPU-Kern eines SoC mit dem Graphikkern 3100 ausgeführt wird, Arbeitslasten einer von mehreren Graphikprozessorpfaden übergeben, welche einen Planungsvorgang auf einer geeigneten Graphik-Engine auslösen. In mindestens einer Ausführungsform umfassen Planungsoperationen ein Bestimmen, welche Arbeitslast als nächstes auszuführen ist, ein Übermitteln einer Arbeitslast an einen Befehlsstreamer, ein Vorbelegen existierender Arbeitslasten, die auf einer Engine ausgeführt werden, ein Überwachen des Fortschreitens einer Arbeitslast und ein Benachrichtigen der Host-Software, wenn eine Arbeitslast abgeschlossen ist. In mindestens einer Ausführungsform kann der Graphik-Mikrocontroller 3138 auch Zustände mit geringer Stromaufnahme oder Leerlaufzustände für den Graphikkern 3100 ermöglichen, die dem Graphikkern 3100 die Möglichkeit geben, Register innerhalb des Graphikkerns 3100 über Zustandsübergänge mit geringem Stromverbrauch unabhängig von einem Betriebssystem und/oder einer Graphiktreibersoftware auf einem System zu speichern und wiederherzustellen.
-
In mindestens einer Ausführungsform kann der Graphikkern 3100 mehr als oder weniger als die veranschaulichten Unterkeme 3101A-3101F und bis hin zu N modularen Unterkernen aufweisen. Für jeden Satz von N-Unterkernen kann der Graphikkern 3100 in mindestens einer Ausführungsform auch eine gemeinsam genutzte Funktionslogik 3110, einen gemeinsam genutzten und/oder Cache-Speicher 3112, eine Geometrie/Festfunktions-Pipeline 3114 sowie zusätzliche Festfunktionslogik 3116 zur Beschleunigung verschiedener Graphik- und Rechenverarbeitungsoperationen umfassen. In mindestens einer Ausführungsform kann die gemeinsam genutzte Funktionslogik 3110 Logikeinheiten (z.B. Abtaster-, Mathematik- und/oder Inter-Thread-Kommunikationslogik) umfassen, die von allen N Unterkemen innerhalb des Graphikkerns 3100 gemeinsam genutzt werden können. In mindestens einer Ausführungsform kann der gemeinsam genutzte und/oder Cache-Speicher 3112 ein Last-Level-Cache für die N Unterkerne 3101 A-3101F innerhalb des Graphikkerns 3100 sein und kann ebenfalls als gemeinsam genutzter Speicher dienen, auf den mehrere Unterkeme zugreifen können. In mindestens einer Ausführungsform kann die Geometrie/Festfunktions-Pipeline 3114 anstelle der Geometrie/Festfunktions-Pipeline 3136 innerhalb des Festfunktionsblocks 3130 aufgenommen sein und kann gleiche oder ähnliche Logikeinheiten umfassen.
-
In mindestens einer Ausführungsform umfasst der Graphikkern 3100 zusätzliche Festfunktionslogik 3116, die verschiedene Festfunktionsbeschleunigungslogik zur Verwendung durch den Graphikkern 3100 umfassen kann. In mindestens einer Ausführungsform umfasst die zusätzliche Festfunktionslogik in Nur-Positions-Shading. Bei dem Nur-Positions-Shading existieren mindestens zwei Geometrie-Pipelines, während in einer Vollgeometrie-Pipeline innerhalb der Geometrie- und Festfunktions-Pipeline 3116, 3136, und eine Cull-Pipeline, welche eine zusätzliche Geometrie-Pipeline ist, welche innerhalb der zusätzlichen Festfunktionslogik 3116 umfasst sein kann. In mindestens einer Ausführungsform ist die Cull-Pipeline eine abgespeckte Version einer Vollgeometrie-Pipeline. In mindestens einer Ausführungsform können eine Vollpipeline und eine Cull-Pipeline verschiedene Instanzen einer Anwendung ausführen, wobei jede Instanz einen separaten Kontext hat. In mindestens einer Ausführungsform kann das Nur-Positions-Shading lange Cull-Läufe verworfener Dreiecke verbergen, so dass das Shading in einigen Fällen früher abgeschlossen werden kann. Beispielsweise kann in mindestens einer Ausführungsform Cull-Pipeline-Logik innerhalb der zusätzlichen Festfunktionslogik 3116 Positions-Shader parallel zu einer Hauptanwendung ausführen und erzeugt im Allgemeinen kritische Ergebnisse schneller als eine Vollpipeline, da die Cull-Pipeline das Attribut der Position von Vertices holt und schattiert, ohne eine Rasterisierung und ein Rendering von Pixeln in einem Einzelbild-Puffer durchzuführen. In mindestens einer Ausführungsform kann die Cull-Pipeline erzeugte kritische Ergebnisse verwenden, um Sichtbarkeitsinformationen für alle Dreiecke unabhängig davon zu berechnen, ob diese Dreiecke gecullt werden. In mindestens einer Ausführungsform kann eine Vollpipeline (welche in diesem Fall als eine Wiedergabepipeline bezeichnet werden kann) Sichtbarkeitsinformationen verbrauchen, um gecullte Dreiecke zu überspringen, um nur sichtbare Dreiecke zu schattieren, die schließlich an eine Rasterisierungsphase übergeben werden.
-
In mindestens einer Ausführungsform kann die zusätzliche Festfunktionslogik 3116 auch eine maschinell lernende Beschleunigungslogik, wie beispielsweise eine Festfunktion-Matrix-Multiplikationslogik, für Implementierungen einschließlich Optimierungen für das Training oder die Inferenzierung des maschinellen Lernens umfassen.
-
In mindestens einer Ausführungsform ist innerhalb jedes Graphik-Unterkerns 3101A-3101F ein Satz von Ausführungsressourcen umfasst, die verwendet werden können, um Graphik-, Medien- und Rechenoperationen im Ansprechen auf Anfragen von der Graphikpipeline, der Medien-Pipeline oder von Shader-Programmen durchzuführen. In mindestens einer Ausführungsform umfassen die Graphik-Unterkerne 3101A-3101F mehrere EU-Arrays 3102A-3102F, 3104A-3104F, Thread-Abfertigungs- und Inter-Thread-Kommunikationslogik 3103A-3103F, einen 3D-Abtaster 3105A-3105F, einen Medien-Abtaster 3106A-3106F, einen Shaderprozessor 3107A-3107F und einen gemeinsam genutzten lokalen Speicher (SLM) 3108A-3108F. Die EU-Arrays 3102A-3102F, 3104A-3104F umfassen jeweils mehrere Ausführungseinheiten, welche universelle Graphikverarbeitungseinheiten sind, die in der Lage sind, Gleitkomma- und Ganzzahl/Festpunkt-Logikoperationen im Dienst einer Graphik-, Medien- oder Rechenoperation durchzuführen, einschließlich von Graphik-, Medien- oder Rechen-Shader-Programmen. In mindestens einer Ausführungsform führt eine TD/IC-Logik 3103A-3103F lokale Thread-Abfertigungs- und Thread-Steuer-Operationen für Ausführungseinheiten innerhalb eines Unterkerns durch und erleichtert die Kommunikation zwischen Threads, die auf Ausführungseinheiten eines Unterkerns ausgeführt werden. In mindestens einer Ausführungsform kann der 3D-Abtaster 3105A-3105F Texturen oder andere 3D-Graphikdaten in den Speicher einlesen. In mindestens einer Ausführungsform kann der 3D-Abtaster Texturdaten unterschiedlich lesen, basierend auf einem konfigurierten Abtastzustand und einem Texturformat, das einer bestimmten Textur zugeordnet ist. In mindestens einer Ausführungsform kann der Medien-Abtaster 3106A-3106F ähnliche Leseoperationen durchführen, die auf einem Typ und einem Format basieren, der/das Mediendaten zugeordnet ist. In mindestens einer Ausführungsform kann jeder Graphik-Unterkern 3101A-3101F abwechselnd einen vereinheitlichten 3D- und Medien-Abtaster umfassen. In mindestens einer Ausführungsform können Threads, die auf Ausführungseinheiten innerhalb jedes der Unterkeme 3101A-3101F ausgeführt werden, den gemeinsam genutzten lokalen Speicher 3108A-3108F innerhalb jedes Unterkerns verwenden, um Threads, die innerhalb einer Thread-Gruppe ausgeführt werden, die Ausführung unter Verwendung eines gemeinsamen Pools von On-Chip-Speicher zu ermöglichen.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 sind hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte der oder die gesamte Inferenzierungs- und/oder Trainingslogik 815 in den Graphikprozessor 3110 integriert sein. Beispielsweise können in mindestens einer Ausführungsform hier beschriebene Trainings- und/oder InferenzierungsTechniken eine oder mehrere der ALUs verwenden, die in der 3D-Pipeline 3110, dem Graphik-Mikrocontroller 3138, den Geometrie- und Festfunktions-Pipelines 3114 und 3136 oder einer anderen Logik in 31 verkörpert sind. Außerdem können in mindestens einer Ausführungsform die hier beschriebenen Inferenzierungs- und/oder Trainingsoperationen mit einer anderen Logik als der in 8A oder 8B veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs des Graphikprozessors 3100 konfigurieren, um einen oder mehrere Algorithmen maschinellen Lernens, neuronale Netzwerkarchitekturen, Anwendungsfälle oder die hier beschriebenen Trainingstechniken auszuführen.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
32A-32B veranschaulichen eine Threadausführungslogik 3200 einschließlich einer Anordnung von Verarbeitungselementen eines Graphikprozessorkerns gemäß mindestens einer Ausführungsform. 32A veranschaulicht mindestens eine Ausführungsform, bei welcher die Threadausführungslogik 3200 verwendet wird. 32B veranschaulicht interne Einzelheiten einer Ausführungseinheit gemäß mindestens einer Ausführungsform.
-
Wie in 32A veranschaulicht, umfasst die Thread-Ausführungslogik 3200 in mindestens einer Ausführungsform einen Shader-Prozessor 3202, einen Thread-Abfertiger 3204, einen Befehls-Cache 3206, eine Anordnung skalierbarer Ausführungseinheiten mit einer Mehrzahl von Ausführungseinheiten 3207A-3207N, einen Abtaster bzw. Sampler 3210, einen Daten-Cache 3212 und einen Datenport 3214. In mindestens einer Ausführungsform kann eine Anordnung skalierbarer Ausführungseinheiten dynamisch skaliert werden, indem eine oder mehrere Ausführungseinheiten (z.B. eine der Ausführungseinheiten 3208A-N oder 3207A-N) basierend auf Berechnungsanforderungen einer Arbeitslast aktiviert oder deaktiviert werden. In mindestens einer Ausführungsform sind skalierbare Ausführungseinheiten über eine Zwischenverbindungsstruktur, die mit jeder der Ausführungseinheiten verbunden ist, miteinander verbunden. In mindestens einer Ausführungsform umfasst die Thread-Ausführungslogik 3200 eine oder mehrere Verbindungen zu Speicher, wie beispielsweise Systemspeicher oder Cache-Speicher, über eine oder mehrere des Befehls-Caches 3206, des Datenports 3214, des Abtasters 3210 und der Ausführungseinheiten 3207 der 3208. In mindestens einer Ausführungsform ist jede Ausführungseinheit (z.B. 3207A) eine eigenständige, programmierbare, universelle Recheneinheit, die in der Lage ist, mehrere gleichzeitige Hardware-Threads auszuführen und gleichzeitig mehrere Datenelemente für jeden Thread parallel zu verarbeiten. In mindestens einer Ausführungsform ist die Anordnung der Ausführungseinheiten 3207 und/oder 3208 skalierbar, um eine beliebige Anzahl einzelner Ausführungseinheiten zu umfassen.
-
In mindestens einer Ausführungsform werden die Ausführungseinheiten 3207 und/oder 3208 hauptsächlich zum Ausführen von Shader-Programmen verwendet. In mindestens einer Ausführungsform kann der Shader-Prozessor 3202 verschiedene Shader-Programme verarbeiten und Ausführungsthreads, die mit Shader-Programmen verknüpft sind, über einen Thread-Abfertiger 3204 versenden. In mindestens einer Ausführungsform umfasst der Thread-Abfertiger 3204 Logik, um Thread-Initiationsanforderungen von Graphik- und Medien-Pipelines zu arbitrieren und angeforderte Threads auf einer oder mehreren Ausführungseinheiten in den Ausführungseinheiten 3207 und/oder 3208 zu instanziieren. Beispielsweise kann in mindestens einer Ausführungsform eine Geometrie-Pipeline Vertex-, Tesselierungs- oder Geometrie-Shader an die Thread-Ausführungslogik zur Verarbeitung senden. In mindestens einer Ausführungsform kann der Thread-Abfertiger 3204 auch Laufzeit-Thread-Übergabe-Anforderungen von ausführenden Shader-Programmen verarbeiten.
-
In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 3207 und/oder 3208 einen Befehlssatz, der native Unterstützung vieler Standard-3D-Graphik-Shader-Anweisungen umfasst, so dass Shader-Programme aus Graphikbibliotheken (z.B. Direct 3D und OpenGL) mit einer minimalen Übersetzung ausgeführt werden. In mindestens einer Ausführungsform unterstützen Ausführungseinheiten Vertex- und Geometrie-Verarbeitung (z.B. Vertex-Programme, Geometrie-Programme, Vertex-Shader), Pixelverarbeitung (z.B. Pixel-Shader, Fragment-Shader) und Universalverarbeitung (z.B. Rechen- und Medien-Shader). In mindestens einer Ausführungsform ist jede der Ausführungseinheiten 3207 und/oder 3208, die eine oder mehrere Arithmetik-Logikeinheiten (ALUs) umfassen, zu mehreren ausgegebenen Single Instruction Multiple Data (SIMD)-Ausführungen in der Lage, und ermöglicht der Multithread-Betrieb trotz Speicherzugriffen mit höherer Latenz eine effiziente Ausführungsumgebung. In mindestens einer Ausführungsform weist jeder Hardware-Thread innerhalb jeder Ausführungseinheit eine dedizierte Registerdatei mit hoher Bandbreite und einen zugehörigen unabhängigen Thread-Zustand auf. In mindestens einer Ausführungsform ist die Ausführung eine Mehrfachausgabe pro Takt an Pipelines, die zu Ganzzahlen, einfach und doppelt genauen Gleitkommaoperationen, SIMD-Zweigfähigkeit, logischen Operationen, transzendenten Operationen und anderen verschiedenen Operationen in der Lage sind. In mindestens einer Ausführungsform veranlasst, während auf Daten aus dem Speicher oder von einer der gemeinsam genutzten Funktionen gewartet wird, die Abhängigkeitslogik innerhalb der Ausführungseinheiten 3207 und/oder 3208, dass ein wartender Thread schläft, bis angeforderte Daten zurückgegeben wurden. In mindestens einer Ausführungsform können Hardware-Ressourcen für die Verarbeitung anderer Threads bereitgestellt werden, während ein wartender Thread schläft. In mindestens einer Ausführungsform kann beispielsweise während einer Verzögerung in Zusammenhang mit einer Vertex-Shader-Operation, eine Ausführungseinheit Operationen für einen Pixel-Shader, einen Fragment-Shader oder eine andere Art von Shader-Programm durchführen, einschließlich eines unterschiedlichen Vertex-Shaders.
-
In mindestens einer Ausführungsform arbeitet jede Ausführungseinheit in den Ausführungseinheiten 3207 und/oder 3208 an Anordnungen bzw. Arrays von Datenelementen. In mindestens einer Ausführungsform ist eine Anzahl von Datenelementen von „Ausführungsgröße“ oder Anzahl von Kanälen für eine Anweisung. In mindestens einer Ausführungsform ist ein Ausführungskanal eine logische Ausführungseinheit für den Zugriff auf Datenelemente, ein Maskieren und eine Ablaufsteuerung innerhalb von Anweisungen. In mindestens einer Ausführungsform kann eine Anzahl von Kanälen unabhängig von einer Anzahl physikalischer Arithmetik-Logikeinheiten (ALUs) oder Gleitkommaeinheiten (FPUs) für einen bestimmten Graphikprozessor sein. In mindestens einer Ausführungsform unterstützen die Ausführungseinheiten 3207 und/oder 3208 Ganzzahl- und Gleitkomma-Datentypen.
-
In mindestens einer Ausführungsform umfasst ein Befehlssatz für Ausführungseinheiten SIMD-Befehle. In mindestens einer Ausführungsform können verschiedene Datenelemente als ein gepackter Datentyp in einem Register gespeichert sein und eine Ausführungseinheit wird verschiedene Elemente basierend auf einer Datengröße der Elemente verarbeiten. Beispielsweise werden in mindestens einer Ausführungsform dann, wenn an einem 256-Bit breiten Vektor gearbeitet wird, 256 Bit eines Vektors in einem Register gespeichert und eine Ausführungseinheit arbeitet an einem Vektor als vier separate 64-Bit gepackte Datenelemente (Quad-Word (QW)-Größe-Datenelemente), acht separate 32-Bit gepackte Datenelementen (Double Word (DW)-Größe-Datenelemente), sechzehn separate 16-Bit gepackte Datenelementen (Word (W)-Größe-Datenelemente) oder zweiunddreißig separate 8-Bit-Datenelementen (Byte (B)-Größe-Datenelemente). In mindestens einer Ausführungsform sind jedoch unterschiedliche Vektorbreiten und Registergrößen möglich.
-
In mindestens einer Ausführungsform können eine oder mehrere Ausführungseinheiten zu einer fusionierten Ausführungseinheit 3209A-3209N mit einer Thread-Steuerlogik (3211A-321 IN) kombiniert sein, die für fusionierte Ausführungseinheiten (Execution Units; EUs), wie beispielsweise der Ausführungseinheit 3207A üblich ist, die mit der Ausführungseinheit 3208A in die fusionierte Ausführungseinheit 3209A fusioniert ist. In mindestens einer Ausführungsform können mehrere EUs zu einer EU-Gruppe fusioniert sein. In mindestens einer Ausführungsform kann jede EU in der fusionierten EU-Gruppe konfiguriert sein, einen separaten SIMD-Hardware-Thread auszuführen, wobei eine Anzahl von EUs in einer fusionierten EU-Gruppe möglicherweise gemäß verschiedenen Ausführungsformen variieren können. In mindestens einer Ausführungsform können pro EU verschiedene SIMD-Breiten durchgeführt werden, einschließlich, jedoch nicht beschränkt auf, SIMD8, SIMD16 und SIMD32. In mindestens einer Ausführungsform umfasst jede fusionierte Graphikausführungseinheit 3209A-3209N mindestens zwei Ausführungseinheiten. Beispielsweise umfasst in mindestens einer Ausführungsform die fusionierte Ausführungseinheit 3209A eine erste EU 3207A, eine zweite EU 3208A und eine Thread-Steuerlogik 3211A, die der ersten EU 3207A und der zweiten EU 3208A gemeinsam ist. In mindestens einer Ausführungsform steuert die Thread-Steuerlogik 3211A Threads, die auf der fusionierten Graphikausführungseinheit 3209A ausgeführt werden, welches jeder EU innerhalb der fusionierten Ausführungseinheiten 3209A-3209N erlaubt, unter Verwendung eines gemeinsamen Befehlszeigerregisters ausgeführt zu werden.
-
In mindestens einer Ausführungsform sind ein oder mehrere interne Befehls-Caches (z.B. 3206) in der Thread-Ausführungslogik 3200 umfasst, um Thread-Anweisungen für Ausführungseinheiten zwischenzuspeichern. In mindestens einer Ausführungsform sind ein oder mehrere Daten-Caches (z.B. 3212) umfasst, um Thread-Daten während der Thread-Ausführung zwischenzuspeichern. In mindestens einer Ausführungsform ist ein Abtaster 3210 umfasst, um eine Texturabtastung für 3D-Operationen und eine Medienabtastung für Medienoperationen bereitzustellen. In mindestens einer Ausführungsform umfasst der Abtaster 3210 eine spezialisierte Textur- oder Medien-Abtastfunktionalität, um Textur- oder Mediendaten während des Abtastprozesses zu verarbeiten, bevor abgetastete Daten an eine Ausführungseinheit bereitgestellt werden.
-
Während der Ausführung senden in mindestens einer Ausführungsform Graphik- und Medien-Pipelines Thread-Initiationsanforderungen über Thread-Übergabe- und Sende-Logik an die Thread-Ausführungslogik 3200. In mindestens einer Ausführungsform wird, sobald eine Gruppe von geometrischen Objekten verarbeitet und in Pixeldaten gerastert wurde, eine Pixelprozessorlogik (z.B. Pixel-Shader-Logik, Fragment-Shader-Logik usw.) innerhalb des Shader-Prozessors 3202 aufgerufen, um Ausgabeinformationen weiter zu berechnen und zu veranlassen, dass Ergebnisse auf Ausgabeoberflächen (z.B. Farbpuffer, Tiefenpuffer, Schablonenpuffer usw.) geschrieben werden. In mindestens einer Ausführungsform berechnet ein Pixel-Shader oder Fragment-Shader Werte verschiedener Vertex-Attribute, die über ein gerastertes Objekt hinweg zu interpolieren sind. In mindestens einer Ausführungsform führt die Pixelprozessorlogik innerhalb des Shader-Prozessors 3202 dann ein von der Anwendungsprogrammierschnittstelle (API) bereitgestelltes Pixel- oder Fragment-Shader-Programm aus. In mindestens einer Ausführungsform sendet, um ein Shader-Programm auszuführen, der Shader-Prozessor 3202 Threads über den Thread-Abfertiger 3204 an eine Ausführungseinheit (z.B. 3208A). In mindestens einer Ausführungsform verwendet der Shader-Prozessor 3202 Texturabtastlogik in dem Abtaster 3210, um auf Texturdaten in im Speicher gespeicherten Texturkarten zuzugreifen. In mindestens einer Ausführungsform berechnen arithmetische Operationen auf Texturdaten und zugeführten Geometriedaten Pixelfarbdaten für jedes geometrische Fragment oder verwerfen ein oder mehrere Pixel aus der weiteren Verarbeitung.
-
In mindestens einer Ausführungsform stellt ein Datenport 3214 einen Speicherzugriffsmechanismus für die Thread-Ausführungslogik 3200 bereit, um verarbeitete Daten zur weiteren Verarbeitung auf einer Graphikprozessor-Ausgabepipeline an den Speicher auszugeben. In mindestens einer Ausführungsform umfasst oder koppelt der Datenport 3214 einen oder mehrere Cache-Speicher (z.B. Daten-Cache 3212), um Daten für einen Speicherzugriff über einen Datenport zwischenzuspeichern.
-
Wie in 32B veranschaulicht, kann in mindestens einer Ausführungsform eine Graphikausführungseinheit 3208 eine Befehlsabrufeinheit 3237, eine allgemeine Registerdateianordnung (GRF) 3224, eine architektonische Registerdateianordnung (ARF) 3226, einen Thread-Arbiter 3222, eine Sendeeinheit 3230, eine Verzweigungseinheit 3232, einen Satz von SIMD-Gleitkommaeinheiten (FPUs) 3234 und einen Satz von dedizierten ganzzahligen SIMD ALUs 3235 umfassen. In mindestens einer Ausführungsform umfassen die GRF 3224 und die ARF 3226 einen Satz von allgemeinen Registerdateien und Architekturregisterdateien, die jedem gleichzeitigen Hardware-Thread zugeordnet sind, der in der Graphikausführungseinheit 3208 aktiv sein kann. In mindestens einer Ausführungsform wird der Architekturzustand pro Thread in der ARF 3226 beibehalten, während Daten, die während der Thread-Ausführung verwendet werden, in der GRF 3224 gespeichert werden. In mindestens einer Ausführungsform kann der Ausführungszustand jedes Threads, einschließlich von Befehlszeigern für jeden Thread, in threadspezifischen Registern in der ARF 3226 gehalten werden.
-
In mindestens einer Ausführungsform weist die Graphikausführungseinheit 3208 eine Architektur auf, die eine Kombination aus simultanem Multi-Threading (SMT) und feinkörnigem Interleaved Multi-Threading (IMT) ist. In mindestens einer Ausführungsform weist die Architektur eine modulare Konfiguration auf, die zur Designzeit auf der Grundlage einer Sollanzahl gleichzeitiger Threads und der Anzahl von Registern pro Ausführungseinheit verfeinert werden kann, wobei Ausführungseinheitsressourcen über Logik hinweg verteilt sind, die zum Ausführen mehrerer gleichzeitiger Threads verwendet wird.
-
In mindestens einer Ausführungsform kann die Graphikausführungseinheit 3208 mehrere Anweisungen gemeinsam ausgeben, welche jeweils unterschiedliche Anweisungen sein können. In mindestens einer Ausführungsform kann der Thread-Arbiter 3222 des Graphikausführungseinheit-Threads 3208 Anweisungen an eine der Sendeeinheit 3230, der Verzweigungseinheit 3242 oder der SIMD FPU(s) 3234 zur Ausführung senden. In mindestens einer Ausführungsform kann jeder Ausführungsthread auf 128 Universalregister innerhalb der GRF 3224 zugreifen, wobei jedes Register 32 Bytes speichern kann, die als ein SIMD 8-Elementvektor von 32-Bit-Datenelementen zugänglich sind. In mindestens einer Ausführungsform weist jeder Thread der Ausführungseinheit Zugriff auf 4 KByte innerhalb der GRF 3224 auf, obwohl Ausführungsformen nicht so beschränkt sind und mehr oder weniger Registerressourcen in anderen Ausführungsformen bereitgestellt sein können. In mindestens einer Ausführungsform können bis zu sieben Threads gleichzeitig ausgeführt werden, obwohl auch eine Anzahl von Threads pro Ausführungseinheit je nach Ausführungsform variieren kann. In mindestens einer Ausführungsform, in welcher sieben Threads auf 4 KByte zugreifen können, kann die GRF 3224 insgesamt 28 KByte speichern. In mindestens einer Ausführungsform können flexible Adressierungsmodi Registern ermöglichen, gemeinsam adressiert zu werden, um breitere Register wirksam aufzubauen oder schrittförmige rechteckige Blockdatenstrukturen darzustellen.
-
In mindestens einer Ausführungsform werden Speicheroperationen, Abtasteroperationen und andere Systemkommunikationen mit längerer Latenz über „Sende“-Anweisungen gesendet, die durch eine Nachrichtenübergabe-Sendeeinheit 3230 ausgeführt werden. In mindestens einer Ausführungsform werden Verzweigungsanweisungen an eine dedizierte Verzweigungseinheit 3232 gesendet, um SIMD-Divergenz und eventuelle Konvergenz zu erleichtern.
-
In mindestens einer Ausführungsform umfasst die Ausführungseinheit 3208 eine oder mehrere SIMD-Gleitkommaeinheiten (FPU(s)) 3234 zum Durchführen von Gleitkommaoperationen. In mindestens einer Ausführungsform unterstützen die FPU(s) 3234 auch Ganzzahlberechnungen. In mindestens einer Ausführungsform können die FPU(s) 3234 bis zu einer Anzahl M von 32-Bit Gleitkomma- (oder Ganzzahl-) Operationen SIMDausführen oder bis zu 2M 16-Bit Ganzzahl oder 16-Bit Gleitkomma-Operationen SIMDausführen. In mindestens einer Ausführungsform stellt mindestens eine der FPU(s) erweiterte mathematische Fähigkeiten zur Unterstützung von transzendentalen mathematischen Funktionen und doppeltgenaues 64-Bit-Gleitkomma mit hohem Durchsatz bereit. In mindestens einer Ausführungsform ist auch ein Satz von 8-Bit Ganzzahl SIMD-ALUs 3235 vorhanden, und kann speziell optimiert sein, um Operationen im Zusammenhang mit Berechnungen zum maschinellen Lernen durchzuführen.
-
In mindestens einer Ausführungsform können Arrays von mehreren Instanzen der Graphikausführungseinheit 3208 in einer Graphik-Unterkerngruppierung (z.B. einer Sub-Slice) instanziiert sein. In mindestens einer Ausführungsform kann die Ausführungseinheit 3208 Anweisungen über eine Mehrzahl von Ausführungskanälen hinweg ausführen. In mindestens einer Ausführungsform wird jeder auf der Graphikausführungseinheit 3208 ausgeführte Thread auf einem unterschiedlichen Kanal ausgeführt.
-
Die Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten zu der Inferenzierungs- und/oder Trainingslogik 815 sind hier in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform können Abschnitt der oder die gesamte Inferenzierungs- und/oder Trainingslogik 815 in die Ausführungslogik 3200 integriert sein. Darüber hinaus können in mindestens einer Ausführungsform hier beschriebene Inferenzierungs- und/oder Trainingsoperationen mit einer anderen Logik als der in 8A oder 8B I veranschaulichten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtsparameter in On-Chip- oder Off-Chip-Speicher und/oder Registern (gezeigt oder nicht gezeigt) gespeichert werden, die ALUs der Ausführungslogik 3200 konfigurieren, um einen oder mehrere Algorithmen maschinellen Lernens, Lernalgorithmen, neuronale Netzwerk-architekturen, Anwendungsfälle oder die hier beschriebenen Trainingstechniken auszuführen.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Anweisungen auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
33 veranschaulicht eine Parallelverarbeitungs-Einheit („PPU“) 3300 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist die PPU 3300 mit einem maschinenlesbarem Code konfiguriert, der, falls von der PPU 3300 ausgeführt, die PPU 3300 veranlasst, einige oder sämtliche der Prozesse und Techniken durchzuführen, die in dieser Offenbarung durchweg beschrieben sind. In mindestens einer Ausführungsform ist die PPU 3300 ein Multi-Threaded-Prozessor, der auf einer oder mehreren integrierten Schaltungsvorrichtungen implementiert ist, und der Multi-Threading als eine Latenzverbergende Architektur benutzt, die ausgestaltet ist, um computerlesbare Befehle (auch als maschinenlesbare Befehle oder einfach als Befehle bezeichnet) an mehreren Threads parallel zu verarbeiten. In mindestens einer Ausführungsform bezieht sich ein Thread auf einen Ausführungsthread und ist eine Instanziierung eines Satzes von Befehle, die konfiguriert sind, um von der PPU 3300 ausgeführt zu werden. In mindestens einer Ausführungsform ist die PPU 3300 eine Graphikverarbeitungseinheit („GPU“), die konfiguriert ist, um eine Graphik-Rendering-Pipeline zur Verarbeitung von dreidimensionalen („3D“) Graphikdaten zu implementieren, um zweidimensionale („2D“) Bilddaten zur Anzeige auf einer Anzeigevorrichtung, wie beispielsweise einer Flüssigkristallanzeige(„LCD“)-Vorrichtung, zu erzeugen. In mindestens einer Ausführungsform wird die PPU 3300 benutzt, um Rechnungen, wie beispielsweise Operationen der linearen Algebra und Operationen des Maschinenlernens durchführen. 33 veranschaulicht einen beispielhaften parallelen Prozessor lediglich für veranschaulichende Zwecke und sollte als ein nicht einschränkendes Beispiel von Prozessorarchitekturen ausgelegt werden, die im Umfang dieser Offenbarung in Betracht gezogen werden und die jeder geeignete Prozessor einsetzen kann, um dasselbe zu ergänzen und/oder zu ersetzen.
-
In mindestens einer Ausführungsform sind eine oder mehrere PPUs 3300 konfiguriert, um HPC(High Performance Computing), Rechenzentrum und Maschinenlern-Anwendungen zu beschleunigen. In mindestens einer Ausführungsform ist die PPU 3300 konfiguriert, um Systeme und Anwendungen für tiefes Lernen zu beschleunigen, welche die folgenden nicht einschränken Beispiele umfassen: autonome Fahrzeugplattformen, tiefes Lernen, hochgenaue Sprache, Bild, Texterkennungssysteme, intelligente Videoanalyse, molekulare Simulationen, Wirkstoffentdeckung, Krankheitsdiagnose, Wettervorhersage, Analyse großer Datenmengen, Astronomie, Molekulardynamiksimulation, Finanzmodellierung, Robotertechnik, Fabrikautomation, Sprachübersetzung in Echtzeit, Online-Suchoptimierungen und personalisierte Benutzerempfehlungen und dergleichen.
-
In mindestens einer Ausführungsform umfasst die PPU 3300, ohne darauf beschränkt zu sein, eine Eingabe/Ausgabe(„E/A“)-Einheit 3306, eine Frontend-Einheit 3310, eine Planer-Einheit 3312, eine Arbeitsverteilungs-Einheit 3314, einen Hub 3316, eine Kreuzschiene („XBar“) 3320, einen oder mehrere allgemeine Verarbeitungscluster („GPCs“) 3318 und eine oder mehrere Partitions-Einheiten („Speicherpartitions-Einheiten“) 3322. In mindestens einer Ausführungsform ist die PPU 3300 mit einem Host-Prozessor oder anderen PPUs 3300 über einen oder mehrere Hochgeschwindigkeits-GPU-Zwischenverbindungen („GPU-Zwischenverbindungen“) 3308 verbunden. In mindestens einer Ausführungsform ist die PPU 3300 mit einem Host-Prozessor oder anderen peripheren Vorrichtungen über eine Zwischenverbindung 3302 verbunden. In mindestens einer Ausführungsform ist die PPU 3300 mit einem lokalen Speicher verbunden, der eine oder mehrere Speichervorrichtungen („Speicher“) 3304 umfasst. In mindestens einer Ausführungsform umfassen die Speichervorrichtungen 3304, ohne darauf beschränkt zu sein, eine oder mehrere Direktzugriffsspeicher(„DRAM“)-Vorrichtungen. In mindestens einer Ausführungsform sind eine oder mehrere DRAM-Vorrichtungen als HBM(Speicher mit hoher Bandbreite)-Teilsysteme konfiguriert und/oder konfigurierbar, wobei mehrere DRAM-Dies innerhalb jeder Vorrichtung gestapelt sind.
-
In mindestens einer Ausführungsform kann sich die Hochgeschwindigkeits-GPU-Zwischenverbindung 3308 auf eine drahtgebundene mehrspurige Kommunikationsverbindung beziehen, die von Systemen verwendet wird, um eine oder mehrere PPUs 3300 zu skalieren und zu umfassen, die mit einer oder mehreren zentralen Verarbeitungseinheiten („CPUs“) kombiniert sind, unterstützt Cache-Kohärenz zwischen den PPUs 3300 und CPUs sowie CPU-Mastering. In mindestens einer Ausführungsform werden Daten und/oder Befehle mittels der Hochgeschwindigkeits-GPU-Zwischenverbindung 3308 durch den Hub 3316 an/von anderen Einheiten der PPU 3300 übertragen, wie beispielsweise eine oder mehrere Kopier-Engines, Videocodierer, Videodecodierer, Leistungsverwaltungseinheiten und andere Komponenten, die in 33 nicht explizit veranschaulicht werden können.
-
In mindestens einer Ausführungsform ist die E/A-Einheit 3306 konfiguriert, um Kommunikationen (d.h. Befehle, Daten usw.) von einem Host-Prozessor (in 33 nicht gezeigt) über den Systembus 3302 zu übertragen und zu empfangen. In mindestens einer Ausführungsform kommuniziert die E/A-Einheit 3306 direkt mit dem Host-Prozessor über den Systembus 3302 oder durch eine oder mehrere Zwischenvorrichtungen, wie beispielsweise eine Speicherbrücke. In mindestens einer Ausführungsform kann die E/A-Einheit 3306 mit einem oder mehreren anderen Prozessoren, wie beispielsweise eine oder mehrere PPUs, über den Systembus 3302 kommunizieren. In mindestens einer Ausführungsformen implementiert die E/A-Einheit 3306 eine Peripheral Component Interconnect Express(„PCIe“)-Schnittstelle für Kommunikationen über einen PCIe-Bus und der Systembus 3302 ist ein PCIe-Bus. In mindestens einer Ausführungsform implementiert die E/A-Einheit 3306 Schnittstellen zum Kommunizieren mit externen Vorrichtungen.
-
In mindestens einer Ausführungsform decodiert die E/A-Einheit 3306 Pakete, die über den Systembus 3302 empfangen wurden. In mindestens einer Ausführungsform stellen mindestens einige Pakete Befehle dar, die konfiguriert sind, um die PPU 3300 zu veranlassen, verschiedene Operationen durchzuführen. In mindestens einer Ausführungsform überträgt die E/A-Einheit 3306 decodierte Befehle an verschiedene andere Einheiten der PPU 3300, wie durch Befehle spezifiziert. In mindestens einer Ausführungsform werden Befehle an die Frontend-Einheit 3310 und/oder an den Hub 3316 oder andere Einheiten der PPU 3300 übertragen, wie beispielsweise eine oder mehrere Kopier-Engines, einen Video-Codierer, einen Video-Decodierer, eine Leistungsverwaltungseinheit usw. (nicht explizit gezeigt). In mindestens einer Ausführungsform ist die E/A-Einheit 3306 konfiguriert, um Kommunikationen zwischen und unter verschiedenen logischen Einheiten der PPU 3300 weiterzuleiten.
-
In mindestens einer Ausführungsform codiert ein von dem Host-Prozessor ausgeführtes Programm einen Befehlsstrom in einem Puffer, welcher der PPU 3300 Arbeitslasten zur Verarbeitung bereitstellt. In mindestens einer Ausführungsform umfasst eine Arbeitslast Befehle und Daten, die durch diese Befehle zu verarbeiten sind. In mindestens einer Ausführungsform ist der Puffer eine Region in einem Speicher, der von sowohl dem Host-Prozessor als auch der PPU 3300 zugänglich ist (d.h. Lesen/Schreiben) - eine Host-Schnittstelleneinheit kann konfiguriert sein, um auf diesen Puffer in einem Systemspeicher, der mit dem Systembus 3302 verbunden ist, über Speicheranforderungen zuzugreifen, die über den Systembus 3302 durch die E/A-Einheit 3306 übertragen werden. In mindestens einer Ausführungsform schreibt ein Host-Prozessor einen Befehlsstrom in einen Puffer und überträgt dann einen Zeiger zu einem Start des Befehlsstroms an die PPU 3300, so dass die Frontend-Einheit 3310 Zeiger zu einem oder mehreren Befehlsströme empfängt und einen oder mehrere Ströme verwaltet, Befehle aus den Befehlsströmen liest und Befehle an verschiedene Einheiten der PPU 3300 weiterleitet.
-
In mindestens einer Ausführungsform ist die Frontend-Einheit 3310 mit einer Planer-Einheit 3312 gekoppelt, die verschiedene GPCs 3318 konfiguriert, um Aufgaben zu verarbeiten, die durch einen oder mehrere Befehlsströme definiert sind. In mindestens einer Ausführungsform ist die Planer-Einheit 3312 konfiguriert, um Zustandsinformation zu verfolgen, die verschiedene Aufgaben betrifft, die von der Planer-Einheit 3312 verwaltet werden, wobei die Zustandsinformation angeben kann, welchem der GPCs 3318 eine Aufgabe zugewiesen ist, ob die Aufgabe aktiv oder inaktiv ist, ob der Aufgabe ein Prioritätsniveau zugeordnet ist, und so weiter. In mindestens einer Ausführungsform verwaltet die Planer-Einheit 3312 die Ausführung mehrerer Aufgaben auf einem oder mehreren der GPCs 3318.
-
In mindestens einer Ausführungsform ist die Planer-Einheit 3312 mit einer Arbeitsverteilungs-Einheit 3314 gekoppelt, die konfiguriert ist, um Aufgaben zur Ausführung auf GPCs 3318 zu versenden. In mindestens einer Ausführungsform verfolgt die Arbeitsverteilungs-Einheit 3314 eine Anzahl von eingeplanten Aufgaben, die von der Planer-Einheit 3312 empfangen werden, und die Arbeitsverteilungs-Einheit 3314 verwaltet einen Pool für anstehende Aufgaben und einen Pool für aktive Aufgaben für jeden der GPCs 3318. In mindestens einer Ausführungsform umfasst der Pool für anstehende Aufgaben eine Anzahl von Schlitzen (z.B. 32 Schlitze), die Aufgaben enthalten, die zugewiesen sind, um von einem bestimmten GPC 3318 verarbeitet zu werden; ein Pool für aktive Aufgaben kann eine Anzahl von Schlitzen (z.B. 4 Schlitze) für Aufgaben umfassen, die von den GPCs 3318 aktiv verarbeitet werden, so dass, wenn einer der GPCs 3318 die Ausführung einer Aufgabe abschließt, diese Aufgabe aus dem Pool für aktive Aufgaben für den GPC 3318 geräumt wird und eine der anderen Aufgaben aus dem Pool für anstehende Aufgaben ausgewählt und zur I Ausführung auf dem GPC 3318 eingeplant wird. In mindestens einer Ausführungsform, wenn eine aktive Aufgabe auf dem GPC 3318 inaktiv ist, wie beispielsweise während darauf gewartet wird, dass eine Datenabhängigkeit behoben wird, dann wird die aktive Aufgabe aus dem GPC 3318 geräumt und zu dem Pool für anstehende Aufgaben zurückgeführt, während eine andere Aufgabe in diesem Pool für anstehende Aufgaben ausgewählt und zur Ausführung auf dem GPC 3318 eingeplant wird.
-
In mindestens einer Ausführungsform kommuniziert die Arbeitsverteilungs-Einheit 3314 mit einem oder mehreren GPCs 3318 über die Kreuzschiene bzw. XBar 3320. In mindestens einer Ausführungsform ist die XBar 3320 ein Zwischenverbindung-Netzwerk, das viele der Einheiten der PPU 3300 mit anderen Einheiten der PPU 3300 koppelt und konfiguriert sein kann, um die Arbeitsverteilungs-Einheit 3314 mit einem bestimmten GPC 3318 zu koppeln. In mindestens einer Ausführungsform können eine oder mehrere andere Einheiten der PPU 3300 ebenfalls mit der XBar 3320 über den Hub 3316 verbunden sein.
-
In mindestens einer Ausführungsform werden Aufgaben von der Planer-Einheit 3312 verwaltet und an einen der GPCs 3318 durch die Arbeitsverteilungs-Einheit 3314 abgefertigt. In mindestens einer Ausführungsform ist der GPC 3318 konfiguriert, um die Aufgabe zu verarbeiten und Ergebnisse zu erzeugen. In mindestens einer Ausführungsform können Ergebnisse von anderen Aufgaben innerhalb des GPC 3318 konsumiert werden, an einen unterschiedlichen GPC 3318 über die XBar 3320 weitergeleitet oder im Speicher 3304 gespeichert werden. In mindestens einer Ausführungsform können Ergebnisse in den Speicher 3304 über die Partitions-Einheiten 3322 geschrieben werden, die eine Speicherschnittstelle zum Lesen und Schreiben von Daten in/aus dem Speicher 3304 implementieren. In mindestens einer Ausführungsform können Ergebnisse an eine andere PPU 3304 oder CPU über die Hochgeschwindigkeit-GPU-Zwischenverbindung 3308 übertragen werden. In mindestens einer Ausführungsform umfasst die PPU, ohne darauf beschränkt zu sein, eine Anzahl U von Speicherpartitions-Einheiten 3322, die gleich einer Anzahl von getrennten und unterschiedlichen Speichervorrichtungen 3304 ist, die mit der PPU 3300 gekoppelt sind, wie nachstehend hier ausführlicher in Verbindung mit 35 beschrieben.
-
In mindestens einer Ausführungsform führt ein Host-Prozessor einen Treiber-Kernel aus, der eine Anwendungsprogrammmier-Schnittstelle („API“) implementiert, die einer oder mehreren Anwendungen ermöglicht, die auf dem Host-Prozessor ausgeführt werden, Operationen zur Ausführung auf der PPU 3300 einzuplanen. In mindestens einer Ausführungsform werden mehrere Rechenanwendungen gleichzeitig von der PPU 3300 ausgeführt und die PPU 3300 stellt Isolierung, Dienstqualität (QoS) und unabhängige Adressräume für die mehreren Rechenanwendungen bereit. In mindestens einer Ausführungsform erzeugt eine Anwendung Befehle (z.B. in Form von API-Aufrufen), die einen Treiberkernel veranlassen, eine oder mehrere Aufgaben zur Ausführung durch die PPU 3300 zu erzeugen, und der Treiberkernel gibt Aufgaben an einen oder mehrere Streams aus, die von der PPU 3300 verarbeitet werden. In mindestens einer Ausführungsform umfasst jede Aufgabe eine oder mehrere Gruppen von in Beziehung stehender Threads, die hier als ein Warp bezeichnet werden. In mindestens einer Ausführungsform umfasst ein Warp mehrere in Beziehung stehende Threads (z.B. 32 Threads), die parallel ausgeführt werden können. In mindestens einer Ausführungsform können sich kooperierende Threads auf mehrere Threads beziehen, die Befehle umfassen, um die Aufgabe durchzuführen, und die Daten durch einen gemeinsam genutzten Speicher austauschen können. In mindestens einer Ausführungsform werden Threads und kooperierende Threads ausführlicher gemäß mindestens einer Ausführungsform in Verbindung mit 41 beschrieben.
-
Eine Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 werden nachstehend in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform wird ein tief lernenden Anwendungsprozessor verwendet, um ein maschinelles Lernmodell zu trainieren, wie beispielsweise ein neuronales Netzwerk, um Informationen vorherzusagen oder zu inferenzieren, die der PPU 3300 bereitgestellt werden. In mindestens einer Ausführungsform wird die PPU 3300 verwendet, um Informationen basierend auf einem trainierten maschinellen Lernmodell (z.B., neuronalen Netzwerk) zu inferenzieren und vorauszusagen, das durch einen anderen Prozessor oder System oder durch die PPU 3300 trainiert wurde. In mindestens einer Ausführungsform kann die PPU 3300 verwendet werden, um ein oder mehrere hier beschriebene Anwendungsfälle eines neuronalen Netzwerks durchzuführen.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Befehle auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
34 veranschaulicht einen allgemeinen Verarbeitungscluster („GPC“) 3400 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der GPC 3400 der GPC 3318 von 33. In mindestens einer Ausführungsform umfasst jeder GPC 3400, ohne darauf beschränkt zu sein, eine Anzahl von Hardwareeinheiten zur Verarbeitung von Aufgaben, und jeder GPC 3400 umfasst, ohne darauf beschränkt zu sein, einen Pipeline-Manager 3402, eine Vor-Raster-Operationen-Einheit („PROP“) 3404, eine Raster-Engine 3408, eine Arbeitsverteilungs-Kreuzschiene („WDX“) 3416, eine Speicherverwaltungseinheit („MMU“) 3418 und einen oder mehrere Datenverarbeitungscluster („DPCs“) 3406 und jede geeignete Kombination von Teilen.
-
In mindestens einer Ausführungsform wird der Betrieb des GPC 3400 durch den Pipeline-Manager 3402 gesteuert. In mindestens einer Ausführungsform verwaltet der Pipeline-Manager 3402 die Konfiguration eines oder mehrerer DPCs 3406 zur Verarbeitung von Aufgaben, die dem GPC 3400 zugeteilt sind. In mindestens einer Ausführungsform konfiguriert der Pipeline-Manager 3402 mindestens einen von einem oder mehreren DPCs 3406, um mindestens einen Abschnitt einer Graphik-Rendering-Pipeline zu implementieren. In mindestens einer Ausführungsform ist ein DPC 3406 konfiguriert, um ein Vertex-Shader-Programm auf einem programmierbaren Streaming-Multiprozessor („SM“) 3414 auszuführen. In mindestens einer Ausführungsform ist der Pipeline-Manager 3402 konfiguriert, um Pakete, die von einer Arbeitsverteilungs-Einheit empfangen werden, in mindestens einer Ausführungsform an geeignete logische Einheiten innerhalb des GPC 3400 weiterzuleiten, und einige Pakete können an Festfunktions-Hardwareeinheiten in dem PROP 3404 und/oder der Raster-Engine 3408 weitergeleitet werden, während andere Pakete an DPCs 3406 zur Verarbeitung durch eine Primitiven-Engine 3412 oder den SM 3414 weitergeleitet werden können. In mindestens einer Ausführungsform konfiguriert der Pipeline-Manager 3402 mindestens einen der DPCs, um ein neuronales Netzwerkmodell und/oder eine Rechen-Pipeline zu implementieren.
-
In mindestens einer Ausführungsform ist die PROP-Einheit 3404 in mindestens einer Ausführungsform konfiguriert, um Daten, die von der Raster-Engine 3408 und den DPCs 3406 erzeugt wurden, an eine Raster-Operationen(„ROP“)-Einheit in der Partitions-Einheit weiterzuleiten, die oben ausführlicher in Verbindung mit 33 beschrieben ist. In mindestens einer Ausführungsform ist die PROP-Einheit 3404 konfiguriert, um Optimierungen zur Farbenmischung durchzuführen, Pixeldaten zu organisieren, Adressenübersetzungen und mehr durchzuführen. In mindestens einer Ausführungsform umfasst die Raster-Engine 3408, ohne darauf beschränkt zu sein, eine Anzahl von Festfunktions-Hardwareeinheiten, die konfiguriert sind, um verschiedene Raster-Operationen in mindestens einer Ausführungsform durchzuführen, und die Raster-Engine 3408 umfasst, ohne darauf beschränkt zu sein, eine Setup-Engine, eine Grobraster-Engine, eine Aussonderungs-Engine, eine Abschneide-Engine, eine Feinraster-Engine und eine Kachelverschmelzende Engine und jede geeignete Kombination davon. In mindestens einer Ausführungsform empfängt die Setup-Engine transformierte Vertices und erzeugt Ebenengleichungen, die geometrischen Primitiven zugeordnet sind, die durch Vertices definiert werden; Ebenengleichungen werden an die Grobraster-Engine übertragen, um Abdeckungsinformation (z.B. eine (x,y)-Abdeckungsmaske für eine Kachel) für eine Primitive zu erzeugen; die Ausgabe der Grobraster-Engine wird an die Aussonderungs-Engine übertragen, wo Fragmente, die der Primitiven zugeordnet sind, die einen z-Test nicht bestehen, ausgesondert und an eine Abschneide-Engine übertragen werden, wo Fragmente, die außerhalb eines Betrachtungsstumpfes liegen, abgeschnitten werden. In mindestens einer Ausführungsform werden diejenigen Fragmente, welche die Abschneidung und Aussonderung überleben, an eine Feinraster-Engine weitergeben, um Attribute für Pixelfragmente basierend auf den Ebenengleichungen zu erzeugen, die durch eine Setup-Engine erzeugt werden. In mindestens einer Ausführungsform umfasst eine Ausgabe der Raster-Engine 3408 Fragmente, die durch eine geeignete Entität zu verarbeiten sind, wie beispielsweise durch einem Fragment-Shader, der innerhalb eines DPC 3406 implementiert ist.
-
In mindestens einer Ausführungsform umfasst jeder in dem GPC 3400 enthaltene DPC 3406, ohne darauf beschränkt zu sein, einen M-Pipe-Controller („MPC“) 3410; eine Primitiven-Engine 3412; einen oder mehrere SMs 3414; und jede geeignete Kombination davon. In mindestens einer Ausführungsform steuert der MPC 3410 den Betrieb des DPC 3406, wobei von dem Pipeline-Manager 3402 empfangene Pakete an geeignete Einheiten im DPC 3406 weitergeleitet werden. In mindestens einer Ausführungsform werden Pakete, die einer Vertex zugeordnet sind, an die Primitiven-Engine 3412 weitergeleitet, die konfiguriert ist, um der Vertex zugeordnete Vertexattribute aus dem Speicher abzurufen; im Gegensatz dazu können einem Shader-Programm zugeordnete Pakete an den SM 3414 übertragen werden.
-
In mindestens einer Ausführungsform umfasst der SM 3414, ohne darauf beschränkt zu sein, einen programmierbaren Streaming-Prozessor, der konfiguriert ist, um Aufgaben zu verarbeiten, die durch eine Anzahl von Threads dargestellt werden. In mindestens einer Ausführungsform ist der SM 3414 multi-threaded (umfasst mehrere Threads) und ist konfiguriert, um eine Mehrzahl von Threads (z.B. 32 Threads) von einer bestimmten Gruppe von Threads nebenläufig auszuführen und implementiert eine SIMD(Einzelner-Befehl, Mehrere-Daten)-Architektur, wobei jeder Thread in einer Gruppe von Threads (d.h. einem Warp) konfiguriert ist, um einen unterschiedlichen Satz von Daten basierend auf dem gleichen Satz von Befehle zu verarbeiten. In mindestens einer Ausführungsform führen alle Threads in der Gruppe von Threads einen gemeinsamen Satz von Befehle aus. In mindestens einer Ausführungsform implementiert der SM 3414 eine SIMT(Einzelner-Befehl, Mehrere-Threads)-Architektur, wobei jeder Thread in einer Gruppe von Threads konfiguriert ist, um einen unterschiedlichen Satz von Daten basierend auf dem gleichen Satz von Befehle zu verarbeiten, wobei jedoch einzelnen Threads in der Gruppe von Threads ermöglicht wird, während der Ausführung zu divergieren. In mindestens einer Ausführungsform wird ein Programmzähler, ein Aufrufstapel und ein Ausführungszustand für jeden Warp beibehalten, was eine Nebenläufigkeit zwischen Warps und eine serielle Ausführung innerhalb Warps ermöglicht, wenn Threads innerhalb des Warp divergieren. In einer weiteren Ausführungsform wird ein Programmzähler, ein Aufrufstapel und ein Ausführungszustand für jeden einzelnen Thread beibehalten, was eine gleiche Nebenläufigkeit zwischen allen Threads, innerhalb und zwischen Warps ermöglicht. In mindestens einer Ausführungsform wird der Ausführungszustand für jeden einzelnen Thread beibehalten und Threads, welche die gleichen Befehle ausführen, können konvergiert und zur besseren Effizienz parallel ausgeführt werden. Mindestens eine Ausführungsform des SM 3414 wird hier nachstehend ausführlicher beschrieben.
-
In mindestens einer Ausführungsform stellt die MMU 3418 eine Schnittstelle zwischen dem GPC 3400 und der Partitions-Einheit (z.B. Partitions-Einheit 3322 von 33) bereit und die MMU 3418 stellt eine Übersetzung von virtuellen Adressen in physische Adressen, einen Speicherschutz und eine Arbitrierung von Speicheranforderungen bereit. In mindestens einer Ausführungsform stellt die MMU 3418 einen oder mehrere Adressenübersetzungspuffer (Translation Lookaside Buffer; „TLBs“) zum Durchführen einer Übersetzung von virtuellen Adressen in physische Adressen im Speicher bereit.
-
Eine Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 werden nachstehend in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform wird ein tief lernenden Anwendungsprozessor verwendet, um ein maschinelles Lernmodell zu trainieren, wie beispielsweise ein neuronales Netzwerk, um Informationen vorherzusagen oder zu inferenzieren, die dem GPC 3400 bereitgestellt werden. In mindestens einer Ausführungsform wird der GPC 3400 verwendet, um Informationen basierend auf einem trainierten maschinellen Lernmodell (z.B., neuronalen Netzwerk) zu inferenzieren und vorauszusagen, das durch einen anderen Prozessor oder System oder durch den GPC 3400 trainiert wurde. In mindestens einer Ausführungsform kann die PPU 3300 verwendet werden, um ein oder mehrere hier beschriebene Anwendungsfälle eines neuronalen Netzwerks durchzuführen.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Befehle auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
35 veranschaulicht eine Speicherpartitions-Einheit 3500 eine Parallelverarbeitungs-Einheit („PPU“) gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform umfasst die Partitions-Einheit 3500 eine Raster-Operationen(„ROP“)-Einheit 3502, einen Level-2(„L2“)-Cache 3504, eine Speicherschnittstelle 3506 und jede geeignete Kombination davon. In mindestens einer Ausführungsform ist die Speicherschnittstelle 3506 mit dem Speicher gekoppelt. In mindestens einer Ausführungsform kann die Speicherschnittstelle 3506 32-, 64-, 128-, 1024-Bit-Datenbusse oder ähnliche Implementierungen für einen Hochgeschwindigkeits-Datentransfer implementieren. In mindestens einer Ausführungsform umfasst die PPU 3300 U Speicherschnittstellen 3506, wobei U eine positive ganze Zahl mit einer Speicherschnittstelle 3506 pro Paar von Speicherpartitions-Einheiten 3500 ist, wobei jedes Paar von Speicherpartitions-Einheiten 3500 mit einer entsprechenden Speichervorrichtung verbunden ist. Beispielsweise kann in mindestens einer Ausführungsform die PPU mit bis zu Y Speichervorrichtungen, wie beispielsweise Speicherstapel mit hoher Bandbreite oder Graphikdoppeldatenraten, Version 5, synchronen dynamischen Direktzugriffsspeicher („GDDR5 SDRAM“) verbunden sein.
-
In mindestens einer Ausführungsform implementiert die Speicherschnittstelle 3506 eine Speicherschnittstelle eines Speichers mit hoher Bandbreite der zweiten Generation („HBM2“) und Y ist gleich einem halben U. In mindestens einer Ausführungsform sind HBM2-Speicherstapel auf einer physischen Packung mit einer PPU lokalisiert, die wesentliche Leistungs- und Flächeneinsparungen verglichen mit herkömmlichen GDDR5 SDRAM Systemen bereitstellt. In mindestens einer Ausführungsform umfasst jeder HBM2-Stapel, ohne darauf beschränkt zu sein, vier Speicher-Dies mit Y = 4, wobei jeder HBM2-Stapel, ohne darauf beschränkt zu sein, zwei 128-Bit Kanäle pro Die für eine Gesamtzahl von 8 Kanälen und eine Datenbusbreite von 1024 Bit umfasst. In mindestens einer Ausführungsform unterstützt der Speicher einen Fehlerkorrekturcode („ECC“) mit Einzelfehlerkorrektur und Doppelfehlerdetektion („SECDED“), um Daten zu schützen. In mindestens einer Ausführungsform kann der ECC eine höhere Zuverlässigkeit für Rechenanwendungen bereitstellen, die gegen Datenverfälschung empfindlich sind.
-
In mindestens einer Ausführungsform implementiert die PPU eine Mehrebenen-Speicherhierarchie. In mindestens einer Ausführungsform unterstützt die Speicherpartitions-Einheit 3500 einen vereinheitlichten Speicher, um einen einzigen vereinheitlichten virtuellen Adressraum für die zentrale Verarbeitungseinheit („CPU“) und den Speicher der PPU 3300 bereitzustellen, wobei eine Datenteilung zwischen virtuellen Speichersystemen ermöglicht wird. In mindestens einer Ausführungsform wird die Häufigkeit von Zugriffen durch eine PPU 3300 auf einen Speicher verfolgt, der auf anderen Prozessoren lokalisiert ist, um sicherzustellen, dass Speicherseiten in den physischen Speicher der PPU 3300 bewegt werden, die häufiger auf die Seiten zugreift. In mindestens einer Ausführungsform unterstützt die Hochgeschwindigkeits-GPU-Zwischenverbindung 3308 Adressenübersetzungsdienste, die der PPU ermöglichen, auf Seitentabellen einer CPU direkt zuzugreifen und die einen vollen Zugriff auf den CPU-Speicher durch die PPU bereitstellen.
-
In einer Ausführungsform übertragen Kopier-Engines Daten zwischen mehreren PPUs oder zwischen PPUs und CPUs. In einer Ausführungsform können Kopier-Engines Seitenfehler für Adressen erzeugen, die nicht in Seitentabellen abgebildet sind, und die Speicherpartitionseinheit 3500 bedient dann die Seitenfehler, indem sie die Adressen in der Seitentabelle abbildet, woraufhin die Kopier-Engines die Übertragung durchführt. In mindestens einer Ausführungsform wird der Speicher für mehrere Kopier-Engine-Operationen zwischen mehreren Prozessoren fixiert (d.h., nicht auslagerbar), wodurch der verfügbare Speicher erheblich reduziert wird. In mindestens einer Ausführungsform mit Hardware-Seitenfehlern können Adressen an die Kopier-Engines übergeben werden ohne Rücksicht darauf, ob die Speicherseiten im Speicher vorliegen, und ein Kopiervorgang ist transparent.
-
Daten aus dem Speicher 3304 von 33 oder einem anderen Systemspeicher werden von der Speicherpartitions-Einheit 3500 abgerufen und in dem L2-Cache-Speicher 3504 gespeichert, der On-Chip lokalisiert ist und zwischen verschiedenen GPCs gemäß mindestens einer Ausführungsform gemeinsam benutzt wird. Jede Speicherpartitions-Einheit 3500 umfasst in mindestens einer Ausführungsform einen Bereich des L2-Cache-Speichers 3504, der einer entsprechenden Speichervorrichtung zugeordnet ist. In mindestens einer Ausführungsform können Cache-Speicher niedrigerer Ebene dann in verschiedenen Einheiten innerhalb der GPCs implementiert sein. In mindestens einer Ausführungsform kann jeder der SMs 3414 in 34 einen Level-1(„L1“)-Cache-Speicher implementieren, wobei der Ll-Cache-Speicher ein privater Speicher ist, der einem bestimmten SM 3414 fest zugeordnet ist, und Daten von dem L2-Cache-Speicher 3504 werden abgerufen und in jedem L1-Cache-Speicher zur Verarbeitung in Funktionseinheiten der SMs 3414 gespeichert. In mindestens einer Ausführungsform ist der L2-Cache-Speicher 3504 ist mit der Speicherschnittstelle 3506 und der in 33 gezeigt XBar 3320 gekoppelt.
-
Die ROP-Einheit 3502 führt Graphik-Raster-Operationen, welche die Pixelfarbe betreffen, wie beispielsweise Farbenkomprimierung, Pixelmischung und mehr, in mindestens einer Ausführungsform durch. Die ROP-Einheit 3502 implementiert in mindestens einer Ausführungsform ebenfalls Tiefentesten in Verbindung mit der Raster-Engine 3408, wobei eine Tiefe für einen Abtastort, der einem Pixelfragment zugeordnet ist, von einer Aussonderungs-Engine der Raster-Engine 3408 empfangen wird. In mindestens einer Ausführungsform wird die Tiefe gegen eine entsprechende Tiefe in einem Tiefenpuffer für einen Abtastort geprüft, der einem Fragment zugeordnet ist. In mindestens einer Ausführungsform aktualisiert, wenn dieses Fragment den Tiefentest für den Abtastort besteht, dann aktualisiert die ROP-Einheit 3502 den Tiefenpuffer und überträgt ein Ergebnis dieses Tiefentests an die Raster-Engine 3408. Es wird anerkannt, dass sich die Anzahl von Speicherpartitions-Einheiten 3500 von der Anzahl von GPCs unterscheiden kann, und daher kann in mindestens einer Ausführungsform jede ROP-Einheit 3502 mit jedem GPC gekoppelt werden. In mindestens einer Ausführungsform verfolgt die ROP-Einheit 3502 Pakete, die von unterschiedlichen GPCs empfangen werden, und bestimmt, ob ein durch die ROP-Einheit 3502 erzeugtes Ergebnis zu der Xbar 3320 durchgeleitet wird.
-
36 veranschaulicht einen Streaming-Multiprozessor („SM“) 3600 gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist der SM 3600 der SM von 34. In mindestens einer Ausführungsform umfasst der SM 3600, ohne darauf beschränkt zu sein, einen Befehls-Cache-Speicher 3602; eine oder mehrere Planer-Einheiten 3604; eine Registerdatei 3608, einen oder mehrere Verarbeitungskerne („cores“) 3610, eine oder mehrere Spezialfunktionseinheiten („SFUs“) 3612, eine oder mehrere Lade/Speicher-Einheiten („LSUs“) 3614, ein Zwischenverbindung-Netzwerk 3616, einen gemeinsam genutzten Speicher/Level-1(„L1“)-Cache-Speicher 3618, und jede geeignete Kombination davon.
-
In mindestens einer Ausführungsform versendet eine Arbeitsverteilungs-Einheit Aufgaben zur Ausführung auf allgemeinen Verarbeitungs-Clustern („GPCs“) von Parallelverarbeitungs-Einheiten („PPUs“) und jede Aufgabe wird einem bestimmten Datenverarbeitungscluster (Data Processing Cluster; „DPC“) innerhalb eines GPC zugeteilt, und wenn die Aufgabe einem Shader-Programm zugeordnet ist, wird die Aufgabe einem der SMs 3600 zugeteilt. In mindestens einer Ausführungsform empfängt die Planer-Einheit 3604 Aufgaben von einer Arbeitsverteilungs-Einheit und verwaltet die Befehlsplanung (instruction scheduling) für einen oder mehrere Thread-Blöcke, die dem SM 3600 zugewiesen sind. In mindestens einer Ausführungsform plant die Planer-Einheit 3604 Thread-Blöcke zur Ausführung als Warps von parallelen Threads, wobei jeder Thread-Block mindestens einem Warp zugeteilt ist. In mindestens einer Ausführungsform führt jeder Warp Threads aus. In mindestens einer Ausführungsform verwaltet die Planer-Einheit 3604 mehrere unterschiedliche Thread-Blöcke, teilt Warps unterschiedlichen Thread-Blöcken zu und versendet dann Befehle von der Mehrzahl von unterschiedlichen kooperativen Gruppen an verschiedene Funktionseinheiten (z.B. Verarbeitungskernen 3610, SFUs 3612 und LSUs 3614) während jedes Taktzyklus.
-
In mindestens einer Ausführungsform können sich Cooperative Groups auf ein Programmiermodell zum Organisieren von Gruppen von kommunizierenden Threads beziehen, die es Entwicklern ermöglichen, die Granularität auszudrücken, bei der Threads kommunizieren, wobei der Ausdruck von reicheren, effizienteren Parallelzerlegungen ermöglicht wird. In mindestens einer Ausführungsform unterstützen Cooperative-Start-APIs die Synchronisierung unter Thread-Blöcken zur Ausführung von parallelen Algorithmen. In mindestens einer Ausführungsform stellen herkömmliche Programmiermodelle einen einzigen, einfachen Aufbau zum Synchronisieren von kooperierenden Threads bereit: eine Barriere über alle Threads eines Thread-Blocks (d.h. die Funktion syncthreads( )). In mindestens einer Ausführungsform können Programmierer Gruppen von Threads jedoch bei kleineren als Thread-Block-Granularitäten definieren und innerhalb der definierten Gruppen synchronisieren, um größere Leistung, Gestaltungsflexibilität und Software-Wiederverwendung in der Form von kollektiven gruppenweiten Funktionsschnittstellen zu ermöglichen. In mindestens einer Ausführungsform ermöglichen Cooperative Groups Programmierern, Gruppen von Threads explizit bei Sub-Block- (d.h. so klein wie ein einziger Thread) und Multi-Block-Granularitäten zu definieren und kollektive Operationen, wie beispielsweise Synchronisierung, an den Threads in einer kooperativen Gruppe durchzuführen. In mindestens einer Ausführungsform unterstützt das Programmiermodell eine saubere Zusammensetzung über Softwaregrenzen, so dass Bibliotheken und Dienstprogrammfunktionen innerhalb ihres lokalen Kontexts sicher synchronisieren können, ohne Annahmen über Konvergenz machen zu müssen. In mindestens einer Ausführungsform ermöglichen Grundelemente kooperativer Gruppen neue Muster von kooperativer Parallelität, die, ohne darauf beschränkt zu sein, Erzeuger-Verbraucher Parallelität, opportunistische Parallelität und globale Synchronisierung über ein gesamtes Gitter von Threadblöcken umfassen.
-
In mindestens einer Ausführungsform ist eine Abfertigungseinheit 3606 konfiguriert, um Befehle an eine oder mehrere Funktionseinheiten zu übertragen, und die Planer-Einheit 3604 umfasst, ohne darauf beschränkt zu sein, zwei Abfertigungseinheiten 3606, die ermöglichen, dass zwei unterschiedliche Befehle von dem gleichen Warp während jedes Taktzyklus abgefertigt werden. In mindestens einer Ausführungsform umfasst jede Planer-Einheit 3604 eine einzige Abfertigungseinheit 3606 oder zusätzliche Abfertigungseinheiten 3606.
-
In mindestens einer Ausführungsform umfasst jeder SM 3600, ohne darauf beschränkt zu sein, eine Registerdatei 3608, die einen Satz von Registern für die Funktionseinheiten des SM 3600 bereitstellt. In mindestens einer Ausführungsform ist die Registerdatei 3608 zwischen jeder Funktionseinheit aufgeteilt, so dass jede Funktionseinheit einem zugehörigen Abschnitt der Registerdatei 3608 zugeteilt ist. In einer anderen Ausführungsform ist die Registerdatei 3608 zwischen den unterschiedlichen Warps aufgeteilt, die von dem SM 3600 ausgeführt werden, und die Registerdatei 3608 stellt eine temporäre Speicherung für Operanden bereit, die mit Datenpfaden der Funktionseinheiten verbunden sind. In mindestens einer Ausführungsform umfasst jeder SM 3600, ohne darauf beschränkt zu sein, L Verarbeitungskerne 3610, wobei L eine positive ganze Zahl ist. In mindestens einer Ausführungsform umfasst der SM 3600, ohne darauf beschränkt zu sein, eine große Anzahl (z.B., 128 oder mehr) von distinkten Verarbeitungskernen 3610. In mindestens einer Ausführungsform umfasst jeder Verarbeitungskern 3610, ohne darauf beschränkt zu sein, eine vollständig in einer Pipeline angeordnete (fully-pipelined) Verarbeitungseinheit mit einfacher, doppelter oder gemischter Präzision, die, ohne darauf beschränkt zu sein, eine Gleitkommaarithmetik-Logikeinheit und eine Ganzzahlarithmetik-Logikeinheit umfasst. In mindestens einer Ausführungsform implementieren die Gleitkommaarithmetik-Logikeinheiten den IEEE 754-2008 Standard für Gleitkommaarithmetik. In mindestens einer Ausführungsform umfassen die Verarbeitungskerne 3610, ohne darauf beschränkt zu sein, 64 Einfach-Präzisions-(32-Bit)-Gleitkommakerne, 64 Ganzzahlkerne, 32 Doppel-Präzisions-(64-Bit)-Gleitkommakeme und 8 Tensorkerne.
-
Tensorkerne sind konfiguriert, um Matrixoperationen gemäß mindestens einer Ausführungsform durchzuführen. In mindestens einer Ausführungsform sind ein oder mehrere Tensorkerne in Verarbeitungskernen 3610 enthalten. In mindestens einer Ausführungsform sind Tensorkerne konfiguriert, um Matrixarithmetik tiefen Lernens, wie beispielsweise Faltungsoperationen für neuronales Netzwerktraining und Inferenzieren, durchzuführen. In mindestens einer Ausführungsform arbeitet jeder Tensorkern an einer 4x4 Matrix und führt eine Matrix-Multiplikation- und Akkumulation-Operation D=A×B+C durch, wobei A, B, C und D 4x4 Matrizen sind.
-
In mindestens einer Ausführungsform sind Matrix-Multiplikations-Eingaben A und B 16-Bit-Gleitkomma-Matrizen und die Akkumulationsmatrizen C und D sind 16-Bit-Gleitkomma- oder 32-Bit-Gleitkomma-Matrizen. In mindestens einer Ausführungsform arbeiten Tensorkerne an 16-Bit-Gleitkomma-Eingangsdaten mit 32-Bit-Gleitkomma-Akkumulation. In mindestens einer Ausführungsform verwendet 16-Bit-Gleitkomma-Multiplikation 64 Operationen und ergibt ein Produkt voller Präzision, das dann unter Verwendung einer 32-Bit-Gleitkomma-Addition mit den anderen Zwischenprodukten für eine 4x4x4-Matrix-Multiplikation akkumuliert wird. Tensorkerne werden verwendet, um in mindestens einer Ausführungsform viel größere zweidimensionale oder höherdimensionale Matrixoperationen durchzuführen, die von diesen kleineren Elementen aufgebaut werden. In mindestens einer Ausführungsform exponiert eine API, wie beispielsweise die CUDA 9 C++ API, spezialisierte Matrix-Lade-, Matrix-Multiplikations- und Matrix-Akkumulations- und Matrix-Speicher-Operationen, um Tensorkerne von einem CUDA-C++ Programm effizient zu verwenden. In mindestens einer Ausführungsform nimmt ein Warp-Schnittstellenniveau an der CUDA-Ebene 16x16 große Matrizen an, die alle 32 Threads eines Warp überspannen.
-
In mindestens einer Ausführungsform umfasst jeder SM 3600, ohne darauf beschränkt zu sein, M SFUs 3612, die Sonderfunktionen durchführen (z.B. Attributauswertung, reziproke Quadratwurzel und ähnliches). In mindestens einer Ausführungsform können die SFUs 3612, ohne darauf beschränkt zu sein, eine Baumtraversierungseinheit umfassen, die konfiguriert ist, um eine hierarchische Baumdatenstruktur zu durchlaufen. In mindestens einer Ausführungsform umfassen die SFUs 3612 eine Textureinheit, die konfiguriert ist, um Texturkarten-Filteroperationen durchzuführen. In mindestens einer Ausführungsform sind die Textureinheiten konfiguriert, um Texturkarten (z.B. eine 2D-Anordnung von Texeln) aus dem Speicher zu laden und Texturkarten abzutasten, um abgetastete Texturwerte zum Gebrauch in Shader-Programmen zu erzeugen, die durch den SM 3600 ausgeführt werden. In mindestens einer Ausführungsform werden die Texturkarten in dem gemeinsam genutzten Speicher/L1-Cache-Speicher 3618 gespeichert. In einer Ausführungsform implementieren die Textureinheiten Texturoperationen, wie beispielsweise Filteroperationen, unter Verwendung von Mip-Maps (z.B. Texturkarten von veränderlichem Detaillierungsgrad). In mindestens einer Ausführungsform umfasst jeder SM 3600, ohne darauf beschränkt zu sein, zwei Textureinheiten.
-
Jeder SM 3600 umfasst, ohne darauf beschränkt zu sein, N LSUs 3614, die Lade- und Speicheroperationen zwischen dem gemeinsam genutzten Speicher/L1-Cache-Speicher 3618 und der Registerdatei 3608 in mindestens einer Ausführungsform implementieren. Ein Zwischenverbindung-Netzwerk 3616 verbindet jede Funktionseinheit mit der Registerdatei 3608 und die LSU 3614 mit der Registerdatei 3608 und dem gemeinsam genutzten Speicher/ L1-Cache-Speicher 3618 in mindestens einer Ausführungsform. In mindestens einer Ausführungsform ist das Zwischenverbindung-Netzwerk 3616 eine Kreuzschiene, die konfiguriert sein kann, um eine beliebige der Funktionseinheiten mit irgendeinem der Register in der Registerdatei 3608 zu verbinden und die LSUs 3614 mit der Registerdatei 3608 und Speicherorten in dem gemeinsam genutzten Speicher/L1-Cache-Speicher 3618 zu verbinden.
-
In mindestens einer Ausführungsform ist der gemeinsam benutzte Speicher/L1-Cache-Speicher 3618 eine On-Chip-Speicheranordnung, die in mindestens einer Ausführungsform Datenspeicherung und Kommunikation zwischen dem SM 3600 und der Primitiven-Engine und zwischen Threads in dem SM 3600 ermöglicht. In mindestens einer Ausführungsform umfasst der gemeinsam benutzte Speicher/L1-Cache-Speicher 3618 128KB von Speicherkapazität und ist in dem Pfad von dem SM 3600 zu einer Partitions-Einheit. In mindestens einer Ausführungsform wird der gemeinsam benutzte Speicher/L1-Cache-Speicher 3618 verwendet, um in mindestens einer Ausführungsform Lese- und Schreibvorgänge zwischenzuspeichern. In mindestens einer Ausführungsform sind ein oder mehrere von dem gemeinsam genutzten Speicher/L1-Cache-Speicher 3618, L2-Cache-Speicher und dem Speicher Hintergrundspeicher.
-
Ein Kombinieren von Daten-Cache und gemeinsam genutzter Speicherfunktionalität in einen einzigen Speicherblock stellt in mindestens einer Ausführungsform eine verbesserte Leistung für beide Arten von Speicherzugriffen bereit. In mindestens einer Ausführungsform wird die Kapazität als ein Cache für Programme benutzt oder ist nutzbar, die keinen gemeinsam genutzten Speicher verwenden, wie beispielsweise, wenn ein gemeinsam genutzter Speicher konfiguriert ist, dass er die Hälfte der Kapazität verwendet, und die Textur- und Lade-/Speicher-Operationen die verbleibende Kapazität verwenden können. Die Integration innerhalb des gemeinsam genutzten Speichers/L1-Caches 3618 ermöglicht dem gemeinsam genutzten Speicher/L1-Cache 3618 als eine Hochdurchsatzleitung zum Streamen von Daten zu arbeiten, während gleichzeitig ein Zugriff auf häufig wiederverwendete Daten mit hoher Bandbreite und geringer Latenzzeit gemäß einer Ausführungsform bereitgestellt wird. In mindestens einer Ausführungsform kann, wenn für Allzweck-Parallelberechnung konfiguriert, im Vergleich mit Graphikverarbeitung eine einfachere Konfiguration verwendet werden. In mindestens einer Ausführungsform werden Festfunktions-Graphikverarbeitungseinheiten umgangen, wobei ein viel einfacheres Programmiermodell erzeugt wird. In der Allzweck-Parallelberechnungs-Konfiguration werden Blöcke von Threads von einer Arbeitsverteilungs-Einheit direkt DPCs in mindestens einer Ausführungsform zugewiesen und verteilt. In mindestens einer Ausführungsform fuhren Threads in einem Block ein gemeinsames Programm aus, unter Verwendung einer eindeutigen Thread-ID in der Berechnung, um sicherzustellen, dass jeder Thread unter Verwendung des SM 3600 eindeutige Ergebnisse erzeugt, um das Programm auszuführen und Berechnungen durchzuführen, eines gemeinsam genutzten Speicher/L1-Cache-Speichers 3618, um zwischen Threads zu kommunizieren, und der LSU 3614, um einen globalen Speicher durch den gemeinsam genutzten Speicher/L1-Cache-Speicher 3618 und die Speicherpartitions-Einheit zu lesen und zu beschreiben. In mindestens einer Ausführungsform schreibt, wenn für Allzweck-Parallelberechnung konfiguriert, der SM 3600 Befehle, welche die Planer-Einheit 3604 verwenden kann, um neue Arbeit auf DPCs zu starten.
-
In mindestens einer Ausführungsform ist die PPU in einem enthalten oder gekoppelt mit einem Tischcomputer, einem Laptop-Computer, einem Tablet-Computer, einem Smartphone (z.B. einer drahtlosen handgehaltenen Vorrichtung), einem persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, einem Fahrzeug, einer Head-Mounted-Display, einer handgehaltenen elektronischen Vorrichtung und mehr. In mindestens einer Ausführungsform ist die PPU auf einem einzelnen Halbleitersubstrat verkörpert. In mindestens einer Ausführungsform ist die PPU in einem System-on-Chip („SoC“) zusammen mit einer oder mehreren anderen Vorrichtungen, wie beispielsweise zusätzlichen PPUs, Speicher, einem Rechner-mit-reduziertem-Befehlssatz(„RISC“)-CPU, einer Speicherverwaltungseinheit („MMU“), einem Digital/Analog-Wandler („DAC“) und dergleichen enthalten.
-
In mindestens einer Ausführungsform kann die PPU auf einer Graphikkarte enthalten sein, die eine oder mehrere Speichervorrichtungen umfasst. In mindestens einer Ausführungsform kann diese Graphikkarte konfiguriert sein, um sich mit einem PCIe-Schlitz auf einer Hauptplatine eines Desktop-Computers schnittstellenmäßig zu verbinden. In mindestens einer Ausführungsform kann die PPU eine integrierte Graphikverarbeitungseinheit („iGPU“) sein, die in einem Chipsatz einer Hauptplatine enthalten ist.
-
Eine Inferenzierungs- und/oder Trainingslogik 815 wird verwendet, um Inferenzierungs- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich der Inferenzierungs- und/oder Trainingslogik 815 werden nachstehend in Verbindung mit 8A und/oder 8B bereitgestellt. In mindestens einer Ausführungsform wird ein tief lernenden Anwendungsprozessor verwendet, um ein maschinelles Lernmodell zu trainieren, wie beispielsweise ein neuronales Netzwerk, um Informationen vorherzusagen oder zu inferenzieren, die dem SM 3600 bereitgestellt werden. In mindestens einer Ausführungsform wird der SM 3600 verwendet, um Informationen basierend auf einem trainierten maschinellen Lernmodell (z.B., neuronalen Netzwerk) zu inferenzieren und vorauszusagen, das durch einen anderen Prozessor oder System oder durch den SM 3600 trainiert wurde. In mindestens einer Ausführungsform kann der SM 3600 verwendet werden, um ein oder mehrere hier beschriebene Anwendungsfälle eines neuronalen Netzwerks durchzuführen.
-
In mindestens einer Ausführungsform kann ein Prozessor oder eine GPU, wie hier beschrieben, verwendet werden, um ein Robotersteuersystem zu erzeugen, das eine modellbasierte und modellfreie Steuerung implementiert. Beispielsweise kann ein Prozessor oder eine GPU, wie oben beschrieben, verwendet werden, um ausführbare Befehle auszuführen, die den Prozessor veranlassen, eine modellbasierte und modellfreie Steuerung zu implementieren, wie hier beschrieben.
-
Ausführungsformen werden offenbart, die einer virtualisierten Rechenplattform für fortgeschrittenes Rechnen entsprechen, wie beispielsweise Bildinferenzierung und Bildverarbeitung in medizinischen Anwendungen. Ohne darauf beschränkt zu sein, können Ausführungsformen Radiographie, Magnetresonanzbildgebung (MRI), Nuklearmedizin, Ultraschall, Sonographie, Elastographie, photoakustische Bildgebung, Tomographie, Echokardiographie, funktionelle Nahinfrarotspektroskopie und Magnetpartikelbildgebung oder eine Kombination davon umfassen. In mindestens einer Ausführungsform können eine virtualisierte Rechenplattform und hier beschriebene zugeordnete Prozesse zusätzlich oder alternativ verwendet werden, ohne darauf beschränkt zu sein, in Kriminaltechnikanalyse, Erfassung unterhalb der Oberfläche und Bildgebung (e.g., Ölexploration, Archäologie, Paläontologie usw..), Topographie, Ozeanographie, Geologie, Osteologie, Meteorologie, intelligenten Bereich oder Objektverfolgung und Überwachung, Sensordatenverarbeitung (e.g., RADAR, SONAR, LIDAR usw.) und/oder Genomik und Gensequenzierung.
-
Mit Bezugnahme auf 37 ist 37 ein beispielhaftes Datenflussdiagramm für einen Prozess 3700 zum Erzeugen und Einsetzen einer Bildverarbeitungs- und Inferenz-Pipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 3700 zur Verwendung mit Bildgebungsvorrichtungen, Verarbeitungsvorrichtungen, Genomikvorrichtungen, Gensequenzerstellungseinheiten, Radiologievorrichtungen und/oder anderen Vorrichtungstypen bei einer oder mehreren Einrichtungen 3702, wie beispielsweise medizinische Einrichtungen, Krankenhäuser, Institute des Gesundheitswesens, Kliniken, Forschungs- oder Diagnoselaboren usw. eingesetzt werden. In mindestens einer Ausführungsform kann der Prozess 3700 eingesetzt werden, um Genomikanalyse und Inferenzieren an Sequenzierdaten durchzuführen. Beispiele von genomischen Analysen, die unter Verwendung von hier beschriebenen Systemen und Prozessen durchgeführt werden können, umfassen, ohne darauf beschränkt zu sein, Variantenaufruf, Mutationserfassung und Genexpressionsquantifizierung.
-
In mindestens einer Ausführungsform kann der Prozess 3700 innerhalb eines Trainingssystems 3704 und/oder eines Einsatzsystems 3706 ausgeführt werden. In mindestens einer Ausführungsform kann das Trainingssystem 3704 verwendet werden, um Training, Einsatz und Implementierung von maschinellen Lernmodellen (z.B. neuronale Netzwerke, Objekterfassungsalgorithmen, Computervision-Algorithmen usw.) zur Verwendung in dem Einsatzsystem 3706 durchzuführen. In mindestens einer Ausführungsform kann das Einsatzsystem 3706 konfiguriert sein, um eine Verarbeitung auszulagern und Ressourcen unter einer verteilten Rechenumgebung zu berechnen, um Infrastrukturanforderungen bei der Einrichtung 3702 zu verringern. In mindestens einer Ausführungsform kann das Einsatzsystem 3706 eine stromlinienförmige Plattform zum Auswählen, Anpassen und Implementieren virtueller Geräte zur Verwendung mit Bildgebungsvorrichtungen (z.B. MRI, CT Scan, X-Ray, Ultraschall usw.) oder Sequenzerstellungseinheiten bei der Einrichtung 3702 bereitstellen. In mindestens einer Ausführungsform können virtuelle Geräte Software-definierte Anwendungen zum Durchführen einer oder mehrerer Verarbeitungsoperationen mit Bezug auf Bildgebungsdaten umfassen, die durch Bildgebungsvorrichtungen, Sequenzerstellungseinheiten, Radiologievorrichtungen und/oder andere Vorrichtungstypen erzeugt werden. In mindestens einer Ausführungsform können eine oder mehrere Anwendungen in einer Pipeline Dienste (z.B. Inferenz, Visualisierung, Rechnen, KI usw.) eines Einsatzsystems 3706 während der Ausführung von Anwendungen verwenden oder aufrufen.
-
In mindestens einer Ausführungsform können einige der Anwendungen, die in fortgeschrittenen Verarbeitungs- und Inferenz-Pipelines verwendet werden, maschinelle Lernmodelle oder andere KI verwenden, um einen oder mehrere Verarbeitungsschritte durchzuführen. In mindestens einer Ausführungsform können maschinelle Lernmodelle bei der Einrichtung 3702 unter Verwendung von Daten 3708 (wie beispielsweise Bildgebungsdaten), die bei der Einrichtung 3702 erzeugt werden (und auf einem oder mehreren Servern des Bildarchivierungs- und Kommunikationssystem (Picture Archiving and Communication System; PACS) bei der Einrichtung 3702 gespeichert werden), unter Verwendung von Bildgebungs- oder Sequenzierungsdaten 3708 von einer anderen Einrichtung oder Einrichtungen (z.B. einem unterschiedlichen Krankenhaus, Labor, Klinik usw.) oder einer Kombination davon trainiert werden. In mindestens einer Ausführungsform kann das Trainingssystem 3704 verwendet werden, um Anwendungen, Dienste und/oder anderen Ressourcen zum Erzeugen von arbeitenden, einsetzbaren maschinellen Lernmodellen für das Einsatzsystem 3706 bereitzustellen.
-
In mindestens einer Ausführungsform kann ein Modellregister 3724 durch Objektspeicherung gestützt werden, die kann Versionierung und Objektmetadaten unterstützen kann. In mindestens einer Ausführungsform kann eine Objektspeicherung beispielsweise durch eine Cloud-Speicherung (z.B. eine Cloud 3826 von 38) kompatible Anwendungsprogrammierschnittstelle (Application Programming Interface; API) von innerhalb einer Cloud-Plattform zugänglich sein. In mindestens einer Ausführungsform können maschinelle Lernmodelle innerhalb des Modellregisters 3724 hochgeladen, gelistet, modifiziert oder gelöscht durch Entwickler oder Partner eines Systems, das mit ein API wechselwirkt. In mindestens einer Ausführungsform kann eine API einen Zugriff auf Verfahren bereitstellen, die es Benutzern mit entsprechenden Zugangsdaten ermöglichen, Modelle Anwendungen zuzuordnen, so dass Modelle als Teil von Ausführung von containerisierten Instanziierungen von Anwendungen ausgeführt werden können.
-
In mindestens einer Ausführungsform kann eine Training-Pipeline 3804 (38) ein Szenario umfassen, wobei die Einrichtung 3702 ihr eigenes maschinelles Lernmodell trainiert oder ein existierendes maschinelles Lernmodell aufweist, das optimiert oder aktualisiert werden muss. In mindestens einer Ausführungsform können Bildgebungsdaten 3708, die durch eine Bildgebungsvorrichtung(en), Sequenzerstellungseinheiten und/oder anderen Vorrichtungstypen erzeugt werden, empfangen werden. In mindestens einer Ausführungsform können, sobald Bildgebungsdaten 3708 empfangen werden, eine KI-gestützte Annotation 3710 verwendet werden, um bei der Erzeugung von Annotationen zu helfen, die Bildgebungsdaten 3708 entsprechen, die als Ground-Truth-Daten für ein maschinelles Lernmodell zu verwenden sind. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 3710 eine oder mehrere maschinelle Lernmodelle (z.B. faltende neuronale Netzwerke (Convolutional Neural Networks; CNNs)) umfassen, die trainiert werden können, um Annotationen zu erzeugen, die bestimmten Typen von Bildgebungsdaten 3708 (z.B. von bestimmten Vorrichtungen) und/oder bestimmten Typen von Anomalien in Bildgebungsdaten 3708 entsprechen. In mindestens einer Ausführungsform können KI-gestützte Annotationen 3710 dann direkt verwendet oder unter Verwendung eines Annotationstools (z.B. durch einen Forscher, einen Kliniker, einen Doktor, einen Wissenschaftler usw.) eingestellt oder fein abgestimmt werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform können in einigen Beispielen gekennzeichnete Klinikdaten 3712 (z.B. durch einen Kliniker, Doktor, Wissenschaftler, Techniker usw. bereitgestellte Annotationen) als Ground-Truth-Daten zum Training eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform können KI-gestützte Annotationen 3710, gekennzeichnete Klinikdaten 3712 oder eine Kombination davon als Ground-Truth-Daten zum Trainieren eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann ein trainiertes maschinelles Lernmodell als ein Ausgabemodell 3716 bezeichnet und kann von dem Einsatzsystem 3706 verwendet werden, wie hier beschrieben.
-
In mindestens einer Ausführungsform kann die Training-Pipeline 3804 (38) ein Szenario umfassen, wobei die Einrichtung 3702 ein maschinelles Lernmodell zur Verwendung beim Durchführen einer oder mehrerer Verarbeitungsaufgaben für eine oder mehrere Anwendungen im Einsatzsystem 3706 benötigt, wobei die Einrichtung 3702 jedoch aktuell kein derartiges maschinelles Lernmodell aufweisen kann (oder kein Modell aufweisen kann, das für derartige Zwecke optimiert, effizient oder wirksam ist). In mindestens einer Ausführungsform kann ein existierendes maschinelles Lernmodell aus dem Modellregister 3724 ausgewählt werden. In mindestens einer Ausführungsform kann das Modellregister 3724 maschinelle Lernmodelle umfassen, die trainiert sind, um ein Vielfalt von unterschiedlichen Inferenzaufgaben an Bildgebungsdaten durchzuführen. In mindestens einer Ausführungsform können maschinelle Lernmodelle im Modellregister 3724 auf Bildgebungsdaten von unterschiedlichen Einrichtungen (z.B. entfernt lokalisierte Einrichtungen) als Einrichtung 3702 trainiert worden sein. In mindestens einer Ausführungsform können maschinelle Lernmodelle auf Bildgebungsdaten von einem Ort, zwei Orten oder einer beliebigen Anzahl von Orten trainiert worden sein. In mindestens einer Ausführungsform kann das Training, wenn es auf Bildgebungsdaten eines spezifischen Orts durchgeführt wird, an diesem Ort oder mindestens in einer Art und Weise stattfinden, welche die Vertraulichkeit von Bildgebungsdaten schützt oder einschränkt, dass Bildgebungsdaten nach außerhalb transferiert werden (z.B. um HIPAA-Vorschriften, Datenschutzbestimmungen usw. einzuhalten). In mindestens einer Ausführungsform, sobald ein Modell bei einem Ort trainiert - oder teilweise trainiert - ist, kann ein maschinelles Lernmodell zu dem Modellregister 3724 hinzugefügt werden. In mindestens einer Ausführungsform kann ein maschinelles Lernmodell dann an einer beliebigen Anzahl von anderen Einrichtungen umtrainiert oder aktualisiert werden, und ein umtrainiertes oder aktualisiertes Modell kann in dem Modellregister 3724 verfügbar gemacht werden. In mindestens einer Ausführungsform kann ein maschinelles Lernmodell dann aus dem Modellregister 3724 ausgewählt - und als Ausgabe Modell 3716 bezeichnet - in Einsatzsystem 3706 verwendet werden, um eine oder mehrere Verarbeitungsaufgaben für eine oder mehrere Anwendungen eines Einsatzsystems durchzuführen.
-
In mindestens einer Ausführungsform kann die Training-Pipeline 3804 (38) in einem Szenario verwendet werden, welche die Einrichtung 3702 umfasst, die ein maschinelles Lernmodell zur Verwendung beim Durchführen einer oder mehrerer Verarbeitungsaufgaben für eine oder mehrere Anwendungen in dem Einsatzsystem 3706 erfordert, wobei die Einrichtung 3702 jedoch aktuell kein derartiges maschinelles Lernmodell aufweisen kann (oder kein Modell aufweisen kann, das für derartige Zwecke optimiert, effizient oder wirksam ist). In mindestens einer Ausführungsform könnte ein aus dem Modellregister 3724 ausgewähltes maschinelles Lernmodell nicht für bei der Einrichtung 3702 erzeugte Bildgebungsdaten 3708 feinabgestimmt oder optimiert sein, aufgrund von Unterschieden in Populationen, genetischen Variationen, Robustheit der Trainingsdaten, die zum Trainieren eines maschinellen Lernmodells verwendet werden, Diversität in Anomalien von Trainingsdaten und/oder anderen Problemen mit Trainingsdaten. In mindestens einer Ausführungsform kann eine KI-gestützte Annotation 3710 verwendet werden, um bei der Erzeugung von Annotationen zu helfen, die den Bildgebungsdaten 3708 entsprechen, die als Ground-Truth-Daten zum Umtrainieren oder Aktualisieren eines maschinellen Lernmodells zu verwenden sind. In mindestens einer Ausführungsform können gekennzeichnete Klinikdaten 3712 (z.B. durch einen Kliniker, Doktor, Wissenschaftler usw. bereitgestellte Annotationen) als Ground-Truth-Daten zum Trainieren eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann das Umtrainieren oder Aktualisieren eines maschinellen Lernmodells als Modelltraining 3714 bezeichnet werden. In mindestens einer Ausführungsform kann das Modelltraining 3714 - z.B. KI-gestützte Annotationen 3710, gekennzeichnete Klinikdaten 3712 oder eine Kombination davon - als Ground-Truth-Daten zum Umtrainieren oder Aktualisieren ein maschinelles Lernmodell verwendet werden.
-
In mindestens einer Ausführungsform kann das Einsatzsystem 3706 eine Software 3718, Dienste 3720, eine Hardware 3722 und/oder andere Komponenten, Merkmale und Funktionalität umfassen. In mindestens einer Ausführungsform kann das Einsatzsystem 3706 einen Software „Stapel“ umfassen, so dass die Software 3718 auf den Diensten 3720 aufgebaut werden kann und Dienste 3720 verwendet werden können, um einige oder alle der Verarbeitungsaufgaben durchzuführen und die Dienste 3720 und die Software 3718 auf der Hardware 3722 aufgebaut werden können und die Hardware 3722 verwendet werden kann, um die Verarbeitung, Speicherung und/oder andere Rechenaufgaben eines Einsatzsystems 3706 auszuführen.
-
In mindestens einer Ausführungsform kann die Software 3718 eine beliebige Anzahl von unterschiedlichen Containern umfassen, wobei jeder Container eine Instanziierung einer Anwendung ausführen kann. In mindestens einer Ausführungsform kann jede Anwendung eine oder mehrere Verarbeitungsaufgaben in einer fortgeschrittenen Verarbeitungs- und Inferenzier-Pipeline durchführen (z.B. Inferenzieren, Objekterfassung, Merkmalerfassung, Segmentierung, Bildverbesserung, Kalibrierung usw.). In mindestens einer Ausführungsform kann es für jeden Typ von Bildgebungsvorrichtung (z.B. CT, MRI, X-Ray, Ultraschall, Sonographie, Echokardiographie usw.), Sequenzierungsvorrichtung, Radiologievorrichtung, Genomikvorrichtung usw. eine beliebige Anzahl von Containern geben, die eine Datenverarbeitungsaufgabe mit Bezug auf Bildgebungsdaten 3708 (oder anderen Datentypen, wie beispielsweise jene hier beschriebenen) durchführen können, die durch eine Vorrichtung erzeugt werden. In mindestens einer Ausführungsform kann eine fortgeschrittene Verarbeitungs- und Inferenzier-Pipeline basierend auf Auswählen von unterschiedlichen Containern definiert werden, die zur Verarbeitung von Bildgebungsdaten 3708 gewünscht und erforderlich sind, zusätzlich zu Containern, die Bildgebungsdaten zur Verwendung durch jeden Container und/oder zur Verwendung durch die Einrichtung 3702 nach Verarbeitung durch eine Pipeline empfangen und konfigurieren (z.B., um Ausgaben zurück in einen brauchbaren Datentyp zu konvertieren, wie beispielsweise Daten der digitalen Bildgebung und Kommunikationen in Medizin (Digital Imaging and Communications in Medicine; DICOM), Daten des Radiologieinformationssystems (Radiology Information System; RIS), Daten des klinischen Informationssystems (Clinical Information System; CIS), Daten eines entfernten Prozeduraufrufs (Remote Procedure Call; RPC), Daten im Wesentlichen konform mit einer Schnittstelle eines REST (Representation State Transfer; REST), Daten im Wesentlichen konform mit einer Datei-basierten Schnittstelle und/oder rohen Daten zur Speicherung und Anzeige bei einer Einrichtung 3702). In mindestens einer Ausführungsform kann eine Kombination von Containern innerhalb der Software 3718 (z.B. eine Pipeline bilden) als ein virtuelles Gerät beschrieben werden (wie ausführlicher hier beschrieben) und ein virtuelles Gerät kann Dienste 3720 und Hardware 3722 wirksam einsetzen, um einige oder alle Verarbeitungsaufgaben von Anwendungen auszuführen, die in Containern instanziiert sind.
-
In mindestens einer Ausführungsform kann eine Datenverarbeitung-Pipeline Eingabedaten (z.B. Bildgebungsdaten 3708) in einem DICOM, RIS, CIS, REST konform, RPC, rohen und/oder anderen Format als Reaktion auf eine Inferenzanforderung empfangen (z.B. eine Anforderung eines Benutzers eines Einsatzsystems 3706, wie beispielsweise eines Klinikers, eines Doktors, eines Radiologen usw.). In mindestens einer Ausführungsform können Eingabedaten von einem oder mehreren Bildern, Video und/oder anderen Datendarstellungen repräsentativ sein, durch eine oder mehrere Bildgebungsvorrichtungen, Sequenzerstellungseinheiten, Radiologievorrichtungen, Genomikvorrichtungen und/oder anderen Vorrichtungstypen erzeugt werden. In mindestens einer Ausführungsform können Daten einer Vorverarbeitung als Teil einer Datenverarbeitung-Pipeline unterzogen werden, um Daten zur Verarbeitung durch eine oder mehrere Anwendungen vorzubereiten. In mindestens einer Ausführungsform kann Nachverarbeitung auf einer Ausgabe von eine oder mehrere Inferenzier-Aufgaben oder anderen Verarbeitungsaufgaben einer Pipeline durchgeführt werden, um Ausgabedaten für eine nächste Anwendung aufzubereiten und/oder um Ausgabedaten zur Übertragung und/oder Verwendung durch einen Benutzer aufzubereiten (z.B. als Reaktion auf eine Inferenzanforderung). In mindestens einer Ausführungsform können Inferenzier-Aufgaben durch eine oder mehrere maschinelles Lernmodelle durchgeführt werden, wie beispielsweise trainierte oder eingesetzt neuronale Netzwerke, die Ausgabe Modelle 3716 des Trainingssystem 3704 umfassen können.
-
In mindestens einer Ausführungsform können Aufgaben von einer Datenverarbeitung-Pipeline in einem Container(n) eingekapselt werden, der(die) jeweils eine diskrete, vollständige funktionelle Instanziierung einer Anwendung und virtualisierte Rechenumgebung darstellt(darstellen), die imstande ist, maschinelle Lernmodelle zu referenzieren. In mindestens einer Ausführungsform können Container oder Anwendungen in einem privaten (z.B. begrenzter Zugriff) Bereich eines Container-Registers (ausführlicher hier beschrieben) veröffentlicht werden und trainierte oder eingesetzte Modelle können in Modellregister 3724 gespeichert und einer oder mehreren Anwendungen zugeordnet werden. In mindestens einer Ausführungsform können Bilder von Anwendungen (z.B. Container-Bilder) in einem Container-Register verfügbar sein und sobald ein Bild durch einen Benutzer einer Container-Register zum Einsatz in einer Pipeline ausgewählt ist, kann es verwendet werden, um einen Container für eine Instanziierung einer Anwendung zur Verwendung durch ein System des Benutzers zu erzeugen.
-
In mindestens einer Ausführungsform können Entwickler (z.B. Softwareentwickler, Kliniker, Doktoren usw.) Anwendungen (z.B. als Container) zum Durchführen von einer Bildverarbeitung und/oder Inferenzieren an zugeführten Daten entwickeln, veröffentlichen und speichern. In mindestens einer Ausführungsform kann Entwicklung, Veröffentlichen und/oder Speichern unter Verwendung eines einem System zugeordneten Softwareentwicklungskits (Software Development Kit; SDK) durchgeführt werden (z.B. um sicherzustellen, dass eine entwickelte Anwendung und/oder Container mit einem System konform oder kompatibel ist). In mindestens einer Ausführungsform kann eine Anwendung, die entwickelt ist, lokal (z.B. bei einer ersten Einrichtung, an Daten einer ersten Einrichtung) mit einem SDK geprüft werden, der mindestens einige der Dienste 3720 als ein System (z.B. das System 3800 von 38) unterstützen kann. In mindestens einer Ausführungsform kann, weil DICOM-Objekte irgendwo von einem bis Hunderte von Bildern oder anderen Datentypen enthalten können und aufgrund einer Variation in Daten, ein Entwickler zum Verwalten (z.B. Einstellen von Konstrukten zur, Aufbauen einer Vorverarbeitung in eine Anwendung usw.) von Extraktion und Aufbereitung von eingehenden DICOM-Daten verantwortlich sein. In mindestens einer Ausführungsform kann, sobald durch das System 3800 validiert (z.B. für Genauigkeit, Sicherheit, Patientenprivatsphäre usw.), eine Anwendung in einem Container-Register zur Auswahl und/oder Implementierung durch einen Benutzer (z.B. ein Krankenhaus, Klinik, Labor, Gesundheitsdienstleister usw.) verfügbar sein, um eine oder mehrere Verarbeitungsaufgaben mit Bezug auf Daten an einer Einrichtung (z.B. einer zweiten Einrichtung) eines Benutzers durchzuführen.
-
In mindestens einer Ausführungsform können Entwickler dann Anwendungen oder Container durch ein Netzwerk für Zugriff und Verwendung durch einen Benutzer eines Systems (z.B. das System 3800 von 38) gemeinsam nutzen. In mindestens einer Ausführungsform können fertiggestellte und validierte Anwendungen oder Container in einem Container-Register gespeichert werden und zugeordnete maschinelle Lernmodelle können in dem Modellregister 3724 gespeichert werden. In mindestens einer Ausführungsform kann eine anfordernde Entität (z.B. ein Benutzer bei einer medizinischen Einrichtung) - der eine Inferenz- oder Bildverarbeitung-Anforderung bereitstellt - ein Container-Register und/oder Modellregister 3724 für eine Anwendung, Container, Datensatz, maschinelles Lernmodell usw. durchsuchen, eine gewünschte Kombination von Elementen zur Aufnahme in einer Datenverarbeitung-Pipeline auswählen und eine Bildgebungsverarbeitungsanforderung übermitteln. In mindestens einer Ausführungsform kann eine Anforderung Eingabedaten (and zugeordnete Patientendaten, in einigen Beispielen) umfassen, die notwendig sind, um eine Anforderung durchzuführen und/oder kann eine Auswahl einer(von) Anwendung(en) und/oder maschinellen Lernmodellen umfassen, die bei der Verarbeitung einer Anforderung auszuführen sind. In mindestens einer Ausführungsform kann eine Anforderung dann an eine oder mehrere Komponenten eines Einsatzsystems 3706 (z.B. einer Cloud) weitergegeben werden, um die Verarbeitung einer Datenverarbeitung-Pipeline durchzuführen. In mindestens einer Ausführungsform kann die Verarbeitung durch das Einsatzsystem 3706 ein Referenzieren ausgewählter Elemente (z.B. Anwendungen, Container, Modelle usw.) aus einem Container-Register und/oder einem Modellregister 3724 umfassen. In mindestens einer Ausführungsform können, sobald Ergebnisse durch eine Pipeline erzeugt sind, Ergebnisse einem Benutzer zur Referenz zurückgegeben werden (z.B. zum Betrachten in einem Betrachtungsanwendungspaket, das auf einer lokalen Workstation vor Ort oder einem Terminal ausgeführt wird). In mindestens einer Ausführungsform kann ein Radiologe Ergebnisse einer Datenverarbeitung-Pipeline empfangen, die eine beliebige Anzahl von Anwendungen und/oder Container umfasst, wobei Ergebnisse eine Anomalieerfassung in Röntgenbildern, CT-Scans, MRIs usw. umfassen kann.
-
In mindestens einer Ausführungsform können, um bei der Verarbeitung oder Ausführung von Anwendungen oder Containern in Pipelines zu helfen, die Dienste 3720 wirksam eingesetzt werden. In mindestens einer Ausführungsform können die Dienste 3720 Rechendienste, Dienste der künstlichen Intelligenz (KI), Visualisierungsdienste und/oder andere Dienstarten umfassen. In mindestens einer Ausführungsform können die Dienste 3720 eine Funktionalität bereitstellen, die einer oder mehreren Anwendungen in Software 3718 gemeinsam ist, so dass die Funktionalität in einen Dienst abstrahiert werden kann, der durch Anwendungen aufgerufen oder wirksam eingesetzt werden kann. In mindestens einer Ausführungsform kann die durch die Dienste 3720 bereitgestellte Funktionalität dynamisch und effizienter ausgeführt werden, während ebenfalls gut skaliert wird, indem Anwendungen ermöglicht wird, Daten parallel zu verarbeiten (z.B. unter Verwendung einer parallelen Rechenplattform 3830 (38)). In mindestens einer Ausführungsform kann, anstatt dass jede Anwendung, die eine durch den Dienst 3720 bereitgestellte gleiche Funktionalität gemeinsam nutzt, von der verlangt wird, eine jeweilige Instanz von Dienst 3720, der Dienst 3720 zwischen und unter verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform können Dienste einen/eine Inferenzserver oder -Engine umfassen, der/die zum Ausführen von Erfassungs- oder Segmentierungsaufgaben, als nicht einschränkende Beispiele, verwendet werden können. In mindestens einer Ausführungsform kann ein Modelltrainingsdienst umfasst sein, der Trainingsfähigkeiten und/oder Umtrainingsfähigkeiten für ein Modell maschinellen Lernens bereitstellen kann. In mindestens einer Ausführungsform kann ein Datenaugmentationsdienst ferner umfasst sein, der einer GPU beschleunigte Daten (z.B. DICOM, RIS, CIS, REST konform, RPC, rohe usw.) Extraktion, Größenänderung, Skalierung und/oder eine andere Augmentation bereitstellen kann. In mindestens einer Ausführungsform kann ein Visualisierungsdienst verwendet werden, der Bildrenderingeffekte -, wie beispielsweise Strahlverfolgung, Rasterung, Entrauschen, Schärfen usw. hinzufügen kann - um Realismus zu zweidimensionalen (2D) und/oder dreidimensionalen (3D) Modellen hinzuzufügen. In mindestens einer Ausführungsform können Dienste von virtuellen Geräten umfasst sein, die Strahlformung, Segmentierung, Inferenzieren, Bildgebung und/oder Unterstützung für andere Anwendungen innerhalb Pipelines von virtuellen Geräten vorsehen.
-
In mindestens einer Ausführungsform, wo ein Dienst 3720 einen KI-Dienst (z.B. einen Inferenzdienst) umfasst, können ein oder mehrere maschinelle Lernmodelle, die einer Anwendung zur Anomalieerfassung (z.B. Tumore, Wuchsabnormitäten, Vernarbung usw.) zugeordnet sind, durch Aufrufen (z.B. als ein API-Aufruf) eines Inferenzdiensts (z.B. eines Inferenzservers) ausgeführt werden, um ein maschinelles Lernmodell(e) oder eine Verarbeitung davon als Teil der Anwendungsausführung auszuführen. In mindestens einer Ausführungsform kann, wo eine andere Anwendung eine oder mehrere maschinelle Lernmodelle für Segmentierungsaufgaben umfasst, eine Anwendung einen Inferenzdienst aufrufen, um maschinelle Lernmodelle zum Durchführen einer oder mehrerer, den Segmentierungsaufgaben zugeordnete Verarbeitungsoperationen auszuführen. In mindestens einer Ausführungsform kann die Software 3718, die eine fortgeschrittene Verarbeitungs- und Inferenz-Pipeline implementiert, die eine Segmentierungsanwendung und eine Anomalieerfassungsanwendung umfasst, modernisiert sein, weil jede Anwendung einen gleichen Inferenzdienst aufrufen kann, um eine oder mehrere Inferenzaufgaben durchzuführen.
-
In mindestens einer Ausführungsform kann die Hardware 3722 GPUs, CPUs, Graphikkarten, ein KI/Deep-Learning-System (z.B. einen KI-Supercomputer, wie beispielsweise NVIDIA's DGX-Supercomputersystem), eine Cloud-Plattform oder eine Kombination davon umfassen. In mindestens einer Ausführungsform können unterschiedliche Typen von Hardware 3722 verwendet werden, um eine effiziente, zweckgebundene Unterstützung für Software die und Dienste 3720 im Einsatzsystem 3706 bereitzustellen. In mindestens einer Ausführungsform kann die Verwendung der GPU-Verarbeitung zur lokalen Verarbeitung (z.B. bei der Einrichtung 3702), innerhalb eines KI/Deep-Learning-Systems, in einem Cloud-System und/oder in anderen Verarbeitungskomponenten des Einsatzsystems 3706 implementiert werden, um Effizienz, Genauigkeit und Wirksamkeit von Bildverarbeitung, Bildrekonstruktion, Segmentierung, MRI-Untersuchungen, Schlaganfall- oder Herzinfarkt-Erfassung (z.B. in Echtzeit), Bildqualität beim Rendering usw. zu verbessern. In mindestens einer Ausführungsform kann eine Einrichtung Bildgebungsvorrichtungen, Genomikvorrichtungen, Sequenzerstellungseinheiten und/oder anderen Vorrichtungstypen vor Ort umfassen, die GPUs wirksam einsetzen können, um Bildgebungsdaten zu erzeugen, die für die Anatomie eines Objekts repräsentativ sind.
-
In mindestens einer Ausführungsform können die Software 3718 und/oder Dienste 3720 zur GPU-Verarbeitung mit Bezug auf tiefes Lernen, maschinelles Lernen und/oder Hochleistungsrechnen, als nicht einschränkende Beispiele, optimiert werden. In mindestens einer Ausführungsform kann mindestens einiges der Rechenumgebung eines Einsatzsystems 3706 und/oder Trainingssystems 3704 in einem Rechenzentrum eines oder mehrerer Supercomputer oder Hochleistungsrechensystems mit GPU-optimierter Software (z.B. Hardware- und Softwarekombination von NVIDIA's DGX System) ausgeführt werden. In mindestens einer Ausführungsform können Rechenzentren mit den Bestimmungen von HIPAA konform sein, so dass Empfang, Verarbeitung und Übertragung von Bildgebungsdaten und/oder anderen Patientendaten mit Bezug auf Privatsphäre von Patientendaten sicher gehandhabt werden. In mindestens einer Ausführungsform kann Hardware 3722 eine beliebige Anzahl von GPUs umfassen, die in Anspruch genommen werden können, um die Verarbeitung von Daten parallel durchzuführen, wie hier beschrieben. In mindestens einer Ausführungsform kann eine Cloud-Plattform ferner eine GPU-Verarbeitung für eine GPU-optimierte Ausführung von Aufgaben für tiefes Lernen, Aufgaben für maschinelles Lernen oder anderen Rechenaufgaben umfassen. In mindestens einer Ausführungsform kann eine Cloud-Plattform (z.B. NVIDIA's NGC) unter Verwendung eines KI/Deep-Learning-Supercomputer(s) ausgeführt und/oder der GPU-optimierten Software (z.B. wie auf NVIDIA's DGX Systems) als ein Hardwareabstraktion und Skalierungsplattform bereitgestellt werden. In mindestens einer Ausführungsform kann die Cloud-Plattform einen Anwendungscontainer eines Cluster-Systems oder Orchestrierungssystems (z.B. KUBERNETES) auf mehreren GPUs integrieren, um eine nahtlose Skalierung und Lastenausgleich zu ermöglichen.
-
38 ist ein Systemdiagramm für ein beispielhaftes System 3800 zum Erzeugen und Einsetzen einer Bildgebung-Einsatz-Pipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 3800 verwendet werden, um den Prozess 3700 von 37 und/oder andere Prozesse, die fortgeschrittene Verarbeitungs- und Inferenzier-Pipelines umfassen, zu implementieren. In mindestens einer Ausführungsform kann das System 3800 das Trainingssystem 3704 und das Einsatzsystem 3706 umfassen. In mindestens einer Ausführungsform können das Trainingssystem 3704 und das Einsatzsystem 3706 unter Verwendung der Software 3718, Dienste 3720 und/oder Hardware 3722 implementiert werden, wie hier beschrieben.
-
In mindestens einer Ausführungsform kann das System 3800 (z.B. Trainingssystem 3704 und/oder Einsatzsystem 3706) in einer Cloud-Rechenumgebung (z.B. unter Verwendung der Cloud 3826) implementiert werden. In mindestens einer Ausführungsform kann das System 3800 lokal mit Bezug auf eine Gesundheitsdienstleistungseinrichtung oder als eine Kombination von sowohl Cloud- als auch lokalen Rechenressourcen implementiert werden. In mindestens einer Ausführungsform können in Ausführungsformen, wo Cloud-Rechnen implementiert ist, Patientendaten getrennt oder unverarbeiteten werden durch eine oder mehrere Komponenten des Systems 3800, das die Verarbeitung non-konform mit HIPAA und/oder anderer Datenhandhabung und Privatsphärenvorschriften oder Gesetzen rendern würde. In mindestens einer Ausführungsform kann der Zugriff auf APIs in der Cloud 3826 auf autorisierte Benutzer durch verordnete Sicherheitsmaßnahmen oder Protokolle eingeschränkt werden. In mindestens einer Ausführungsform kann ein Sicherheitsprotokoll Webtoken umfassen, die von einem Authentifizierungs(z.B. AuthN, AuthZ, Gluecon usw.)-Dienst signiert werden und entsprechende Autorisierung tragen kann. In mindestens einer Ausführungsform können APIs von virtuellen Geräten (hier beschrieben) oder andere Instanziierungen des Systems 3800 auf einen Satz von öffentlichen IPs beschränkt sein, die für Wechselwirkung überprüft oder autorisiert wurden.
-
In mindestens einer Ausführungsform können verschiedene Komponenten des Systems 3800 zwischen und untereinander unter Verwendung eines beliebigen einer Vielfalt von unterschiedlichen Netzwerktypen, einschließlich, jedoch nicht beschränkt auf, Lokalbereichsnetzwerke (LANs) und/oder Weitbereichsnetzwerke (WANs) über verdrahtete und/oder drahtlose Kommunikationsprotokolle kommunizieren. In mindestens einer Ausführungsform kann Kommunikation zwischen Einrichtungen und Komponenten des Systems 3800 (z.B. zum Übertragen von Inferenzanforderungen zum Empfangen von Ergebnissen von Inferenzanforderungen usw.) über einen Datenbus oder Datenbusse, drahtlose Datenprotokolle (Wi-Fi), verdrahtete Datenprotokolle (z.B. Ethernet) usw. kommuniziert werden.
-
In mindestens einer Ausführungsform kann das Trainingssystem 3704 Training-Pipelines 3804 ähnlich denjenigen ausführen, die hier mit Bezug auf 37 beschrieben sind. In mindestens einer Ausführungsform können, wobei ein oder mehrere maschinelle Lernmodelle in Einsatz-Pipelines 3810 durch das Einsatzsystem 3706 zu verwenden sind, Training-Pipelines 3804 verwendet werden, um eine oder mehrere (z.B. vortrainierte) Modelle zu trainieren oder umzutrainieren und/oder eine oder mehrere vortrainierte Modellen 3806 zu implementieren (z.B. ohne eine Notwendigkeit zum Umtrainieren oder Aktualisieren). In mindestens einer Ausführungsform kann(können) als Ergebnis der Training-Pipelines 3804 ein Ausgabemodell(e) 3716 erzeugt werden. In mindestens einer Ausführungsform können Training-Pipelines 3804 eine beliebige Anzahl von Verarbeitungsschritten umfassen, wie beispielsweise, jedoch nicht beschränkt auf, Umwandlung oder Anpassung von Bildgebungsdaten (oder anderen Eingabedaten) (z.B. unter Verwendung des DICOM-Adapters 3802A, um DICOM-Bilder in ein anderes Format geeignet zur Verarbeitung durch jeweilige maschinelle Lernmodelle zu konvertieren, wie beispielsweise Neuroimaging Informatics Technology Initiative (NIfTI) Format), KI-gestützte Annotation 3710, Beschriftung oder Annotierung von Bildgebungsdaten 3708, um gekennzeichnete Klinikdaten 3712 zu erzeugen, Modellauswahl eines Modellregisters, Modelltraining 3714, Training, Umtrainieren oder Aktualisieren von Modelle und/oder andere Verarbeitungsschritten. In mindestens einer Ausführungsform können für unterschiedliche maschinelle Lernmodelle, die von dem Einsatzsystem 3706 verwendet werden, unterschiedliche Training-Pipelines 3804 verwendet werden. In mindestens einer Ausführungsform kann die Training-Pipeline 3804, die einem mit Bezug auf 37 beschriebenen ersten Beispiel ähnlich ist, für ein erstes maschinelles Lernmodell verwendet werden, die Training-Pipeline 3804, die einem mit Bezug auf 37 beschriebenen zweiten Beispiel ähnlich ist, kann für ein zweites maschinelles Lernmodell verwendet werden, und die Training-Pipeline 3804, die dem einem mit Bezug auf 37 beschriebenes dritten Beispiel ähnlich ist, kann für ein drittes maschinelles Lernmodell verwendet werden. In mindestens einer Ausführungsform kann eine beliebige Kombination von Aufgaben innerhalb des Trainingssystems 3704 abhängig davon verwendet werden, was für jedes jeweilige maschinelle Lernmodell erforderlich ist. In mindestens einer Ausführungsform können ein oder mehrere maschinelle Lernmodelle bereits trainiert und einsatzbereit sein, so dass das maschinelle Lernmodelle keiner Verarbeitung durch das Trainingssystem 3704 unterzogen werden können und durch das Einsatzsystem 3706 implementiert werden können.
-
In mindestens einer Ausführungsform kann(können) ein Ausgabemodell(e) 3716 und/oder ein vortrainiertes Modell(e) 3806 beliebige Typen von maschinellen Lernmodelle abhängig von der Implementierung oder Ausführungsform umfassen. In mindestens einer Ausführungsform und ohne Einschränkung können maschinelle Lernmodelle von dem System 3800 verwendet werden für maschinelles Lernen unter Verwendung von linearer Regression, logistischer Regression, Entscheidungsbäumen, Support Vector Machines (SVM), Naive Bayes, k-nearest neighbor (Knn), K-Mittelwert-Clustering, random forest, Dimensionalitätsreduzierungsalgorithmen, Gradientenverstärkungsalgorithmen, neuronale Netzwerke (z.B. Auto-Encoder, Faltungs-, Wiederholungs-, Perzeptronen-, Long/Short Term Memory (LSTM), Hopfield, Boltzmann, deep belief, dekonvolutionär, generative adversial, Liquid State Machine usw.) und/oder andere Arten von Modellen für maschinelles Lernen umfassen.
-
In mindestens einer Ausführungsform können Training-Pipelines 3804 KI-gestützte Annotation umfassen, wie ausführlicher hier mit Bezug auf mindestens 41B beschrieben. In mindestens einer Ausführungsform können gekennzeichnete Klinikdaten 3712 (z.B. herkömmliche Annotation) durch eine beliebige Anzahl von Techniken erzeugt werden. In mindestens einer Ausführungsform können Kennzeichnungen oder andere Annotationen innerhalb eines Zeichenprogramms (z.B. einem Annotationsprogramm), eines computergestütztes Designprogramm (CAD-Programm), eines Beschriftungsprogramm, eines anderen Typs von Programm, das zum Erzeugen von Annotationen oder Kennzeichnungen für Ground-Truth geeignet ist, erzeugt werden und/oder können in einigen Beispielen handgezeichnet werden. In mindestens einer Ausführungsform können Ground-Truth-Daten synthetisch erzeugt (z.B. aus Computermodellen oder Renderings erzeugt), real erzeugt (z.B. aus Daten der realen Welt entworfen und produziert), maschinell automatisiert (z.B. unter Verwendung von Merkmalanalyse und Lernen, um Merkmale von Daten zu extrahieren und dann Kennzeichnungen zu erzeugen), menschlich annotiert (z.B. Etikettierer oder Annotationsexpert, definiert Ort von Kennzeichnungen) und/oder eine Kombination davon werden. In mindestens einer Ausführungsform kann es für jede Instanz von Bildgebungsdaten 3708 (oder einem anderen von maschinellen Lernmodellen verwendeten Datentyp), entsprechende Ground-Truth-Daten geben, die durch das Trainingssystem 3704 erzeugt werden. In mindestens einer Ausführungsform kann KI-gestützte Annotation als Teil von Einsatz-Pipelines 3810; entweder zusätzlich zu oder anstelle von in Training-Pipelines 3804 enthaltener KI-gestützter Annotation durchgeführt werden. In mindestens einer Ausführungsform kann das System 3800 eine mehrschichtige Plattform umfassen, die eine Softwareschicht (z.B. Software 3718) von Diagnoseanwendungen (oder anderen Anwendungstypen) umfassen kann, die eine oder mehrere medizinischen Bildgebungs- und Diagnosefunktionen durchführen kann. In mindestens einer Ausführungsform kann das System 3800 mit (z.B. über verschlüsselte Verbindungen) PACS-Servernetzwerken einer oder mehrerer Einrichtungen kommunikativ gekoppelt sein. In mindestens einer Ausführungsform kann das System 3800 konfiguriert sein, um auf referenzierte Daten (z.B. DICOM-Daten, RIS-Daten, rohe Daten, CIS-Daten, REST-konforme Daten, RPC-Daten, rohe Daten usw.) von PACS-Server (z.B. über einen DICOM-Adapter 3802 oder einen anderen Datentypadapter, wie beispielsweise RIS, CIS, REST konform, RPC, rohe usw.) zuzugreifen, um Operationen durchzuführen, wie beispielsweise Training von maschinellen Lernmodellen, Einsetzen maschineller Lernmodelle, Bildverarbeitung, Inferenzierung und/oder anderen Operationen.
-
In mindestens einer Ausführungsform kann eine Softwareschicht als eine sichere, verschlüsselte und/oder authentisierte API implementiert sein, durch welche Anwendungen oder Container (z.B. gerufen) von einer externen Umgebung(en) (z.B. Einrichtung 3702) aufgerufen werden können. In mindestens einer Ausführungsform können Anwendungen dann eine oder mehrere Dienste 3720 zum Durchführen von Rechen-, KI- oder Visualisierungsaufgaben aufrufen oder ausführen, die jeweilige Anwendungen zugeordnet sind, und die Software 3718 und/oder Dienste 3720 können Hardware 3722 wirksam einsetzen, um Verarbeitungsaufgaben auf eine wirksame und effiziente Art und Weise durchzuführen.
-
In mindestens einer Ausführungsform kann das Einsatzsystem 3706 Einsatz-Pipelines 3810 ausführen. In mindestens einer Ausführungsform können Einsatz-Pipelines 3810 eine beliebige Anzahl von Anwendungen umfassen, die sequenziell, nicht sequenziell oder anderweitig auf Bildgebungsdaten (und/oder anderer Datentypen) angewandt werden, die durch Bildgebungsvorrichtungen, Sequenzerstellungseinheiten, Genomikvorrichtungen usw. - einschließlich KI-gestützte Annotation - erzeugt werden , wie oben beschrieben. In mindestens einer Ausführungsform kann, wie hier beschrieben, eine Einsatz-Pipeline 3810 für eine einzelne Vorrichtung als ein virtuelles Gerät für eine Vorrichtung (z.B. ein virtuelles Ultraschallgerät, ein virtuelles CT-Scan Gerät, ein virtuelles Sequenziergerät usw.) bezeichnet werden. In mindestens einer Ausführungsform kann es für eine einzelne Vorrichtung mehr als eine Einsatz-Pipeline 3810 abhängig von Informationen geben, die aus von eine Vorrichtung erzeugten Daten gewünscht wird. In mindestens einer Ausführungsform, bei der Erfassungen von Anomalien von einer MRI-Maschine gewünscht werden, kann es eine erste Einsatz-Pipeline 3810 geben, und bei der eine Bildverbesserung der Ausgabe einer MRI-Maschine gewünscht wird, kann es eine zweite Einsatz-Pipeline 3810 geben.
-
In mindestens einer Ausführungsform können Anwendungen, die für Einsatz-Pipelines 3810 verfügbar sind, jede Anwendung umfassen, die zum Durchführen von Verarbeitungsaufgaben an Bildgebungsdaten oder anderen Daten von Vorrichtungen verwendet werden kann. In mindestens einer Ausführungsform können unterschiedliche Anwendungen zur Bildverbesserung, Segmentierung, Rekonstruktion, Anomalieerfassung, Objekterfassung, Merkmalserfassung, Behandlungsplanung, Dosimetrie, Strahlplanung (oder anderen Strahlungsbehandlungsverfahren) und/oder anderen Analyse-, Bildverarbeitung- oder Inferenzaufgaben verantwortlich sein. In mindestens einer Ausführungsform kann das Einsatzsystem 3706 Konstrukte für jede der Anwendungen definieren, so dass Benutzer eines Einsatzsystems 3706 (z.B. medizinische Einrichtungen, Labore, Kliniken usw.) kann Konstrukte verstehen können und Anwendungen zur Implementierung innerhalb ihrer jeweiligen Einrichtung anpassen können. In mindestens einer Ausführungsform kann eine Anwendung zur Bildrekonstruktion zur Aufnahme in der Einsatz-Pipeline 3810 ausgewählt werden, wobei jedoch der durch eine Bildgebungsvorrichtung erzeugte Datentyp von einem Datentyp unterschiedlich sein kann, der innerhalb einer Anwendung verwendet wird. In mindestens einer Ausführungsform können DICOM-Adapter 3802B (und/oder ein DICOM-Leser) oder ein anderer Datentypadapter oder -Leser (z.B. RIS, CIS, REST konform, RPC, rohe usw.) innerhalb Einsatz-Pipeline 3810 verwendet werden, um Daten in eine Form zu konvertieren, die von einer Anwendung innerhalb des Einsatzsystems 3706 nutzbar ist. In mindestens einer Ausführungsform kann Zugriff auf DICOM, RIS, CIS, REST konform, RPC, rohe und/oder anderen Datentypbibliotheken kumuliert und vorverarbeitet werden, einschließlich Decodieren, Extrahieren und/oder Durchführen beliebiger Faltungen, Farbkorrekturen, Schärfe, Gamma und/oder anderen Augmentationen an Daten. In mindestens einer Ausführungsform können DICOM, RIS, CIS, REST konform, RPC und/oder Rohdaten ungeordnet sein und ein Vordurchlauf kann ausgeführt werden, um gesammelte Daten zu organisieren und zu sortieren. In mindestens einer Ausführungsform kann, weil verschiedene Anwendungen Bildoperationen gemeinsam nutzen können, in einigen Ausführungsformen eine Datenaugmentationsbibliothek (z.B. als einer der Dienste 3720) verwendet werden, um diese Operationen zu beschleunigen. In mindestens einer Ausführungsform kann, um Engpässe von herkömmlichen Verarbeitungsansätzen zu vermeiden, die sich auf CPU-Verarbeitung stützen, die parallele Rechenplattform 3830 zur GPU-Beschleunigung dieser Verarbeitungsaufgaben verwendet werden.
-
In mindestens einer Ausführungsform kann eine Bildrekonstruktionsanwendung eine Verarbeitungsaufgabe umfassen, welche die Verwendung eines maschinellen Lernmodells umfasst. In mindestens einer Ausführungsform kann ein Benutzer wünschen, sein eigenes maschinelles Lernmodell zu benutzen oder ein maschinelles Lernmodell aus dem Modellregister 3724 auszuwählen. In mindestens einer Ausführungsform kann ein Benutzer sein eigenes maschinelles Lernmodell implementieren oder ein maschinelles Lernmodell zur Aufnahme in eine Anwendung zum Durchführen einer Verarbeitungsaufgabe auswählen. In mindestens einer Ausführungsform können Anwendungen auswählbar und anpassbar sein und durch Definieren von Konstrukten von Anwendungen werden Einsatz und Implementierung von Anwendungen für einen bestimmten Benutzer als eine nahtlosere Benutzererfahrung präsentiert. In mindestens einer Ausführungsform können durch wirksames Einsetzen anderer Merkmale des Systems 3800 - wie beispielsweise Dienste 3720 und Hardware 3722 - Einsatz-Pipelines 3810 sogar benutzerfreundlicher sein, für leichtere Integration sorgen und genauere, effizientere und zeitgerechtere Ergebnisse erzeugen.
-
In mindestens einer Ausführungsform kann das Einsatzsystem 3706 eine Benutzerschnittstelle (User Interface; UI) 3814 umfassen (z.B. eine graphische Benutzerschnittstelle, eine Web-Schnittstelle usw.), die verwendet werden kann, um Anwendungen zur Aufnahme in einer Einsatz-Pipeline(s) 3810 auszuwählen, Anwendungen anzuordnen, Anwendungen oder Parameter oder Konstrukte davon zu modifizieren oder zu ändern, verwenden und wechselwirken mit Einsatz-Pipeline(s) 3810 während des Einrichtens und/oder dem Einsatz und/oder um anderweitig mit dem Einsatzsystem 3706 zu wechselwirken. In mindestens einer Ausführungsform kann, obwohl nicht mit Bezug auf das Trainingssystem 3704 veranschaulicht, die Benutzerschnittstelle 3814 (oder eine unterschiedliche Benutzerschnittstelle) zum Auswählen von Modellen zur Verwendung im Einsatzsystem 3706, zum Auswählen von Modellen zum Trainieren oder Umtrainieren im Trainingssystem 3704 und/oder für anderweitiges Wechselwirken mit dem Trainingssystem 3704 verwendet werden.
-
In mindestens einer Ausführungsform kann ein Pipeline-Manager 3812 zusätzlich zu einem Anwendungsorchestrierungssystem 3828 verwendet werden, um die Wechselwirkung zwischen Anwendungen oder Containern von Einsatz-Pipeline(s) 3810 und Diensten 3720 und/oder Hardware 3722 zu verwalten. In mindestens einer Ausführungsform kann der Pipeline-Manager 3812 konfiguriert sein, um Wechselwirkungen von Anwendung zu Anwendung, von Anwendung zu Dienst 3720 und/oder von Anwendung oder Dienst zu Hardware 3722 zu erleichtern. In mindestens einer Ausführungsform, obwohl veranschaulicht als in der Software 3718 enthalten zu sein, ist dies nicht bestimmt, einschränkend zu sein und in einigen Beispielen (z.B. wie in 39 veranschaulicht) kann der Pipeline-Manager 3812 in den Diensten 3720 umfasst sein. In mindestens einer Ausführungsform kann das Anwendungsorchestrierungssystem 3828 (z.B. Kubernetes, DOCKER usw.) ein Container-Orchestrierungssystem umfassen, das Anwendungen in Containern als logische Einheiten für Koordination, Management, Skalierung und Einsatz gruppieren kann. In mindestens einer Ausführungsform kann durch Zuordnen von Anwendungen von Einsatz-Pipeline(s) 3810 (z.B. einer Rekonstruktionsanwendung, einer Segmentierungsanwendung usw.) zu einzelnen Containern, jede Anwendung in einer abgeschlossenen Umgebung (z.B. auf einem Kernel-Niveau) ausgeführt werden, um Geschwindigkeit und Effizienz zu erhöhen.
-
In mindestens einer Ausführungsform kann jede Anwendung und/oder Container (oder ein Bild davon) individuell entwickelt, modifiziert und eingesetzt werden (z.B. kann ein erster Benutzer oder Entwickler eine ersten Anwendung entwickeln, modifizieren und einsetzen und ein zweiter Benutzer oder Entwickler kann eine zweiten Anwendung getrennt von einem ersten Benutzer oder Entwickler entwickeln, modifizieren und einsetzen), was eine Konzentration und Aufmerksamkeit auf eine Aufgabe einer einzigen Anwendung und/oder Container(n) ermöglichen kann, ohne durch Aufgaben einer anderen Anwendung(en) oder Container(n) behindert zu werden. In mindestens einer Ausführungsform kann Kommunikation und Kooperation zwischen unterschiedlichen Containern oder Anwendungen durch den Pipeline-Manager 3812 und das Anwendungsorchestrierungssystem 3828 gestützt werden. In mindestens einer Ausführungsform kann, solange wie eine erwartete Eingabe und/oder Ausgabe jedes Containers oder jeder Anwendung durch ein System bekannt ist (z.B. basierend auf Konstrukte von Anwendungen oder Containern), das Anwendungsorchestrierungssystem 3828 und/oder der Pipeline-Manager 3812 die Kommunikation unter und zwischen und die gemeinsame Nutzung von Ressourcen unter und zwischen jeweils von Anwendungen oder Containern erleichtern. In mindestens einer Ausführungsform kann, weil eine oder mehrere Anwendungen oder Container bei einer Einsatz-Pipeline(s) 3810 gleiche Dienste und Ressourcen gemeinsam nutzen können, ein Anwendungsorchestrierungssystem 3828 orchestrieren, Lasten ausgleichen und gemeinsame Nutzung von Diensten oder Ressourcen zwischen und unter verschiedenen Anwendungen oder Containern bestimmen. In mindestens einer Ausführungsform kann ein Planer verwendet werden, um Ressourcenanwendungen von Anwendungen oder Containern, aktuelle Nutzung oder geplante Nutzung dieser Ressourcen und Ressourcenverfügbarkeit verfolgen. In mindestens einer Ausführungsform kann ein Planer somit Ressourcen unterschiedlichen Anwendungen zuteilen und Ressourcen zwischen und unter Anwendungen hinsichtlich der Anforderungen und Verfügbarkeit eines Systems verteilen. In einigen Beispielen kann ein Planer (und/oder andere Komponente der Anwendung des Orchestrierungssystems 3828) Ressourcenverfügbarkeit und Verteilung basierend auf einem System auferlegte Einschränkungen (z.B. Benutzereinschränkungen), wie beispielsweise Dienstequalität (Quality of Service; QoS), Dringlichkeit der Notwendigkeit für Datenausgaben (z.B., um zu bestimmen, ob Echtzeitverarbeitung oder verzögerte Verarbeitung auszuführen ist) usw. bestimmen
-
In mindestens einer Ausführungsform können Dienste 3720, die durch Anwendungen oder Container im Einsatzsystem 3706 wirksam eingesetzt und gemeinsam genutzt werden, Rechendienste 3816, KI-Dienste 3818, Visualisierungsdienste 3820 und/oder andere Diensttypen umfassen. In mindestens einer Ausführungsform können Anwendungen eine oder mehrere der Dienste 3720 aufrufen (z.B. ausführen), um Verarbeitungsoperationen für eine Anwendung durchzuführen. In mindestens einer Ausführungsform können Rechendienste 3816 durch Anwendungen wirksam eingesetzt werden, um Superberechnungs- oder andere Hochleistungs-Rechen (high-performance Rechen; HPC) Aufgaben durchzuführen. In mindestens einer Ausführungsform kann(können) Rechendienst(e) 3816 wirksam eingesetzt werden, um eine Parallelverarbeitung (z.B. unter Verwendung einer parallelen Rechenplattform 3830) zur Verarbeitung von Daten durch eine oder mehrere der Anwendungen und/oder eine oder mehrere Aufgaben einer einzigen Anwendung im Wesentlichen gleichzeitig durchzuführen. In mindestens einer Ausführungsform kann die parallele Rechenplattform 3830 (z.B. NVIDIA's CUDA) Allzweckberechnung auf GPUs (GPGPU) (z.B. GPUs 3822) ermöglichen. In mindestens einer Ausführungsform kann eine Softwareschicht der parallelen Rechenplattform 3830 Zugriff auf virtuelle Befehlssätze und parallele Rechenelementen von GPUs zur Ausführung von Rechenkernels bereitstellen. In mindestens einer Ausführungsform kann die parallele Rechenplattform 3830 Speicher umfassen und in einigen Ausführungsformen kann ein Speicher zwischen und unter mehreren Containern und/oder zwischen und unter unterschiedliche Verarbeitungsaufgaben innerhalb eines einzigen Containers gemeinsam genutzt werden. In mindestens einer Ausführungsform können Inter-Prozess-Kommunikations(IPC)-Aufrufe für mehrere Container und/oder für mehrere Prozesse innerhalb eines Containers erzeugt werden, um gleiche Daten eines gemeinsam genutzten Segments von Speicher der parallele Rechenplattform 3830 zu verwenden (z.B. wo mehrere unterschiedliche Stufen einer Anwendung oder mehrere Anwendungen gleiche Informationen verarbeiten). In mindestens einer Ausführungsform können, anstatt eine Kopie von Daten zu machen und Daten zu unterschiedlichen Orten im Speicher zu bewegen (z.B. eine Lese/Schreib-Operation), gleiche Daten im gleichen Ort eines Speicher für eine beliebige Anzahl von Verarbeitungsaufgaben verwendet werden (z.B. zur gleichen Zeit, zu unterschiedlichen Zeiten usw.). In mindestens einer Ausführungsform kann, weil Daten verwendet werden, um neue Daten als Ergebnis der Verarbeitung zu erzeugen, diese Information eines neuen Orts von Daten gespeichert und zwischen verschiedenen Anwendungen gemeinsam genutzt werden. In mindestens einer Ausführungsform kann der Ort von Daten und ein Ort von aktualisierten oder modifizierten Daten Teil einer Definition sein, wie eine Nutzlast innerhalb Containern verstanden wird.
-
In mindestens einer Ausführungsform können KI-Dienste 3818 wirksam eingesetzt werden, um Inferenzdienste eines(von) maschinellen Lernmodells(en) durchzuführen, die Anwendungen zugeordnet sind (z.B. mit der Durchführung einer oder mehreren Verarbeitungsaufgaben einer Anwendung beauftragt sind). In mindestens einer Ausführungsform können KI-Dienste 3818 das KI-System 3824 wirksam einsetzen, um ein maschinelles Lernmodell(e) (z.B. neuronale Netzwerke, wie beispielsweise CNNs) zur Segmentierung, Rekonstruktion, Objekterfassung, Merkmalserfassung, Klassifizierung und/oder anderen Inferenzaufgaben auszuführen. In mindestens einer Ausführungsform können Anwendungen einer(von) Einsatz-Pipeline(s) 3810 eine oder mehrere Ausgabemodelle 3716 des Trainingssystems 3704 und/oder andere Modelle von Anwendungen verwenden, um Inferenz an Bildgebungsdaten (z.B. DICOM-Daten, RIS-Daten, CIS-Daten, REST konforme Daten, RPC-Daten, rohe Daten usw.) durchzuführen. In mindestens einer Ausführungsform können zwei oder mehrere Beispiele der Inferenzierung verfügbar sein, die das Anwendungsorchestrierungssystem 3828 (z.B. einen Planer) verwenden. In mindestens einer Ausführungsform kann eine erste Kategorie eine hohe Priorität/einen niedrigen Latenzpfad umfassen, die höhere Service-Level-Agreements erreichen kann, wie beispielsweise zum Durchführen von Inferenz an dringenden Anforderungen während eines Notfalls oder für einen Radiologe während einer Diagnose. In mindestens einer Ausführungsform kann eine zweite Kategorie einen Standardprioritätspfad umfassen, der für Anforderungen verwendet werden kann, die nicht dringend sein können, oder wobei eine Analyse zu einem späteren Zeitpunkt durchgeführt werden kann. In mindestens einer Ausführungsform kann ein Anwendungsorchestrierungssystem 3828 Ressourcen (z.B. Dienste 3720 und/oder Hardware 3722) basierend auf Prioritätspfaden für unterschiedliche Inferenzaufgaben von KI-Diensten 3818 verteilen.
-
In mindestens einer Ausführungsform kann eine gemeinsam genutzte Speicherung an KI-Diensten 3818 innerhalb des Systems 3800 angebracht sein. In mindestens einer Ausführungsform kann eine gemeinsam genutzte Speicherung als ein Cache (oder einem anderen Speicherungsvorrichtungstyp) arbeiten und kann verwendet werden, um Inferenzanforderungen von Anwendungen zu verarbeiten. In mindestens einer Ausführungsform kann, wenn eine Inferenzanforderung übermittelt wird, eine Anforderung durch einen Satz von API-Instanzen eines Einsatzsystems 3706 empfangen werden und eine oder mehrere Instanzen können ausgewählt werden (z.B. für beste Passung, für Lastenausgleich usw.), um eine Anforderung zu verarbeiten. In mindestens einer Ausführungsform kann, um eine Anforderung zu verarbeiten, eine Anforderung in eine Datenbank eingegeben werden, ein maschinelles Lernmodell vom Modellregister 3724 lokalisiert werden, wenn nicht bereits in einem Cache, ein Validierungsschritt kann sicherstellen, dass ein geeignetes maschinelles Lernmodell in einen Cache geladen ist (z.B. gemeinsam genutzte Speicherung) und/oder eine Kopie eines Modells in einem Cache gesichert ist. In mindestens einer Ausführungsform kann ein Planer (z.B. des Pipeline-Managers 3812) verwendet werden, um eine Anwendung zu starten, die in einer Anforderung referenziert wird, wenn eine Anwendung nicht bereits läuft oder wenn es nicht genug Instanzen einer Anwendung gibt. In mindestens einer Ausführungsform kann, wenn ein Inferenzserver(s) nicht bereits gestartet wurde, um ein Modell auszuführen, ein Inferenzserver gestartet werden. In mindestens einer Ausführungsform kann eine beliebige Anzahl von Inferenzservern pro Modell gestartet werden. In mindestens einer Ausführungsform können in einem Pull-Modell, bei dem Inferenzserver gehäuft sind, Modelle zwischengespeichert werden, wann immer Lastenausgleich vorteilhaft ist. In mindestens einer Ausführungsform können Inferenzserver in entsprechende verteilte Server statisch geladen werden.
-
In mindestens einer Ausführungsform kann Inferenzieren unter Verwendung eines Inferenzservers durchgeführt werden, der in einem Container läuft. In mindestens einer Ausführungsform kann eine Instanz eines Inferenzservers einem Modell (and optional mehreren Versionen eines Modells) zugeordnet sein. In mindestens einer Ausführungsform kann, wenn eine Instanz eines Inferenzserver nicht existiert, wenn eine Anforderung, eine Inferenz auf einen Modell durchzuführen, empfangen wird, eine neue Instanz geladen werden. In mindestens einer Ausführungsform kann beim Starten eines Inferenzservers ein Modell zu einem Inferenzserver geleitet werden, so dass ein gleicher Container verwendet werden kann, um unterschiedlichen Modellen zu dienen, solange wie der Inferenzserver als eine unterschiedliche Instanz läuft.
-
In mindestens einer Ausführungsform kann während der Anwendungsausführung eine Inferenzanforderung für eine gegebene Anwendung empfangen werden und ein Container (z.B. Hosting einer Instanz eines Inferenzservers) kann (wenn nicht bereits) geladen werden und eine Startprozedur kann aufgerufen werden. In mindestens einer Ausführungsform kann eine Vorverarbeitungslogik in einem Container eine beliebige zusätzliche Vorverarbeitung auf eingehende Daten laden, decodieren und/oder durchführen (z.B. unter Verwendung einer CPU(s) und/oder GPU(s)). In mindestens einer Ausführungsform kann, sobald Daten zur Inferenz aufbereitet sind, ein Container Inferenz nach Bedarf an Daten durchführen. In mindestens einer Ausführungsform kann dies einen einzigen Inferenzaufruf auf einem Bild (z.B. einem Handröntgenbild) umfassen oder kann Inferenz auf Hunderten von Bildern (z.B. einer Thorax-CT) erfordern. In mindestens einer Ausführungsform kann eine Anwendung Ergebnisse vor Abschluss zusammenzufassen, die, ohne darauf beschränkt zu sein, eine einzige Konfidenzbewertung, Pixelniveau-Segmentierung, Voxelniveau-Segmentierung, Erzeugen einer Visualisierung oder Erzeugen von Text umfassen kann, um Erkenntnisse zusammenzufassen. In mindestens einer Ausführungsform können unterschiedliche Modelle oder Anwendungen unterschiedliche Prioritäten zugewiesen werden. Beispielsweise können einige Modelle ein Echtzeit (TAT kleiner als eine Minute) Priorität aufweisen, während andere eine niedrigere Priorität (z.B. TAT kleiner als 10 Minuten) aufweisen können. In mindestens einer Ausführungsform können Modellausführungszeiten von einer anfordernden Institution oder Entität gemessen werden und können eine Partnernetzwerk-Durchquerungszeit, sowie auch Ausführung auf einem Inferenzdienst umfassen.
-
In mindestens einer Ausführungsform kann der Transfer von Anforderungen zwischen Diensten 3720 und Inferenzanwendungen hinter einem Softwareentwicklungskit (SDK) verborgen und ein robuster Transport kann durch eine Warteschlange bereitgestellt werden. In mindestens einer Ausführungsform wird eine Anforderung in eine Warteschlange über eine API für eine individuelle Anwendung/Mandanten-ID Kombination platziert und ein SDK wird eine Anforderung aus einer Warteschlange ziehen und eine Anforderung an eine Anwendung geben. In mindestens einer Ausführungsform kann ein Name einer Warteschlange in einer Umgebung bereitgestellt werden, wo ein SDK ihn aufnehmen wird. In mindestens einer Ausführungsform kann eine asynchrone Kommunikation durch eine Warteschlange nützlich sein, weil sie es jeder Instanz einer Anwendung ermöglichen kann, Arbeit aufzunehmen, wie sie verfügbar wird. In mindestens einer Ausführungsform können Ergebnisse durch eine Warteschlange zurück transferiert werden, um sicherzustellen, dass keine Daten verloren gehen. In mindestens einer Ausführungsform können Warteschlangen ebenfalls eine Fähigkeit bereitstellen, Arbeit zu segmentieren, wobei Arbeit mit höchster Priorität in eine Warteschlange gehen kann, womit die meisten Instanzen einer Anwendung verbunden sind, während Arbeit mit niedrigster Priorität in eine Warteschlange gehen kann, womit eine einzigen Instanz verbunden ist, die Aufgaben in einer empfangenen Reihenfolge verarbeitet. In mindestens einer Ausführungsform kann eine Anwendung auf einer GPUbeschleunigten Instanz ausgeführt werden, die in der Cloud 3826 erzeugt wird, und ein Inferenzdienst kann Inferenzieren auf einer GPU durchführen.
-
In mindestens einer Ausführungsform können Visualisierungsdienste 3820 wirksam eingesetzt werden, um Visualisierungen zum Betrachten von Ausgaben von Anwendungen und/oder Einsatz-Pipeline(s) 3810 zu erzeugen. In mindestens einer Ausführungsform können GPUs 3822 durch Visualisierungsdienste 3820 wirksam eingesetzt werden, um Visualisierungen zu erzeugen. In mindestens einer Ausführungsform können Rendering-Effekte, wie beispielsweise Strahlverfolgung, durch Visualisierungsdienste 3820 implementiert werden, um Visualisierungen höherer Qualität zu erzeugen. In mindestens einer Ausführungsform können Visualisierungen, ohne Einschränkung, 2D-Bildrenderings, 3D-Volumenrenderings, 3D-Volumen-Rekonstruktion, tomographische 2D-Schichtbilder, Anzeigen für virtuelle Realität, Anzeigen für erweiterte Realität usw. umfassen. In mindestens einer Ausführungsform können virtualisierte Umgebungen verwendet werden, um eine virtuelle interaktive Anzeige oder Umgebung (z.B. eine virtuelle Umgebung) für Wechselwirkung durch Benutzer eines Systems (z.B. Doktoren, Krankenschwestern, Radiologen usw.) zu erzeugen. In mindestens einer Ausführungsform können Visualisierungsdienste 3820 einen internen Visualisierer, Cinematics und/oder andere Rendering oder Bildverarbeitungsfähigkeiten oder Funktionalität (z.B. Strahlverfolgung, Rasterung, interne Optiken usw.) umfassen.
-
In mindestens einer Ausführungsform kann die Hardware 3722 GPUs 3822, das KI-System 3824, die Cloud 3826 und/oder eine beliebige andere Hardware umfassen, die zum Ausführen des Trainingssystems 3704 und/oder des Einsatzsystems 3706 verwendet wird. In mindestens einer Ausführungsform können GPUs 3822 (z.B. NVIDIA's TESLA und/oder QUADRO GPUs) eine beliebige Anzahl von GPUs umfassen, die zum Ausführen von Verarbeitungsaufgaben von Rechendiensten 3816, KI-Diensten 3818, Visualisierungsdiensten 3820, anderen Diensten und/oder irgendeines der Merkmale oder Funktionalität der Software 3718 verwendet werden können. Beispielsweise können mit Bezug auf KI-Dienste 3818 GPUs 3822 verwendet werden, um eine Vorverarbeitung auf Bildgebungsdaten (oder anderen Datentypen verwendet durch maschinelles Lernmodelle), Nachverarbeitung auf Ausgaben von maschinellen Lernmodelle und/oder Inferenzieren (z.B. um maschinelles Lernmodelle auszuführen) durchzuführen. In mindestens einer Ausführungsform können die Cloud 3826, das KI-System 3824 und/oder andere Komponenten des Systems 3800 die GPUs 3822 verwenden. In mindestens einer Ausführungsform kann die Cloud 3826 eine GPU-optimierte Plattform für Aufgaben tiefen Lernens umfassen. In mindestens einer Ausführungsform kann das KI-System 3824 GPUs und die Cloud 3826 verwenden - oder mindestens ein Abschnitt, der mit tiefen Lernen oder Inferenzieren beauftragt ist - kann ausgeführt werden, unter Verwendung eines oder mehrerer KI-Systeme 3824. Von daher, obwohl die Hardware 3722 als diskrete Komponenten veranschaulicht ist, ist dies nicht bestimmt, einschränkend zu sein und jede Komponente der Hardware 3722 kann mit beliebigen anderen Komponenten der Hardware 3722 kombiniert oder wirksam eingesetzt werden.
-
In mindestens einer Ausführungsform kann das KI-System 3824 ein zweckgebundenes Rechensystem (z.B. einen Supercomputer oder einen HPC) umfassen, das zum Inferenzieren, tiefen Lernen, maschinellen Lernen und/oder anderen Aufgaben der künstlichen Intelligenz konfiguriert ist. In mindestens einer Ausführungsform kann das KI-System 3824 (z.B. NVIDIA's DGX) GPU-optimierte Software (z.B. einen Softwarestapel) umfassen, die unter Verwendung mehrerer GPUs 3822, zusätzlich zu CPUs, RAM, Speicherung und/oder anderen Komponenten, Merkmalen oder Funktionalität, ausgeführt werden kann. In mindestens einer Ausführungsform können ein oder mehrere KI-Systeme 3824 in der Cloud 3826 (z.B. in einem Rechenzentrum) zum Durchführen einiger oder sämtlicher KI-basierter Verarbeitungsaufgaben des Systems 3800 implementiert werden.
-
In mindestens einer Ausführungsform kann die Cloud 3826 eine GPU-beschleunigte Infrastruktur (z.B. NVIDIA's NGC) umfassen, die eine GPU-optimierte Plattform zum Ausführen von Verarbeitungsaufgaben des Systems 3800 bereitstellen kann. In mindestens einer Ausführungsform kann die Cloud 3826 ein KI-System(e) 3824 zum Durchführen einer oder mehrere KI-basierter Aufgaben des Systems 3800 (z.B. als eine Hardwareabstraktion und Skalierungsplattform) umfassen. In mindestens einer Ausführungsform kann die Cloud 3826 mit dem Anwendungsorchestrierungssystem 3828 integriert werden, das mehrere GPUs wirksam einsetzt, um eine nahtlose Skalierung und einen Lastenausgleich zwischen und unter Anwendungen und Diensten 3720 zu ermöglichen. In mindestens einer Ausführungsform kann die Cloud 3826 mit der Ausführung mindestens einiger Dienste 3720 des Systems 3800 beauftragt sein, einschließlich Rechendiensten 3816, KI-Diensten 3818 und/oder Visualisierungsdiensten 3820, wie hier beschrieben. In mindestens einer Ausführungsform kann die Cloud 3826 eine kleine und große Batch-Inferenzierung durchführen (z.B. Ausführen NVIDIA's TENSOR RT), eine beschleunigte parallele Rechen-API und Plattform 3830 (z.B. NVIDIA's CUDA) bereitstellen, das Anwendungsorchestrierungssystem 3828 ausführen (z.B. KUBERNETES), eine Graphik-Rendering-API und Plattform (z.B. für Strahlverfolgung, 2D-Graphik, 3D-Graphik und/oder andere Rendering-Techniken, um Cinematics höhere Qualität zu erzeugen) bereitstellen und/oder kann eine andere Funktionalität für das System 3800 bereitstellen.
-
In mindestens einer Ausführungsform können in einem Bemühen, Patientenvertraulichkeit zu bewahren (z.B. wo Patientendaten oder Aufzeichnungen außerhalb zu verwenden sind), die Cloud 3826 ein Register - wie beispielsweise ein Container-Register - für tiefes Lernen umfassen. In mindestens einer Ausführungsform kann ein Register Container zur Instanziierungen von Anwendungen speichern, die Vorverarbeitung, Nachverarbeitung oder andere Verarbeitungsaufgaben an Patientendaten durchführen können. In mindestens einer Ausführungsform kann die Cloud 3826 Daten empfangen, die Patientendaten sowie auch Sensordaten in Containern umfassen, die angeforderte Verarbeitung lediglich für Sensordaten in diesen Containern durchführen und dann eine resultierende Ausgabe und/oder Visualisierungen an entsprechende Parteien und/oder Vorrichtungen weiterleiten (z.B. medizinischen Vorrichtungen vor Ort, die zur Visualisierung oder für Diagnosen verwendet werden), alle ohne Patientendaten zu extrahieren, zu speichern oder anderweitig auf diese zugreifen zu müssen. In mindestens einer Ausführungsform wird die Vertraulichkeit der Patientendaten unter Einhaltung von HIPAA- und/oder anderen Datenvorschriften gewahrt.
-
39 umfasst eine beispielhafte Veranschaulichung einer Einsatz-Pipeline 3810A zur Verarbeitung von Bildgebungsdaten gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 3800 - und das spezifische Einsatzsystem 3706 - verwendet werden, um eine Einsatz-Pipeline(s) 3810A in einer oder mehreren Produktionsumgebungen anzupassen, zu aktualisieren und/oder zu integrieren. In mindestens einer Ausführungsform umfasst die Einsatz-Pipeline 3810A von 39 ein nicht einschränkendes Beispiel einer Einsatz-Pipeline 3810A, die durch einen bestimmten Benutzer (oder Team von Benutzern) bei einer Einrichtung (z.B. bei einem Krankenhaus, Klinik, Labor, Forschungsumgebung usw.) kundenspezifisch definiert werden kann. In mindestens einer Ausführungsform kann, um Einsatz-Pipelines 3810A für einen CT-Scanner 3902 zu definieren, ein Benutzer - beispielsweise ein Container-Register - eine oder mehrere Anwendungen auswählen, die spezifische Funktionen oder Aufgaben mit Bezug auf die durch den CT-Scanner 3902 erzeugten Bildgebungsdaten durchführen. In mindestens einer Ausführungsform können Anwendungen auf die Einsatz-Pipeline 3810A als Container angewandt werde, die Dienste 3720 und/oder Hardware 3722 des Systems 3800 wirksam einsetzen können. Außerdem kann die Einsatz-Pipeline 3810A zusätzliche Verarbeitungsaufgaben oder Anwendungen umfassen, die implementiert werden können, um Daten zur Verwendung durch Anwendungen aufzubereiten (z.B. können der DICOM-Adapter 3802B und der DICOM-Leser 3906 in der Einsatz-Pipeline 3810A verwendet werden, um Daten zur Verwendung durch CT-Rekonstruktion 3908, Organsegmentierung 3910 usw. aufzubereiten). In mindestens einer Ausführungsform kann die Einsatz-Pipeline 3810A für konsistenten Einsatz, einmalige Verwendung oder für eine andere Frequenz oder Intervall angepasst oder ausgewählt werden. In mindestens einer Ausführungsform kann ein Benutzer wünschen, CT-Rekonstruktion 3908 und Organsegmentierung 3910 für mehrere Subjekte über ein spezifisches Intervall aufzuweisen und kann somit die Pipeline 3810A für diesen Zeitraum einsetzen. In mindestens einer Ausführungsform kann ein Benutzer für jede Anforderung des Systems 3800 Anwendungen auswählen, bei denen ein Benutzer wünscht, eine Verarbeitung an diesen Daten für diese Anforderung durchzuführen. In mindestens einer Ausführungsform kann die Einsatz-Pipeline 3810A in beliebige Intervalle eingestellt werden und aufgrund der Anpassbarkeit und Skalierbarkeit einer Containerstruktur innerhalb des Systems 3800 kann dies ein nahtloser Prozess sein.
-
In mindestens einer Ausführungsform kann die Einsatz-Pipeline 3810A von 39 den CT-Scanner 3902 umfassen, der Bildgebungsdaten eines Patienten oder von Subjekten erzeugt. In mindestens einer Ausführungsform können Bildgebungsdaten von dem CT-Scanner 3902 auf einem oder mehreren PACS-Server(n) 3904 gespeichert werden, der(die) einer Einrichtung zugeordnet sind, die den CT-Scanner 3902 unterbringt. In mindestens einer Ausführungsform kann(können) PACS-Server 3904 Software- und/oder Hardwarekomponenten umfassen, die sich direkt mit Bildgebungsmodalitäten (z.B. CT-Scanner 3902) bei einer Einrichtung schnittstellenmäßig verbinden können. In mindestens einer Ausführungsform kann der DICOM-Adapter 3802B das Senden und Empfangen von DICOM-Objekten unter Verwendung von DICOM-Protokollen ermöglichen. In mindestens einer Ausführungsform kann der DICOM-Adapter 3802B bei der Aufarbeitung oder Konfiguration von DICOM-Daten aus einem PACS-Server(n) 3904 zur Verwendung durch die Einsatz-Pipeline 3810A helfen. In mindestens einer Ausführungsform kann, sobald DICOM-Daten durch den DICOM-Adapter 3802B verarbeitet sind, der Pipeline-Manager 3812 Daten zu der Einsatz-Pipeline 3810A durchleiten. In mindestens einer Ausführungsform kann der DICOM-Leser 3906 Bilddateien und jegliche zugeordnete Metadaten von DICOM-Daten (z.B. Sinogramm-Rohdaten, wie in Visualisierung 3916A veranschaulicht) extrahieren. In mindestens einer Ausführungsform können Arbeitsdateien, die extrahiert sind, in einem Cache zur schnelleren Verarbeitung durch andere Anwendungen in der Einsatz-Pipeline 3810A gespeichert werden. In mindestens einer Ausführungsform kann, sobald der DICOM-Leser 3906 das Extrahieren und/oder Speichern von Daten beendet hat, kann ein Signal der Fertigstellung dem Pipeline-Manager 3812 kommuniziert werden. In mindestens einer Ausführungsform kann der Pipeline-Manager 3812 dann eine oder mehrere andere Anwendungen oder Container in der Einsatz-Pipeline 3810A initiieren oder aufrufen.
-
In mindestens einer Ausführungsform kann die Anwendung und/oder der Container der CT-Rekonstruktion 3908 ausgeführt werden, sobald Daten (z.B. Sinogramm-Rohdaten) zur Verarbeitung durch die Anwendung der CT-Rekonstruktion 3908 verfügbar sind. In mindestens einer Ausführungsform kann die CT-Rekonstruktion 3908 Sinogramm-Rohdaten eines Cache lesen, eine Bilddatei aus Sinogramm-Rohdaten rekonstruieren (z.B. wie in der Visualisierung 3916B veranschaulicht) und die resultierende Bilddatei in einem Cache speichern. In mindestens einer Ausführungsform kann bei Fertigstellung der Rekonstruktion dem Pipeline-Manager 3812 signalisiert werden, dass die Rekonstruktionsaufgabe abgeschlossen ist. In mindestens einer Ausführungsform kann, sobald die Rekonstruktion abgeschlossen ist und eine rekonstruierte Bilddatei in einem Cache (oder einer anderen Speicherungsvorrichtung) gespeichert werden kann, die Anwendung und/oder der Container der Organsegmentierung 3910 durch den Pipeline-Manager 3812 ausgelöst werden. In mindestens einer Ausführungsform kann die Anwendung und/oder der Container der Organsegmentierung 3910 eine Bilddatei eines Cache lesen, eine Bilddatei normieren und in ein Format konvertieren, das zur Inferenz geeignet ist (z.B. eine Bilddatei in eine Eingabeauflösung eines maschinellen Lernmodells zu konvertieren) und Inferenz gegen ein normiertes Bild auszuführen. In mindestens einer Ausführungsform kann sich, um Inferenz auf einem normierten Bild auszuführen, die Anwendung und/oder der Container der Organsegmentierung 3910 auf Dienste 3720 stützen und der Pipeline-Manager 3812 und/oder das Anwendungsorchestrierungssystem 3828 kann die Verwendung von Diensten 3720 durch die Anwendung und/oder den Container der Organsegmentierung 3910 erleichtern. In mindestens einer Ausführungsform kann beispielsweise die Anwendung und/oder der Container der Organsegmentierung 3910 KI-Dienste 3818 wirksam einsetzen, um Inferenz auf einem normierten Bild durchzuführen und KI-Dienste 3818 können Hardware 3722 (z.B. KI-System 3824) wirksam einsetzen, um KI-Dienste 3818 auszuführen. In mindestens einer Ausführungsform kann ein Ergebnis einer Inferenz eine Maskendatei sein (z.B. wie in Visualisierung 3916C veranschaulicht), die in einem Cache (oder einer anderen Speicherungsvorrichtung) gespeichert werden kann.
-
In mindestens einer Ausführungsform kann, sobald Anwendungen, die DICOM-Daten verarbeiten, und/oder Daten, die aus DICOM-Daten extrahiert wurden, die Verarbeitung abgeschlossen haben, ein Signal für den Pipeline-Manager 3812 erzeugt werden. In mindestens einer Ausführungsform kann der Pipeline-Manager 3812 dann den DICOM-Schreiber 3912 ausführen, um Ergebnisse eines Cache (oder einer anderen Speichervorrichtung) zu lesen, Ergebnisse in ein DICOM-Format (z.B. als DICOM-Ausgabe 3914) zur Verwendung durch den Benutzer bei einer Einrichtung zu packen, die eine Anforderung erzeugte. In mindestens einer Ausführungsform kann die DICOM-Ausgabe 3914 dann zu dem DICOM-Adapter 3802B übertragen werden, um die DICOM-Ausgabe 3914 zur Speicherung auf einem PACS-Server(s) 3904 aufzubereiten (z.B. zum Betrachten durch einen DICOM-Betrachter bei einer Einrichtung). In mindestens einer Ausführungsform kann als Reaktion auf eine Anforderung zur Rekonstruktion und Segmentierung, Visualisierungen 3916B und 3916C erzeugt und einem Benutzer für Diagnosen, Forschung und/oder für andere Zwecke verfügbar sein.
-
Obwohl als aufeinanderfolgende Anwendung in der Einsatz-Pipeline 3810A veranschaulicht, können Anwendungen der CT-Rekonstruktion 3908 und Organsegmentierung 3910 in mindestens einer Ausführungsform parallel verarbeitet werden. In mindestens einer Ausführungsform, wobei Anwendungen keine Abhängigkeiten aufeinander aufweisen und Daten für jede Anwendung verfügbar sind (z.B. nachdem der DICOM-Leser 3906 Daten extrahiert), können Anwendungen, zur gleichen Zeit, im Wesentlichen zur gleichen Zeit oder mit einiger Überlappung ausgeführt werden. In mindestens einer Ausführungsform kann, wobei zwei oder mehrere Anwendungen ähnliche Dienste 3720 erfordern, ein Planer des Systems 3800 zum Lastenausgleich und zum Verteilen von Rechen- oder Verarbeitungsressourcen zwischen und unter verschiedenen Anwendungen verwendet werden. In mindestens einer Ausführungsform kann in einigen Ausführungsformen die parallele Rechenplattform 3830 dazu verwendet werden, um eine parallele Verarbeitung für Anwendungen durchzuführen, um die Laufzeit von Einsatz-Pipeline 3810A zu verringern, um Echtzeitergebnisse bereitzustellen.
-
In mindestens einer Ausführungsform und mit Bezugnahme auf 40A-40B kann das Einsatzsystem 3706 als eine oder mehrere virtuelle Geräte implementiert werden, um unterschiedliche Funktionalitäten -, wie beispielsweise Bildverarbeitung, Segmentierung, Verbesserung, KI, Visualisierung und Inferenzieren - mit Bildgebungsvorrichtungen (z.B. CT-Scanner, Röntgengeräte, MRI-Geräte usw.), Sequenzerstellungseinheiten, Genomikvorrichtungen und/oder anderen Vorrichtungstypen durchzuführen. In mindestens einer Ausführungsform kann das System 3800 die Erzeugung und Bereitstellung von virtuellen Geräten in Betracht ziehen, die eine Software-definierte Einsatz-Pipeline 3810 umfassen können, die rohe/unverarbeiteten Eingabedaten, die durch eine Vorrichtung(en) erzeugt werden, empfangen kann, und verarbeitete/rekonstruierte Daten ausgeben kann. In mindestens einer Ausführungsform können Einsatz-Pipelines 3810 (z.B. 3810A und 3810B), die virtuelle Geräte darstellen, Intelligenz in einer Pipeline implementieren, wie beispielsweise durch wirksames Einsetzen maschineller Lernmodelle, um einem System eine containerisierten Inferenz-Unterstützung bereitzustellen. In mindestens einer Ausführungsform können virtuelle Geräte eine beliebige Anzahl von Containern ausführen, die jeweils Instanziierungen von Anwendungen umfassen. In mindestens einer Ausführungsform, wie beispielsweise, wo Echtzeitverarbeitung erwünscht ist, können Einsatz-Pipelines 3810, die virtuelle Geräte darstellen, statisch sein (z.B. können Container und/oder Anwendungen eingestellt sein), während in anderen Beispielen Container und/oder Anwendungen für virtuelle Geräte (z.B. auf einer Anfragebasis) aus einem Pool von Anwendungen oder Ressourcen (z.B. innerhalb eines Container-Registers) ausgewählt werden können.
-
In mindestens einer Ausführungsform kann das System 3800 als eines oder mehrere virtuelle Geräte vor Ort bei einer Einrichtung beispielsweise in einem Rechensystem instanziiert oder ausgeführt werden, das neben oder anderweitig in Kommunikation mit einem Radiologiegerät, einer Bildgebungsvorrichtung und/oder einem anderen Vorrichtungstyp bei einer Einrichtung eingesetzt wird. In mindestens einer Ausführungsform kann jedoch eine Installation vor Ort innerhalb eines Rechensystems einer Vorrichtung selbst (z.B. einem Rechensystem integral mit einer Bildgebungsvorrichtung), in einem lokalen Rechenzentrum (z.B. einem Rechenzentrum vor Ort) und/oder in einer Cloud-Umgebung (z.B. in der Cloud 3826) instanziiert oder ausgeführt werden. In mindestens einer Ausführungsform kann das Einsatzsystem 3706, das als ein virtuelles Gerät arbeitet, durch einen Supercomputer oder anderes HPC-System in einigen Beispielen instanziiert werden. In mindestens einer Ausführungsform kann eine Installation vor Ort einen hohen Bandbreitengebrauch (über beispielsweise höheren Durchsatz lokaler Kommunikationsschnittstellen, wie beispielsweise RF über Ethernet) zur Echtzeitverarbeitung in Betracht ziehen. In mindestens einer Ausführungsform kann insbesondere eine Echtzeit- oder Echtzeitnahe-Verarbeitung nützlich sein, wobei ein virtuelles Gerät eine Ultraschallvorrichtung oder andere Bildgebungsmodalität gestützt, wobei sofortige Visualisierungen für genaue Diagnosen und Analysen erwartet werden oder erforderlich sind. In mindestens einer Ausführungsform kann eine Cloud-Rechen-Architektur dynamisches Bersten an einem Cloud-Rechendienstanbieter oder einem anderen Rechen-Cluster verursachen, wenn die lokale Nachfrage vor Ort die Kapazität oder Leistungsfähigkeit überschreitet. In mindestens einer Ausführungsform kann eine Cloud-Architektur, wenn implementiert, für das Training neuronaler Netzwerke oder anderer maschineller Lernmodelle abgestimmt werden, wie hier mit Bezug auf das Trainingssystem 3704 beschrieben. In mindestens einer Ausführungsform können, mit Training-Pipelines an Ort und Stelle, maschinelle Lernmodelle kontinuierlich lernen und sich verbessern, wenn sie zusätzliche Daten von Vorrichtungen verarbeiten, die sie unterstützen. In mindestens einer Ausführungsform können virtuelle Geräte unter Verwendung zusätzlicher Daten, neuer Daten, existierender maschineller Lernmodelle und/oder neuer oder aktualisierter maschineller Lernmodelle kontinuierlich verbessert werden.
-
In mindestens einer Ausführungsform kann ein Rechensystem einige oder die gesamte der hier beschriebenen Hardware 3722 umfassen und die Hardware 3722 kann in einer beliebigen Anzahl von Weisen einschließlich innerhalb einer Vorrichtung als Teil einer Rechenvorrichtung, die mit einer Vorrichtung gekoppelt und in deren Nähe Vorrichtung lokalisiert ist, in einem lokalem Rechenzentrum bei einer Einrichtung und/oder in der Cloud 3826 verteilt werden. In mindestens einer Ausführungsform kann, weil das Einsatzsystem 3706 und zugeordnete Anwendungen oder Containern in Software erzeugt werden (z.B. als diskrete containerisierte Instanziierungen von Anwendungen), das Verhalten, den Betrieb und die Konfiguration von virtuellen Geräten, sowie auch von virtuellen Geräten erzeugte Ausgaben, wie gewünscht modifiziert oder angepasst werden, ohne die rohe Ausgabe einer Vorrichtung ändern oder abändern u müssen, die ein virtuelles Gerät gestützt.
-
40A umfasst ein beispielhaftes Datenflussdiagramm eines virtuelles Geräts, das eine Ultraschallvorrichtung gestützt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann die Einsatz-Pipeline 3810B eine oder mehrere der Dienste 3720 des Systems 3800 wirksam einsetzen. In mindestens einer Ausführungsform können die Einsatz-Pipeline 3810B und die Dienste 3720 Hardware 3722 eines Systems entweder lokal oder in der Cloud 3826 wirksam einsetzen. In mindestens einer Ausführungsform kann, obwohl nicht veranschaulicht, der Prozess 4000 durch den Pipeline-Manager 3812, die Anwendung des Orchestrierungssystems 3828 und/oder die parallele Rechenplattform 3830 erleichtert werden.
-
In mindestens einer Ausführungsform kann der Prozess 4000 einen Empfang von Bildgebungsdaten von einer Ultraschallvorrichtung 4002 umfassen. In mindestens einer Ausführungsform können Bildgebungsdaten auf einem PACS-Server(n) in einem DICOM-Format (oder einem anderen Format, wie beispielsweise RIS, CIS, REST konform, RPC, rohe usw.) gespeichert werden und können von dem System 3800 zur Verarbeitung durch die Einsatz-Pipeline 3810 ausgewählt oder als ein virtuelles Gerät (z.B. einen virtuellen Ultraschall) für die Ultraschallvorrichtung 4002 empfangen oder angepasst werden. In mindestens einer Ausführungsform können Bildgebungsdaten direkt von einer Bildgebungsvorrichtung (z.B. der Ultraschallvorrichtung 4002) empfangen und durch ein virtuelles Gerät verarbeitet werden. In mindestens einer Ausführungsform kann ein Transducer oder ein anderer Signalumformer, der zwischen einer Bildgebungsvorrichtung und einem virtuellen Gerät gekoppelt ist, durch eine Bildgebungsvorrichtung erzeugte Signaldaten in Bilddaten konvertieren, die von einem virtuellen Gerät verarbeitet werden können. In mindestens einer Ausführungsform können Rohdaten und/oder Bilddaten auf den DICOM-Leser 3906 angewandt werden, um Daten zur Verwendung durch Anwendungen oder Containern der Einsatz-Pipeline 3810B zu extrahieren. In mindestens einer Ausführungsform kann der DICOM-Leser 3906 eine Datenaugmentationsbibliothek 4014 (z.B. NVIDIA's DALI) als einen Dienst 3720 (z.B. als einen von dem(den) Rechendienst(en) 3816) wirksam einsetzen, um Daten zum Extrahieren, Größenändern, Umskalieren und/oder anderweitig zur Verwendung durch Anwendungen oder Container vorzubereiten.
-
In mindestens einer Ausführungsform kann, sobald die Daten vorbereitet sind, eine Anwendung und/oder ein Container für eine Rekonstruktion 4006 ausgeführt werden, um Daten der Ultraschallvorrichtung 4002 in eine Bilddatei zu rekonstruieren. In mindestens einer Ausführungsform kann nach der Rekonstruktion 4006 oder zur gleichen Zeit wie die Rekonstruktion 4006 eine Anwendung und/oder ein Container einer Erfassung 4008 zur Anomalieerfassung, Objekterfassung, Merkmalserfassung und/oder anderen Erfassungsaufgaben bezogen auf die Daten ausgeführt werden. In mindestens einer Ausführungsform kann eine während der Rekonstruktion 4006 erzeugte Bilddatei während der Erfassung 4008 verwendet werden, um Anomalien, Objekte, Merkmale usw. zu identifizieren. In mindestens einer Ausführungsform kann die Anwendung der Erfassung 4008 eine Inferenz-Engine 4016 (z.B. als einer von KI-Dienst(s) 3818) wirksam einsetzen, um Inferenz in Daten durchzuführen, um Erfassungen zu erzeugen. In mindestens einer Ausführungsform können eine oder mehrere maschinelle Lernmodelle (z.B. vom Trainingssystem 3704) ausgeführt oder durch eine Anwendung der Erfassung 4008 aufgerufen werden.
-
In mindestens einer Ausführungsform können, sobald die Rekonstruktion 4006 und/oder Erfassung 4008 abgeschlossen ist/sind, von dieser Anwendung und/oder Containern ausgegebene Daten verwendet werden, um Visualisierungen 4010 zu erzeugen, wie beispielsweise die Visualisierung 4012 (z.B. eine Graustufenausgabe), die auf einer Workstation oder einem Anzeigeterminal angezeigt wird. In mindestens einer Ausführungsform kann die Visualisierung einem Techniker oder einem anderen Benutzer ermöglichen, Ergebnisse der Einsatz-Pipeline 3810B mit Bezug auf die Ultraschallvorrichtung 4002 zu visualisieren. In mindestens einer Ausführungsform kann die Visualisierung 4010 durch wirksames Einsetzen einer Renderkomponente 4018 des Systems 3800 (z.B. einer von einem Visualisierungdienst(en) 3820) ausgeführt werden. In mindestens einer Ausführungsform kann die Renderkomponente 4018 einen 2D-, OpenGL- oder Strahlverfolgungsdienst ausführen, um die Visualisierung 4012 zu erzeugen.
-
40B umfasst ein beispielhaftes Datenflussdiagramm eines virtuellen Geräts, das einen CT-Scanner gestützt, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann eine Einsatz-Pipeline 3810C einen oder mehrere Dienste 3720 des Systems 3800 wirksam einsetzen. In mindestens einer Ausführungsform können die Einsatz-Pipeline 3810C und Dienste 3720 die Hardware 3722 eines Systems entweder lokal oder in der Cloud 3826 wirksam einsetzen. In mindestens einer Ausführungsform kann, obwohl nicht veranschaulicht, der Prozess 4020 durch den Pipeline-Manager 3812, das Anwendungsorchestrierungssystem 3828 und/oder die parallele Rechenplattform 3830 erleichtert werden.
-
In mindestens einer Ausführungsform kann der Prozess 4020 einen CT-Scanner 4022 umfassen, der Rohdaten erzeugt, die von dem DICOM-Leser 3906 (z.B. direkt, über einen PACS-Server 3904, nach Verarbeitung usw.) empfangen werden können. In mindestens einer Ausführungsform kann ein virtueller CT (instanziiert durch die Einsatz-Pipeline 3810C) eine erste Echtzeit-Pipeline zur Überwachung eines Patienten (z.B. Patientenbewegungserfassung KI 4026) und/oder zum Einstellen oder Optimieren der Belichtung des CT-Scanners 4022 (z.B. unter Verwendung der Belichtungssteuerung-KI 4024) umfassen. In mindestens einer Ausführungsform können eine oder mehrere der Anwendungen (z.B. 4024 und 4026) einen Dienst 3720, wie beispielsweise den(die) KI-Dienst(e) 3818, wirksam einsetzen. In mindestens einer Ausführungsform können Ausgaben der Anwendung (oder Container) der Belichtungssteuerung-KI 4024 und/oder der Anwendung (oder Container) der Patientenbewegungserfassung-KI 4026 als Rückkopplung zu dem CT-Scanner 4022 und/oder einem Techniker zum Einstellen der Belichtung (oder anderen Einstellungen des CT-Scanners 4022) und/oder zum Informieren eines Patienten, sich weniger zu bewegen, verwendet werden.
-
In mindestens einer Ausführungsform kann die Einsatz-Pipeline 3810C eine Nicht-Echtzeit-Pipeline zum Analysieren von Daten umfassen, die von dem CT-Scanner 4022 erzeugt werden. In mindestens einer Ausführungsform kann eine zweite Pipeline eine Anwendung und/oder einen Container der CT-groben Rekonstruktion 3908, eine Anwendung und/oder Container der Erfassung-KI 4028, eine Anwendung und/oder Container einer feinen Erfassung-KI 4032 (z.B. wobei bestimmte Ergebnisse durch grobe Erfassung-KI 4028 erfasst werden), eine Anwendung und/oder Container der Visualisierung 4030 und eine Anwendung und/oder Container für einen DICOM-Schreiber 3912 (und/oder einen anderen Datentypschreiber, wie beispielsweise RIS, CIS, REST konform, RPC, rohe usw.) umfassen. In mindestens einer Ausführungsform können durch den CT-Scanner 4022 erzeugte Rohdaten durch Pipelines der Einsatz-Pipeline 3810C (instanziiert als ein virtuelles CT-Gerät) geleitet werden, um Ergebnisse zu erzeugen. In mindestens einer Ausführungsform können Ergebnisse des DICOM-Schreibers 3912 zur Anzeige übertragen und/oder können auf einem PACS-Server(n) 3904 zur späteren Abrufung, Analyse oder Anzeige durch einen Techniker, Praktiker oder anderen Benutzer gespeichert werden.
-
41A veranschaulicht ein Datenflussdiagramm für einen Prozess 4100, um ein maschinelles Lernmodell zu trainieren, umzutrainieren oder zu aktualisieren, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 4100 unter Verwendung, als ein nicht einschränkendes Beispiel, des Systems 3800 von 38 ausgeführt werden. In mindestens einer Ausführungsform kann der Prozess 4100 Dienste 3720 und/oder Hardware 3722 des Systems 3800 wirksam einsetzen, wie hier beschrieben. In mindestens einer Ausführungsform können durch den Prozess 4100 erzeugte, verfeinerte Modelle 4112 durch das Einsatzsystem 3706 für eine oder mehrere containerisierte Anwendungen in der Einsatz-Pipelines 3810 ausgeführt werden.
-
In mindestens einer Ausführungsform kann das Modelltraining 3714 das Umtrainieren oder Aktualisieren eines Anfangsmodells 4104 (z.B. eines vortrainierten Modells) unter Verwendung neuer Trainingsdaten (z.B. neuer Eingabedaten, wie beispielsweise einem Kundendatensatz 4106 und/oder den Eingabedaten zugeordnete neue Ground-Truth-Daten) umfassen. In mindestens einer Ausführungsform können, um umzutrainieren oder aktualisieren, das Anfangsmodell 4104, die Ausgabe oder Verlustschicht(en) des Anfangsmodells 4104 zurückgesetzt oder gelöscht und/oder mit einer aktualisierten oder neuen Ausgabe oder Verlustschicht(en) ersetzt werden. In mindestens einer Ausführungsform kann das Anfangsmodell 4104 zuvor feinabgestimmte Parameter (z.B. Gewichtungen und/oder Verzerrungen) aufweisen, die vom vorherigen Training übrigbleiben, so dass das Trainieren oder Umtrainieren 3714 nicht so lange dauern oder so viel Verarbeitung erfordern würde, wie das Training eines Modells von Grund auf. In mindestens einer Ausführungsform können während des Modelltrainings 3714, indem die Ausgabe oder Verlustschicht(en) des Anfangsmodells 4104 zurückgesetzt oder ersetzt werden, Parameter für ein neuen Datensatz basierend auf Verlustberechnungen, die der Genauigkeit der Ausgabe oder Verlustschicht(en) zugeordnet sind, beim Erzeugen von Vorhersagen auf einen neuen Kundendatensatz 4106 (z.B. Bilddaten 3708 von 37) aktualisiert und neu abgestimmt werden.
-
In mindestens einer Ausführungsform können vortrainierte Modelle 3806 in einem Datenspeicher oder Register (z.B. dem Modellregister 3724 von 37) gespeichert werden. In mindestens einer Ausführungsform können vortrainierte Modelle 3806, mindestens teilweise, bei einer oder mehrere anderen Einrichtungen als der Einrichtung trainiert worden sein, die den Prozess 4100 ausführt. In mindestens einer Ausführungsform können, um die Privatsphäre und Rechte von Patienten, Subjekten oder Clienten von unterschiedlichen Einrichtungen zu schützen, vortrainierte Modelle 3806 vor Ort unter Verwendung von vor Ort erzeugten Kunden- oder Patientendaten trainiert worden sein. In mindestens einer Ausführungsform können vortrainierte Modelle 3806 unter Verwendung der Cloud 3826 und/oder anderer Hardware 3722 trainiert werden, wobei vertrauliche, durch die Privatsphäre geschützte Patientendaten jedoch nicht transferiert werden an, verwendet werden durch oder irgendwelchen Komponenten der Cloud 3826 (oder einer anderen externer Hardware) zugänglich sein. In mindestens einer Ausführungsform, bei der ein vortrainiertes Modell 3806 unter Verwendung von Patientendaten von mehr als einer Einrichtung trainiert wird, kann das vortrainierte Modell 3806 einzeln für jedes Einrichtung trainiert worden sein, bevor es auf Patienten- oder Kundendaten einer anderen Einrichtung trainiert wurde. In mindestens einer Ausführungsform kann/können, wie beispielsweise, wo ein Kunde oder Patientendaten von Privatsphärenbedenken (z.B. durch Außerkraftsetzung, für experimentelle Verwendung usw.) freigesetzt wurden oder wo ein Kunde oder Patientendaten in einem öffentlichen Datensatz enthalten ist/sind, ein Kunde oder Patientendaten von einer beliebigen Anzahl von Einrichtungen verwendet werden, um ein vortrainiertes Modell 3806 vor Ort und/oder außerhalb zu trainieren, wie beispielsweise in einem Rechenzentrum oder einer anderen Cloud-Rechen-Infrastruktur.
-
In mindestens einer Ausführungsform kann beim Auswählen von Anwendungen zur Verwendung bei Einsatz-Pipelines 3810 ein Benutzer ebenfalls maschinelle Lernmodelle auswählen, die für spezifischen Anwendungen zu verwenden sind. In mindestens einer Ausführungsform kann ein Benutzer kein Modell zur Verwendung aufweisen, so dass ein Benutzer ein vortrainiertes Modell 3806 zur Verwendung mit einer Anwendung auswählen kann. In mindestens einer Ausführungsform kann das vortrainierte Modell 3806 nicht zum Erzeugen genauer Ergebnisse an einem Kundendatensatz 4106 einer Einrichtung eines Benutzers optimiert werden (z.B. basierend auf Patientenunterschiedlichkeit, Demographie, verwendete Typen von medizinischen Bildgebungsvorrichtungen usw.). In mindestens einer Ausführungsform kann vor dem Einsetzen eines vortrainierten Modells 3806 in die Einsatz-Pipeline 3810 zur Verwendung mit einer Anwendung(en) das vortrainierte Modell 3806 zur Verwendung bei einer jeweiligen Einrichtung aktualisiert, umtrainiertes und/oder fein abgestimmt werden.
-
In mindestens einer Ausführungsform kann ein Benutzer das vortrainierte Modell 3806 auswählen, das aktualisiert, umtrainiert und/oder fein-abgestimmt werden soll, und das vortrainierte Modell 3806 kann als Anfangsmodell 4104 für das Trainingssystem 3704 innerhalb des Prozess 4100 bezeichnet werden. In mindestens einer Ausführungsform kann ein Kundendatensatz 4106 (z.B. Bildgebungsdaten, Genomikdaten, Sequenzierdaten oder anderen Datentyps, die durch Vorrichtungen bei einer Einrichtung erzeugt werden) verwendet werden, um ein Modelltraining 3714 (das, ohne Einschränkung, Transferlernen umfassen kann) auf dem Anfangsmodell 4104 durchzuführen, um das verfeinerte Modell 4112 zu erzeugen. In mindestens einer Ausführungsform können Ground-Truth-Daten, die dem Kundendatensatz 4106 entsprechen, durch das Trainingssystem 3704 erzeugt werden. In mindestens einer Ausführungsform können Ground-Truth-Daten mindestens teilweise von Klinikern, Wissenschaftlern, Doktoren, Praktikern bei einer Einrichtung (z.B. als gekennzeichnete Klinikdaten 3712 von 37) erzeugt werden.
-
In mindestens einer Ausführungsform kann die KI-gestützte Annotation 3710 in einigen Beispielen verwendet werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform kann die KI-gestützte Annotation 3710 (z.B. implementiert unter Verwendung einer KI-gestützten Annotation SDK) maschinelle Lernmodelle (z.B. neuronale Netzwerke) wirksam einsetzen, um vorgeschlagene oder vorhergesagte Ground-Truth-Daten für einen Kundendatensatz zu erzeugen. In mindestens einer Ausführungsform kann ein Benutzer 4110 Annotationstools innerhalb einer Benutzerschnittstelle (einer graphischen Benutzerschnittstelle (GUI)) auf einer Rechenvorrichtung 4108 verwenden.
-
In mindestens einer Ausführungsform kann der Benutzer 4110 mit einer GUI über die Rechenvorrichtung 4108 wechselwirken, um Annotationen oder Auto-Annotationen zu editieren oder fein abzustimmen. In mindestens einer Ausführungsform kann ein Polygoneditiermerkmal verwendet werden, um Eckpunkte eines Polygons zu genaueren oder fein abgestimmten Orten zu bewegen.
-
In mindestens einer Ausführungsform können, sobald der Kundendatensatz 4106 zugeordnete Ground-Truth-Daten aufweist, Ground-Truth-Daten (z.B. von einer KI-gestützten Annotation, manuellen Beschriftung usw.) während des Modelltrainings 3714 verwendet werden, um ein verfeinertes Modell 4112 zu erzeugen. In mindestens einer Ausführungsform kann der Kundendatensatz 4106 auf das Anfangsmodell 4104 beliebig oft angewandt werden und Ground-Truth-Daten können verwendet werden, um Parameter des Anfangsmodells 4104 zu aktualisieren, bis ein annehmbares Niveau der Genauigkeit für das verfeinerte Modell 4112 erzielt ist. In mindestens einer Ausführungsform kann, sobald das verfeinerte Modell 4112 erzeugt ist, das verfeinerte Modell 4112 innerhalb einer oder mehrerer Einsatz-Pipelines 3810 bei einer Einrichtung zum Durchführen einer oder mehrere Verarbeitungsaufgaben mit Bezug auf medizinische Bildgebungsdaten eingesetzt werden.
-
In mindestens einer Ausführungsform kann das verfeinerte Modell 4112 in vortrainierte Modelle 3806 im Modellregister 3724 hochgeladen werden, um von einer anderen Einrichtung ausgewählt zu werden. In mindestens einer Ausführungsform kann dieser Prozess bei einer beliebigen Anzahl von Einrichtungen abgeschlossen werden, so dass das verfeinerte Modell 4112 ferner auf neue Datensätzen beliebig oft verfeinert werden kann, um ein universelleres Modell zu erzeugen.
-
41B ist eine beispielhafte Veranschaulichung einer Client-Server-Architektur 4132, um Annotationstools mit vortrainierten Annotationsmodellen zu verbessern, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können KI-gestützte Annotationstools 4136 basierend auf einer Client-Server-Architektur 4132 instanziiert werden. In mindestens einer Ausführungsform können Annotationstools 4136 in Bildgebungsanwendungen Radiologen beispielsweise dabei helfen, Organe und Abnormalitäten zu identifizieren. In mindestens einer Ausführungsform können Bildgebungsanwendungen Softwaretools umfassen, die einem Benutzer 4110 dabei helfen, als nicht einschränkendes Beispiel, einige extreme Punkte auf einem bestimmten Organ von Interesse in rohen Bilder 4134 (z.B. in einem 3D-MRI- oder CT-Scan) zu identifizieren und auto-annotierte Ergebnisse für alle 2D-Scheiben eines bestimmten Organs zu empfangen. In mindestens einer Ausführungsform können Ergebnisse in einem Datenspeicher als Trainingsdaten 4138 gespeichert und als (beispielsweise und ohne Einschränkung) Ground-Truth-Daten zum Trainieren verwendet werden. In mindestens einer Ausführungsform kann, wenn die Rechenvorrichtung 4108 extreme Punkte für KI-gestützte Annotation 3710 sendet, ein Deep-Learning-Modell beispielsweise diese Daten als Eingabe empfangen und Inferenzergebnisse eines segmentierten Organs oder einer Abnormalität zurückgeben. In mindestens einer Ausführungsform können vorinstanziierte Annotationstools, wie beispielsweise ein KI-gestütztes Annotationstool 4136B in 41B, verbessert werden, indem API-Aufrufe (z.B. der API-Ruf 4144) an einen Server gemacht werden, wie beispielsweise einen Annotation-Assistenzserver 4140, der einen Satz von vortrainierten Modellen 4142 umfassen kann, die beispielsweise in einem Annotationsmodellregister gespeichert sind. In mindestens einer Ausführungsform kann ein Annotationsmodellregister vortrainierte Modelle 4142 (z.B. maschinelle Lernmodelle, wie beispielsweise Deep-Learning-Modelle), die vortrainiert sind, um eine KI-gestützte Annotation auf einem bestimmten Organ oder Abnormalität durchzuführen. In mindestens einer Ausführungsform können diese Modelle ferner durch Verwenden von Training-Pipelines 3804 aktualisiert werden. In mindestens einer Ausführungsform können vorinstallierte Annotationstools mit der Zeit verbessert werden, wenn neue gekennzeichnete Klinikdaten 3712 hinzugefügt werden.
-
Die Inferenz- und/oder Trainingslogik 815 wird verwendet, um Inferenz- und/oder Trainingsoperationen durchzuführen, die einer oder mehreren Ausführungsformen zugeordnet sind. Einzelheiten hinsichtlich Inferenz- und/oder Trainingslogik 815 werden hier in Verbindung mit 8A und/oder 8B bereitgestellt.
-
Mindestens eine Ausführungsform der Offenbarung kann hinsichtlich der folgenden Klauseln beschrieben werden:
- 1. Ein computerimplementiertes Verfahren, umfassend: Bewegen eines Roboters, um innerhalb einer Region unter der Steuerung eines ersten Verfahrens zu sein, das ein physikalische Modell verwendet, das mindestens teilweise auf Informationen von einem ersten Wahrnehmungssystem basiert; Bestimmen einer Unsicherheit der durch das erste Wahrnehmungssystem erzeugten Informationen; Bestimmen, dass der Roboter in der Region ist, basierend mindestens teilweise auf der Unsicherheit; und als Ergebnis des Bestimmens, dass der Roboter in der Region ist, Bewegen des Roboters, um ein Aufgabe unter der Steuerung eines zweiten Verfahrens durchzuführen, das Informationen verwendet, die durch ein zweites Wahrnehmungssystem erzeugt werden.
- 2. Das Verfahren gemäß Klausel 1, wobei sich das zweite Verfahren nicht auf das physikalische Modell stützt.
- 3. Das Verfahren gemäß Klausel 2, wobei das zweite Verfahren ein modellfreies Verfahren ist.
- 4. Das Verfahren gemäß einem der Klauseln 1 bis 3, wobei das erste Verfahren ein modellbasiertes Verfahren ist.
- 5. Das Verfahren gemäß einem der Klauseln 1 bis 4, wobei: das erste Wahrnehmungssystem eine stationäre Kamera ist; und das zweite Wahrnehmungssystem eine an dem Roboter angebrachte Kamera ist.
- 6. Das Verfahren gemäß einem der Klauseln 1 bis 5, ferner umfassend Bestimmen der Region basierend mindestens teilweise auf der Unsicherheit der Informationen.
- 7. Das Verfahren gemäß einem der Klauseln 1 bis 6, ferner umfassend: Bestimmen, dass der Roboter außerhalb der Region ist; und als Ergebnis des Bestimmens, dass der Roboter außerhalb der Region ist, Bewegen des Roboters, um innerhalb der Region unter Verwendung des ersten Verfahrens zu sein.
- 8. Das Verfahren gemäß einem der Klauseln 1 bis 7, wobei die Unsicherheit eine nichtparametrische Verteilung von mehreren Posen der Region und zugeordneten Gewichten für jede Pose ist.
- 9. Das Verfahren gemäß einem der Klauseln 1 bis 8, wobei die Unsicherheit eine parametrische Verteilung ist.
- 10. Das Verfahren gemäß einem der Klauseln 1 bis 9, wobei die Region eine Unterregion einer Region ist, bei der das zweite Verfahren nützlich ist, um eine Aufgabe abzuschließen.
- 11. Das Verfahren gemäß einem der Klauseln 1 bis 10, wobei das zweite Verfahren unter Verwendung eines Autocodierers durchgeführt wird, der trainiert ist, um eine Aufgabe abzuschließen, dem eine Eingabe von dem zweiten Wahrnehmungssystem eingegeben wird.
- 12. Ein Computersystem, umfassend: einen oder mehrere Prozessoren; und einen computerlesbaren Speicher, der ausführbare Anweisungen speichert, die, als Ergebnis durch den einen oder mehreren Prozessoren ausgeführt zu werden, das Computersystem veranlassen, um: einen Roboter in eine Region unter Verwendung eines Modells von der Umwelt des Roboters zu bewegen, wobei das Modell mit Bilddaten einer ersten Kamera orientiert wird; eine Unsicherheit des Modells unter Verwendung von Unsicherheitsinformation zu bestimmen, die der ersten Kamera zugeordnet ist; Bestimmen, dass der Roboter in der Region ist, basierend mindestens teilweise auf der Unsicherheit des Modells; und als Ergebnis des Bestimmens, dass der Roboter in der Region ist, eine Aufgabe durchzuführen, wobei der Roboter unter der Steuerung eines maschinellen Lernsystems ist, das mit Bilddaten von einer zweiten Kamera trainiert wird.
- 13. Das Computersystem gemäß Klausel 12, wobei die zweite Kamera eine am Handgelenk angebrachte Kamera an dem Roboter ist.
- 14. Das Computersystem gemäß Klausel 12 oder 13, wobei, als Ergebnis des Abschließens der Aufgabe, das Computersystem die Unsicherheit des Modells unter Verwendung eines Ergebnisses der Aufgabe aktualisiert.
- 15. Das Computersystem gemäß Klausel 14, wobei das Ergebnis der Aufgabe eine Pose für das Modell angibt.
- 16. Das Computersystem gemäß einem der Klauseln 12 bis 15, wobei das Modell mindestens durch Verarbeiten der Bilddaten von der ersten Kamera unter Verwendung eines Deep-Object-Posenschätzers orientiert wird.
- 17. Das Computersystem gemäß einem der Klauseln 12 bis 16, wobei die erste Kamera und die zweite Kamera die unterschiedlichen Kameras sind.
- 18. Das Computersystem gemäß einem der Klauseln 12 bis 17, wobei die Bilddaten von die ersten Kamera verwendet werden, um mehrere mögliche Posen zu erzeugen, die mit den Bilddaten von der ersten Kamera konsistent sind.
- 19. Das Computersystem gemäß einem der Klauseln 12 bis 18, wobei der Roboter in die Region unter Verwendung eines modellbasierten Controllers bewegt wird, der Zielattraktoren verwendet, die durch Bewegungsrichtlinien des Roboters definiert werden.
- 20. Computerlesbare Medien, die ausführbare Anweisungen speichern, die als Ergebnis dessen, dass sie auf einem oder mehreren Prozessoren eines Computersystems ausgeführt werden, das Computersystem veranlassen, um mindestens: einen Roboter bis innerhalb einer Region unter der Steuerung eines modellbasierten Verfahrens zu bewegen, das ein physikalisches Modell verwendet, das unter Verwendung von Informationen von einem ersten Wahrnehmungssystem orientiert ist; eine Unsicherheit der Informationen zu bestimmen, die durch das erste Wahrnehmungssystem erzeugt werden; Bestimmen, dass der Roboter innerhalb der Region ist, um eine Spanne, die mindestens teilweise auf der Unsicherheit basiert; und als Ergebnis des Bestimmen, dass der Roboter in der Region ist, den Roboter anleiten, eine Aufgabe unter der Steuerung eines zweiten Verfahrens basierend auf Informationen durchzuführen, die durch ein zweites Wahrnehmungssystem erzeugt werden.
- 21. Die computerlesbaren Medien gemäß Klausel 20, wobei: das erste Wahrnehmungssystem eine stationäre Kamera ist; und das zweite Wahrnehmungssystem eine Kamera ist, die sich mit dem Roboter bewegt.
- 22. Die computerlesbare Medien gemäß Klausel 20 oder 21, wobei eine Dimension der Region basierend mindestens teilweise auf der Unsicherheit der Informationen bestimmt wird, die durch das erste Wahrnehmungssystem erzeugt werden.
- 23. Computerlesbare Medien gemäß einem der Klauseln 20 bis 22, wobei die Unsicherheit der durch das erste Wahrnehmungssystem erzeugten Informationen als eine Verteilung mehrerer Posen der Region bestimmt wird.
- 24. Die computerlesbare Medien gemäß einem der Klauseln 20 bis 22, wobei die ausführbaren Anweisungen ferner das Computersystem veranlassen, um: zu bestimmen, dass der Roboter außerhalb der Region ist; und als Ergebnis des Bestimmens, dass der Roboter außerhalb der Region ist, den Roboter bis innerhalb der Region unter Verwendung des modellbasierten Verfahrens zu bewegen.
- 25. Die computerlesbare Medien gemäß einem der Klauseln 20 bis 22, wobei das zweite Verfahren ein modellfreies Verfahren ist, das unter Verwendung eines maschinengelernten Modells implementiert wird, das mit einer Eingabe von dem zweiten Wahrnehmungssystem trainiert wird.
- 26. Die computerlesbare Medien gemäß Klausel 25, wobei die Eingabe simulierte Bilder umfasst, die durch eine Simulation der Aufgabe erzeugt werden.
- 27. Die computerlesbare Medien gemäß einem der Klauseln 20 bis 22, wobei die Aufgabe ein autonomes Fahrzeug steuert.
- 28. Ein Prozessor, umfassend: eine oder mehrere arithmetisch-logische Einheiten (ALUs), um eine Aufgabe mindestens durchzuführen durch: einen Roboter in eine Region unter Verwendung eines Modells der Umgebung des Roboters zu bewegen, wobei das Modell mit Bilddaten aus einer ersten Kamera orientiert wird; eine Unsicherheit des Modells unter Verwendung der ersten Kamera zugeordneten Unsicherheitsinformationen zu bestimmen; Bestimmen, dass der Roboter in der Region ist, basierend mindestens teilweise auf der Unsicherheit des Modells; und als Ergebnis des Bestimmens, dass der Roboter in der Region ist, eine Aufgabe mit dem Roboter unter Steuerung eines maschinellen Lernsystems durchzuführen, das unter Verwendung von Bilddaten von einer zweiten Kamera trainiert wird.
- 29. Der Prozessor gemäß Klausel 28, wobei die zweite Kamera eine In-Hand-Ansicht eines durch den Roboter zu manipulierenden Objekts bereitstellt.
- 30. Der Prozessor gemäß Klausel 28 oder 29, wobei das Computersystem die Unsicherheit des Modells unter Verwendung eines Ergebnisses der Aufgabe verringert.
- 31. Der Prozessor gemäß einem der Klauseln 28 bis 30, wobei Informationen, die als Ergebnis des Fertigstellens der Aufgabe gesammelt wurde, verwendet werden, um eine verbesserte Pose für das Modell zu erfassen.
- 32. Der Prozessor gemäß einem der Klauseln 28 bis 31, wobei die erste Kamera und die zweite Kamera unterschiedliche Kameras sind.
- 33. Der Prozessor gemäß einem der Ansprüche 28 bis 32, wobei die Bilddaten der ersten Kamera verwendet werden, um mehrere mögliche Posen zu erzeugen, die mit den Bilddaten der ersten Kamera konsistent sind.
-
In mindestens einer Ausführungsform kann sich eine einzelne Halbleiterplattform auf eine einzige einheitliche integrierte Schaltung oder Chip auf Halbleiterbasis beziehen. In mindestens einer Ausführungsform können Multi-Chip-Module mit erhöhter Konnektivität verwendet werden, die einen On-Chip-Betrieb simulieren und wesentliche Verbesserungen gegenüber der Benutzung einer herkömmlichen zentralen Verarbeitungseinheit („CPU“) und Busimplementierung durchführen. In mindestens einer Ausführungsform können verschiedene Module ebenfalls getrennt oder in verschiedenen Kombinationen von Halbleiterplattformen je nach den Wünschen des Benutzer situiert sein.
-
In mindestens einer Ausführungsform werden in Rückbezug auf 14 Computerprogramme in Form von maschinenlesbarem ausführbaren Code oder Computer-Steuerlogik-Algorithmen im Hauptspeicher 1404 und/oder Sekundärspeicher gespeichert.
-
Computerprogramme ermöglichen, wenn durch einen oder mehrere Prozessoren ausgeführt, dem System 1400 verschiedene Funktionen gemäß mindestens einer Ausführungsform durchzuführen. In mindestens einer Ausführungsform sind der Speicher 1404, die Speicherung und/oder irgendeine andere Speicherung mögliche Beispiele von computerlesbaren Medien. In mindestens einer Ausführungsform kann sich der Sekundärspeicher auf jede geeignete Speichervorrichtung oder System beziehen, wie beispielsweise ein Festplattenlaufwerk und/oder ein Wechseldatenträgerlaufwerk, das ein Diskettenlaufwerk, ein Magnetbandlaufwerk, ein Compact-Disk-Laufwerk, ein DVD(Digital Versatile Disk)-Laufwerk, ein Aufzeichnungsgerät oder einen Universal Serial Bus („USB“)-Flash-Speicher usw. darstellt. In mindestens einer Ausführungsform wird die Architektur und/oder Funktionalität von verschiedenen vorherigen Figuren im Kontext der CPU 1402, des Parallelverarbeitungssystems 1412, einer integrierten Schaltung, die mindestens ein Teil der Fähigkeiten der CPU 1402 aufweist, eines Parallelverarbeitungssystems 1412, eines Chipsatzes (z.B., einer Gruppe von integrierten Schaltungen, die ausgestaltet sind, als eine Einheit zum Durchführen von verwandter Funktionen zu arbeiten und verkauft zu werden, usw.), und irgendeiner geeigneten Kombination von integrierten Schaltung(en) implementiert.
-
In mindestens einer Ausführungsform werden die Architektur und/oder Funktionalität von verschiedenen vorhergehenden Figuren im Zusammenhang mit einem allgemeinen Computersystem, einem Leiterplattensystem, einem Spielkonsolensystem für Unterhaltungszwecke, einem anwendungsspezifischen System und mehr implementiert. In mindestens einer Ausführungsform kann das Computersystem 1400 die Form eines Desktop-Computers, eines Laptops, eines Tablet-Computers, von Servern, Supercomputern, eines Smartphones (z.B. ein drahtloses, tragbares Gerät), eines persönlichen digitalen Assistenten („PDA“), einer Digitalkamera, eines Fahrzeugs, einer Head-Mounted-Anzeige, eines tragbaren elektronischen Geräts, eines Mobiltelefons, eines Fernsehers, einer Workstation, von Spielkonsolen, eines eingebetteten Systems und/oder jeder anderen Art von Logik annehmen.
-
In mindestens einer Ausführungsform umfasst das parallele Verarbeitungssystem 1412, ohne darauf beschränkt zu sein, mehrere Parallelverarbeitungs-Einheiten („PPUs“) 1414 und zugeordnete Speicher 1416. In mindestens einer Ausführungsform sind die PPUs 1414 sind mit einem Host-Prozessor oder anderen peripheren Vorrichtungen über eine Zwischenverbindung 1418 und einen Schalter 1420 oder Multiplexer verbunden. In mindestens einer Ausführungsform verteilt das parallele Verarbeitungssystem 1412 Rechenaufgaben über PPUs 1414, die beispielsweise als Teil der Verteilung von Rechenaufgaben über mehrere Thread-Blöcke einer Graphikverarbeitungseinheit (Graphics Processig Unit; „GPU“) parallelisierbar sein können. In mindestens einer Ausführungsform wird ein Speicher gemeinsam benutzt und ist über einige oder sämtliche der PPUs 1414 (z.B., für einen Lese- und/oder Schreibzugriff) zugänglich, obwohl für einen derartigen gemeinsam genutzten Speicher Leistungsnachteile relativ zu der Verwendung von lokalen Speichern und Registern anfallen können, die in einer PPU 1414 resident sind. In mindestens einer Ausführungsform ist der Betrieb von PPUs 1414 durch Verwendung eines Befehls synchronisiert, wie beispielsweise syncthreads(), wobei alle Threads in einem Block (z.B., über mehrere PPUs 1414 ausgeführt) ausgeführt werden, um einen bestimmten Punkt der Ausführung des Codes zu erreichen, bevor fortgefahren wird.
-
Andere Variationen liegen innerhalb des Wesens der vorliegenden Offenbarung. Obwohl die offenbarten Techniken für verschiedene Modifikationen und alternative Konstruktionen empfänglich sind, werden bestimmte erläuterte Ausführungsformen davon in den Zeichnungen gezeigt und wurden vorstehend ausführlich beschrieben. Es sei jedoch zu verstehen, dass keine Absicht besteht, die Offenbarung auf die offenbarte spezielle Form oder Formen zu begrenzen, sondern die Absicht besteht im Gegenteil darin, alle Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die in innerhalb des Wesens und des Umfangs der Offenbarung fallen, wie in den beigefügten Ansprüchen definiert.
-
Die Verwendung der Begriffe „einer/eine/eines“ und „der/die/das“ und ähnliche Referenzen im Kontext des Beschreibens der offenbarten Ausführungsformen (insbesondere im Kontext der folgenden Ansprüche) sind auszulegen, als sowohl den Singular als auch den Plural umfassend, solange nichts Anderweitiges hier angegeben oder durch den Kontext deutlich widersprochen wird. Die Begriffe „umfassend“, „aufweisend“, „einschließlich“ und „enthaltend“ sind als offene Begriffe zu betrachtet (das heißt bedeutend „umfassend, jedoch nicht beschränkt auf“), solange nicht anderweitig angemerkt. Der Begriff „verbunden,“ wenn nicht modifiziert und sich auf physische Verbindungen beziehend, ist als teilweise oder vollständig innerhalb enthaltend, befestigt an oder zusammen verbunden auszulegen, sogar wenn es etwas Intervenierendes gibt. Die Nennung von Wertebereichen hier ist lediglich bestimmt, um als ein Kurzformverfahren des einzelnen Bezugnehmens auf jeden separaten Wert zu dienen, der in den Bereich fällt, es sei denn, dass hier etwas anderes angegeben ist, und jeder separate Wert wird in die Spezifikation aufgenommen, als ob er hier einzeln wiedergegeben wäre. In mindestens einer Ausführungsform ist die Verwendung des Begriffs „Satz“ (z.B., „ein Satz von Objekten“) oder „Teilsatz“, es sei denn, es ist etwas anderes angemerkt oder dies widerspricht dem Kontext, als eine nicht leere Zusammenstellung auszulegen, die ein oder mehrere Elemente umfasst. Ferner bezeichnet, es sei denn, dass etwas anderes angemerkt ist oder dies dem Kontext widerspricht, der Begriff „Teilsatz“ eines entsprechenden Satzes nicht notwendigerweise einen richtigen Teilsatz des entsprechenden Satzes, sondern der Teilsatz und ein entsprechender Satz können gleich sein.
-
Verbindende Sprache, wie beispielsweise Ausdrücke der Form „mindestens eines von A, B, und C“, oder „mindestens eines von A, B und C“, es sei denn, das es speziell anders angemerkt ist oder anderweitig eindeutig durch den Kontext widersprochen wird, ist andernfalls in dem Kontext zu verstehen, wie sie allgemein verwendet wird, um darzustellen, dass ein Objekt, ein Begriff usw. entweder A oder B oder C oder einen beliebigen nicht leeren Teilsatz des Satzes aus A und B und C sein kann. Beispielsweise beziehen sich im veranschaulichten Beispiel eines Satzes, der drei Elemente aufweist, die verbindenden Ausdrücke „mindestens eines von A, B, und C“ und „mindestens eines von A, B und C“ auf einen der folgenden Sätze: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Somit ist eine derartige verbindende Sprache allgemein nicht bestimmt, zu implizieren, dass bestimmte Ausführungsformen verlangen, dass mindestens eines von A, mindestens eines von B, und mindestens eines von C jeweils vorhanden sind. Außerdem gibt, es sei denn, dass etwas anderes angemerkt ist oder durch den Kontext widersprochen wird, der Begriff „Mehrzahl“ einen Zustand in der Mehrzahl an (z.B., „eine Mehrzahl von Objekten“ gibt mehrere Objekten an). Eine Mehrzahl ist mindestens zwei Objekte, kann jedoch mehr sein, wenn so entweder explizit oder durch en Kontext angegeben. Ferner bedeutet, es sei denn, dass etwas anderes angemerkt ist oder dies anderweitig aus dem Kontext offensichtlich ist, der Ausdruck „basierend auf" basierend mindestens teilweise auf und nicht „basierend allein auf.“
-
Vorgänge von hier beschriebenen Prozesses können in jeder geeigneten Reihenfolge durchgeführt werden, sofern hier nicht anderweitig angegeben oder der Kontext dem anderweitig eindeutig widerspricht. In mindestens einer Ausführungsform wird ein Prozess, wie beispielsweise jene Prozesse (oder Variationen und/oder Kombinationen davon), die hier beschrieben sind, unter der Steuerung von einem oder mehreren Computersystemen durchgeführt, die mit ausführbaren Anweisungen konfiguriert sind, und wird als Code (z.B., ausführbare Anweisungen, ein oder mehrere Computerprogramme oder ein oder mehrere Anwendungen) implementiert, der zusammen auf einem oder mehreren Prozessoren durch Hardware oder Kombinationen davon ausgeführt wird. In mindestens einer Ausführungsform wird ein Code auf einem computerlesbaren Speichermedium beispielsweise in Form eines Computerprogramms ausgeführt, das mehrere Anweisungen umfasst, die durch einen oder mehrere Prozessoren ausführbar sind. In mindestens einer Ausführungsform ist ein computerlesbares Speichermedium ein nicht flüchtiges computerlesbares Speichermedium, das flüchtige Signale ausschließt (z.B., eine propagierende transiente elektrische oder elektromagnetische Übertragung), jedoch nicht flüchtige Datenspeicherschaltungen (z.B., Puffer, Cache, und Warteschlangen) innerhalb Transceivern von flüchtigen Signalen umfasst. In mindestens einer Ausführungsform ist der Code (z.B., ein ausführbarer Code oder Quellencode) auf einem Satz von einem oder mehreren nicht flüchtigen computerlesbaren Speichermedien gespeichert, die darauf gespeicherte ausführbare Anweisungen aufweisen (oder anderem Speicher, um ausführbare Anweisungen zu speichern) die, wenn durch einen oder mehreren Prozessoren eines Computersystems ausgeführt (d.h., als ein Ergebnis einer Ausführung) das Computersystem veranlassen, hier beschriebene Vorgänge durchzuführen. In mindestens einer Ausführungsform umfasst ein Satz von nicht flüchtigen computerlesbaren Speicherungsmedien in mindestens einer Ausführungsform mehrere nicht flüchtige computerlesbare Speicherungsmedien und eines oder mehrere von einzelnen nicht flüchtigen Speicherungsmedien der mehreren nicht flüchtigen computerlesbaren Speichermedien Fehlen sämtlicher Code, während mehrere nicht flüchtige computerlesbare Speichermedien zusammen den gesamten Code speichern. In mindestens einer Ausführungsform werden ausführbare Anweisungen ausgeführt, so dass unterschiedliche Anweisungen durch unterschiedliche Prozessoren ausgeführt werden - beispielsweise speichert ein nicht flüchtiges computerlesbares Speichermedium Anweisungen und eine zentrale Haupt-Verarbeitungseinheit („CPU“) führt einige Anweisungen aus, während eine Graphikverarbeitungseinheit („GPU“) andere Anweisungen ausführt. In mindestens einer Ausführungsform weisen unterschiedliche Komponenten eines Computersystems getrennte Prozessoren auf und unterschiedliche Prozessoren führen unterschiedliche Teilsätze von Anweisungen aus.
-
Dementsprechend sind in mindestens einer Ausführungsform Computersysteme konfiguriert, um ein oder mehrere Dienste zu implementieren, die einzeln oder gemeinsam Vorgänge von hier beschriebenen Prozessen durchführen, und derartige Computersysteme sind mit anwendbarer Hardware und/oder Software konfiguriert, welche die Durchführung von Vorgängen ermöglichen. Ferner ist ein Computersystem, das mindestens eine Ausführungsform der vorliegenden Offenbarung implementiert, eine einzelne Vorrichtung, und ist in einer anderen Ausführungsform ein verteiltes Computersystem, das mehrere Vorrichtungen umfasst, die unterschiedlich arbeiten, sodass das verteilte Computersystem die hier beschriebenen Vorgänge durchführt, und sodass eine einzelne Vorrichtung nicht alle Vorgänge durchführt.
-
Die Verwendung von einzelnen oder allen Beispielen oder einer hier beispielhaften bereitgestellten Formulierung (z.B., „wie beispielsweise“) ist bestimmt, lediglich Ausführungsformen der Offenbarung besser zu beleuchten und stellt keine Einschränkung des Umfangs der Offenbarung dar, es sei denn, dass etwas anderes beansprucht ist. Keine Sprache in der Spezifikation sollte so ausgelegt werden, dass sie ein beliebiges nichtbeanspruchtes Element als wesentlich angibt, um die Offenbarung zu praktizieren.
-
Sämtliche Bezugnahmen, einschließlich Veröffentlichungen, Patenanmeldungen und Patente, die hier zitiert sind, werden hiermit durch Bezugnahme in dem gleichen Ausmaß aufgenommen, als ob jede Bezugnahme einzeln und speziell angegeben würde, um durch Bezugnahme aufgenommen zu werden, und in ihrer Gesamtheit hier dargelegt wären.
-
In der Beschreibung und den Ansprüchen können die Begriffe „gekoppelt“ und „verbunden“ zusammen mit ihren Ableitungen verwendet werden. Es sei zu verstehen, dass diese Begriffe nicht als Synonyme füreinander bestimmt sind. Stattdessen kann in bestimmten Beispielen „verbunden“ oder „gekoppelt“ verwendet werden, um anzugeben, dass zwei oder mehr Elemente in direktem oder indirektem physischen oder elektrischen Kontakt miteinander sind. „Gekoppelt“ kann ebenfalls bedeuten, dass zwei oder mehr Elemente nicht in direktem Kontakt miteinander sind, jedoch dennoch weiterhin kooperieren oder miteinander wechselwirken.
-
Sofern nicht speziell anders angegeben, wird anerkannt, dass die in dieser Spezifikation enthaltenen Begriffe wie „Verarbeiten“, „Rechnen“, „Berechnen“, „Bestimmen“ oder dergleichen sich auf eine Aktion und/oder Verfahren eines Computers oder eines Rechensystems beziehen, wie einem oder mehreren Computern oder einer ähnlichen elektronischen Vorrichtung, die Daten manipulieren oder umwandeln, die als physikalische, wie beispielsweise elektronische, Größen in den Registern des Rechensystems und/oder Speichern in andere Daten, die auf ähnliche Weise als physikalische Größen innerhalb der Speicher des Rechensystems, Registern oder anderer derartiger Informationsspeicherungs-, Übertragungs- oder Anzeigevorrichtungen dargestellt werden.
-
Auf eine ähnlichen Art und Weise kann sich der Begriff „Prozessor“ auf jede Vorrichtung oder Abschnitt einer Vorrichtung beziehen, die elektronische Daten aus Registern und/oder Speicher verarbeitet und diese elektronischen Daten in andere elektronische Daten transformiert, die in Registern und/oder Speicher gespeichert werden können. Als nicht einschränkendes Beispiele kann „Prozessor“ eine CPU oder eine GPU sein. Eine „Rechenplattform“ kann einen oder mehrere Prozessoren umfassen. Wie hier verwendet, können „Software“-Prozesse beispielsweise Software- und/oder Hardwareentitäten umfassen, die Arbeit im Laufe der Zeit durchführen, wie beispielsweise Aufgaben, Threads und intelligente Agenten. Jeder Prozess kann sich ebenfalls auf mehrere Prozesse zum Ausführen von Anweisungen der Reihe nach oder parallel, kontinuierlich oder intermittierend beziehen. In mindestens einer Ausführungsform werden die Begriffe „System“ und „Verfahren“ hier austauschbar verwendet, insofern als System ein oder mehrere Verfahren verkörpern und Verfahren als ein System betrachtet werden können.
-
In dem vorliegenden Dokument können Verweise auf das Erhalten, Erfassen, Empfangen oder Eingeben von analogen oder digitalen Daten in ein Teilsystem, Computersystem oder computerimplementierte Maschine erfolgen. In mindestens einer Ausführungsform kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen und digitalen Daten in einer Vielfalt von Möglichkeiten erreicht werden, wie beispielsweise durch Empfangen von Daten als ein Parameter eines Funktionsaufrufs oder eines Aufrufs an eine Anwendungsprogrammierschnittstelle. In einigen Implementierungen kann der Prozess des Erhaltens, Erfassens, Empfangen oder Eingebens von analogen oder digitalen Daten durch Transferieren von Daten über eine serielle oder parallele Schnittstelle erreicht werden. In einer anderen Implementierung kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch Transferieren von Daten über ein Computernetzwerk von bereitstellender Entität zu erfassender Entität erreicht werden. Verweise können ebenfalls auf das Bereitstellen, Ausgeben, Übertragen, Senden oder Repräsentieren analoger oder digitaler Daten erfolgen. In verschiedene Beispielen kann der Prozess des Bereitstellens, Ausgebens, Übertragens, Sendens oder Repräsentierens analoger oder digitaler Daten durch Transferieren von Daten als ein Eingangs- oder Ausgangsparameter eines Funktionsaufruf, eines Parameters einer Anwendungsprogrammierschnittstelle oder eines Mechanismus zur Interprozesskommunikation erreicht werden.
-
Obwohl die obige Erläuterung beispielhafte Implementierungen von beschriebenen Techniken darlegt, können andere Architekturen verwendet werden, um die beschriebene Funktionalität zu implementieren, und sind bestimmt, innerhalb des Umfangs der Offenbarung zu liegen. Des Weiteren könnten, obwohl spezifische Verteilungen von Verantwortlichkeiten obenstehend zum Zweck der Erläuterung definiert sind, verschiedene Funktionen und Verantwortlichkeiten in unterschiedlichen Weisen abhängig von den Umständen verteilt und aufgeteilt werden.
-
Obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodische Handlungen spezifischen Sprache beschrieben wurde, sei zu verstehen, dass der in der Offenbarung definierte Gegenstand nicht notwendigerweise auf beschriebene spezifische Merkmale oder Handlungen beschränkt ist. Vielmehr werden spezifische Merkmale und Handlungen als beispielhafte Formen des Implementierens der Ansprüche offenbart.