-
Die Erfindung bezieht sich auf ein computerimplementiertes Verfahren zum maschinellen Lernen einer Auslastung von Rechenressourcen und/oder Speicherressourcen eines Rechensystems für automatisierte Fahrfunktionen, ein Steuergerät für ein automatisiert betreibbares Fahrzeug und ein Computerprogrammprodukt zur mobilen Verarbeitung von Nutzerdaten.
-
Steuergeräte für einen automatisierten Fahrbetrieb sind bekannt, zum Beispiel adaptive Fahrgeschwindigkeitsregler.
-
In der Anmeldung
DE 10 2019 202 303.7 ist ein mobiles Rechenzentrum basierend auf Steuergeräten für automatisiert betreibbare Fahrzeuge offenbart.
-
Aus dem Stand der Technik ist es weiterhin bekannt, statisch Ressourcen, das heißt Speicher- und/oder Prozessor-Auslastung, vorzuhalten. Beispielsweise werden bei sicherheitskritischen Anwendungen bei einem System mit vier Prozessorkernen drei Kerne für nicht sicherheitsrelevante Aufgaben und ein Kern für Sicherheitsfunktionen verwendet. Dadurch wird sichergestellt, dass für die sicherheitskritische Anwendungen immer ein Kern für die Berechnung zu Verfügung steht und nicht blockiert werden kann.
-
Aufgabe der Erfindung ist es, für automatisiert betreibbare Fahrzeuge und für mobile Rechenzentren basierend auf Steuergeräten für automatisiert betreibbare Fahrzeuge ein Rechenleistungs- und/oder Speichermanagement bereitzustellen, das Rechenleistung und/oder Speicherbedarf automatisch derart allokiert, dass automatisierte Fahrfunktionen weiterhin geregelt und/oder gesteuert werden können.
-
Bei der Aufgabe des autonomen Fahrens werden Daten erfasst, um eine Objekterkennung zu erstellen, insbesondere mit dynamischen und statischen Objekten. Mit der Steigerung der Objekte steigt der Bedarf an Rechenleistung. Es werden also mehr Ressourcen notwendig. Ein System kann, je nach Ausstattung, nur eine begrenzte Anzahl von Objekten auswerten. Wenn die Anzahl überstiegen wird, beispielsweise mehr als 20 Objekte, muss die Erkennung auf diese Anzahl der Objekte begrenzt bleiben. Die Schwierigkeit liegt daran, zu erkennen, welche dieser Objekte ein besonderes relevantes Verhalten besitzen. Wünschenswert wäre es, wenn man kurzfristig mehr Objekte berechnen könnte. Dazu ist es notwendig, ein Ressourcen Management zu verwenden, das auf externe Ressourcen zugreift und Dritten, in Fällen, bei denen geringe Lasten anfallen, Ressourcen zu Verfügung stellt.
-
Die Erfindung löst diese Aufgabe durch ein computerimplementiertes Verfahren zum maschinellen Lernen einer Auslastung von Rechenressourcen und/oder Speicherressourcen eines Rechensystems für automatisierte Fahrfunktionen. Das Rechensystem ist ausgeführt, Längs- und/oder Querführung eines automatisiert betreibbaren Fahrzeuges zu regeln und/oder zu steuern in Abhängigkeit einer Umfelderkennung des Fahrzeuges. Es werden Datenpaare bereitgestellt. Die Datenpaare umfassen als einen ersten Bestandteil zumindest Straßenverkehrsdaten zu Routen. Als einen zweiten Bestandteil umfassen die Datenpaare die Auslastungen der Rechenressourcen und/oder der Speicherressourcen des Rechensystems an zumindest Positionen auf den Routen. Die Datenpaare werden mit einem Algorithmus aus dem Bereich des maschinellen Lernens prozessiert, um zu einer in den Algorithmus eingegebenen, beabsichtigt zu fahrenden Route und in den Algorithmus eingegebenen Positionen auf der Route die Auslastungen der Rechenressourcen und/oder der Speicherressourcen des Rechensystems an den Positionen zu lernen. Diese Auslastungen werden zusammen mit den jeweiligen Positionen ausgegeben.
-
Die Auslastungen zu lernen umfasst eine Schätzung der Auslastungen und eine explizite Berechnung der Auslastungen. Der erfindungsgemäß trainierte Algorithmus hat den Vorteil, dass eine Auslastung von zu erwartenden Auslastungen der Ressourcen vorhergesagt werden kann. Diese Vorhersage ermöglicht es, zu entscheiden, ob das Fahrzeug an bestimmten Positionen überhaupt in der Lage ist, automatisiert betrieben zu werden. Wenn aus den Straßenverkehrsdaten beispielsweise sich ein derart komplexes Verkehrsaufkommen ergibt, dass die Rechenressourcen zur Bewältigung eines automatisierten Betriebs des Fahrzeuges nicht ausreichen, ist kein automatisierter Betrieb in einem betriebssicheren Zustand möglich. Nach einem Aspekt der Erfindung wird in derartigen Fällen die Fahrzeug Geschwindigkeit reduziert, denn die Betriebszustände sind abhängig von der Zahl der Objekte, die erkannt werden müssen, und von Geschwindigkeit des Fahrzeuges. Je höher die Geschwindigkeit des Fahrzeuges ist, desto höher die Rechenleistungen, die man benötigt.
-
Gemäß einem Aspekt stellt die Erfindung ein Steuergerät für ein automatisiert betreibbares Fahrzeug zum Regeln und/oder Steuern von Längs- und/oder Querführung des Fahrzeuges in Abhängigkeit einer Umgebungserkennung des Fahrzeuges bereit. Das Steuergerät umfasst wenigstens eine erste Schnittstelle, um Daten von Fahrzeug internen und/oder Fahrzeug externen Sensoren für die Umgebungserkennung zu erhalten. Ferner umfasst das Steuergerät wenigstens ein Rechensystem zur Verarbeitung der Daten, um Steuerungsbefehle in Abhängigkeit der Umgebungserkennung zu bestimmen. Außerdem umfasst das Steuergerät wenigstens eine zweite Schnittstelle, um die Steuerungsbefehle Aktuatoren für die Längs- und/oder Querführung des Fahrzeuges bereitzustellen. Das Steuergerät ist ausgeführt, bei Veränderungen von Auslastungen von Rechenressourcen und/oder Speicherressourcen des Rechensystems die Rechenressourcen und/oder Speicherressourcen durch Ausführung von ersten Programminstruktionen derart zu allokieren, damit die Längs- und/oder Querführung des Fahrzeuges weiterhin von dem Steuergerät geregelt und/oder gesteuert wird. Des Weiteren ist das Steuergerät ausgeführt, eine mit dem Fahrzeug zu fahrende Route und zumindest Positionen auf der Route einem nach dem erfindungsgemäßen Verfahren angelernten Algorithmus durch Ausführung von zweiten Programminstruktionen als Eingabe bereitzustellen. Als Ausgabe des Algorithmus erhält das Steuergerät die zu erwartenden Auslastungen an den Positionen. Das Steuergerät allokiert die Rechenressourcen und/oder Speicherressourcen in Abhängigkeit der zu erwartenden Auslastungen durch Ausführung der ersten Programminstruktionen.
-
Das erfindungsgemäße Steuergerät hat den Vorteil, dass mittels des erfindungsgemäß trainierten Algorithmus die Rechen- und/oder Speicherressourcen in Abhängigkeit der bestimmten Auslastungen dynamisch aufgeteilt werden können. Dies ist insbesondere im Zusammenhang mit einem parallelen Verarbeiten von Nutzerdaten vorteilhaft.
-
Gemäß einem weiteren Aspekt stellt die Erfindung ein automatisiert betreibbares Fahrzeug umfassend ein erfindungsgemäßes Steuergerät bereit.
-
Ein derartiges Fahrzeug stellt ein mobiles Rechenzentrum bereit.
-
Gemäß einem weiteren Aspekt stellt die Erfindung ein von einem ersten erfindungsgemäßen Steuergerät ausgeführtes Verfahren bereit. Durch Ausführung des Verfahrens werden Nutzerdaten erhalten. Ein Vorhandensein aktuell nicht genutzter Rechenressourcen und/oder Speicherressourcen des ersten Steuergeräts wird geprüft in Abhängigkeit eines Regelns und/oder eines automatisierten Steuerns von Längs- und/oder Querführung eines ersten Fahrzeuges, bei dem das erste Steuergerät verwendet wird, durch Ausführung eines nach dem erfindungsgemäßen Verfahren angelernten Algorithmus. Aktuell nicht genutzte Rechenressourcen und/oder Speicherressourcen werden bereitgestellt. Die Nutzerdaten werden mit den bereitgestellten Rechenressourcen und/oder Speicherressourcen verarbeitet. Die verarbeiteten Nutzerdaten werden an einen Nutzer übertragen. Für den Fall, dass nicht genutzte Rechenressourcen und/oder Speicherressourcen nicht vorhanden sind, werden die Nutzerdaten von dem ersten Steuergerät an ein zweites erfindungsgemäßes Steuergerät übertragen. Das zweite Steuergerät prüft das Vorhandensein aktuell nicht genutzter Rechenressourcen und/oder Speicherressourcen des zweiten Steuergeräts in Abhängigkeit eines Regelns und/oder eines automatisierten Steuerns von Längs- und/oder Querführung eines zweiten Fahrzeuges, bei dem das zweite Steuergerät verwendet wird, durch Ausführung eines nach dem erfindungsgemäßen Verfahren angelernten Algorithmus. Gegebenenfalls werden die aktuell nicht genutzten Rechenressourcen und/oder Speicherressourcen bereitgestellt. Die Nutzerdaten werden mit den bereitgestellten Rechenressourcen und/oder Speicherressourcen verarbeitet und an den Nutzer übertragen.
-
Dies hat den Vorteil, dass bei Verbrauch von Ressourcen auf externe Ressourcen zurückgegriffen werden kann.
-
Gemäß einem weiteren Aspekt stellt die Erfindung ein Computerprogrammprodukt zur mobilen Verarbeitung von Nutzerdaten bereit. Das Computerprogrammprodukt umfasst Ausführungsbefehle, die bewirken, dass ein erfindungsgemäßes Steuergerät ein erfindungsgemäßes Verfahren ausführt, wenn das Computerprogramm auf dem Steuergerät läuft.
-
Die Ausführungsbefehle umfassen Softwarecodeabschnitte, Maschinencode oder Binärcode.
-
Computerimplementiert bedeutet, dass die Schritte des Verfahrens von einer Datenverarbeitungsvorrichtung, beispielsweise einem Computer, einem Rechensystem oder Teilen davon, ausgeführt werden.
-
Maschinelles Lernen ist eine Technologie, die Computern und anderen Datenverarbeitungsvorrichtungen die Ausführung von Aufgaben durch Lernen aus Daten lehrt, anstatt für die Aufgaben programmiert zu werden.
-
Das Rechensystem ist beispielsweise eine programmierbare elektronische Schaltung. Nach einem Aspekt der Erfindung ist das Rechensystem als ein System-on-Chip ausgeführt. Das heißt, alle oder ein großer Teil der Funktionen des Rechensystems sind auf einem Chip integriert. Das Rechensystem umfasst gemäß einer Ausführungsform beispielsweise wenigstens einen Mehrkernprozessor umfassend mehrere Zentralprozessoren, um Rechenressourcen bereitzustellen, und wenigstens einen Grafikprozessor umfassend eine Mikroarchitektur für paralleles Prozessieren von Abläufen. Bei einem Mehrkernprozessor sind mehrere Kerne auf einem einzigen Chip angeordnet. Mehrkernprozessoren erreichen eine höhere Rechenleistung und sind kostengünstiger in einem Chip zu implementieren im Vergleich zu Mehrprozessorsystemen, bei denen jeder einzelne Kern in einem Prozessorsockel angeordnet ist und die einzelnen Prozessorsockel auf einer Hauptplatine angeordnet sind. Zentralprozessoren sind sogenannte central processing units, abgekürzt CPU. Die Zentralprozessoren haben beispielsweise eine 64-bit Architektur. Der Grafikprozessor, im Englischen graphic processing unit, abgekürzt GPU, genannt, umfasst vorzugsweise wenigstens eine Prozesseinheit zum Ausführen von Tensor -und/oder Matrixmultiplikationen. Tensor- und/oder Matrixmultiplikationen sind die zentralen Rechenoperationen für das Deep Learning, einer Form von künstlicher Intelligenz. Das Rechensystem umfasst auch eine Programmierschnittstelle zur Verwendung des Grafikprozessors als Koprozessor der Zentralprozessoren. Die Programmierschnittstelle ist beispielsweise eine CUDA-API. Ferner umfasst das Rechensystem wenigstens einen Speicher und ein Bussystem für einen Datenaustausch mit den Prozessoren und Peripheriegeräten. Beispielsweise ist der Speicher ein double data rate synchronous dynamic RAM, abgekürzt DDR SDRAM, Speicher. Bevorzugt ist der Speicher ein low power DDR SDRAM Speicher.
-
Nach einem Aspekt der Erfindung führt das Steuergerät den nach dem erfindungsgemäßen Verfahren angelernten Algorithmus aus. Beispielsweise wird der Algorithmus auf dem Grafikprozessor des Mehrkernprozessors des Rechensystems des Steuergeräts ausgeführt.
-
Längsführung wird beispielsweise geregelt über Antriebsmomentenregelung, zum Beispiel über elektronische Motorleistungssteuerung, und/oder Bremsmomentenregelung. Querführung regelt die Querdynamik des Fahrzeuges, zum Beispiel Spur- und/oder Richtungstreue, Lenkmanöver und/oder Giergeschwindigkeit.
-
Automatisiert betreibbare Fahrzeug, beispielsweise mit Verbrennungsmotor, elektrischem Antrieb, Hybridelektrofahrzeuge oder Brennstoffzellenfahrzeuge, vorzugsweise Straßenfahrzeuge mit einer dieser Antriebstechnologien, umfassen eine technische Ausrüstung, um das Fahrzeug zur Bewältigung von Fahreraufgaben zu steuern. Nach einem Aspekt wird die Erfindung für Fahrfunktionen der Stufen SAE J3016 Level 2 bis Level 5 eingesetzt.
-
Das Fahrzeug erkennt sein Umfeld, das heißt der Bereich, aus dem Objekte auf das Fahrzeug und dessen geplante Trajektorie einwirken können, mittels Umfelderfassungssensoren. Die Umfelderfassungssensoren basieren in der Regel auf verschiedenen Sensortechnologien und umfassen Kamera, Radar, Lidar, Audio, Ultraschall und Infrarot.
-
In der Realität passieren nicht selten unvorhergesehene Dinge. Um diese mit zu berücksichtigen, werden nach einem Aspekt der Erfindung die Auslastungen und/oder die zu erwartenden Auslastungen mit einer Reserve ausgegeben oder bereitgestellt. Die Reserve bezieht sich auf statistische Daten, die beim Betrieb erfasst werden. Auf Grundlage dieser Daten wird die Reserve so angepasst, dass es zu keinen kritischen Ressourcen-Engpässen kommen kann. Aufgrund der Bestimmung oder Vorhersage des Ressourcen-Verbrauchs wird beispielsweise eine Sicherheitsreserve von 20% hinzugefügt. Die Bestimmung oder Vorhersage liefert für jeden Ort, beispielsweise für jeden Meter, und für jede Zeit in der geplanten Route den geschätzten Ressourcen-verbrauch, beispielsweise Prozessorauslastung bei GPS Koordinate [x,y,z] zu der Zeit t. Wenn die Auslastung geschätzt wird mit 30%, dann werden beispielsweise 20% Sicherheitszuschlag dazu addiert, das heißt 30%+6% = 36%. Das bedeutet, das 64% der verwendeten Ressourcen IDLE sind. Diese können jetzt reserviert und zuverlässig anderen Teilnehmern, beispielsweise Nutzern, zu Verfügung gestellt werden.
-
Das Steuergerät, im Englischen electronic control unit, abgekürzt ECU, genannt, bereitet Eingangssignale auf, verarbeitet diese mittels einer elektronischen Schaltung und stellt Logik- und/oder Leistungspegel als Regel- und/oder Steuersignale bereit. Das erfindungsgemäße Steuergerät ist skalierbar für assistiertes Fahren bis hin zu vollautomatisiertes/autonomes/fahrerloses Fahren. Nach einem Aspekt der Erfindung umfasst das Steuergerät ein Schutzgehäuse mit integrierter Kühlung. Das Schutzgehäuse schützt das Rechensystem gegen Vibrationen, Feuchtigkeit, Hitze und/oder Kälte. Die Kühlung führt Abwärme des Rechensystems ab. Das Schutzgehäuse ermöglicht die Verwendung des Steuergeräts im automotive Bereich. Das Schutzgehäuse umfasst beispielsweise einen Kunststoff, ein Metall oder eine Legierung. Die Kühlung führt Abwärme des Rechensystems ab. Die Kühlung ist beispielsweise durch einen eigens für das Steuergerät vorgesehenen Wasserkühlkreislauf realisiert. Alternativ wird die Kühlung von einer in dem Fahrzeug bereits vorhandenen Motorkühlung bereitgestellt, wobei in das Schutzgehäuse Wärmeaustauschelemente integriert sind, um über den Fahrzeugkühlkreislauf Wärme auszutauschen.
-
Die erste Schnittstelle des Steuergeräts umfasst nach einem Aspekt der Erfindung einen Serializer-Deserializer. Insbesondere ist die erste Schnittstelle ein Deserializer, der mit einem GMSL Serializer in Wirkverbindung steht. Ein Deserializer ist ein Logikbaustein , der Datenstrukturen aus Serien von Bits extrahiert.
-
Fahrzeug interne Sensoren sind die Sensoren zur Umfelderkennung. Nach einem Aspekt der Erfindung umfassen die Sensoren einen GMSL Serializer. Durch Serialisation werden Datenstrukturen in abspeicherbare Formate übersetzt. Fahrzeug externe Sensoren umfassen Sensoren von Fremdfahrzeugen und/oder Sensoren einer intelligenten Verkehrsinfrastruktur, das heißt einer straßenseitigen Infrastruktur, die mit Sensoren zur Umfelderkennung ausgestattet werden. In Verbindung mit Informationen aus lokalen/ globalen Zentralen kann so im Vergleich mit einer rein fahrzeugbasierten Sensorik ein deutlich umfassenderes Bild der Umgebung bzw. des Umfelds und der Fahrsituation entstehen.
-
Die zweite Schnittstelle des Steuergeräts ist beispielsweise eine Schnittstelle zu Aktuatoren für Motorsteuerung, eines Bremssystems und/oder Lenkungssystems.
-
Zusammenfassend stellen nach einem Aspekt der Erfindung autonome Fahrzeuge ihre Umgebungsdaten der Allgemeinheit zur Verfügung. Basierend auf diesen Umgebungsdaten wird eine Karte, insbesondere eine online-Karte erzeugt, die das aktuelle Verkehrsaufkommen zu gewissen Orten und Zeitpunkten misst und/oder darstellt. Ferner werden Daten über die Auslastung von einem Fahrzeugsystem geliefert, insbesondere Prozessorauslastung und Speicherbedarf. Außerdem werden Daten über geplante Baustellen, Straßen- Sperrungen, Wetterinformationen, beispielsweise Unwetterwarnungen, und Termine von Veranstaltungen, beispielsweise Messe Termine, betrachtet. Mit diesen Daten wird ein künstliches neuronales Netzwerk, beispielsweise ein VGG Net, trainiert. Das VGG Netz ist ein künstliches neuronales Netzwerk umfassend mehrere konvolutionale Schichten, vollständig verbundene Schichten und mehrere versteckte Schichten, siehe K. Simonyan et al., „Very Deep Convolutional Networks For Large-Scale Image Recognition“, arXiv:1409.1556v6 [cs.CV]. Geignet sind dazu natürlich auch weitere künstliche neuronale Netze wie z.B. Netzwerke mit long-short-term-memory, abgekürzt LSTM, Einheiten, siehe S. Hochreiter und J. Schmidhuber, Neural Computation, 1997, A variant of the basic RNN-the Long Short-Term Memory (LSTM) cell. Zudem kommen aktuelle Information von intelligenten Ampelanlagen oder anderen Systemen, die den aktuellen Straßen-Verkehr und den Verkehrsfluss überwachen. Das Netz liefert dann, für die gewählte Route, eine Vorhersage. Die Vorhersage beinhaltet Informationen über den zu erwartenden Speicherbedarf und die Prozessorleistung. Auf Grundlage dieser Schätzung kann man vorhersagen, ob das Fahrzeug überhaupt in der Lage ist, die Strecke autonom zu bewältigen.
-
Die Daten von den anderen Fahrzeugen werden ohne persönliche Daten gespeichert und verarbeitet. So sind diese Daten anonym.
-
Als Input werden alle Informationen verwendet, die in Bezug zur Strecke, zu Verfügung stehen, beispielsweise Daten der Verkehrsüberwachung, örtliche Veranstaltungskalender oder Wetter. Das sind auch die Daten, die durch das eigene Fahren gesammelt wurden. Zudem werden parallel dazu die benötigten Ressourcen überwacht und gespeichert, vorzugsweise persistent gespeichert. In der Regel fährt ein Fahrzeug häufig dieselben Strecken, beispielsweise Arbeitsweg. Informationen über Strecken, die häufig gefahren werden, lassen sich statistisch auswerten. Aus solchen Auswertungen bekommt man Informationen, zu welchem Zeitpunkt, das heißt Uhrzeit, Wochentag, Datum, und an welcher Stelle, beispielsweise mittels GPS, wieviel Ressourcen benötigt werden. Mit diesen Datensätzen werden künstliche neuronale Netze, beispielsweise ein VGG Net, oder LSTM, trainiert. Das trainierte Netz bekommt als Input die aktuelle Uhrzeit, die GPS Koordinaten und die geplante Route, sowie alle anderen Daten. Als Output liefert das Netz für jede Position und für jede Zeit, für die geplante Route, eine Vorhersage für den Ressourcen-Verbrauch.
-
Die Vorhersage kann auch online/kontinuierlich erfolgen, beispielsweise jede Minute. So bekommt man stetig eine aktuelle Vorhersage und kann auf Engpässe besser reagieren.
-
Weitere Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
-
Gemäß einer Ausführungsform der Erfindung werden die Datenpaare während realen oder simulierten Fahrten des Fahrzeuges erzeugt werden und/oder über V2X-Datenübertragung von Fremdfahrzeugen erhalten und/oder den Fremdfahrzeugen bereitgestellt. Die während den Fahrten an den Positionen benötigten Rechenressourcen und/oder Speicherressourcen werden zusammen mit den jeweiligen Positionen gespeichert werden.
-
Das Erzeugen der Daten während realen Fahrten hat den Vorteil, dass auch die Daten, die durch das eigene, persönliche Fahren gesammelt wurden, ausgewertet werden. Damit lassen sich Informationen über Strecken, die häufig gefahren werden, auswerten. Das Erzeugen der Daten während simulierten Fahrten hat den Vorteil, dass ein größeres Volumen an Daten dem Lernverfahren bereitgestellt wird als im Vergleich zu dem begrenzten Volumen an Daten aus realen Fahrten.
-
Nach einem Aspekt der Erfindung werden verschiedene Routen berechnet, die sich in der Gesamtbelastung der Ressourcen unterscheiden. Bei dem persönlichen Fahren während des Lernverfahrens als auch beim Einsatz des ausgelernten Algorithmus ist der Fahrer frei, eine von vorgeschlagenen Routen zu wählen. Für den Fall, dass der Fahrer schnell ein Ziel erreichen will, wählt er die schnellste Route. Die schnellste Route kann relativ viel Ressourcen benötigen. Routen, die wenig Ressourcen benötigen, sind in der Regel Routen, die relativ unkritisch sind, beispielsweise im Hinblick auf eine Unfallwahrscheinlichkeit.
-
Mittels V2X-Datenübertragung werden Daten von Fahrzeug externen Sensoren, beispielsweise Sensoren der Infrastruktur (V21) oder Daten von Sensoren anderer Fahrzeuge (V2V) erhalten. Das Erhalten und/oder Bereitstellen der Daten über V2X-Datenübertragung ermöglicht, dass Umgebungsdaten eines Fahrzeuges und/oder Umgebungsdaten einer intelligenten Verkehrsinfrastruktur, beispielsweise Daten von intelligenten Ampeln, erhalten und/oder der Allgemeinheit zur Verfügung gestellt werden. Dies ermöglicht das Erzeugen von Echtzeit-Karten eines Straßenverkehrsaufkommens.
-
Gemäß einer weiteren Ausführungsform der Erfindung umfassen die Straßenverkehrsdaten Daten über Verkehrsaufkommen, umfassend Verkehrsflüsse, Baustellen, Straßensperrungen und/oder Durchfahrtsverbote, an den Positionen und/oder zu Zeitpunkten.
-
Dies hat den Vorteil, dass bei der Erfassung der Straßenverkehrsdaten auch besondere Verkehrsereignisse, wie etwa besonders hohe Verkehrsaufkommen oder Verkehrsflüsse, Baustellen, Straßensperrungen und/oder Durchfahrtsverbote, berücksichtigt werden. Insbesondere bei derartigen Verkehrsereignissen, bei denen eine hohe Verkehrsdichte zu erwarten ist, sind relativ viele Objekte von dem Steuergerät im Umfeld des Fahrzeuges zu erkennen, um die automatisierte Fahrzeugregelung und/oder -steuerung in einem sicheren Betriebszustand zu bewältigen. Insbesondere in derartigen Situationen ist das erfindungsgemäße Ressourcen Management vorteilhaft. Der Algorithmus lernt damit beispielsweise, dass bei hohen Verkehrsaufkommen besonders viel Ressourcen für den automatisierten Betrieb des Fahrzeuges auf den betroffenen Routen reserviert werden müssen.
-
Zeitpunkte umfassen Uhrzeiten, Wochentage oder Jahrestage als Datum. Die Zeitpunkte ermöglichen vorteilhaferweise, dass zusätzlich für jede Position auch für jede Zeitpunkte entlang einer geplanten Route eine Vorhersage für den Ressourcen Verbrauch ermöglicht wird. Beispielsweise kann sich ein Verkehrsaufkommen an einem Montagmorgen von einem Verkehrsaufkommen auf derselben Route an einem Freitagnachmittag und damit ein Verbrauch von Ressourcen für automatisierte Fahrfunktionen unterscheiden.
-
Gemäß einer weiteren Ausführungsform der Erfindung umfasst der erste Bestandteil der Datenpaare Wetterinformationen, Veranstaltungstermine und/oder Daten einer Verkehrsinfrastruktur. Der zweite Bestandteil der Datenpaare umfasst die Auslastungen der Rechenressourcen und/oder der Speicherressourcen des Rechensystems zu Zeitpunkten. Die Auslastungen werden zusammen mit den jeweiligen Positionen und Zeitpunkten ausgegeben. Die erhaltenen Daten werden mit Mitteln der Statistik ausgewertet.
-
Damit werden beispielsweise Unwetterwarnungen erfasst. Bei Unwettern, beispielsweise starkem Niederschlag, erfordern automatisierte Fahrfunktionen besonders viel Rechen- und Speicherressourcen, was bei dem Ressourcen Management zu berücksichtigen ist.
-
Veranstaltungstermine umfassen beispielsweise Messen. Bei Messen ist insbesondere auf Routen, die das Einzugsgebiet einer Messe umfassen, mit einem hohen Verkehrsaufkommen zu rechnen.
-
Der Algorithmus lernt damit beispielsweise, dass bei Unwetterwarnungen oder Messen besonders viel Ressourcen für den automatisierten Betrieb des Fahrzeuges auf den betroffenen Routen reserviert werden müssen.
-
Die Auslastungen werden beispielsweise als Listen ausgegeben mit Einträgen, an welchen Positionen einer Route und zu welchen Zeitpunkten welche Rechen- und/oder Speicherressourcen anfallen oder nicht genutzt und damit für Dritte, beispielsweise Nutzer, frei zur Verfügung stehen.
-
Gemäß einer weiteren Ausführungsform der Erfindung werden die Datenpaare mit einem künstlichen neuronalen Netzwerk prozessiert und die Auslastungen Gradienten basiert gelernt.
-
Ein künstliches neuronales Netzwerk ist ein Beispiel für einen Algorithmus aus dem Bereich des maschinellen Lernens, das gute Klassifikationsergebnisse liefern kann. Gradienten basiertes Lernen bezieht sich auf die Minimierung einer Kostenfunktion durch Einstellen von Gewichten von Neuronen des künstlichen neuronalen Netzwerks mittels Fehlergradienten Rückführung, auch gradient back propagation genannt, siehe beispielsweise Y. LeCun et al., „Gradient-Based Learning Applied to Document Recognition", Proc. Of The IEE, November 1998. Gradienten basiertes Lernen ist ein überwachtes Lernen. Durch überwachtes Lernen sind Ausgaben des künstlichen neuronalen Netzwerks besser verifizierbar als beispielsweise durch unüberwachtes Lernen. Das künstliche neuronale Netzwerk ist beispielsweise ein VGG-Net oder ein LSTM.
-
Eine weitere Ausführungsform des erfindungsgemäßen Steuergeräts umfasst eine dritte Schnittstelle, über die wenigstens ein Nutzer bei Verwendung des Steuergeräts während Fahrten des Fahrzeuges auf aktuell nicht genutzte Rechenressourcen und/oder Speicherressourcen des ersten Rechensystems zugreifen kann, um Nutzerdaten von dem Rechensystem verarbeiten zu lassen. Das Steuergerät ist ausgeführt, benötigte Rechenressourcen und/oder Speicherressourcen für die Nutzerdaten in Abhängigkeit der zu erwartenden Auslastungen zu allokieren.
-
Mittels der dritten Schnittstelle kann ein Nutzer auf diese freien Rechen- und/oder Speicherressourcen zugreifen und damit seine eigenen Nutzerdaten von dem Steuergerät verarbeiten lassen. Der Nutzer ist beispielsweise ein Fahrgast, der von einem Fahrzeug mit dem erfindungsgemäßen Steuergerät gefahren wird. Während der Fahrt kann der Nutzer freie Rechenleistung des Steuergeräts nutzen, um seine Daten abarbeiten zu lassen. Da das Steuergerät ausgeführt ist, Veränderungen von benötigten Rechenressourcen und/oder Speicherressourcen für das Regeln und/oder das automatisierte Steuern von Längs- und/oder Querführung des Fahrzeuges und die Nutzerdaten durch automatische Zuweisung der Ressourcen anzupassen, kann dem Nutzer mögliche freie Rechenleistung und Speicherleistung bereitgestellt werden, wobei sichergestellt ist, dass ausreichend Ressourcen für den automatisierten Betrieb des Fahrzeuges vorgehalten werden. Für den Nutzer entstehen keine Wartezeiten. Ist die dritte Schnittstelle als Funkschnittstelle ausgeführt, kann der Nutzer auch vor, nach oder unabhängig von einer Fahrt mit dem Fahrzeug auf die Rechenleistung dessen erfindungsgemäßen Steuergeräts über Funktechnologie, zum Beispiel 5G Technologie, zugreifen. Ist der Nutzer zum Beispiel ein Passagier, der an einer Haltestelle auf eine Transportdienstleistung wartet, kann der Passagier schon während des Wartens auf das Transportmittel mit dem erfindungsgemäßen Steuergerät auf dessen freie Rechenleistung und/oder Speicherleistung zugreifen. Der Nutzer kann auch ein Unternehmen sein. Das Unternehmen kann Datenpakete von dem Steuergerät verarbeiten lassen. Als Nutzer wird auch ein zweites Steuergerät verstanden, das Rechen- und/oder Speicherressourcen eines anderen Steuergeräts nutzen kann, falls keine eigenen Rechen- und/oder Speicherressourcen verfügbar sind. Da das Steuergerät aufgrund seiner hohen Rechenleistungen nach einem Aspekt der Erfindung auch kryptographische Berechnungen, Anomalieerkennungen und Plausibilitätschecks durchführen kann, kann der Nutzer auch kritische, vertrauensvolle Daten verarbeiten lassen. Ferner kann über die dritte Schnittstelle ein Steuergerät eines Egofahrzeuges auch Ausführungsbefehle eines erfindungsgemäßen Steuergeräts eines Fremdfahrzeuges erhalten.
-
Damit wird ein mobiles Rechenzentrum realisiert. Bekannte stationäre Rechenzentren bieten Rechenleistung an. Nutzer werden dabei nacheinander bedient. Damit entstehen Wartezeiten. Bekannte stationäre Rechenzentren sind auf Räumlichkeiten angewiesen, um die Rechentechnik unterzubringen, und auf eine Organisation, die sich um die Rechner kümmert. Mit dem erfindungsgemäßen mobilen Rechenzentrum sind keine Räumlichkeiten und keine Organisation erforderlich. Mit dem erfindungsgemäßen mobilen Rechenzentrum werden Wartezeiten vermieden. Weitere Vorteile mobiler Rechenzentren sind, dass diese schwerer zu orten sind als stationäre Rechenzentren, einfacher verlagert werden können, beispielsweise in andere Länder mit anderen gesetzlichen Rahmenbedingungen, einfacher abgekoppelt werden können, um beispielsweise Datenschutzbestimmungen zu erfüllen und bei Ausfall schnell durch ein anderes derartiges mobiles Rechenzentrum ersetzt werden können. Durch die lokale Verarbeitung der Nutzerdaten in dem Steuergerät des Fahrzeuges realisiert das mobile Rechenzentrum ein sogenanntes edge-computing. Damit entspricht das mobile Rechenzentrum einem Gegenstück zu cloud-computing, einem Verfahren, bei dem Daten zentral in einer Cloud berechnet werden.
-
Gemäß einer weiteren Ausführungsform umfasst das Rechensystem mehrere Prozessiereinheiten. Das Steuergerät ist ausgeführt, die Prozessiereinheiten in Abhängigkeit der zu erwartenden Auslastungen zu allokieren.
-
Prozessiereinheiten umfassen beispielsweise Prozessoren (CPU, GPU), Kerne von Prozessoren oder Mehrkernprozessoren. Damit ist es möglich, dass nur ein Rechensystem für den automatisierten Betrieb des Fahrzeuges und zum parallelen Verarbeiten von Nutzerdaten verwendet wird. Durch die erfindungsgemäße Allokation der Prozessiereinheiten ist sichergestellt, dass stets eine ausreichende Anzahl an Prozessiereinheiten bereitgestellt ist, um den automatisierten Betrieb des Fahrzeuges zu regeln und/oder zu steuern. Damit ist die Erfindung auch funktional sicher. Insbesondere kann mit der Erfindung ein ASIL Level D für das Steuergerät hinsichtlich Verarbeitung von Nutzerdaten während Fahrten des Fahrzeuges erreicht werden.
-
Gemäß einer weiteren Ausführungsform umfasst das Steuergerät mehrere Rechensysteme. Wenigstens ein Rechensystem dieser Rechensysteme verarbeitet ausschließlich die Daten, um Steuerungsbefehle in Abhängigkeit der Umgebungserkennung zu bestimmen. Weitere Rechensysteme dieser Rechensysteme verarbeiten die Nutzerdaten. Das Steuergerät ist ausgeführt, die Rechenressourcen und/oder Speicherressourcen dieser Rechensysteme in Abhängigkeit der zu erwartenden Auslastungen zu allokieren.
-
Damit wird vorteilhafterweise eine gesicherte Verfügbarkeit von Ressourcen bereitgestellt mit einer geringen Ausfallwahrscheinlichkeit des Gesamtsystems.
-
Nach einem Aspekt der Erfindung umfasst das erfindungsgemäße Fahrzeug ein derartiges Steuergerät mit mehreren Rechensystemen. Nach einem weiteren Aspekt der Erfindung umfasst das erfindungsgemäße Fahrzeug mehrere Steuergeräte mit jeweils einem Rechensystem, wobei wenigstens eines dieser Steuergerät ausschließlich den automatisierten Betrieb des Fahrzeuges regelt und/oder steuert. Mit anderen Worten werden in einem Fahrzeug mehrere Rechensysteme installiert.
-
In einer weiteren Ausführungsform des von dem ersten erfindungsgemäßen Steuergerät ausgeführten Verfahrens werden zur Durchführung des Verfahrens ein erfindungsgemäß automatisiert betreibbares Fahrzeug als ein mobiles Rechenzentrum oder mehrere erfindungsgemäß automatisiert betreibbare Fahrzeuge als ein Rechnerverbund verwendet.
-
Der Rechenverbund hat den Vorteil, dass zur Berechnung besonders rechenintensiver und/oder speicherintensiver Probleme einzelne mobile Rechenzentren zusammengeschlossen werden können. Damit wird eine hohe Skalierbarkeit erreicht. Der Rechenverbund stellt ein mobiles grid-computing bereit. Wird zum Beispiel während der Fahrt mit dem Fahrzeug die gesamte Rechenleistung des ersten Steuergeräts für automatisiertes Fahren verwendet, kann der Nutzer, hier der Fahrgast, seine Nutzerdaten an ein zweites Steuergerät eines anderen Fahrzeuges übertragen.
-
In einer weiteren Ausführungsform umfasst das Computerprogramm Ausführungsbefehle, die bei der Ausführung des Computerprogramms durch ein erstes erfindungsgemäßes Steuergerät dieses veranlassen, durch Ausführung der Schritte des Erhaltens der Nutzerdaten und des Prüfens von Vorhandensein aktuell nicht genutzter Rechenressourcen und/oder Speicherressourcen für den Fall, dass nicht genutzte Rechenressourcen und/oder Speicherressourcen nicht vorhanden sind, die Nutzerdaten an ein zweites erfindungsgemäßes Steuergerät zu übertragen.
-
Gemäß einer weiteren Ausführungsform umfasst das Computerprogramm Ausführungsbefehle, die bei der Ausführung des Computerprogramms durch das zweite Steuergerät dieses veranlassen, die Nutzerdaten von dem ersten Steuergerät zu erhalten und das erfindungsgemäße Verfahren auszuführen.
-
Die beiden zuvor genannten Ausführungsformen des Computerprogramms realisieren ein verteiltes Rechnen auf mehreren Steuergeräten bereit.
-
Die Aufgabe der Erfindung wird auch von einem erfindungsgemäßen computerlesbaren Datenträger gelöst. Auf dem Datenträger ist das erfindungsgemäße Computerprogrammprodukt gespeichert. Der Datenträger ist beispielweise ein USB-Stick, eine SD-Karte, vorteilhafterweise eine SD-Karte mit integrierter WLAN-Funktion, eine CD, DVD, oder eine BlueRayDisc.
-
Die Erfindung schließt den Aspekt des Vermietens von Fahrzeugen mit einem erfindungsgemäßen Steuergerät oder des Vermietens von mobilen Rechenzentren mit ein. Damit wird Rechen- und/oder Speicherleistung vermietet.
-
Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:
- 1 ein Ausführungsbeispiel eines erfindungsgemäßen Steuergeräts,
- 2 ein Ausführungsbeispiel eines erfindungsgemäßen mobilen Rechenzentrums,
- 3 ein Ausführungsbeispiel eines erfindungsgemäßen Rechnerverbundes,
- 4 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens und
- 5 ein Ausführungsbeispiel eines erfindungsgemäßen computerimplementierten Verfahrens zum maschinellen Lernen einer Auslastung von Rechenressourcen und/oder Speicherressourcen eines Rechensystems für automatisierte Fahrfunktionen.
-
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.
-
1 zeigt ein Steuergerät 10, 20 für automatisiertes Fahren. Das Steuergerät 10, 20 ist in einem Schutzgehäuse 17 untergebracht. Eine erste Schnittstelle 11 ist eine erste Eingangsschnittstelle, über die Daten von Sensoren 3, beispielsweise ADAS-Kameras für Außenbereich oder Innenraumkameras, siehe auch 2, zur Umfelderkennung erhalten werden. Eine zweite Schnittstelle 18 ist eine Schnittstelle zu Aktuatoren eines Fahrzeuges 2, über die die Aktuatoren mit von dem Steuerungsgerät 10, 20 berechneten Steuerungsbefehlen für Längs- und/oder Querführung angesteuert werden.
-
Die Steuerungsbefehle werden in Abhängigkeit von der sensoriellen Umfelderkennung von einem Rechensystem 12 des Steuergeräts 10, 20 berechnet. Das Rechensystem 12 umfasst einen Mehrkernprozessor 13. Der Mehrkernprozessor 13 umfasst beispielsweise sechs Zentralprozessoren 14a, 14b, 14c. Das Rechensystem 12 umfasst auch einen Grafikprozessor 15. Um die Funktionalitäten des Grafikprozessors 15 zu steigern umfasst das Rechensystem 12 auch spezielle Beschleuniger und insbesondere deep learning accelerators, um eine hohe Rechenleistung bereitzustellen. Das Rechensystem 12 umfasst auch einen Speicher 16.
-
Das Steuergerät 10, 20 umfasst auch eine dritte Schnittstelle 19. Über die dritte Schnittstelle 19 greift ein Nutzer 1 auf freie Rechen-und/oder Speicherleistung des Steuergeräts 10, 20 zu, um Nutzerdaten von dem Steuergerät 10, 20 verarbeiten zu lassen.
-
2 zeigt ein mobiles Rechenzentrum 30. Das mobile Rechenzentrum 30 wird erfindungsgemäß mit einem Fahrzeug 2 und beispielsweise mit vier darin integrierten erfindungsgemäßen Steuergeräten 10, 20 realisiert. Eines dieser Steuergeräte 10, 20 verarbeitet ausschließlich Daten in Bezug auf automatisierten Fahrbetrieb. Die restlichen Steuergeräte 10, 20 stellen zusätzliche Ressourcen bereit, um auch Nutzerdaten zu verarbeiten. Erfindungsgemäß ist auch nur ein Steuergerät 10, 20 vorgesehen, das Daten für den automatisierten Fahrbetrieb und Nutzerdaten verarbeitet in Abhängigkeit der erfindungsgemäßen automatischen Allokation der Ressourcen.
-
3 zeigt einen Verbund mehrerer mobilen Rechenzentren 30 mit beispielsweise jeweils einem Steuergerät 10, 20 zu einem mobilen Rechnerverbund 40. Die mobilen Rechenzentren 30 sind zu einem grid zusammengeschlossen.
-
Das von einem ersten erfindungsgemäßen Steuergerät 10 ausgeführte erfindungsgemäße Verfahren ist beispielsweise in 4 gezeigt. Die Schritte des Verfahrens werden von den Steuergeräten 10, 20 ausgeführt. In einem ersten Verfahrensschritt V1 werden Nutzerdaten erhalten, insbesondere über die dritte Schnittstelle 19. In einem zweiten Verfahrensschritt V2 prüft das erste Steuergerät 10 während einer Verwendung in dem Fahrzeug 2, ob aktuell nicht genutzte Rechenressourcen und/oder Speicherressourcen des ersten Steuergeräts 10 in Abhängigkeit eines Regelns und/oder eines automatisierten Steuerns von Längs- und/oder Querführung des Fahrzeuges 2 vorhanden sind.
-
Falls diese Prüfung ergibt, dass Rechen- und/oder Speicherressourcen frei sind, werden in einem dritten Verfahrensschritt V3 die aktuell nicht genutzten Rechenressourcen und/oder Speicherressourcen für die Verarbeitung der Nutzerdaten bereitgestellt. In einem vierten Verfahrensschritt V4 werden die Nutzerdaten mit den bereitgestellten Rechenressourcen und/oder Speicherressourcen von dem ersten Steuergerät 10 verarbeitet. In einem fünften Verfahrensschritt V5 werden die verarbeiteten Nutzerdaten an den Nutzer 1 übertragen.
-
Falls die Prüfung in dem Verfahrensschritt V2 ergibt, dass Rechen- und/oder Speicherressourcen des ersten Steuergeräts 10 nicht frei sind, werden in einem sechsten Verfahrensschritt V6 die Nutzerdaten von dem ersten Steuergerät 10 an das zweite erfindungsgemäße Steuergerät 20 eines anderen Fahrzeuges 2, das heißt an ein anderes mobiles Rechenzentrum 30 des Rechnerverbundes 40, übertragen. Das zweite Steuergerät 20 führt dann in einem Verfahrensschritt V7 das erfindungsgemäße Verfahren ab dem Verfahrensschritt V1 aus.
-
Das erfindungsgemäße Computerprogrammprodukt umfasst die erforderlichen Befehle, um die Verfahrensschritte des Übertragens der Nutzerdaten von dem ersten Steuergerät 10 auf das zweite Steuergerät 20 und die Ausführung des Verfahrens auf dem zweiten Steuergerät 20 auszuführen für den Fall, dass das erste Steuergerät 10 keine freie Rechenressourcen und/oder Speicherressourcen zur Verfügung stellen kann.
-
5 zeigt das erfindungsgemäße computerimplementierte Verfahren zum maschinellen Lernen einer Auslastung von Rechenressourcen und/oder Speicherressourcen eines Rechensystems für automatisierte Fahrfunktionen. In einem Schritt L1 werden Datenpaaren bereitgestellt umfassend als einen ersten Bestandteil zumindest Stra-ßenverkehrsdaten zu Routen und als einen zweiten Bestandteil die Auslastungen der Rechenressourcen und/oder der Speicherressourcen des Rechensystems an zumindest Positionen auf den Routen. In einem Schritt L2 werden die Datenpaare prozessiert mit einem Algorithmus aus dem Bereich des maschinellen Lernens, um zu einer in den Algorithmus eingegebenen, beabsichtigt zu fahrenden Route und in den Algorithmus eingegebenen Positionen auf der Route die Auslastungen der Rechenressourcen und/oder der Speicherressourcen des Rechensystems an den Positionen zu lernen . In einem Schritt L3 werden diese Auslastungen zusammen mit den jeweiligen Positionen ausgegeben.
-
Bezugszeichenliste
-
- 1
- Nutzer
- 2
- Fahrzeug
- 10
- Steuergerät
- 11
- erste Schnittstelle
- 12
- Rechensystem
- 13
- Mehrkernprozessor
- 14a
- Zentralprozessor
- 14b
- Zentralprozessor
- 14c
- Zentralprozessor
- 15
- Grafikprozessor
- 16
- Speicher
- 17
- Schutzgehäuse
- 18
- zweite Schnittstelle
- 19
- dritte Schnittstelle
- 20
- Steuergerät
- 30
- mobiles Rechenzentrum
- 40
- Rechnerverbund
- L1-L3
- Verfahrensschritte
- V1-V7
- Verfahrensschritte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- Y. LeCun et al., „Gradient-Based Learning Applied to Document Recognition“, Proc. Of The IEE, November 1998 [0047]