DE102020130886A1

DE102020130886A1 - Verfahren, System und Computerprogrammprodukt zur Erkennung von Bewegungen des Fahrzeugsaufbaus bei einem Kraftfahrzeug

Info

Publication number: DE102020130886A1
Application number: DE102020130886.8A
Authority: DE
Inventors: Yannik Peters; Matthias Stadelmayer
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2020-11-23
Filing date: 2020-11-23
Publication date: 2022-05-25
Also published as: KR20230170614A; KR20220071116A; JP7309817B2; JP2022082510A; US20220165067A1

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von Bewegungen des Fahrzeugaufbaus (12) bei einem Kraftfahrzeug (10) mittels einer Datenanalyseeinrichtung (40), umfassend:- Aufnehmen (S10) von Bild- und Sensordaten (32) mittels einer Kamera- und Sensoreinrichtung (30) eines zweiten Kraftfahrzeugs (20), wobei die Bild- und Sensordaten (32) die Umgebung des Kraftfahrzeugs (20) mit zumindest dem ersten Kraftfahrzeug (10) repräsentieren;- Weitergeben (S20) der Bild- und Sensordaten (32) an die Datenanalyseeinrichtung (40), wobei die Datenanalyseeinrichtung (40) ein Erkennungssystem (400) zur Erkennung von Bewegungen des Fahrzeugaufbaus (12) bei dem ersten Kraftfahrzeug (10) umfasst, welches Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und der maschinellen Bildanalyse verwendet;- Bearbeiten (S30) der Bild- und Sensordaten (32) in der Datenanalyseeinrichtung (40) mittels des Erkennungssystems (400), um Bewegungen des Fahrzeugaufbaus (12) zu klassifizieren;- Zuordnen (S40) der klassifizierten Bewegungen des Fahrzeugaufbaus (12) zu zumindest einem Zustand (Sj) aus einer Menge von definierten Zuständen (S1, S2, ..., Sn);- Erzeugen (S50) von Ausgabedaten (450) aus dem ermittelten Zustand (Sj) zur weiteren Verwendung in einer automatisierten Fahrfunktion und/oder für eine Benutzerschnittstelle (70).

Description

Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur Erkennung von Bewegungen des Fahrzeugaufbaus bei einem Kraftfahrzeug.
Wenn ein Kraftfahrzeug von einer Person gesteuert wird, dann beobachtet der Fahrer des Fahrzeugs sehr genau und intuitiv, ob irgendwelche möglichen Gefahrenquellen sich auf dem Fahrweg befinden. Insbesondere werden vorausfahrende Fahrzeuge genau beobachtet, um unterschiedliche Informationen zu gewinnen, wie beispielsweise die Geschwindigkeit des vorausfahrenden Fahrzeugs oder ob ein Überholmanöver geplant ist. Dabei wird auch beobachtete, ob sich der Fahrzeugaufbau des Fahrzeugs geradlinig bewegt oder ob schwankende seitliche Bewegungen oder Auf- und Abwärtsbewegungen auftreten, die auf Bodenwellen oder Hindernisse auf der Fahrbahn hinweisen können. Ein menschlicher Fahrer übt diese Beobachtungen intuitiv während des Fahrens aus und ihm ist häufig gar bewusst, wie er die Informationen verarbeitet, einer möglichen Gefahrensituation zuordnet und entsprechend das Fahrzeug steuert.
Bei teil-autonom und autonom fahrenden Fahrzeugen werden Kamerasysteme und Sensoren eingesetzt, um Informationen über die Umgebung des Fahrzeugs zu gewinnen. Die Entwicklung des hochautomatisierten Fahrens (HAF) geht daher einher mit einer Erhöhung der Anforderungen an Fahrzeugsensorsysteme zur Aufnahme von geeigneten Sensordaten wie insbesondere Bilddaten. Zudem müssen die aufgenommenen Sensordaten sorgfältig interpretiert werden, um daraus die richtigen Schlussfolgerungen hinsichtlich einer möglichen Gefahrensituation zu gewinnen.
Die DE 102018104011 A1 beschreibt eine Fahrunterstützungseinrichtung mit einer Führungsrouten-Vorgabeeinheit, einer Fahrumgebungsinformations-Ermittlungseinheit, einer Zielfahrweg-Vorgabeeinheit, einer Steuereinheit zum Aufrechterhalten des Fahrzeugabstands, einer Berechnungseinheit für ein laterales Bewegungsausmaß, einer Hindernis-Ausweichvorgang-Detektionseinheit sowie einer Nachfolgesteuerung, um einem vorausfahrenden Fahrzeug zu folgen. Die Berechnungseinheit für ein laterales Bewegungsausmaß berechnet ein laterales Bewegungsausmaß des vorausfahrenden Fahrzeugs. Die Hindernis-Ausweichvorgang-Detektionseinheit detektiert einen Hindernis-Ausweichvorgang des vorausfahrenden Fahrzeugs.
Eine Aufgabe der vorliegenden Erfindung besteht daher darin, ein Verfahren, ein System und ein Computerprogrammprodukt zur Erkennung von Bewegungen des Fahrzeugaufbaus bei einem Kraftfahrzeug zu schaffen, das sich durch eine hohe Zuverlässigkeit und effiziente Verwendung von Rechenkapazitäten auszeichnet.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 9, und hinsichtlich eines Computerprogrammprodukt durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zur Erkennung von Bewegungen des Fahrzeugaufbaus bei einem Kraftfahrzeug mittels einer Datenanalyseeinrichtung. Das Verfahren umfasst die folgenden Verfahrensschritte:

- Aufnehmen von Bild- und Sensordaten mittels einer Kamera- und Sensoreinrichtung eines zweiten Kraftfahrzeugs, wobei die Bild- und Sensordaten die Umgebung des zweiten Kraftfahrzeugs mit zumindest dem ersten Kraftfahrzeug repräsentieren;
- Weitergeben der Bild- und Sensordaten an die Datenanalyseeinrichtung, wobei die Datenanalyseeinrichtung ein Erkennungssystem zur Erkennung von Bewegungen des Fahrzeugaufbaus des ersten Kraftfahrzeugs umfasst, welches Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und der maschinellen Bildanalyse verwendet;
- Bearbeiten der Bild- und Sensordaten in der Datenanalyseeinrichtung mittels des Erkennungssystems, um mögliche Bewegungen des Fahrzeugaufbaus zu klassifizieren.;
- Zuordnen der klassifizierten Bewegungen des Fahrzeugaufbaus zu zumindest einem Zustand S_j aus einer Menge von definierten Zuständen S₁, S₂, ..., S_n;
- Erzeugen von Ausgabedaten aus dem ermittelten Zustand S_j zur weiteren Verwendung in einer automatisierten Fahrfunktion und/oder für eine Benutzerschnittstelle.

In einer Weiterbildung der Erfindung ist vorgesehen, dass die Bearbeitung der Bild- und Sensordaten und die Erzeugung von Ausgabedaten in Echtzeit erfolgt.
In einer Ausführungsform umfasst das Erkennungssystem ein Analysemodul und ein Klassifizierungsmodul.
Vorteilhafterweise verwendet das Erkennungssystem Deep Learning mit einem neuronalen Netzwerk.
Insbesondere ist das neuronale Netzwerk als gefaltetes neuronales Netzwerk (convolutional neural network) ausgebildet.
In einer Weiterentwicklung ist vorgesehen, dass das Klassifizierungsmodul Merkmale M₁, M₂, ..., M_n von Bewegungen eines Fahrzeugaufbaus bei einem Kraftfahrzeug enthält, die in einer Trainingsphase des Klassifizierungsmoduls bestimmt oder vorab definiert wurden.
Vorteilhafterweise werden die Bild- und Sensordaten mittels einer Mobilfunkverbindung an die Datenanalyseeinrichtung übertragen, wobei insbesondere 5G-Funkmodule verwendet werden.
In einer Ausführungsform ist vorgesehen, dass die Bild- und Sensoreinrichtung eine Action-Kamera und/oder akustische Sensoren und/oder ein LiDAR-System und/oder ein Ultraschallsystem und/oder ein Radarsystem umfasst.
Gemäß einem zweiten Aspekt betrifft die Erfindung ein System zur Erkennung von Bewegungen des Fahrzeugaufbaus bei einem Kraftfahrzeug. Das System umfasst eine Bild- und Sensoreinrichtung eines zweiten Kraftfahrzeugs zur Aufnahme von Bild- und Sensordaten und eine Datenanalyseeinrichtung. Die Bild- und Sensordaten repräsentieren die Umgebung des zweiten Kraftfahrzeugs mit zumindest dem ersten Kraftfahrzeug. Die Datenanalyseeinrichtung umfasst ein Erkennungssystem zur Erkennung von Bewegungen des Fahrzeugaufbaus bei dem ersten Kraftfahrzeug. Das Erkennungssystem verwendet Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und der maschinellen Bildanalyse. Die Datenanalyseeinrichtung ist ausgebildet, die Bild- und Sensordaten mittels des Erkennungssystems zu bearbeiten, mögliche Bewegungen des Fahrzeugaufbaus zu klassifizieren, den klassifizierten Bewegungen des Fahrzeugaufbaus zumindest einen Zustand S_j aus einer Menge von definierten Zuständen S₁, S₂, ..., S_n zuzuordnen und Ausgabedaten aus dem ermittelten Zustand S_j zur weiteren Verwendung in einer automatisierten Fahrfunktion und/oder für eine Benutzerschnittstelle zu erzeugen.
In einer Weiterbildung der Erfindung ist vorgesehen, dass die Bearbeitung der Bild- und Sensordaten und die Erzeugung von Ausgabedaten in Echtzeit erfolgt.
In einer Ausführungsform umfasst das Erkennungssystem ein Analysemodul und ein Klassifizierungsmodul.
Vorteilhafterweise verwendet das Erkennungssystem Deep Learning mit einem neuronalen Netzwerk, welches insbesondere als gefaltetes neuronales Netzwerk (convolutional neural network) ausgebildet ist.
Insbesondere enthält das Klassifizierungsmodul Merkmale M₁, M₂, ..., M_n von Bewegungen des Fahrzeugaufbaus eines Kraftfahrzeugs, die in einer Trainingsphase des Klassifizierungsmodules bestimmt oder vorab definiert wurden.
In einer Weiterentwicklung werden die Bild- und Sensordaten mittels einer Mobilfunkverbindung an die Datenanalyseeinrichtung übertragen, wobei insbesondere 5G-Funkmodule verwendet werden.
Insbesondere umfasst die Bild- und Sensoreinrichtung eine Action-Kamera und/oder akustische Sensoren und/oder ein LiDAR-System und/oder ein Ultraschallsystem und/oder ein Radarsystem.
Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogrammprodukt, umfassend einen ausführbaren Programmcode, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.
Nachfolgend wird die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert.
Dabei zeigt:

1 eine schematische Darstellung eines erfindungsgemäßen Systems zur Erkennung von Bewegungen des Fahrzeugaufbaus bei einem Kraftfahrzeug;
2 ein Ausführungsbeispiel eines Erkennungssystems gemäß der Erfindung;
3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
4 ein Computerprogrammprodukt gemäß einer Ausführungsform der des dritten Aspekts der Erfindung.

Zusätzliche Merkmale, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.
In 1 ist das erfindungsgemäße System 100 dargestellt. Ein vorausfahrendes Kraftfahrzeug 10 weist einen Fahrzeugaufbau 12 auf und wird von einem ihm folgenden Kraftfahrzeug 20 beobachtet. Das zweite Kraftfahrzeug 20 verfügt über eine Kamera- und Sensoreinrichtung 30 zur Aufnahme von Bild- und Sensordaten 32 in einem Aufnahmebereich. Die Kamera- und Sensoreinrichtung 30 nimmt die Umgebung des Kraftfahrzeugs 20 in dem Aufnahmebereich auf, der insbesondere auf eine vor dem Kraftfahrzeug 20 liegende Fahrbahn 22 ausgerichtet ist, auf der sich das erste Kraftfahrzeug 10 befindet. Der Fahrzeugaufbau 12 des Fahrzeugs 10 kann sich dabei geradlinig bewegen oder es treten schwankende seitliche Bewegungen oder Auf- und Abwärtsbewegungen auf, die auf Bodenwellen oder Hindernisse auf der Fahrbahn hinweisen können. Des Weiteren können Brems- und Beschleunigungsvorgänge stattfinden, so dass sich der Fahrzeugaufbau 12 mit einer geänderten Geschwindigkeit bewegt. Die Kamera- und Sensoreinrichtung 30 gibt die aufgenommenen Bild- und Sensordaten 32 an eine Datenanalyseeinrichtung 40 zur weiteren Verarbeitung weiter.
Die Kamera- und Sensoreinrichtung 30 umfasst insbesondere eine RGB-Kamera 35 im sichtbaren Bereich mit den Grundfarben Blau, Grün und Rot. Es kann aber auch noch zusätzlich eine UV-Kamera im ultravioletten Bereich und/oder eine IR-Kamera im infraroten Bereich vorgesehen sein. Die sich durch ihr Aufnahmespektrum unterscheidenden Kameras können somit unterschiedliche Lichtverhältnisse in dem Aufnahmebereich abbilden.
Die Aufnahmefrequenz der Kamera der Kamera- und Sensoreinrichtung 30 ist für schnelle Geschwindigkeiten des vorausfahrenden Fahrzeugs 10 ausgelegt und kann Bilddaten 32 mit einer hohen Bildaufnahmefrequenz aufzunehmen. Des Weiteren kann die Kamera- und Sensoreinrichtung 30 mit akustischen Sensoren 37 für die Erfassung von akustischen Signalen wie einem Mikrofon ausgestattet sein. Hierdurch können Abrollgeräusche der Reifen oder Motorgeräusche aufgenommen werden. Des Weiteren kann die Bild- und Sensoreinrichtung 30 über ein LiDAR-System, ein Ultraschallsystem und/oder ein Radarsystem 39 verfügen, um beispielsweise die Distanz zwischen dem vorausfahrenden Kraftfahrzeug 10 und dem nachfolgenden Kraftfahrzeug 20 oder die Geschwindigkeit des vorausfahrenden Kraftfahrzeugs 10 zu messen. Insbesondere können hierdurch Informationen im dreidimensionalen Raum erfasst werden.
Zudem kann vorgesehen sein, dass die Kamera- und Sensoreinrichtung 30 automatisch den Bildaufnahmeprozess dann startet, wenn sich eine flächenmäßig signifikante Änderung im Aufnahmebereich der Kamera- und Sensoreinrichtung 30 ergibt, beispielsweise wenn ein Fahrzeug 10 im Aufnahmebereich der Kamera- und Sensoreinrichtung 30 erscheint. Hierdurch wird ein selektiver Datenerfassungsprozess ermöglicht und nur relevante Bild- und Sensordaten 32 werden von der Datenanalyseeinrichtung 40 verarbeitet. Hierdurch können Rechenkapazitäten effizienter genutzt werden.
Zudem ist vorteilhafterweise eine GPS-Verbindung (Global Positioning System) vorgesehen, um den geographischen Standort zu ermitteln und diesen den aufgenommenen Bild- und Sensordaten 32 zuzuordnen.
Insbesondere ist vorgesehen, als Kamera 35 eine wetterfeste Action-Kamera zu verwenden, die insbesondere im Außenbereich des Fahrzeugs 20 angeordnet sein kann. Action-Kameras verfügen über weitwinkelige Fischaugen-Objektive, wodurch es möglich ist, einen sichtbaren Radius von ca. 180° zu erreichen. Action-Kameras können üblicherweise Videos in Full HD (1.920 x 1.080 Pixel) aufzeichnen, jedoch können auch Action-Kameras in Ultra HD bzw. 4K (mindestens 3.840 x 2.160 Pixel) eingesetzt werden, wodurch sich eine deutliche Qualitätssteigerung in der Bildqualität ergibt. Die Bildaufnahmefrequenz beträgt üblicherweise 60 Bilder pro Sekunde in 4K und bis zu 240 pro Sekunde in Full HD. Außerdem kann noch ein integrierter Bildstabilisator vorgesehen sein. Zudem sind Action-Kameras häufig mit einem integrierten Mikrofon ausgestattet. Um Hintergrundgeräusche gezielt auszublenden, können darüber hinaus Verfahren der differentiellen Signalverarbeitung verwendet werden.
Die von der Kamera- und Sensoreinrichtung 30 aufgenommenen Bild- und Sensordaten 32 werden vorzugsweise über eine drahtlose Mobilfunkverbindung an die Datenanalyseeinrichtung 40 weitergegeben.
Die Datenanalyseeinrichtung 40 weist vorzugsweise einen Prozessor 41 auf, der die Bild- und Sensordaten 32 mittels eines Erkennungssystems 400 bearbeitet. Der Prozessor 41 oder ein weiterer Prozessor ist auch für die Steuerung der Kamera- und Bildaufnahmeeinrichtung 30 ausgebildet. Es ist aber auch denkbar, dass die Bild- und Sensordaten 32 zunächst in einer Speichereinheit 50 oder einem Soft-waremodul 55 gespeichert und erst zu einem späteren Zeitpunkt von der Daten-analyseeinrichtung 40 verarbeitet werden. Die Datenanalyseeinrichtung 40 und der Prozessor 41 können im Fahrzeug 20 integriert sein oder als cloudbasierte Lösung mit einer Cloud-Computing-Infrastruktur ausgebildet sein, die über eine Mobilfunkverbindung mit dem Fahrzeug 20 verbunden ist.
Zudem kann die Datenanalyseeinrichtung 40 auf ein oder mehrere weitere Datenbanken 60 zugreifen. In der Datenbank 60 können beispielsweise Klassifizierungsparameter zur Analyse der aufgenommenen Bild- und Sensordaten 32 oder weitere Bilder und/oder Kenngrößen gespeichert sein. Des Weiteren können Zielgrößen und Zielwerte in der Datenbank 60 abgelegt sein, die einen Sicherheitsstandard definieren. Des Weiteren kann eine Benutzerschnittstelle 70 zur Eingabe von weiteren Daten und zur Anzeige der von der Datenanalyseeinrichtung 40 erstellten Berechnungsergebnisse vorgesehen sein. Insbesondere ist die Benutzerschnittstelle 70 als Display mit einem Touchscreen ausgebildet.
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung oder ein leistungsfähiger Computer verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Komponente, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Außerdem können hochparallele Recheneinheiten und leistungsfähige Grafikmodule vorgesehen sein.
Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form von Arbeitsspeicher (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist der Prozessor speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit der Prozessor Funktionen ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder realisieren.
Unter aufgenommenen Bild- und Sensordaten32 sind im Zusammenhang mit der Erfindung sowohl die Rohdaten als auch bereits aufbereitete Daten aus den Aufnahmeergebnissen der Bild- und Sensoreinrichtung 30 zu verstehen.
Insbesondere kann die Bild- und Sensoreinrichtung 30 über Mobilfunkmodule des 5G-Standards verfügen. 5G ist der Mobilfunkstandard der fünften Generation und zeichnet sich im Vergleich zum 4G-Mobilfunkstandard durch höhere Datenraten bis zu 10 Gbit/sec, der Nutzung höherer Frequenzbereiche wie beispielsweise 2100, 2600 oder 3600 Megahertz, eine erhöhte Frequenzkapazität und damit einen erhöhten Datendurchsatz und eine Echtzeitdatenübertragung aus, da bis zu eine Million Geräte pro Quadratkilometer gleichzeitig ansprechbar sind. Die Latenzzeiten betragen wenige Millisekunden bis unter 1 ms, so dass Echtzeitübertragungen von Daten und von Berechnungsergebnissen möglich sind. Die von der Bild- und Sensoreinrichtung 30 aufgenommenen Bild- und Sensordaten 32 werden in Echtzeit an eine Cloud-Computing-Plattform gesendet, wo die entsprechende Analyse und Berechnung durchgeführt wird. Die Analyse- und Berechnungsergebnisse werden an das Fahrzeug 20 in Echtzeit zurückgesandt und können daher schnell in Handlungsanweisungen an den Fahrer oder in automatisierte Fahrfunktionen integriert werden. Diese Geschwindigkeit bei der Datenübermittlung ist erforderlich, wenn cloudbasierte Lösungen für die Verarbeitung der Bild- und Sensordaten 32 verwendet werden sollen. Cloudbasierte Lösungen bieten den Vorteil von hohen und damit schnellen Rechenleistungen.
Wenn die Datenanalyseeinrichtung 40 in dem Fahrzeug integriert ist, wird für den Prozessor 41 vorteilhaftweise eine KI-Hardwarebeschleunigung wie das Coral Dev Board verwendet, um eine Bearbeitung in Echtzeit zu ermöglichen. Es handelt sich hierbei um einen Mikrocomputer mit einer Tensorverarbeitungseinheit (engl.: tensor processing unit (TPU)), wodurch eine vortrainierte Softwareapplikation bis zu 70 Bilder pro Sekunde auswerten kann.
2 zeigt das erfindungsgemäße Erkennungssystem 400, das als eine Softwareapplikation zur Analyse und Bearbeitung der erfassten und/oder gespeicherten Bild- und Sensordaten 32 ausgebildet ist, um eine Änderung der Bewegungen des Fahrzeugaufbaus 12 bei dem Fahrzeug 10 zu erkennen. Insbesondere bearbeitet das Erkennungssystem 400 die erfassten Bild- und Sensordaten 32 mittels Algorithmen der künstlichen Intelligenz und der maschinellen Bildanalyse, um sie zu selektieren und zu klassifizieren. Vorteilhaftweise verwendet das Erkennungssystem 400 Algorithmen aus dem Bereich des Maschinenlernens, vorzugsweise Deep Learning mit beispielsweise gefalteten neuronalen Netzwerken (engl.: convolutional neural networks) zur Analyse der erfassten Bild- und Sensordaten 32. Zudem können die Bild- und Sensordaten 32 aus den verschiedenen Sensorquellen wie Optik, Akustik und Entfernungsmessung miteinander verbunden werden, um ein ganzheitliches Bild einer Fahrsituation zu gewinnen.
Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Durch die Anordnung und die Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie Feedforward-Netzwerke, Rekurrente Netzwerke oder Convolutional Neural Networks. Die Netzwerke lassen sich durch unbeaufsichtigtes oder überwachtes Lernen trainieren
Insbesondere weist das Erkennungssystem 400 ein Analysemodul 410 auf, das als ein gefaltetes neuronales Netzwerk (engl.: convolutional neural network, CNN) ausgebildet. Als Eingabedaten das Analysemoduls 410 werden die Bild- und Sensordaten 32 der Kamera- und Sensoreinrichtung 30 verwendet. Zusätzlich können noch Daten aus der Datenbank 60 verwendet werden. Die Datenformate der Eingabedaten sind vorzugsweise als Tensoren ausgebildet. Zudem können vorteilhafterweise unterschiedliche Bildformate verwendet werden.
Das Convolutional Neural Network ist eine besondere Form eines künstlichen neuronalen Netzwerks. Es besitzt mehrere Faltungsschichten und ist für maschinelles Lernen und Anwendungen mit Künstlicher Intelligenz (KI) im Bereich der Bild- und Spracherkennung sehr gut geeignet. Die Funktionsweise eines Convolutional Neural Networks ist zu einem gewissen Teil biologischen Vorgängen nachempfunden und der Aufbau ist vergleichbar der Sehrinde des Gehirns. Das Training eines Convolutional Neural Networks findet gewöhnlich überwacht statt. Herkömmliche neuronale Netzwerke bestehen aus voll- oder teilvermaschten Neuronen in mehreren Ebenen. Diese Strukturen stoßen jedoch bei der Verarbeitung von Bildern an ihre Grenzen, da eine der Pixelanzahl entsprechende Zahl an Eingängen vorhanden sein müsste. Das Convolutional Neural Network setzt sich aus verschiedenen Schichten zusammen und ist vom Grundprinzip ein zum Teil lokal vermaschtes neuronales Feedforward-Netzwerk. Die einzelnen Schichten des CNN sind die Convolutional-Schicht, die Pooling-Schicht und die vollständig vermaschte Schicht. Die Pooling-Schicht folgt der Convolutional-Schicht und kann in dieser Kombination mehrfach hintereinander vorhanden sein. Da die Pooling-Schicht und die Convolutional-Schicht lokal vermaschte Teilnetze sind, bleibt die Anzahl an Verbindungen in diesen Schichten selbst bei großen Eingabemengen begrenzt und in einem beherrschbaren Rahmen. Den Abschluss bildet eine vollständig vermaschte Schicht. Die Convolutional-Schicht ist die eigentliche Faltungsebene und in der Lage, in den Eingabedaten einzelne Merkmale zu erkennen und zu extrahieren. Bei der Bildverarbeitung können dies Merkmale wie Linien, Kanten oder bestimmte Formen sein. Die Verarbeitung der Eingabedaten erfolgt in Form von Tensoren wie einer Matrix oder Vektoren. Die Pooling-Schicht, auch Subsampling-Schicht genannt, verdichtet und reduziert die Auflösung der erkannten Merkmale durch passende Filterfunktionen. Insbesondere wird hierfür eine Maxpool-Funktion angewendet, die für einen (üblicherweise) nicht überlappenden Teilbereich der Daten den maximalen Wert jeweils berechnet. Neben dem Maximal-Pooling kann aber auch ein Mittelwert-Pooling verwendet werden. Das Pooling verwirft überflüssige Informationen und reduziert die Datenmenge. Die Leistungsfähigkeit beim maschinellen Lernen wird dadurch nicht verringert. Durch das reduzierte Datenaufkommen erhöht sich die Berechnungsgeschwindigkeit.
Den Abschluss des Convolutional Neural Networks bildet die vollständig verknüpfte Schicht. Sie ist das Ergebnis der wiederholten Abfolge der Convolutional- und Pooling-Schichten. Alle Merkmale und Elemente der vorgelagerten Schichten sind mit jedem Ausgabemerkmal verknüpft. Die vollständig verbundenen Neuronen können in mehreren Ebenen angeordnet sein. Die Anzahl der Neuronen ist abhängig von den Eingabedaten, die das Convolutional Neural Network bearbeiten soll.
Das Convolutional Neural Network (CNN) bietet daher gegenüber herkömmlichen nicht gefalteten neuronalen Netzen zahlreiche Vorteile. Es eignet sich für maschinelles Lernen und Anwendungen der Künstlichen Intelligenz mit großen Mengen an Eingabedaten wie in der Bilderkennung. Das Netzwerk arbeitet zuverlässig und ist gegenüber Verzerrungen oder anderen optischen Veränderungen unempfindlich. Das CNN kann unter verschiedenen Lichtverhältnissen und in unterschiedlichen Perspektiven aufgenommene Bilder verarbeiten. Es erkennt dennoch die typischen Merkmale eines Bildes. Da das CNN in mehrere lokale, teilvermaschte Schichten aufgeteilt ist, hat es einen wesentlich geringeren Speicherplatzbedarf als vollvermaschte neuronale Netze. Die Faltungsschichten reduzieren die Speicheranforderungen drastisch. Ebenfalls stark verkürzt ist die Trainingszeit des Convolutional Neural Networks. Mit dem Einsatz moderner Grafikprozessoren lassen sich CNNs sehr effizient trainieren. Das CNN erkennt und extrahiert Merkmale der Eingangsbilder mithilfe von Filtern. Zunächst erkennt das CNN in den ersten Ebenen einfache Strukturen wie Linien, Farbmerkmale oder Kanten. In den weiteren Ebenen lernt das Convolutional Neural Network Kombinationen aus diesen Strukturen wie einfache Formen oder Kurven. Mit jeder Ebene lassen sich komplexere Strukturen identifizieren. Die Daten werden in den Ebenen immer wieder neu abgetastet und gefiltert.
In dem Analysemodul 410 werden die Bild- und Sensordaten 32 somit vorzugsweise mittels eines Convolutional Neural Network bearbeitet. Zudem ist ein Klassifizierungsmodul 430 vorgesehen, das Merkmale M₁, M₂, ..., M_n von Bewegungen des Fahrzeugaufbaus 12 eines Fahrzeugs enthält. Außerdem können diesen Merkmalen M₁, M₂, ..., M_n bestimmte Zustände S₁, S₂, ..., S_n der Umgebung des Fahrzeugs 10 zugeordnet werden. So können bestimmte schnelle Auf- und Abwärtsbewegungen des Fahrzeugaufbaus 12 auf mögliche Bodenwellen und/oder Unebenheiten und Beschädigungen des Fahrbahnbelags der Fahrbahn 22 hinweisen. Seitliche Bewegungen des Fahrzeugsaufbaus 12 können einen Hinweis für ein sich auf der Fahrbahn 22 befindendes Hindernis darstellen, dem das vorausfahrende Fahrzeug 10 ausweicht. Ein zu geringer Abstand zu dem vorausfahrenden Fahrzeug 10 kann detektiert werden und auf eine kritische Fahrsituation hinweisen. Den Zuständen S₁, S₂, ..., S_n können wiederum Sicherheitsstufen wie niedrig bis hoch zugeordnet werden. Diese Merkmale M₁, M₂, ..., M_n und/oder Zustände S₁, S₂, ..., S_n der Umgebung des Fahrzeugs 10 wurden vorzugsweise in einer Trainingsphase von dem CNN bestimmt oder sie wurden vorab definiert und dem Klassifizierungsmodul 430 übermittelt.
Die derart bearbeiteten Bild- und Sensordaten 32 werden als Ausgabedaten 450 in eine automatisierte Fahrfunktion integriert und/oder an die Benutzerschnittstelle 70 übermittelt. Sie können dort als Handlungsempfehlungen oder Warnhinweise an den Fahrer des Fahrzeugs 20 ausgegeben werden. So kann beispielsweise ein Warnton oder ein optischer Hinweis über die Benutzerschnittstelle 70 ausgegeben werden, der den Fahrer zu einem geänderten Fahrverhalten veranlassen soll. Bei einer automatisieren Fahrfunktion kann beispielsweise automatisch das Fahrtempo reduziert werden. Des Weiteren kann vorgesehen sein, eine Anpassung der Dämpfungseinheit für die Vorderachse und/oder Hinterachse des Fahrzeugs 20 automatisch vorzunehmen, so dass beispielsweise die Dämpfung weicher eingestellt wird, so dass das Fahrzeug 20 sicherer und für die Insassen angenehmer über die Bodenwellen oder Fahrbahnbeschädigungen fahren kann.
Ein Verfahren zur Erkennung von Bewegungen des Fahrzeugaufbaus bei einem vorausfahrenden Kraftfahrzeug gemäß der vorliegenden Erfindung umfasst daher die folgenden Schritte:

In einem Schritt S10 werden Bild- und Sensordaten 32 von einer Kamera- und Sensoreinrichtung 30 eines zweiten Kraftfahrzeugs 20 aufgenommen, wobei die Bild- und Sensordaten 32 die Umgebung des Fahrzeugs 20 mit zumindest dem ersten Kraftfahrzeug 10 repräsentieren.

In einem Schritt S20 werden die Bild- und Sensordaten 32 an eine Datenanalyseeinrichtung 40 weitergegeben, wobei die Datenanalyseeinrichtung 40 ein Erkennungssystem 400 zur Erkennung von Bewegungen des Fahrzeugaufbaus 12 bei dem ersten Kraftfahrzeug 10 umfasst, welches Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und der maschinellen Bildanalyse verwendet.
In einem Schritt S30 werden die Bild- und Sensordaten 32 in der Datenanalyseeinrichtung 30 mittels des Erkennungssystems 200 bearbeitet, um mögliche Bewegungen des Fahrzeugaufbaus 12 zu klassifizieren.
In einem Schritt S40 wird den klassifizierten Bewegungen zumindest ein Zustand S_j aus einer Menge von definierten Zuständen S₁, S₂, ..., S_n zugeordnet.
In einem Schritt S50 werden aus dem ermittelten Zustand S_j Ausgabedaten 450 zur weiteren Verwendung in einer automatisierten Fahrfunktion und/oder für eine Benutzerschnittstelle 70 erzeugt.
Durch ein Erkennungssystem 400, das Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und maschinellen Bildanalyse verwendet, können somit Bilder aus der Umgebung eines zweiten Fahrzeugs 20 hinsichtlich der Bewegungen des Fahrzeugaufbaus 12 bei einem vorausfahrenden Fahrzeug 10 in Echtzeit analysiert werden. Mit der vorliegenden Erfindung ist die automatische Erfassung von Bewegungen des Fahrzeugaufbaus 12 des Fahrzeugs 10 ermöglicht. Aus den klassifizierten Bewegungen kann die Fahrbahnsituation wie das Auftreten von Bodenwellen oder Beschädigungen des Fahrbahnbelags abgeleitet werden. Das Ergebnis der Analyse wird beispielsweise als optisches und/oder akustisches Warnsignal auf einer Benutzerschnittstelle 70 des zweiten Fahrzeugs 20 ausgegeben, falls die Bewegungen des Fahrzeugaufbaus 12 des vorausfahrenden Fahrzeugs 10 auf eine kritische Fahrsituation für das zweite Fahrzeug 20 hinweisen.
Außerdem können durch automatische oder semi-automatische Fahrfunktionen Anpassungen des Fahrverhaltens oder der Einstellung von Fahrzeugkomponenten wie der Dämpfungsgrad für die Vorder- und/oder Hinterachse vorgenommen werden. Wenn ein zu geringer Abstand zu dem vorausfahrenden Fahrzeug 20 detektiert wird, kann automatisch das Fahrtempo des Fahrzeugs 10 reduziert werden oder ein Bremsvorgang eingeleitet werden. Da die Übermittlung und Auswertung der Daten in Echtzeit erfolgt, ist eine schnelle Reaktion im Bereich von Millisekunden möglich. Dies ist insbesondere bei einem hohen Fahrtempo des Fahrzeugs 10 von großer Bedeutung, da nur so sichergestellt werden kann, dass automatische Fahrfunktionen angemessen auf eine aktuelle Fahrsituation reagieren können. Durch die vorliegende Erfindung kann somit die Sicherheit beim Fahren weiter erhöht werden.
Bezugszeichenliste

10: erstes Kraftfahrzeug
12: Fahrzeugaufbau
20: zweites Kraftfahrzeug
22: Fahrbahn
30: Kamera- und Sensoreinrichtung
32: Bild- und Sensordaten
35: RGB-Kamera
37: akustische Sensoren
39: LiDAR-System, Ultraschallsystem, Radarsystem
40: Datenanalyseeinrichtung
41: Prozessor
50: Speichereinheit
55: Softwaremodul
60: Datenbank
70: Benutzerschnittstelle
100: System
400: Erkennungssystem
410: Analysemodul
430: Klassifizierungsmodul
450: Ausgabedaten
500: Computerprogrammprodukt
550: Programmcode

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018104011 A1 [0004]

Claims

Verfahren zur Erkennung von Bewegungen des Fahrzeugaufbaus (12) bei einem Kraftfahrzeug (10) mittels einer Datenanalyseeinrichtung (40), umfassend: - Aufnehmen (S10) von Bild- und Sensordaten (32) mittels einer Kamera- und Sensoreinrichtung (30) eines zweiten Kraftfahrzeugs (20), wobei die Bild- und Sensordaten (32) die Umgebung des zweiten Kraftfahrzeugs (20) mit zumindest dem ersten Kraftfahrzeug (10) repräsentieren; - Weitergeben (S20) der Bild- und Sensordaten (32) an die Datenanalyseeinrichtung (40), wobei die Datenanalyseeinrichtung (40) ein Erkennungssystem (400) zur Erkennung von Bewegungen des Fahrzeugsaufbaus (12) bei dem ersten Kraftfahrzeug (10) umfasst, welches Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und der maschinellen Bildanalyse verwendet; - Bearbeiten (S30) der Bild- und Sensordaten (32) in der Datenanalyseeinrichtung (40) mittels des Erkennungssystems (400), um mögliche Bewegungen des Fahrzeugaufbaus zu klassifizieren.; - Zuordnen (S40) der klassifizierten Bewegungen des Fahrzeugaufbaus (12) zu zumindest einem Zustand (S_j) aus einer Menge von definierten Zuständen (S₁, S₂, ..., S_n); - Erzeugen (S50) von Ausgabedaten (450) aus dem ermittelten Zustand (Sj) zur weiteren Verwendung in einer automatisierten Fahrfunktion und/oder für eine Benutzerschnittstelle (70).
Verfahren nach Anspruch 1, wobei die Bearbeitung der Bild- und Sensordaten (32) und die Erzeugung von Ausgabedaten (450) in Echtzeit erfolgt.
Verfahren nach Anspruch 1 oder 2, wobei das Erkennungssystem (400) ein Analysemodul (410) und ein Klassifizierungsmodul (430) umfasst.
Verfahren nach Anspruch 3, wobei das Erkennungssystem (400) Deep Learning mit einem neuronalen Netzwerk verwendet.
Verfahren nach Anspruch 4, wobei das neuronale Netzwerk als gefaltetes neuronales Netzwerk (convolutional neural network) ausgebildet ist.
Verfahren nach einem der Ansprüche 3 bis 5, wobei das Klassifizierungsmodul (430) Merkmale (M₁, M₂, ..., M_n) von Bewegungen des Fahrzeugaufbaus eines Fahrzeugs enthält, welche in einer Trainingsphase des Klassifizierungsmodules (430) bestimmt oder vorab definiert wurden.
Verfahren nach Anspruch 5, wobei die Bild- und Sensordaten (32) mittels einer Mobilfunkverbindung an die Datenanalyseeinrichtung (40) übertragen werden, wobei insbesondere 5G-Funkmodule verwendet werden.
Verfahren nach einem der Ansprüche 1 bis 7, wobei die Bild- und Sensoreinrichtung (30) eine Action-Kamera (35) und/oder akustische Sensoren (37) und/oder ein LiDAR-System und/oder ein Ultraschallsystem und/oder ein Radarsystem (39) umfasst.
System (100) zur Erkennung von Bewegungen des Fahrzeugaufbaus (12) bei einem Kraftfahrzeug (10), umfassend - eine Bild- und Sensoreinrichtung (30) eines zweiten Kraftfahrzeugs (20), wobei die Bild- und Sensordaten (32) die Umgebung des zweiten Kraftfahrzeugs (20) mit zumindest dem ersten Kraftfahrzeug (10) repräsentieren; und - eine Datenanalyseeinrichtung (40), wobei die Datenanalyseeinrichtung (20) ein Erkennungssystem (400) zur Erkennung von Bewegungen des Fahrzeugsaufbaus (12) bei dem ersten Kraftfahrzeug (10) umfasst, welches Algorithmen aus dem Bereich der künstlichen Intelligenz (KI) und der maschinellen Bildanalyse verwendet, und wobei die Datenanalyseeinrichtung (40) ausgebildet ist, die Bild- und Sensordaten (32) mittels des Erkennungssystems (400) zu bearbeiten, mögliche Bewegungen des Fahrzeugaufbaus (12) zu klassifizieren, den klassifizierten Bewegungen des Fahrzeugaufbaus (12) zumindest einen Zustand (S_j) aus einer Menge von definierten Zuständen (S₁, S₂, ..., S_n) zuzuordnen und Ausgabedaten (450) aus dem ermittelten Zustand (S_j) zur weiteren Verwendung in einer automatisierten Fahrfunktion und/oder für eine Benutzerschnittstelle (70) zu erzeugen.
System (100) nach Anspruch 9, wobei die Bearbeitung der Bild- und Sensordaten (32) und die Erzeugung von Ausgabedaten (450) in Echtzeit erfolgt.
System (100) nach Anspruch 9 oder 10, wobei das Erkennungssystem (400) ein Analysemodul (410) und ein Klassifizierungsmodul (430) umfasst.
System (100) nach Anspruch 11, wobei das Erkennungssystem (400) Deep Learning mit einem neuronalen Netzwerk verwendet, welches insbesondere als gefaltetes neuronales Netzwerk (convolutional neural network) ausgebildet ist.
System (100) nach Anspruch 11 oder 12, wobei das Klassifizierungsmodul (430) Merkmale (M₁, M₂, ..., M_n) von Bewegungen des Fahrzeugaufbaus (12) eines Fahrzeugs enthält, die in einer Trainingsphase des Klassifizierungsmodules (430) bestimmt oder vorab definiert wurden.
System (100) nach einem der Ansprüche 9 bis 13, wobei die Bild- und Sensordaten (32) mittels einer Mobilfunkverbindung an die Datenanalyseeinrichtung (40) übertragen werden, wobei insbesondere 5G-Funkmodule verwendet werden, und/oder die Bild- und Sensoreinrichtung (30) eine Action-Kamera (35) und/oder akustische Sensoren (37) und/oder ein LiDAR-System und/oder ein Ultraschallsystem und/oder ein Radarsystem (39) umfasst.
Computerprogrammprodukt (500), umfassend einen ausführbaren Programmcode (550), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 1 bis 8 ausführt.