-
Die Erfindung betrifft ein Verfahren zur Bestimmung einer Fahrbahnrauheit mittels zumindest einer Kamera und eines künstlichen neuronalen Netzwerks.
-
Aus der
DE 10 2017 108 248 A1 ist ein Verfahren zur Straßenmerkmalserkennung bekannt. Das Verfahren umfasst, dass
- - durch eine Verarbeitungseinrichtung ein Bild, welches von einem mit einem Fahrzeug auf einer Straße verbundenen Kamerasystem stammt, empfangen wird;
- - durch die Verarbeitungseinrichtung auf dem Bild basierend eine Draufsicht auf die Straße erzeugt wird;
- - durch die Verarbeitungseinrichtung auf der Draufsicht auf die Straße basierend Fahrspurbegrenzungen einer Fahrspur der Straße detektiert werden; und
- - durch die Verarbeitungseinrichtung unter Verwendung von maschinellem Lernen ein Straßenmerkmal innerhalb der Fahrspurbegrenzungen der Fahrspur der
Straße detektiert wird.
-
Dabei verwendet das maschinelle Lernen ein künstliches neuronales Netzwerk. Weiterhin ist ein System zur Klassifizierung einer Fahrbahnrauheit einer Straße mit einer Mehrzahl von mit einem Fahrzeug verbundenen Kameras beschrieben.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Bestimmung einer Fahrbahnrauheit anzugeben.
-
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem Verfahren zur Bestimmung einer Fahrbahnrauheit mittels zumindest einer Kamera und eines künstlichen neuronalen Netzwerks wird erfindungsgemäß das künstliche neuronale Netzwerk als tiefes künstliches neuronales Netzwerk derart trainiert, dass zu einem vorgegebenen Bild Texturkenngrößen und/oder Rauheitskenngrößen bestimmt werden, wobei existierende Texturkenngrößen und/oder Rauheitskenngrößen aus Kartendaten einer digitalen Karte mit korrespondierenden Daten aus dem Bild als Trainingsdaten verwendet werden. Weiterhin werden mittels der zumindest einen Kamera Bilder erfasst und dem trainierten künstlichen neuronalen Netzwerk zugeführt und das trainierte künstliche neuronale Netzwerk ermittelt anhand der Trainingsdaten aus den zugeführten Bildern eine Fahrbahnrauheit.
-
Mittels des Verfahrens kann eine Anzahl zeit- und kostenintensiver Messfahrten zur Ermittlung der Fahrbahnrauheit signifikant verringert werden, so dass eine kostengünstige Ermittlung der Fahrbahnrauheit mit geringem Zeitaufwand realisierbar ist. Dabei ist keine Spezialsensorik zur Erfassung einer Fahrbahnoberfläche erforderlich, sondern es kann eine bereits im Fahrzeug vorhandene Kamera verwendet werden. Gegenüber Verfahren, welche Messfahrten zur Ermittlung der Fahrbahnrauheit verwenden, und gegenüber stationären Verfahren, bei welchen punktuell die Fahrbahnrauheit ermittelt wird, können mittels des vorliegenden Verfahrens eine zumindest nahezu vollständige Erfassung aller Straßen sowie eine zeitnahe Erfassung von Baumaßnahmen realisiert werden. Dies kann beispielsweise durch Vernetzung mehrerer Fahrzeuge über eine so genannte Cloud und/oder einen so genannten Backend-Server erfolgen.
-
Die Informationen über die Fahrbahnrauheit können zur Beurteilung einer Fahrsicherheit verwendet werden, da eine Mikro- und Makrotextur einer Fahrbahnoberfläche einen Reibwert zwischen Reifen und Fahrbahnoberfläche beeinflussen und die Makrotextur eine Drainagefähigkeit der Fahrbahn beeinflusst. Ferner können die Informationen über die Fahrbahnrauheit zur Beurteilung eines Fahrkomforts verwendet werden, da die Mikro- und Makrotextur der Fahrbahnoberfläche ein Abrollgeräusch der Reifen beeinflussen.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch eine Seitenansicht eines Fahrzeugs auf einer Fahrbahn,
- 2 schematisch ein mittels einer Kamera eines Fahrzeugs erfasstes Bild einer Umgebung des Fahrzeugs,
- 3 schematisch ein mittels einer Kamera eines Fahrzeugs erfasstes Bild einer Umgebung des Fahrzeugs und ein künstliches neuronales Netzwerk,
- 4 schematisch ein weiteres mittels einer Kamera eines Fahrzeugs erfasstes Bild einer Umgebung des Fahrzeugs und ein künstliches neuronales Netzwerk,
- 5 schematisch einen Satz von Trainingsdaten und ein künstliches neuronales Netzwerk und
- 6 schematisch ein Blockschaltbild einer Vorrichtung zur Bestimmung eines Reibwerts zwischen einer Fahrbahnoberfläche und einem Reifen eines Fahrzeugs.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist eine Seitenansicht eines auf einer Fahrbahn FB befindlichen Fahrzeugs 1 dargestellt. Das Fahrzeug 1 umfasst zumindest eine Kamera 2 mit einem Erfassungsbereich E, welcher im dargestellten Ausführungsbeispiel auf eine vor dem Fahrzeug 1 befindliche Fahrbahnoberfläche O gerichtet ist. In nicht näher dargestellten Ausführungsbeispielen kann die Kamera 2 auch an jeder beliebigen anderen Position am oder im Fahrzeug 1 angeordnet sein.
-
Die Kamera 2 ist dabei zur Erfassung von in 2 näher dargestellten Bildern Bi einer Umgebung des Fahrzeugs 1 ausgebildet, wobei Bildinhalte beispielsweise zu einem Betrieb von Fahrerassistenzsystemen des Fahrzeugs 1 verwendet werden.
-
2 zeigt ein mittels der Kamera 2 erfasstes Bild Bi, wobei auf dem Bild Bi ein Ausschnitt der Umgebung des Fahrzeugs 1 mit der vor dem Fahrzeug 1 befindlichen Fahrbahn FB und deren Fahrbahnoberfläche O dargestellt ist.
-
Insbesondere zur Beurteilung einer Fahrsicherheit und eines Fahrkomforts ist eine Kenntnis einer in 3 näher dargestellten Fahrbahnrauheit ri wichtig, da eine Mikro- und Makrotextur der Fahrbahnoberfläche O einen Reibwert µ zwischen Reifen und Fahrbahnoberfläche O beeinflussen und die Makrotextur eine Drainagefähigkeit der Fahrbahn FB beeinflusst. Ferner können Informationen über die Fahrbahnrauheit ri zur Beurteilung eines Fahrkomforts verwendet werden, da die Mikro- und Makrotextur der Fahrbahnoberfläche O ein Abrollgeräusch der Reifen beeinflussen.
-
Zu einer Bestimmung einer Fahrbahnrauheit ri werden mittels der zumindest einen Kamera 2 erfasste Bilder Bi und ein künstliches neuronales Netzwerk 3 verwendet.
-
In 3 sind ein mittels der Kamera 2 des Fahrzeugs 1 erfasstes Bild Bi der Umgebung des Fahrzeugs 1 und ein künstliches neuronales Netzwerk 3 dargestellt.
-
Dabei ist das künstliche neuronale Netzwerk 3 beispielsweise derart trainiert, dass zu einem gegebenen Bild Bi Texturkenngrößen, wie z. B. eine so genannte „Mean Texture Depth“ bestimmt wird. Dabei soll das künstliche neuronale Netzwerk 3 für die Textur- und Fahrbahnrauheitsbestimmung insbesondere dann verwendet werden, wenn kein datenbank- oder kartengestützter Wert vorhanden ist.
-
Weiterhin ermittelt das künstliche neuronale Netzwerk 3, ob das Bild Bi eine Fahrbahnoberfläche O zeigt und gibt einen entsprechenden Validierungswert V aus, welcher bei Erkennen einer Fahrbahnoberfläche O im Bild Bi beispielsweise den Wert „1“ hat.
-
In 4 sind ein mittels der Kamera 2 des Fahrzeugs 1 erfasstes Bild Bi der Umgebung des Fahrzeugs 1 und das künstliche neuronale Netzwerk 3 dargestellt. Das Bild Bi zeigt eine Wiese und somit keine Fahrbahnoberfläche O. Der Validierungswert V hat in diesem Fall beispielsweise den Wert „0“.
-
5 zeigt einen Satz S von Trainingsdaten D und ein künstliches neuronales Netzwerk 3 während eines Trainings des künstlichen neuronalen Netzwerks 3.
-
Dabei wird das künstliche neuronale Netzwerk 3 als tiefes künstliches neuronales Netzwerk 3 derart trainiert, dass zu einem vorgegebenen Bild B1 bis Bi Texturkenngrößen und/oder Rauheitskenngrößen, d. h. eine Fahrbahnrauheit r1 bis ri bestimmt werden, wobei existierende Texturkenngrößen und/oder Rauheitskenngrößen aus Kartendaten einer in 6 näher dargestellten digitalen Karte 5 mit korrespondierenden Daten aus dem entsprechenden Bild B1 bis Bi als Trainingsdaten D verwendet werden. Mit anderen Worten: Es existieren digitale Karten 5 mit Rauheitskenngrößen, wobei durch Aufnehmen korrespondierender Kameradaten aus diesen gewonnene Werte zusammen mit den Rauheitskoeffizienten der digitalen Karten 5 als Trainingsdaten D für das tiefe künstliche neuronale Netzwerk 3 verwendet werden. Die vom künstlichen neuronalen Netzwerk 3 ausgegebene Fahrbahnrauheit r1 bis ri ist beispielsweise eine so genannte „Mean Texture Depth“ oder „Mean Profile Depth“ gemäß ISO 13473-2:2002(en).
-
Die Bilder B1 bis Bi werden dabei insbesondere in Mehrfachbefahrungen gleicher Strecken bei unterschiedlichen Wetterbedingungen erfasst, um eine höhere Robustheit des künstlichen neuronalen Netzwerks 3 zu realisieren. Um eine Wasserschicht als Störgröße auf einer Fahrbahnoberfläche O zu vermeiden, ist in einer möglichen Ausgestaltung vorgesehen, dass die Messfahrten nur bei trockenem Wetter durchgeführt werden.
-
In 6 ist ein Blockschaltbild einer Vorrichtung 4 zur Bestimmung eines Reibwerts µ zwischen einer Fahrbahnoberfläche O und einem Reifen eines Fahrzeugs 1 dargestellt.
-
Die Vorrichtung 4 umfasst die Kamera 2, das künstliche neuronale Netzwerk 3 und eine Verarbeitungseinheit 6.
-
Die Ermittlung der Fahrbahnrauheit ri erfolgt mittels des künstlichen neuronalen Netzwerks 3 gemäß obiger Beschreibung zu 5 anhand der mittels der Kamera 2 erfassten Bilder Bi, wobei ein ermittelter Wert der Fahrbahnrauheit ri der Verarbeitungseinheit 6 zugeführt wird. Gemeinsam mit einer Zwischenschichtinformation I, welche angibt, ob die Fahrbahnoberfläche O beispielsweise feucht, nass, trocken, vereist, beschneit usw. ist, und mit einer Information über ein Reifenprofil P ermittelt das künstliche neuronale Netzwerk 3 den Reibwert µ.
-
Weiterhin wird der Verarbeitungseinheit 6 ein Wert der Fahrbahnrauheit ri' aus der digitalen Karte 5 zugeführt, aus welchem diese den Reibwert µ ermittelt.
-
In einer möglichen Ausgestaltung wird der Reibwert µ nur dann aus der mittels der Kamera 2 und des künstlichen neuronalen Netzwerks 3 ermittelten Fahrbahnrauheit ri ermittelt, wenn in der digitalen Karte 5 kein Wert für die Fahrbahnrauheit ri' hinterlegt ist.
-
Liegt bei trockenem Wetter beispielsweise eine große Differenz zwischen der mittels der Kamera 2 und des künstlichen neuronalen Netzwerks 3 ermittelten Fahrbahnrauheit ri und der in der digitalen Karte 5 hinterlegten Fahrbahnrauheit ri' vor, kann in einer möglichen Ausgestaltung darauf geschlossen werden, dass kartenbasierte Werte der Fahrbahnrauheit ri' beispielsweise aufgrund von Straßenbaumaßnahmen nicht mehr aktuell sind. Aus diesem Grund kann eine Rückspiegelung dieser Daten an einen Kartenserver erfolgen. Das heißt: Existiert ein so genanntes Backend oder eine so genannte Kartencloud, werden die mittels der Kamera 2 und des künstlichen neuronalen Netzwerks 3 ermittelten Werte der Fahrbahnrauheit ri zurückgespiegelt und somit die digitale Karte 5 stets aktualisiert und bisher unregistrierte Straßen neu eingepflegt oder annotiert. Mehrere Befahrungen einer Strecke können dabei zu einem Konfidenzmaß für die optisch erfahrenen Werte führen.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Kamera
- 3
- künstliches neuronales Netzwerk
- 4
- Vorrichtung
- 5
- digitale Karte
- 6
- Verarbeitungseinheit
- B1 bis Bi
- Bild
- D
- Trainingsdaten
- E
- Erfassungsbereich
- FB
- Fahrbahn
- I
- Zwischenschichtinformation
- O
- Fahrbahnoberfläche
- P
- Reifenprofil
- ri bis ri
- Fahrbahnrauheit
- ri'
- Fahrbahnrauheit
- S
- Satz
- V
- Validierungswert
- µ
- Reibwert
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017108248 A1 [0002]
