DE102017116213A1

DE102017116213A1 - Fahrspurerkennung mit rückfahrkamera

Info

Publication number: DE102017116213A1
Application number: DE102017116213.5A
Authority: DE
Inventors: Scott Vincent Myers; Alexandru Mihai Gurghian; Ashley Elizabeth Micks; Alexandro Walsh
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-07-20
Filing date: 2017-07-18
Publication date: 2018-03-01
Also published as: GB201711464D0; US20180025234A1; CN107644197B; GB2555162A; RU2017125352A; RU2017125352A3; CN107644197A; US10762358B2; MX2017009437A

Abstract

Ein Verfahren zum Bestimmen von Fahrspurinformationen beinhaltet Empfangen von Wahrnehmungsdaten von mindestens zwei Sensoren, wobei die mindestens zwei Sensoren eine nach hinten weisende Kamera eines Fahrzeugs beinhalten. Das Verfahren beinhaltet Bestimmen einer Anzahl von Fahrspuren auf einer Fahrbahn innerhalb eines Sichtfelds, das von den Wahrnehmungsdaten eingefangen wird, auf Grundlage der Wahrnehmungsdaten unter Verwendung eines neuronalen Netzes. Das Verfahren beinhaltet Bereitstellen einer Angabe der Anzahl von Fahrspuren für ein automatisiertes Fahrsystem oder Fahrassistenzsystem.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf unterstützte oder automatisierte Fahrsysteme, Verfahren und Vorrichtungen und genauer auf eine Fahrspurerkennung unter Verwendung einer Rückfahrkamera.
ALLGEMEINER STAND DER TECHNIK
Automobile stellen einen erheblichen Teil des Transports für gewerbliche, behördliche und private Einrichtungen bereit. Autonome Fahrzeuge und Fahrassistenzsysteme werden derzeit entwickelt und eingesetzt, um Sicherheitsfunktionen bereitzustellen, ein Ausmaß an erforderlichen Benutzereingaben zu verringern oder sogar die Einbeziehung eines Benutzers vollständig zu beseitigen. Zum Beispiel können manche Fahrassistenzsysteme, wie Unfallvermeidungssysteme, das Fahren, Standorte und Geschwindigkeit des Fahrzeugs und anderer Objekte überwachen, während ein Mensch fährt. Wenn das System erkennt, dass ein Unfall oder Aufprall unmittelbar bevorsteht, kann das Unfallvermeidungssystem eingreifen und eine Bremse anwenden, das Fahrzeug steuern oder andere Vermeidungs- oder Sicherheitsmanöver durchführen. Als ein weiteres Beispiel können autonome Fahrzeuge ein Fahrzeug mit wenig oder ohne Benutzereingabe fahren und navigieren. Aufgrund der Gefahren im Zusammenhang mit Fahren und der Kosten von Fahrzeugen ist es jedoch sehr wichtig, dass autonome Fahrzeuge und Fahrassistenzsysteme sicher arbeiten und in der Lage sind, genau auf Straßen in einer Vielzahl von unterschiedlichen Fahrbahn- und Fahrumgebungen zu navigieren.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Es werden nicht beschränkende und nicht erschöpfende Implementierungen der vorliegenden Offenbarung in Bezug auf die folgenden Figuren beschrieben, wobei sich in den verschiedenen Ansichten gleiche Bezugszahlen auf gleiche Teile beziehen, es sei denn, dies wird anders angegeben. Vorteile der vorliegenden Offenbarung können unter Bezugnahme auf die folgende Beschreibung und beigefügten Zeichnungen besser nachvollzogen werden, wobei:
1 ein schematisches Blockschaubild ist, das eine Implementierung eines Fahrzeugsteuersystems veranschaulicht, das ein automatisiertes Fahr-/Assistenzsystem beinhaltet;
2 eine perspektivische Ansicht einer beispielhaften Straßenumgebung veranschaulicht;
3 eine perspektivische Ansicht einer weiteren beispielhaften Straßenumgebung veranschaulicht;
4 eine perspektivische Ansicht noch einer weiteren beispielhaften Straßenumgebung veranschaulicht;
5 ein schematisches Blockschaubild ist, das den Datenfluss zum Bestimmen von Fahrspurinformationen gemäß einer Implementierung veranschaulicht;
6 ein schematisches Diagramm ist, das eine beispielhafte Konfiguration eines tiefgehenden neuronalen Netzes gemäß einer Implementierung veranschaulicht;
7 ein schematisches Blockschaubild ist, das beispielhafte Komponenten einer Fahrspurkomponente gemäß einer Implementierung veranschaulicht;
8 ein schematisches Blockschaubild ist, das ein Verfahren zum Bestimmen von Fahrspurinformationen gemäß einer Implementierung veranschaulicht; und
9 ein schematisches Blockschaubild ist, das ein Rechensystem gemäß einer Implementierung veranschaulicht.
DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Ein automatisiertes Fahrsystem oder Fahrassistenzsystem kann Daten von einer Vielzahl von Quellen während Entscheidungsfindung, Navigation oder Fahren verwenden, um optimale Wege oder Manöver zu bestimmen. Zum Beispiel kann ein automatisiertes Fahr-/Assistenzsystem Sensoren beinhalten, um eine Fahrumgebung in Echtzeit zu erfassen und/oder auf lokale oder entfernte Datenspeicher zuzugreifen, um bestimmte Einzelheiten über eine aktuelle Position oder Positionen entlang eines geplanten Fahrwegs zu erlangen. In einer Ausführungsform können Einzelheiten über Positionen, an denen ein Stammfahrzeug gefahren ist, in einer Fahrverlaufsdatenbank für einen späteren Zugriff gespeichert werden. Wenn zum Beispiel ein Fahrzeug zu einer Position zurückkehrt, für die Fahrverlaufsdaten vorhanden sind, kann das automatisierte Fahr-/Assistenzsystem Daten aus dem Fahrverlauf heranziehen, um Einzelheiten über eine Position zu erlangen, die vielleicht für die Fahrzeugsensoren (noch) nicht ersichtlich ist.
Da die Fahrverlaufsdaten für ein automatisiertes Fahr-/Assistenzsystem äußerst hilfreich sind, hat die Anmelderin die Vorteile einer Verwendung verfügbarer Sensoren und Rechenleistung in einem Fahrzeug, um Fahrverlaufsdaten zu erlangen, erkannt. In der vorliegenden Anmeldung offenbart die Anmelderin Systeme, Verfahren und Vorrichtungen zum Erlangen von Fahrspurlinieninformationen unter Verwendung einer Rückfahrkamera oder Rückblickkamera eines Fahrzeugs, die in einem Fahrverlauf gespeichert werden können. Gemäß einer beispielhaften Ausführungsform beinhaltet ein System eine Wahrnehmungsdatenkomponente, eine Fahrspurkomponente und eine Berichtskomponente. Die Wahrnehmungsdatenkomponente ist konfiguriert, um Wahrnehmungsdaten von mindestens zwei Sensoren zu empfangen, wobei die mindestens zwei Sensoren eine nach hinten weisende Kamera eines Fahrzeugs umfassen. Die Fahrspurkomponente ist konfiguriert, um unter Verwendung eines neuronalen Netzes eine Anzahl von Fahrspuren auf einer Fahrbahn innerhalb eines Sichtfelds, das durch die Wahrnehmungsdaten eingefangen wird, zu bestimmen. Die Berichtskomponente ist konfiguriert, um einem automatisierten Fahrsystem oder Fahrassistenzsystem eine Angabe der Anzahl von Fahrspuren bereitzustellen.
Die nach hinten weisenden Kameras an Fahrzeugen werden typischerweise zur Unterstützung verwendet und sind inaktiv oder ungenutzt, während ein Fahrzeug vorwärtsfährt. Hierin offenbarte Ausführungsformen verwenden Rückfahrkameras, um eine Fahrbahn zu untersuchen, um eine Anzahl von Fahrspuren zu bestimmen. Zum Beispiel können die Rückfahrkameras in einigen Ausführungsformen veranlasst werden, Videos/Bilder immer dann aufzunehmen, wenn das Fahrzeug angelassen wird oder sich (vorwärts oder rückwärts) bewegt. Informationen über die Anzahl von Fahrspuren können verwendet werden, um eine Fahrverlaufsdatenbank zu informieren oder zu aktualisieren. In einer Ausführungsform können die Daten von der Rückfahrkamera auch verwendet werden, um zu erkennen, auf welcher Fahrspur sich das Fahrzeug gerade befindet (d. h. ab dem Zeitpunkt, als ein Bild oder Wahrnehmungsdaten erhoben wurden). In einer Ausführungsform kann das Erkennen einer Anzahl von Fahrspuren oder einer aktuellen Fahrspur unter Verwendung eines Maschinenlernalgorithmus, wie einem tiefgehenden neuronalen Netz (DNN – deep neural network), durchgeführt werden.
In einer Ausführungsform kann ein Fahrsystem während einer Rückwärtsfahrt oder während der inaktiven Zeit der Kamera erkennen, wie viele Fahrspuren eine Straße breit ist, während das Fahrzeug vorwärtsfährt. Das System kann die Rückfahrkamera auch verwenden, um zu erkennen, auf welcher Fahrspur sich das Fahrzeug aktuell befindet. Zusätzliche Sensoren können zusammen mit der Rückfahrkamera verwendet werden, um zusammengeführte Sensordaten zu erzeugen. Zum Beispiel kann ein LIDAR-System (light detection and ranging) verwendet werden, um Daten zu erheben, wie etwa um den Reflexionsgrad von Flächen zu messen, um die Belastbarkeit und Lokalisierungsgenauigkeit der Fahrspurmarkierungen zu verbessern. Radar kann verwendet werden, um Bordsteinkanten oder die Straßenränder zu erkennen. Die Zusammenführung von LIDAR, Radar und/oder Rückfahrkamera kann eine belastbare Erkennung von Fahrspurmarkierungen bei einer Vielzahl von unterschiedlichen Bedingungen ermöglichen.
In einer Ausführungsform kann ein System, wenn keine Fahrspurmarkierungen vorhanden sind, auf einen reinen LIDAR-Modus oder einen reinen Radar-Modus (oder einen reinen LIDAR- und Radarmodus) umschalten, da ein LIDAR-System oder Radar-System in der Lage sein kann, die Seitenstreifen der Fahrspur zu erkennen. Um die Anzahl von Fahrspuren zu bestimmen, kann der Abstand zwischen den Seitenstreifen gemessen und durch die Standardfahrspurbreite dividiert werden. Jeder Bruchrest kann zwischen den Fahrspuren oder Straßenseitenstreifen aufgeteilt und zugewiesen werden. In einer Ausführungsform kann LIDAR und/oder Radar verwendet werden, um eine Unterteilung der Straßenebene durchzuführen und somit die Neigung der Straße sowohl in horizontaler als auch vertikaler Richtung zu bestimmen. Die Anmelderin betrachtet die Verwendung und/oder Zusammenführung anderer Arten von Sensordaten für die Bestimmung der Fahrspuranzahl als innerhalb des Umfangs der vorliegenden Offenbarung liegend.
Die Anzahl von Fahrspuren und/oder die aktuelle Fahrspur können einem automatisierten Fahrsystem oder Fahrassistenzsystem bereitgestellt werden. Zum Beispiel kann das System die Fahrspurinformationen verwenden, um zu bestimmen, wie das Fahrzeug zu fahren ist, wie Hindernisse umgangen werden, oder dergleichen. Die Anzahl von Fahrspuren und die aktuelle Fahrspur können an alle Steuerungen eines automatisierten Fahrsystems oder Fahrassistenzsystems zur Verwendung bei Entscheidungsfindung, Navigation oder dergleichen gesendet werden. In einer Ausführungsform können die aktuelle Anzahl von Fahrspuren wie auch die aktuell belegte Fahrspur verwendet werden, um Vermeidungsoptionen zur Sicherheit sowie die autonome Bewegungsbahn zu berechnen. Als weiteres Beispiel kann einem Benutzer eine Benachrichtigung hinsichtlich der Anzahl von Fahrspuren und/oder der aktuellen Fahrspur des Fahrzeugs bereitgestellt werden (z. B. auf einem Frontdisplay oder einem Navigationsbildschirm).
In einer Ausführungsform kann die Anzahl von Fahrspuren an einer bestimmten Position oder entlang einer bestimmten Fahrbahn in einer Fahrverlaufsdatenbank für einen späteren Abruf gespeichert werden. In einer Ausführungsform kann die Anzahl von Fahrspuren in einen Fernserver oder in die Cloud hochgeladen werden. Der entfernte Speicherort kann einen Datenspeicher beinhalten, der über ein mobiles Kommunikationsnetzwerk und/oder das Internet zugänglich ist. Der entfernte Speicherort kann auch Daten von einer großen Anzahl anderer Fahrzeuge empfangen und speichern, um einen Cloud-basierten Fahrverlauf zu erzeugen, der von den verschiedenen Fahrzeugen gemeinsam genutzt wird. Die Daten können zusammengefasst oder kompiliert werden, um den Fahrzeugen zu ermöglichen, auf die gemeinsam genutzten Daten zuzugreifen, wenn sie Zugang zu Kommunikationsnetzwerken haben. Bei nachfolgenden Fahrten kann die aktuellen Anzahl von Fahrspuren entweder aus einer lokalen Fahrverlaufsdatenbank oder der Cloud-Fahrverlaufsdatenbank abgerufen werden. In einer Ausführungsform wird die Anzahl von Fahrspuren an alle Steuerungen auf einem Fahrzeugsteuerbus des Fahrzeugs gesendet, um Fahrwege oder dergleichen zu bestimmen.
Weitere Ausführungsformen und Beispiele werden nachfolgend in Bezug auf die Figuren erläutert.
Bezugnehmend auf die Figuren veranschaulicht 1 ein beispielhaftes Fahrzeugsteuersystem 100. Das Fahrzeugsteuersystem 100 beinhaltet ein automatisiertes Fahr-/Assistenzsystem 102. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder zu steuern oder einen menschlichen Fahrer zu unterstützen. Das automatisierte Fahr-/Assistenzsystem 102 kann eines oder mehrere von Bremsung, Lenkung, Beschleunigung, Lichter, Alarmen, Fahrerbenachrichtigungen, Radio und/oder beliebige weitere Fahr- oder Hilfssystemen des Fahrzeugs steuern. In einem weiteren Beispiel ist das automatisierte Fahr-/Assistenzsystem 102 unter Umständen nicht in der Lage, jegliche Steuerung des Fahrens (z. B. der Lenkung, Beschleunigung oder Bremsung) bereitzustellen, kann jedoch Benachrichtigungen und Alarme bereitstellen, um einen menschlichen Fahrer darin zu unterstützen, sicher zu fahren. Zum Beispiel kann das automatisierte Fahr-/Assistenzsystem 102 eine oder mehrere Steuerungen (wie die hierin erläuterten) beinhalten, die Daten über einen Steuerbus bereitstellen oder empfangen und die Daten verwenden, um durchzuführende Handlungen zu bestimmen und/oder Anweisungen oder Signale bereitzustellen, um diese Handlungen einzuleiten. Das automatisierte Fahr-/Assistenzsystem 102 kann eine Fahrspurkomponente 104 beinhalten, die konfiguriert ist, um eine Anzahl von Fahrspuren und/oder eine aktuelle Fahrspur auf Grundlage von Bildern oder Videos von einer nach hinten weisenden Kamera zu bestimmen.
Das Fahrzeugsteuerungssystem 100 beinhaltet außerdem ein/e oder mehrere Sensorsysteme/vorrichtungen zum Erkennen einer Anwesenheit nahe gelegener Objekte, von Fahrspurmarkierungen und/oder zum Bestimmen einer Position eines Stammfahrzeugs (z. B. ein Fahrzeug, das das Fahrzeugsteuersystem 100 beinhaltet). Das Fahrzeugsteuersystem 100 kann zum Beispiel Radarsysteme 106, ein oder mehrere LIDAR-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionsbestimmungssystem (GPS) 112 und/oder Ultraschallsysteme 114 beinhalten. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten für Navigation und Sicherheit beinhalten, wie etwa Kartendaten, Fahrthistorie (d. h. Fahrverlauf) oder weitere Daten. Das Fahrzeugsteuersystem 100 kann außerdem einen Sendeempfänger 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur, der Cloud oder entfernten Rechen- oder Speicherressourcen oder einem beliebigen anderen Kommunikationssystem beinhalten.
Das Fahrzeugsteuersystem 100 kann Fahrzeugsteueraktoren 120 beinhalten, um verschiedene Aspekte des Fahrens des Fahrzeugs zu steuern, wie etwa Elektromotoren, Schalter oder andere Aktoren, um die Bremsung, Beschleunigung, Lenkung oder dergleichen zu steuern. Das Fahrzeugsteuersystem 100 kann außerdem einen oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Vorrichtungen beinhalten, so dass einem menschlichen Fahrer oder Insassen Benachrichtigungen bereitgestellt werden können. Eine Anzeige 122 kann ein Frontdisplay, ein Display oder ein Anzeigegerät am Armaturenbrett, einen Bildschirm oder ein beliebiges anderes visuelles Anzeigegerät beinhalten, die von einem Fahrer oder Insassen eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Soundsystems eines Fahrzeugs beinhalten oder können einen für die Fahrerbenachrichtigung vorgesehenen Lautsprecher beinhalten. Die Fahrzeugsteueraktoren 120, die Anzeigen 122, die Lautsprecher 124 oder andere Teile des Fahrzeugsteuersystems 100 können von einer oder mehreren Steuerungen des automatisierten Fahr-/Assistenzsystem 102 gesteuert werden.
In einer Ausführungsform ist das automatisierte Fahr-/Assistenzsystem 102 konfiguriert, um das Fahren oder Navigieren eines Stammfahrzeugs zu steuern. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel die Fahrzeugsteueraktoren 120 steuern, um einen Weg innerhalb von Fahrspuren auf einer Straße, einem Parkplatz, einer Einfahrt oder an einem anderen Ort entlangzufahren. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel einen Weg auf Grundlage von durch eine beliebige der Komponenten 106–118 bereitgestellten Informationen oder Wahrnehmungsdaten bestimmen. Die Sensorsysteme/-vorrichtungen 106–110 und 114 können verwendet werden, um Echtzeit-Sensordaten zu erhalten, so dass das automatisierte Fahr-/Assistenzsystem 102 in Echtzeit einen Fahrer unterstützen oder ein Fahrzeug fahren kann. In einer Ausführungsform verwendet das automatisierte Fahr-/Assistenzsystem 102 auch Informationen, die in einem Fahrverlauf gespeichert sind (lokal oder entfernt), um Bedingungen in einer aktuellen Umgebung zu bestimmen. Das automatisierte Fahr-/Assistenzsystem 102 kann eines oder mehrere von Algorithmen, Anwendungen, Programmen oder Funktionalität, die das Fahrzeug fahren oder beim Fahren unterstützen, implementieren.
In einer Ausführungsform können die Kamerasysteme 110 eine nach hinten weisende Kamera, wie eine Rückblickkamera, beinhalten. Die Kamerasysteme 110 können zum Beispiel Kameras einschließen, die in unterschiedliche Richtungen weisen, um verschiedene Ansichten und verschiedene Sichtfelder für Bereiche nahe dem Fahrzeug oder um dieses herum bereitzustellen. Zum Beispiel können manche Kameras nach vorne, seitlich, rückwärts, abgewinkelt oder in jede beliebige andere Richtung weisen. In einer Ausführungsform können Bilder von einer Rückfahrkamera verwendet werden, um eine Anzahl von Fahrspuren auf einer Fahrbahn und/oder eine aktuelle Fahrspur für das Fahrzeug zu bestimmen.
Es ist anzuerkennen, dass die Ausführungsform der 1 lediglich ein Beispiel ist. Andere Ausführungsformen können weniger oder zusätzliche Komponenten einschließen, ohne vom Umfang der Offenbarung abzuweichen. Des Weiteren können dargestellte Komponenten ohne Beschränkung kombiniert oder in andere Komponenten eingeschlossen werden.
2 veranschaulicht eine perspektivische Ansicht einer Fahrbahn 200. Die Ansicht veranschaulicht, was in einem Bild von einer nach hinten weisenden Kamera, wie eine Rückblickkamera, eines Fahrzeugs eingefangen werden kann. Die Fahrbahn 200 beinhaltet eine Vielzahl von Markierungen, einschließlich Fahrspurteilungsmarkierungen 204, Straßenbegrenzungsmarkierungen 202 und Rüttelstreifen 206. Die Fahrbahn 200 kann eine Fahrbahn für eine Schnellstraße oder Autobahn beinhalten, bei der alle Fahrspuren der Fahrbahn 200 in die gleiche Richtung verlaufen. Die Markierungen können mechanische und nicht-mechanische Markierungen beinhalten. Mechanische Markierungen können Reflektoren, Rüttelstreifen (z. B. 206) oder dergleichen beinhalten. Nicht-mechanische Markierungen können farbige Linien oder Markierungen (weiß, gelb, usw.), die mit Farbe, Kunststoffen, Klebeband, Epoxidharz oder dergleichen erzeugt werden, beinhalten.
In einer Ausführungsform ist eine Fahrspurkomponente 104 konfiguriert, um eine Anzahl von Fahrspuren auf der Fahrbahn 200 zu erkennen und zu bestimmen. Zum Beispiel kann die Fahrspurkomponente 104 die Straßenbegrenzungsmarkierungen 202 identifizieren und auf Grundlage von zwei Reihen von Fahrspurteilungsmarkierungen 204 bestimmen, dass drei Fahrspuren vorhanden sind. Es ist wichtig anzumerken, dass Bilder, die unter Verwendung einer nach hinten weisenden Kamera eingefangen werden, Informationen erlangen, die im Vergleich zu denen einer nach vorne weisenden Kamera oder aus der Perspektive eines menschlichen Fahrers umgekehrt sind. Wenn zum Beispiel eine Mittellinie im Allgemeinen links von einem Fahrzeug in einer bestimmten Fahrposition liegt, kann eine nach hinten weisende Kamera Bilder einfangen, die die Mittellinie auf einer rechten Seite des Bildes zeigen. Somit müssen alle Fahrspuranzahl-, Fahrspurpositionierungs- und Fahrspurerkennungsalgorithmen, die Daten von nach hinten weisenden Kameras verwenden, die Reihenfolgen oder Erkennungsregeln umkehren, um ein übliches Format wie bei anderen Sensoren oder wie aus der Perspektive eines Fahrers widerzuspiegeln.
Die Fahrspurkomponente 104 kann die Anwesenheit von Rüttelstreifen 206 sowie einer Markierungsfarbe (weiß, gelb, usw.) oder eines Musters (durchbrochene oder durchgehende Linie) verwenden, um die Begrenzungen einer Fahrbahn (oder äußerste Fahrspurbegrenzung einer Fahrbahn) zu bestimmen. Zum Beispiel beinhalten die Straßenbegrenzungsmarkierungen 202 ein durchgehendes Linienmuster, während die Fahrbahnteilungsmarkierungen 204 ein durchbrochenes Linienmuster beinhalten. Die Fahrspurkomponente 104 kann durchgehende Linien als Begrenzungsmarkierungen und durchbrochene Linien als Fahrspurteilungsmarkierungen identifizieren. Andere Arten von Fahrspurmarkierungen (wie Reflektoren) können auf Grundlage von Farbe, Häufigkeit oder dergleichen als Straßenbegrenzungsmarkierungen, Mittellinien, Fahrspurteiler oder dergleichen identifiziert werden. Im Lichte der vorliegenden Offenbarung wird ein Fachmann verstehen, dass die Erkennung der Markierungsart in Bezug auf Begrenzungen bei jeder Art von Fahrspurmarkierung, ob mechanische oder nicht-mechanische Markierung, angewandt werden kann.
Wie in 1 veranschaulicht, kann das automatisierte Fahr-/Assistenzsystem 102 auch eine Positionskomponente 126 und eine Fahrverlaufskomponente 128 beinhalten. Die Positionskomponente 126 kann eine aktuelle Position des Fahrzeugs, in dem sich das System 100 befindet, bestimmen. Zum Beispiel kann die Positionskomponente 126 Positionsinformationen vom GPS 112 und/oder von dem Sendeempfänger 118 empfangen, die eine Position des Fahrzeugs angeben. Die Fahrverlaufskomponente 128 ist konfiguriert, um Daten aus einem Fahrverlauf (d. h. Fahrthistorie) abzurufen und diese anderen Steuerungen oder Abschnitten des Systems 100 bereitzustellen. Zum Beispiel können Daten in einem Fahrverlauf (lokal im Datenspeicher 116 gespeichert oder entfernt an einem unter Verwendung des Sendeempfängers 118 über ein Netzwerk zugänglichen Ort gespeichert) für eine aktuelle oder zukünftige Position abgerufen werden, um das automatisierte Fahr-/Assistenzsystem 102 über Straßen- oder Fahrbedingungen zu informieren. In einer Ausführungsform ist die Fahrverlaufskomponente 128 konfiguriert, um Fahrverlaufsdaten aus einem entfernten Speicherort abzurufen. Der Fahrverlauf kann eine Anzahl von Fahrspuren oder eine Neigung für eine aktuelle Position eines Fahrzeugs angeben. In einer Ausführungsform ist die Fahrverlaufskomponente 128 konfiguriert, um die Anzahl von Fahrspuren oder die Neigung für die aktuelle Position an eine oder mehrere Fahrzeugsteuerungen eines automatisieren Fahrsystems oder Fahrassistenzsystems zu senden. Zum Beispiel können die Steuerungen die Daten aus dem Fahrverlauf verwenden, um zu bestimmen, wie das Fahrzeug zu steuern ist, um einen Bereich der Straße zu befahren. Zum Beispiel können die Steuerungen einen Lenkwinkel oder eine Änderung des Lenkwinkels, eine Geschwindigkeit oder Änderung der Geschwindigkeit, Beschleunigung, Bremsung oder beliebige andere Steuereingabe-/Ausgabewerte bestimmen, um ein Fahrzeug zu steuern.
3 veranschaulicht eine perspektivische Ansicht einer Fahrbahn 300 in einem Wohngebiet gemäß einer Ausführungsform. Die Ansicht veranschaulicht, was in einem Bild von einer nach hinten weisenden Kamera, wie eine Rückblickkamera, eines Fahrzeugs, das durch ein Wohngebiet fährt, eingefangen werden kann. Da die Fahrbahn 300 keine herkömmlichen mechanischen oder nicht-mechanischen Fahrspurmarkierungen, wie Linien oder Reflektoren, beinhaltet, muss die Anzahl von Fahrspuren auf Grundlage anderer Faktoren, wie einer Breite 302 der Fahrbahn 300 bestimmt werden. Die Fahrspurkomponente 104 kann die Breite 302 der Fahrbahn auf Grundlage der Straßenränder bestimmen. Zum Beispiel können Bordsteinkanten 304 auf jeder Seite der Fahrbahn 300 unter Verwendung von Bildern von einer Rückfahrkamera und/oder Daten von einem anderen Erfassungssystem, wie LIDAR-Daten oder Radar-Daten, erkannt werden. LIDAR-Daten und Radar-Daten können besonders hilfreich sein, um Bordsteinkanten oder andere dreidimensionale Straßen- oder Umgebungsmerkmale zu erkennen.
In einer Ausführungsform können zusammengeführte Daten, basierend auf Bildern und anderen Sensordaten, erzeugt werden, um eine Position von Bordsteinkanten, eines Seitenstreifens oder dergleichen nahe der Fahrbahn zu bestimmen. Zum Beispiel kann die Position eines Fahrbahnrandes auf Grundlage einer Bildverarbeitungstechnik, wie Randerkennung oder Begrenzungserkennung, oder auf Grundlage von LIDAR-Daten bestimmt werden. Die auf Grundlage der Bilddaten bestimmte Position oder Straßenbreite kann mit der Position oder Straße, bestimmt auf Grundlage der LIDAR-Daten, gemittelt werden (z. B. unter Verwendung eines gewichteten Durchschnitts). Die berechnete/bestimmte Breite kann durch eine gespeicherte Fahrspurbreite dividiert werden, um zu bestimmen, wie viele Fahrspuren auf der Fahrbahn 300 vorhanden sind. Zum Beispiel kann die gespeicherte Fahrspurbreite eine durchschnittliche oder gesetzliche Fahrspurbreite beinhalten, die für eine geografische Position bekannt ist. In einer Ausführungsform kann die Anzahl von Fahrspuren auch auf Grundlage einer Straßenumgebung bestimmt werden. Wenn sich das Fahrzeug zum Beispiel in der Umgebung einer Schnellstraße befindet (wie die in 2 gezeigte), können die Fahrspurbreiten größer sein als diejenigen in Wohn- oder Industriegebieten. Die Umgebung kann auf Grundlage der Anwesenheit von Bordsteinkanten 304, Parkstreifen 306, Einfahrten 308 oder Verbindungsfahrbahnen, Gehsteigen 310, Häusern, Gebäuden, Bäumen oder dergleichen bestimmt werden. Zum Beispiel kann die Anwesenheit von Häusern und/oder Gehsteigen innerhalb einer bestimmten Entfernung von der Straße die Verwendung einer kleineren durchschnittlichen Fahrspurbreite auslösen. In einer Ausführungsform kann die Abwesenheit von Fahrspur- oder anderen Straßenmarkierungen angeben, dass eine kleinere Fahrspurbreite zu verwenden ist.
4 veranschaulicht eine perspektivische Ansicht einer Fahrbahn 400 in einer gewerblichen Umgebung gemäß einer Ausführungsform. Die Ansicht veranschaulicht, was in einem Bild von einer nach hinten weisenden Kamera, wie eine Rückblickkamera, eines Fahrzeugs eingefangen werden kann. In ähnlicher Weise kann ein LIDAR- oder Radarsystem Informationen über ein oder mehrere Merkmale der Fahrbahn 400 oder in der Umgebung der Fahrbahn 400 einfangen. Die Fahrbahn 400 ist eine Fahrbahn in zwei Richtungen mit einer Vielzahl von Markierungen, einschließlich Mittellinienmarkierungen 402, Fahrspurteilungsmarkierungen 404 und Straßenbegrenzungsmarkierungen 406. Eine Bordsteinkante 408 liegt nahe der Fahrbahn 400 und eine Querstraße 410 schneidet die Fahrbahn 400. In einer Ausführungsform ist eine Fahrspurkomponente 104 konfiguriert, um eine Anzahl von Fahrspuren auf der Fahrbahn 400 zu erkennen und zu bestimmen. Zum Beispiel kann die Fahrspurkomponente 104 die Straßenbegrenzungsmarkierungen 406 identifizieren und auf Grundlage der zwei Reihen von Fahrspurteilungsmarkierungen 404 und den Mittellinienmarkierungen 402 bestimmen, dass vier Fahrspuren auf der Fahrbahn vorhanden sind.
Die Fahrspurkomponente 104 kann außerdem eine Fahrtrichtung für jede Fahrspur auf Grundlage der Anwesenheit der Mittellinienmarkierungen 402 bestimmen. Die Fahrspurkomponente 104 kann die Mittellinienmarkierungen 402 auf Grundlage des Linienmusters (z. B. doppelte durchgehende oder doppelte durchbrochene Linien) oder der Farbe (z. B. gelb gegenüber weiß) identifizieren. Die Fahrspurkomponente 104 kann bestimmen, dass die Fahrspuren auf einer Seite der Mittellinienmarkierungen 402 der Fahrbahn 400 zum Befahren in einer ersten Richtung dienen und dass Fahrspuren auf der anderen Seite der Mittellinienmarkierungen 402 der Fahrbahn 400 zum Befahren in einer zweiten, entgegengesetzten Richtung dienen.
Die Anzahl von Fahrspuren, Fahrtrichtungen und andere Einzelheiten können in einem lokalen oder entfernen Fahrverlauf für einen späteren Zugriff gespeichert werden. In einer Ausführungsform können die Anzahl von Fahrspuren, ihre entsprechenden Richtungen oder andere Fahrspurinformationen einem Steuersystem oder automatisierten Fahr-/Assistenzsystem zur Bestimmung eines Fahrtwegs oder von Kollisionsvermeidungsmanövern bereitgestellt werden. Zum Beispiel kann ein automatisiertes Fahr-/Assistenzsystem bestimmen, ob ein Manöver verfügbar ist, um eine Kollision mit einem Objekt, einem Fußgänger oder einem anderen Fahrzeug, das auf der Fahrbahn 400 verharrt, zu vermeiden, aber ein Einfahren in eine entgegenkommende Fahrspur vermeidet. In manchen Fällen kann ein Einfahren in eine entgegenkommende Fahrspur oder ein Verlassen der Fahrbahn 400 gegenüber alternativen Wegen, die zu einer bevorstehenden Kollision führen können, bevorzugt sein.
5 ist ein schematisches Blockschaubild, das einen Datenfluss für ein Verfahren 500 zum Bestimmen einer Anzahl von Fahrspuren und/oder einer aktuellen Fahrspur für ein Fahrzeug veranschaulicht. Eine Vielzahl von Arten von Wahrnehmungsdaten einschließlich Kameradaten, Radardaten, LIDAR-Daten und/oder Ultraschalldaten können empfangen und für eine Sensorzusammenführung 502 kombiniert werden. Die Kameradaten können Daten von einer nach hinten weisenden Kamera, wie eine Rückblickkamera, beinhalten. Die Sensorzusammenführung 502 kann Informationen über Fahrspurmarkierungsposition, Bordsteinposition, einen Seitenstreifen oder die Position eines beliebigen anderen Objekts oder Merkmals in der Umgebung auf Grundlage von kombinierten Wahrnehmungsdaten erzeugen.
Wenn zum Beispiel nur Kameradaten und LIDAR-Daten empfangen werden, dann kann eine Position für eine Fahrspurmarkierung auf Grundlage eines Durchschnitts oder anderer Kombination aus Kamera- und LIDAR-Daten bestimmt werden. Die Sensorzusammenführung 502 kann Durchschnitte oder gewichtete Durchschnitte für verschiedene Datenarten verwenden, um zusammengeführte oder kombinierte Daten zu bestimmen. Wenn nur eine Art von Daten empfangen wird, kann die Sensorzusammenführung diese Rohdaten durchlaufen lassen oder die Rohdaten modifizieren, damit sie einem Format entsprechen, das von den neuronalen Netzen 504 erwartet wird. Die neuronalen Netze 504 können die Rohdaten oder zusammengeführten Daten empfangen und sie verarbeiten, um eine Anzahl von Fahrspuren für eine Fahrbahn und/oder eine aktuelle Fahrspur für ein Fahrzeug auf der Fahrbahn zu erzeugen.
Die neuronalen Netze 504 können ein oder mehrere Netzwerke beinhalten, die eine oder mehrere Ausgaben, einschließlich Anzahl von Fahrspuren und aktuelle Fahrspuren, berechnen. Da Daten einer nach hinten weisenden Kamera verwendet werden können, kann die Anzahl von Fahrspuren auf einem Bereich der Fahrbahn basieren, über den das Fahrzeug bereits gefahren ist. Jedoch können diese Daten immer noch nützlich für automatisiertes Fahren oder unterstütztes Fahren sein, da sie dabei helfen können, über Annahmen über die Anzahl von Fahrspuren vor einem Fahrzeug zu informieren. Zusätzlich kann die Speicherung der Anzahl von Fahrspuren in einem Fahrverlauf zu einem späteren Zeitpunkt abgerufen werden, wenn der Benutzer sich einer Straße annähert oder wieder annähert und die vorher gespeicherten Fahrspurdaten können ein Fahrzeug beim Bestimmen der Merkmale einer Fahrbahn, die das Fahrzeug in Kürze befahren wird, unterstützen. In einer Ausführungsform beinhalten die neuronalen Netze 504 ein oder mehrere tiefgehende neuronale Netze, die qualifiziert wurden, um eine Anzahl von Fahrspuren und/oder eine aktuelle Fahrspur eines Fahrzeugs innerhalb der erkannten Fahrspuren zu erkennen.
6 ist ein schematisches Diagramm, das eine Konfiguration eines tiefgehenden neuronalen Netzes 600 veranschaulicht. Tiefgehende neuronale Netze haben in den letzten Jahren an Aufmerksamkeit gewonnen, da sie die herkömmlichen Maschinenlernkonzepte bei herausfordernden Aufgaben, wie Bildklassifizierung und Spracherkennung, übertroffen haben. Tiefgehende neuronale Netze sind aufgeschaltete algorithmische Graphen mit Eingangsknoten (wie Eingangsknoten 602), einer oder mehreren verborgenden Schichten (wie verborgene Schichten 604, 606 und 608) und Ausgangsknoten (wie Ausgangsknoten 610). Zur Klassifizierung von Inhalten oder Informationen über ein Bild werden Pixelwerte in dem eingegebenen Bild Eingangsknoten zugewiesen und dann durch die verdeckten Schichten 604, 606, 608 des Netzes geführt, wobei sie eine Anzahl von nichtlinearen Transformationen durchlaufen. Am Ende der Berechnung ergeben die Ausgangsknoten 610 Werte, die der Klasse entsprechen, die von dem neuronalen Netz gefolgert wird. Die Anzahl der Eingangsknoten 602, verborgenen Schichten 604–608 und Ausgangsknoten 610 ist nur veranschaulichend. Zum Beispiel können größere Bilder einen Eingangsknoten 602 für jedes Pixel beinhalten und können somit hunderte, tausende oder eine andere Anzahl von Eingangsknoten aufweisen.
Gemäß einer Ausführungsform kann ein tiefgehendes neuronales Netz 600 der 6 verwendet werden, um den Inhalt bzw. die Inhalte eines Bildes in vier unterschiedliche Klassen einzuordnen: eine erste Klasse, eine zweite Klasse, eine dritte Klasse und eine vierte Klasse. Gemäß der vorliegenden Offenbarung kann ein ähnliches oder unterschiedlich bemessenes neuronales Netz in der Lage sein, einen Wert auszugeben, der eine Anzahl von Fahrspuren in einem Bild angibt. Zum Beispiel kann die erste Klasse einer Fahrspur entsprechen, die zweite Klasse kann zwei Fahrspuren entsprechen, die dritte Klasse kann drei Fahrspuren entsprechen und die vierte Klasse kann vier Fahrspuren entsprechen. Dies ist nur veranschaulichend, da ein neuronales Netz zum Einordnen der Anzahl von Fahrspuren auf Grundlage eines Bildes hunderte oder tausende von Pixeln beinhalten kann und vielleicht eine größere Anzahl von Fahrspuren (z. B. zehn oder mehr in manchen Ausführungsformen) erkennen muss. Somit kann ein neuronales Netz zum Einordnen der Anzahl von Fahrspuren hunderte oder tausende von Knoten an einer Eingangsschicht und/oder mehr als vier Ausgangsknoten benötigen.
Zum Beispiel kann ein Einspeisen eines Rohbildes der Fahrbahn 200 der 2 in das Netz die höchste Wahrscheinlichkeit für die dritte Klasse, oder drei Fahrspuren, ergeben. Somit kann das neuronale Netz ein Rechensystem in die Lage versetzen, die Anzahl von Fahrspuren innerhalb eines Bildes automatisch abzuleiten. Ähnliche Techniken oder Prinzipien können verwendet werden, um Informationen über oder Erkennen von Fußgängern, Verkehrszeichen, einer aktuellen Fahrspur und/oder dergleichen abzuleiten.
Damit das tiefgehende neuronale Netz in der Lage ist, zwischen allen erwünschten Klassen zu unterscheiden, muss das neuronale Netz auf Grundlage von Beispielen qualifiziert werden. Wenn zum Beispiel ein tiefgehendes neuronales Netz, das eine Anzahl von Fahrspuren in einem Bild einordnen kann, erzeugt werden soll, dann kann eine große Anzahl von Beispielbildern (hundert bis tausend für Fahrbahnen mit verschiedener Anzahl von Fahrspuren) mit einer Kennung, die jedem Bild zugewiesen wird, das der Anzahl von Fahrspuren innerhalb jedes bestimmten Bildes entspricht, erforderlich sein. Die gekennzeichneten Daten können eine große Herausforderung für die Qualifizierung von tiefgehenden neuronalen Netzen sein, da Menschen erforderlich sind, um die Kennungen den Übungsbildern zuzuweisen (die häufig in die Millionen gehen). Somit können die Zeit und die Ausrüstung, um das Bild zu erarbeiten, wie auch das händische Kennzeichnen derselben teuer sein. Sobald die Bilder mit den Kennungen (Übungsdaten) erarbeitet sind, kann das Netz qualifiziert werden. Ein beispielhafter Algorithmus für die Qualifizierung beinhaltet den Rückübertragungsalgorithmus, der die Bilder verwendet, einschließlich der großen Anzahl von Bildern mit Kennungen. Der Rückübertragungsalgorithmus kann mehrere Stunden, Tage oder Wochen dauern, bis er durchgeführt ist.
Bezugnehmend auf 7 ist ein schematisches Blockschaubild, das Komponenten einer Fahrspurkomponente 104 gemäß einer Ausführungsform veranschaulicht, gezeigt. Die Fahrspurkomponente 104 beinhaltet eine Wahrnehmungsdatenkomponente 702, eine Zusammenführungskomponente 704, eine Fahrspuranzahlkomponente 706, eine aktuelle Fahrspurkomponente 708, eine Neigungskomponente 710, eine Manöverkomponente 712 und eine Berichtskomponente 714. Die Komponenten 702–714 dienen lediglich zur Veranschaulichung und es kann sein, dass nicht alle in allen Ausführungsformen beinhaltet sind. Tatsächlich können einige Ausführungsformen lediglich eine oder eine beliebige Kombination aus zwei oder mehreren der Komponenten 702–714 beinhalten. Einige der Komponenten 702–714 können außerhalb der Fahrspurkomponente 104 liegen, wie etwa innerhalb des automatisierten Fahr-/Assistenzsystems 102 oder anderswo.
Die Wahrnehmungsdatenkomponente 702 ist konfiguriert, um Wahrnehmungsdaten von einem oder mehreren Sensoren oder Erfassungssystemen eines Fahrzeugs oder eines Fahrzeugsteuersystems zu erlangen oder zu empfangen. In einer Ausführungsform empfängt die Wahrnehmungsdatenkomponente 702 Wahrnehmungsdaten, die Informationen über eine Umgebung eines Fahrzeugs oder eines Fahrzeugsteuersystems beinhalten. Beispielhafte Wahrnehmungsdaten beinhalten Daten von LIDAR-, Radar-, Kamera-, Ultraschall-, Infrarot- oder anderen Systemen. In einer Ausführungsform ist die Wahrnehmungsdatenkomponente 702 konfiguriert, um Wahrnehmungsdaten von mindestens zwei Sensoren oder Erfassungssystemen zu empfangen. In einer Ausführungsform umfasst der mindestens eine der Sensoren oder das eine der Erfassungssysteme eine nach hinten weisende Kamera eines Fahrzeugs. Daten von anderen Sensoren können ebenfalls empfangen werden, wie Daten von einem LIDAR-, Radar-, Ultraschall-, Infrarot- oder anderem Systeme
Die Zusammenführungskomponente 704 ist konfiguriert, um eine Datenzusammenführung mit Wahrnehmungsdaten, die von der Wahrnehmungsdatenkomponente 702 erlangt werden, durchzuführen. Zum Beispiel kann die Zusammenführungskomponente 704 in Felder oder Einträge, die von einer oder mehreren der anderen Komponenten 702, 706–714 erwartet werden, Daten von den Wahrnehmungsdaten einpflegen. Wenn zum Beispiel ein Bild von der Fahrspuranzahlkomponente 706 erwartet wird (aber vielleicht nicht benötigt wird), kann die Zusammenführungskomponente 704 ein Bild in einer Tabelle oder Matrix bereitstellen, die der Fahrspurkomponente bereitgestellt werden soll. In ähnlicher Weise kann die Zusammenführungskomponente 704 die LIDAR-Daten in einem anderen Feld oder einem anderen Bereich der Tabelle oder Matrix bereitstellen, falls LIDAR-Daten von einer Komponente verwendet werden könnten. Die Zusammenführungskomponente 704 kann Wahrnehmungsdaten von verschiedenen Datenquellen zur Verwendung durch eine Fahrspuranzahlkomponente 706, eine aktuelle Fahrspurkomponente 708 und/oder eine Neigungskomponente 710 zur Verarbeitung unter Verwendung eines neuronalen Netzes oder eines anderen Maschinenlernalgorithmus oder -modells zusammenstellen.
In einer Ausführungsform ist die Zusammenführungskomponente 704 konfiguriert, um zusammengeführte Sensordaten auf Grundlage der Wahrnehmungsdaten von mindestens zwei Sensoren zu erzeugen. Zum Beispiel können die zusammengeführten Sensordaten eine Position einer Fahrspurmarkierung, eine Anzahl von Fahrspuren oder dergleichen beinhalten. Zum Beispiel kann die Zusammenführungskomponente 704 die Anwesenheit oder Position von einer oder mehreren Fahrspurlinien auf Grundlage von Daten von vielen Sensoren bestimmen. Zum Beispiel können Daten von einem Sensor die Anwesenheit einer Fahrspurmarkierung mit hoher Aussagewahrscheinlichkeit angeben, während Daten von einem anderen Sensor die Anwesenheit einer Fahrspurmarkierung mit geringer oder mittlerer Aussagewahrscheinlichkeit angeben können. Auf Grundlage der kombinierten Daten kann die Zusammenführungskomponente 704 bestimmen, dass eine Fahrspurmarkierung vorhanden ist. In ähnlicher Weise können Daten von einem Sensor eine erste Position einer Fahrspurmarkierung angeben, während Daten von einem anderen Sensor angeben können, dass die Fahrspurmarkierung eine geringfügig andere Position aufweist. Die Zusammenführungskomponente 704 kann eine neue oder modifizierte Position bestimmen, die auf Grundlage der kombinierten Daten berechnet wurde.
Die Fahrspuranzahlkomponente 706 ist konfiguriert, um eine Anzahl von Fahrspuren auf einer Fahrbahn auf Grundlage der Wahrnehmungsdaten zu bestimmen. In einer Ausführungsform verwendet die Fahrspuranzahlkomponente 706 Wahrnehmungsdaten, die von der Zusammenführungskomponente 704 zusammengeführt oder verarbeitet wurden. In einer weiteren Ausführungsform verwendet die Fahrspuranzahlkomponente 706 Rohdaten oder Daten, die nicht von der Zusammenführungskomponente 704 zusammengeführt oder verarbeitet wurden. In einer Ausführungsform beinhaltet die Fahrspuranzahlkomponente 706 ein oder mehrere neuronale Netze, die qualifiziert wurden, um eine Anzahl von Fahrspuren innerhalb eines Bildes, eines LIDAR-Einzelbildes, eines Radar-Einzelbildes, oder eines anderen Einzelbildes oder einer Einheit der Sensordaten zu erkennen. Andere Ausführungsformen können andere Arten von Maschinenlernalgorithmen oder -modellen zum Bestimmen der Anzahl von Fahrspuren beinhalten. Die Fahrspuranzahlkomponente 706 kann Wahrnehmungsdaten als Eingabe empfangen und eine Ausgabe bereitstellen, die eine Anzahl von abgeleiteten Fahrspuren angibt. Die Ausgabe des neuronalen Netzes oder anderen Maschinenlernalgorithmus kann anderen Komponenten oder Systemen angeben, wie viele Fahrspuren innerhalb eines Sichtfelds der Wahrnehmungssensoren vorhanden waren, als die Wahrnehmungsdaten eingefangen/erlangt wurden.
Die aktuelle Fahrspurkomponente 708 ist konfiguriert, um eine aktuelle Fahrspur des Fahrzeugs zu bestimmen. Zum Beispiel kann die aktuelle Fahrspurkomponente 708 eine aktuelle Fahrspur eines Fahrzeugs innerhalb der Anzahl von Fahrspuren, die von der Fahrspuranzahlkomponente erkannt wurde, auf Grundlage der Wahrnehmungsdaten bestimmen. Zum Beispiel kann die aktuelle Fahrspurkomponente 708 auf Grundlage von Winkeln, die durch Fahrspurlinien oder aufeinanderfolgende Fahrspurmarkierungen gebildet werden, einer Position innerhalb eines Bildes oder eines LIDAR-Einzelbildes, oder dergleichen eine aktuelle Fahrspur des Fahrzeugs bestimmen. Die aktuelle Fahrspur kann eine Nummer beinhalten, die angibt, auf welcher der erkannten Fahrspuren (z. B. von links nach rechts oder von rechts nach links in Bezug auf die Fahrtrichtung des Fahrzeugs) sich das Fahrzeug befindet. Wenn zum Beispiel die Fahrspuranzahlkomponente 706 sechs Fahrspuren erkennt, kann die aktuelle Fahrspurkomponente 708 eine „1“ ausgeben, um anzugeben, dass sich das Fahrzeug auf der rechtesten Fahrspur befindet, eine „2“, um anzugeben, dass sich das Fahrzeug auf der mittleren Fahrspur befindet, oder eine „3“, um anzugeben, dass sich das Fahrzeug auf der linksten Fahrspur befindet. Diese Konfiguration wird nur als Beispiel dargelegt und andere Arten von Ausgaben können in anderen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung bereitgestellt werden.
Gemäß einer Ausführungsform verwendet die aktuelle Fahrspurkomponente 708 ein tiefgehendes neuronales Netz, das qualifiziert wurde, um die aktuelle Fahrspur zu bestimmen. Zum Beispiel kann das neuronale Netz der aktuellen Fahrspurkomponente 708 ein Bild, ein LIDAR-Einzelbild und/oder andere Wahrnehmungsdaten zusammen mit der Anzahl von Fahrspuren, die von der Fahrspuranzahlkomponente 706 ausgegeben wird, empfangen. Auf Grundlage dieser Eingabe kann das neuronale Netz eine Zahl oder andere Angabe hinsichtlich der Fahrspur, auf der sich das Fahrzeug wahrscheinlich befindet, ausgeben. Die Angabe der aktuellen Fahrspur kann einer Stelle des Fahrzeugs auf der Fahrspur zu einem Zeitpunkt, als die Wahrnehmungsdaten erlangt wurden, angeben.
Die Neigungskomponente 710 ist konfiguriert, um eine Neigung einer Fahrbahn zu bestimmen. In einer Ausführungsform kann die Neigungskomponente 710 eine Unterteilung der Straßenebene auf Grundlage von Daten von einem LIDAR- oder Radarsystem durchzuführen. Auf Grundlage der Unterteilung der Straßenebene kann die Neigungskomponente 710 eine Neigung der Fahrbahn in einer Fahrtrichtung (d. h. eine vertikale Richtung) oder in einer Richtung senkrecht zur Fahrtrichtung (d. h. eine horizontale Richtung) bestimmen. Zum Beispiel kann die Neigung der Fahrbahn entlang der Fahrtrichtung hilfreich sein beim Bestimmen eines Ausmaßes von Bremsung oder Beschleunigung, die nötig sein kann, um ein bestimmtes Manöver durchzuführen oder eine bestimmte Geschwindigkeit zu erreichen. Die von einem LIDAR- oder Radarsystem erlangten dreidimensionalen Daten können eine genaue Berechnung der Neigung der Fahrbahn ermöglichen.
Die Manöverkomponente 712 ist konfiguriert, um einen Fahrweg oder ein Manöver zu bestimmen, das von einem Fahrzeug oder Fahrsystem durchgeführt werden soll. Zum Beispiel kann die Manöverkomponente 712 ein Fahrmanöver bestimmen, um einem Weg zu folgen oder eine Kollision zu vermeiden. Die Manöverkomponente 712 kann ein Manöver oder einen Weg auf Grundlage einer Anzahl von Fahrspuren, einer aktuellen Fahrspur und/oder einer Straßenneigung bestimmen. Zum Beispiel kann das Manöver ein Manövrieren beinhalten, um auf einer Fahrbahn zu bleiben, innerhalb von Fahrspuren einer Fahrbahn zu bleiben, oder innerhalb von Fahrspuren, die in einer gleichen Richtung wie eine aktuelle Fahrspur des Fahrzeugs verlaufen, zu bleiben. Die Manöverkomponente 712 kann auf Grundlage der Anzahl von Fahrspuren Manöver bestimmen, die eine Bewegungsbahn oder eine Kollisionsvermeidungsoption beinhalten.
Die Berichtskomponente 714 ist konfiguriert, um einem automatisierten Fahrsystem oder Fahrassistenzsystem Fahrspur- oder Fahrbahninformationen zu berichten. Zum Beispiel kann die Berichtskomponente 714 eine Angabe einer Anzahl von Fahrspuren, einer aktuellen Fahrspur und/oder einer Straßenneigung bereitstellen. Die Berichtskomponente 714 kann alle Daten bereitstellen, die von der Wahrnehmungsdatenkomponente 702, der Zusammenführungskomponente 704, der Fahrspuranzahlkomponente 706, der aktuellen Fahrspurkomponente 708, der Neigungskomponente 710 und/oder der Manöverkomponente 712 erlangt oder bestimmt wurden. In einer Ausführungsform stellt die Berichtskomponente 714 dem automatisierten Fahr-/Assistenzsystem 102 der 1 Informationen über eine aktuelle Fahrspur, Anzahl von Fahrspuren, Neigung und/oder bestimmte Manöver in Echtzeit bereit, so dass Fahrentscheidungen und Manöver in Echtzeit durchgeführt werden können. Zum Beispiel kann die Berichtskomponente 714 einem automatisierten Fahrsystem oder Fahrassistenzsystem eine Angabe der Anzahl von Fahrspuren bereitstellen. Zusätzlich kann die Berichtskomponente 714 Berichte oder Daten einer Fahrverlaufskomponente 128 oder zur Speicherung in einem lokalen oder entfernten Fahrverlauf bereitstellen. Zum Beispiel kann die Berichtskomponente 714 oder die Fahrverlaufskomponente 128 eine Angabe der Anzahl von Fahrspuren für eine bestimmte Position in einen entfernten Speicherort hochladen.
8 ein schematisches Flussdiagramm, das ein Verfahren 800 zum Bestimmen von Fahrspurinformationen veranschaulicht. Das Verfahren 800 kann von einer Fahrspurkomponente, einem automatisierten Fahr-/Assistenzsystem oder Fahrzeugsteuersystem, wie der Fahrspurkomponente 104, dem automatisierten Fahr-/Assistenzsystem 102 oder dem Fahrzeugsteuersystem 100 der 1, durchgeführt werden.
Das Verfahren 800 beginnt und eine Wahrnehmungsdatenkomponente 702 empfängt bei 802 Wahrnehmungsdaten von mindestens zwei Sensoren. Die mindestens zwei Sensoren beinhalten eine nach hinten weisende Kamera eines Fahrzeugs. Zum Beispiel können die Wahrnehmungsdaten Informationen von einer nach hinten weisenden Kamera mit Daten von einem oder mehreren eines Radarsystems, eines LIDAR-Systems, eines Ultraschallerfassungssystems, eines Infraroterfassungssystems oder dergleichen beinhalten. Die Fahrspuranzahlkomponente 706 bestimmt bei 804 auf Grundlage der Wahrnehmungsdaten eine Anzahl von Fahrspuren auf einer Fahrbahn innerhalb eines Sichtfelds, das von den Wahrnehmungsdaten eingefangen wird. Die Fahrspuranzahlkomponente 706 kann ein tiefgehendes neuronales Netz beinhalten, das Wahrnehmungsdaten empfängt und eine Angabe einer Anzahl von Fahrspuren, die in den Wahrnehmungsdaten sichtbar/gezeigt sind, bereitstellt. In einer Ausführungsform kann die Fahrspuranzahlkomponente 706 die Anzahl von Fahrspuren auf Grundlage von zusammengeführten Daten von einer Vielzahl von Sensoren oder Sensorsystemen bestimmen. Eine Berichtskomponente 714 stellt einem automatisierten Fahrsystem oder Fahrassistenzsystem bei 806 eine Angabe der Anzahl von Fahrspuren bereit. Zum Beispiel kann die Anzahl von Fahrspuren zur Bestimmung eines Fahrwegs oder eines Manövers oder zur Speicherung in einem entfernten oder lokalen Fahrverlauf erhoben werden.
Bezugnehmend auf 9 ist ein Blockschaubild einer beispielhaften Rechenvorrichtung 900 veranschaulicht. Die Rechenvorrichtung 900 kann verwendet werden, um verschiedene Verfahren, wie beispielsweise die hierin erläuterten, durchzuführen. Die Rechenvorrichtung 900 kann als Fahrspurkomponente 104, als automatisiertes Fahr-/Assistenzsystem 102, als Server oder beliebige andere Recheneinheit dienen. Die Rechenvorrichtung 900 kann verschiedene hierin beschriebene Überwachungsfunktionen durchführen und kann ein oder mehrere Anwendungsprogramme, wie etwa die hierin beschriebenen Anwendungsprogramme oder Funktionalität, ausführen. Bei der Rechenvorrichtung 900 kann es sich um eine von vielen verschiedenen Rechenvorrichtungen handeln, wie etwa einen Desktopcomputer, einen Notebookcomputer, einen Servercomputer, einen Handheld-Computer, Tabletcomputer und dergleichen.
Die Rechenvorrichtung 900 beinhaltet einen oder mehrere Prozessor(en) 902, eine oder mehrere Speichervorrichtung(en) 904, eine oder mehrere Schnittstelle(n) 906, eine oder mehrere Massenspeichervorrichtung(en) 908, eine oder mehrere Eingabe-/Ausgabe(E/A)-Vorrichtung(en) 910 und eine Anzeigevorrichtung 930, die alle an einen Bus 912 gekoppelt sind. Der Prozessor oder die Prozessoren 902 beinhaltet/beinhalten einen oder mehrere Prozessoren oder Controller, die auf Speichervorrichtung(en) 904 und/oder Massenspeichervorrichtung(en) 908 gespeicherte Anweisungen ausführen. Der/Die Prozessor(en) 902 kann/können ebenso verschiedene Arten von computerlesbaren Medien beinhalten, wie beispielsweise einen Cache-Speicher.
Die Speichervorrichtung(en) 904 beinhaltet/beinhalten verschiedene computerlesbare Medien, wie beispielsweise flüchtige Speicher (z. B. Direktzugriffsspeicher (RAM) 914) und/oder nichtflüchtige Speicher (z. B. Festwertspeicher (ROM) 916). Die Speichervorrichtung(en) 904 können auch wieder beschreibbaren ROM, wie etwa Flash-Speicher, beinhalten.
Die Massenspeichervorrichtung(en) 908 beinhaltet/beinhalten verschiedene computerlesbare Medien, wie etwa Magnetbänder, Magnetplatten, optische Platten, Festkörperspeicher (z. B. Flash-Speicher), und so fort. Wie in 9 gezeigt, ist eine besondere Massenspeichervorrichtung ein Festplattenlaufwerk 924. Verschiedene Laufwerke können in den Massenspeichervorrichtung(en) 908 beinhaltet sein, um das Auslesen und/oder Beschreiben der verschiedenen computerlesbaren Medien zu ermöglichen. Die Massenspeichervorrichtung(en) 908 beinhalten wechselfähige Medien 926 und/oder nicht wechselfähige Medien.
Die E/A-Vorrichtung(en) 910 beinhaltet/beinhalten verschiedene Vorrichtungen, die das Eingeben von Daten und/oder anderen Informationen in die Rechenvorrichtung 900 oder das Abrufen derselben aus dieser zulassen. Die beispielhafte(n) E/A-Vorrichtung(en) 910 beinhaltet/beinhalten Cursorsteuervorrichtungen, Tastaturen, Tastenfelder, Mikrofone, Monitore oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzschnittstellenkarten, Modems und dergleichen.
Die Anzeigevorrichtung 930 beinhaltet eine beliebige Art von Vorrichtung, die einem oder mehreren Benutzern der Rechenvorrichtung 900 Informationen anzeigen kann. Beispiele der Anzeigevorrichtung 930 beinhalten einen Monitor, Anzeigeendgerät, Videoprojektionsgerät und dergleichen.
Die Schnittstelle(n) 906 beinhaltet/beinhalten verschiedene Schnittstellen, die der Rechenvorrichtung 900 ermöglichen, mit anderen Systemen, Vorrichtungen oder Rechenumgebungen zu interagieren. Die beispielhafte(n) Schnittstelle(n) 906 beinhaltet/beinhalten eine beliebige Anzahl von unterschiedlichen Netzschnittstellen 920, wie beispielsweise Schnittstellen zu lokalen Netzen (LANs), Weitverkehrsnetzen (WANs), drahtlosen Netzen und dem Internet. Andere Schnittstelle(n) beinhaltet/beinhalten eine Benutzerschnittstelle 918 und eine Peripherievorrichtungsschnittstelle 922. Die Schnittstelle(n) 906 kann/können auch eine oder mehrere Benutzerschnittstellenelemente 918 beinhalten. Die Schnittstelle(n) 906 kann/können ebenso eine oder mehrere Peripherieschnittstellen beinhalten, wie beispielsweise Schnittstellen für Drucker, Zeigevorrichtungen (Mäuse, Touchpad, oder jede geeignete Benutzerschnittstelle, die dem Fachmann auf dem Gebiet bekannt ist oder später entdeckt wird), Tastaturen und dergleichen.
Der Bus 912 ermöglicht dem oder den Prozessor(en) 902, der oder den Speichervorrichtung(en) 904, der oder den Schnittstelle(n) 906, der oder den Massenspeichervorrichtung(en) 908 und der oder den E/A-Vorrichtung(en) 910 miteinander sowie mit anderen Vorrichtungen oder Komponenten, die an den Bus 912 gekoppelt sind, zu kommunizieren. Der Bus 912 stellt eine oder mehrere einiger Arten von Busstrukturen dar, wie etwa einen Systembus, PCI-Bus, IEEE-Bus, USB-Bus und so fort.
Zum Zwecke der Veranschaulichung sind Programme und andere ausführbare Programmkomponenten hierin als diskrete Blöcke dargestellt, auch wenn es sich versteht, dass sich derartige Programme und Komponenten zu verschiedenen Zeiten in unterschiedlichen Speicherkomponenten der Rechenvorrichtung 900 befinden und durch den/die Prozessor(en) 902 ausgeführt werden können. Alternativ können die hierin beschriebenen Systeme und Verfahren in einer Hardware oder einer Kombination von Hardware, Software und/oder Firmware eingerichtet sein. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) können zum Beispiel programmiert sein, um eins oder mehrere der hierin beschriebenen Systeme und Verfahren auszuführen.
Beispiele
Die folgenden Beispiele betreffen weitere Ausführungsformen.
Beispiel 1 ist ein Verfahren, das Empfangen von Wahrnehmungsdaten von mindestens zwei Sensoren beinhaltet, wobei die mindestens zwei Sensoren eine nach hinten weisende Kamera eines Fahrzeugs umfassen. Das Verfahren beinhaltet Bestimmen einer Anzahl von Fahrspuren auf einer Fahrbahn innerhalb eines Sichtfelds, das von den Wahrnehmungsdaten eingefangen wird, auf Grundlage der Wahrnehmungsdaten unter Verwendung eines neuronalen Netzes. Das Verfahren beinhaltet zudem Bereitstellen einer Angabe der Anzahl von Fahrspuren für ein automatisiertes Fahrsystem oder Fahrassistenzsystem.
In Beispiel 2 beinhaltet das Beispiel 1 ferner Bestimmen einer aktuellen Fahrspur, auf der sich das Fahrzeug befindet, unter Verwendung eines neuronalen Netzes, wobei die aktuelle Fahrspur einer Stelle des Fahrzeugs auf der Fahrspur zu einem Zeitpunkt, als die Wahrnehmungsdaten erlangt wurden, entspricht.
In Beispiel 3 beinhalten die mindestens zwei Sensoren in jedem der Beispiele 1–2 die nach hinten weisende Kamera und eines oder mehrere eines LIDAR-Systems, eines Radarsystems, eines Ultraschallerfassungssystems oder eines Infrarotkamerasystems.
In Beispiel 4 beinhaltet das Verfahren in jedem der Beispiele 1–3 ferner Bestimmen einer Straßenneigung in einer oder mehreren einer vertikalen Richtung oder einer horizontalen Richtung auf Grundlage der Wahrnehmungsdaten.
In Beispiel 5 beinhaltet das Verfahren in jedem der Beispiele 1–4 ferner Bestimmen eines oder mehrerer einer Bewegungsbahn oder Kollisionsvermeidungsoptionen auf Grundlage der Anzahl von Fahrspuren.
In Beispiel 6 beinhaltet das Verfahren in jedem der Beispiele 1–5 ferner Speichern der Angabe der Anzahl von Fahrspuren in einem Fahrverlauf für einen späteren Zugriff.
In Beispiel 7 beinhaltet das Verfahren in jedem der Beispiele 1–6 ferner ein Hochladen der Angabe der Anzahl von Fahrspuren in einen entfernten Speicherort.
In Beispiel 8 beinhaltet das Verfahren in Beispiel 7 ferner: Bestimmen einer aktuellen Position des Fahrzeugs; Abrufen von Fahrverlaufsdaten aus dem entfernten Speicherort, wobei der Fahrverlauf eine Anzahl von Fahrspuren für die aktuelle Position angibt; und Senden der Anzahl von Fahrspuren für die aktuelle Position an eine oder mehrere Fahrzeugsteuerungen eines automatisieren Fahrsystems oder Fahrassistenzsystems.
Beispiel 9 ist ein System, das eine Wahrnehmungsdatenkomponente, eine Fahrspurkomponente und eine Berichtskomponente beinhaltet. Die Wahrnehmungsdatenkomponente ist konfiguriert, um Wahrnehmungsdaten von mindestens zwei Sensoren zu empfangen, wobei die mindestens zwei Sensoren eine nach hinten weisende Kamera eines Fahrzeugs umfassen. Die Fahrspurkomponente ist konfiguriert, um unter Verwendung eines neuronalen Netzes eine Anzahl von Fahrspuren auf einer Fahrbahn innerhalb eines Sichtfelds, das durch die Wahrnehmungsdaten eingefangen wird, zu bestimmen. Die Berichtskomponente ist konfiguriert, um einem automatisierten Fahrsystem oder Fahrassistenzsystem eine Angabe der Anzahl von Fahrspuren bereitzustellen.
In Beispiel 10 beinhaltet das System des Beispiels 9 ferner eine aktuelle Fahrspurkomponente, die konfiguriert ist, um eine aktuelle Fahrspur, auf der sich das Fahrzeug befindet, unter Verwendung eines neuronalen Netzes zu bestimmen, wobei die aktuelle Fahrspur einer Stelle des Fahrzeugs auf der Fahrspur zu einem Zeitpunkt, als die Wahrnehmungsdaten erlangt wurden, entspricht.
In Beispiel 11 beinhaltet das System in jedem der Beispiele 9–10 ferner eine Zusammenführungskomponente, die konfiguriert ist, um zusammengeführte Sensordaten auf Grundlage der Wahrnehmungsdaten von den mindestens zwei Sensoren zu erzeugen, wobei das Bestimmen der Anzahl von Fahrspuren ein Bestimmen auf Grundlage der zusammengeführten Sensordaten umfasst.
In Beispiel 12 beinhalten die mindestens zwei Sensoren in jedem der Beispiele 9–11 die nach hinten weisende Kamera und eines oder mehrere eines LIDAR-Systems, eines Radarsystems, eines Ultraschallerfassungssystems oder eines Infrarotkamerasystems.
In Beispiel 13 beinhaltet das System in jedem der Beispiele 9–12 ferner eine Neigungskomponente, die konfiguriert ist, um einer Straßenneigung in einer oder mehreren einer vertikalen Richtung oder einer horizontalen Richtung auf Grundlage der Wahrnehmungsdaten zu bestimmen.
In Beispiel 14 beinhaltet das System in jedem der Beispiele 9–13 ferner eine Manöverkomponente, die konfiguriert ist, um eines oder mehrere einer Bewegungsbahn oder Kollisionsvermeidungsoptionen auf Grundlage der Anzahl von Fahrspuren zu bestimmen.
In Beispiel 15 ist die Berichtskomponente in jedem der Beispiele 9–14 ferner konfiguriert, um die Angabe der Anzahl von Fahrspuren in einen entfernten Speicherort hochzuladen.
In Beispiel 16 beinhaltet das System des Beispiels 15 ferner eine Positionskomponente und eine Fahrverlaufskomponente. Die Positionskomponente ist konfiguriert, um eine aktuelle Position des Fahrzeugs zu bestimmen. Die Fahrverlaufskomponente ist konfiguriert, um: Fahrverlaufsdaten aus dem entfernten Speicherort abzurufen, wobei der Fahrverlauf eine oder mehrere einer Anzahl von Fahrspuren oder einer Neigung für die aktuelle Position angibt; und die Anzahl von Fahrspuren oder die Neigung für die aktuelle Position an eine oder mehrere Fahrzeugsteuerungen eines automatisieren Fahrsystems oder Fahrassistenzsystems zu senden.
Beispiel 17 ist ein computerlesbares Speichermedium, das Anweisungen speichert, die bei Ausführung durch einen oder mehrere Prozessoren die Prozessoren veranlassen, Wahrnehmungsdaten von mindestens zwei Sensoren zu empfangen, wobei die mindestens zwei Sensoren eine nach hinten weisende Kamera eines Fahrzeugs umfassen. Die Anweisungen veranlassen die Prozessoren, eine Anzahl von Fahrspuren auf einer Fahrbahn innerhalb eines Sichtfelds der Wahrnehmungsdaten auf Grundlage der Wahrnehmungsdaten unter Verwendung eines neuronalen Netzes zu bestimmen. Die Anweisungen veranlassen die Prozessoren, einem automatisierten Fahrsystem oder Fahrassistenzsystem eine Angabe der Anzahl von Fahrspuren bereitzustellen.
In Beispiel 18 speichert das computerlesbare Speichermedium des Beispiels 17 ferner Anweisungen, die die Prozessoren veranlassen, eine aktuelle Fahrspur, auf der sich das Fahrzeug befindet, unter Verwendung eines neuronalen Netzes zu bestimmen, wobei die aktuelle Fahrspur einer Stelle des Fahrzeugs auf der Fahrspur zu einem Zeitpunkt, als die Wahrnehmungsdaten erlangt wurden, entspricht.
In Beispiel 19 speichert das computerlesbare Speichermedium jedes der Beispiele 17–18 ferner Anweisungen, die die Prozessoren veranlassen, eines oder mehrere einer Bewegungsbahn oder Kollisionsvermeidungsoptionen auf Grundlage der Anzahl von Fahrspuren zu bestimmen.
In Beispiel 20 speichert das computerlesbare Speichermedium jedes der Beispiele 17–19 ferner Anweisungen, die die Prozessoren veranlassen, um: eine aktuelle Position des Fahrzeugs zu bestimmen; Fahrverlaufsdaten aus dem entfernten Speicherort abzurufen, wobei der Fahrverlauf eine Anzahl von Fahrspuren für die aktuelle Position angibt; und die Anzahl von Fahrspuren für die aktuelle Position an eine oder mehrere Fahrzeugsteuerungen eines automatisieren Fahrsystems oder Fahrassistenzsystems zu senden.
Beispiel 21 ist ein System oder eine Vorrichtung, das bzw. die Mittel zum Implementieren eines Verfahrens, eines Systems oder einer Vorrichtung in jedem der Beispiele 1–20 beinhaltet.
In der vorangehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil davon bilden und in denen spezifische Implementierungen zur Veranschaulichung gezeigt werden, in denen die Offenbarung ausgeübt werden kann. Es versteht sich, dass andere Implementierungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine Struktur oder Eigenschaft einschließen kann, aber nicht jede Ausführungsform muss notwendigerweise dieses bestimmte Merkmal, diese Struktur oder Eigenschaft einschließen. Darüber hinaus beziehen sich solche Ausdrücke nicht unbedingt auf dieselbe Ausführungsform. Wenn ein Merkmal, eine Struktur oder eine Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, wird davon ausgegangen, dass es innerhalb des Wissens eines Fachmanns liegt, das Merkmal, die Struktur oder die Eigenschaft in Verbindung mit anderen Ausführungsformen umzusetzen, unabhängig davon, ob dies ausdrücklich beschrieben wird oder nicht.
Implementierungen der hierin offenbarten Systeme, Vorrichtung und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware einschließt, wie etwa einen oder mehrere Prozessoren und einen Systemspeicher, wie hierin erörtert. Implementierungen innerhalb des Umfangs der vorliegenden Offenbarung können außerdem Datenträger und andere computerlesbare Medien zum Weiterleiten oder Speichern von von einem Computer ausführbaren Anweisungen und/oder Datenstrukturen einschließen. Bei solchen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen von einem Computer ausführbare Anweisungen gespeichert sind, handelt es sich um Computerspeichermedien(-geräte). Bei computerlesbaren Medien, die von einem Computer ausführbare Anweisungen weiterleiten, handelt es sich um Übertragungsmedien. Daher können Implementierungen der Offenbarung beispielsweise und nicht einschränkend wenigstens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien(-geräte) und Übertragungsmedien
Computerspeichermedien(-geräte) schließen RAM, ROM, EEPROM, CD-ROM, Solid-State-Drives („SSDs“) (z. B auf Grundlage von RAM), Flash-Speicher, Phasenänderungsspeicher („PCM“), andere Speichertypen, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder beliebige andere Medien ein, die verwendet werden können, um gewünschte Programmcodemittel in Form von von einem Computer ausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Implementierung der hierin offenbaren Vorrichtungen, Systemen und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Geräten ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder drahtgebunden, drahtlos oder eine Kombination aus drahtgebunden oder drahtlos) an einen Computer übertragen oder diesem bereitgestellt wird, betrachtet der Computer die Verbindung dementsprechend als ein Übertragungsmedium. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen einschließen, die verwendet werden können, um gewünschte Programmcodemittel in Form von von einem Computer ausführbaren Anweisungen oder Datenstrukturen zu übertragen, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den Vorstehenden fallen ebenfalls in den Umfang computerlesbarer Medien.
Von einem Computer ausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die, wenn sie an einem Prozessor ausgeführt werden, einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die von einem Computer ausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die vorangehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Ansprüche offenbart.
Der Fachmann wird verstehen, dass die Offenbarung in Netzwerkrechenumgebungen mit vielen Arten von Computersystemkonfigurationen durchgeführt werden kann, einschließend einen Armaturenbrett-Fahrzeugcomputer, PCs, Desktop-Computer, Laptops, Nachrichtenprozessoren, Handgeräte, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Mainframe-Computer, Mobiltelefone, PDAs, Tablets, Pager, Router, Schalter, verschiedene Speichervorrichtungen und Ähnliches. Diese Offenbarung kann außerdem in Umgebungen mit verteilten Systemen durchgeführt werden, in denen sowohl lokale Computersysteme als auch Remotecomputersysteme, die durch ein Netzwerk (entweder durch drahtgebundene Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus drahtgebundenen und drahtlosen Datenverbindungen) verbunden sind, Aufgaben durchführen. In einer verteilten Systemumgebung können Programmmodule sowohl auf lokalen als auch Remote-Speicherungsvorrichtungen angesiedelt sein.
Soweit zutreffend, können die hier beschriebenen Funktionen zudem in einem oder mehreren der folgenden ausgeführt werden: Hardware, Software, Firmware, digitale Komponenten oder analoge Komponenten. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) können zum Beispiel programmiert sein, um eins oder mehrere der hierin beschriebenen Systeme und Verfahren auszuführen. Bestimmte Ausdrücke werden in der Beschreibung und den Ansprüchen in Bezug auf bestimmte Systemkomponenten verwendet. Wie ein Fachmann verstehen wird, kann auf Komponenten durch die Verwendung verschiedener Bezeichnungen Bezug genommen werden. In diesem Dokument soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
Es sei angemerkt, dass die vorangehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um wenigstens einen Teil ihrer Funktionen durchzuführen. Ein Sensor kann zum Beispiel Computercode beinhalten, der konfiguriert ist, um in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen werden hierin zu Veranschaulichungszwecken bereitgestellt und sollen nicht der Einschränkung dienen. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie einem Fachmann auf dem oder den Gebieten bekannt ist.
Wenigstens einige Ausführungsformen der Offenbarung betreffen Computerprogrammprodukte, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Solche Software veranlasst, wenn sie in einer oder mehreren Datenverarbeitungsvorrichtungen ausgeführt wird, eine Vorrichtung dazu, wie hierin beschrieben zu arbeiten.
Während verschiedene Ausführungsformen der vorliegenden Offenbarung oben beschrieben wurden, versteht es sich, dass diese nur als Beispiel und nicht als Einschränkung dargestellt wurden. Es ist für den Fachmann auf dem Gebiet offensichtlich, dass verschiedene Änderungen in Form und Detail vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung nicht durch eines der vorangehend beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich gemäß den folgenden Ansprüche und ihrer Äquivalente definiert sein. Die vorangehende Beschreibung wurde zu Veranschaulichungs- und Beschreibungszwecken dargelegt. Sie ist nicht als umfassend anzusehen und soll die Offenbarung nicht auf die spezifische offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der oben angegebenen Lehren möglich. Ferner ist angemerkt, dass eine beliebige oder alle der vorangehend genannten alternativen Implementierungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridimplementierungen der Offenbarung zu bilden.
Ferner soll die Offenbarung, auch wenn spezifische Umsetzungen der Offenbarung beschrieben und dargestellt wurden, nicht auf die somit beschriebenen und dargestellten spezifischen Formen oder Anordnungen der Teile beschränkt werden. Der Umfang der Offenbarung ist durch die hieran beigefügten Ansprüche, jegliche zukünftigen hier beantragten Ansprüche und in verschiedenen Anwendungen und deren Äquivalenten zu definieren.

Claims

Verfahren, umfassend: Empfangen von Wahrnehmungsdaten von mindestens zwei Sensoren, wobei die mindestens zwei Sensoren eine nach hinten weisende Kamera eines Fahrzeugs beinhalten; Bestimmen einer Anzahl von Fahrspuren auf einer Fahrbahn innerhalb eines Sichtfelds, das von den Wahrnehmungsdaten eingefangen wird, auf Grundlage der Wahrnehmungsdaten unter Verwendung eines neuronalen Netzes; und Bereitstellen einer Angabe der Anzahl von Fahrspuren für ein automatisiertes Fahrsystem oder Fahrassistenzsystem.
Verfahren nach Anspruch 1, das ferner eines oder mehrere des Folgenden umfasst: Bestimmen einer aktuellen Fahrspur, auf der sich das Fahrzeug befindet, unter Verwendung eines neuronalen Netzes, wobei die aktuelle Fahrspur einer Stelle des Fahrzeugs auf der Fahrspur zu einem Zeitpunkt, als die Wahrnehmungsdaten erlangt wurden, entspricht; Bestimmen einer Straßenneigung in einer oder mehreren einer vertikalen Richtung oder einer horizontalen Richtung auf Grundlage der Wahrnehmungsdaten; Bestimmen eines oder mehrerer einer Bewegungsbahn oder Kollisionsvermeidungsoptionen auf Grundlage der Anzahl von Fahrspuren; oder Speichern der Angabe der Anzahl von Fahrspuren in einem Fahrverlauf für einen späteren Zugriff.
Verfahren nach Anspruch 1, wobei die mindestens zwei Sensoren die nach hinten weisende Kamera und eines oder mehrere eines LIDAR-Systems (light detection and ranging), eines Radarsystems, eines Ultraschallerfassungssystems oder eines Infrarotkamerasystems umfassen.
Verfahren nach Anspruch 1, ferner umfassend ein Hochladen der Angabe der Anzahl von Fahrspuren in einen entfernten Speicherort.
Verfahren nach Anspruch 4, ferner umfassend: Bestimmen einer aktuellen Position des Fahrzeugs; Abrufen der Fahrverlaufsdaten aus dem entfernten Speicherort, wobei der Fahrverlauf eine Anzahl von Fahrspuren für die aktuelle Position angibt; und Senden der Anzahl von Fahrspuren für die aktuelle Position an eine oder mehrere Fahrzeugsteuerungen eines automatisieren Fahrsystems oder Fahrassistenzsystems.
System, umfassend: eine Wahrnehmungsdatenkomponente, die konfiguriert ist, um Wahrnehmungsdaten von mindestens zwei Sensoren zu empfangen, wobei die mindestens zwei Sensoren eine nach hinten weisende Kamera eines Fahrzeugs beinhalten; eine Fahrspurkomponente, die konfiguriert ist, um unter Verwendung eines neuronalen Netzes eine Anzahl von Fahrspuren auf einer Fahrbahn innerhalb eines Sichtfelds, das durch die Wahrnehmungsdaten eingefangen wird, zu bestimmen; und eine Berichtskomponente, die konfiguriert ist, um einem automatisierten Fahrsystem oder Fahrassistenzsystem eine Angabe der Anzahl von Fahrspuren bereitzustellen.
System nach Anspruch 6, das ferner eines oder mehrere des Folgenden umfasst: eine aktuelle Fahrspurkomponente, die konfiguriert ist, um eine aktuelle Fahrspur, auf der sich das Fahrzeug befindet, unter Verwendung eines neuronalen Netzes zu bestimmen, wobei die aktuelle Fahrspur einer Stelle des Fahrzeugs auf der Fahrspur zu einem Zeitpunkt, als die Wahrnehmungsdaten erlangt wurden, entspricht; eine Zusammenführungskomponente, die konfiguriert ist, um zusammengeführte Sensordaten auf Grundlage der Wahrnehmungsdaten von den mindestens zwei Sensoren zu erzeugen, wobei das Bestimmen der Anzahl von Fahrspuren ein Bestimmen auf Grundlage der zusammengeführten Sensordaten umfasst; oder eine Neigungskomponente, die konfiguriert ist, um eine Straßenneigung in einer oder mehreren einer vertikalen Richtung oder einer horizontalen Richtung auf Grundlage der Wahrnehmungsdaten zu bestimmen.
System nach Anspruch 6, wobei die mindestens zwei Sensoren die nach hinten weisende Kamera und eines oder mehrere eines LIDAR-Systems (light detection and ranging), eines Radarsystems, eines Ultraschallerfassungssystems oder eines Infrarotkamerasystems umfassen.
System nach Anspruch 6, ferner umfassend eine Manöverkomponente, die konfiguriert ist, um eines oder mehrere einer Bewegungsbahn oder Kollisionsvermeidungsoptionen auf Grundlage der Anzahl von Fahrspuren zu bestimmen.
System nach Anspruch 6, wobei die Berichtskomponente ferner konfiguriert ist, um die Angabe der Anzahl von Fahrspuren in einen entfernten Speicherort hochzuladen.
System nach Anspruch 10, ferner umfassend: eine Positionskomponente, die konfiguriert ist, um eine aktuelle Position des Fahrzeugs zu bestimmen; und eine Fahrverlaufskomponente, die konfiguriert ist, um: Fahrverlaufsdaten aus dem entfernten Speicherort abzurufen, wobei der Fahrverlauf eine oder mehrere einer Anzahl von Fahrspuren oder einer Neigung für die aktuelle Position angibt; und die Anzahl von Fahrspuren oder die Neigung für die aktuelle Position an eine oder mehrere Fahrzeugsteuerungen eines automatisieren Fahrsystems oder Fahrassistenzsystems zu senden.
Computerlesbares Speichermedium, das Anweisungen speichert, die bei Ausführung durch einen oder mehrere Prozessoren die Prozessoren veranlassen: Wahrnehmungsdaten von mindestens zwei Sensoren zu empfangen, wobei die mindestens zwei Sensoren eine nach hinten weisende Kamera eines Fahrzeugs beinhalten; eine Anzahl von Fahrspuren auf einer Fahrbahn innerhalb eines Sichtfelds der Wahrnehmungsdaten auf Grundlage der Wahrnehmungsdaten unter Verwendung eines neuronalen Netzes zu bestimmen; und einem automatisierten Fahrsystem oder Fahrassistenzsystem eine Angabe der Anzahl von Fahrspuren bereitzustellen.
Computerlesbares Speichermedium nach Anspruch 12, das ferner Anweisungen speichert, die die Prozessoren veranlassen, eine aktuelle Fahrspur, auf der sich das Fahrzeug befindet, unter Verwendung eines neuronalen Netzes zu bestimmen, wobei die aktuelle Fahrspur einer Stelle des Fahrzeugs auf der Fahrspur zu einem Zeitpunkt, als die Wahrnehmungsdaten erlangt wurden, entspricht.
Computerlesbares Speichermedium nach Anspruch 12, das ferner Anweisungen speichert, die die Prozessoren veranlassen, eines oder mehrere einer Bewegungsbahn oder Kollisionsvermeidungsoptionen auf Grundlage der Anzahl von Fahrspuren zu bestimmen.
Computerlesbares Speichermedium nach Anspruch 12, das ferner Anweisungen speichert, die die Prozessoren veranlassen: eine aktuelle Position des Fahrzeugs zu bestimmen; Fahrverlaufsdaten aus dem entfernten Speicherort abzurufen, wobei der Fahrverlauf eine Anzahl von Fahrspuren für die aktuelle Position angibt; und die Anzahl von Fahrspuren für die aktuelle Position an eine oder mehrere Fahrzeugsteuerungen eines automatisieren Fahrsystems oder Fahrassistenzsystems zu senden.