DE102017105661A1

DE102017105661A1 - Fahrzeug-fahrspurgrenzposition

Info

Publication number: DE102017105661A1
Application number: DE102017105661.0A
Authority: DE
Inventors: Vidya Nariyambut murali; Tejaswi Koduri; Smita Vinayak Bailur; Kyle J. Carey
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-03-17
Filing date: 2017-03-16
Publication date: 2017-09-21
Also published as: GB201704139D0; MX2017003499A; US10124730B2; US20170267177A1; CN107203738A; GB2550256A; RU2017107947A; CN107203738B

Abstract

Ein Verfahren zum Bestimmen einer Position eines Fahrzeugs in einer Fahrspur weist das Empfangen von Wahrnehmungsinformationen von einer ersten Kamera auf, die auf einer ersten Seite eines Fahrzeugs positioniert ist, und einer zweiten Kamera, die auf einer zweiten Seite des Fahrzeugs positioniert ist. Das Verfahren weist das Bestimmen unter Verwenden eines oder mehrerer neuronaler Netzwerke einer Position des Fahrzeugs in Bezug zu Fahrspurmarkierungen auf der ersten Seite und der zweiten Seite des Fahrzeugs auf. Das Verfahren weist ferner das Benachrichtigen eines Fahrers oder Steuersystems über die Position des Fahrzeugs auf.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft im Allgemeinen Verfahren, Systeme und Geräte zum Erfassen der Fahrspurgrenzposition eines Fahrzeugs und betrifft insbesondere das Schätzen einer relativen Position einer Fahrspurgrenze mit Seitenkameras eines Fahrzeugs.
STAND DER TECHNIK
Automobile stellen einen signifikanten Anteil des Transports für kommerzielle, behördliche und private Entitäten bereit. Aufgrund des hohen Werts von Kraftfahrzeugen und der potenziellen Gefahr für Mitfahrer und Fahrer, sind die Fahrersicherheit und die Vermeidung von Zusammenstößen, Unfällen oder anderer Schäden an Fahrzeugen äußerst wichtig. Autonome Fahrzeuge und Fahrhilfesysteme werden derzeit entwickelt und eingesetzt, um Sicherheit zu gewährleisten, eine Menge an erforderlicher Benutzereingabe zu verringern oder sogar Benutzerbeteiligung ganz zu eliminieren. Visuelle Wahrnehmungen für autonome Navigation stellen vor eine Vielfalt von Herausforderungen, aber mit vielen Vorteilen, weil Bilder reichhaltige Informationen über die Fahrumgebung des Fahrzeugs liefern.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Nicht-einschränkende und nicht-erschöpfende Umsetzungen der vorliegenden Offenbarung werden hier unter Bezugnahme auf die folgenden Figuren beschrieben, wobei sich durchweg durch die verschiedenen Ansichten gleiche Bezugszeichen auf gleiche Teile beziehen, sofern nicht anderweitig angegeben. Vorteile der vorliegenden Offenbarung werden im Hinblick auf die folgende Beschreibung und die zugehörigen Zeichnungen verständlicher, wobei:
1 ein schematisches Blockschaltbild ist, das eine Umsetzung eines Fahrzeugsteuersystems, das ein automatisiertes Fahr-/Unterstützungssystem aufweist, veranschaulicht,
2 Bereiche veranschaulicht, die von Kameras eines Fahrzeugs auf einer Fahrspur gemäß einer Umsetzung beobachtet werden,
3 ein Bild einer Fahrspurmarkierung gemäß einer Umsetzung veranschaulicht,
4 eine Skizze ist, die ein Verfahren zum Bestimmen einer Position eines Fahrzeugs in einer Fahrspur gemäß einer Umsetzung veranschaulicht,
5 ein schematisches Blockschaltbild ist, das beispielhafte Bauteile eines Fahrspurbauteils gemäß einer Umsetzung veranschaulicht,
6 ein Flussdiagramm ist, das ein Verfahren zum Bestimmen einer Lage eines Fahrzeugs in einer Fahrspur gemäß einer Umsetzung veranschaulicht.
AUSFÜHRLICHE BESCHREIBUNG
Visuelle Wahrnehmungen für autonome oder unterstützte Navigation stellen vor eine Vielfalt von Herausforderungen, weisen aber auch viele Vorteile auf, weil Bilder reichhaltige Informationen über die Fahrumgebung des Fahrzeugs liefern können. In der Tat können Lösungen, die auf Computervision basieren, in vielen fortschrittlichen Fahrer-Unterstützungssystemen (ADAS) und automatisierten Fahrzeugen (AV) verwendet werden. Kamera- oder Videobilder können zum Beispiel zum Unterstützen beim Zentrieren in der Fahrspur, Befolgen der Fahrspur und anderen autonomen oder halbautonomen Merkmalen verwendet werden, die entwickelt werden und auf dem Markt verfügbar sein können. Aufgrund der Sicherheitsanforderungen von Fahrzeugen ist es wichtig, die Zuverlässigkeit und Robustheit von Fahrspurfolgemerkmalen zu bestätigen.
Herkömmlicherweise werden Kameras nach vorn zeigend nahe einem Rückspiegel platziert. Das kann jedoch nicht immer die bestmögliche Sicht der Fahrspuren und Fahrspurmarkierungen präsentieren. Ferner ist das Kommentieren von Daten, die herkömmliche Computervisionstechniken verwenden, zur späteren Bestätigung eine viel größere Aufgabe. Das Kommentieren der Daten zum korrekten Identifizieren von Fahrspurmarkierungen oder dergleichen ist oft eine Herausforderung basierend auf Variationen von Straßenzuständen, Schatten, störenden Reflexionen, Unterschieden bei der Beleuchtung, perspektivischen Verzerrungen basierend auf einem Sichtwinkel, Variationen der Höhe der Kamera über dem Boden und auf vielen anderen Faktoren. Handgefertigte Merkmale oder Schwellenwertbildung von Bildpixeln reichen im Allgemeinen nicht für kontinuierliche Mitverfolgung der Fahrspurgrenzen mit hoher Präzision aus. Fahrspurgrenzen können zum Beispiel unterschiedlichen Typen angehören, in Abhängigkeit davon, ob sie sich auf einer Hochstraße, internen Straße oder anderen Straße befinden. Ferner können Fahrspurgrenzen sogar für dieselbe Umgebung variieren. Die Fahrspurgrenzen können zum Beispiel doppelte, einfache, unterbrochene, durchgehende, gelbe und/oder weiße gemalte Linien aufweisen. Zusätzlich können Fahrspurgrenzen Reflektoren oder andere Markierungen aufweisen, die keine gemalte Linie aufweisen. Die Variationen des Aussehens und/oder Typs von Fahrspurmarkierungen können eine größere Herausforderung bei der Entwicklung oder Bestätigung von ADAS/AV-Merkmalen, die auf Fahrspuren basieren, darstellen.
Die Anmelder haben Systeme, Verfahren und Vorrichtungen zum Erfassen von Fahrspurmarkierungen und/oder zum Bestimmen einer Position eines Fahrzeugs in Bezug zu Fahrspurmarkierungen entwickelt. Bei einer Ausführungsform sind Kameras positioniert, um eine Nahansicht der Fahrspur bereitzustellen. Einige Ausführungsformen liefern robuste Verfahren zum Kommentieren von Fahrspuren, darunter das Bestimmen, ob eine Fahrspur (oder Fahrspurmarkierung) vorhanden ist oder nicht, und eine Entfernung zu irgendwelchen erfassten Fahrspurmarkierungen. Gemäß einer Ausführungsform, weist ein Verfahren zum Bestimmen einer relativen Position eines Fahrzeugs zu einer Fahrspur das Empfangen von Wahrnehmungsinformationen von einer ersten Kamera auf, die auf einer ersten Seite eines Fahrzeugs positioniert ist, und von einer zweiten Kamera, die auf einer zweiten Seite des Fahrzeugs positioniert ist. Das Verfahren weist auch das Bestimmen unter Verwenden eines oder mehrerer neuronaler Netzwerke einer Position des Fahrzeugs in Bezug zu Fahrspurmarkierungen auf der ersten Seite und der zweiten Seite des Fahrzeugs auf. Das Verfahren weist auch das Benachrichtigen eines Fahrers oder Steuersystems über die Position eines Fahrzeugs auf.
Bei einer Ausführungsform können Kameras seitlich auf jeder Seite des Fahrzeugs positioniert werden, um eine günstige Sicht der Fahrspur zu geben. Bei einer Ausführungsform, durch Positionieren der Kameras auf der Seite des Fahrzeugs, können die Kameras an einer niedrigeren Höhe platziert werden, um eine bessere Sicht auf naheliegende Fahrspurmarkierungen zu erlauben. Falls die Kameras zum Beispiel auf der Oberseite eines Fahrzeugs oder auf einer Windschutzscheibe eines Fahrzeugs positioniert sind, können die Kameras weiter von Fahrspurmarkierungen entfernt liegen, und/oder ihre Sicht kann durch andere Teile des Fahrzeugs verdeckt werden. Zusätzlich variieren Fahrzeughöhen beträchtlich, so dass unterschiedliche Fahrzeuge signifikant unterschiedliche Kalibrierung oder Training erfordern können. Bei einer Ausführungsform können die Kameras positioniert sein, um in eine Richtung im Wesentlichen senkrecht zu einer Längsachse des Fahrzeugs zu zeigen. Die Kameras können zum Beispiel einen Betrachtungswinkel seitlich zu einer Fahrtrichtung eines Fahrzeugs (zum Beispiel parallel zu einer Achse oder einem oder mehreren Rädern des Fahrzeugs) haben.
Bei einer Ausführungsform werden die Kameras kalibriert (modifiziert, um den Brennpunkt, die Position oder optische Eigenschaft der Kamera zu ändern), um eine Entfernung von einem Fahrzeug zu einer Fahrspurgrenze oder Markierung als die Entfernung von der Basislinie eines Erfassungsbilds zu der Fahrspurmarkierung in dem Bild darzustellen. Ein System kann zum Beispiel fähig sein, eine Entfernung zu der Fahrspurmarkierung zu bestimmen, indem es die niedrigste Reihenposition zu einer Unterseite eines Bilds, die einer Fahrspurgrenze oder Markierung entspricht, bestimmt. Bei einer Ausführungsform können neuronale Netzwerke verwendet werden, um die Reihe zu bestimmen, die der am nächsten liegenden Fahrspurmarkierung entspricht. Die neuronalen Netzwerke können trainiert werden, um Beispielbilder zu verwenden. Ein neuronales Netzwerk kann zum Beispiel trainiert werden, um Daten von 100 Stunden zu verwenden, die bei Geschwindigkeiten von 30 Km/h bis 120 Km/h gesammelt wurden. Die Trainingsdaten können vom Menschen kommentiert werden, um die Entfernung der Fahrspur von dem Fahrzeug bereitzustellen. Die Kommentierung kann zum Beispiel die Entfernung als eine Anzahl von Pixeln in dem Bild angeben. Bei einer Ausführungsform können Trainingsdaten derart organisiert werden, dass jedes Bild ein entsprechendes Label hat, das eine Pixelreihenposition einer Fahrspurmarkierung in dem Bild darstellt (zum Beispiel zwischen 0 und der Höhe des Bilds in Pixeln).
Bei einer Ausführungsform kann ein neuronales Netzwerk verwendet werden, um die Fahrspurmarkierungspositionen innerhalb des Bilds basierend auf Trainingsdaten zu lernen. Das neuronale Netzwerk kann ein tiefes neuronales Faltungsnetzwerk (engl.: deep convolutional neural network) aufweisen. Zum Beispiel kann das neuronale Netzwerk 7, 8 oder mehr Schichten haben. Als ein anderes Beispiel kann das neuronale Netzwerk Faltungsfilterfenster haben, die der Stärke von Fahrspurmarkierungen (wie zum Beispiel gemalten Fahrspurlinien) entsprechen. Bei einer Ausführungsform weist das neuronale Netzwerk eine euklidische Verlustschicht auf, um eine Regression anzugeben, die von einigen Klassifizierungsnetzwerken unterschiedlich sein kann. Bei einer Ausführungsform kann das neuronale Netzwerk konfiguriert sein, um ein Farbbild mit einer Breite von M Pixeln und einer Höhe von N Pixeln aufzunehmen und eine einzelne Ganzzahl im Bereich 0 bis N auszugeben. Die ausgegebene Ganzzahl kann der Entfernung in Pixeln von der Unterseite des Bilds zu dem ersten Pixel, das einer Fahrspurmarkierung entspricht, entsprechen. Bei entsprechender Skalierung und/oder entsprechendem Versatz, kann die ausgegebene Ganzzahl eine Entfernung zwischen der Mitte des Stammfahrzeugs und einer Fahrspurmarkierung darstellen. Bei einer Ausführungsform kann das Bestimmen der Entfernung zu Fahrspurmarkierungen unter Verwenden von Bildern von beiden Seiten des Fahrzeugs ausgeführt werden. Gemäß einer Ausführungsform kann ein System Ausgaben von dem neuronalen Netzwerk filtern (zum Beispiel basierend auf sequenziellen Bildern). Das System kann unter Verwenden einer Zustandsraum-Schätzungstechnik filtern und die Änderungen mitverfolgen, um Informationen zu liefern, die für das Abgleichen eines Fahrzeugs in einer Fahrspur und/oder für diverse aktive Sicherheitsanwendungen nutzbringend sind.
Ausführungsformen, die hier präsentiert sind, können einen oder mehrere Vorteile im Vergleich zu derzeit verfügbaren Technologien liefern. Das Positionieren von Kameras auf der Seite des Fahrzeugs kann zum Beispiel eine bessere Sicht einer Fahrspur oder von Fahrspurmarkierungen liefern. Bei einer Ausführungsform liefern die seitliche Platzierung und Ausrichtung der Kameras eine bestmögliche Sicht der Fahrspurmarkierungen. Aufgrund der Kameraplatzierung können zum Beispiel die Fahrspurmarkierungen ausreichend ausgeprägt und klar sein. Eine klare Sicht der Fahrspurgrenzen oder -markierungen kann das Problem vereinfachen, es besser definieren und die Präzision und Effizienz beim Lokalisieren von Fahrspurgrenzen oder -markierungen verbessern. Vorhergehende Verfahren und Technologien erforderten zum Beispiel das Extrahieren von Fahrspurgrenzen oder Fahrspurmarkierungen, um Fahrspursegmente zu extrahieren, die in einem Bild lokalisiert waren. Diese Systeme erfordern jedoch immer noch, dass der Algorithmus nach der Fahrspur in einem Bild mit einem schlecht definierten Problem „sucht“. Die Lösungen, die hier präsentiert werden, verwenden eine Technik des tiefen Lernens mit von Hand kommentierten Daten, die in größerer Präzision resultieren können.
Ein anderer beispielhafter Vorteil kann rechnerische Effizienz aufweisen. Die Kameraplatzierung auf der Seite des Fahrzeugs kann zum Beispiel ermitteln, dass die Fahrspurmarkierungen ausreichend ausgeprägt sind, um ein Bild mit niedriger Auflösung verwenden zu können. Die niedrigere Auflösung kann die erforderliche Rechenleistung verringern. Ferner müssen herkömmliche Lösungen auf der Basis von Computervision im Allgemeinen nach der Fahrspur oder den Fahrspurmarkierungen suchen, was zeitaufwändig und für den Prozessor intensiv ist. Die Lösungen basierend auf tiefem Lernen, die hier bereitgestellt werden, können die erforderliche Zeit und/oder die Rechenressourcen verringern, um die Kosten zu verringern und die Sicherheit zu verbessern.
Unter Bezugnahme auf die Figuren veranschaulicht 1 ein beispielhaftes Fahrzeugsteuersystem 100, das zum Erfassen von Fahrspuren, darunter Fahrspurmarkierungen oder -grenzen, verwendet werden kann. Das Fahrzeugsteuersystem 100 kann ein automatisiertes Fahr-/Unterstützungssystem 102 aufweisen. Das automatisierte Fahr-/Unterstützungssystem 102 kann zum Automatisieren oder Steuern des Betriebs eines Fahrzeugs oder zum Bereitstellen von Unterstützung für einen menschlichen Fahrer verwendet werden. Das automatisierte Fahr-/Unterstützungssystem 102 kann zum Beispiel das Bremsen und/oder die Lenkung und/oder Beschleunigung und/oder Lichter und/oder Warnungen und/oder Fahrerbenachrichtigungen und/oder Radio und/oder beliebige andere Hilfssysteme des Fahrzeugs steuern. Bei einem anderen Beispiel ist das automatisierte Fahr-/Unterstützungssystem 102 möglicherweise nicht in der Lage, eine Fahrsteuerung (zum Beispiel Lenkung, Beschleunigung oder Bremsen) bereitzustellen, kann aber Benachrichtigungen und Warnungen bereitstellen, um einen menschlichen Fahrer beim sicheren Fahren zu unterstützen. Das automatisierte Fahr-/Unterstützungssystem 102 kann ein Fahrspurbauteil 104 aufweisen, das ein neuronales Netzwerk oder ein anderes Modell oder einen anderen Algorithmus verwendet, um eine Fahrspurmarkierung oder -grenze zu erfassen und/oder eine Position des Fahrzeugs in Bezug zu der Fahrspur zu bestimmen. Bei einer Ausführungsform kann das automatisierte Fahr-/Unterstützungssystem 102 ein Fahrmanöver oder einen Fahrweg bestimmen, um das Fahrzeug an oder nahe einer Mitte der Fahrspur zu halten oder zu platzieren.
Das Fahrzeugsteuersystem 100 kann auch ein oder mehrere Sensorsysteme bzw. eine oder mehrere Sensorvorrichtungen zum Erfassen einer Gegenwart naheliegender Objekte und/oder zum Bestimmen einer Position eines Stammfahrzeugs (zum Beispiel eines Fahrzeugs, das das Fahrzeugsteuersystem 100 aufweist) aufweisen. Das Fahrzeugsteuersystem 100 kann zum Beispiel Radarsysteme 106, ein oder mehrere LIDAR-Systeme 108, ein oder mehr Kamerasysteme 110, ein globales Positionierungssystem (GPS) 112 und/oder Ultraschallsysteme 114 aufweisen. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten für die Navigation und Sicherheit, wie etwa Kartendaten, Fahrhistorie oder anderer Daten aufweisen. Das Fahrzeugsteuersystem 100 kann auch einen Sendeempfänger 118 für drahtlose Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur oder einem beliebigen anderen Kommunikationssystem aufweisen.
Das Fahrzeugsteuersystem 100 kann Fahrzeugsteueraktoren 120 zur Steuerung diverser Aspekte des Fahrens des Fahrzeugs aufweisen, wie etwa Elektromotoren, Schalter oder andere Aktoren, um Bremsen, Beschleunigung, Lenkung oder dergleichen zu steuern. Das Fahrzeugsteuersystem 100 kann auch ein oder mehr Displays 122, Lautsprecher 124 oder andere Vorrichtungen aufweisen, so dass Benachrichtigungen an einen menschlichen Fahrer oder Mitfahrer geliefert werden können. Ein Display 122 kann ein Heads-Up-Display, ein Armaturenbrettdisplay oder einen Armaturenbrettindikator, einen Anzeigebildschirm oder einen beliebigen anderen visuellen Indikator aufweisen, der von einem Fahrer oder Mitfahrer eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher einer Lautsprecheranlage eines Fahrzeugs aufweisen oder können einen für Fahrerbenachrichtigungen dedizierten Lautsprecher aufweisen.
Es versteht sich, dass die Ausführungsform der 1 nur beispielhaft gegeben ist. Andere Ausführungsformen können weniger oder zusätzliche Bauteile aufweisen, ohne von dem Schutzumfang der Offenbarung abzuweichen. Zusätzlich können veranschaulichte Bauteile uneingeschränkt kombiniert werden oder in anderen Bauteilen enthalten sein.
Bei einer Ausführungsform ist das automatisierte Fahr-/Unterstützungssystem 102 dazu konfiguriert, das Fahren oder die Navigation eines Stammfahrzeugs zu steuern. Zum Beispiel kann das automatisierte Fahr-/Unterstützungssystem 102 die Fahrzeugsteueraktoren 120 steuern, um auf einem Pfad innerhalb von Fahrspuren auf einer Straße, einem Parkplatz, einer Zufahrt oder einem anderen Ort zu fahren. Das automatisierte Fahr-/Unterstützungssystem 102 kann zum Beispiel einen Pfad basierend auf Informationen oder Wahrnehmungsdaten bestimmen, die durch irgendeines der Bauteile 106–118 geliefert werden. Die Sensorsysteme/-vorrichtungen 106–110 und 114 können zum Erhalten von Echtzeitsensordaten derart verwendet werden, dass das automatisierte Fahr-/Unterstützungssystem 102 einen Fahrer unterstützen oder ein Fahrzeug in Echtzeit fahren kann. Das automatisierte Fahr-/Unterstützungssystem 102 kann einen Algorithmus umsetzen oder ein Modell verwenden, wie etwa ein tiefes neuronales Netzwerk, um die Sensordaten zu verarbeiten und eine Gegenwart, eine Lage und/oder relative Entfernung einer Fahrspurmarkierung in Bezug zu dem Fahrzeug zu identifizieren.
Bei einer Ausführungsform können Kamerasysteme 110 eine Vielzahl von Kameras aufweisen. Die Kamerasysteme 110 können zum Beispiel Kameras aufweisen, die in unterschiedliche Richtungen zeigen, um unterschiedliche Sichten und unterschiedliche Blickfelder für Bereiche nahe oder um das Fahrzeug herum bereitzustellen. Einige Kameras können zum Beispiel vorwärts, seitwärts, rückwärts, in Winkeln oder in irgendeine Richtung zeigen. Bei einer Ausführungsform können die Kamerasysteme 110 Kameras aufweisen, die auf seitlichen Seiten des Fahrzeugs positioniert sind. Die Kamerasysteme 110 können zum Beispiel eine Kamera aufweisen, die auf einer rechten Seite des Fahrzeugs positioniert ist, und eine Kamera, die auf der linken Seite des Fahrzeugs positioniert ist. Kameras, die auf einer Seite eines Fahrzeugs positioniert sind, können in irgendeine Richtung zeigen, wie zum Beispiel vorwärts, rückwärts, seitwärts, in einem Vorwärtswinkel oder einem Rückwärtswinkel. Bei einer Ausführungsform sind die Kameras niedriger positioniert als eine Oberseite des Fahrzeugs. Bei einer Ausführungsform sind die Kameras auf einer Seitenplatte des Fahrzeugs positioniert. Die Seitenkameras können positioniert sein, um eine Entfernung zwischen dem Boden und der Kamera derart abzugrenzen, dass ein verbessertes Sichtfeld irgendwelcher Fahrspurbegrenzungen, Markierungen oder Linien möglich ist.
Die Kamerasysteme 110 können Kameras aufweisen, die auf entgegengesetzten Seiten des Fahrzeugs positioniert sind, so dass Fahrspurmarkierungen auf jeder Seite des Fahrzeugs erfasst werden können. Bei einer Ausführungsform können die Seitenkameras abwärts abgewinkelt sein, um Informationen über einen Bereich auf dem Boden unmittelbar neben dem Fahrzeug zu liefern. Die Kamera kann zum Beispiel ausgerichtet sein, um in eine Richtung senkrecht oder im Wesentlichen senkrecht zu einer Achse des Fahrzeugs zu zeigen, und mit einem Abwärtswinkel, um eine Sicht des Bodens horizontal neben einem Rad oder einer Seitenplatte des Fahrzeugs zu liefern. Falls eine Fahrspurmarkierung daher gleich neben der Seite des Fahrzeugs liegt, kann die Markierung innerhalb eines Bilds gezeigt werden, das von einer Seitenkamera aufgenommen wird.
2 ist eine schematische Skizze in Draufsicht, die ein Fahrzeug 202, das auf einer Fahrspur 200 fährt, zeigt. Die Fahrspur 200 ist mit Fahrspurmarkierungen gekennzeichnet, die eine durchgehende Linie 204 und eine unterbrochene Linie 206 aufweisen. Die durchgehende Linie 204 kann zum Beispiel eine Grenze zwischen der Fahrspur 200 und einer Schulter angeben, während die unterbrochene Linie 206 eine Grenze zwischen Fahrspuren auf der Fahrbahn 200 angeben kann. Die Fahrspurmarkierungen können weiß, gelb oder irgendeine andere Farbe sein, oder können in Übereinstimmung mit den lokalen Konventionen für die Fahrbahn irgendeine physische Kennzeichnung sein, die nicht eine farbige Kennzeichnung ist.
Das Fahrzeug 202 kann eine Vielzahl seitlich positionierter Kameras aufweisen, die ausgerichtet sind, um Bilder von Bodenbereichen in der Nähe des Fahrzeugs 202 zu erhalten. Eine Kamera (nicht gezeigt), die an einer linken Seite des Fahrzeugs 202 positioniert ist, kann zum Beispiel Bilder des Bodens in dem linken Seitenbereich 208 (angegeben durch gestrichelte Linien) erhalten, und eine Kamera (nicht gezeigt), die auf einer rechten Seite des Fahrzeugs 202 positioniert ist, kann Bilder des Bodens in dem rechten Seitenbereich 210 (angegeben durch gestrichelte Linien) erhalten. Während sich das Fahrzeug 202 entlang der Fahrbahn bewegt, können die Fahrspurmarkierungen (durchgehende Linie 204 und unterbrochene Linie 206) innerhalb der Sicht der linken und rechten Seitenkamera sein. Ein Abschnitt der durchbrochenen Linie 206 liegt zum Beispiel innerhalb des linken Seitenbereichs 208, und ein Abschnitt der durchgehenden Linie 204 liegt innerhalb des rechten Seitenbereichs. Die Seitenkameras können in regelmäßigen Abständen Bilder der Bodenbereiche 208 und 210 nahe dem Fahrzeug erhalten, und das Fahrzeug 202 (wie zum Beispiel das Fahrspurbauteil 104 des Fahrzeugs 202) kann diese Informationen verwenden, um eine Position des Fahrzeugs 202 innerhalb einer Fahrspur der Fahrbahn 200 zu bestimmen. Die Positionen oder Entfernungen, die von dem Fahrspurbauteil 104 bestimmt werden, können Entfernungen zwischen Fahrspurmarkierungen 204 und 206 und einer Seitenplatte des Fahrzeugs 202, oder Entfernungen zwischen Fahrspurmarkierungen 204 und 206 und einer Achse 212 (zum Beispiel der langen Achse) des Fahrzeugs 202 aufweisen.
Bei einer Ausführungsform liefern die Seitenkameras eine Nahansicht von Fahrspurmarkierungen, um die Präzision zu erhöhen und/oder die Verarbeitungsleistung beim Lokalisieren des Fahrzeugs 202 innerhalb einer Fahrspur zu verringern. Eine nach vorn zeigende Kamera kann zum Beispiel keine Ansicht aus ausreichender Nähe der Fahrspurlinien liefern und kann ein schwierigeres Verarbeitungsproblem zum Bestimmen einer Lage des Fahrzeugs 202 in Bezug zu den Fahrspurmarkierungen erfordern. Zusätzlich kann Straßenkrümmung oder dergleichen das Problem noch komplizierter machen. Extrem präzise Fahrspurpositionierung und extrem präzises Fahren können daher möglich sein, was die Fahrsicherheit signifikant erhöhen kann, insbesondere wenn eine große Anzahl von Fahrzeugen auf einer Fahrbahn fährt und in ihren entsprechenden Fahrspuren bleiben muss. In der Tat kann die Präzision, die durch Seitenkameras geliefert wird, verbunden mit Algorithmen und neuronalen Netzwerken, die hier besprochen werden, extrem hohe Präzision erlauben, um die Bestätigung anderer Systeme, das Aufbauen präziser Karten, das Aufbauen oder Aufzeichnen präziser Fahrhistorie oder andere Aufgaben, die einen hohen Grad an Fahrspurpräzision erfordern, erlauben.
Basierend auf der präzisen Positionierung kann ein Fahrpfad 214 berechnet werden, um das Fahrzeug 202 innerhalb der Mitte einer Fahrspur zu platzieren, oder das Fahrzeug 202 an oder nahe einer Mitte der Fahrspur zu halten. Der Fahrpfad 214 kann berechnet werden, um das Fahrzeug innerhalb der Fahrspur zu halten und daher die Gefahr von Unfällen mit anderen Fahrzeugen in anderen Fahrspuren oder die Gefahr des Abkommens von der Fahrbahn 200 zu minimieren. Fahrmanöver können basierend auf der aktuellen Position in der Fahrspur bestimmt werden, sowie irgendwelcher anderer verfügbarer Informationen, wie zum Beispiel Wahrnehmungsinformationen von einer vorwärts und/oder rückwärts zeigenden Kamera, einem LIDAR-System 108, Radarsystem 106, Kartendaten, Fahrhistorie oder irgendwelchen anderen Daten. Eine aktuelle Position des Fahrzeugs 202 innerhalb der Fahrspur sowie eine Krümmung der Fahrspur oder Fahrbahn 202 können verwendet werden, um einen zukünftigen Fahrpfad für das Fahrzeug 202 zu bestimmen.
3 bildet ein beispielhaftes Bild 300 ab, das von einer Seitensichtkamera aufgenommen wird. Das Bild 300 zeigt eine Oberfläche 302 einer Fahrbahn mit einer Fahrspurmarkierung 304. Das Bild 300 hat eine Pixelhöhe von N und eine Pixelbreite von M. Bei einer Ausführungsform kann das Fahrspurbauteil 104 das Bild 300 empfangen und eine Entfernung 306 von einem Boden des Bilds 300 zu der Fahrspurmarkierung 304 bestimmen. Die Entfernung 306 kann als ein Pixelwert bestimmt werden (zum Beispiel eine Pixelhöhe) oder kann basierend auf einer Entfernungsmesseinheit, wie zum Beispiel Fuß oder Meter, bestimmt werden. Bei einer Ausführungsform kann eine Entfernung 306 in Pixeln in Entfernung unter Verwenden einer vorkonfigurierten Funktion oder Berechnung umgewandelt werden. Eine lineare oder parabolische Funktion basierend auf der Lage und Ausrichtung der Kamera kann zum Beispiel verwendet werden, um eine Pixellänge oder -höhe in Fuß oder Meter umzuwandeln. Bei einer Ausführungsform kann das Fahrspurbauteil 104 ein neuronales Netzwerk zum Bestimmen der Entfernung 306 verwenden. Bei einer Ausführungsform, falls eine Fahrspurmarkierung 304 nicht vorliegt, kann das Fahrspurbauteil 104 einen Wert gleich null zurückgeben, um anzugeben, dass keine Fahrspurmarkierung in dem Bild vorhanden ist.
Das Bild 300 präsentiert ein vereinfachtes Problem beim Bestimmen einer Entfernung von einem Fahrzeug zu einer Fahrspurmarkierung. Aufgrund der Nähe der Fahrspurmarkierungen, die in einem Foto aufgenommen werden, sowie der vorhersehbaren Bestimmung (unter Verwenden eines neuronalen Netzwerks oder Algorithmus) der Entfernung einer Fahrspurmarkierung von einem Boden des Bilds 300, kann Hardware mit signifikant niedrigeren Kosten verwendet werden, und erhöhte Effizienz kann verwirklicht werden. Das Bild 300 kann zum Beispiel ein Bild mit niedriger Auflösung in Bezug zu anderen Bildern oder Wahrnehmungsdaten sein, die von einem Fahrzeug aufgrund verringerter Komplexität der Erfassung der Barriere in dem Bild 300 im Vergleich zu den Bildern einer nach vorn zeigenden Kamera aufgenommen werden.
4 ist eine Skizze, die ein Verfahren 400 zum Positionieren eines Fahrzeugs innerhalb einer Fahrspur gemäß einer Ausführungsform veranschaulicht. Das Verfahren 400 kann von einem Fahrspurbauteil 104 und/oder einem automatisierten Fahr-/Unterstützungssystem 102 ausgeführt werden.
Das Verfahren 400 beginnt, und die Kameradaten 402 werden von einer oder mehreren Kameras empfangen. Die Kameradaten 402 können Daten von einer oder mehreren Seitenkameras aufweisen, wie zum Beispiel von Kameras, die Bilder von Bodenbereichen auf einer linken Seite und/oder rechten Seite eines Fahrzeugs sammeln (siehe zum Beispiel 2). Basierend auf den Kameradaten 402 bestimmt das Fahrspurbauteil 104 eine Entfernung an 404 zwischen einem Stammfahrzeug und irgendwelchen Fahrspurmarkierungen, die in den Kameradaten 402 erfasst werden. Bei einer Ausführungsform kann ein neuronales Netzwerk verwendet werden, um die Entfernung an 404 zwischen dem Fahrzeug und Fahrspurmarkierungen zu bestimmen. Bei einer Ausführungsform kann das Fahrspurbauteil 104 eine Position in einer Fahrspur basierend auf Entfernungen von Markierungen auf jeder Seite des Fahrzeugs bestimmen.
Gemäß einer Ausführungsform weist das neuronale Netzwerk ein tiefes neuronales Faltungsnetzwerk mit 7, 8 oder mehr Schichten auf. Das neuronale Netzwerk kann Faltungsfilterfenster aufweisen, die einer Stärke in Pixeln von Fahrspurmarkierungen (wie zum Beispiel gemalten Fahrspurlinien) entsprechen. Das neuronale Faltungsnetzwerk kann zum Beispiel Eingaben für jedes Pixel eines Bilds aufweisen, und aufeinanderfolgende Schichten können Ausgaben von einer Vielzahl vorhergehender Schichten kombinieren. Die Anzahl von Ausgaben von einer vorhergehenden Schicht kann der Faltungsfenstergröße entsprechen. Bei einer Ausführungsform bestimmt das Fahrspurbauteil 104 die Entfernung bei 404 unter Verwenden eines oder mehrerer neuronaler Netzwerke, das/die eine euklidische Verlustschicht zum Angeben einer Regression aufweist/aufweisen. Das neuronale Netzwerk kann konfiguriert sein, um ein Farbbild mit einer Breite von M Pixeln und Höhe von N Pixeln aufzunehmen und eine einzelne Ganzzahl im Bereich 0 bis N auszugeben. Die ausgegebene Ganzzahl kann der Entfernung in Pixeln von der Unterseite des Bilds zu dem ersten Pixel, das einer Fahrspurmarkierung entspricht, entsprechen. Bei entsprechender Skalierung kann die ausgegebene Ganzzahl eine Entfernung zwischen der Mitte des Stammfahrzeugs und einer Fahrspurmarkierung darstellen. Bei einer Ausführungsform kann das Bestimmen der Entfernung zu Fahrspurmarkierungen unter Verwenden von Bildern von beiden Seiten des Fahrzeugs ausgeführt werden.
Das Fahrspurbauteil 104 filtert bei 406 die Entfernung, die (bei 404) bestimmt wurde und verfolgt sie im Laufe der Zeit mit. Das Fahrspurbauteil 104 kann zum Beispiel bei 406 Ausgaben von einem neuronalen Netzwerk (zum Beispiel basierend auf sequenziellen Bildern) filtern. Bei einer Ausführungsform filtert das Fahrspurbauteil 104 bei 406 die Ausgabe unter Verwenden einer Zustandsraum-Schätzungstechnik und verfolgt die Änderungen mit, um Informationen bereitzustellen, die für das Ausgleichen eines Fahrzeugs in einer Fahrspur und/oder für diverse aktive Sicherheitsanwendungen nutzbringend sind. Das Fahrspurbauteil 104 (oder ein automatisiertes Fahr-/Unterstützungssystem 100) bestimmt bei 408 ein Fahrmanöver oder eine Warnung basierend auf der bei 406 gefilterten und mitverfolgten Entfernung. Falls die Entfernung zum Beispiel von einer Mitte einer Fahrspur weg oder zu einer Fahrspurmarkierung tendiert, kann das Fahrspurbauteil 104 eine Änderung eines Fahrpfads bestimmen, um das Fahrzeug zu einer Mitte der Fahrspur zu bewegen. Als ein anderes Beispiel, falls die Entfernung von der Mitte der Fahrspur weg tendiert, kann eine Warnung für einen menschlichen Fahrer bereitgestellt werden, um das Zurückbewegen zu der Mitte der Fahrspur zu empfehlen.
5 ist ein Blockschaltbild, das beispielhafte Bauteile eines Fahrspurbauteils 104 gemäß einer Umsetzung veranschaulicht. Bei der abgebildeten Ausführungsform weist das Fahrspurbauteil 104 ein Wahrnehmungsbauteil 502, ein Fahrspurzeichenbauteil 504, ein Filterbauteil 506, ein Fahrmanöverbauteil 508 und ein Benachrichtigungsbauteil 510 auf. Die Bauteile 502–510 sind nur zur Veranschaulichung gegeben und sind möglicherweise nicht in allen Ausführungsformen enthalten. Einige Ausführungsformen können nämlich nur eines oder irgendeine Kombination von zwei oder mehr der Bauteile 502–510 aufweisen. Ferner können sich einige der Bauteile 502–510 außerhalb des Fahrspurbauteils 104 befinden, wie zum Beispiel innerhalb eines automatisierten Fahr-/Unterstützungssystems 102.
Das Wahrnehmungsbauteil 502 ist konfiguriert, um Wahrnehmungsdaten von einem oder mehreren Wahrnehmungssensoren eines Fahrzeugs zu empfangen. Das Wahrnehmungsbauteil 502 kann zum Beispiel Sensordaten von einem Radarsystem 106, einem LIDAR-System 108, einem Kamerasystem 110 und/oder einem Ultraschallsystem 114 empfangen. Die Wahrnehmungsdaten können Daten für Bereiche in irgendeine Richtung von dem Fahrzeug aufweisen. Während ein Fahrzeug zum Beispiel eine Straße hinab fährt oder durch irgendeine andere Fahrumgebung, können Sensorsysteme in regelmäßigen Abständen Daten in Zusammenhang mit der Fahrumgebung liefern.
Bei einer Ausführungsform weisen die Wahrnehmungsdaten Bilder von einer ersten Kamera, die auf einer ersten Seite eines Fahrzeugs positioniert ist, und von einer zweiten Kamera, die auf einer zweiten Seite des Fahrzeugs positioniert ist, auf. Die erste und die zweite Kamera können Kameras aufweisen, die positioniert und ausgerichtet sind, um Bilder von Bodenbereichen nahe einem Fahrzeug aufzunehmen. Die Kameras können zum Beispiel in Richtungen zeigen, die im Wesentlichen zu einer Fahrachse des Fahrzeugs senkrecht sind (zum Beispiel seitwärts zeigend). Der Begriff im Wesentlichen bedeutet hier, dass die Bilder nicht präzise senkrecht zu sein brauchen, dass sie aber im Allgemeinen in eine Richtung senkrecht zu der Fahrachse zeigen können (wie zum Beispiel in die Fahrtrichtung). Die Kameras können auf entgegengesetzten Seiten des Fahrzeugs positioniert sein, wie zum Beispiel auf einer linken Seite und einer rechten Seite. Ferner können die Kamerabilder Kamerabilder mit niedriger Auflösung aufweisen. Ein Fahrzeug kann zum Beispiel eine oder mehrere andere Kameras aufweisen, wie zum Beispiel eine nach vorn zeigende Kamera, die Bilder mit ausreichend höherer Auflösung als die Seitenkameras liefert.
Das Fahrspurzeichenbauteil 504 ist konfiguriert, um eine Entfernung zwischen dem Fahrzeug und einer oder mehreren Fahrspurmarkierungen nahe dem Fahrzeug zu bestimmen. Das Fahrspurzeichenbauteil 504 kann zum Beispiel eine Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung auf der linken Seite bestimmen, und kann auch eine Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung auf der rechten Seite bestimmen. Basierend auf den Entfernungen zu den Fahrspurmarkierungen auf der linken und/oder rechten Seite, kann das Fahrspurzeichenbauteil 504 fähig sein zu bestimmen, ob das Fahrzeug innerhalb einer aktuellen Fahrspur zentriert ist, oder ob sich das Fahrzeug zu einer Mitte der Fahrspur bewegt oder davon weg bewegt. Die Entfernung kann eine Entfernung zwischen einer Mitten- oder Seitenwand des Fahrzeugs und der Fahrspurmarkierung sein.
Bei einer Ausführungsform bestimmt das Fahrspurzeichenbauteil 504 Entfernungen zwischen dem Fahrzeug und der Fahrspurmarkierung unter Verwenden eines oder mehrerer neuronaler Netzwerke. Die neuronalen Netzwerke können Netzwerke aufweisen, die zuvor trainiert wurden, um eine Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung zu bestimmen. Bei einer Ausführungsform kann ein neuronales Netzwerk ein tiefes neuronales Faltungsnetzwerk aufweisen. Das neuronale Netzwerk kann Faltungsfilterfenster aufweisen, die auf einer Stärke der Fahrspurmarkierungen basierend bemessen sind. Eine Schicht des Netzwerks kann zum Beispiel mehrere Ausgaben einer vorhergehenden Schicht als Eingaben zu der Schicht verwenden. Die Anzahl von Ausgaben, die als Eingaben verwendet werden, kann einer Höhe in Pixeln entsprechen, die für eine Fahrspurmarkierung innerhalb eines Bilds vorweggenommen wird. Bei einer Ausführungsform kann das neuronale Netzwerk eine euklidische Verlustschicht aufweisen.
Bei einer Ausführungsform ist ein neuronales Netz konfiguriert, um jedes Pixel eines M (Breite) mal N (Höhe) Bilds als Eingabe zu nehmen, und eine Ganzzahl auszugeben, die einen Wert hat, der von 0 bis N reicht (die Höhe des Bilds in Pixeln). Die Ausgabe kann der Entfernung in Pixeln von einer Unterseite des Bilds zu dem niedrigsten Pixel, das einer Fahrspurmarkierung entspricht, entsprechen. Bei einer Ausführungsform kann eine Entfernung in Fuß oder Metern von einer Seitenplatte oder Mitte des Fahrzeugs unter Verwenden eines Versatzwerts und einer Funktion, die die ausgegebene Ganzzahl (linear, hyperbolisch oder anderswie) skaliert, berechnet werden.
Bei einer Ausführungsform können die neuronalen Netzwerke trainiert werden, indem Bilder bereitgestellt werden, die von Seitenkameras aufgenommen und von Menschen kommentiert werden. Da Seitenkameras und/oder das Finden einer Ganzzahl für die Entfernung zwischen einem Boden eines Bilds und einer Fahrspurmarkierung die Fahrspurpositionierung signifikant vereinfacht, sind eventuell weniger Bilder erforderlich, um die neuronalen Netzwerke zu trainieren. Zusätzlich können trainierte neuronale Netzwerke wiederverwendet oder neu für unterschiedliche Fahrzeuge trainiert werden, da der Unterschied zwischen Bildern, die von Seitenkameras aufgenommen werden, von Fahrzeug zu Fahrzeug möglicherweise nicht so signifikant variiert wie bei Kameras, die auf der Oberseite oder auf der Windschutzscheibe installiert sind. In der Tat kann die Präzision für Seitenkameras und dazugehörende Entfernungsalgorithmen, die hier besprochen werden, ausreichend hoch sein, so dass Seitenkameras für das Aufbauen von Karten, das Prüfen auf andere Algorithmen oder dergleichen verwendet werden können.
Das Filterbauteil 506 ist konfiguriert, um Entfernungswerte zu empfangen (inklusive Pixelrohwerte oder skalierter/versetzter Entfernungseinheitswerte). Das Filterbauteil 506 kann die Entfernungswerte im Laufe der Zeit mitverfolgen, um Tendenzen für ein fahrendes Fahrzeug zu erfassen. Das Filterbauteil 506 kann zum Beispiel bestimmen, dass ein Stammfahrzeug (zum Beispiel das Fahrzeug, das die Kameras trägt und/oder das Fahrspurbauteil 104) sich von einer Mitte einer aktuellen Fahrspur weg oder zu ihr bewegt. Das Filterbauteil 506 kann die Entfernungswerte filtern, um zufällige Fehler der erfassten Entfernung zu entfernen und/oder eine glatte Kurve zu berechnen, die die Fahrzeug-Fahrspurposition innerhalb einer Fahrspur wiedergibt. Die mitverfolgten und/oder gefilterten Werte können zum Berechnen von Fahrmanövern oder Ausführen anderer automatisierter Fahr- oder Unterstützungsfunktionen verwendet werden.
Das Fahrmanöverbauteil 508 kann ein oder mehrere Fahrmanöver bestimmen, die von dem Fahrzeug auszuführen und/oder einer Fahrzeugsteuervorrichtung oder einem menschlichen Fahrer vorzuschlagen sind. Bei einer Ausführungsform bestimmt das Fahrmanöverbauteil 508 ein Fahrmanöver, das das Fahrzeug zentriert zwischen den Fahrspurmarkierungen platziert oder hält. Das Fahrmanöver kann eine Geschwindigkeit, Abbiegen oder einen anderen Fahraspekt aufweisen, um das Fahrzeug zu veranlassen, entlang einer Fahrbahn zu manövrieren. Bei einer Ausführungsform kann das Fahrmanöver ein allmähliches oder leichtes Drehen der Räder verursachen, um das Fahrzeug zu veranlassen, sich zu einer Mittenposition zu bewegen oder dort zu bleiben, oder zu irgendeiner anderen gewünschten Position innerhalb der Fahrspuren. Bei einer Ausführungsform kann das Fahrmanöverbauteil 508 zum Beispiel einen Fahrpfad bestimmen, der das Fahrzeug nahe einer linken oder rechten Seite der Fahrspur platziert, um Schutt zu vermeiden, eine Entfernung zwischen dem Stammfahrzeug und einem Nachbarfahrzeug zu erhöhen und/oder andere Positionierungsmanöver innerhalb einer Fahrspur auszuführen. Das Fahrspurbauteil 104 kann es einem Fahrzeug daher erlauben, an unterschiedlichen Positionen innerhalb einer Fahrspur zu sein, während aktuelle Fahrsituationen berücksichtigt werden. Offensichtlich kann es das Fahrmanöverbauteil 508 im Fall bevorstehender Kollisionen, Fahrspurwechsel oder dergleichen dem Fahrzeug erlauben, die aktuelle Fahrspur zu verlassen.
Das Benachrichtigungsbauteil 510 ist konfiguriert, um einem menschlichen Fahrer oder Fahrsteuersystem eine Benachrichtigung über eine Lage oder Position eines Fahrzeugs in Bezug zu einer Fahrspur oder einer oder mehreren Fahrspurmarkierungen bereitzustellen. Das Benachrichtigungsbauteil 510 kann zum Beispiel einen oder mehrere Entfernungswerte für den menschlichen Fahrer oder das Steuersystem bereitstellen. Bei einer Ausführungsform kann das Benachrichtigungsbauteil 510 eine Benachrichtigung für einen menschlichen Fahrer bereitstellen, dass das Fahrzeug nicht zentriert ist oder allmählich von einer Mitte der Fahrspur abweicht. Die Benachrichtigung kann zum Beispiel auf einem Display bereitgestellt werden, wie zum Beispiel auf einem Heads-Up-Display, in einem Armaturenbrettindikator oder durch Verwenden eines Lautsprechers, um eine Sprach- oder Audiobenachrichtigung anzuzeigen. Die Benachrichtigung kann eine Lage des Fahrzeugs in Bezug zu den Fahrspuren angeben, um die Aufmerksamkeit des menschlichen Fahrers auf die Lage des Fahrzeugs in der Fahrspur zu lenken. Bei einer Ausführungsform kann das Benachrichtigungsbauteil 510 das Ausführen eines Manövers vorschlagen, wie zum Beispiel eines Manövers, das von dem Fahrmanöverbauteil 508 festgelegt wird. Das Benachrichtigungsbauteil 510 kann zum Beispiel vorschlagen, dass ein Fahrer oder ein Fahrzeugsteuersystem das Fahrzeug zu der Mitte einer Fahrspur bewegt.
Bei einer Ausführungsform ist das Benachrichtigungsbauteil 510 konfiguriert, um ein Beschlussfassungssystem oder -bauteil eines automatisierten Fahr-/Unterstützungssystems 102 zu benachrichtigen. Das Benachrichtigungsbauteil kann zum Beispiel eine Bekanntgabe für ein Fahrmanöverbauteil 508 bereitstellen, die eine Lage des Fahrzeugs in Bezug zu einer oder mehreren Fahrspurmarkierungen oder einer aktuellen Fahrspur angibt. Das Beschlussfassungssystem oder -bauteil kann dann fähig sein, die Lage zu verwenden oder ein vorgeschlagenes Manöver beim Bestimmen eines Fahrpfads oder Fahrmanövers, der/das von dem Fahrzeug auszuführen ist, zu berücksichtigen.
Unter Bezugnahme auf 6 ist ein schematisches Flussdiagramm eines Verfahrens 600 zum Bestimmen einer Position eines Fahrzeugs in einer Fahrspur veranschaulicht. Das Verfahren 600 kann durch ein Fahrspurbauteil oder ein automatisiertes Fahr-/Unterstützungssystem ausgeführt werden, wie zum Beispiel durch das Fahrspurbauteil 104 der 1 oder 5, oder durch das automatisierte Fahr-/Unterstützungssystem 102 der 1.
Das Verfahren 600 beginnt, und ein Wahrnehmungsbauteil 502 empfängt bei 602 Wahrnehmungsinformationen von einer ersten Kamera, die auf einer ersten Seite eines Fahrzeugs positioniert ist, und von einer zweiten Kamera, die auf einer zweiten Seite des Fahrzeugs positioniert ist. Ein Fahrspurzeichenbauteil 504 bestimmt bei 604 unter Verwenden eines oder mehrerer neuronaler Netzwerke eine Position des Fahrzeugs in Bezug zu Fahrspurmarkierungen auf der ersten Seite und der zweiten Seite des Fahrzeugs. Ein Benachrichtigungsbauteil 510 benachrichtigt einen Fahrer oder ein Steuersystem bei 606 über die Position des Fahrzeugs.
Beispiele
Die folgenden Beispiele betreffen weitere Ausführungsformen.
Beispiel 1 ist ein Verfahren, das das Empfangen von Wahrnehmungsinformationen von einer ersten Kamera, die auf einer ersten Seite eines Fahrzeugs positioniert ist, und einer zweiten Kamera, die auf einer zweiten Seite des Fahrzeugs positioniert ist, aufweist. Das Verfahren weist das Bestimmen unter Verwenden eines oder mehrerer neuronaler Netzwerke einer Position des Fahrzeugs in Bezug zu Fahrspurmarkierungen auf der ersten Seite und der zweiten Seite des Fahrzeugs auf. Das Verfahren weist auch das Benachrichtigen eines Fahrers oder Steuersystems über die Position des Fahrzeugs auf.
Bei Beispiel 2 weisen das eine oder die mehreren neuronalen Netzwerke des Beispiels 1 ein tiefes neuronales Faltungsnetzwerk auf.
Bei Beispiel 3 weist das tiefe neuronale Faltungsnetzwerk des Beispiels 2 Faltungsfilterfenster auf, die basierend auf einer Stärke der Fahrspurmarkierungen bemessen sind.
Bei Beispiel 4 umfasst mindestens eines des einen oder der mehreren neuronalen Netzwerke bei irgendeinem der Beispiele 1 bis 3 eine euklidische Verlustschicht.
Bei Beispiel 5 sind das eine oder die mehreren neuronalen Netzwerke irgendeines der Beispiele 1 bis 4 konfiguriert, um ein Bild zu empfangen, das eine Breite und eine Höhe hat, um eine Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung der einen oder mehreren Fahrspurmarkierungen auszugeben.
Bei Beispiel 6 weist die Entfernung des Beispiels 5 eine Zahl in dem Bereich von 0 bis zu der Höhe des Bildes in Pixeln auf.
Bei Beispiel 7 gibt die Entfernung in irgendeinem der Beispiele 5 bis 6 Folgendes an: eine Entfernung von einer Mitte des Fahrzeugs zu der Fahrspurmarkierung und/oder eine Entfernung von einer Seite des Fahrzeugs zu der Fahrspurmarkierung.
Bei Beispiel 8 zeigen die Kameras irgendeines der Beispiele 1 bis 7 in eine Richtung im Wesentlichen senkrecht zu einer Fahrachse des Fahrzeugs.
Bei Beispiel 9 weist das Verfahren irgendeines der Beispiele 1 bis 8 das Bestimmen eines Fahrmanövers auf, um das Fahrzeug zentriert zwischen den Fahrspurmarkierungen zu platzieren oder dort zu halten, wobei das Benachrichtigen des Fahrers oder des Steuersystems das Bereitstellen des Fahrmanövers für den Fahrer oder das Steuersystem umfasst.
Beispiel 10 ist ein System, das ein Wahrnehmungsbauteil, ein Fahrspurzeichenbauteil und ein Benachrichtigungsbauteil aufweist. Das Wahrnehmungsbauteil ist konfiguriert, um Daten von einer ersten Kamera zu empfangen, die auf einer ersten Seite eines Fahrzeugs positioniert ist, und von einer zweiten Kamera, die auf einer zweiten Seite des Fahrzeugs positioniert ist. Das Fahrspurzeichenbauteil ist konfiguriert, um eine Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung zu bestimmen, die auf der ersten Seite des Fahrzeugs positioniert ist, und eine Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung zu bestimmen, die auf der zweiten Seite des Fahrzeugs positioniert ist. Das Benachrichtigungsbauteil ist konfiguriert, um einen Fahrer oder ein Steuersystem über die Position des Fahrzeugs zu benachrichtigen.
Bei Beispiel 11 ist das Fahrspurzeichenbauteil des Beispiels 10 konfiguriert, um ein oder mehrere neuronale Netzwerke zu verwenden, um die Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung zu bestimmen, die auf der ersten Seite des Fahrzeugs positioniert ist, und um die Entfernung zwischen dem Fahrzeug und der Fahrspurmarkierung zu bestimmen, die auf der zweiten Seite des Fahrzeugs positioniert ist.
Bei Beispiel 12 weisen das eine oder die mehreren neuronalen Netzwerke des Beispiels 11 ein tiefes neuronales Faltungsnetzwerk auf, wobei das tiefe neuronale Faltungsnetzwerk Faltungsfilterfenster aufweist, die basierend auf einer Stärke der Fahrspurmarkierungen bemessen sind.
Bei Beispiel 13 sind das eine oder die mehreren neuronalen Netzwerke irgendeines der Beispiele 11 bis 12 konfiguriert, um ein Bild zu empfangen, das eine Breite M und eine Höhe N hat, und eine Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung der einen oder mehreren Fahrspurmarkierungen auszugeben, wobei die Ausgabe eine Zahl in dem Bereich von 0 bis N aufweist.
Bei Beispiel 14 weist das System irgendeines der Beispiele 10 bis 13 ferner ein Manöverbauteil auf, das konfiguriert ist, um ein Fahrmanöver zu bestimmen, um das Fahrzeug zentriert zwischen den Fahrspurmarkierungen zu platzieren oder dort zu halten, wobei das Benachrichtigungsbauteil konfiguriert ist, um das Fahrmanöver für den Fahrer oder das Steuersystem bereitzustellen.
Bei Beispiel 15 weist das System irgendeines der Beispiele 10 bis 14 ferner die erste Kamera und die zweite Kamera auf.
Bei Beispiel 16 weist das System irgendeines der Beispiele 10 bis 15 ferner das Fahrzeug auf.
Beispiel 17 ist ein computerlesbares Speichermedium, das Anweisungen speichert, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, die Prozessoren veranlassen, Daten sowohl von einer ersten Kamera als auch von einer zweiten Kamera zu empfangen, wobei die erste Kamera auf einer ersten Seite eines Fahrzeugs positioniert ist, und die zweite Kamera auf einer zweiten Seite des Fahrzeugs, der ersten Seite entgegengesetzt, positioniert ist. Die Anweisungen veranlassen den einen oder die mehreren Prozessoren ferner, unter Verwenden eines neuronalen Netzwerks eine Position des Fahrzeugs in Bezug zu Fahrspurmarkierungen, die sich auf der ersten Seite und der zweiten Seite des Fahrzeugs befinden, zu bestimmen. Die Anweisungen veranlassen den einen oder die mehreren Prozessoren ferner, einen Fahrer oder ein Steuersystem über eine Position des Fahrzeugs zu benachrichtigen.
Bei Beispiel 18 weist das Steuersystem des Beispiels 17 ein automatisiertes Steuersystem und/oder ein Fahrerunterstützungssystem auf.
Bei Beispiel 19 weist das neuronale Netzwerk irgendeines der Beispiele 17 bis 18 ein tiefes neuronales Faltungsnetzwerk auf, das Faltungsfilterfenster aufweist, die basierend auf einer Stärke der Fahrspurmarkierungen bemessen sind.
Bei Beispiel 20 weist das Bestimmen der Position des Fahrzeugs irgendeines der Beispiele 17 bis 19 Folgendes auf: Bestimmen einer Entfernung von einer Mitte des Fahrzeugs zu einer Fahrspurmarkierung der Fahrspurmarkierungen und/oder einer Entfernung von einer Seite des Fahrzeugs zu einer Fahrspurmarkierung der Fahrspurmarkierungen.
Beispiel 21 ist ein System oder eine Vorrichtung, das/die Mittel zum Umsetzen eines Verfahrens, Systems oder einer Vorrichtung nach einem der Beispiele 1 bis 20 aufweist.
Bei der obigen Offenbarung wurde auf die begleitenden Zeichnungen verwiesen, die einen Teil davon bilden, und in welchen veranschaulichend spezifische Umsetzungen, in welchen die Offenbarung umgesetzt werden kann, beispielhaft gezeigt sind. Es versteht sich, dass andere Umsetzungen verwendet werden können und dass strukturelle Änderungen durchgeführt werden können, ohne von dem Schutzumfang der vorliegenden Offenbarung abzuweichen. Verweise in der Patentschrift auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft aufweisen kann, jede Ausführungsform aber nicht zwangsläufig das bestimmte Merkmal, die bestimmte Struktur oder Eigenschaft aufweisen muss. Darüber hinaus betreffen derartige Formulierungen nicht zwangsläufig dieselbe Ausführungsform. Ferner wird, wenn ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, davon ausgegangen, dass ein Fachmann die Kenntnis besitzt, ein derartiges Merkmal, eine derartige Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen, ob ausdrücklich beschrieben oder nicht, zu beeinflussen.
Wie hier verwendet kann „autonomes Fahrzeug“ ein Fahrzeug sein, das völlig unabhängig von einem menschlichen Fahrer handelt oder funktioniert; oder es kann ein Fahrzeug sein, das in einigen Fällen unabhängig von einem menschlichen Fahrer handelt oder funktioniert, während ein menschlicher Fahrer in anderen Fällen in der Lage sein kann, das Fahrzeug zu bedienen; oder es kann ein Fahrzeug sein, das überwiegend durch einen menschlichen Fahrer, aber mit der Unterstützung eines automatisierten Fahr-/Unterstützungssystems bedient wird.
Umsetzungen der hier offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Allzweckcomputer, der Computerhardware, wie zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, aufweist, wie hier besprochen umfassen oder verwenden. Umsetzungen innerhalb des Schutzumfangs der vorliegenden Offenbarung können auch physische und andere computerlesbare Medien zum Befördern oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen aufweisen. Derartige computerlesbare Medien können beliebige verfügbare Medien sein, auf die durch ein Allzweck- oder Spezialcomputersystem zugegriffen werden kann. Computerlesbare Medien, die computerausführbare Anweisungen speichern, sind Computerspeichermedien(-vorrichtungen). Computerlesbare Medien, die computerausführbare Anweisungen tragen, sind Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielhaft und nicht einschränkend mindestens zwei getrennte unterschiedliche Arten computerlesbarer Medien umfassen: Computerspeichermedien (Vorrichtungen) und Übertragungsmedien.
Computerspeichermedien(-einrichtungen) weisen RAM, ROM, EEPROM, CD-ROM, Halbleiterfestplatten („SSDs“) (zum Beispiel basierend auf RAM), Flash-Speicher, phasenwechselnde Speicher („PCM“), andere Arten von Speicher, andere optische Plattenspeicher, magnetische Plattenspeicher oder andere magnetische Speichereinrichtungen oder ein beliebiges anderes Medium, das zum Speichern von gewünschten Programmcodemitteln in der Form von computerausführbaren Anweisungen oder Datenstrukturen verwendet werden kann, und auf das durch einen Allzweck- oder Spezialcomputer zugegriffen werden kann, auf.
Eine Umsetzung der der hier offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder fest verdrahtet, drahtlos oder eine Kombination aus fest verdrahtet und drahtlos) an einen Computer übermittelt oder bereitgestellt werden, sieht der Computer die Verbindung sachgemäß als ein Übertragungsmedium. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen aufweisen, die dazu verwendet werden können, gewünschte Programmcodemittel in der Form von computerausführbaren Anweisungen oder Datenstrukturen zu tragen und auf die durch einen Allzweck- oder Spezialcomputer zugegriffen werden kann. Kombinationen des oben Genannten sollten auch im Umfang von computerlesbaren Medien enthalten sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die, wenn sie in einem Prozessor ausgeführt werden, verursachen, dass ein Allzweckcomputer, ein Spezialcomputer oder eine Spezialverarbeitungseinrichtung eine bestimmte Funktion oder Gruppe von Funktionen durchführt. Die computerausführbaren Anweisungen können zum Beispiel Binärprogramme, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodische Handlungen spezifischen Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die oben beschriebenen Merkmale oder Handlungen beschränkt ist. Vielmehr sind die beschriebenen Merkmale und Handlungen als beispielhafte Formen des Implementierens der Ansprüche offenbart.
Fachleute werden erkennen, dass die Offenbarung in Netzwerkdatenverarbeitungsumgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, einschließlich eines Fahrzeugcomputers im Armaturenbrett, Personalcomputern, Desktopcomputern, Laptopcomputern, Nachrichtenprozessoren, Handeinrichtungen, Multiprozessorsystemen, Mikroprozessor-basierter oder programmierbarer Verbraucherelektronik, Netzwerk-PCs, Minicomputern, Großrechnern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Schaltern, verschiedenen Speichereinrichtungen und dergleichen. Die Offenbarung kann auch in verteilten Systemumgebungen umgesetzt sein, bei denen sowohl lokale als auch entfernte Computersysteme, die (entweder durch fest verdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus fest verdrahteten und drahtlosen Datenverbindungen) durch ein Netzwerk verbunden sind, Aufgaben ausführen. Bei einer verteilten Systemumgebung können sich Programmmodule sowohl in lokalen als auch entfernten Speichereinrichtungen befinden.
Außerdem können hier beschriebene Funktionen, wenn angemessen, in Hardware und/oder Software und/oder Firmware und/oder digitalen Komponenten und/oder analogen Komponenten durchgeführt werden. Zum Beispiel können eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) programmiert sein, eines oder mehrere der hier beschriebenen Systeme und Verfahren auszuführen. Bestimmte Begriffe werden in der Beschreibung und in den Ansprüchen durchgehend verwendet, um bestimmte Systemkomponenten zu bezeichnen. Fachleute werden erkennen, dass Bauteile mit unterschiedlichen Bezeichnungen bezeichnet werden können. Dieses Dokument beabsichtigt nicht, zwischen Bauteilen zu unterscheiden, die zwar unterschiedliche Bezeichnungen, aber die gleiche Funktion aufweisen.
Es ist anzumerken, dass die oben besprochenen Sensorausführungsformen Computerhardware, Software, Firmware oder eine beliebige Kombination davon zum Durchführen von mindestens einem Teil ihrer Funktionen umfassen können. Ein Sensor kann zum Beispiel Computercode aufweisen, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann durch den Computercode gesteuerte Hardwarelogik/elektrische Schaltkreise aufweisen. Diese beispielhaften Einrichtungen sind hier für Zwecke der Veranschaulichung bereitgestellt und nicht als einschränkend beabsichtigt. Ausführungsformen der vorliegenden Offenbarung können in zusätzlichen Arten von Einrichtungen implementiert werden, wie Fachleuten auf dem entsprechenden Gebiet/den entsprechenden Gebieten bekannt sein würde.
Zumindest einige Ausführungen der Offenbarung sind auf Computerprogrammprodukte ausgelegt worden, die eine derartige auf einem beliebigen computerverwendbaren Medium gespeicherte Logik (zum Beispiel in der Form von Software) umfassen. Eine derartige Software verursacht, dass eine Einrichtung wie vorliegend beschrieben funktioniert, wenn sie in einer oder mehreren Datenverarbeitungseinrichtungen ausgeführt wird.
Obwohl verschiedene Ausführungsformen der vorliegenden Offenbarung zuvor beschrieben worden sind, versteht es sich, dass sie lediglich beispielhaft und ohne Einschränkung präsentiert worden sind. Für Fachleute auf dem entsprechenden Gebiet versteht es sich, dass diverse Veränderungen in der Form und in den Einzelheiten darin vorgenommen werden können, ohne von dem Gedanken und dem Schutzumfang der Offenbarung abzuweichen. Somit sollte der Umfang und der Schutzumfang der vorliegenden Offenbarung nicht durch irgendeines der zuvor beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollte nur gemäß den folgenden Ansprüchen und deren Äquivalenten definiert werden. Die vorstehende Beschreibung wurde zu Zwecken der Veranschaulichung und Beschreibung dargelegt. Sie ist nicht als vollständig oder als die Offenbarung auf die exakte, offenbarte Form einschränkend auszulegen. Viele Modifikationen und Variationen sind angesichts der obigen Lehren möglich. Ferner versteht es sich, dass irgendeine oder alle der vorgenannten alternativen Implementierungen in einer beliebigen gewünschten Kombination zum Bilden von zusätzlichen hybriden Implementierungen der Offenbarung verwendet werden können.
Obwohl spezifische Implementierungen der Offenbarung beschrieben und veranschaulicht worden sind, ist die Offenbarung jedoch nicht auf die spezifischen Formen oder Anordnungen von so beschriebenen und veranschaulichten Teilen einzuschränken. Der Schutzumfang der Offenbarung soll durch die hier anliegenden Ansprüche, jegliche zukünftigen hier und in anderen Anmeldungen eingereichten Ansprüche und deren Äquivalente definiert werden.

Claims

Verfahren, das Folgendes umfasst: Empfangen von Wahrnehmungsinformationen von einer ersten Kamera, die auf einer ersten Seite eines Fahrzeugs positioniert ist, und von einer zweiten Kamera, die auf einer zweiten Seite des Fahrzeugs positioniert ist, unter Verwenden eines oder mehrerer neuronaler Netzwerke, Bestimmen einer Position des Fahrzeugs in Bezug zu Fahrspurmarkierungen auf der ersten Seite und der zweiten Seite des Fahrzeugs, und Benachrichtigen eines Fahrers oder Steuersystems über die Position des Fahrzeugs.
Verfahren nach Anspruch 1, wobei das eine oder die mehreren neuronalen Netzwerke ein tiefes neuronales Faltungsnetzwerk umfassen.
Verfahren nach Anspruch 2, wobei das tiefe neuronale Faltungsnetzwerk Faltungsfilterfenster aufweist, die basierend auf einer Stärke der Fahrspurmarkierungen bemessen sind.
Verfahren nach einem der Ansprüche 1 bis 3, wobei das mindestens eine des einen oder der mehreren neuronalen Netzwerke eine euklidische Verlustschicht umfassen.
Verfahren nach einem der Ansprüche 1 bis 4, wobei das eine oder die mehreren neuronalen Netzwerke konfiguriert sind, um ein Bild zu empfangen, das eine Breite und eine Höhe aufweist, und eine Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung der einen oder der mehreren Fahrspurmarkierungen auszugeben.
Verfahren nach Anspruch 5, wobei die Entfernung eine Zahl in dem Bereich von 0 bis zu der Höhe des Bildes in Pixeln umfasst.
Verfahren nach Anspruch 5, wobei die Entfernung Folgendes angibt: eine Entfernung von einer Mitte des Fahrzeugs zu der Fahrspurmarkierung, und/oder eine Entfernung von einer Seite des Fahrzeugs zu der Fahrspurmarkierung.
Verfahren nach einem der Ansprüche 5 bis 7, wobei die Kameras in eine Richtung im Wesentlichen senkrecht zu einer Fahrachse des Fahrzeugs zeigen.
Verfahren nach einem der Ansprüche 1 bis 8, das ferner das Bestimmen eines Fahrmanövers zum Platzieren oder Halten des Fahrzeugs zentriert zwischen den Fahrspurmarkierungen umfasst, wobei das Benachrichtigen des Fahrers oder des Steuersystems das Bereitstellen des Fahrmanövers für den Fahrer oder das Steuersystem umfasst.
System, das Folgendes umfasst: ein Wahrnehmungsbauteil, das konfiguriert ist, um Daten von einer ersten Kamera zu empfangen, die auf einer ersten Seite eines Fahrzeugs positioniert ist, und von einer zweiten Kamera, die auf einer zweiten Seite des Fahrzeugs positioniert ist; ein Fahrspurzeichenbauteil, das konfiguriert ist, um eine Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung, die auf der ersten Seite des Fahrzeugs positioniert ist, zu bestimmen, und eine Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung, die auf der zweiten Seite des Fahrzeugs positioniert ist, zu bestimmen, und ein Benachrichtigungsbauteil, das konfiguriert ist, um einen Fahrer oder ein Steuersystem über die Position des Fahrzeugs zu benachrichtigen.
System nach Anspruch 10, wobei das Fahrspurzeichenbauteil konfiguriert ist, um ein oder mehrere neuronale Netzwerke zu verwenden, um die Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung zu bestimmen, die auf der ersten Seite des Fahrzeugs positioniert ist, und um die Entfernung zwischen dem Fahrzeug und der Fahrspurmarkierung zu bestimmen, die auf der zweiten Seite des Fahrzeugs positioniert ist.
System nach Anspruch 11, wobei das eine oder die mehreren neuronalen Netzwerke ein tiefes neuronales Faltungsnetzwerk aufweisen, wobei das tiefe neuronale Faltungsnetzwerk Faltungsfilterfenster aufweist, die basierend auf einer Stärke der Fahrspurmarkierungen bemessen sind.
System nach Anspruch 11, wobei das eine oder die mehreren neuronalen Netzwerke konfiguriert sind, um ein Bild zu empfangen, das eine Breite M und eine Höhe N umfasst, und eine Entfernung zwischen dem Fahrzeug und einer Fahrspurmarkierung der einen oder der mehreren Fahrspurmarkierungen auszugeben, und wobei die Ausgabe eine Zahl in dem Bereich von 0 bis N umfasst.
System nach einem der Ansprüche 10 bis 13, das ferner ein Manöverbauteil umfasst, das konfiguriert ist, um ein Fahrmanöver zu bestimmen, um das Fahrzeug zwischen den Fahrspurmarkierungen zu platzieren oder dort zu halten, wobei das Benachrichtigungsbauteil konfiguriert ist, um das Fahrmanöver für den Fahrer oder das Steuersystem bereitzustellen.
System nach einem der Ansprüche 10 bis 14, das ferner die erste Kamera und die zweite Kamera umfasst.
System nach einem der Ansprüche 10 bis 15, das ferner das Fahrzeug umfasst.
Computerlesbare Speichermedien, die Anweisungen speichern, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, die Prozessoren zu Folgendem veranlassen: Empfangen von Daten sowohl von einer ersten Kamera als auch von einer zweiten Kamera, wobei die erste Kamera auf einer ersten Seite eines Fahrzeugs positioniert ist, und die zweite Kamera auf einer zweiten Seite des Fahrzeugs der ersten Seite entgegengesetzt positioniert ist, unter Verwenden eines neuronalen Netzwerks, Bestimmen einer Position des Fahrzeugs in Bezug zu Fahrspurmarkierungen, die auf der ersten Seite und der zweiten Seite des Fahrzeugs liegen, und Benachrichtigen eines Fahrers oder Steuersystems über eine Position des Fahrzeugs.
Computerlesbares Speichermedium nach Anspruch 17, wobei das Steuersystem ein automatisiertes Steuersystem und/oder ein Fahrerunterstützungssystem umfasst.
Computerlesbares Speichermedium nach Anspruch 17 oder 18, wobei das neuronale Netzwerk ein tiefes neuronales Faltungsnetzwerk umfasst, das Faltungsfilterfenster umfasst, die basierend auf einer Stärke der Fahrspurmarkierungen bemessen sind.
Computerlesbares Speichermedium nach einem der Ansprüche 17 bis 20, wobei das Bestimmen der Position des Fahrzeugs das Bestimmen von Folgendem umfasst: einer Entfernung von einer Mitte des Fahrzeugs zu einer Fahrspurmarkierung der Fahrspurmarkierungen, und/oder einer Entfernung von einer Seite des Fahrzeugs zu einer Fahrspurmarkierung der Fahrspurmarkierungen.