DE102017127346A1

DE102017127346A1 - Bremslichterkennung

Info

Publication number: DE102017127346A1
Application number: DE102017127346.8A
Authority: DE
Inventors: Maryam Moosaei; Guy Hotson; Parsa Mahmoudieh; Vidya Nariyambut murali
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-11-22
Filing date: 2017-11-20
Publication date: 2018-05-24
Also published as: CN108082037B; GB2559007A; US10248874B2; US10853673B2; US20220292845A1; US11386673B2; CN108082037A; RU2017135414A; US20190156132A1; US20230290136A1; US20180144202A1; US11694430B2; US20210019538A1; MX2017014779A; GB201719001D0

Abstract

Systeme, Verfahren und Vorrichtungen zum Erkennen von Bremslichtern werden hierin offenbart. Ein System beinhaltet eine Moduskomponente, eine Fahrzeugzonenkomponente und eine Klassifizierungskomponente. Die Moduskomponente ist konfiguriert zum Auswählen eines Nachtmodus oder Tagmodus basierend auf einer Pixelhelligkeit in einem Bildrahmen. Die Fahrzeugzonenkomponente ist konfiguriert ist zum Erkennen einer Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in einem Nachtmodus oder basierend auf Kamerabilddaten, wenn in dem Tagmodus. Die Klassifizierungskomponente ist konfiguriert zum Klassifizieren eines Bremslichtes des Fahrzeugs als an oder aus basierend auf Bilddaten in der Zone, die dem Fahrzeug entspricht.

Description

TECHNISCHES GEBIET
Diese Offenbarung betrifft im Allgemeinen Verfahren, Systeme und Vorrichtungen zur automatischen Bremslichterkennung und insbesondere betrifft sie Verfahren, Systeme und Vorrichtungen zur Tages- oder Nachtbremslichterkennung unter Verwendung von Deep Learning.
HINTERGRUND
Automobile stellen einen wesentlichen Teil von Transportmitteln für Geschäfts-, Regierungs- und Privatunternehmen bereit. Autonome Fahrzeuge und Antriebsassistenzsysteme werden momentan entwickelt und eingesetzt, um Sicherheit bereitzustellen, eine Menge von benötigter Benutzereingabe zu reduzieren oder sogar Benutzerbeteiligung komplett zu eliminieren. Zum Beispiel können manche Antriebsassistenzsysteme, wie Unfallvermeidungssysteme, Fahren, Positionen und eine Geschwindigkeit des Fahrzeugs und andere Objekte überwachen, während ein Mensch fährt. Wenn das System erkennt, dass ein Unfall oder Aufprall bevorsteht, kann das Unfallvermeidungssystem eingreifen und bremsen, das Fahrzeug lenken oder andere Vermeidungs- oder Sicherheitsmanöver durchführen. Als ein weiteres Beispiel können autonome Fahrzeuge ein Fahrzeug mit geringer oder keiner Benutzereingabe antreiben und steuern. Aufgrund der Gefahren, die das Fahren mit sich bringt, und der Kosten des Fahrzeugs, ist es wichtig, dass autonome Fahrzeuge und Antriebsassistenzsysteme sicher betrieben werden und in der Lage sind, Objekte und momentane Bedingungen akkurat zu erkennen.
Figurenliste
Nicht begrenzende und nicht erschöpfende Implementierungen der vorliegenden Offenbarung werden mit Bezug auf die folgenden Figuren beschrieben, wobei sich gleiche Bezugszeichen auf gleiche Teile im Laufe der mehreren Ansichten beziehen, sofern nicht anders angegeben. Vorteile der vorliegenden Offenbarung sind mit Bezug auf die folgende Beschreibung und beigefügten Zeichnungen besser verständlich werden, wobei:

1 ein schematisches Blockdiagramm ist, das eine Implementierung eines Fahrzeugsteuerungssystems illustriert, das ein automatisiertes Antriebs-/Assistenzsystem beinhaltet;
2 ein schematisches Blockdiagramm ist, das ein Verfahren zur Bremslichterkennung gemäß einer Implementierung illustriert;
3 eine perspektivische Ansicht eines Fahrzeugs auf einer Fahrbahn mit Begrenzungsboxen für ein Fahrzeug und Bremslichtern gemäß einer Implementierung illustriert;
4 ein schematisches Blockdiagramm ist, das Beispielkomponenten einer Bremslichtkomponente gemäß einer Implementierung illustriert;
5 ein schematisches Flussdiagramm ist, das ein Verfahren zur Bremslichterkennung gemäß einer Implementierung illustriert; und
6 ein schematisches Blockdiagramm ist, das ein Rechensystem gemäß einer Implementierung illustriert.

DETAILLIERTE BESCHREIBUNG
Autonome und Fahrunterstützungsfahrzeuge müssen wissen, ob ein Fahrzeug vor ihnen bremst, um langsamer zu werden und einen sicheren Abstand zu halten. Zusätzlich, wenn eine Ampel als grün erkannt wird, aber die Fahrzeuge davor ihre Bremslichter anhaben, sollte ein autonomes Fahrzeug nicht versuchen die Kreuzung zu überqueren. Ähnlich, beim Annähern an eine Kreuzung mit kaputten oder visuell verdeckten (z. B. durch ein großes Fahrzeug vor dem autonomen Fahrzeug) Ampeln, ermöglicht das Erkennen von Bremslichtern dem autonomen Fahrzeug, abzuleiten, wann es okay ist zu fahren oder sich zu bewegen. In einer Ausführungsform kann automatische Bremslichterkennung auch in einem Fahrerassistenzsystem für normale Fahrzeuge integriert sein. Zum Beispiel, wenn ein Fahrer abgelenkt ist und nicht bemerkt, dass ein Fahrzeug vor dem Fahrer bremst, kann das System den Fahrer mit akustischen/visuellen Warnungen aufmerksam machen.
Patentanmelder haben Verfahren, Systeme und Vorrichtungen zum Erkennen von Bremslichtern und deren Zustand entwickelt. In einer Ausführungsform beinhaltet ein System zum Erkennen von Bremslichtern eine Moduskomponente, eine Fahrzeugzonenkomponente und eine Klassifizierungskomponente. Die Moduskomponente ist konfiguriert zum Auswählen eines Nachtmodus oder Tagmodus basierend auf einer Pixelhelligkeit in einem Bildrahmen. Die Fahrzeugzonenkomponente ist konfiguriert ist zum Erkennen einer Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in einem Nachtmodus oder basierend auf Kamerabilddaten, wenn in dem Tagmodus. Die Klassifizierungskomponente ist konfiguriert zum Klassifizieren eines Bremslichtes des Fahrzeugs als an oder aus basierend auf Bilddaten in der Zone, die dem Fahrzeug entspricht.
In einer Ausführungsform ist Computervision mit Deep Learning kombiniert, um unter Verwendung von Lichtbereich- und Erkennungsdaten (LIDAR) und Kameradaten Bremslichter von Fahrzeugen automatisch zu erkennen. Deep Learning und Computervision können verwendet werden, um zu erkennen, ob die Bremslichter von dem Fahrzeug vor einem autonomen Fahrzeug oder einem normalen Fahrzeug an sind. Dies kann nicht nur dabei helfen, einen sicheren Abstand zu dem Fahrzeug davor zu halten, sondern es hilft auch, um eine Kreuzung sicher zu überqueren.
In einer Ausführungsform kann ein System erkennen, ob eine Bremslichterkennung in einem Tagmodus oder in einem Nachtmodus durchgeführt werden muss. In einer Ausführungsform bestimmt das System eine durchschnittliche Intensität der Pixel des oberen Teils eines Bildrahmens. Die durchschnittliche Intensität kann für jeden Bildrahmen oder für eine oder mehrere Bildrahmen in einem Zeitraum berechnet werden, wie ein oder mehrere Bilder innerhalb eines zweiten Zeitrahmens. Wenn die Pixelintensität größer als ein Schwellenwert ist, kann das System bestimmen, einen Tagmodus zu verwenden und wenn die Intensität kleiner als ein Schwellenwert ist, kann das System einen Nachtmodus verwenden.
Das System kann Fahrzeugerkennung durchführen, um zu identifizieren wo sich in einem Bildrahmen ein Fahrzeug befindet. In dem Tagmodus kann das System all die Fahrzeuge innerhalb jedes Bildes (wie ein rot-grün-blau „RGB“-Bild) erkennen, um Zonen von Interesse für Bremslichterkennung zu identifizieren. In dem Tagmodus kann dies erreicht werden, indem zuerst Merkmalsabbildungen von dem RGB oder der RGB-Tiefe (RGB-D) (unter Verwendung von LIDAR, um eine Tiefen-Map zu erstellen) extrahiert werden. Merkmalsabbildungen können 2D-Abbildungen beinhalten, die zeigen, wo sich Bildmerkmale befinden, die zum Identifizieren von Fahrzeugen gut sind. Diese Merkmalsabbildungen können unter Verwendung einer tiefen konvolutionellen Architektur (z. B. das VGG16-Netz oder GoogLeNet ®-Netz) extrahiert werden, ohne jegliche komplett verbundenen Klassifizierungsschichten. Potenzielle Fahrzeugobjekte können dann unter Verwendung von Merkmalsabbildungen von einer oder mehreren vorstehenden Schichten als Eingabe zu Zonenvorschlags- und Objektklassifizierungsschichten identifiziert werden. Dieses Netz kann auf Architekturen basiert sein, wie die in „Faster R-CNN: Towards real-time object detection with region proposal networks. Advances in neural information processing systems“ von Ren, S., He, K., Girshick, R., & Sun, J. (2015) (S. 91-99) oder „SSD: Single Shot MultiBox Detector“, arXiv preprint arXiv: 1512.02325, Liu, W., Anguelov, D., Erhan, D., Szegedy, C., & Reed, S. (2015). Die Klassifizierungsausgaben können Begrenzungsboxen (z. B. Zonen eines Bildrahmens) beinhalten, die potenzielle Fahrzeuge enthalten, zusammen mit entsprechender Konfidenz, dass sich Fahrzeuge innerhalb dieser Zonen des Bildes befinden. Diese Zonen werden als die Eingabe für die Bremslichterkennung verwendet.
Im Nachtmodus wird LIDAR zum Erkennen von Fahrzeugen (und/oder deren entsprechende Orte innerhalb Bild- oder LIDAR-Rahmen) verwendet. Unter Verwendung von LIDAR können Kandidaten für Fahrzeuge gefunden werden, indem ein auf Dichte basierender Clusterbildungs-Algorithmus, wie eine auf Dichte basierende räumliche Clusterbildung von Anwendungen mit Schall (DBSCAN), verwendet wird, um Objekte nach dem Entfernen der Grundebene (z. B. Punkte, die einer Fahrbahnoberfläche entsprechen) zu bündeln. Wenn die Abmessungen eines Clusters innerhalb eines Größenbereichs liegen, der einer vernünftigen Größe eines Fahrzeugs entspricht, wird der Cluster einem geschulten tiefen neuralen Netz (DNN - deep neural network) mit einer tiefen Architektur (wie VGG-16) zugeführt, um als Fahrzeug oder kein Fahrzeug zu klassifizieren. Das geschulte DNN nimmt ein Cluster aus 3D-Punkten auf und macht eine binäre Klassifizierung, ob der Cluster einem Fahrzeug entspricht oder nicht. Als Fahrzeug erkannte Zonen werden als die Eingabe für die Bremslichterkennung verwendet. In manchen Ausführungsformen können andere Arten von Bereichsdaten anstatt LIDAR verwendet werden. Zum Beispiel können Daten von einem Ultraschall-Erfassungssystem, Radarsystem oder sogar von Bildern abgeleitete Bereichsdaten verwendet werden.
Ein System kann Daten innerhalb der Zonen, die einem Fahrzeug entsprechen (wie durch Bilderkennung in dem Tagmodus oder LIDAR-Clusterbildung in dem Tagmodus), verarbeiten. Wenn das System ein Bild in einem Tagmodus verarbeiten muss, wandelt das System das Bild in HSV (Farbton, Sättigung und Wert)-Farbraum um. Das System kann den Sättigungskanal mit verschiedenen Größen filtern, um verschiedene Intensitäten von Sonnenlicht und verschiedene Zeiten des Tages zu erklären. Zum Beispiel kann der Sättigungskanal mit 3 verschiedenen Größen (wie 100 Pixel, 150 Pixel und 200 Pixel) gefiltert werden, was zu 3 verschiedenen Schwellen-HSV-Bildern führen würde. Für jedes der drei Schwellen-HSV-Bilder werden Konturen in dem Rahmen oder der Zone, der/die einem Fahrzeug entspricht, extrahiert. Die Form und Größe dieser Konturen können verwendet werden, um manche davon herauszufiltern. Jegliche verbleibenden Kandidaten werden als Zonen von Interesse (ROI-region of interest) zum Erkennen eines Zustands eines Bremslichtes verwendet. Diese ROI werden einem tiefen neuralen Netz zugeführt, das auf einem großen Datensatz von Bremslichtern geschult ist. Die Ausgabe ist eines von den zwei Kennzeichen: positiv (Bremslicht an) und negativ (Bremslicht aus). Das System kann dann eine Markierung auf all den erkannten Bremslichtern zeichnen. In einer Ausführungsform kann das neurale Netz ähnlich zu dem sein, das in „Multi-column deep neural network for traffic sign classification“, Ciressan, D., Meier, U., Masci, J. und Schmidhuber, J., Neural Networks, 32, 333-338. 23,201 (2012) offenbart ist. Zum Beispiel kann ein neurales Netz wie Ciressan modifiziert werden, um zwei extra Schichten zu beinhalten und die Größe von Kernels zum Verarbeiten von Bremslichtern verändern.
In dem Nachtmodus kann das System Bilder in eine Helligkeit und zwei Farbkanäle (A und B) Farbraumbild (LAB) umwandeln. In einer Ausführungsform filtert das System den A-Kanal mit verschiedenen Größen, um verschiedene Lichtverhältnisse zu erklären. Zum Beispiel kann der A-Kanal mit 3 verschiedenen Größen (100 Pixel, 150 Pixel und 200 Pixel) gefiltert werden, um 3 verschiedene Schwellen-LAB-Bilder zu erzeugen. Für jedes der drei Schwellen-LAB-Bilder werden Konturen extrahiert. Die Form und Größe dieser Konturen können verwendet werden, um eine oder mehrere der Konturen herauszufiltern. Jegliche verbleibenden Kandidaten sind die ROI. Die ROI können einem DNN, das auf einem großen Datensatz von Bremslichtern geschult ist, zugeführt werden. Die Ausgabe des DNN kann entweder positiv (Bremslicht an) oder negativ (Bremslicht nicht an) sein. Das System zeichnet dann eine Markierung auf all den erkannten Bremslichtern.
In entweder dem Tagmodus oder dem Nachtmodus, wenn das System jegliche Bremslichter vor dem autonomen Fahrzeug erkennt, kann das System einem Antriebssystem oder Fahrer des Fahrzeugs eine Benachrichtigung bereitstellen. Zum Beispiel kann eine Benachrichtigung eines Fahrers in der Form von einer visuellen und/oder akustischen Warnnachricht sein, die sagt, dass das Fahrzeug vor einem autonomen Fahrzeug (oder normalem Fahrzeug) bremst. Als ein weiteres Beispiel kann das System einem automatisierten Antriebssystem eine Benachrichtigung bereitstellen, dass ein Fahrzeug bremst, was dem automatisierten Antriebssystem ermöglichen kann, einzugreifen (bremsen, ein Vermeidungsmanöver durchführen usw.).
Weitere Ausführungsformen und Beispiele werden mit Bezug auf die Figuren unten erörtert.
Unter nunmehriger Bezugnahme auf die Figuren, illustriert 1 ein Beispiel-Fahrzeugsteuerungssystem 100. Das Fahrzeugsteuerungssystem 100 beinhaltet ein automatisiertes Antriebs-/Assistenzsystem 102. Das automatisierte Antriebs-/Assistenzsystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder Steuern oder um einem menschlichen Fahrer Assistenz bereitzustellen. Zum Beispiel kann das automatisierte Antriebs-/Assistenzsystem 102 eines oder mehrere von Bremsen, Lenken, Beschleunigen, Lichtern, Warnungen, Fahrerbenachrichtigungen, Radio, Aufhängungsdämpfung oder andere Antriebs- oder Hilfssysteme des Fahrzeugs steuern. In einem weiteren Beispiel kann das automatisierte Antriebs-/Assistenzsystem 102 nicht in der Lage sein, Steuerung des Antriebs (z. B. Lenken, Beschleunigen oder Bremsen) bereitzustellen, kann aber Benachrichtigungen und Warnungen bereitstellen, um einem menschlichen Fahrer beim sicheren Fahren zu assistieren. Zum Beispiel kann das automatisierte Antriebs-/Assistenzsystem 102 eine oder mehrere Steuerungen beinhalten, die über einen Steuerungsbus Daten bereitstellen oder empfangen und die Daten verwenden, um durchzuführende Aktionen zu bestimmen und/oder Anweisungen oder Signale zum Starten dieser Aktionen bereitzustellen.
Das Fahrzeug-Steuerungssystem 100 beinhaltet auch eines oder mehrere Sensorsysteme/-vorrichtungen zum Erkennen eines Vorhandenseins von nahe gelegenen Objekten, Fahrspurmarkierungen, Erhebungen, Straßentextur und/oder Bestimmen eines Ortes eines Stammfahrzeuges (z. B. ein Fahrzeug, das das Fahrzeug-Steuerungssystem 100 beinhaltet). Zum Beispiel kann das Fahrzeug-Steuerungssystem 100 Radarsysteme 106, eines oder mehrere LIDAR-Systeme 108, eines oder mehrere Kamerasysteme 110, ein globales Positionierungssystem (GPS) 112 und/oder Ultraschallsysteme 114 beinhalten. Das Fahrzeug-Steuerungssystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten wie Fahrzeuginformationen (Modellinformationen oder Fahrzeugleistungscharakteristiken), Kartendaten, Fahrhistoriendaten (d. h. Fahrgeschichte) oder weitere Daten beinhalten. Das Fahrzeug-Steuerungssystem 100 kann auch eine Sende-/Empfangsvorrichtung 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netz, anderen Fahrzeugen, Infrastruktur, Cloud- oder Fernrechen- oder Speicherressourcen oder jeglichem anderen Kommunikationssystem beinhalten.
Das Fahrzeug-Steuerungssystem 100 kann Fahrzeug-Steuerungsbetätiger 120 beinhalten zum Steuern mehrere Aspekte des Antriebs des Fahrzeugs wie elektrische Motoren, Schalter oder andere Betätiger, um das Bremsen, Beschleunigen, Lenken, Aufhängen oder dergleichen, zu steuern. Das Fahrzeug-Steuerungssystem 100 kann einen oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Vorrichtungen beinhalten, so dass einem menschlichen Fahrer oder Mitfahrer Benachrichtigungen bereitgestellt werden können. Eine Anzeige 122 kann eine Head-UP-Anzeige, Armaturenbrettanzeige oder -angabe, einen Anzeigebildschirm oder jegliche andere visuelle Angabe beinhalten, die von einem Fahrer oder Mitfahrer eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Soundsystems eines Fahrzeugs beinhalten oder können einen Lautsprecher, der Fahrerbenachrichtigung gewidmet ist, beinhalten. Die Fahrzeug-Steuerungsbetätiger 120, Anzeigen 122, Lautsprecher 124 oder andere Teile des Fahrzeug-Steuerungssystems 100 können von einer oder mehreren Steuerungen des automatisierten Antriebs-/Assistenzsystems 102 gesteuert werden.
In einer Ausführungsform stellt das automatisierte Antriebs-/Assistenzsystem 102 nur Assistenz und Fahrzeugsteuerung während dem Antrieb durch einen menschlichen Fahrer bereit. In einer Ausführungsform ist das automatisierte Antriebs-/Assistenzsystem 102 konfiguriert, um Antrieb oder Navigation eines Stammfahrzeugs zu steuern. Zum Beispiel kann das automatisierte Antriebs-/Assistenzsystem 102 die Fahrzeug-Steuerungsbetätiger 120 steuern, um einen Weg innerhalb Fahrspuren auf einer/n/m Straße, Parkplatz, Einfahrt oder anderen Ort zu fahren. Zum Beispiel kann das automatisierte Antriebs-/Assistenzsystem 102 einen Weg bestimmen basierend auf Informationen oder Wahrnehmungsdaten, die von einer der Komponenten 106-118 bereitgestellt werden. Die Sensorsysteme/-vorrichtungen 106-110 und 114 können verwendet werden, um Echtzeit-Sensordaten zu erhalten, so dass das automatisierte Antriebs-/Assistenzsystem 102 einem Fahrer oder Antrieb eines Fahrzeugs in Echtzeit assistieren kann. In einer Ausführungsform verwendet das automatisierte Antriebs-/Assistenzsystem 102 auch Informationen, die in einer Fahrgeschichte (lokal oder fern) gespeichert sind, zum Bestimmen von Bedingungen in einer momentanen Umgebung. Das automatisierte Antriebs-/Assistenzsystem 102 kann einen oder mehrere Algorithmen, Anwendungen, Programme oder Funktionalitäten implementieren, die beim Antrieb des Fahrzeugs antreiben oder assistieren.
Das automatisierte Antriebs-/Assistenzsystem 102 kann eine Bremslichtkomponente 104 zum Erkennen von Bremslichtern und/oder dem Zustand eines Bremslichtes beinhalten. In einer Ausführungsform kann die Bremslichtkomponente 104 Unterzonen eines Bildes identifizieren, die einem Fahrzeug entsprechen und kann auch Begrenzungsboxen innerhalb der Unterzone bestimmen, die Bremslichtern des Fahrzeugs entsprechen. Bilddaten innerhalb der Begrenzungsboxen können unter Verwendung eines tiefen neuralen Netzes verarbeitet werden, um ein Bremslicht als an oder aus zu klassifizieren.
Es ist ersichtlich, dass die Ausführungsform von 1 nur als Beispiel angegeben ist. Weitere Ausführungsformen können weniger oder zusätzliche Komponenten beinhalten, ohne von dem Geltungsbereich der Offenbarung abzuweichen. Zusätzlich können illustrierte Komponenten kombiniert werden oder ohne Begrenzung in anderen Komponenten beinhaltet sein.
2 ist ein schematisches Flussdiagramm, das ein Verfahren 200 zum Erkennen von Bremslichtern illustriert. Das Verfahren 200 kann von dem automatisierten Antriebssystem 102 und/oder der Bremslichtkomponente 104 von 1 durchgeführt werden.
Eingabedaten 202 können als Eingabe in das System bereitgestellt werden. Die Eingabedaten 202 beinhalten Kameradaten sowie Bereichsdaten. Die Bereichsdaten können von Kameradaten, Ultraschalldaten, Radardaten und/oder LIDAR-Daten stammen oder darauf basierend erzeugt werden. Basierend auf den Eingabedaten 202 bestimmt die Bremslichtkomponente 104 bei 204, ob Daten in einem Tagmodus oder Nachtmodus verarbeitet werden. Zum Beispiel kann die Bremslichtkomponente 104 einen Tagmodus verwenden, wenn die durchschnittliche Helligkeit von Pixeln in einer oberen Zone eines Kamerabildes größer als ein Schwellenwert ist (Tag bei 204). Ähnlich kann die Bremslichtkomponente 104 einen Nachtmodus verwenden, wenn die durchschnittliche Helligkeit von Pixeln in einer oberen Zone eines Kamerabildes geringer als ein Schwellenwert ist (Nacht bei 204).
In dem Tagmodus kann die Bremslichtkomponente 104 Kamerabilder unter Verwendung von einem oder mehreren DNN 206 verarbeiten, die auf Bildern oder Rahmen geschult wurden, die Fahrzeuge beinhalten. Die DNN 206 geben eine oder mehrere Bildzonen 208 aus, die Fahrzeuge enthalten. Zum Beispiel können diese Bildzonen 208 Daten innerhalb Begrenzungsboxen innerhalb eines Originalbildes oder -rahmens beinhalten, in dem sich die Fahrzeuge befinden. Die Bremslichtkomponente 104 wandelt bei 210 ein Bild in ein HSV-Format um und filtert bei 212 einen S-Kanal mit verschiedenen Größenschwellenwerten. Zum Beispiel kann die Bremslichtkomponente 104 den S-Kanal mit mehreren Pixelgrößen (wie eine 100, 150, 200 oder andere Pixelgröße) filtern. HSV-Format kann für Tageslichtbilder gut funktionieren, weil der S-Kanal (Sättigungskanal) zum Erkennen von hellen oder glänzenden Objekten in Tageslichtbildern wirksam sein kann.
In dem Nachtmodus kann die Bremslichtkomponente 104 Bereichsdaten (wie LIDAR-Daten oder jegliche andere Bereichsdaten) unter Verwendung von einem oder mehreren DNN 214 verarbeiten, die auf Bereichsdatenbildern oder -rahmen geschult wurden, die Fahrzeuge beinhalten. Die DNN 214 geben eine oder mehrere Bildzonen 216 aus, die Fahrzeuge enthalten. Zum Beispiel können die DNN 214 Clusterbildung durchführen, um Cluster von 3D-Punkten in den Bereichsdaten zu identifizieren, die vermutlich einem Fahrzeug entsprechen. Basierend auf den Clustern von Bereichsdatenpunkten, können die Zonen 216 von einem Kamerabild, die den Bereichsdatenclustern entsprechen, identifiziert und ausgegeben werden. Zum Beispiel können diese Bildzonen 216 Daten innerhalb Begrenzungsboxen innerhalb eines Originalbildes oder -rahmens beinhalten, in dem sich die Fahrzeuge befinden. Die Bremslichtkomponente 104 wandelt bei 218 ein Bild in ein LAB-Format um und filtert bei 220 einen A-Kanal mit verschiedenen Größenschwellenwerten. Zum Beispiel kann die Bremslichtkomponente 104 den A-Kanal mit mehreren Pixelgrößen (wie eine 100, 150, 200 oder andere Pixelgröße) filtern. LAB-Format kann für Nachtzeitbilder gut funktionieren, weil der A-Kanal zum Erkennen von hellen oder glänzenden Objekten in dunklen oder Nachtzeit-Beleuchtungsbedingungen wirksam sein kann.
Für jedes der Schwellenbilder, die in dem Nachtmodus oder Tagmodus erzeugt werden (z. B. wie bei 212 oder 220 erzeugt), extrahiert die Bremslichtkomponente 104 Konturen und Filter bei 222, wobei die Konturkandidaten auf Form und Größe basieren. Zum Beispiel können die Konturen gefiltert werden, um Konturen zu entfernen, die eine Form oder Größe aufweisen, die vermutlich nicht der Größe eines Bremslichtes entspricht. In einer Ausführungsform können verschiedene Kontur- und Filteralgorithmen für die Nacht- oder Tagmodusbilder verwendet werden. Nach dem Filtern bei 222, werden jegliche Zonen von Interesse 224 unter Verwendung von DNN 226 verarbeitet, die auf Bremslichtbildern geschult sind. Die DNN 226 können nur verwendet werden, um die Zonen von Interesse zu verarbeiten, um die Menge an Verarbeitungsleistung zu reduzieren und Geschwindigkeit der Klassifizierung zu erhöhen. Verschiedene neurale Netze können für Tagmodusbilder und Nachtmodusbilder verwendet werden. Als Antwort auf das Verarbeiten mit den DNN 226, geben die DNN 226 einen Bremslichtzustand 228 für jedes erkannte Fahrzeug und/oder Bremslicht aus. Der Bremslichtzustand 228 kann positiv sein, wodurch angegeben wird, dass ein Bremslicht eingeschaltet ist, oder negativ, wodurch angegeben wird, dass das Bremslicht nicht eingeschaltet ist. Diese Informationen können einem menschlichen Fahrer oder automatisiertem Antriebssystem so bereitgestellt werden, dass Antriebsmanöver diese Bedingung erklären können.
3 illustriert ein Bild 300 auf einer Fahrbahn, das von einem Fahrzeug gemäß einer Ausführungsform erfasst werden kann. Eine Fahrzeug-Begrenzungsbox 302 wird um ein Fahrzeug gezeigt, das sich vor dem Fahrzeug befindet, das die Bremslichtkomponente 104 umfasst. Die Fahrzeug-Begrenzungsbox 302 kann den Bildzonen 208, 216 entsprechen, wie mit Bezug auf 2 erörtert. Zum Beispiel kann die Bremslichtkomponente 104 das Fahrzeug in der Fahrzeug-Begrenzungsbox 302 unter Verwendung eines Bildes (im Tagmodus) oder Bereichsdaten (wie LIDAR-Daten im Nachtmodus) identifizieren. Bremslicht-Begrenzungsboxen 304, werden auch die Bremslichter des Fahrzeugs innerhalb der Fahrzeug-Begrenzungsbox 302 umgebend gezeigt. In einer Ausführungsform können nur Bilddaten innerhalb der Fahrzeug-Begrenzungsbox 302 verarbeitet werden, damit die Konturen Zonen von Interesse erkennen, die Bremslichter enthalten können. Dies kann erhebliche Erhöhungen der Wirksamkeit bereitstellen sowie reduzierte Verarbeitungszeit, was beides bei Kraftfahrzeuganwendungen wichtig sein kann. Nach dem Bestimmen der Bremslicht-Begrenzungsboxen 304, können die Daten innerhalb der Bremslicht-Begrenzungsboxen 304 verarbeitet werden, um zu bestimmen, ob ein Bremslicht an (positiv) oder aus (negativ) ist. Zum Beispiel kann ein DNN verwendet werden, um das Bremslicht innerhalb einer Bremslicht-Begrenzungsbox 304 als an oder aus zu klassifizieren.
Im Hinblick auf 4 wird ein schematisches Blockdiagramm gezeigt, das Komponenten einer Bremslichtkomponente 104 gemäß einer Ausführungsform illustriert. Die Bremslichtkomponente 104 beinhaltet eine Datenkomponente 402, eine Moduskomponente 404, eine Fahrzeugzonenkomponente 406, eine Bremslichtzonenkomponente 408 und eine Klassifizierungskomponente 410. Die Komponenten 402-410 sind nur zur Veranschaulichung gegeben und sind möglicherweise nicht alle in allen Ausführungsformen beinhaltet. Genau genommen können manche Ausführungsformen nur eine oder jegliche Kombination von zwei oder mehr der Komponenten 402-410 beinhalten. Zum Beispiel können sich manche der Komponenten 402-410 außerhalb der Bremslichtkomponente 104 befindet, wie beispielsweise innerhalb des automatisierten Antriebs-/Assistenzsystems 102.
Die Datenkomponente 402 ist konfiguriert, um Kamerabilddaten und Bereichsdaten für eine Zone nahe einem Fahrzeug zu erhalten. Siehe zum Beispiel Verfahren 200 bei 202 von 2. Zum Beispiel kann die Datenkomponente 402 Kamerarahmen und Bilder, die von einer Kamera erfasst werden, erhalten, wie beispielsweise eine nach vorne gerichtete Kamera des Fahrzeugs. Die Datenkomponente 402 kann auch Bereichsdaten erfassen, wie beispielsweise Daten, die einen Abstand zu einem oder mehreren Punkten im Raum in einer Umgebung um das Fahrzeug angeben. Die Bereichsdaten können Bereichsdaten beinhalten, die von einem LIDAR-System, Radarsystem, Ultraschallerfassungssystem oder dergleichen erhalten oder erzeugt werden. In einer Ausführungsform können die Bereichsdaten Bereichsdaten basierend auf Bilddaten beinhalten. Jedoch können Bereichsdaten, die von Bilddaten erzeugt werden, mehr Verarbeitungszeit benötigen und/oder können bei geringen Lichtverhältnissen nicht so genau sein. In einer Ausführungsform kann die Datenkomponente 402 Bilddaten erhalten oder erzeugen, die einen Bereich (Abstand) aufweisen, der mit jedem Pixel oder einem oder mehreren Pixeln innerhalb des Bildes assoziiert ist. Zum Beispiel kann ein sichtbares Lichtspektrumbild Abstände aufweisen, die mit einem oder mehreren Pixeln in dem Bild assoziiert sind.
Die Moduskomponente 404 ist konfiguriert, um einen Nachtmodus oder einen Tagmodus zum Erkennen von Fahrzeugen und/oder Bremslichtern von Fahrzeugen auszuwählen. Siehe zum Beispiel Verfahren 200 bei 204 in 2. In einer Ausführungsform verarbeitet die Moduskomponente 404 jeden Bildrahmen, der zur Bremslichterkennung verwendet wird, und wählt einen Tagmodus oder Nachtmodus für das Bild aus. Die Moduskomponente 404 kann basierend auf einer Helligkeit eines Abschnitts von den Pixeln eines Bildes ausgewählt werden. Zum Beispiel kann die Moduskomponente eine durchschnittliche Pixelintensität für eine Zahl von Zeilen an der Oberseite des Bildrahmens bestimmen. Basierend darauf, ob die durchschnittliche Pixelintensität über oder unter einem Schwellenwert liegt, kann die Moduskomponente 404 einen Tagmodus (durchschnittliche Pixelintensität über dem Schwellenwert) oder einen Nachtmodus (durchschnittliche Pixelintensität unter dem Schwellenwert) auswählen. Das Auswählen eines richtigen Modus kann eine genauere Fahrzeugerkennung ermöglichen und folglich genauere Bremslichterkennung.
Die Fahrzeugzonenkomponente 406 erkennt eine Zone, die einem Fahrzeug entspricht. Siehe zum Beispiel Verfahren 200 bei 206, 208, 214 und 216. Wenn die Moduskomponente 404 einen Nachtmodus ausgewählt hat, kann die Fahrzeugzonenkomponente 406 Fahrzeuge basierend auf Daten von einem Abstandssensor erkennen. In dem Nachtmodus kann die Fahrzeugzonenkomponente 406 einen Clusterbildungsalgorithmus oder DNN verwenden, um einen Cluster von 3D-Punkten zu erkennen, die vermutlich einem Fahrzeug entsprechen. In einer Ausführungsform identifiziert die Fahrzeugzonenkomponente 406 2D-Pixelorte innerhalb eines Kamerabildes, das den 3D-Punkten entspricht, die als entsprechend zu einem Ort eines Fahrzeugs identifiziert wurden. Zum Beispiel kann die Fahrzeugzonenkomponente 406 3D-Punkte in den Bereichsdaten, die einem Fahrzeug entsprechen, auf 2D-Punkten in Kamerabilddaten abbilden, um eine Fahrzeug-Begrenzungsbox zu schaffen.
In einem Tagmodus kann die Fahrzeugzonenkomponente 406 einen Computervisionsalgorithmus oder Verfahren zum Erkennen von Fahrzeugen verwenden. Wenn das Licht ausreichend ist, kann der Tagmodus einen größeren Bereich zum Erkennen von Fahrzeugen ermöglichen. Wenn das Licht jedoch nicht ausreichend ist, können Bereichsdaten von LIDAR, Radar oder dergleichen höhere Genauigkeit beim Erkennen von Fahrzeugen bereitstellen. In einer Ausführungsform können sowohl Bereichsdaten als auch Bilddaten verwendet werden, um Fahrzeuge währen dem Nachtmodus oder in dem Tagmodus zu erkennen. Sowohl in dem Tagmodus als auch dem Nachtmodus kann ein 2D-Ort oder eine Begrenzungsbox für ein Fahrzeug erzeugt werden.
Die Bremslichtzonenkomponente 408 erkennt Zonen innerhalb eines Bildes, die den Bremslichtern eines Fahrzeugs entsprechen. Siehe zum Beispiel Verfahren 200 bei 210, 212, 218, 220, 222 und 224 von 2. In einer Ausführungsform bestimmt die Bremslichtzonenkomponente 408 eine oder mehrere Bremslicht-Begrenzungsboxen, die einen Ort innerhalb eines Kamerabildes angeben, an dem sich Bremslichter eines Fahrzeugs vermutlich befinden. In einer Ausführungsform bestimmt die Bremslichtzonenkomponente 408 die Bremslicht-Begrenzungsboxen, indem Konturen in Zonen, die Fahrzeugen entsprechen (z. B. wie von der Fahrzeugzonenkomponente 406 bestimmt), extrahiert werden. Die Bremslichtzonenkomponente 408 kann auch eine Untergruppe dieser Konturen basierend auf deren Form oder Größe filtern oder auswählen. Zum Beispiel kann die Bremslichtzonenkomponente 408 Konturen identifizieren, die eine Form und Größe aufweisen, die einer erwarteten Bremslichtform oder -größe entsprechen. In einer Ausführungsform können die Formen und Größen von Konturen vorbestimmt sein oder basierend auf Bildern von Fahrzeugen und/oder Bremslichtern geschult sein.
In einer Ausführungsform kann das Bestimmen der Konturen unter Verwendung von verschiedenen Bildformaten durchgeführt werden, abhängig davon, ob ein Tagmodus oder ein Nachtmodus ausgewählt ist. Zum Beispiel kann ein RGB-Bild in einem Tagmodus zu HSV-Farbraum zur Konturerkennung umgewandelt werden. Im Nachtmodus kann ein RGB-Bild zu LAB-Farbraum zur Konturerkennung umgewandelt werden. Sobald Konturen erkannt werden, kann eine entsprechende Bremslicht-Begrenzungsbox bestimmt werden, Bilddaten (in RGB oder anderem Format) können dann der Klassifizierungskomponente 410 zur Klassifizierung des Bremslichtes als an oder aus bereitgestellt werden.
Die Klassifizierungskomponente 410 klassifiziert ein Bremslicht als an oder aus. Siehe zum Beispiel Verfahren 200 bei 224, 226 von 2. In einer Ausführungsform verarbeitet die Klassifizierungskomponente 410 Kamerabilddaten innerhalb einer Zone, die von der Bremslichtzonenkomponente 408 bestimmt wird. Zum Beispiel kann die Klassifizierungskomponente 410 ein DNN beinhalten oder verwenden, um Bilddaten in einer Bremslicht-Begrenzungsbox zu verarbeiten und das Bremslicht als an oder aus zu klassifizieren. In einer Ausführungsform kann das verwendete DNN davon abhängig sein, ob die Moduskomponente 404 ausgewählt ist. Zum Beispiel können ein oder mehrere DNN verwendet werden, um Tagmodusbilder zu verarbeiten, während ein oder mehrere andere DNN verwendet werden können, um Nachtmodusbilder zu verarbeiten. Die Klassifizierungskomponente 410 kann einem Fahrzeugsteuerungssystem 100 die Ergebnisse einer Klassifizierung eines Bremslichts oder eines Fahrzeugs bereitstellen, um einen menschlichen Fahrer zu benachrichtigten oder zum Entscheidungsfinden des automatisierten Antriebs.
5 ist ein schematisches Flussdiagramm, das ein Verfahren 500 zum Erkennen von Bremslichtern und deren Zustand illustriert. Das Verfahren 500 kann von einer Bremslichtkomponente oder einem Fahrzeugsteuerungssystem durchgeführt werden, wie die Bremslichtkomponente 104 von 1 oder 4 oder das Fahrzeugsteuerungssystem 100 von 1.
Das Verfahren 500 beginnt und eine Moduskomponente 404 wählt bei 502 einen Nachtmodus oder Tagmodus basierend auf einer Pixelhelligkeit in einem Bildrahmen aus. Die Moduskomponente 404 kann bei 502 den Nachtmodus oder Tagmodus basierend auf der Pixelhelligkeit in dem oberen Abschnitt eines RGB-Rahmens auswählen. Zum Beispiel kann der obere Abschnitt dem Himmel oder einem anderen Bereich über dem Fahrzeug entsprechen. Wenn der Bereich in dem oberen Abschnitt des Bildes über einem Schwellenwert liegt, kann Verfahren 500 in einem Tagmodus fortfahren. Wenn der Bereich in dem oberen Abschnitt des Bildes unter einem Schwellenwert liegt, kann Verfahren 500 in einem Nachtmodus fortfahren.
Eine Fahrzeugzonenkomponente 406 erkennt an 504 eine Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in einem Nachtmodus oder basierend auf Kamerabilddaten, wenn in dem Tagmodus. Zum Beispiel kann die Fahrzeugzonenkomponente 406 in dem Nachtmodus bei 504 unter Verwendung eines Clusterbildungsalgorithmus, um Cluster von Bereichsdatenpunkten zu identifizieren, die vermutlich einem Fahrzeug entsprechen, ein Fahrzeug erkennen. Die Fahrzeugzonenkomponente 406 kann dann den Ort des Clusters von Punkten mit einer entsprechenden Zone eines Kamerabildes assoziieren, um eine Fahrzeugzonen- oder Fahrzeug-Begrenzungsbox herzustellen, die angibt, wo sich ein Fahrzeug in einem Kamerabild vermutlich befindet. Ein DNN kann verwendet werden, um 3D-Punktcluster innerhalb der Bereichsdaten (z. B. LIDAR-Daten) zu erkennen, die einem Fahrzeug entsprechen. Als ein weiteres Beispiel kann die Fahrzeugzonenkomponente 406 in dem Tagmodus bei 504 unter Verwendung von Bilderkennung auf einem von einer Kamera erfassten Bild ein Fahrzeug erkennen. Die Fahrzeugzonenkomponente 406 kann dann eine Fahrzeugzonen- oder Fahrzeug-Begrenzungsbox erzeugen, die das Fahrzeug innerhalb eines Kamerabildes enthält. Ein DNN kann verwendet werden, um das Fahrzeug, seine Größe und/oder seinen Ort innerhalb des Bildes zu erkennen. Folglich wird, ob der Tagmodus oder Nachtmodus verwendet wird, ein Fahrzeug in einem Kamerabild erkannt und/oder geortet und eine Zone oder Begrenzungsbox wird bestimmt, die das Fahrzeug enthält. Die Verwendung von Bereichsdaten, wie beispielsweise von LIDAR, kann genaueres und zuverlässigeres Erkennen von Fahrzeugen während dunklen oder Nachtzeit-Fahrbedingungen ermöglichen.
Eine Klassifizierungskomponente 410 klassifiziert bei 506 ein Bremslicht des Fahrzeugs als an oder aus basierend auf Bilddaten in der Zone, die dem Fahrzeug entspricht. Klassifizierung bei 506 kann unter Verwendung eines DNN durchgeführt werden, das auf Tag- und/oder Nacht-Bremslichtbildern geschult wurde. Weil die Klassifizierung bei 506 nur auf kleineren Zonen durchgeführt wird, die vermutlich Bremslichter enthalten, können erheblich kleinere und leichter auszubildende DNN verwendet werden, was zu reduzierten Ausbildungskosten, schnelleren Verarbeitungszeiten und erhöhter Wirksamkeit führt. In einer Ausführungsform befindet sich eine Begrenzungsbox für ein Bremslicht auch innerhalb der Zone, die dem Fahrzeug entspricht, um Verarbeitungswirksamkeit weiter zu erhöhen.
Mit nunmehriger Bezugnahme auf 6 wird ein Blockdiagramm einer Beispiel-Rechenvorrichtung 600 illustriert. Rechenvorrichtung 600 kann verwendet werden, um mehrere Abläufe durchzuführen, wie die hierin erörterten. Rechenvorrichtung 600 kann als ein/e Bremslichtkomponente 104, automatisiertes Antriebs-/Assistenzsystem 102 oder dergleichen fungieren. Rechenvorrichtung 600 kann mehrere Überwachungsfunktionen, wie hierin erörtert, durchführen und kann ein oder mehrere Anwendungsprogramme ausführen, wie die hierin beschriebenen Anwendungsprogramme oder Funktionalität. Rechenvorrichtung 600 kann jede einer breiten Vielfalt von Rechenvorrichtungen sein, wie ein Desktopcomputer, Armaturenbrettcomputer, Fahrzeugsteuerungssystem, ein Notebook-Computer, ein Servercomputer, ein tragbarer Computer, ein Tablet-Computer und dergleichen.
Rechenvorrichtung 600 beinhaltet einen oder mehrere Prozessor(en) 602, eine oder mehrere Speichervorrichtung(en) 604, eine oder mehrere Schnittstelle(n) 606, eine oder mehrere Massenspeichervorrichtung(en) 608, eine oder mehrere Eingabe-/Ausgabe- (E/A) Vorrichtung(en) 610 und eine Anzeigevorrichtung 630, wobei alle davon mit einem Bus 612 gekoppelt sind. Prozessor(en) 602 beinhalten einen oder mehrere Prozessoren oder Steuerungen, die Anweisungen, die in Speichervorrichtung(en) 604 und/oder Massenspeichervorrichtung(en) 608 gespeichert sind, ausführen. Prozessor(en) 602 können auch mehrere Arten von computerlesbaren Medien beinhalten, wie einen Cache-Speicher.
Speichervorrichtung(en) 604 beinhalten mehrere computerlesbare Medien, wie flüchtige Speicher (z. B. Direktzugriffspeicher (RAM) 614) und/oder nicht-flüchtige Speicher (z. B. Read-Only Speicher (ROM) 616). Speichervorrichtung(en) 604 können auch wiederbeschreibbare ROM enthalten, wie Flashspeicher.
Massenspeichervorrichtung(en) 608 beinhalten mehrere computerlesbare Medien, wie Magnetbänder, Magnetplatten, optische Platten, Festkörperspeicher (z. B. Flashspeicher) und so weiter. Wie in 6 gezeigt, ist eine bestimmte Massenspeichervorrichtung ein Festplattenlaufwerk 624. Mehrere Festplatten können auch in Massenspeichervorrichtung(en) 608 beinhaltet sein, um Lesen von und/oder Schreiben auf die mehreren computerlesbaren Medien zu ermöglichen. Massenspeichervorrichtung(en) 608 beinhalten Wechselmedien 626 und nicht-entfernbare Medien.
E/A-Vorrichtung(en) 610 beinhalten mehrere Vorrichtungen, die ermöglichen, dass Daten und/oder andere Informationen in eine Rechenvorrichtung 600 eingegeben werden oder davon abgerufen werden. Beispiel-E/A-Vorrichtung(en) 610 beinhalten Cursorsteuerungsvorrichtungen, Tastaturen, Tastenfelder, Mikrofone, Bildschirme oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzschnittstellenkarten, Modems und dergleichen.
Anzeigevorrichtung 630 beinhaltet jede Art von Vorrichtung, die in der Lage ist, einem oder mehreren Benutzern von Rechenvorrichtung 600 Informationen anzuzeigen. Beispiele von Anzeigevorrichtung 630 beinhalten einen Bildschirm, Anzeigeterminal, Videoprojektionsvorrichtung und dergleichen.
Schnittstelle(n) 606 beinhalten mehrere Schnittstellen, die es Rechenvorrichtung 600 ermöglichen, mit anderen Systemen, Vorrichtungen oder Rechenumgebungen zu interagieren. Beispiel-Schnittstelle(n) 606 können jegliche Zahl von verschiedenen Netzschnittstellen 620 beinhalten, wie Schnittstellen an lokale Netze (LAN), Weitverkehrsnetze (WAN), drahtlose Netze und das Internet. Weitere Schnittstelle(n) beinhalten Benutzerschnittstelle 618 und periphere Vorrichtungsschnittstelle 622. Die Schnittstelle(n) 606 können auch ein oder mehrere Benutzerschnittstellenelemente 618 beinhalten. Die Schnittstelle(n) 606 können auch eine oder mehrere periphere Schnittstellen beinhalten, wie Schnittstellen für Drucker, Zeigevorrichtungen (Maus, Touchpad oder jegliche geeignete Benutzerschnittstelle, die dem Durchschnittsfachmann bekannt ist oder später entdeckt wurde), Tastaturen und dergleichen.
Bus 612 ermöglicht Prozessor(en) 602, Speichervorrichtung(en) 604, Schnittstelle(n) 606, Massenspeichervorrichtung(en) 608 und E/A-Vorrichtung(en) 610, miteinander sowie auch mit anderen Vorrichtungen oder Komponenten, die mit Bus 612 gekoppelt sind, zu kommunizieren. Bus 612 stellt einen oder mehrere von verschiedenen Arten von Busstrukturen dar, wie ein Systembus, PCI-Bus, IEEE-Bus, USB-Bus und so weiter.
Zum Zwecke der Veranschaulichung werden Programme und andere ausführbare Programmkomponenten hierin als diskrete Blöcke gezeigt, obwohl es sich versteht, dass solche Programme und Komponenten zu verschiedenen Zeiten in unterschiedlichen Speicherkomponenten von Rechenvorrichtung 600 liegen können und von Prozessor(en) 602 ausgeführt werden. Alternativ können die Systeme und Abläufe, die hierin beschrieben sind, in Hardware oder einer Kombination von Hardware, Software und/oder Firmware implementiert werden. Zum Beispiel kann eine oder mehrere anwendungsspezifische integrierte Schaltung (ASIC) programmiert sein, um eines oder mehrere der hier beschriebenen Systeme und Prozeduren auszuführen.
Beispiele
Die folgenden Beispiele gehören zu weiteren Ausführungsformen.
Beispiel 1 ist ein Verfahren, das das Auswählen eines Nachtmodus oder Tagmodus basierend auf einer Pixelhelligkeit in einem Bildrahmen beinhaltet. Das Verfahren beinhaltet das Erkennen einer Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in einem Nachtmodus oder basierend auf Kamerabilddaten, wenn in dem Tagmodus. Das Verfahren beinhaltet das Klassifizieren eines Bremslichtes des Fahrzeugs als an oder aus basierend auf Bilddaten in der Zone, die dem Fahrzeug entspricht.
In Beispiel 2 beinhaltet das Verfahren von Beispiel 1 das Bestimmen von einer oder mehrerer Begrenzungsboxen, die den Bremslichtern des Fahrzeugs in der Zone, die dem Fahrzeug entspricht, entsprechen.
In Beispiel 3 beinhaltet das Bestimmen der einen oder mehreren Begrenzungsboxen wie in Beispiel 2 das Extrahieren von Konturen in der Zone, die dem Fahrzeug entspricht, das Auswählen von Konturen mit einer Form oder Größe, die einer Bremslichtform oder -größe entspricht.
In Beispiel 4 beinhaltet das Klassifizieren des Bremslichtes wie in einem von Beispielen 2-3 das Klassifizieren basierend auf Bilddaten, die der einen oder den mehreren Begrenzungsboxen entsprechen.
In Beispiel 5 beinhaltet das Bestimmen der einen oder mehreren Begrenzungsboxen, die Bremslichtern entsprechen, wie in einem von Beispielen 2-4, das Bestimmen basierend auf Bilddaten in einem HSV-Format für den Tagmodus und basierend auf Bilddaten in einem LAB-Format für den Nachtmodus.
In Beispiel 6 beinhaltet das Klassifizieren des Bremslichtes wie in einem von Beispielen 1-5 das Klassifizieren unter Verwendung eines neuralen Netzes.
In Beispiel 7 beinhaltet das Erkennen der Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in dem Nachtmodus wie in einem von Beispielen 1-6, das Identifizieren eines Clusters von Punkten in den Bereichsdaten, die dem Fahrzeug entsprechen, und das Abbilden einer Begrenzungsbox des Clusters von Punkten auf einen entsprechenden Bildrahmen.
In Beispiel 8 beinhalten die Bereichsdaten in dem Nachtmodus wie in einem von Beispielen 1-7 eine oder mehrere von Radardaten, Ultraschalldaten und LIDAR-Daten.
Beispiel 9 ist ein System, das eine Moduskomponente, eine Fahrzeugzonenkomponente und eine Klassifizierungskomponente beinhaltet. Die Moduskomponenten ist konfiguriert zum Auswählen eines Nachtmodus oder Tagmodus basierend auf einer Pixelhelligkeit in einem Bildrahmen. Die Fahrzeugzonenkomponente ist konfiguriert ist zum Erkennen einer Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in einem Nachtmodus oder basierend auf Kamerabilddaten, wenn in dem Tagmodus. Die Klassifizierungskomponente ist konfiguriert zum Klassifizieren eines Bremslichtes des Fahrzeugs als an oder aus basierend auf Bilddaten in der Zone, die dem Fahrzeug entspricht.
In Beispiel 10 beinhaltet ein System wie in Beispiel 9 eine Bremslichtzonenkomponente, die konfiguriert ist zum Bestimmen von einer oder mehreren Begrenzungsboxen, die den Bremslichtern des Fahrzeugs in der Zone, die dem Fahrzeug entspricht, entsprechen.
In Beispiel 11 ist eine Bremslichtzonenkomponente wie in Beispiel 10 konfiguriert zum Bestimmen der einen oder mehreren Begrenzungsboxen durch das Extrahieren von Konturen in der Zone, die dem Fahrzeug entspricht, und das Auswählen von Konturen mit einer Form oder Größe, die einer Bremslichtform oder -größe entspricht.
In Beispiel 12 ist eine Klassifizierungskomponente wie in einem von Beispielen 10-11 konfiguriert zum Klassifizieren des Bremslichtes durch Klassifizieren basierend auf Bilddaten, die der einen oder den mehreren Begrenzungsboxen entsprechen.
In Beispiel 13 ist eine Bremslichtzonenkomponente wie in einem von Beispielen 10-12 konfiguriert zum Bestimmen der einen oder mehreren Begrenzungsboxen basierend auf Bilddaten in einem HSV-Format für den Tagmodus und basierend auf Bilddaten in einem LAB-Format für den Nachtmodus.
In Beispiel 14 ist eine Klassifizierungskomponente wie in einem von Beispielen 9-13 konfiguriert zum Klassifizieren des Bremslichtes des Fahrzeugs als an oder aus unter Verwendung eines neuralen Netzes.
In Beispiel 15 beinhaltet das Erkennen, durch eine Fahrzeugzonenkomponente, der Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in dem Nachtmodus wie in einem von Beispielen 9-14 das Identifizieren eines Clusters von Punkten in den Bereichsdaten, die dem Fahrzeug entsprechen, und das Abbilden einer Begrenzungsbox des Clusters von Punkten auf einen entsprechenden Bildrahmen.
Beispiel 16 ist ein computerlesbares Speichermedium, das Anweisungen speichert, die, wenn von einem oder mehreren Prozessoren ausgeführt, den einen oder die mehrere Prozessoren dazu veranlassen, einen Nachtmodus oder Tagmodus basierend auf einer Pixelhelligkeit in einem Bildrahmen auszuwählen. Die Anweisungen veranlassen den einen oder die mehreren Prozessoren dazu, eine Zone zu erkennen, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in einem Nachtmodus, oder basierend auf Kamerabilddaten, wenn in dem Tagmodus. Die Anweisungen veranlassen den einen oder mehrere Prozessoren dazu, ein Bremslicht des Fahrzeugs als an oder aus zu klassifizieren, basierend auf Bilddaten in der Zone, die dem Fahrzeug entspricht.
In Beispiel 17 beinhaltet ein computerlesbares Medium wie in Beispiel 16 weiter Anweisungen, die den einen oder die mehreren Prozessoren dazu veranlassen, eine oder mehrere Begrenzungsboxen zu bestimmen, die den Bremslichtern des Fahrzeugs in der Zone, die dem Fahrzeug entspricht, entsprechen.
In Beispiel 18 veranlassen Anweisungen den einen oder die mehreren Prozessoren dazu, die eine oder mehreren Begrenzungsboxen wie in Beispiel 17 zu bestimmen, indem Konturen in der Zone, die dem Fahrzeug entspricht, extrahiert werden und Konturen mit einer Form oder Größe, die einer Bremslichtform oder -größe entspricht, ausgewählt werden. Die Anweisungen veranlassen den einen oder die mehreren Prozessoren dazu, das Bremslicht basierend auf Bilddaten zu klassifizieren, die der einen oder den mehreren Begrenzungsboxen entsprechen.
In Beispiel 19 veranlassen Anweisungen den einen oder die mehreren Prozessoren wie in einem von Beispielen 16-18 dazu, unter Verwendung eines neuralen Netzes das Bremslicht des Fahrzeugs als an oder aus zu klassifizieren.
In Beispiel 20 beinhaltet das Erkennen der Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in dem Nachtmodus wie in einem von Beispiel 16-19, das Identifizieren eines Clusters von Punkten in den Bereichsdaten, die dem Fahrzeug entsprechen, und das Abbilden einer Begrenzungsbox des Clusters von Punkten auf einen entsprechenden Bildrahmen.
Beispiel 21 ist ein System oder eine Vorrichtung, die Mittel zum Implementieren eines Verfahrens oder das Realisieren eines Systems oder einer Vorrichtung in einem von Beispielen 1-20 beinhaltet.
In der obigen Offenbarung wurde Bezug auf die beigefügten Zeichnungen genommen, die Teil hiervon sind, und in welchen spezifische Implementierungen veranschaulicht werden, in welchen die Offenbarung ausgeübt werden kann. Es versteht sich, dass andere Implementierungen angewendet werden können und strukturelle Veränderungen gemacht werden, ohne von dem Geltungsbereich der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine bestimmte Struktur oder Charakteristik aufweisen kann, aber nicht jede Ausführungsform notwendigerweise das bestimmte Merkmal, Struktur oder Charakteristik aufweist. Des Weiteren beziehen sich solche Sätze nicht unbedingt auf die gleiche Ausführungsform. Ferner, wenn ein bestimmtes Merkmal, eine bestimmte Struktur oder Charakteristik in Verbindung mit einer Ausführungsform beschrieben wird, wird vorgelegt, dass es innerhalb des Wissens eines Fachmanns ist, ein solches Merkmal, eine solche Struktur oder Charakteristik in Verbindung mit anderen Ausführungsformen auszuführen, ob explizit beschrieben oder nicht.
Implementierungen der Systeme, Vorrichtungen und Verfahren, die hier offenbart sind, können einen besonderen Zweck- oder Allgemeinzweck-Computer umfassen oder verwenden, der Computerhardware, wie beispielsweise einen oder mehrere Prozessoren und Systemspeicher aufweist, wie hier erörtert. Implementierungen innerhalb des Schutzbereichs der vorliegenden Offenbarung können auch physische und andere computerlesbaren Medien zum Ausführen oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen sein. Solche computerlesbaren Medien können jegliche verfügbaren Medien sein, auf die von einem Allgemeinzweck- oder Spezialcomputersystem zugegriffen werden kann. Computerlesbare Speichermedien, die computerausführbare Anweisungen speichern, sind Computerspeichermedien (Geräte). Computerlesbare Medien, die computerausführbare Anweisungen ausführen, sind Übertragungsmedien. Folglich, als Beispiel und nicht als Begrenzung, können Implementierungen der Offenbarung mindestens zwei eindeutig verschiedene Arten von computerlesbaren Medien umfassen: Computerspeichermedien (Geräte) und Übertragungsmedien.
Computerspeichermedien (Geräte) umfassen RAM, ROM, EEPROM, CD-ROM, Solid State Drives („SSDs“) (z. B. basierend auf RAM), Flashspeicher, Phasenänderungs-Speicher („PCM“) andere Arten von Speicher, andere optische Festplattenspeicher, magnetische Festplattenspeicher oder andere magnetische Speichergeräte oder jedes andere Medium, das verwendet werden kann, um gewünschte Programmcodemittel in der Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern und auf welche von einem Allgemeinzweck- oder Spezialcomputer zugegriffen werden kann.
Eine Implementierung der Geräte, Systeme und Verfahren, die hier offenbart sind, kann über ein Computernetz kommunizieren. Ein „Netz“ ist als eines oder mehrere Datenverbindungen definiert, die den Transport von elektronischen Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Geräten ermöglichen. Wenn Informationen über ein Netz oder andere Kommunikationsverbindungen (entweder fest verkabelt, kabellos oder eine Kombination von fest verkabelt und kabellos) an einen Computer übertragen oder bereitgestellt werden, sieht der Computer die Verbindung richtig als ein Übertragungsmedium. Übertragungsmedien können ein Netz und/oder Datenverbindungen umfassen, die auch verwendet werden können, um gewünschte Programmcodemittel in der Form von computerausführbaren Anweisungen oder Datenstrukturen zu tragen und auf welche von einem Allgemeinzweck- oder Spezialcomputer zugegriffen werden kann. Kombinationen der obigen sollten auch innerhalb des Geltungsbereichs der vorliegenden computerlesbaren Medium umfasst sein.
Computerausführbare Anweisungen umfassen Anweisungen und Daten, welche, wenn an einem Prozessor ausgeführt, einen Allgemeinzweckcomputer, einen Spezialcomputer oder eine Spezialverarbeitungsvorrichtung veranlassen, eine gewisse Funktion oder Gruppe von Funktionen durchzuführen. Die computerausführbaren Anweisungen können zum Beispiel Binäre, Zwischenformatanweisungen sein, wie Assemblersprache oder sogar Quellcode. Obwohl der Gegenstand mit sprachspezifischen bis strukturellen Merkmalen und/oder methodologischen Handlungen beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die beschriebenen Merkmale und Handlungen, die oben beschrieben sind, begrenzt ist. Vielmehr sind die beschriebenen Merkmale und Handlungen als Beispielformen zum Implementieren der Ansprüche offenbart.
Dem Fachmann ist ersichtlich, dass die Offenbarung in Netzcomputerumgebungen mit vielen Arten von Computersystemkonfigurationen ausgeübt werden kann, einschließlich eines Armaturenbrett-Fahrzeugcomputers, persönlichen Computern, Desktopcomputern, Laptopcomputern, Nachrichtenverarbeitern, tragbaren Vorrichtungen, Multiprozessor-Systemen, mikroprozessorbasierter oder programmierbarer Verbraucherelektronik, Netzwerk PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pager, Router, Schaltungen, mehreren Speichervorrichtungen und dergleichen. Die Offenbarung kann auch in verteilten Systemumgebungen ausgeübt werden, wobei sowohl lokale als auch Femcomputersysteme, die durch ein Netzwerk verbunden sind (entweder durch fest verkabelte Datenverbindungen, kabellose Datenverbindungen oder eine Kombination von fest verkabelten und kabellosen Datenverbindungen), Aufgaben durchführen. In einer verteilten Systemumgebung können Programmmodule in sowohl lokalen als auch Fernspeichervorrichtungen angeordnet sein.
Ferner, wo angemessen, können Funktionen, die hier beschrieben sind, in einer oder mehreren der Folgenden durchgeführt werden: Hardware, Software, Firmware, digitale Komponenten oder analoge Komponenten. Zum Beispiel können eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASIC) programmiert sein, um eines oder mehrere der hier beschriebenen Systeme und Prozeduren auszuführen. Gewissen Begriffe werden im Laufe der Beschreibung und der Ansprüche verwendet, um sich auf bestimmte Systemkomponenten zu beziehen. Die Begriffe „Module“ und „Komponenten“ werden im Namen bestimmter Komponenten verwendet, um deren Implementierungsunabhängigkeit in Software, Hardware, Schaltung, Sensoren oder dergleichen zu reflektieren. Wie einem Fachmann ersichtlich, können Komponenten mit verschiedenen Namen bezeichnet werden. Dieses Dokument bezweckt nicht, zwischen Komponenten zu unterscheiden, die sich im Namen unterscheiden, aber nicht in der Funktion.
Es ist anzumerken, dass die oben erörterten Sensorausführungsformen Computerhardware, Software, Firmware oder jegliche Kombination davon umfassen können, um mindestens einen Teil von ihren Funktionen durchzuführen. Zum Beispiel kann ein Sensor Computercode aufweisen, der konfiguriert ist in einem oder mehreren Prozessoren ausgeführt zu werden und kann Hardware aufweisen, die logisch/elektrisch von dem Computercode schaltgesteuert ist. Diese Beispielvorrichtungen sind hier zum Zwecke der Illustration bereitgestellt und sollen nicht begrenzend sein. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen implementiert werden, wie einem Fachmann in den relevanten Gebieten bekannt.
Mindestens einige Ausführungsformen der Offenbarung betreffen Computerprogrammprodukte, die solche Logik (z. B. in der Form von Software) auf jeglichem computernutzbaren Medium gespeichert umfassen. Solche Software, wenn in einer oder mehreren Datenverarbeitungsvorrichtungen ausgeführt, veranlasst eine Vorrichtung dazu, wie hier beschrieben zu arbeiten.
Während mehrere Ausführungsformen der vorliegenden Offenbarung oben beschrieben wurden, versteht sich, dass sie nur beispielhaft dargestellt wurden und nicht begrenzend. Es ist für den Fachmanne in dem relevanten Fachgebiet offensichtlich, dass mehrere Veränderungen in Form und Detail vorgenommen werden können, ohne vom Wesen und Geltungsbereich der Offenbarung abzuweichen. Folglich sollten die Breite und der Geltungsbereich der vorliegenden Offenbarung von keinem der oben beschriebenen Ausführungsbeispiele begrenzt sein, sollten aber nur gemäß den folgenden Ansprüchen und deren Äquivalenten definiert sein. Die vorstehende Beschreibung wurde zum Zwecke der Darstellung und Beschreibung präsentiert. Die Offenbarung bezweckt nicht, erschöpfend oder auf die genaue offenbarte Form begrenzt zu sein. Viele Modifikationen und Variationen sind ausgehend von der obigen Lehre möglich. Ferner sollte angemerkt werden, dass jede oder alle der vorgenannten alternativen Implementierungen in jeder gewünschten Kombination verwendet werden können, um zusätzliche Hybrid-Implementierungen der Offenbarung zu bilden.
Ferner, obwohl spezielle Implementierungen der Offenbarung beschrieben und illustriert wurden, ist die Offenbarung nicht auf die speziellen Formen oder Anordnungen von so beschriebenen und illustrierten Teilen zu begrenzen. Der Geltungsbereich der Offenbarung wird durch die hier angehängten Ansprüchen, jeglichen zukünftigen hier und in verschiedenen Anmeldungen eingereichten Ansprüchen und deren Äquivalenten definiert.

Claims

Verfahren, umfassend: Auswählen eines Nachtmodus oder Tagmodus basierend auf einer Pixelhelligkeit in einem Bildrahmen; Erkennen einer Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in einem Nachtmodus oder basierend auf Kamerabilddaten, wenn in dem Tagmodus; und Klassifizieren eines Bremslichtes des Fahrzeugs als an oder aus basierend auf Bilddaten in der Zone, die dem Fahrzeug entspricht.
Verfahren nach Anspruch 1, wobei das Verfahren ferner das Bestimmen von einer oder mehrerer Begrenzungsboxen umfasst, die den Bremslichtern des Fahrzeugs in der Zone, die dem Fahrzeug entspricht, entsprechen.
Verfahren nach Anspruch 2, wobei eines oder mehrere von: Bestimmen der einen oder mehreren Begrenzungsboxen das Extrahieren von Konturen in der Zone, die dem Fahrzeug entspricht, und das Auswählen von Konturen mit einer Form oder Größe umfasst, die einer Bremslichtform oder -größe entspricht; Klassifizieren des Bremslichtes das Klassifizieren basierend auf Bilddaten umfasst, die der einen oder den mehreren Begrenzungsboxen entsprechen; oder Bestimmen der einen oder mehreren Begrenzungsboxen, die den Bremslichtern entsprechen, das Bestimmen basierend auf Bilddaten in einem Farbton-, Sättigungs- und Wertformat (HSV) für den Tagmodus und basierend auf Bilddaten in einem Lichtstärke-, A-Kanal- und B-Kanalformat (LAB) für den Nachtmodus umfassen.
Verfahren nach Anspruch 1, wobei Klassifizieren eines Bremslichtes des Fahrzeugs als an oder aus das Klassifizieren unter Verwendung eines neuralen Netzes umfasst.
Verfahren nach Anspruch 1, wobei Erkennen der Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in dem Nachtmodus, Folgendes umfasst: Identifizieren eines Clusters von Punkten in den Bereichsdaten, die dem Fahrzeug entsprechen; und Abbilden einer Begrenzungsbox des Clusters von Punkten auf einen entsprechenden Bildrahmen.
Verfahren nach Anspruch 1, wobei die Bereichsdaten in dem Nachtmodus eine oder mehrere von Radardaten, Ultraschalldaten und Lichtbereichs- und Erkennungsdaten (LIDAR) umfassen.
System, umfassend: eine Moduskomponente, die konfiguriert ist zum Auswählen eines Nachtmodus oder Tagmodus basierend auf einer Pixelhelligkeit in einem Bildrahmen; eine Fahrzeugzonenkomponente, die konfiguriert ist zum Erkennen einer Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in einem Nachtmodus oder basierend auf Kamerabilddaten, wenn in dem Tagmodus; und eine Klassifizierungskomponente, die konfiguriert ist zum Klassifizieren eines Bremslichtes des Fahrzeugs als an oder aus basierend auf Bilddaten in der Zone, die dem Fahrzeug entspricht.
System nach Anspruch 7, ferner umfassend eine Bremslichtzonenkomponente, die konfiguriert ist zum Bestimmen von einer oder mehreren Begrenzungsboxen, die den Bremslichtern des Fahrzeugs in der Zone, die dem Fahrzeug entspricht, entsprechen.
System nach Anspruch 8, wobei eine oder mehrere von: der Bremslichtzonenkomponente konfiguriert ist zum Bestimmen der einen oder mehreren Begrenzungsboxen durch das Extrahieren von Konturen in der Zone, die dem Fahrzeug entspricht, und das Auswählen von Konturen mit einer Form oder Größe, die einer Bremslichtform oder -größe entspricht; der Klassifizierungskomponente konfiguriert ist zum Klassifizieren des Bremslichtes als an oder aus durch das Klassifizieren basierend auf Bilddaten, die der einen oder den mehreren Begrenzungsboxen entsprechen; oder der Bremslichtzonenkomponente konfiguriert ist zum Bestimmen der einen oder mehreren Begrenzungsboxen, die den Bremslichtern entsprechen, basierend auf Bilddaten in einem Farbton-, Sättigungs- und Wertformat (HSV) für den Tagmodus und basierend auf Bilddaten in einem Lab-Format für den Nachtmodus.
System nach Anspruch 7, wobei die Klassifizierungskomponente konfiguriert ist zum Klassifizieren des Bremslichtes des Fahrzeugs als an oder aus unter Verwendung eines neuralen Netzes.
System nach Anspruch 7, wobei die Fahrzeugzonenkomponente, die die Zone erkennt, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in dem Nachtmodus, Folgendes umfasst: Identifizieren eines Clusters von Punkten in den Bereichsdaten, die dem Fahrzeug entsprechen; und Abbilden einer Begrenzungsbox des Clusters von Punkten auf einen entsprechenden Bildrahmen.
Computerlesbares Speichermedium, das Anweisungen speichert, die, wenn von einem oder mehreren Prozessoren ausgeführt, den einen oder die mehreren Prozessoren dazu veranlassen: einen Nachtmodus oder Tagmodus basierend auf einer Pixelhelligkeit in einem Bildrahmen auszuwählen; eine Zone, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in einem Nachtmodus oder basierend auf Kamerabilddaten, wenn in dem Tagmodus zu erkennen; und ein Bremslicht des Fahrzeugs als an oder aus basierend auf Bilddaten in der Zone, die dem Fahrzeug entspricht, zu klassifizieren.
Computerlesbares Speichermedium nach Anspruch 12, ferner umfassend Anweisungen, die den einen oder die mehreren Prozessoren dazu veranlassen, eine oder mehrere Begrenzungsboxen zu bestimmen, die Bremslichtern des Fahrzeugs in der Zone entsprechen, die dem Fahrzeug entspricht, wobei die Anweisungen den einen oder die mehreren Prozessoren dazu veranlassen, die eine oder mehreren Begrenzungsboxen durch Folgendes zu bestimmen: Extrahieren von Konturen in der Zone, die dem Fahrzeug entspricht; und Auswählen von Konturen mit einer Form oder Größe, die einer Bremslichtform oder -größe entspricht; wobei die Anweisungen den einen oder die mehreren Prozessoren dazu veranlassen, das Bremslicht basierend auf Bilddaten zu klassifizieren, die der einen oder den mehreren Begrenzungsboxen entsprechen.
Computerlesbares Speichermedium nach Anspruch 12, wobei die Anweisungen den einen oder die mehreren Prozessoren dazu veranlassen, das Bremslicht des Fahrzeugs unter Verwendung eines neuralen Netzes als an oder aus zu klassifizieren.
Computerlesbares Speichermedium nach Anspruch 12, wobei die Fahrzeugzonenkomponente, die die Zone erkennt, die einem Fahrzeug entspricht, basierend auf Daten von einem Abstandssensor, wenn in dem Nachtmodus, Folgendes umfasst: Identifizieren eines Clusters von Punkten in den Bereichsdaten, die dem Fahrzeug entsprechen; und Abbilden einer Begrenzungsbox des Clusters von Punkten auf einen entsprechenden Bildrahmen.