DE102018125801A1

DE102018125801A1 - Videokalibrierung

Info

Publication number: DE102018125801A1
Application number: DE102018125801.1A
Authority: DE
Inventors: David Michael Herman
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2017-10-19
Filing date: 2018-10-17
Publication date: 2019-04-25
Also published as: CN109685722A; US20190124232A1; US10635116B2

Abstract

Ein System, beinhaltend einen Prozessor in einem Fahrzeug und einen Speicher, wobei der Speicher Anweisungen zur Ausführung durch den Prozessor beinhaltet, um ein Farbbild zu erfassen, wobei ein Abschnitt des Farbbilds ein Farbkalibrierungsmuster beinhaltet, und das Fahrzeug basierend auf dem Bestimmen eines beleuchtungsinvarianten Bildes basierend auf Transformparametern αund αund einem Farbbild basierend auf dem Farbkalibrierungsmuster zu betreiben.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft Fahrzeuge mit autonomem und halbautonomem Fahrzeugbetrieb und insbesondere ein Verfahren der Videokalibrierung eines während des Fahrzeugbetriebs erfassten Bildes.
STAND DER TECHNIK
Fahrzeuge können ausgerüstet sein, um sowohl in einem autonomen als auch einem insassengeführten Modus betrieben zu werden. Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgerüstet sein, um Informationen in Bezug auf die Umgebung des Fahrzeugs zu erfassen und das Fahrzeug basierend auf den Informationen zu betreiben. Das sichere und korrekte Betreiben des Fahrzeugs kann davon abhängen, dass korrekte und zeitnahe Informationen in Bezug auf die Umgebung des Fahrzeugs erfasst werden. Rechenvorrichtungen, Netzwerke, Sensoren und Steuerungen können dazu ausgerüstet sein, ihre Leistung zu analysieren, zu detektieren, wann Informationen nicht korrekt und zeitnah erfasst werden, und Korrekturmaßnahmen zu ergreifen, einschließlich Informieren eines Insassen des Fahrzeugs, Aufgeben der autonomen Steuerung oder Parken des Fahrzeugs. Es ist jedoch ein Problem, sicherzustellen, dass empfangene Sensordaten korrekt und zuverlässig für den Fahrzeugbetrieb sind. Beispielsweise können Bildsensoren Bilddaten erfassen, doch wenn ein Fahrzeugcomputer eine Farbe oder Farben, die in dem Bild dargestellt sind, nicht korrekt bestimmen kann, ist die Fähigkeit des Fahrzeugcomputers, eine oder mehrere Fahrzeugkomponenten sicher und effizient zu betreiben und/oder das Fahrzeug in einem vollautonomen Modus zu betreiben, beeinträchtigt.
KURZDARSTELLUNG
Fahrzeuge können ausgerüstet sein, um sowohl in einem autonomen als auch in einem insassenbetriebenen Modus betrieben zu werden. Unter einem halb- oder vollautonomen Modus verstehen wir einen Betriebsmodus, bei dem ein Fahrzeug von einer Rechenvorrichtung als Teil eines Fahrzeuginformationssystems mit Sensoren und Steuerungen betrieben werden kann. Das Fahrzeug kann besetzt oder unbesetzt sein, doch in jedem Fall kann das Fahrzeug ohne Hilfe eines Insassen betrieben werden. Zu Zwecken dieser Offenbarung wird ein autonomer Modus als ein Modus definiert, bei dem jeder(s) von Fahrzeugantrieb (z. B. mittels eines Antriebstrangs einschließlich eines Verbrennungsmotors und/oder Elektromotors), Bremsen und Lenken von einem oder mehreren Fahrzeugcomputern gesteuert werden; in einem halbautonomen Modus steuert/steuern der/die Fahrzeugcomputer ein oder zwei von Fahrzeugantrieb, Bremsen und Lenken. Bei einem nichtautonomen Fahrzeug wird keines von diesen von einem Computer gesteuert.
Es wird ein Verfahren in einem Fahrzeug offenbart, welches das Erfassen eines Farbbilds, das einen Abschnitt aufweist, der ein Farbkalibrierungsmuster beinhaltet, und das Betätigen einer Navigation des Fahrzeugs basierend auf dem Bestimmen eines beleuchtungsinvarianten Bilds basierend auf Transformparametern α_v und α_r und einem farbkorrigierten Farbbild basierend auf dem Farbkalibrierungsmuster beinhaltet. Das auf dem Farbkalibrierungsmuster basierende farbkorrigierte Farbbild beinhaltet das Verwenden von Werten im Farbkalibrierungsmuster in einer Reihe linearer Gleichungen, die gelöst werden, um Transformparameter zu bilden, um das Farbbild zu farbkorrigieren. Das Bestimmen eines beleuchtungsinvarianten Bilds basierend auf Transformparametern α_v und α_r kann je nach Segmentationsklassifizierung separat durchgeführt werden. Das Lösen der Reihe linearer Gleichungen für Transformparameter zum Farbkorrigieren des Farbbilds kann durchgeführt werden, um dieselben Rotgrünblauwerte wie ein bei vollem Sonnenlicht im Zenit erfasstes Farbbild zu erhalten. Das Farbkalibrierungsmuster kann eine Vielzahl von Farben mit einer Vielzahl von Intensitäten beinhalten.
Die Vielzahl von Farben kann eine oder mehrere Farbgruppen beinhalten, die einen Farbraum umspannen, der Farben im sichtbaren und nichtsichtbaren Spektrum einschließlich NIR (Nahinfrarot) beinhaltet. Die Farbgruppen, die den Farbraum umspannen, beinhalten Rot, Grün und Blau. Das Bestimmen, ob ein RGB-Pixel des Farbbilds mit Transformparameter α_v oder Transformparameter α_r transformiert werden soll, kann davon abhängen, ob das RGB-Pixel als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert wird. Das RGB-Pixel kann basierend auf dem Segmentieren des Farbbilds durch ein trainiertes Convolutional Neural Network als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert werden. Das RGB-Pixel kann basierend auf dem farbkorrigierten Farbbild als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert werden. Das Convolutional Neural Network kann durch Rückausbreitung trainiert werden. Die Rückausbreitung kann auf manuell klassifizierten Farbbildern basieren. Das Betätigen einer Navigation kann das Bestimmen eines Fahrwegs für das Fahrzeug basierend auf dem beleuchtungsinvarianten Bild beinhalten. Das Betätigen einer Navigation kann das Bestimmen von Befehlen an Steuerungen zum Steuern von Fahrzeugbremsen, Lenkung und Antriebsstrang zum Betreiben des Fahrzeugs auf dem Fahrweg beinhalten.
Ferner ist ein computerlesbares Medium offenbart, das Programmanweisungen zum Ausführen einiger oder aller der obigen Verfahrensschritte speichert. Ferner ist ein Computer offenbart, der zum Ausführen einiger oder aller der obigen Verfahrensschritte programmiert ist, einschließlich einer Computervorrichtung, die dazu programmiert ist, ein Farbbild zu erfassen, das einen Abschnitt aufweist, der ein Farbkalibrierungsmuster beinhaltet, und basierend auf dem Bestimmen eines beleuchtungsinvarianten Bildes basierend auf Transformparametern α_v und α_r und einem farbkorrigierten Farbbild basierend auf dem Farbkalibrierungsmuster eine Navigation des Fahrzeugs zu betätigen. Das auf dem Farbkalibrierungsmuster basierende farbkorrigierte Farbbild beinhaltet das Verwenden von Werten im Farbkalibrierungsmuster in einer Reihe linearer Gleichungen, die gelöst werden, um Transformparameter zu bilden, um das Farbbild zu farbkorrigieren. Der Computer kann ferner dazu programmiert sein, ein beleuchtungsinvariantes Bild basierend auf Transformparametern α_v und α_r zu bestimmen, was je nach Segmentationsklassifizierung separat durchgeführt werden kann. Der Computer kann ferner dazu programmiert sein, die Reihe linearer Gleichungen für Transformparameter zum Farbkorrigieren des Farbbilds zu lösen, was durchgeführt werden kann, um dieselben Rotgrünblauwerte wie ein bei vollem Sonnenlicht im Zenit erfasstes Farbbild zu erhalten. Das Farbkalibrierungsmuster kann eine Vielzahl von Farben mit einer Vielzahl von Intensitäten beinhalten.
Die Vielzahl von Farben kann eine oder mehrere Farbgruppen beinhalten, die einen Farbraum umspannen, der Farben im sichtbaren und nichtsichtbaren Spektrum einschließlich NIR (Nahinfrarot) beinhaltet. Die Farbgruppen, die den Farbraum umspannen, beinhalten Rot, Grün und Blau. Der Computer kann ferner dazu programmiert sein, zu bestimmen, ob ein RGB-Pixel des Farbbilds mit Transformparameter α_v oder Transformparameter α_r transformiert werden soll, was davon abhängen kann, ob das RGB-Pixel als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert wird. Das RGB-Pixel kann basierend auf dem Segmentieren des Farbbilds durch ein trainiertes Convolutional Neural Network als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert werden. Das RGB-Pixel kann basierend auf dem farbkorrigierten Farbbild als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert werden. Das Convolutional Neural Network kann durch Rückausbreitung trainiert werden. Die Rückausbreitung kann auf manuell klassifizierten Farbbildern basieren. Das Betätigen einer Navigation kann das Bestimmen eines Fahrwegs für das Fahrzeug basierend auf dem beleuchtungsinvarianten Bild beinhalten. Das Betätigen einer Navigation kann das Bestimmen von Befehlen an Steuerungen zum Steuern von Fahrzeugbremsen, Lenkung und Antriebsstrang zum Betreiben des Fahrzeugs auf dem Fahrweg beinhalten.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Fahrzeugs.
2 ist ein Schaubild eines beispielhaften Abschnitts eines Fahrzeugs mit einem Sensorgehäuse, das zwei Videokameras aufweist.
3 ist ein Schaubild eines beispielhaften Sensorgehäuses mit zwei Videokameras.
4 ist ein Schaubild eines beispielhaften Videobilds.
5 ist ein Schaubild eines beispielhaften Farbziels.
6 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Betreiben eines Fahrzeugs basierend auf transformierten Bilddaten.

DETAILLIERTE BESCHREIBUNG
1 ist ein Schaubild eines Fahrzeuginformationssystems 100, das ein Fahrzeug 110 beinhaltet, das in einem autonomen („autonom“ für sich bedeutet in dieser Offenbarung „vollautonom“) und in einem insassenbetriebenen (auch als nichtautonom bezeichneten) Modus betrieben werden kann. Das Fahrzeug 110 beinhaltet auch eine oder mehrere Rechenvorrichtungen 115 zum Ausführen von Programmanweisungen zum Betreiben des Fahrzeugs 110 während des autonomen und halbautonomen Betriebs und/oder zum Bereitstellen von Informationen, z. B. zur Anzeige gegenüber einem Insassen, während eines beliebigen Betriebsmodus. Die Rechenvorrichtungen 115 können Informationen in Bezug auf den Betrieb des Fahrzeugs von Sensoren 116 empfangen.
Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Formen von computerlesbaren Medien und speichert Anweisungen, die durch den Prozessor ausführbar sind, um verschiedene Vorgänge durchzuführen, einschließlich den hierin offenbarten. Beispielsweise kann die Rechenvorrichtung 115 Programmierung beinhalten, um ein oder mehrere von Fahrzeugbremsen, Antrieb (z. B. Beschleunigungssteuerung im Fahrzeug 110 durch Steuern eines oder mehrerer von einem Verbrennungsmotor, Elektromotor, Verbrennungsmotor/Elektro-Hybridantriebsstrang usw.), Lenkung, Klimaanlage, Innen- und/oder Außenbeleuchtung usw. zu steuern, sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 anstelle eines menschlichen Betreibers derartige Vorgänge steuern soll.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die im Fahrzeug 110 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten beinhaltet sind, z. B. eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113, eine Lenksteuerung 114 usw., beinhalten oder kommunikativ daran gekoppelt sein, z. B. über ein Fahrzeugkommunikationsnetz wie beispielsweise einen Fahrzeugkommunikationsbus, wie unten genauer beschrieben. Die Rechenvorrichtung 115 ist allgemein für Kommunikationen auf einem Fahrzeugkommunikationsnetz, z. B. einschließlich eines Busses im Fahrzeug 110, wie zum Beispiel einem Controller Area Network (CAN) oder dergleichen, angeordnet; das Netz des Fahrzeugs 110 kann zusätzlich oder alternativ drahtgebundene oder drahtlose Kommunikationsmechanismen beinhalten, wie sie bekannt sind, z. B. Ethernet oder andere Kommunikationsprotokolle.
Über das Fahrzeugnetz kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen im Fahrzeug übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. Steuerungen, Aktuatoren, Sensoren usw., einschließlich Sensoren 116. Alternativ oder zusätzlich dazu kann, in Fällen, bei denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetz für Kommunikationen zwischen Vorrichtungen benutzt werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie unten erwähnt, verschiedene Steuerungen oder Sensorelemente wie die Sensoren 116 der Rechenvorrichtung 115 über das Fahrzeugkommunikationsnetz Daten bereitstellen.
Zudem kann die Rechenvorrichtung 115 zur Kommunikation über eine Fahrzeug-zu-Infrastruktur(V-to-I)-Schnittstelle 111 mit einem Fernservercomputer 120 konfiguriert sein, z. B. einem Cloud-Server, über ein Netzwerk 130, das wie unten beschrieben verschiedene drahtgebundene und/oder drahtlose Netzwerktechnologien nutzen kann, z. B. zelluläre, BLUETOOTH® und drahtgebundene und/oder drahtlose Paketnetzwerke. Die Rechenvorrichtung 115 kann zur Kommunikation mit anderen Fahrzeugen 110 über eine V-to-I-Schnittstelle 111 mittels Fahrzeug-zu-Fahrzeug(V-to-V)-Vernetzung konfiguriert sein, die auf ad-hoc-Basis unter sich in der Nähe befindenden Fahrzeugen 110 gebildet werden oder durch infrastrukturbasierte Netzwerke gebildet werden. Die Rechenvorrichtung 115 beinhaltet auch nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Informationen protokollieren, indem die Informationen im nichtflüchtigen Speicher für späteres Abrufen und Übertragen über das Fahrzeugkommunikationsnetz und eine Fahrzeug-zu-Infrastruktur(V-to-I)-Schnittstelle 111 an einen Servercomputer 120 oder eine mobile Benutzervorrichtung 160 gespeichert werden.
Wie bereits erwähnt beinhalten die im Speicher gespeicherten und von dem Prozessor der Rechenvorrichtung 115 ausgeführten Anweisungen allgemein Programmierung zum Betreiben eines oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsen, Lenken, Antrieb usw., ohne Eingriff eines menschlichen Betreibers. Mittels Daten, die in der Rechenvorrichtung 115 empfangen werden, z. B. den Sensordaten von den Sensoren 116, dem Servercomputer 120 usw., kann die Rechenvorrichtung 115 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern, ohne dass ein Fahrer das Fahrzeug 110 betreibt. Beispielsweise kann die Rechenvorrichtung 115 Programmierung zum Regeln des Betriebsverhaltens, wie zum Beispiel Geschwindigkeit, Beschleunigung, Verlangsamung, Lenkung usw., und des taktischen Verhaltens des Fahrzeugs 110 beinhalten, wie zum Beispiel einen Abstand zwischen Fahrzeugen und/oder den Zeitraum zwischen Fahrzeugen, Spurwechsel, Minimalabstand zwischen Fahrzeugen, minimaler Linksabbiegeweg, Zeit bis zur Ankunft an einem bestimmten Ort und Mindestzeit zur Überquerung einer Kreuzung (ohne Ampel).
Steuerungen in dem Sinne, wie der Begriff hier benutzt wird, beinhalten Rechenvorrichtungen, die typischerweise zum Steuern eines bestimmten Fahrzeugteilsystems programmiert sind. Zu Beispielen zählen eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Eine Steuerung kann eine elektronische Steuereinheit (ECU), wie sie bekannt ist, sein, eventuell einschließlich zusätzlicher Programmierung wie hierin beschrieben. Die Steuerungen können kommunikativ an die Rechenvorrichtung 115 gekoppelt sein und von dieser Anweisungen empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Beispielsweise kann die Bremssteuerung 113 Anweisungen von der Rechenvorrichtung 115 empfangen, um die Bremsen des Fahrzeugs 110 zu betreiben.
Die eine oder mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECU) oder Ähnliches beinhalten, einschließlich, als nicht einschränkende Beispiele, eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114. Jede der Steuerungen 112, 113, 114 kann jeweils Prozessoren und Speicher und einen oder mehrere Aktuatoren beinhalten. Die Steuerungen 112, 113, 114 können programmiert und mit einem Kommunikationsbus des Fahrzeugs 110 verbunden sein, wie zum Beispiel einem Controller Area Network (CAN)-Bus und/oder einem Local Interconnect Network (LIN)-Bus, um Anweisungen von dem Computer 115 zu empfangen und Aktuatoren basierend auf den Anweisungen zu steuern.
Sensoren 116 können eine Vielzahl von Vorrichtungen beinhalten, die dafür bekannt sind, Daten über den Fahrzeugkommunikationsbus bereitzustellen. Beispielsweise kann ein an einer vorderen Stoßstange (nicht gezeigt) des Fahrzeugs 110 befestigter Radar einen Abstand vom Fahrzeug 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen, oder ein globaler Positionierungssystem(GPS)-Sensor, der im Fahrzeug 110 angeordnet ist, kann geografische Koordinaten des Fahrzeugs 110 bereitstellen. Der/die von dem Radar und/oder anderen Sensoren 116 bereitgestellte(n) Abstand/Abstände und/oder die vom GPS-Sensor bereitgestellten geografischen Koordinaten können von der Rechenvorrichtung 115 dazu benutzt werden, das Fahrzeug 110 autonom oder halbautonom zu betreiben.
Das Fahrzeug 110 ist allgemein ein autonomes Landfahrzeug 110 mit drei oder mehr Rädern, z. B. ein Personenkraftwagen, Lieferwagen usw. Das Fahrzeug 110 beinhaltet ein oder mehrere Sensoren 117, die V-zu-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114.
Die Sensoren 116 können dazu programmiert sein, Daten in Bezug auf das Fahrzeug 110 und die Umgebung, in der das Fahrzeug 110 betrieben wird, zu erfassen. Beispielsweise, ohne darauf beschränkt zu sein, können die Sensoren 116 zum Beispiel Höhenmesser, Kameras, LIDAR, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hallsensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren wie Schalter usw. beinhalten. Die Sensoren 116 können dazu benutzt werden, die Umgebung zu erkennen, in der das Fahrzeug 110 betrieben wird, z. B. können Sensoren 116 Phänomene wie Wetterverhältnisse (Niederschlag, äußere Umgebungstemperatur usw.), die Neigung einer Straße, den Standort einer Straße (z. B. unter Verwendung von Straßenrändern, Fahrstreifenmarkierungen usw.) oder Standorte von Zielobjekten wie etwa benachbarter Fahrzeug 110 erkennen. Die Sensoren 116 können ferner dazu benutzt werden, Daten zu erfassen, einschließlich dynamischer Daten des Fahrzeugs 110 in Bezug auf Vorgänge des Fahrzeugs 110, wie etwa Geschwindigkeit, Gierrate, Lenkwinkel, Motordrehzahl, Bremsdruck, Öldruck, den auf die Steuerungen 112, 113, 114 im Fahrzeug 110 angewendeten Leistungspegel, Konnektivität zwischen Komponenten und korrekte und zeitnahe Funktion von Komponenten des Fahrzeugs 110.
2 ist ein Schaubild eines Abschnitts eines Fahrzeugs 110 in einer Röntgen- (d. h. Schnittbild-) Ansicht einschließlich einer Windschutzscheibe 202. An der Windschutzscheibe 202 ist ein Sensorgehäuse 204 befestigt. Das Sensorgehäuse 204 kann an einer Innenfläche der Windschutzscheibe 202 befestigt sein und in diesem Beispiel beinhaltet es zwei Videokameras 206, 208. Das Sensorgehäuse 204 kann auch beispielsweise eine Videokamera 206, einen Radarsensor 116 oder einen LIDAR-Sensor 116 beinhalten. Die Videokameras 206, 208 können durch in das Sensorgehäuse 204 eingeformte Aussparungsbereiche 210, 212 so montiert sein, dass sie durch die Windschutzscheibe 202 nach vorne sehen. In diesem Beispiel ist das Sensorgehäuse 204 an einem oberen, mittleren Abschnitt der Windschutzscheibe 202 angeordnet und stellt Videokameras 206, 208 mit nach vorn gerichteten Sichtfeldern bereit, ohne die Sicht möglicher Insassen des Fahrzeugs 110 zu behindern. In anderen Beispielen kann das Sensorgehäuse 204 Sensoren 116 mit rückwärts gerichteten oder seitlich gerichteten Sichtfeldern bereitstellen, indem das Sensorgehäuse in verschiedenen Ausrichtungen and verschiedenen Stellen in und am Fahrzeug 110 montiert wird. Das Sensorgehäuse 204 kann in einen gläsernen oder durchsichtigen Kunststoffabschnitt des Fahrzeugs 110 eingegliedert sein, wie etwa Fenster oder Scheinwerferbaugruppen, oder in durchsichtige Abschnitte von Seitenholmen, Seitenspiegeln oder anderen Abschnitten des Fahrzeugs 110 eingebaut sein, die zu diesem Zweck durchsichtig gestaltet sind.
In vielen Beispielen kann das Sensorgehäuse 204 eine durchsichtige Glas- oder Kunststoffabdeckung beinhalten, welche die Sensoren 116 vor der Umgebung schützt und die gereinigt werden kann, um ein klares Sichtfeld bereitzustellen. Das Sensorgehäuse 204 kann beispielsweise mit oder ohne Aussparungsbereiche 210, 212 ausgelegt sein. In Beispielen, bei denen das Sensorgehäuse 204 Aussparungsbereiche 210, 212 beinhaltet, können Farbkalibrierungsmuster 214, 216 auf die Aussparungsbereiche 210, 212 aufgebracht sein. Ein Aussparungsbereich 210, 212 ist ein Abschnitt eines Sensorgehäuses 204, der frei von nichtdurchsichtigem Material ist, um einem Sensor wie etwa einer Videokamera 206, 208, die in dem Sensorgehäuse 204 montiert ist, zumindest ein teilweise klares Sichtfeld einer Szene außerhalb des Fahrzeugs 110 zu geben. Die Videokameras 206, 208 können so ausgelegt sein, dass sie Sichtfelder aufweisen, die Abschnitte sowohl der äußeren Szene als auch Aussparungsbereiche 210, 212 beinhalten. Die Aussparungsbereiche 210, 212 können Farbkalibrierungsmuster 214, 216 aufweisen, die auf der Fläche der Aussparungsbereiche 210, 212 aufgebracht sind, damit sie jeweils in einem mittleren unteren Abschnitt der Sichtfelder der Videokameras 206, 208 sichtbar sind.
In Beispielen, bei denen das Sensorgehäuse 204 keine Aussparungsbereiche 210, 212 beinhaltet, oder unzureichende Abschnitte der Aussparungsbereiche 210, 212 im Sichtfeld der Videokameras 206, 208 sichtbar sind, können die Farbkalibrierungsmuster 214, 216 auf der Innenfläche der durchsichtigen Abdeckung aufgebracht sein. Die Rückseite der Farbkalibrierungsmuster 214, 216 kann undurchsichtig gestaltet sein, damit eine Ansicht des Musters von außen blockiert wird. Die Rückseite kann beispielsweise schwarz oder in einer beliebigen anderen Farbe gestaltet sein, um sich den Karosserieblechen oder dem getönten Glas oder Kunststoff des Fahrzeugs 110 optisch anzugleichen. Die Farbkalibrierungsmuster 214, 216 können an einer beliebigen Stelle im Sichtfeld der Videokameras 206, 208 vorkommen. Beispielsweise können die Farbkalibrierungsmuster 214, 216 auf einer Innenfläche der Windschutzscheibe 202 im Sichtfeld der Videokameras 206, 208 aufgebracht sein.
Die Kenntnis, wie und wo die Farbkalibrierungsmuster 214, 216 in Bezug auf das Sichtfeld positioniert sind, d. h. Standort und Stellung, zusammen mit der Brennweite des Objektivs, erlaubt es, die Farbkalibrierungsmuster 214, basierend auf den von den Videokameras 206, 208 produzierten geometrischen Transformationen zu verzerren, um eine gewünschte Form und Größe in den ausgegebenen Videobilddaten bereitzustellen. Beispielsweise können die Farbkalibrierungsmuster 214, 216 verzerrt sein, um wie abgebildet Trapezoide zu bilden. Bei Aufbringung auf die Aussparungsbereiche 210, 212 und Abbildung durch die Videokameras 206, 208 erscheinen die Farbkalibrierungsmuster rechteckig, wie in 5 gezeigt. Unter Verwendung der Kenntnis der geometrischen Transformation, die Formen basierend auf ihrem Standort und ihrer Stellung im Sichtfeld erfahren, können die Farbkalibrierungsmuster 214, 216 in derart geformt werden, dass sie Schriftzeichen, Wörter oder Produktlogos bilden, die bei Abbildung durch die Videokameras 206, 208 lesbar sind, wenn sie von einem Insassen in Videodaten gesichtet werden.
Im Sensorgehäuse 204 ist auch eine Regen-/Sonnenlichtsensorbaugruppe 218 beinhaltet, die so montiert ist, dass sie nach oben durch die Windschutzscheibe 202 sieht. Die Regen-/Sonnenlichtsensorbaugruppe 218 kann fotosensitive elektronische Komponenten beinhalten, welche die Spektralintensität von Umgebungslicht messen und die Reflexion emittierten Infrarotlichts messen, um beispielsweise eine Menge von Regen auf der Windschutzscheibe 202 zu bestimmen. Ein Rückspiegel 220 kann durch einen Rückspiegel-Pylon 222 am Sensorgehäuse 204 befestigt sein. Dieses Beispiel zeigt zwei Farbkalibrierungsmuster 214, 216 und zwei Farbvideokameras 206, 208, doch die hierin erläuterten Techniken können eine Videokamera 206 oder mehr als zwei Videokameras 206, 208 einsetzen.
3 ist ein Schaubild eines Sensorgehäuses 304, das an einer Innenfläche einer Windschutzscheibe 302 mit einem Klebemittel 306 befestigt ist. Wie oben in Bezug auf 2 erläutert, kann das Sensorgehäuse 304 in andere Abschnitte des Fahrzeugs 110 eingegliedert sein, wie etwa beispielsweise Seitenholme, Seitenspiegelgehäuse, Scheinwerferbaugruppen. Das Sensorgehäuse 304 kann durch den Rückspiegel-Pylon 310 an dem Rückspiegel 308 befestigt sein. Das Sensorgehäuse 304 beinhaltet zwei Aussparungsbereiche 312, 314, die es den Videokameras 316, 318 erlauben, in eine Vorwärtsrichtung durch die Windschutzscheibe 302 zu sehen. In den Aussparungsbereichen 312, 314 sind Farbkalibrierungsmuster 320, 322 beinhaltet, die in einem mittleren, unteren Abschnitt der Sichtfelder der Videokameras 316, 314 sichtbar sind. Zudem ist im Sensorgehäuse 304 eine Regen-/Sonnenlichtsensorbaugruppe 324 beinhaltet, die so montiert ist, dass sie durch die Windschutzscheibe 302 nach oben sieht.
4 ist ein Schaubild eines Farbvideobilds 400, als schwarzweiße Strichzeichnung wiedergegeben, das von einer Videokamera 206, 208, 316, 314 in einem Sensorgehäuse 204, 304 erfasst wird. Sichtbar im unteren Abschnitt des Farbvideobilds 400 ist ein Aussparungsbereich 402 und in einem mittleren, unteren Abschnitt des Aussparungsbereichs 402 ist ein Bild eines Farbkalibrierungsmusters 404. Es sei darauf hingewiesen, dass das Bild des Farbkalibrierungsmusters 404 im Farbvideobild 400 rechteckig erscheint. Das Bild des Farbkalibrierungsmusters 404 erscheint rechteckig, weil die Farbkalibrierungsmuster 214, 216, 312, 314 als Trapezoide geformt sind, um die Verkürzung auszugleichen, die dadurch verursacht wird, dass das Videokameraobjektiv die Farbkalibrierungsmuster 214, 216, 320, 322 auf den Farbbildsensor in der Videokamera 316, 314 projiziert, um das Bild des Farbkalibrierungsmusters 404 zu erstellen. Auf dieselbe Art können alphanumerische Zeichen oder Bilder einschließlich Fahrzeugherstellerlogos in das Farbkalibrierungsmuster 214, 216, 320, 322 aufgenommen werden und beispielsweise im Farbvideobild 400 lesbar sein.
5 ist ein Schaubild eines beispielhaften Farbkalibrierungsmusters 500, das in einer Halbtongraustufen wiedergegeben ist. Das Farbkalibrierungsmuster 500 ist eine Halbtonwiedergabe einer Graustufendarstellung (weil Patentzeichnungen auf Schwarzweiß beschränkt sind) einer 4 x 6-Anordnung von Farbfeldern 502, von denen jedes in einer Musterfarbe einer von einer Vielzahl von Farben gefärbt ist, die die Palette von Farbtönen und Sättigungen erfassen, die von Menschen und Farbvideokameras wahrnehmbar sind. Nahinfrarot(NIR)-Videokameras, die Nahinfrarotfrequenzen von Licht abbilden, die normalerweise für Menschen nicht sichtbar sind, können zusätzlich zu Farbvideokameras benutzt werden, um die Palette an zur Kalibrierung verfügbaren Farben zu vergrößern. Beispielsweise können die Farbfelder 502 Primärfarbfelder beinhalten, die zwei separate Kodierungen darstellen (Rot-Grün-Blau und Gelb-Cyan-Magenta), die den für Menschen sichtbaren Farbbereich umspannen. Die Farbfelder 502 können auch Felder beinhalten, die Sekundärfarben oder Kombinationen der Primärfarben darstellen, wie etwa Orange, Blaugrün und Violett, sowie verschiedene Sättigungen der Primär- und Sekundärfarben wie etwa Hellgrün, Hellorange, Hellblau, Rosa, Braun und Lila, und Graustufenschattierungen, einschließlich Weiß, Grautöne und Schwarz. Einen Farbraum umspannen bezeichnet die Fähigkeit, eine beliebige Farbe im Farbraum darzustellen, indem die Farben im Farbraum im richtigen Verhältnis kombiniert werden. Sowohl Rot-Grün-Blau als auch Gelb-Cyan-Magenta haben diese Eigenschaft.
Die Rechenvorrichtung 115 kann ein Farbvideobild erfassen, dass ein Farbkalibrierungsmuster 500 beinhaltet, und das Farbkalibrierungsmuster 500 verarbeiten, um Transformparameter zu bestimmen, die Eingabefarbvideodaten erst in farbkorrigierte Videodaten und dann in monochrome beleuchtungsinvariante Videodaten zur Eingabe transformieren können, um eine Navigation für Fahrzeug 110 zu betätigen. Die farbkorrigierten Videodaten können auch durch einen Farbvideosegmentierungsprozess wiederverarbeitet werden, um die Farbvideodaten wieder zu segmentieren. Das Wiedersegmentieren von Farbvideodaten mit farbkorrigierten Videodaten kann beispielsweise genauer sein als das Segmentieren von nichtkorrigierten Farbvideodaten. Die farbkorrigierten Videodaten können auch in andere Navigationsaufgaben eingegeben werden, die von der Rechenvorrichtung 115 durchgeführt werden. Beispielsweise kann das Erkennen von Ampeln nach Farbe unter Verwendung farbkorrigierter Videodaten genauer sein.
Betätigen einer Navigation für Fahrzeug 110 bedeutet, beleuchtungsinvariante Videodaten oder farbkorrigierte Videodaten Prozessen bereitzustellen, die auf der Rechenvorrichtung 115 ausgeführt werden, die der Rechenvorrichtung 115 erlauben, Befehle zu bestimmen, die an Steuerungen 112, 113, 114 zu senden sind, um Lenken, Bremsen und den Antriebsstrang des Fahrzeugs 110 zu steuern, welche die Bewegung des Fahrzeugs 110 auf sichere und komfortable Weise steuern, um ein Ziel zu erreichen. Navigation, welche die Bewegung eines Fahrzeugs 110 auf sichere und komfortable Weise zum Erreichen eines Ziels steuert, beinhaltet das Bestimmen anderer Fahrzeuge und Verkehrsobjekte, wie etwa Brücken, Geländer, Schranken und Schilder usw., das Bestimmen einer Straße und eines Standorts des Fahrzeugs 110 in Bezug auf die Straße und andere Fahrzeuge und Verkehrsobjekte und das Bestimmen einer Fahrstrecke auf der Straße, um einen vorbestimmten Zielort zu erreichen, während andere Fahrzeuge und Verkehrsobjekte umfahren und Querbeschleunigung sowie Längsbeschleunigung innerhalb vorbestimmter Grenzen gehalten werden.
Die Rechenvorrichtung 115 kann „Ground Truth“-Daten in Bezug auf die Beleuchtungsbedingungen um das Fahrzeug bestimmen. Ground-Truth-Daten sind Daten in Bezug auf Beleuchtungsbedingungen, die dieselben wären wie Daten, die ein unvoreingenommenen Beobachter erhalten würde, der die Beleuchtungsbedingungen außerhalb des Fahrzeugs 110 bestimmt. Beleuchtungsbedingungen basieren auf Lichtquellen, einschließlich Sonnenlicht und künstlichem Licht. Das Bestimmen von Beleuchtungsbedingungen um ein Fahrzeug erlaubt das Bestimmen von beleuchtungsinvarianten Videodaten, die in Raum und Zeit für sämtliche Tageszeiten, einschließlich nachts, lokalisiert sind. Beleuchtungsinvariante Videodaten sind Farbvideodaten, die mit vorbestimmten Transformkoeffizienten transformiert wurden, um monochrome Videodaten zu produzieren, wobei rotgrünblau verschlüsselte Farben in Graustufen transformiert werden, die Farben beibehalten, aber Beleuchtungsunterschiede verwerfen, einschließlich beispielswiese Unterschiede, die von Schatten verursacht werden.
Die Rechenvorrichtung 115 kann ein Farbvideobild erfassen, das ein Farbkalibrierungsmuster 500 beinhaltet, das in ein Sensorgehäuse 204, 304 derart eingebaut ist, dass das Farbkalibrierungsmuster 500 innerhalb des Sichtfelds der Videokameras 206, 208, 316, 318 liegt und die Berechnung von Farbkorrektur und invarianter Bildkorrektur ohne jegliche Daten zur äußeren Vordergrundszene erlaubt. Diese Konfiguration wird für monochrome Kameras bereitgestellt, um Daten zum Analysieren der Lichtverhältnisse zu erhalten. Monochrome Kameras können eine uneinheitliche Farbempfindlichkeit über den Farbenraum hinweg zeigen, die unter Bezugnahme auf äußere Lichtverhältnisse verstanden werden kann. Das Farbkalibrierungsmuster 500 kann geändert werden, um nicht als Standardanordnung von Farbquadraten zu erscheinen, sondern kann so konfiguriert sein, dass es einem Logo, Text oder einer anderen geeigneten Anordnung der zur Kalibrierung notwendigen Farben ähnelt. 6 und 7 zeigen andere Anordnungen von Farben, die in einem Farbkalibrierungsmuster 500 beinhaltet sein können.
Wechselnde Beleuchtung aufgrund von Tageszeit und Örtlichkeit (Beleuchtung im Bereich um das Fahrzeug 110) stellt visuelle Lokalisierung, Kartierung, Navigation, Szenenerkennung und Objektklassifizierungsaufgaben, die zum Navigieren und Betreiben des autonomen Fahrzeugs 110 erforderlich sein können, vor Herausforderungen. Ein solider und verlässlicher Betrieb unabhängig von Wetterverhältnissen und Tageszeit ist für ein autonomes Fahrzeug 110 wünschenswert. Das Transformieren von Farbvideobildern aus dem RGB-Raum in einen beleuchtungsinvarianten monochromen Raum kann den oben genannten Herausforderungen gerecht werden und kann die Leistung der Rechenvorrichtung 115 in Bezug auf wechselnde Beleuchtung beim Betreiben des Fahrzeugs 110 verbessern. Transformparameter, die dazu verwendet werden, ein Farbvideobild aus dem RGB-Raum in ein beleuchtungsinvariantes monochromes Bild zu transformieren, kann von der der einfallenden Szenenbeleuchtung abhängen, die nach Tageszeit, Wetterverhältnissen und dem Vorhandensein künstlicher Beleuchtung variieren kann. Das Erfassen eines Bilds eines Farbkalibrierungsmusters 500, 600, 700 kann es der Rechenvorrichtung 115 erlauben, Transformparameter zu bestimmen, die RGB-Videodaten in beleuchtungsinvariante monochrome Videodaten zur Eingabe in eine Rechenvorrichtung 115, beispielsweise zum Betreiben eines Fahrzeugs 110, transformieren kann. Das Betreiben eines Fahrzeugs basierend auf beleuchtungsinvarianten monochromen Videodaten kann die Verlässlichkeit des Betreibens des Fahrzeugs 110 trotz wechselnder Beleuchtungsbedingungen verbessern. Zudem kann eine farbkorrigierte Farbvideoanzeige für einen Insassen visuell attraktiver sein.
Das Erfassen eines Farbvideobilds 400 einer Szene kann mathematisch durch eine Beleuchtungsquelle I beschrieben werden, bei der es sich um Sonnenlicht handeln kann, mit einer spektralen Leistungsverteilungsfunktion E(λ), wobei λ die Wellenlänge darstellt. Die spektrale Leistungsverteilungsfunktion E(λ) wird je nach Tageszeit (Position der Sonne im Himmel oder künstlichem Licht) und Wetterverhältnissen variieren. Die spektrale Leistungsverteilungsfunktion kann als Schwarzkörperstrahlung mit einer unbekannten Farbtemperatur T modelliert werden, wobei die Farbtemperatur der zentrale Wert oder Höchstwert der spektralen Leistungsverteilung ist, von der angenommen wird, dass sie eine mittige Spitze aufweist. Die Beleuchtungsquelle I kann von Abschnitten der Szene mit unbekannter Oberflächenreflektivitätsfunktion S(λ) basierend auf den Materialeigenschaften (d. h. Farbe) und einem Geometrieterm a*n basierend auf dem Winkel zwischen einem Vektor a von einem Standort in der Szene zu der Beleuchtungsquelle I und einem Vektor n von dem Standort in der Szene zu einer Videokamera 206, 208, 316, 318 reflektiert werden. Licht von der Beleuchtungsquelle I kann von der Szene gemäß einer Oberflächenreflektivitätsfunktion S(λ) und einem Geometrieterm a*n reflektiert werden, um auf einen Bildsensor einzufallen, der in einer Videokamera 206, 208, 316, 318 beinhaltet ist, um eine Reaktion R^x,y an x- und y-Positionen auf dem Bildsensor mit Spektralempfindlichkeit F(λ) zu produzieren, wodurch ein Farbvideobild 400 gebildet wird.
Ein Farbvideobild 400 oder die Reaktion R^x,y kann an x- und y-Positionen innerhalb der Höhe und Breite des Farbvideobilds 402 als ein Rotgrünblau(RGB)-Wertetripel dargestellt werden. Jede der Farben im Farbkalibrierungsmuster 404 wird durch einen einzigen RGB-Wert dargestellt, innerhalb normaler Toleranzen, wodurch sie beispielsweise als separate Farben leicht zu bestimmen und zu verarbeiten sind. Der mit einer Farbe assoziierte RGB-Wert wird je nach Tageszeit und Wetter variieren, wie oben erläutert. Ein Farbvideobild kann farbkorrigiert werden, indem zuerst ein Standardfarbvideobild 400 unter idealen Bedingungen erfasst wird, d. h. wenn die Sonne an einem klaren Tag in ihrem Zenit steht (Mittag). Die für jede Farbe in dem Farbkalibrierungsmuster 500 erhaltenen RGB-Werte können in dem Speicher der Rechenvorrichtung 115 gespeichert werden. Wenn nachfolgende Farbvideobilder 400 erfasst werden, kann die Rechenvorrichtung 115 die RGB-Werte für jede Farbe im Farbkalibrierungsmuster 500 bestimmen und sie mit den zuvor erfassten Werten vergleichen, um Transformparameter zu bestimmen, die Farbvideobilder durch Lösen simultaner Lineargleichungen farbkorrigieren können.
Eine Reihe linearer Gleichungen kann für jeden der Transformparameter gebildet werden, die jede Farbe des Farbkalibrierungsmuster als ihre Rotgrünblau-Koeffizienten ausdrücken. Das Lösen des Unterschieds zwischen beim Sonnenstand im Zenit (Mittag) an einem klaren Tag gemessenen Idealwerten und vom Farbvideobild 402 gemessenen Werten ergibt die Transformparameter a, b und c, welche die Farben des erfassten Farbvideobilds in ihr Erscheinen zu Mittag in vollem Sonnenlicht transformieren. Beispielsweise kann ein Farbvideobild 402 V aus Pixeln p_x,y zusammengesetzt sein, wobei 1 <= x <= Breite des Bilds V und 1 <= y <= Höhe des Bilds V. Jedes Pixel p_x,y, das in jeder Farbe Ci im Farbkalibrierungsmuster 410 vorkommt, wird eine ähnliche RGB-Darstellung aufweisen, und zwar (R_i, G_i, B_i). Die Pixel jeder der n Farben Ci, wobei 1 <= i <=n, des Farbkalibrierungsmusters 410, können von einem RGB-Tripel (R_i, G_i, B_i) dargestellt werden. Die Farben Ci eines erfassten Farbkalibrierungsmusters 410 können in die Farben S_i = (R_Si, G_Si, B_Si) eines Standardfarbkalibrierungsmusters 410, das zu Mittag an einem klaren Tag erfasst wurde, transformiert werden, und zwar durch das Lösen der simultanen linearen Gleichungen gebildet durch Transformieren jeder Farbe C_i des erfassten Farbkalibrierungsmusters 410 in die entsprechende Farbe S_i aus dem Standardfarbkalibrierungsmuster mit Parametern a, b und c gemäß den folgenden Gleichungen: $R_{S i} = a_{r} R_{i} + a_{g} G_{i} + a_{b} B_{i}$
$G_{S i} = b_{r} R_{i} + b_{g} G_{i} + b_{b} B_{i}$
$B_{S i} = c_{r} R_{i} + c_{g} G_{i} + c_{b} B_{i}$
Das Lösen für die am besten geeignete Lösung für a_r, a_g, a_b, b_r, b_g, b_b, c_r, c_g und c_b, welche den Abstand zwischen den Werten minimiert, die unter Verwendung der Gleichungen 1, 2 und 3 basierend auf erfassten Werten und Standartwerten R_Si, G_Si, B_Si berechnet wurden, kann Lösungen für a_r, a_g, a_b, b_r, b_g, b_b, c_r, c_g und c_b bereitstellen. Da jeder der drei Sätze simultaner linearer Gleichungen n Gleichungen aufweist, wobei n größer ist als 3, können Gleichungen überbestimmt werden, weshalb eine am besten geeignete Lösung durch das Bilden simultaner linearer Gleichungen unter Verwendung der Gleichungen 1, 2 und 3 für die n Farben C_i des erfassten Farbkalibrierungsmusters 410 und das Lösen durch eine beliebige der mathematischen Techniken zum Lösen simultaner linearer Gleichungen, darunter beispielsweise Einzelwertzerlegung, gefunden werden kann. Unter Verwendung der Parameter a_r, a_g, a_b, b_r, b_g, b_b, c_r, c_g und c_b können die Pixel des Farbvideobilds 400 in Standardfarben S_i transformiert werden. Mehr Präzision beim Lösen für am besten geeignete Lösungen bei linearen Gleichungen wird geboten, wenn höhere Polynomgrade (d. h. dritter Ordnung) verwendet werden, die Kreuzprodukte zwischen Farben beinhalten. Obzwar für höhere Polynomgrade zusätzliche Berechnungen erforderlich sind, kann dadurch jedoch eine höhere Präzision bei der Farbkorrektur erzielt werden.
Nach der Farbkorrektur kann ein farbkorrigiertes Farbvideobild 400 unter Verwendung des Transformparameters α in der folgenden Gleichung in ein monochromes beleuchtungsinvariantes Bild M transformiert werden: $M = log (R_{G}) - α log (R_{R}) + (1 - α) log (R_{B})$
wobei R_R, R_G, und R_B Komponentenbilder sind, die von den RGB-Tripeln des farbkorrigierten Farbvideobilds 400 gebildet werden. Die Rechenvorrichtung kann den Transformparameter α experimentell unter Verwendung eines Standardfarbkalibrierungsmusters 500, das wie oben beschrieben erfasst wurde, bestimmen und α anpassen, bis die einheitlichsten Ergebnisse erhalten werden. Einheitliche Ergebnisse beinhalten das Mapping der Farben S_i des Standardfarbkalibrierungsmusters 500 in eindeutige und gut beabstandete Graustufenwerte, wobei die Farben S_i jeweils von einem einzigen Wert dargestellt werden, innerhalb einer vorbestimmten Toleranz, der von 0 bis zum maximalen Grauwert reicht, der größer als 256 sein kann.
Es wurde experimentell bestimmt, dass die Oberflächenreflektivitätsfunktion S(λ) von Pflanzenbewuchs sich einheitlich genügend von der Oberflächenreflektivitätsfunktion S(λ) aller anderen Oberflächenmaterialien unterscheidet, dass ein separater Transformkoeffizient das farbkorrigierte Farbvideobild 400 genauer in ein beleuchtungsinvariantes monochromes Bild M transformieren kann, je nachdem, ob ein Pixel als in eine „Pflanzenbewuchs“-Region gehörend segmentiert wurde, oder ob das Pixel als in eine „Nichtpflanzenbewuchs“-Region gehörend segmentiert wurde, gemäß den folgenden Gleichungen: $„ Pflanzenbewuchs″: M_{v} = log (R_{G}) - α_{v} log (R_{R}) + (1 - α_{v}) log (R_{B})$
$„ Nichtpflazenbewuchs″: M_{r} = log (R_{G}) - α_{r} log (R_{R}) + (1 - α_{r}) log (R_{B})$
Die Gleichung 5 und 6 sowie daher die Transformparameter α_v, α_r können auf einer Pixel-um-Pixel-Basis je nach der durch Segmentierung bestimmten Klassifizierung eines Pixels als zu einer verbundenen Region ähnlicher Pixel gehörend bestimmt werden. Die Segmentierung kann nach der Farbkorrektur stattfinden, um die Genauigkeit der Segmentierung zu verbessern. Die Pixel eines Farbvideobilds 400 können durch Klassifizieren der Pixel in eine begrenzte Anzahl von Klassen, einschließlich einer „Pflanzenbewuchs“(α_v)-Klasse und einer „Nichtpflanzenbewuchs“(α_r)-Klasse, segmentiert werden, wobei die „Pflanzenbewuchs“(α_v)-Klasse Blattwerkklassen wie etwa „Bäume“, „Gras“ und „Gebüsch“ beinhalten kann und die „Nichtpflanzenbewuchs“(α_r)-Klasse Nichtblattwerkklassen wie etwa „Straße“, „Fahrzeug“, „Fußgänger“, „Verkehrsobjekt“, „Gebäude“, „Beton“, „Erde“, „Sand“ und „Steine“ beinhalten kann, beispielsweise dahingehend, dass eine Klasse benachbarte Pixel beinhalten kann, die basierend auf dem Erscheinungsbild eines Pixel und seiner Nachbarn in eine Klasse gruppiert werden können. Beispielsweise sind Farbe und Struktur zwei Merkmale der Transformparameter α_v, α_r, die ein Farbbild in ein beleuchtungsinvariantes monochromes Bild transformieren, abhängig von einer Beleuchtungsquelle mit einer unbekannten spektralen Leistungsverteilung E(λ) reflektiert von einer Szene mit unbekannter Oberflächenreflektivitätsfunktion S(λ). Die Transformparameter α_v, α_r können bestimmt werden, indem ein Farbvideobild 400, das ein Farbkalibrierungsmuster 404 beinhaltet, erfasst wird, das Farbvideobild 400 nach Farbkorrektur segmentiert wird und die Transformparameter α_v, α_r separat für Pixel bestimmt werden, die als „Pflanzenbewuchs“ und „Nichtpflanzenbewuchs“ klassifiziert sind.
Das Transformieren von RGB-Farbvideobildern in ein beleuchtungsinvariantes monochromes Bild basierend auf einer Klassifizierung von Pixeln in „Pflanzenbewuchs“- und „Nichtpflanzenbewuchs“-Klassen kann dadurch erzielt werden, dass das Farbvideobild 402 nach Farbkorrektur segmentiert wird. Ein Farbvideobild 402 kann in eine begrenzte Anzahl von Klassen segmentiert werden, beispielsweise 12 Klassen, wie im Beispiel oben erläutert, die von der Rechenvorrichtung 115 dazu verwendet werden können, das Fahrzeug 110 zu betreiben. Ein erfasstes Farbvideobild 402 kann unter Verwendung von Techniken des maschinellen Sehens, einschließlich Deep-Learning-Prozesse künstlicher Intelligenz wie etwa Convolutional Neural Networks, in Klassen segmentiert werden. Convolutional Neural Networks beinhalten eine Vielzahl von Pooling Convolutional Layers (Aggregationsschichten), die mit jeder Schicht an Auflösung abnehmen, um Segmente von Eingabebilddaten zu bestimmen, und dann eine Vielzahl von Unpooling-Schichten, die an Auflösung zunehmen, um die bestimmten Segmente auf höhere Auflösungsausgaben zu verteilen, wodurch beispielsweise ein Bild mit oder nahe der ursprünglichen Eingabeauflösung mit bestimmten Segmenten rekonstruiert wird. Convolutional Layers können gelehrt werden, gewünschte Ausgabesegmente zu bestimmen, indem Feedbackschleifen eingesetzt werden, die als Rückausbreitung bekannt sind, die Convolutional Layers für das Bestimmen und Gewichten von Convolutional Kernels belohnen, welche die gewünschten Ausgabesegmente ausgeben. Convolutional Neural Networks können trainiert werden, um Farbvideobilder 402 verlässlich in eine begrenzte Anzahl von Klassen zu segmentieren, die nützlich für das Betreiben eines Fahrzeugs 110 sind, indem das Convolutional Neural Network beispielsweise mit manuell klassifizierten Ergebnisbildern trainiert wird.
Ein Beispiel für ein Convolutional Neural Network, das Farbvideodaten von Verkehrsszenen segmentieren kann, ist ein Full-Resolution Residual Network (FRRN). FRRNs verwalten eine Vollauflösungsversion der Eingabevideodaten parallel zu einem Pooling-/Unpooling-Datenstrom in einem Convolutional Neural Network, das Feedbackschleifen beinhaltet, das mit dem Vollauflösungsdatenstrom kommuniziert, um eine begrenzte Anzahl von Segmenten in Vollauflösungsvideodaten zu bestimmen. Konfigurationen von Convolutional Neural Networks können Segmente in Eingabevideodaten innerhalb natürlicher Regionsgrenzen in Farbvideodaten bestimmen. Natürliche Regionsgrenzen beinhalten beispielsweise Farbgrenzen, Formgrenzen und Okklusionsgrenzen. Grenzdaten können mit Segmentdaten in jeder Schicht des Full-Resolution Residual Network kombiniert werden, beispielsweise um ein segmentiertes Hochauflösungsausgabevideobild zu bilden. Dieser Ansatz ist bei einer Vielfalt von Bildverständnisaufgaben in Bezug auf die Navigation des Fahrzeugs 110 nützlich. Das Eingeben von farbkorrigierten Farbvideobildern 400 in Konfigurationen von Convolutional Neural Networks kann die Leistung der Convolutional Neural Networks im Vergleich zum Verwenden von nichtfarbkorrigierten Farbvideobildern beispielsweise für Bildverständnisaufgaben in Bezug auf die Navigation des Fahrzeugs 110 verbessern.
Ein segmentiertes Hochauflösungsfarbvideobild 402 kann durch die Gleichungen 5 und 6 je nach Segmentierung unter Verwendung der Transformparameter α_v, α_r, die aus einem in dem Farbvideobild 402 beinhalteten Farbkalibrierungsmuster 410 bestimmt wurden, in ein beleuchtungsinvariantes monochromes Bild transformiert werden. Das beleuchtungsinvariante monochrome Bild kann in einen Navigationsprozess eingegeben werden, der auf der Rechenvorrichtung 115 ausgeführt wird, um das Fahrzeug 110 zu navigieren. Das beleuchtungsinvariante monochrome Bild kann verlässlicher für die Navigation sein als das Originalfarbvideobild 402, da das beleuchtungsinvariante monochrome Bild keine Farbvariationen beinhaltet, die von Beleuchtungsunterschieden wie etwa Schatten verursacht werden, und wird Regionen ähnlicher Farbe hervorheben. Das Segmentieren eines beleuchtungsinvarianten monochromen Bilds und das Identifizieren von Objekten basierend auf Graustufen kann genauer und verlässlicher bei der Identifizierung von Objekten wie etwa Straßen, Fahrzeugen, Fußgängern, Gebäude und Verkehrsobjekten wie etwa Schildern, Schranken und Geländern usw. in komplexen Szenen sein, als das Identifizieren von Objekten im Originalfarbvideobild basierend auf Farbe. Ein beleuchtungsinvariantes monochromes Bild kann von der Rechenvorrichtung 115 zur Navigation verwendet werden, indem es der Rechenvorrichtung 115 erlaubt, einen sicheren und bequemen Fahrweg zu bestimmen, auf dem das Fahrzeug 110 verlässlicher navigiert werden kann als bei Verwendung eines Farbvideobilds zur Navigation.
6 ist ein Schaubild eines Ablaufdiagramms, das in Bezug auf 1-5 beschrieben ist, eines Prozesses 600 zum Betreiben eines Fahrzeugs 110 basierend auf einem beleuchtungsinvarianten monochromen Bild. Der Prozess 600 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, der beispielsweise als Eingabe Informationen von den Sensoren 116 nimmt und Anweisungen ausführt sowie Steuersignale über die Steuerungen 112, 113, 114 sendet. Der Prozess 600 beinhaltet mehrere Schritte, die in der offenbarten Reihenfolge durchgeführt werden. Der Prozess 600 beinhaltet auch Umsetzungen, die weniger Schritte beinhalten, oder kann die Schritte in unterschiedlicher Reihenfolge beinhalten.
Der Prozess 600 beginnt bei Schritt 602, bei dem eine Rechenvorrichtung 115 in einem Fahrzeug 110 ein Farbvideobild 400 erfasst, dass ein Farbkalibrierungsmuster 404 beinhaltet.
Bei Schritt 604 farbkorrigiert die Rechenvorrichtung 115 das Farbvideobild 400 durch Bestimmen von Transformparametern a, b, c durch Messen von RGB-Werten des erfassten Farbkalibrierungsmusters 404 und Verwenden der gemessenen Werte zum Bestimmen von Transformparametern a, b, c durch Lösen simultaner linearer Gleichungen, wie in Bezug auf 5 oben erläutert.
Bei Schritt 606 bestimmt die Rechenvorrichtung 115 Pixeltypen durch Segmentieren des erfassten farbkorrigierten Farbvideobilds 400, um zu bestimmen, ob jedes Pixel des erfassten farbkorrigierten Farbvideobilds 400 zu einer Klasse „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ gehört.
Bei Schritt 608 prüft die Rechenvorrichtung jedes Pixel des Farbbilds 400, um zu bestimmen, ob das Pixel zu der Klasse „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ gehört. Gehört das Pixel zu der Klasse „Pflanzenbewuchs“, geht der Prozess 600 zu Schritt 610 über. Gehört das Pixel zu der Klasse „Nichtpflanzenbewuchs“, geht der Prozess 600 zu Schritt 612 über. Die Schritte 608, 610 und 612 können als eine Verarbeitungsschleife durchgeführt werden, welche die Pixel des Farbbildes 400 beispielsweise in Rasterreihenfolge durchläuft. Rasterreihenfolge bedeutet, dass die Pixel p_x,y eines Bildes V beispielsweise als aufeinanderfolgende Zeilen von links nach rechts angefangen von oben verarbeitet werden.
Bei Schritt 610 transformiert die Rechenvorrichtung 115 die RGB-Pixel des Farbbildes 400, die zu der „Nichtpflanzenbewuchs“-Klasse gehören, in beleuchtungsinvariante monochrome Pixel gemäß Gleichung 6 mit Transformparameter α_r, wie oben in Bezug auf 5 erläutert.
Bei Schritt 612 transformiert die Rechenvorrichtung 115 die RGB-Pixel des Farbbildes 400, die zu der „Pflanzenbewuchs“-Klasse gehören, in beleuchtungsinvariante monochrome Pixel gemäß Gleichung 5 mit Transformparameter α_v, wie oben in Bezug auf 5 erläutert.
Bei Schritt 614 navigiert die Rechenvorrichtung 115 das Fahrzeug 110 basierend auf dem beleuchtungsinvarianten monochromen Bild, das durch Transformieren des Farbbilds 400 gebildet wurde. Wie oben in Bezug auf 5 erläutert, kann die Rechenvorrichtung 115 Aufgaben, die erforderlich sind, um das Fahrzeug 110 zu navigieren, mit einem beleuchtungsinvarianten monochromen Bild verlässlicher durchführen als mit einem Farbbild 400. Nach Schritt 614 endet der Prozess 600.
Rechenvorrichtungen wie die hier beschriebenen beinhalten im Allgemeinen jeweils Anweisungen, die durch eine oder mehrere Rechenvorrichtungen wie die oben genannten ausführbar sind und zum Ausführen von Blöcken oder Schritten von oben beschriebenen Prozessen konzipiert sind. Zum Beispiel können die oben beschriebenen Prozessblöcke als computerausführbare Anweisungen ausgeführt sein.
Computerausführbare Anweisungen können aus Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -technologien erstellt wurden, einschließlich, ohne Einschränkung und entweder für sich oder in Kombination, Java™, C, C++, Visual Basic, Java Script, Perl, Paython. HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse einschließlich eines oder mehrerer der hier beschriebenen Prozesse durchführt. Derartige Anweisungen und andere Daten können in Dateien gespeichert und unter Verwendung einer Vielfalt computerlesbarer Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium wie beispielsweise einem Speichermedium, einem Direktzugriffsspeicher usw. gespeichert sind.
Ein computerlesbares Medium beinhaltet jedes beliebige Medium, das am Bereitstellen von Daten (z. B. Anweisungen), die durch einen Computer gelesen werden können, beteiligt ist. Ein derartiges Medium kann viele Formen annehmen, einschließlich, ohne darauf beschränkt zu sein, nichtflüchtige Medien, flüchtige Medien usw. Nichtflüchtige Medien beinhalten zum Beispiel Bild- oder Magnetplatten und sonstige dauerhafte Speicher. Flüchtige Medien beinhalten dynamische Direktzugriffsspeicher (DRAM), die üblicherweise einen Hauptspeicher darstellen. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das durch einen Computer ausgelesen werden kann.
Allen in den Patentansprüchen verwendeten Begriffe soll deren allgemeine und gängige Bedeutung zugeordnet werden, wie sie dem Fachmann bekannt ist, sofern hier kein ausdrücklicher Hinweis auf das Gegenteil erfolgt. Insbesondere soll die Verwendung der Singularartikel wie zum Beispiel „ein“, „einer“, „eine“, „der“, „die“, „das“ usw. dahingehend ausgelegt werden, dass eines oder mehrere der angegebenen Elemente genannt werden, es sei denn, ein Anspruch enthält ausdrücklich eine gegenteilige Einschränkung.
Der Begriff „beispielhaft“ wird hier in dem Sinne verwendet, dass er ein Beispiel angibt; z. B. sollte ein Verweis auf ein „beispielhaftes Bedienelement“ einfach als Bezugnahme auf ein Beispiel für ein Bedienelement ausgelegt werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, eine Messung, ein Wert, eine Bestimmung, eine Berechnung usw. von einer/einem genau beschriebenen Geometrie, Abstand, Messung, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Fertigung, Sensormessungen, Berechnungen, Bearbeitungszeit, Kommunikationszeit usw. abweichen kann.
In den Zeichnungen zeigen dieselben Bezugszeichen dieselben Elemente an. Ferner könnten manche oder alle dieser Elemente geändert werden. In Bezug auf die hierin beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass, obwohl die Schritte derartiger Prozesse usw. als in einer bestimmten Abfolge auftretend beschrieben wurden, derartige Prozesse so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen als der hierin beschriebenen Reihenfolge durchgeführt werden. Ferner versteht es sich, dass bestimmte Schritte gleichzeitig durchgeführt werden könnten, dass andere Schritte hinzugefügt werden könnten oder dass bestimmte hierin beschrieben Schritte ausgelassen werden könnten. Anders ausgedrückt werden die Beschreibungen von Prozessen hierin zur Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten in keinerlei Hinsicht als die beanspruchte Erfindung einschränkend ausgelegt werden.
Gemäß der vorliegenden Erfindung wird ein Verfahren in einem Fahrzeug bereitgestellt, das Folgendes aufweist: Erfassen eines Farbbilds, das einen Abschnitt aufweist, der ein Farbkalibrierungsmuster beinhaltet; und Betätigen einer Navigation des Fahrzeugs basierend auf dem Bestimmen eines beleuchtungsinvarianten Bilds basierend auf Transformparametern α_v und α_r und einem farbkorrigierten Farbbild basierend auf dem Farbkalibrierungsmuster.
Gemäß einer Ausführungsform beinhaltet das auf dem Farbkalibrierungsmuster basierende farbkorrigierte Farbbild das Verwenden von Werten im Farbkalibrierungsmuster in einer Reihe linearer Gleichungen, die gelöst werden, um Transformparameter zu bilden, um das Farbbild zu farbkorrigieren.
Gemäß einer Ausführungsform ist die obige Erfindung ferner dadurch gekennzeichnet, dass das Bestimmen eines beleuchtungsinvarianten Bilds basierend auf Transformparametern α_v und α_r je nach Segmentationsklassifizierung separat durchgeführt wird.
Gemäß einer Ausführungsform ist die obige Erfindung ferner dadurch gekennzeichnet, dass das Lösen der Reihe linearer Gleichungen für Transformparameter zum Farbkorrigieren des Farbbilds durchgeführt wird, um dieselben Rotgrünblauwerte wie ein bei vollem Sonnenlicht im Zenit erfasstes Farbbild zu erhalten.
Gemäß einer Ausführungsform beinhaltet das Farbkalibrierungsmuster eine Vielzahl von Farben mit einer Vielzahl von Intensitäten.
Gemäß einer Ausführungsform beinhaltet die Vielzahl von Farben eine oder mehrere Farbgruppen, die einen Farbraum umspannen, der Farben im sichtbaren und nichtsichtbaren Spektrum einschließlich NIR (Nahinfrarot) beinhaltet.
Gemäß einer Ausführungsform ist die obige Erfindung ferner dadurch gekennzeichnet, dass die Farbgruppen, die den Farbraum umspannen, Rot, Grün und Blau beinhalten.
Gemäß einer Ausführungsform ist die obige Erfindung ferner dadurch gekennzeichnet, dass das Bestimmen, ob ein RGB-Pixel des Farbbilds mit Transformparameter α_v oder Transformparameter α_r transformiert werden soll, davon abhängt, ob das RGB-Pixel als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert wird.
Gemäß einer Ausführungsform wird das RGB-Pixel basierend auf dem Segmentieren des Farbbilds durch ein trainiertes Convolutional Neural Network als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das einen Prozessor und einen Speicher aufweist, wobei der Speicher Anweisungen zur Ausführung durch den Prozessor beinhaltet, um: ein Farbbild zu erfassen, das einen Abschnitt aufweist, der ein Farbkalibrierungsmuster beinhaltet; und eine Navigation des Fahrzeugs basierend auf dem Bestimmen eines beleuchtungsinvarianten Bildes basierend auf Transformparametern α_v und α_r und einem farbkorrigierten Farbbild basierend auf dem Farbkalibrierungsmuster zu betätigen.
Gemäß einer Ausführungsform ist die obige Erfindung ferner dadurch gekennzeichnet, dass das auf dem Farbkalibrierungsmuster basierende farbkorrigierte Farbbild das Verwenden von Werten im Farbkalibrierungsmuster in einer Reihe linearer Gleichungen beinhaltet, die gelöst werden, um Transformparameter zu bilden, um das Farbbild zu farbkorrigieren.
Gemäß einer Ausführungsform ist die obige Erfindung ferner dadurch gekennzeichnet, dass das Bestimmen eines beleuchtungsinvarianten Bilds basierend auf Transformparametern α_v und α_r je nach einer Segmentationsklassifizierung separat durchgeführt wird.
Gemäß einer Ausführungsform ist die obige Erfindung ferner dadurch gekennzeichnet, dass das Lösen der Reihe linearer Gleichungen für Transformparameter zum Farbkorrigieren des Farbbilds durchgeführt wird, um dieselben Rotgrünblauwerte wie ein bei vollem Sonnenlicht im Zenit erfasstes Farbbild zu erhalten.
Gemäß einer Ausführungsform beinhaltet das Farbkalibrierungsmuster eine Vielzahl von Farben mit einer Vielzahl von Intensitäten.
Gemäß einer Ausführungsform ist die obige Erfindung ferner dadurch gekennzeichnet, dass die Vielzahl von Farben eine oder mehrere Farbgruppen beinhaltet, die einen Farbraum umspannen, der Farben im sichtbaren und nichtsichtbaren Spektrum einschließlich NIR (Nahinfrarot) beinhaltet.
Gemäß einer Ausführungsform ist der Prozessor dazu programmiert, zu bestimmen, ob ein RGB-Pixel des Farbbilds mit Transformparameter α_v oder Transformparameter α_r transformiert werden soll, je nachdem, ob das RGB-Pixel als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert wird.
Gemäß einer Ausführungsform wird das RGB-Pixel basierend auf dem Segmentieren des Farbbilds durch ein trainiertes Convolutional Neural Network als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: einen Sensor, der dazu betrieben werden kann, ein Farbbild zu erfassen; einen Prozessor; und einen Speicher, wobei der Speicher Anweisungen zur Ausführung durch den Prozessor beinhaltet, um: ein Farbbild zu erfassen, wobei ein Abschnitt des Farbbilds ein Farbkalibrierungsmuster beinhaltet; eine Navigation eines Fahrzeugs basierend auf dem Bestimmen eines beleuchtungsinvarianten Bildes basierend auf Transformparametern α_v und α_r und einem farbkorrigierten Farbbild basierend auf dem Farbkalibrierungsmuster zu betätigen; und eine Steuerung zum Steuern von Bewegung des Fahrzeugs gemäß der Navigation durch Betätigen von Fahrzeugkomponenten basierend auf Befehlen, die von dem Prozessor empfangen werden.
Gemäß einer Ausführungsform ist der Sensor eine Farbvideokamera.
Gemäß einer Ausführungsform ist die obige Erfindung ferner dadurch gekennzeichnet, dass die Fahrzeugkomponenten Bremsen, Lenken und Antriebsstrang beinhalten.

Claims

Verfahren in einem Fahrzeug, Folgendes umfassend: Erfassen eines Farbbilds, das einen Abschnitt aufweist, der ein Farbkalibrierungsmuster beinhaltet; und Betätigen einer Navigation des Fahrzeugs basierend auf dem Bestimmen eines beleuchtungsinvarianten Bilds basierend auf Transformparametern α_v und α_r und einem, farbkorrigierten Farbbild basierend auf dem Farbkalibrierungsmuster.
Verfahren nach Anspruch 1, wobei das auf dem Farbkalibrierungsmuster basierende farbkorrigierte Farbbild das Verwenden von Werten im Farbkalibrierungsmuster in einer Reihe linearer Gleichungen beinhaltet, die gelöst werden, um Transformparameter zu bilden, um das Farbbild zu farbkorrigieren.
Verfahren nach Anspruch 2, wobei das Bestimmen eines beleuchtungsinvarianten Bilds basierend auf Transformparametern α_v und α_r je nach Segmentationsklassifizierung separat durchgeführt wird.
Verfahren nach Anspruch 3, wobei das Lösen der Reihe linearer Gleichungen für Transformparameter zum Farbkorrigieren des Farbbilds durchgeführt wird, um dieselben Rotgrünblauwerte wie ein bei vollem Sonnenlicht im Zenit erfasstes Farbbild zu erhalten.
Verfahren nach Anspruch 1, wobei das Farbkalibrierungsmuster eine Vielzahl von Farben mit einer Vielzahl von Intensitäten beinhaltet.
Verfahren nach Anspruch 5, wobei die Vielzahl von Farben eine oder mehrere Farbgruppen beinhaltet, die einen Farbraum umspannen, der Farben im sichtbaren und nichtsichtbaren Spektrum einschließlich NIR (Nahinfrarot) beinhaltet.
Verfahren nach Anspruch 6, wobei die Farbgruppen, die den Farbraum umspannen, Rot, Grün und Blau beinhalten.
Verfahren nach Anspruch 1, ferner umfassend das Bestimmen, ob ein RGB-Pixel des Farbbilds mit Transformparameter α_v oder Transformparameter α_r transformiert werden soll, je nachdem, ob das RGB-Pixel als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert wird.
Verfahren nach Anspruch 8, wobei das RGB-Pixel basierend auf dem Segmentieren des Farbbilds durch ein trainiertes Convolutional Neural Network als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert wird.
Verfahren nach Anspruch 9, wobei das RGB-Pixel basierend auf dem farbkorrigierten Farbbild als „Pflanzenbewuchs“ oder „Nichtpflanzenbewuchs“ klassifiziert wird.
Verfahren nach Anspruch 9, wobei das Convolutional Neural Network durch Rückausbreitung trainiert wird.
Verfahren nach Anspruch 10, wobei die Rückausbreitung auf manuell klassifizierten Farbbildern basiert.
Verfahren nach Anspruch 1, wobei das Betätigen einer Navigation das Bestimmen eines Fahrwegs für das Fahrzeug basierend auf dem beleuchtungsinvarianten Bild beinhaltet.
Verfahren nach Anspruch 10, wobei das Betätigen einer Navigation das Bestimmen von Befehlen an Steuerungen zum Steuern von Fahrzeugbremsen, Lenkung und Antriebsstrang zum Betreiben des Fahrzeugs auf dem Fahrweg beinhaltet.
System, umfassend einen Computer, der zum Durchführen der Verfahren nach einem der Ansprüche 1-14 programmiert ist.