DE102018108054A1

DE102018108054A1 - Verfahren und systeme zur bestimmung einer kamera-fehlausrichtung

Info

Publication number: DE102018108054A1
Application number: DE102018108054.9A
Authority: DE
Inventors: Nathan P. Makarewicz; Joseph Machak; Mohannad Murad
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-04-07
Filing date: 2018-04-05
Publication date: 2018-10-11
Also published as: CN108696746A; CN108696746B; US20180293458A1; US10346715B2

Abstract

Verfahren und Systeme werden bereitgestellt zur Beurteilung möglicher Ausrichtungsfehler von auf Fahrzeugen installierten Kameras. Gemäß eines Beispiels wird die Kamera auf einer Fahrzeugkarosserie montiert und ist so konfiguriert, dass sie Kamerabilder erzeugt. Jedes Kamerabild enthält eine Vielzahl von Bildpunkten. Ein Prozessor ist dafür konfiguriert, mindestens die Auswertung der Pixel der Kamerabilder bezüglich Farbe, Helligkeit oder beidem zu erleichtern und basierend auf der Analyse der Farbe, Helligkeit oder beidem der Pixel zu bestimmen, ob die Kamera bei ihrer Montage am Fahrzeug fehlausgerichtet ist.

Description

TECHNISCHES GEBIET
Das technische Gebiet bezieht sich im Allgemeinen auf den Bereich von Fahrzeugen und insbesondere auf Verfahren und Systeme zur Bestimmung einer Fahrzeugkamera-Fehlausrichtung.
HINTERGRUND
Viele Fahrzeuge enthalten eine Kamera, die eine Darstellung eines Bereiches außerhalb oder innerhalb (oder beides) des Fahrzeugs bietet (z.B. eine Rückfahrkamera, die Bilder für einen Bereich hinter dem Fahrzeug erfasst). Unter bestimmten Umständen könnte die Rückfahrkamera jedoch fehlausgerichtet werden, beispielsweise nachdem das Fahrzeug Kontakte mit einem anderen Fahrzeug oder anderen Objekt hatte oder wenn sie in falscher Ausrichtung am Fahrzeug installiert ist.
Dementsprechend ist es wünschenswert, verbesserte Verfahren und Systeme zur Bestimmung einer Fehlausrichtung von Fahrzeugkameras bereitzustellen. Außerdem werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung der Erfindung und den hinzugefügten Ansprüchen in Verbindung mit den zugehörigen Zeichnungen und diesem Hintergrund der Erfindung sichtbar.
KURZDARSTELLUNG
Gemäß einer exemplarischen Ausführungsform wird ein Verfahren bereitgestellt. Das Verfahren enthält die Schritte des Erhaltens von Kamerabildern für eine Kamera, die an einem Fahrzeug angebracht ist, wobei jedes der Kamerabilder eine Vielzahl von Pixeln enthält; über einen Prozessor das Analysieren der Pixel der Kamerabilder bezüglich Farbe, Helligkeit oder beidem; und über den Prozessor das Bestimmen, ob die Kamera basierend auf der Analyse von Farbe, Helligkeit oder beidem der Pixel bei ihrer Montage am Fahrzeug fehlausgerichtet ist.
Gemäß einer anderen exemplarischen Ausführungsform wird ein System bereitgestellt. Das System enthält eine Kommunikationsverbindung und einen Prozessor. Die Kommunikationsverbindung ist konfiguriert, um Kamerabilder für eine Kamera bereitzustellen, die an einem Fahrzeug angebracht ist. Jedes Kamerabild enthält eine Vielzahl von Bildpunkten. Der Prozessor ist dafür konfiguriert, mindestens die Auswertung der Pixel der Kamerabilder bezüglich Farbe, Helligkeit oder beidem zu erleichtern und basierend auf der Analyse der Farbe, Helligkeit oder beidem der Pixel zu bestimmen, ob die Kamera bei ihrer Montage am Fahrzeug fehlausgerichtet ist.
Gemäß einer weiteren exemplarischen Ausführungsform wird ein Fahrzeug bereitgestellt. Das Fahrzeug beinhaltet eine Karosserie, eine Kamera und einen Prozessor. Die Kamera ist an der Karosserie montiert und so konfiguriert, dass sie Kamerabilder erzeugt. Jedes Kamerabild enthält eine Vielzahl von Bildpunkten. Der Prozessor ist dafür konfiguriert, mindestens die Auswertung der Pixel der Kamerabilder bezüglich Farbe, Helligkeit oder beidem zu erleichtern und basierend auf der Analyse der Farbe, Helligkeit oder beidem der Pixel zu bestimmen, ob die Kamera bei ihrer Montage am Fahrzeug fehlausgerichtet ist.
Figurenliste
Die vorliegende Offenbarung wird im Folgenden in Verbindung mit den nachstehenden Zeichnungsfiguren beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen und worin gilt:

1 ist ein Funktionsblockdiagramm eines Fahrzeugs, das eine Kamera, ein Steuerungssystem zum Steuern der Kamera und ein oder mehrere Displays zum Anzeigen von Kamerabildern gemäß einer exemplarischen Verkörperung beinhaltet;
2 ist ein Flussdiagramm eines Verfahren zur Beurteilung der Kameraausrichtung für eine Kamera an einem Fahrzeug, das in Verbindung mit dem Fahrzeug, der Kamera, dem Steuersystem und dem Display von 1 gemäß einer beispielhaften Ausführungsform implementiert werden kann; und
3 stellt ein Anzeigebild für ein Fahrzeug bereit, das in Verbindung mit dem Fahrzeug, der Kamera und dem Steuersystem von 1 und dem Verfahren von 2 gemäß einer beispielhaften Ausführungsform implementiert werden kann

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung ist ihrer Art nach lediglich exemplarisch und soll die Offenbarung oder die Anwendung und Verwendungen derselben in keiner Weise einschränken. Darüber hinaus besteht keinerlei Verpflichtung zur Einschränkung auf eine der im vorstehenden Hintergrund oder in der folgenden ausführlichen Beschreibung dargestellten Theorien.
1 veranschaulicht ein Fahrzeug 100 gemäß einer exemplarischen Ausführungsform. Wie nachfolgend näher beschrieben, beinhaltet das Fahrzeug 100 eine Kamera 102, die an einer Karosserie 110 des Fahrzeugs 100 montiert ist und Bilder zur Verfügung stellt. Die Kamera 102 wird über ein Steuerungssystem 108 gesteuert, wie in 1 dargestellt. In verschiedenen Ausführungsformen bewertet die Steuerung 108 eine Ausrichtung der Kamera 102 basierend auf den bereitgestellten Bildern und agiert unter entsprechenden Umständen auf der Grundlage der Ausrichtung der Kamera 102, beispielsweise wie weiter unten in Verbindung mit 1 sowie 2 und 3 beschrieben ist.
Das Fahrzeug 100 umfasst vorzugsweise ein Automobil. Das Fahrzeug 100 kann eines von einer Reihe von verschiedenen Typen von Automobilen sein, wie zum Beispiel eine Limousine, ein Kombi, ein Lastwagen oder eine Geländelimousine (SUV), und kann einen Zweiradantrieb (2WD) (d. h. Heckantrieb oder Frontantrieb), Vierradantrieb (4WD) oder Allradantrieb (AWD) und/oder verschiedene andere Fahrzeugtypen in bestimmten Ausführungsformen. In bestimmten Ausführungsformen kann das Fahrzeug 100 auch ein Motorrad oder ein anderes Fahrzeug oder ein anderes System umfassen, das ein Kamerabild mit einem festen Referenzpunkt aufweist.
Das Fahrzeug 100 beinhaltet die bereits erwähnte Karosserie 110, die auf einem Fahrgestell 112 angeordnet ist. Die Karosserie 110 umschließt im Wesentlichen die anderen Komponenten des Fahrzeugs 100. Die Karosserie 110 und das Fahrgestell 112 können gemeinsam einen Rahmen bilden. Das Fahrzeug 100 enthält auch eine Vielzahl von Rädern 114. Die Räder 114 sind jeweils mit dem Fahrgestell 112 in der Nähe einer jeweiligen Ecke der Karosserie 110 drehbar gekoppelt, um die Bewegung des Fahrzeugs 100 zu erleichtern. In einer Ausführungsvariante beinhaltet das Fahrzeug 100 vier Räder 114, obwohl dies in anderen Ausführungsformen (zum Beispiel für Lastkraftwagen und bestimmte andere Fahrzeuge) unterschiedlich sein kann.
Ein Antriebssystem 116 ist auf dem Fahrgestell 112 montiert und treibt die Räder 114 an. Das Antriebssystem 116 umfasst vorzugsweise ein Antriebssystem. In bestimmten exemplarischen Ausführungsformen umfasst das Antriebssystem 116 einen Verbrennungsmotor und/oder einen Elektromotor/Generator, der mit einem Getriebe gekoppelt ist. In bestimmten Ausführungsformen kann das Antriebssystem 116 variieren und/oder es können zwei oder mehr Antriebssysteme 116 verwendet werden. Als ein Beispiel kann das Fahrzeug 100 weiterhin ein -oder eine Kombination von mehreren- aus einer Anzahl unterschiedlicher Antriebssysteme umfassen, beispielsweise einen mit Benzin oder Diesel betriebenen Verbrennungsmotor, einen „Flexfuel“-Motor (FFV) (d. h. Verwendung von einer Mischung aus Benzin und Ethanol), einen mit einer gasförmigen Verbindung (z. B. Wasserstoff oder Erdgas) betriebenen Motor, einen Verbrennungs-/Elektro-Hybridmotor und einen Elektromotor.
Wie in 1 abgebildet, ist die Kamera 102 an der Karosserie 110 des Fahrzeugs 100 montiert. In der abgebildeten Ausführungsform ist die Kamera 102, wie in 1 dargestellt, am Heck des Fahrzeugs montiert. Es wird darauf hingewiesen, dass dies in bestimmten Ausführungen variieren kann. Während beispielsweise in der dargestellten Ausführungsform die Kamera 102 eine nach hinten gerichtete Kamera ist, die auf oder in der Nähe eines Hecks des Fahrzeugs 100 angeordnet ist, kann die Kamera 102 in anderen Ausführungsformen auf der Beifahrerseite, auf der Fahrerseite oder an einer anderen Stelle der Karosserie 110 des Fahrzeugs 100 montiert werden (z. B. auf dem Dach des Fahrzeugs 100, auf der Vorderseite des Fahrzeugs 100, auf einer Windschutzscheibe oder einem Kühlergrill des Fahrzeugs 100, auf einer Lenkradummantelung zum Fahrersitz hin usw.).
Die Kamera 102 stellt Bilder für die Ansicht auf einem oder mehreren Displays 106 bereit, die innerhalb des Fahrzeugs 100 angeordnet sind (d.h. Innerhalb der Karosserie 110 des Fahrzeugs 100) und/oder zum Bereitstellen anderer Informationen für das Fahrzeug 100 (z.B. Informationen für ein Fahrzeugsteuersystem zur Verwendung in der Fahrzeugsteuerung). Wie in 1 abgebildet und zuvor erwähnt, beinhaltet die Kamera 102 ein Objektiv 104, das Bilder für die Kamera 102 aufnimmt.
In einer Ausführungsvariante stellt die Kamera 102 Bilder zur Ansicht auf einer Anzeige 106 eines Rückspiegels 118 des Fahrzeugs 100 bereit. Ebenfalls wie in 1 abgebildet, stellt die Kamera 102 in einer Ausführungsform Bilder zur Ansicht auf einer Anzeige 106 eines Navigationssystems 120 des Fahrzeugs 100 bereit. In verschiedenen Ausführungsformen kann die Anzeige 106 sowohl am Rückspiegel 118 als auch am Navigationssystem 120 und/oder an einem oder mehreren anderen, nicht abgebildeten Anzeigen 106 innerhalb des Fahrzeugs 100 angebracht werden (z. B. in einer vorderen Instrumententafel des Fahrzeugs 100, in einem oder mehreren Seitenspiegeln des Fahrzeugs 100 oder dergleichen). In bestimmten Ausführungsformen umfasst jede Anzeige 106 einen Videobildschirm, der mit der Kamera 102 gekoppelt ist. In einer exemplarischen Ausführungsform umfasst die Anzeige 106 einen Flüssigkristallanzeige-(LCD)-Bildschirm oder einen Leuchtdioden-(LED)-Bildschirm. Dies kann jedoch in anderen Ausführungsformen variieren. In bestimmten Ausführungsformen können die offenbarten Techniken und zugehörigen Algorithmen neben der Verwendung der offenbarten Techniken zum Betrachten auf einem Display auch auf Kameras für die Bildverarbeitung wie Objekterkennung, Ereignis-Vermeidung und Anwendungen für autonomes Fahren verwendet werden. Bei einer Ausführungsform ist eine Düse 105 an oder nahe der Kamera 102 angeordnet. Die Düse 105 ist mit einer nicht dargestellten Wasserquelle (z. B. einem Reservoir über eine Pumpe) sowie dem Steuersystem 108 verbunden und wäscht die Linse 104, wenn das über Befehle vom Steuersystem 108 angewiesen ist (z.B. durch den Prozessor 142 davon, wie weiter unten beschrieben).
Das Steuerungssystem 108 steuert den Betrieb der Kamera 102 und die Anzeigen 106. Das Steuerungssystem 108 ist innerhalb der Karosserie 110 des Fahrzeugs 100 angeordnet. In einer Ausführungsform ist das Steuersystem 108 auf dem Fahrgestell 112 angebracht. Unter anderen Eigenschaften erhält das Steuersystem 108 Bilder von Kamera 102, verarbeitet die Bilder, analysiert Pixelinformationen für die Bilder, bewertet eine Ausrichtung der Kamera 102 und unternimmt entsprechende Aktionen auf der Grundlage der Ausrichtung der Kamera 102. In verschiedenen Ausführungsformen stellt das Steuersystem 108 diese und andere Funktionen gemäß den Schritten des Verfahrens 200 bereit, die nachfolgend in Verbindung mit den 2 und 3 näher beschrieben werden. In bestimmten Ausführungsformen kann das Steuerungssystem 108 außerhalb der Karosserie 110 angeordnet sein, beispielsweise auf einem Remote-Server, in einer Cloud, in einem Remote-Smartphone oder einer anderen Vorrichtung, bei welcher die Bildverarbeitung entfernt erfolgt. Zusätzlich kann das Steuersystem 108 in bestimmten Ausführungsformen innerhalb der Kamera 102 selbst angeordnet sein (z. B. kann einen Verarbeitungsfähigkeit in eine Komponente der Kamera 102 eingebaut sein).
Wie ebenfalls in 1 dargestellt, ist das Steuerungssystem 108 in verschiedenen Ausführungsformen über eine Kommunikationsverbindung 109 mit der Kamera 102 gekoppelt und empfängt Kamerabilder von der Kamera 102 über die Kommunikationsverbindung 109. In bestimmten Ausführungsformen umfasst die Kommunikationsverbindung 109 eine oder mehrere drahtgebundene Verbindungen, wie beispielsweise ein oder mehrere Kabel (z. B. Koaxialkabel und/oder einen oder mehrere andere Kabeltypen). In anderen Ausführungsformen kann die Kommunikationsverbindung 109 aus einer oder mehreren drahtlosen Verbindungen bestehen.
Wie in 1 abgebildet, enthält das Steuersystem 108 eine Steuerung 126. Wie ebenfalls in 1 abgebildet, enthält das Steuersystem 108 in bestimmten Ausführungsformen auch eine Sensoranordnung 122 und/oder einen Sender-Empfänger 124. In bestimmten Ausführungsformen dienen einer oder mehrere Sensoren der Sensoranordnung 122 zur Bereitstellung von Informationen an die Steuerung 126 zur Bildverarbeitung von Kamera 102. In bestimmten Ausführungsformen können bestimmte Sensor(en) zusammen mit beispielsweise der Verwendung eines oder mehrerer Raddrehzahlsensoren oder Beschleunigungssensoren die Fahrzeuggeschwindigkeit bereitstellen (z. B. um festzustellen, ob das Fahrzeug 100 in Bewegung ist oder nicht, sowie die Bewegungsbahn und -richtung). Auch in bestimmten Ausführungsformen können verschiedene Radar-, Lidar-, Ultraschall- und/oder andere Sensoren zur Objekterfassung verwendet werden. Auch in bestimmten Ausführungsformen können die Bilder der Kamera 102 durch das Steuersystem 108 über einen oder mehrere Sender-Empfänger 124 und/oder Komponenten davon (z. B. einen Empfänger) empfangen werden.
Die Steuerung 126 verarbeitet und analysiert die von der Kamera über die Kommunikationsverbindung 109 bereitgestellten Bilder (und in einigen Ausführungsformen Bilder und/oder Informationen über die Sensoranordnung 122 und/oder Sender-Empfänger 124), bewertet, ob die Kamera 102 ordnungsgemäß am Fahrzeug 100 montiert ist und agiert gegebenenfalls, wenn die Kamera 102 nicht korrekt montiert ist. Ebenso steuert die Steuerung 126 in verschiedenen Ausführungsformen die Darstellung von Bildern von der Kamera 102 auf einer oder mehreren Anzeigen 106 des Fahrzeugs 100. In verschiedenen Ausführungsformen stellt die Steuerung 126 diese und weitere Funktionen entsprechend den nachfolgend aufgeführten Schritten bereit, die weiter unten in Verbindung mit den schematischen Zeichnungen des Fahrzeugs 100 in 1 und dem Flussdiagramm von 2 und der zugehörigen Darstellung eines Anzeigebilds der 3 in Verbindung mit dem Verfahren 200 von 2 näher erläutert werden.
In einer Ausführungsform ist die Steuerung 126 mit der Kamera 102, der Anzeige 106, der Sensoranordnung 122 und dem Sendeempfänger 124 gekoppelt. Ebenso ist in der dargestellten Ausführungsform die Steuerung 126 innerhalb des Steuerungssystems 108 innerhalb des Fahrzeugs 100 angeordnet. In bestimmten Ausführungsformen kann die Steuerung 126 (und/oder Komponenten davon, wie beispielsweise der Prozessor 142 und/oder andere Komponenten) Teil der Kamera 102 sein, die innerhalb der Kamera 102 und/oder in der Nähe der Kamera 102 angeordnet ist. Ebenso kann die Steuerung 126 in bestimmten Ausführungsformen an einer oder mehreren anderen Stellen des Fahrzeugs 100 angeordnet sein. Zusätzlich können in bestimmten Ausführungsformen, neben anderen möglichen Variationen, mehrere Steuerungen 126 verwendet werden (z. B. eine Steuerung 126 innerhalb des Fahrzeugs 100 und eine weitere Steuerung innerhalb der Kamera 102). Darüber hinaus kann die Steuerung in bestimmten Ausführungsformen außerhalb des Fahrzeugs platziert werden, beispielsweise in einem Remote-Server, in der Cloud oder auf einer entfernten intelligenten Vorrichtung.
Wie in 1 dargestellt, umfasst die Steuerung 126 ein Computersystem. In bestimmten Ausführungsformen kann die Steuerung 126 auch einen oder mehrere Sensoren der Sensoranordnung 122, den Sendeempfänger 124 und/oder Komponenten davon, die Kamera 102 und/oder Komponenten davon, eine oder mehrere Anzeigen 106 und/oder Komponenten davon und/oder eine oder mehrere andere Vorrichtungen und/oder Systeme und/oder Komponenten davon enthalten. Darüber hinaus ist zu erkennen, dass sich die Steuerung 126 ansonsten von der Ausführungsform, die in 1 dargestellt ist, unterscheiden kann. So kann beispielsweise die Steuerung 126 mit einem oder mehreren Ferncomputersystemen und/oder anderen Steuerungssystemen gekoppelt sein oder diese anderweitig verwenden, z. B. als Teil eines oder mehrerer der vorstehend genannten Vorrichtungen und Systeme des Fahrzeugs 100.
In der abgebildeten Ausführungsform beinhaltet das Computersystem der Steuerung 126 einen Prozessor 142, einen Speicher 144, eine Schnittstelle 146, eine Speichervorrichtung 148 und einen Bus 150. Der Prozessor 142 führt die Rechen- und Steuerfunktionen der Steuerung 126 aus und kann jede Art von Prozessor oder mehrere Prozessoren, einzelne integrierte Schaltkreise wie beispielsweise einen Mikroprozessor oder jegliche geeignete Anzahl integrierter Schaltkreisvorrichtungen und/oder Leiterplatten umfassen, die zusammenwirken, um die Funktionen einer Verarbeitungseinheit auszuführen. Während des Betriebs führt der Prozessor 142 ein oder mehrere Programme 152 aus, die im Speicher 144 enthalten sind, und steuert als solches den allgemeinen Betrieb der Steuerung 126 und das Computersystem der Steuerung 126 generell durch Ausführen des hierin beschriebenen Verfahrens, wie das Verfahren 200, das nachstehend in Verbindung mit den 2 und 3 beschrieben wird.
Der Speicher 144 kann jeder Typ eines geeigneten Speichers sein. So kann beispielsweise der Speicher 144 verschiedene Typen von dynamischem Random Access Memory (DRAM), wie SDRAM, verschiedene Typen von statischem RAM (SRAM) und die verschiedenen Permanentspeichertypen (PROM, EPROM und Flash), beinhalten. Bei bestimmten Beispielen befindet sich der Speicher 144 auf dem gleichen Computerchip wie der Prozessor 142 und/oder ist ortsgleich damit angeordnet. In der dargestellten Ausführungsform befindet sich im Speicher 144 das vorgenannte Programm 152 zusammen mit einem oder mehreren gespeicherten Werten 154.
Der Bus 150 dient zur Übertragung von Programmen, Daten, Status und anderen Informationen oder Signalen zwischen den verschiedenen Komponenten des Computersystems der Steuerung 126. Die Schnittstelle 146 ermöglicht die Kommunikation mit dem Computersystem der Steuerung 126, beispielsweise von einem Systemtreiber und/oder einem anderen Computersystem, und kann unter Verwendung eines geeigneten Verfahrens und einer geeigneten Vorrichtung umgesetzt werden. In einer Ausführungsform erhält die Schnittstelle 146 die verschiedenen Daten von den Sensoren der Sensoranordnung 122 und/oder dem Sendeempfänger 124. Die Schnittstelle 146 kann eine oder mehrere Netzwerkschnittstellen beinhalten, um mit anderen Systemen oder Komponenten zu kommunizieren. Die Schnittstelle 146 kann zudem eine oder mehrere Netzwerkschnittstelle(n) für die Kommunikation mit Technikern und/oder eine oder mehrere Speicherschnittstellen für die Verbindung mit Speichervorrichtungen (wie z. B. Speichergerät 148) beinhalten.
Bei dem Speichergerät 148 kann es sich um jegliche geeignete Art von Speichervorrichtung, darunter auch um Direktzugriffsspeichergeräte, wie z. B. Festplattenlaufwerke, Flashsysteme, Diskettenlaufwerke und optische Speicherplatten, handeln. In einer exemplarischen Ausführungsform umfasst die Speichervorrichtung 148 ein Programmprodukt, von dem der Speicher 144 ein Programm 152 empfangen kann, das eine oder mehrere Ausführungsformen von einem oder mehreren Prozessen der vorliegenden Offenbarung ausführt, wie die Schritte des Prozesses 200 (und aller Teilprozesse desselben), im Folgenden beschrieben in Verbindung mit den 2 und 3. In einer weiteren exemplarischen Ausführungsform kann das Programmprodukt direkt in dem Speicher 144 und/oder auf einer Speicherplatte (z. B. Speicherplatte 156) gespeichert sein und darauf zugegriffen werden, wie im Folgenden erläutert.
Der Bus 150 kann aus allen zur Verbindung von Computersystemen und Komponenten geeigneten physischen oder logischen Mitteln bestehen. Dies schließt ohne Einschränkung auch direkt verdrahtete Verbindungen, Faseroptik, sowie Infrarot- und Drahtlosbustechnologien ein. Während des Betriebs wird das Programm 152 im Speicher 144 abgelegt und vom Prozessor 142 ausgeführt.
Obwohl diese exemplarische Ausführungsform im Kontext eines voll funktionierenden Computersystems beschrieben wird, versteht es sich, dass Fachleute auf diesem Gebiet erkennen werden, dass die Mechanismen der vorliegenden Offenbarung als ein Programmprodukt mit einer oder mehreren Arten von nicht flüchtigen computerlesbaren Signalträgermedien verbreitet werden können, die dazu dienen, das Programm und die zugehörigen Befehle zu speichern und deren Verbreitung auszuführen, z. B. ein nichtflüchtiges computerlesbares Medium, welches das Programm und Computerbefehle enthält, die darin gespeichert sind, um einen Computerprozessor (wie den Prozessor 142) zu veranlassen, das Programm auszuführen. Ein derartiges Programmprodukt kann vielerlei Formen annehmen, wobei die vorliegende Offenbarung in gleicher Weise, unabhängig von der spezifischen für die Verbreitung verwendeten Art von computerlesbarem Signalträgermedium, Anwendung findet. Zu den Beispielen für Signalträgermedien gehören: beschreibbare Medien, wie z. B. Disketten, Festplatten, Speicherkarten und optische Speicherplatten, sowie Übertragungsmedien, wie z. B. digitale und analoge Kommunikationsverbindungen. Es versteht sich, dass cloudbasierte Speicherung und/oder andere Techniken in bestimmten Ausführungsformen auch zur Anwendung kommen können. Ebenso versteht es sich, dass das Computersystem der Steuerung 126 sich auch anderweitig von der in 1 dargestellten Ausführungsform unterscheiden kann, beispielsweise darin, dass das Computersystem der Steuerung 126 mit einem oder mehreren Ferncomputersystemen und/oder anderen Steuerungssystemen verbunden sein oder diese anderweitig nutzen kann.
2 ist ein Flussdiagramm eines Verfahrens 200 zur Beurteilung der Kameraausrichtung für eine Kamera eines Fahrzeugs gemäß einer beispielhaften Ausführungsform. Das Verfahren 200 von 2 kann in Verbindung mit dem Fahrzeug 100, der Kamera 102, dem Steuersystem 108 und den Anzeigen 106 von 1 gemäß einer exemplarischen Ausführungsform implementiert werden. Das Verfahren 200 wird auch in Verbindung mit 3 weiter unten beschrieben, die ein beispielhaftes Anzeigebild 300 von einer der Anzeigen 106 des Fahrzeugs 100 darstellt.
Wie in 2 abgebildet, beginnt das Verfahren bei 202. In einer Ausführungsform beginnt das Verfahren 200, wenn ein Fahr- oder Zündzyklus eines Fahrzeugs beginnt, beispielsweise wenn sich ein Fahrer dem Fahrzeug nähert oder in das Fahrzeug eintritt oder wenn der Fahrer das Fahrzeug einschaltet und/oder eine Zündung dafür betätigt (z. B. durch Betätigen eines Schlüssels mit einer Schlüsselanhänger- oder Starttaste usw.). In einer weiteren Ausführungsform beginnt das Verfahren 200 mit der Aktivierung der Kamera 102 (z. B. wenn sich das Fahrzeug 100 in einem Rückwärtsgang befindet, der den Einsatz einer Rückfahrkamera auslöst usw.). In einer Ausführungsform werden die Schritte des Verfahrens 200 während des Fahrzeugbetriebs kontinuierlich durchgeführt.
Kamerabilder werden erhalten (Schritt 204). Insbesondere werden Kamerabilder für die Kamera 102 von 1 erhalten. Die Bilder werden übertragen und empfangen (Schritt 206). In einer Ausführungsform werden die Bilder von der Kamera 102 von 1 über die Kommunikationsverbindung 109 von 1 an das Steuerungssystem 108 (z. B. die Steuerung 126, einschließlich des Prozessors 142) von 1 übertragen. In bestimmten weiteren Ausführungsformen werden die Bilder über einen oder mehrere Sender-Empfänger, wie beispielsweise den Sender-Empfänger 124 von 1, der Steuerung 108 bereitgestellt.
Die Bilder werden verarbeitet (Schritt 208). In verschiedenen Ausführungsformen werden die Kamerabilder der Schritte 204 und 206 in Schritt 208 verarbeitet, um die Bilder zum Anzeigen gemäß den Bemaßungen einer oder mehrerer Anzeigen von 1 zu schneiden, anzupassen und/oder zu verkleinern. In verschiedenen Ausführungsformen erfolgt die Verarbeitung der Kamerabilder über den Prozessor 142 von 1.
Die Auswertung erfolgt mit Bezug auf Pixel der Kamerabilder (Schritt 210). Speziell in verschiedenen Ausführungsformen werden die Pixel jedes Einzelbildes der Kamerabilder nacheinander vom Prozessor hinsichtlich Farbe und Helligkeit daraufhin analysiert, ob entsprechende Bilder zwischen den verschiedenen Einzelbildern Veränderungen in den entsprechenden Pixeln enthalten (z. B. hinsichtlich Farbe und/oder Helligkeit). Auch in verschiedenen Ausführungsformen wird die Analyse der Pixel durch den Prozessor 142 von 1 ausgeführt. In bestimmten Ausführungsformen wird die Auswertung hinsichtlich der verarbeiteten/gefilterten Bilder von Schritt 208 ausgeführt. In bestimmten anderen Ausführungsformen wird die Auswertung hinsichtlich roher Bilder von Schritten 204 und/oder 206 ausgeführt, d.h. vor der Verarbeitung und/oder Filterung von Schritt 208.
Für die Bilder wird ein unveränderlicher Bereich identifiziert (Schritt 212). Speziell in bestimmten Ausführungsformen wird der unveränderliche Bereich als ein Bereich des Bildes (entweder des Rohbildes der Schritte 204 und 206 oder des verarbeiteten Bildes von Schritt 208 bestimmt), für den festgestellt wurde, dass sich die Pixel nicht ändern (oder für den eine beliebige Änderungsrate der Pixel kleiner als ein vorgegebener Schwellenwert bestimmt wird). In verschiedenen Beispielen der vorliegenden Patentanmeldung bezieht sich „Änderung“ in einem Pixel auf eine Änderung der Farbe oder Helligkeit des Pixels und „Änderungsrate“ in einem Pixel auf eine Änderungsrate der Farbe oder Helligkeit des Pixels. In einer Ausführungsform wird der unveränderliche Bereich basierend auf der Pixelanalyse des Schrittes 210 zwischen aufeinanderfolgenden Bildern der Kamerabilder identifiziert. Ebenso können in bestimmten Ausführungsformen die vorgegebenen Schwellenwerte für die Änderungsrate der Farbe gegenüber der Änderungsrate der Helligkeit unterschiedlich sein. In bestimmten Ausführungsformen kann der unveränderliche Bereich basierend auf vorheriger Kenntnis des Fahrzeugs 100 identifiziert werden, beispielsweise hinsichtlich eines Bereichs des Bildes, der bekanntermaßen zu einem Stoßfänger, einer Säule und/oder anderen Halterung des Fahrzeugs 100 gehört. Auch bei bestimmten Ausführungsformen können auch andere Daten für diese Bestimmung verwendet werden, beispielsweise die Bestätigung, dass die Türen geschlossen sind und der Kofferraum oder die Heckklappe geschlossen ist. Wenn die Kamera beispielsweise in einer Ausführungsform auf dem hinteren Kofferraum montiert ist, können Daten von Sensoren an oder nahe dem hinteren Kofferraum verwendet werden, um zu bestätigen, ob die Türen geschlossen sind und der Kofferraum geschlossen ist (wenn z.B. der Kofferraum geöffnet ist, würden die Bilder nicht analysiert werden, da der Bezugspunkt in einer beispielhaften Ausführungsform nicht vorhanden wäre) und so weiter. Wenn als weiteres Beispiel ein Anhänger mit einem Fahrrad oder Motorrad verbunden ist, kann die Erfassung des Fahrrads oder Motorrads als Teil des Algorithmus zur Erfassung der Anwesenheit oder Abwesenheit eines festen Bezugspunkts verwendet werden, und so weiter.
Zusätzlich wird für die Bilder ein veränderlicher Bereich identifiziert (Schritt 214). Speziell in bestimmten Ausführungsformen wird der veränderliche Bereich als ein Bereich des Bildes (entweder des Rohbildes der Schritte 204 und 206 oder des gefilterten/verarbeiteten Bildes von Schritt 208) bestimmt, für den festgestellt wurde, dass sich die Pixel ändern (oder für den eine beliebige Änderungsrate der Pixel größer als ein vorgegebener Schwellenwert bestimmt wird). Auch ähnlich zur obigen Diskussion mit Bezug auf Schritt 212 bezieht sich in verschiedenen Beispielen der vorliegenden Patentanmeldung eine „Änderung“ in einem Pixel auf eine Änderung der Farbe oder Helligkeit des Pixels und eine „Änderungsrate“ in einem Pixel auf eine Änderungsrate der Farbe oder Helligkeit des Pixels. Ebenso können ähnlich zur obigen Diskussion in bestimmten Ausführungsformen die vorgegebenen Schwellenwerte für die Änderungsrate der Farbe gegenüber der Änderungsrate der Helligkeit unterschiedlich sein. In einer Ausführungsform wird der veränderliche Bereich basierend auf der Pixelanalyse des Schrittes 210 zwischen aufeinanderfolgenden Bildern der Kamerabilder identifiziert. In bestimmten Ausführungsformen kann der veränderliche Bereich basierend auf vorheriger Kenntnis des Fahrzeugs 100 identifiziert werden, beispielsweise hinsichtlich eines Bereichs des Bildes, der bekanntermaßen zu einem Bereich des Bildes gehört, der nicht von einem Stoßfänger, einer Säule und/oder anderen Halterung des Fahrzeugs 100 verdeckt ist. Auch bei bestimmten Ausführungsformen können auch andere Daten für diese Bestimmung verwendet werden, beispielsweise die Bestätigung, dass die Türen geschlossen sind und der Kofferraum oder die Heckklappe geschlossen ist. Wenn die Kamera ähnlich zur obigen Diskussion beispielsweise in einer Ausführungsform auf dem hinteren Kofferraum montiert ist, können Daten von Sensoren an oder nahe dem hinteren Kofferraum verwendet werden, um zu bestätigen, ob die Türen geschlossen sind und der Kofferraum geschlossen ist (wenn z.B. der Kofferraum geöffnet ist, würden die Bilder nicht analysiert werden, da der Bezugspunkt in einer beispielhaften Ausführungsform nicht vorhanden wäre) und so weiter. Wenn als weiteres Beispiel ein Anhänger mit einem Fahrrad oder Motorrad verbunden ist, kann die Erfassung des Fahrrads oder Motorrads als Teil des Algorithmus zur Erfassung der Anwesenheit oder Abwesenheit eines festen Bezugspunkts verwendet werden, und so weiter. In bestimmten Ausführungsformen muss das Referenzbild, mit dem nachfolgende Bilder verglichen werden, nicht notwendigerweise ein erfasstes Bild der Kamera 102 auf dem bestimmten Fahrzeug 100 sein. In bestimmten Ausführungsformen kann das Referenzbild beispielsweise einprogrammiert und im Steuersystem 108 gespeichert sein und von einer unterschiedlichen Kamera stammen oder vom Computer erzeugt sein.
Unter Bezugnahme auf 3 ist ein Anzeigebild 300 dargestellt. In einer Ausführungsform entspricht das Anzeigebild 300 einem rohen Kamerabild entsprechend Schritt 204 und 206. In einer anderen Ausführungsform entspricht das Anzeigebild 300 einem verarbeiteten/gefilterten Kamerabild aus Schritt 208. Wie in 3 dargestellt, enthält das Anzeigebild 300 von 3 sowohl einen unveränderlichen Bereich 302 (z. B. entsprechend Schritt 212 der 2) und einen veränderlichen Bereich 304 (z. B. entsprechend Schritt 214 der 2). Im dargestellten Beispiel von 3 entspricht der unveränderliche Bereich 302 einem hinteren Stoßfänger des Fahrzeugs 100, der einen Teil des Anzeigebildes 300 versperrt, während der veränderliche Bereich 304 den Rest des Anzeigebildes 300 darstellt, der nicht durch den Stoßfänger versperrt wird. Dies kann jedoch in anderen Ausführungsformen variieren.
Wieder Bezug nehmend auf 2 werden zusätzliche Kamerabilder empfangen (Schritt 216). In verschiedenen Ausführungsformen werden zusätzliche Kamerabilder von Kamera 102 der 1 von dem Steuersystem 108 der 1 (z.B. dem Prozessor 142 von 1) empfangen, beispielsweise über die vorstehend mit Bezug auf Schritte 204 und 206 beschriebenen Wege. In bestimmten Ausführungsformen erfolgt der Empfang der Pixel des Schrittes 216 im selben Fahrzeugantriebs- und/oder Zündzyklus der Schritte 204 und 206. In anderen Ausführungsformen erfolgt der Empfang der Pixel des Schrittes 216 in unterschiedlichen Fahrzeugantriebs- und/oder Zündzyklen der Schritte 204 und 206 (z. B. in nachfolgenden Zyklen verglichen mit Schritten 204 und 206).
In einer Ausführungsform werden die zusätzlichen Bilder des Schrittes 216 dann verarbeitet (Schritt 217) ähnlich zur Verarbeitung, die oben in Verbindung mit Schritt 208 beschrieben ist. Zusätzlich werden auch in einer Ausführungsform die Pixel der zusätzlichen Bilder des Schrittes 216 analysiert (Schritt 218) ähnlich zur Analyse, die oben in Verbindung mit Schritt 210 beschrieben ist.
Es erfolgt eine Bestimmung, ob sich Bildpixel des unveränderlichen Bereichs doch ändern (Schritt 220). In einer Ausführungsform enthält Schritt 220 eine Bestimmung, ob der definierte unveränderliche Bereich von Schritt 212 (z.B. entsprechend Bereich 302 der 3) Pixel innerhalb dieses Bereiches enthält, die sich tatsächlich ändern (z.B. eine Änderung der Farbe und/oder Helligkeit erfahren) bezüglich der zusätzlichen Bilder des Schrittes 216 (z.B. wie mit der Analyse von Schritt 218 bestimmt). In bestimmten Ausführungsformen erfolgt die Bestimmung bezüglich der rohen Bilder des Schrittes 216, die in Schritt 218 analysiert sind. In bestimmten anderen Ausführungsformen erfolgt die Bestimmung bezüglich der verarbeiteten/gefilterten Bilder des Schrittes 217, die in Schritt 218 analysiert sind.
In verschiedenen Ausführungsformen werden auch einer oder mehrere vorbestimmte Schwellenwerte für die Bestimmung von Schritt 220 verwendet. Dementsprechend werden in einer derartigen Ausführungsform die Bildpunkte als sich ändernd bestimmt, wenn die bestimmte Änderungsrate der Pixel (z. B. die Änderungsrate der Farbe und/oder Helligkeit der Pixel) über die Analyse von Schritt 218 größer ist als einer oder mehrere vordefinierte Schwellenwerte (z. B. ein erster vorgegebener Schwellenwert für die Änderungsrate der Helligkeit und/oder ein zweiter vorbestimmter Schwellenwert für die Änderungsrate der Farbe). Dies würde beispielsweise dabei helfen, Schatten im unveränderlichen Bereich 302 zu berücksichtigen, die nicht notwendigerweise eine Fehlausrichtung der Kamera 102 andeuten. Wenn zum Beispiel die ermittelte Änderungsrate der Helligkeit und/oder Farbe größer als der jeweilige Schwellenwert ist, dann werden die Bildpunkte als sich ändernd bestimmt. Andernfalls werden die Bildpunkte als unveränderlich bestimmt. Auch in verschiedenen Ausführungsformen erfolgen die Bestimmungen von Schritt 220 durch den Prozessor 142 von 1.
Falls in Schritt 220 bestimmt wird, dass sich die Pixel im unveränderlichen Bereich tatsächlich ändern (z. B. in Farbe und/oder Helligkeit, und/oder die Änderung der Farbe und/oder Helligkeit mit einer Rate erfolgt, die größer ist als der entsprechende vorgegebene Schwellenwert), dann werden Abhilfemaßnahmen getroffen (Schritt 222). Insbesondere wird eine mögliche Fehlausrichtung der Kamera 102 der 1 bestimmt und eine entsprechende Korrektur-Benachrichtigung und/oder andere Aktion ausgeführt. In verschiedenen Ausführungsformen enthält die Abhilfemaßnahme das Setzen eines Flags und die Einleitung eines Diagnosetest-Codes (DTC). In bestimmten Ausführungsformen ist der DTC Code für den Fahrer, Fahrzeugführer und/oder Besitzer des Fahrzeugs 100, den Fahrzeughersteller und/oder einen oder mehrere Service-Vertreter vorgesehen. Auch in bestimmten Ausführungsformen wird eine Anzeige an den Fahrer und/oder andere Insassen des Fahrzeugs über eine oder mehrere Anzeigen 106 des Fahrzeugs 100 von 1 bereitgestellt.
In bestimmten Ausführungsformen können die Aktionen von Schritt 222 das Zurückhalten der Anzeige der Kamerabilder umfassen, solange die Kamera 102 als fehlausgerichtet gilt, und/oder das Justieren der Kamerabilder im Hinblick auf die mögliche Fehlausrichtung. Beispielsweise erfolgen Anpassungen in einer Ausführungsform an den rohen Bildern (z.B. den unverarbeiteten Bildern der Schritte 206 und 208). Wenn beispielsweise in einer Ausführungsform mehr vom Stoßfänger als erwartet (oder im Vergleich zu vorherigeren Bildern) zu sehen ist, dann wird das Beschneiden von Schritt 208 mehr nach oben bewegt, um diesen Effekt zu kompensieren.
Wenn auch in einer Ausführungsform während Schritt 222 ein Bild Pixel enthält, die sich in einem veränderlichen Bereich nicht ändern, dann wird zuerst eine Linse der Kamera gewaschen, um zu gewährleisten, dass kein Schmutz auf der Linse ist und beispielsweise zu gewährleisten, dass nicht ein Blockieren der Linse dieses Problem verursacht. Falls in einer derartigen Ausführungsform ermittelt wird, dass die Linse verschmutzt ist, dann enthält die Benachrichtigung im Schritt 222 eine Nachricht, dass die Kamera verschmutzt und/oder fehlausgerichtet sein kann. Wenn auch bei einer Ausführungsform die Linse als verschmutzt ermittelt ist und die Linse als Teil von Schritt 222 gewaschen wird (beispielsweise über das Düse 105 von 1, über Anweisungen von Prozessor 142 von 1), dann wird die Linse als fehlausgerichtet bestimmt, falls die mögliche Fehlausrichtungs-Messung (z. B. von Schritt 222 und/oder Schritt 224) nach dem Waschen der Linse noch vorhanden ist (und damit weitere Abhilfemaßnahmen wie eine weitere Benachrichtigung und/oder Anpassung der Bilder durchgeführt werden müssen). Wenn andernfalls in einer Ausführungsform die Linse als verschmutzt ermittelt ist und die Linse als Teil von Schritt 222 gewaschen wird, dann wird die Linse als nicht fehlausgerichtet bestimmt, falls die mögliche Fehlausrichtungs-Messung (z. B. von Schritt 222 und/oder Schritt 224) nach dem Waschen der Linse nicht mehr vorhanden ist (und daher keine weitere Abhilfemaßnahmen durchgeführt werden).
Es versteht sich, dass mehrere der oben beschriebenen Benachrichtigungen und/oder anderen Aktionen beispielsweise gleichzeitig und/oder der Reihe nach als Teil von Schritt 222 implementiert werden können. Zusätzlich werden bei verschiedenen Ausführungsformen die Benachrichtigungen und/oder Aktionen von Schritt 222 über Anweisungen durch den Prozessor 142 von 1 implementiert.
Wenn umgekehrt in Schritt 220 bestimmt wird, dass sich die Pixel im unveränderlichen Bereich nicht ändern (z. B. nicht in Farbe und/oder Helligkeit und/oder die Änderung in Farbe und/oder Helligkeit mit einer Rate erfolgt, die niedriger als oder gleich dem entsprechenden vordefinierten Schwellenwert ist), dann wird eine Bestimmung durchgeführt, ob sich Pixel des veränderlichen Bereichs tatsächlich nicht ändern (Schritt 224). In einer Ausführungsform enthält Schritt 224 eine Bestimmung, ob der definierte veränderliche Bereich von Schritt 214 (z.B. entsprechend Bereich 304 der 3) Pixel innerhalb dieses Bereiches enthält, die sich nicht ändern bezüglich der zusätzlichen Bilder des Schrittes 216 (z.B. wie mit der Analyse von Schritt 218 bestimmt). In bestimmten Ausführungsformen erfolgt die Bestimmung bezüglich der rohen Bilder des Schrittes 216, die in Schritt 218 analysiert sind. In bestimmten anderen Ausführungsformen erfolgt die Bestimmung bezüglich der verarbeiteten/gefilterten Bilder des Schrittes 217, die in Schritt 218 analysiert sind.
In verschiedenen Ausführungsformen werden ähnlich zur obigen Diskussion bezüglich Schritt 220 auch einer oder mehrere Schwellenwerte für die Bestimmung von Schritt 224 verwendet. Dementsprechend werden in einer derartigen Ausführungsform die Bildpunkte als unveränderlich bestimmt, wenn die bestimmte Änderungsrate der Pixel (z. B. die Änderungsrate der Farbe und/oder Helligkeit der Pixel) über die Analyse von Schritt 218 kleiner als einer oder mehrere vordefinierte Schwellenwerte ist (z. B. einen ersten vorgegebenen Schwellenwert für die Änderungsrate der Helligkeit und/oder einen zweiten vorbestimmten Schwellenwert für die Änderungsrate der Farbe wie die gleichen vordefinierten Schwellenwerte bei Schritt 220 in einer Ausführungsform). Ähnlich zur obigen Diskussion würde das beispielsweise helfen, zum Beispiel Schatten auf dem veränderlichen Bereich 302 zu berücksichtigen. Wenn zum Beispiel die ermittelte Änderungsrate der Helligkeit und/oder Farbe kleiner als oder gleich dem jeweiligen Schwellenwert ist, dann werden die Bildpunkte als unveränderlich bestimmt. Andernfalls werden die Bildpunkte als sich ändernd bestimmt. In verschiedenen Ausführungsformen erfolgen die Bestimmungen von Schritt 224 auch durch den Prozessor 142 von 1.
Stellt sich in Schritt 224 heraus, dass sich die Pixel im veränderlichen Bereich tatsächlich nicht ändern (z. B. dass sich die Pixel in diesem Bereich nicht in Farbe oder Helligkeit verändern oder die Änderungsrate in Farbe oder Helligkeit niedriger ist als oder gleich dem entsprechenden vordefinierten Schwellenwert, dann setzt das Verfahren mit dem oben beschriebenen Schritt 222 fort. Insbesondere wird, wie oben erörtert, während Schritt 222 eine mögliche Fehlausrichtung der Kamera 102 bestimmt, und geeignete Abhilfemaßnahmen werden unternommen. Wenn umgekehrt im Schritt 224 bestimmt wird, dass sich die Pixel im veränderlichen Bereich ändern (oder die Änderungsrate größer als der jeweiligen vorbestimmten Schwellenwert ist), dann wird keine Kamera-Fehlausrichtung bestimmt, und es erfolgen keine Abhilfemaßnahmen (Schritt 226).
Des Weiteren werden die Kamerabilder angezeigt (Schritt 228). In verschiedenen Ausführungsformen werden die Kamerabilder über eine oder mehrere Anzeigen 106 von 1 aufgrund von Anweisungen durch den Prozessor 142 von 1 angezeigt. In bestimmten Ausführungsformen werden die verarbeiteten/gefilterten Bilder der Schritte 208, 217 angezeigt. In anderen Ausführungsformen werden rohe Bilder von Schritt 204 angezeigt. In verschiedenen Ausführungsformen kann die Anzeige von Schritt 228 rohe und/oder verarbeitete Bilder der Schritte 216-218 entsprechend der zusätzlichen Bilder anzeigen und kann in bestimmten Ausführungsformen auch rohe und/oder verarbeitete Bilder der Schritte 204-210 entsprechend ursprünglicher Kamerabilder enthalten (z. B. insbesondere wenn solche Originalbilder während desselben Fahrzeugfahr- oder Zündzyklus wie die zusätzlichen Bilder angezeigt werden). Ebenfalls in einer Ausführungsform umfasst das Anzeigebild 300 von 3 eine exemplarische Anzeige aus Schritt 228.
Wie in 2 dargestellt, können die Bilder in bestimmten Ausführungsformen im Schritt 228 auch unabhängig davon angezeigt werden, ob Abhilfemaßnahmen im Schritt 222 durchgeführt werden, oder ob im Schritt 224 keine Abhilfemaßnahmen erfolgen. In bestimmten Ausführungsformen können die im Schritt 228 angezeigten Bilder durch Abhilfemaßnahmen beeinflusst sein (z.B. in bestimmten Ausführungsformen können die Bilder als Teil der Abhilfemaßnahmen nicht angezeigt werden und/oder als Teil der Abhilfemaßnahmen kann eine Anpassung der Bilder durchgeführt werden.
Auch wie in 1 dargestellt, setzt das Verfahren in einer Ausführungsform mit Schritt 216 fort. Die Schritte 216-228 werden dann in einer Ausführungsform fortlaufend in einer neuen Wiederholung ausgeführt. In einer Ausführungsform wiederholen sich die Schritte 216-228 vorzugsweise fortlaufend, solange der aktuelle Fahrzeugantrieb oder Zündzyklus in Betrieb ist und/oder solange die Kamera 102 verwendet wird, unter anderen möglichen Variationen in verschiedenen Ausführungsformen.
Dementsprechend bieten die Systeme, Fahrzeuge und hierin beschriebenen Verfahren eine Beurteilung der möglichen Fehlausrichtung einer Kamera eines Fahrzeugs. Insbesondere bei verschiedenen Ausführungsformen wird eine Pixel-Auswertung der Kamerabilder genutzt, um die Änderungsrate oder fehlende Änderungsrate in bestimmten Pixelbereichen zu verfolgen und zum Erkennen zu verwenden, ob eine Fahrzeugkamera falsch ausgerichtet ist. Entsprechende Aktionen werden durchgeführt, wenn die Kamera als fehlausgerichtet angesehen wird.
Es versteht sich, dass die offenbarten Systeme, Fahrzeuge und Verfahren von denjenigen abweichen können, die in den Figuren dargestellt und hierin beschrieben sind. Es können beispielsweise das Fahrzeug 100, die Kamera 102, die Anzeigen 106, das Steuerungssystem 108 und/oder verschiedene Komponenten derselben von den in den 1-3 dargestellten und in Verbindung damit beschriebenen abweichen. In ähnlicher Weise versteht es sich, dass die Schritte des Verfahrens 200 von den in 2 und 3 dargestellten abweichen können und/oder dass verschiedene Schritte des Verfahrens 200 gleichzeitig und/oder in einer anderen Reihenfolge als in 2 und 3 in verschiedenen Ausführungsformen auftreten können.
Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims

Verfahren, umfassend: das Erhalten von Kamerabildern für eine Kamera, die an einem Fahrzeug montiert ist, wobei jedes der Kamerabilder eine Vielzahl von Pixeln beinhaltet; durch einen Prozessor die Analyse der Pixel der Kamerabilder bezüglich Farbe, Helligkeit oder beidem; und über den Prozessor das Bestimmen, ob die Kamera basierend auf der Analyse der Farbe, Helligkeit oder beidem der Pixel in ihrer Montage am Fahrzeug fehlausgerichtet ist.
Verfahren nach Anspruch 1, des Weiteren umfassend: das Definieren eines unveränderlichen Bereichs der Kamerabilder, wo die Pixel unverändert erwartet werden; und das Definieren eines veränderlichen Bereichs der Kamerabilder, wo die Pixel veränderlich erwartet werden; wobei das Bestimmen, ob die Kamera fehlausgerichtet ist, auf der Definition des unveränderlichen Bereichs, des veränderlichen Bereichs der Kamerabilder oder beidem basiert.
Das Verfahren nach Anspruch 2, wobei die Bestimmung, ob die Kamera fehlausgerichtet ist, umfasst: das Bestimmen, dass die Kamera fehlausgerichtet ist, wenn sich die Pixel des unveränderlichen Bereichs ändern, die Pixel des veränderlichen Bereiches sich nicht ändern oder beides.
Verfahren nach Anspruch 3, ferner umfassend: das Bestimmen, dass die Kamera nicht fehlausgerichtet ist, wenn sich die Pixel des unveränderlichen Bereichs nicht ändern, die Pixel des veränderlichen Bereiches sich ändern oder beides.
Verfahren nach Anspruch 4, worin: die Pixel als sich ändernd bestimmt werden, wenn eine Änderungsrate der Helligkeit einen ersten vorbestimmten Schwellenwert übersteigt, eine Änderungsrate der Farbe einen zweiten vorbestimmten Schwellenwert übersteigt oder beides; und die Pixel als unveränderlich bestimmt werden, wenn die Änderungsrate der Helligkeit den ersten vorbestimmten Schwellenwert nicht übersteigt, die Änderungsrate der Farbe den zweiten vorbestimmten Schwellenwert nicht übersteigt oder beides.
Verfahren nach Anspruch 4, worin: der unveränderliche Bereich und der veränderliche Bereich durch Auswertung eines ersten Satzes von Pixeln mit einem ersten Satz von Kamerabildern bestimmt werden; und die Bestimmungen, ob sich die Pixel des unveränderlichen Bereichs ändern und ob sich die Pixel des veränderlichen Bereichs nicht ändern, auf Basis der Auswertung eines zweiten Satzes von Pixeln aus einem zweiten Satz von Kamerabildern erfolgen, die nach dem ersten Satz von Kamerabildern erhalten wurden.
Verfahren nach Anspruch 2, worin: der unveränderliche Bereich und der veränderliche Bereich durch den Prozessor mit Informationen bezüglich eines festen Objekts am Fahrzeug bestimmt werden, welches den unveränderlichen Bereich verdeckt, aber den veränderlichen Bereich der Kamerabilder nicht verdeckt.
Verfahren nach Anspruch 1, des Weiteren umfassend: das Erfassen über den Prozessor, ob eine Linse der Kamera verschmutzt ist, basierend auf der Analyse der Farbe, Helligkeit oder beidem der Pixel.
System, umfassend: eine Kommunikationsverbindung zum Erhalten von Kamerabildern für eine Kamera, die an einem Fahrzeug montiert ist, wobei jedes der Kamerabilder eine Vielzahl von Pixeln enthält; und einen Prozessor, der so konfiguriert ist, dass er mindestens Folgendes erleichtert: die Analyse der Pixel der Kamerabilder bezüglich Farbe, Helligkeit oder beidem; und das Bestimmen, ob die Kamera basierend auf der Analyse der Farbe, Helligkeit oder beidem der Pixel in ihrer Montage am Fahrzeug fehlausgerichtet ist.
Fahrzeug, umfassend: eine Karosserie; eine auf der Karosserie angebrachte Kamera zum Erzeugen von Kamerabildern, jedes der Kamerabilder eine Vielzahl von Pixeln enthaltend; und einen Prozessor, der so konfiguriert ist, dass er mindestens Folgendes erleichtert: die Analyse der Pixel der Kamerabilder bezüglich Farbe, Helligkeit oder beidem; und das Bestimmen, ob die Kamera basierend auf der Analyse der Farbe, Helligkeit oder beidem der Pixel in ihrer Montage am Fahrzeug fehlausgerichtet ist.