DE112021006402T5

DE112021006402T5 - Schätzung von Automatikbelichtungswerten einer Kamera durch Priorisieren eines Objekts von Interesse auf Basis von kontextuellen Eingaben aus 3D-Karten

Info

Publication number: DE112021006402T5
Application number: DE112021006402.9T
Authority: DE
Inventors: Neetu Agarwal; Ravi Basavaraj; Richard L. Kwant
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-12-11
Filing date: 2021-11-08
Publication date: 2023-10-12
Also published as: WO2022125232A1; US11983935B2; US11562572B2; CN116601681A; US20220188553A1; US20230118105A1

Abstract

Es werden Systeme und Verfahren zum Betreiben eines Fahrzeugs bereitgestellt. Das Verfahren umfasst - durch ein Fahrzeugsteuerungssystem des Fahrzeugs - das Identifizieren von Kartendaten für einen aktuellen Standort des Fahrzeugs unter Verwendung eines Standorts des Fahrzeugs sowie von Posen- und Trajektoriendaten für das Fahrzeug, das Identifizieren eines Sichtfelds einer Kamera des Fahrzeugs und Analysieren der Kartendaten, um ein Objekt zu identifizieren, das sich voraussichtlich im Sichtfeld der Kamera befindet. Das Verfahren umfasst ferner, basierend auf (a) einer Klasse des Objekts, (b) Merkmalen eines interessierenden Bereichs im Sichtfeld des Fahrzeugs oder (c) beidem, das Auswählen einer automatischen Belichtungseinstellung (AE) für die Kamera. Das Verfahren beinhaltet außerdem, die Kamera zu veranlassen, die AE-Einstellung zu verwenden, wenn Bilder des Objekts aufgenommen werden, und die Kamera zu verwenden, um Bilder des Objekts aufzunehmen.

Description

QUERVERWEIS UND PRIORITÄTSANSPRUCH
Dieses Patentdokument beansprucht die Priorität der US-Patentanmeldung Nr. 17/118,768 , eingereicht am 11. Dezember 2020, die durch Bezugnahme in ihrer Gesamtheit hierin aufgenommen wird.
HINTERGRUND
Erklärung des technischen Bereichs
Die vorliegende Offenbarung bezieht sich auf die Objektidentifizierung und insbesondere auf die Schätzung von Kamerabelichtungswerten durch Identifizierung und Priorisierung interessierender Objekte.
Hintergrund
Die Objekterkennung und -analyse ist für ein effizientes Fahren von entscheidender Bedeutung, insbesondere bei automatischen Fahrzeugen. Ein solcher Objekttyp, der besondere Sorgfalt bei der Identifizierung und Analyse erfordert, stellen Verkehrsampeln dar. Verkehrsampeln (oder auch Verkehrssignale oder Verkehrssignalanlagen) zeigen an, wann es für Fahrzeuge die gesetzliche und angemessene Zeit ist, bestimmte Kreuzungen oder andere Regionen zu passieren oder in sie einzufahren. Aus diesem Grund benötigen autonome Fahrzeuge die Fähigkeit, Verkehrssignale genau zu erkennen und zu analysieren.
Verkehrssignalgeräte können mit Standardtechniken zur Objekterkennung erkannt werden, und im Bereich selbstfahrender oder autonomer Autos oder anderer Fahrzeuge werden häufig tiefe neuronale Netze zur Objekterkennung und -klassifizierung verwendet. Bei einer typischen Objekterkennungsaufgabe wird ein neuronales Netzwerk so konfiguriert, dass es eine beliebige Anzahl von Objekten in einer Szene lokalisiert. Da Verkehrssignalanlagen oft kartiert werden, kann es sein, dass einige Vorkenntnisse an einem bestimmten Standort bekannt sind. Beispiele hierfür sind, welche Art oder Typen von Objekten in der Szene vorhanden sein sollten und welche ungefähren Größen sie haben.
Das Betrachten und Isolieren einer Verkehrssignalanlage von Akteuren und/oder anderen Objekten in einer Szene ist nicht unbedingt ein einfacher Prozess. Statische Objekte sind möglicherweise nur aus einem bestimmten Ort und Winkel sichtbar, was es schwierig macht, das statische Objekt zu isolieren und zu analysieren. Darüber hinaus ist die Beleuchtung in realen Szenarien nicht immer perfekt. Die automatischen Belichtungseinstellungen des Kamerasystems eines Fahrzeugs können für die Aufnahme von Bildern bestimmter Zielklassen (z.B. Verkehrsampeln oder Fußgänger) optimiert werden. Die Optimierung der Belichtungseinstellungen für eine Klasse kann jedoch die Erkennung anderer Objektklassen im Bild zu einer Herausforderung machen. Darüber hinaus können beispielsweise Gegenstände in Bereichen mit wenig Licht und/oder hohem Dynamikbereich positioniert sein. Es ist eine Herausforderung, alle Details in einem von Kamerasensoren aufgenommenen Bild bei schlechten Lichtverhältnissen oder Szenen mit hohem Dynamikbereich beizubehalten. Mangelnde Details und Informationsverluste stellen zusammen eine Herausforderung für die Erkennung, Klassifizierung und/oder anderweitige auf künstlicher Intelligenz (AI) basierte Verarbeitung von interessierenden Objekten dar, wie z.B. Verkehrsampeln, Tunnel-Ein- oder -ausfahrten, Fußgänger usw.
Daher ist zumindest aus diesen Gründen eine bessere Methode zur effizienten und genauen Erkennung und Klassifizierung von Objekten in Szenen erforderlich, unabhängig von der Beleuchtung oder dem Dynamikbereich.
ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß verschiedenen Aspekten der vorliegenden Offenbarung wird ein Verfahren zum Betreiben eines Fahrzeugs bereitgestellt. Das Verfahren umfasst - durch ein Fahrzeugsteuerungssystem des Fahrzeugs - das Identifizieren von Kartendaten für einen aktuellen Standort des Fahrzeugs unter Verwendung eines Standorts des Fahrzeugs sowie von Posen- und Trajektoriendaten für das Fahrzeug, das Identifizieren eines Sichtfelds einer Kamera des Fahrzeugs, und Analysieren der Kartendaten, um ein Objekt zu identifizieren, das sich voraussichtlich im Sichtfeld der Kamera befindet. Das Verfahren umfasst ferner, basierend auf (a) einer Klasse des Objekts, (b) Merkmalen eines interessierenden Bereichs im Sichtfeld des Fahrzeugs oder (c) beidem, das Auswählen einer automatischen Belichtungseinstellung (AE) für das Kamera. Das Verfahren beinhaltet außerdem, die Kamera zu veranlassen, die AE-Einstellung zu verwenden, wenn Bilder des Objekts aufgenommen werden, und die Kamera zu verwenden, um die Bilder des Objekts aufzunehmen.
Gemäß verschiedenen Ausführungsformen umfasst das Auswählen der AE-Einstellung außerdem die Verwendung der Kartendaten zum Bestimmen des interessierenden Bereichs im Sichtfeld der Kamera und das Analysieren eines Bildes des Sichtfelds der Kamera, das die Kamera aufgenommen hat, um Folgendes zu bestimmen: Luminanzniveau eines oder mehrerer Pixel innerhalb des interessierenden Bereichs. Der interessierende Bereich ist ein Bereich des Sichtfelds der Kamera, in dem das Objekt voraussichtlich enthalten ist.
Gemäß verschiedenen Ausführungsformen umfasst die Auswahl der AE-Einstellung außerdem die Bestimmung, ob der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs mit einem Zielpegel übereinstimmt bzw. zu diesem passt („matching“).
Gemäß verschiedenen Ausführungsformen umfasst das Verfahren ferner das Analysieren des Objekts, um Daten zu dem Objekt zu erfassen, wenn festgestellt wird, dass der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs mit dem Zielpegel übereinstimmt bzw. zu diesem passt.
Gemäß verschiedenen Ausführungsformen umfasst das Verfahren außerdem eine Anpassung der AE-Einstellungen, sodass eine Luminanz der Pixel im Bild des Sichtfelds mit dem Zielniveau der Kamera konsistent sind, wenn festgestellt wird, dass der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs nicht mit dem Zielpegel übereinstimmt bzw. nicht zu diesem passt.
Gemäß verschiedenen Ausführungsformen umfasst das Verfahren weiterhin das Bestimmen einer Klasse des Objekts. Gemäß verschiedenen Ausführungsformen umfasst das Verfahren weiterhin das Bestimmen des interessierenden Bereichs.
Gemäß verschiedenen Ausführungsformen umfasst das Verfahren außerdem das Bestimmen des Standorts des Fahrzeugs und das Empfangen der Posen- und Trajektoriendaten des Fahrzeugs von einem oder mehreren Fahrzeugsensoren.
Gemäß verschiedenen Ausführungsformen ist das Fahrzeug ein autonomes Fahrzeug.
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung wird ein Verfahren zum Betreiben eines Fahrzeugs bereitgestellt. Das Verfahren umfasst - durch ein Fahrzeugsteuerungssystem eines Fahrzeugs - das Bestimmen einer Trajektorie des Fahrzeugs, das Identifizieren von Kartendaten für einen aktuellen Standort des Fahrzeugs und das Analysieren der Kartendaten, um ein Objekt zu identifizieren, das sich voraussichtlich in einem Blickfeld einer Kamera des Fahrzeugs befindet, und Bestimmen einer Klasse des Objekts. Das Verfahren umfasst außerdem, basierend auf (a) einer Klasse des Objekts, (b) den Eigenschaften eines interessierenden Bereichs im Sichtfeld der Kamera oder (c) beidem, die Auswahl einer automatischen Belichtungseinstellung (AE) für die Kamera. Das Verfahren umfasst außerdem, dass die Kamera beim Aufnehmen von Bildern des Objekts die AE-Einstellung verwendet.
Gemäß verschiedenen Ausführungsformen ist der interessierende Bereich ein Bereich des Sichtfelds der Kamera, der voraussichtlich das Objekt enthält.
Gemäß verschiedenen Ausführungsformen umfasst das Verfahren außerdem das Analysieren eines Bildes des Sichtfelds der Kamera, das die Kamera aufgenommen hat, um einen Luminanzpegel eines oder mehrerer Pixel innerhalb des interessierenden Bereichs zu bestimmen.
Gemäß verschiedenen Ausführungsformen umfasst die Auswahl der AE-Einstellung außerdem die Bestimmung, ob der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs mit einem Zielpegel übereinstimmt bzw. zu diesem passt.
Gemäß verschiedenen Ausführungsformen umfasst das Verfahren ferner das Analysieren des Objekts, um Daten zu dem Objekt zu erfassen, wenn festgestellt wird, dass der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs mit dem Zielpegel übereinstimmt bzw. zu diesem passt.
Gemäß verschiedenen Ausführungsformen umfasst das Verfahren außerdem, wenn festgestellt wird, dass der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs nicht mit dem Zielpegel übereinstimmt bzw. nicht zu diesem passt, das Anpassen der AE-Einstellungen, sodass eine Luminanz der Pixel im Bild des Kamerasichtfelds mit dem Zielniveau konsistent ist.
Gemäß verschiedenen Ausführungsformen umfasst das Identifizieren von Kartendaten die Verwendung der Trajektorie zum Identifizieren der Kartendaten.
Gemäß verschiedenen Ausführungsformen umfasst das Verfahren ferner das Empfangen von Posen- und Trajektoriendaten für das Fahrzeug von einem oder mehreren Fahrzeugsensoren.
Gemäß verschiedenen Ausführungsformen ist das Fahrzeug ein autonomes Fahrzeug.
KURZE BESCHREIBUNG DER ZEICHNUNGEN

1 veranschaulicht beispielhafte Elemente eines autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung.
2 veranschaulicht ein von einer Kamera eines autonomen Fahrzeugs (AV) aufgenommenes Bild gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung.
Die 3-4 veranschaulichen ein Flussdiagramm eines Verfahrens zum Betreiben eines Fahrzeugs gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung.
5 ist eine Darstellung verschiedener Elemente eines beispielhaften Computergeräts gemäß der vorliegenden Offenbarung.

DETAILLIERTE BESCHREIBUNG
Die in diesem Dokument verwendeten Singularformen „ein / eine“ und „der / die / das“ sollen auch Pluralverweise einschließen, sofern der Kontext nicht eindeutig etwas anderes erfordert. Sofern nicht anders definiert, haben alle hier verwendeten technischen und wissenschaftlichen Begriffe die gleiche Bedeutung, wie sie von einem Fachmann allgemein verstanden wird. Wie in diesem Dokument verwendet, soll der Begriff „umfassend“ im Sinne von „einschließend“ verstanden werden, aber nicht beschränkt hierauf. Definitionen für zusätzliche Begriffe, die für dieses Dokument relevant sind, finden sich am Ende dieser detaillierten Beschreibung.
Ein „elektronisches Gerät“ oder ein „Computergerät“ bezieht sich auf ein Gerät, das einen Prozessor und einen Speicher enthält. Jedes Gerät verfügt möglicherweise über einen eigenen Prozessor und/oder Speicher, oder der Prozessor und/oder Speicher kann mit anderen Geräten gemeinsam genutzt werden, wie in einer virtuellen Maschine oder Containeranordnung. Der Speicher enthält oder empfängt Programmieranweisungen, die bei Ausführung durch den Prozessor, das elektronische Gerät veranlassen, einen oder mehrere Vorgänge gemäß den Programmieranweisungen auszuführen.
Die Begriffe „Speicher“, „Speichergerät“, „Datenspeicher“, „Datenspeichereinrichtung“ und dergleichen beziehen sich jeweils auf ein nichtflüchtiges Gerät, auf dem computerlesbare Daten, Programmieranweisungen oder beides gespeichert sind. Sofern nicht ausdrücklich anders angegeben, sollen die Begriffe „Speicher“, „Speichergerät“, „Datenspeicher“, „Datenspeichereinrichtung“ und dergleichen Ausführungsformen mit einem einzelnen Gerät, Ausführungsformen, in denen mehrere Speichergeräte zusammen oder gemeinsam einen Satz von Daten oder Anweisungen speichern sowie einzelne Sektoren innerhalb solcher Geräte umfassen.
Die Begriffe „Prozessor“ und „Verarbeitungsgerät“ beziehen sich auf eine Hardwarekomponente eines elektronischen Geräts, die zur Ausführung von Programmieranweisungen konfiguriert ist. Sofern nicht ausdrücklich anders angegeben, soll der Singular-Begriff „Prozessor“ oder „Verarbeitungsgerät“ sowohl Ausführungsformen mit einem einzelnen Verarbeitungsgerät als auch Ausführungsformen umfassen, bei denen mehrere Verarbeitungsgeräte gemeinsam oder kollektiv einen Prozess ausführen.
Der Begriff „Fahrzeug“ bezieht sich auf jedes bewegliche Fortbewegungsmittel, das einen oder mehrere menschliche Insassen und/oder Fracht befördern kann und durch irgendeine Form von Energie angetrieben wird. Der Begriff „Fahrzeug“ umfasst unter anderem Autos, Lastwagen, Transporter, Züge, autonome Fahrzeuge, Flugzeuge, Flugdrohnen und dergleichen. Ein „autonomes Fahrzeug“ ist ein Fahrzeug mit einem Prozessor, Programmieranweisungen und Antriebsstrangkomponenten, die vom Prozessor gesteuert werden können, ohne dass ein menschlicher Bediener erforderlich ist. Ein autonomes Fahrzeug kann völlig autonom sein, da es für die meisten oder alle Fahrbedingungen und -funktionen keinen menschlichen Bediener benötigt. Alternativ kann es insofern teilautonom sein, als unter bestimmten Bedingungen oder für bestimmte Vorgänge ein menschlicher Bediener erforderlich sein kann, oder ein menschlicher Bediener kann das autonome System des Fahrzeugs außer Kraft setzen und die Kontrolle über das Fahrzeug übernehmen, oder es kann ein von Menschen bedientes Fahrzeug sein Fahrzeug, das mit einem fortschrittlichen Fahrerassistenzsystem ausgestattet ist.
Wenn in diesem Dokument Begriffe wie „erster“ und „zweiter“ zum Modifizieren eines Substantivs verwendet werden, dient diese Verwendung lediglich dazu, ein Element von einem anderen zu unterscheiden, und ist nicht dazu gedacht, eine sequenzielle Reihenfolge zu erfordern, sofern nicht ausdrücklich angegeben. Darüber hinaus sollen Begriffe der relativen Position wie „vertikal“ und „horizontal“ oder „vorne“ und „hinten“, wenn sie verwendet werden, relativ zueinander verstanden werden und müssen nicht absolut sein und beziehen sich nur auf eine mögliche Position des Geräts, das mit diesen Begriffen verknüpft ist, abhängig von der Ausrichtung des Geräts.
1 veranschaulicht eine beispielhafte Systemarchitektur 100 für ein Fahrzeug, beispielsweise ein autonomes Fahrzeug (AV). Das Fahrzeug kann eine Brennkraftmaschine oder einen Motor 102 und verschiedene Sensoren zum Messen verschiedener Parameter des Fahrzeugs und/oder seiner Umgebung umfassen. Betriebsparametersensoren, die beiden Fahrzeugtypen gemeinsam sind, umfassen beispielsweise: einen Positions-/Bewegungssensor 136, wie einen Beschleunigungsmesser, ein Gyroskop und/oder eine Trägheitsmesseinheit (IMU); einen Geschwindigkeitssensor 138 und einen Kilometerzählersensor 140. Das Fahrzeug kann auch über eine Uhr oder einen Taktgeber 142 verfügen, die bzw. der die Systemarchitektur 100 verwendet, um die Fahrzeugzeit während des Betriebs zu bestimmen. Die Uhr bzw. der Taktgeber 142 kann im Bordcomputergerät 110 des Fahrzeugs codiert sein, es kann sich um ein separates Gerät handeln oder es können mehrere Taktgeber verfügbar sein.
Das Fahrzeug kann auch verschiedene Sensoren umfassen, die dazu dienen, Informationen über die Umgebung zu sammeln, in der sich das Fahrzeug bewegt. Zu diesen Sensoren können zum Beispiel gehören: ein Standort- und/oder Positionssensor 160, wie etwa ein GPS-Gerät; Kraftstoffsensoren; Anwesenheitssensoren; Objekterkennungssensoren wie eine oder mehrere Kameras 162; ein LiDAR-Sensorsystem (Light Detection and Ranging) 164 und/oder ein Radar und/oder ein Sonarsystem 166. Zu den Sensoren können auch Umgebungssensoren 168 gehören, etwa ein Niederschlagssensor, ein Feuchtigkeitssensor und/oder ein Umgebungstemperatursensor. Mithilfe der Objekterkennungssensoren kann das Fahrzeug möglicherweise Objekte erkennen, die sich in einer bestimmten Entfernung oder Reichweite des Fahrzeugs in einer beliebigen Richtung befinden, während die Umgebungssensoren Daten über die Umgebungsbedingungen innerhalb des Fahrbereichs des Fahrzeugs sammeln. Die Systemarchitektur 100 umfasst außerdem eine oder mehrere Kameras 162 zum Erfassen von Bildern der Umgebung. Die Sensordaten können Informationen umfassen, die den Standort von Objekten in der Umgebung des AV beschreiben, Informationen über die Umgebung selbst, Informationen über die Bewegung des AV, Informationen über eine Route des AV oder Ähnliches. Während sich das AV über eine Oberfläche bewegt, können zumindest einige der Sensoren Daten über die Oberfläche sammeln.
Während des Betriebs werden Informationen von den Sensoren an ein Bordcomputergerät 110 übermittelt. Das Bordcomputergerät 110 analysiert die von den Sensoren erfassten Daten und steuert optional den Betrieb des Fahrzeugs basierend auf den Ergebnissen der Analyse. Beispielsweise kann das Bordcomputergerät 110 das Bremsen über eine Bremssteuerung 122 steuern; die Fahrtrichtung über eine Lenksteuerung 124; die Geschwindigkeit und die Beschleunigung über eine Drosselklappensteuerung 126 (in einem kraftstoffbetriebenen Fahrzeug) oder einen Motorgeschwindigkeitsregler 128 (z.B. einen Stromniveauregler in einem Elektrofahrzeug); eine Differenzialgetriebesteuerung 130 (in Fahrzeugen mit Getrieben) und/oder es können andere Steuergeräte, wie etwa ein Hilfsgerätesteuerung 154 vorgesehen sein. Das Bordcomputergerät 110 kann einen autonomen Fahrzeugnavigationscontroller (AVNC) (oder ein Steuerungssystem) 120 umfassen, der bzw. das so konfiguriert ist, dass er bzw. es die Navigation des Fahrzeugs insbesondere über eine Kreuzung hinweg steuert. In einigen Ausführungsformen kann die Kreuzung Verkehrssignale umfassen. In einigen Ausführungsformen kann eine Kreuzung einen intelligenten Knoten umfassen. In einigen Ausführungsformen kann das Bordcomputergerät 110 dazu konfiguriert sein, einen Modus (einen erweiterten Wahrnehmungsmodus und einen nicht erweiterten Wahrnehmungsmodus) basierend darauf zu wechseln, ob erweiterte Wahrnehmungsdaten (Augmented Perception Data, APD) verfügbar sind, wenn sich das Fahrzeug in Reichweite einer Kreuzung befindet.
Geografische Standortinformationen können vom Standortsensor 160 an das Bordcomputergerät 110 übermittelt werden, das dann auf eine Karte der Umgebung zugreifen kann, die den Standortinformationen entspricht, um bekannte feste Merkmale der Umgebung wie Straßen, Gebäude, Haltestellen, Schilder und/oder Stop-/Go-Signale zu bestimmen. Von den Kameras 162 erfasste Bilder und/oder von Sensoren, wie einem LiDAR-System 164, erfasste Objekterkennungsinformationen werden von diesen Sensoren an das Bordcomputergerät 110 übermittelt. Die Objekterkennungsinformationen und/oder die erfassten Bilder können vom Bordcomputergerät 110 verarbeitet werden, um Objekte in der Nähe des Fahrzeugs zu erkennen. Zusätzlich oder alternativ kann das Fahrzeug beliebige Daten zur Verarbeitung an ein Remote-Serversystem übertragen. In den in diesem Dokument offenbarten Ausführungsformen kann jede bekannte oder zukünftig bekannt werdende Technik zur Durchführung einer Objekterkennung auf der Grundlage von Sensordaten und/oder erfassten Bildern verwendet werden.
Das Radarsystem kann als Objekterkennungssystem betrachtet werden, das so konfiguriert sein kann, dass es Funkwellen verwendet, um Eigenschaften des Objekts, wie etwa Entfernung, Höhe, Richtung oder Geschwindigkeit des Objekts, zu bestimmen. Das Radarsystem kann so konfiguriert sein, dass es Impulse von Radiowellen oder Mikrowellen sendet, die von jedem Objekt auf dem Weg der Wellen reflektiert werden können. Das Objekt kann einen Teil der Energie der Wellen an einen Empfänger (z.B. eine Parabolschüssel oder eine Antenne) zurücksenden, der ebenfalls Teil des Radarsystems sein kann. Das Radarsystem kann auch so konfiguriert sein, dass es eine digitale Signalverarbeitung der empfangenen Signale durchführt (die vom Objekt reflektiert werden) und kann so konfiguriert sein, dass es das Objekt identifiziert. Die empfangenen Signale oder Radarinformationen können beispielsweise Aufschluss über die Dimensionseigenschaften einer bestimmten Oberfläche geben.
Das LiDAR-System 164 kann einen Sensor umfassen, der dazu konfiguriert ist, Objekte in einer Umgebung, in der sich das AV befindet, mithilfe von Licht zu erfassen oder zu erkennen. Im Allgemeinen ist das LiDAR-System 164 ein Gerät mit optischer Fernerkundungstechnologie, das die Entfernung zu einem Ziel oder andere Eigenschaften eines Ziels (z.B. einer Bodenoberfläche) messen kann, indem es das Ziel mit Licht beleuchtet. Beispielsweise kann das LiDAR-System 164 eine Laserquelle und/oder einen Laserscanner, der zum Aussenden von Laserimpulsen konfiguriert ist, und einen Detektor umfassen, der so konfiguriert ist, dass er Reflexionen der Laserimpulse empfängt. Beispielsweise kann das LiDAR-System 164 einen Laser-Entfernungsmesser umfassen, der von einem rotierenden Spiegel reflektiert wird, wobei der Laser eine zu digitalisierende Szene in einer, zwei oder mehr Dimensionen scannt und Entfernungsmessungen in bestimmten Winkelintervallen vornimmt. Das LiDAR-System 164 kann beispielsweise so konfiguriert sein, dass es Laserimpulse als Strahl aussendet und den Strahl scannt, um zweidimensionale oder dreidimensionale Entfernungsmatrizen zu erzeugen. In einem Beispiel können die Entfernungsmatrizen verwendet werden, um die Entfernung zu einem bestimmten Fahrzeug oder einer bestimmten Oberfläche zu bestimmen, indem die Zeitverzögerung zwischen der Übertragung eines Impulses und der Erkennung eines entsprechenden reflektierten Signals gemessen wird. In einigen Beispielen kann mehr als ein LiDAR-System 164 mit dem ersten Fahrzeug gekoppelt sein, um einen vollständigen 360°-Horizont des ersten Fahrzeugs zu scannen. Das LiDAR-System 164 kann so konfiguriert sein, dass es dem Computergerät eine Punktdatenwolke bereitstellt, die die vom Laserstrahl berührte(n) Oberfläche(n) auf der Straße darstellt. Die Punkte können vom LiDAR-System 164 zusätzlich zur Entfernung auch in Form von Azimut- und Höhenwinkeln dargestellt werden, die in (X, Y, Z)-Punktdaten relativ zu einem am Fahrzeug angebrachten lokalen Koordinatensystem umgewandelt werden können. Darüber hinaus kann das LiDAR-System 164 so konfiguriert sein, dass es Intensitätswerte des von der Straßenoberfläche reflektierten Lichts oder Lasers liefert, die auf einen Oberflächentyp hinweisen können. In Beispielen kann das LiDAR-System 164 Komponenten wie eine Lichtquelle (z.B. Laser), einen Scanner und eine Optik, eine Fotodetektor- und Empfängerelektronik sowie ein Positions- und Navigationssystem umfassen. In einem Beispiel kann das LiDAR-System 164 so konfiguriert sein, dass es ultraviolettes (UV), sichtbares oder infrarotes Licht verwendet, um Objekte abzubilden, und mit einer Vielzahl von Zielen, einschließlich nichtmetallischen Objekten, verwendet werden kann. In einem Beispiel kann ein schmaler Laserstrahl verwendet werden, um physikalische Merkmale eines Objekts mit hoher Auflösung abzubilden.
Bei einer Kamera 162 kann es sich um eine beliebige Kamera (z.B. eine Standbildkamera, eine Videokamera usw.) handeln, die zum Aufnehmen von Bildern der Umgebung konfiguriert ist, in der sich das AV befindet. Die Kameras 162 können verwendet werden, um andere Details der Objekte zu erfassen, die andere Sensoren nicht erfassen können. Darüber hinaus kann ein Paar Kameras 162 verwendet werden, um mithilfe von Methoden wie Triangulation den Abstand zwischen den Kameras und der Oberfläche zu bestimmen, über die sich das AV bewegt.
Es ist zu beachten, dass die Sensoren zum Sammeln von Daten über die Oberfläche auch in anderen Systemen als dem AV enthalten sein können, wie beispielsweise - aber nicht beschränkt auf - in anderen Fahrzeugen (autonom oder fahrergesteuert), in Form von Boden- oder Luftvermessungssystemen, in Form von Satelliten, von luftgestützten Kameras, von Infrarot-Sensorgeräten, in Form von anderen Robotern, Maschinen od. dgl.
Um eine Kollision mit einem oder mehreren stationären Objekten oder sich bewegenden Akteuren zu vermeiden und um die Einhaltung relevanter Verkehrsgesetze und -vorschriften sicherzustellen, muss ein AV darauf programmiert werden, einer Route zu folgen, die dynamisch an die Straße und alle externen Objekte und/oder Akteure angepasst werden kann, auf die dem AV unterkommen. Beispielsweise kann die Trajektorie des AV durch einen Routenplaner und einen bordeigenen Protokollstack bestimmt werden. Gemäß verschiedenen Ausführungsformen kann der Routenplaner durch das AV-Steuerungssystem 120 gesteuert werden.
Das AV kann mithilfe verschiedener Kameras 136, Bewegungssensoren 138, 140 und/oder anderer Erfassungsgeräte 142, 160, 162, 164, 166, 168, die Daten rund um das AV erfassen und verschiedene Informationen über seine Umgebung erhalten. In verschiedenen Ausführungsformen kann das AV jedoch Informationen zu einer Umgebung erhalten, bevor es eine Umgebung betritt. Beispielsweise kann der Routenplaner eine Karte eines Bereichs einbeziehen, der das AV umgibt oder im Begriff ist, es zu umgeben, und so das AV vorab mit Informationen über die Umgebung versorgen. Dies hilft bei der Vorhersage der Position eines oder mehrerer statischer Objekte entlang der Trajektorie des AV. Zu diesen statischen Objekten können beispielsweise Verkehrssignale, Brücken, Tunnel, Barrieren oder andere physische Hindernisse und/oder Ähnliches gehören. Die Standort- und Positionsdaten dieser statischen Objekte, möglicherweise in Verbindung mit Sensordaten, die von einem oder mehreren mit dem AV gekoppelten Sensoren erfasst werden, ermöglichen es dem AV-System, eine 3D-Vektorkarte einer Umgebung zu erstellen.
Die Beleuchtung und der Dynamikumfang des Lichts sind während der Fahrt nicht gleichmäßig. Diese Werte können sich während der Fahrt, in der gesamten sichtbaren Umgebung rund um das AV-Gerät und/oder in einem Teil dieser Umgebung drastisch ändern. Aufgrund dieser Änderungen ist eine einzelne Belichtungseinstellung für die eine Kamera oder die mehreren Kameras 136, die mit dem AV gekoppelt sind, nicht geeignet, da das eine oder die mehreren statischen Objekte unter bestimmten Lichtverhältnissen möglicherweise nicht sichtbar sind. Um statische Objekte in der Umgebung des AV-Geräts visuell zu untersuchen, müssen daher die Belichtungseinstellungen für ein von der einen Kamera oder den mehreren Kameras 136 aufgenommenes Bild so konfiguriert werden, dass sie basierend auf den Lichtverhältnissen in der Umgebung des AV-Geräts dynamisch angepasst werden. Gemäß verschiedenen Ausführungsformen können diese Belichtungseinstellungen über ein gesamtes Bild und/oder über einen Teil eines Bildes angepasst werden.
Gemäß verschiedenen Ausführungsformen umfasst das AV-Steuerungssystem 120 einen oder mehrere AEC-Algorithmen (Auto Exposure Control), um die Belichtungseinstellungen für ein oder mehrere Bilder, die von einer oder mehreren Kameras 136 aufgenommen wurden, automatisch anzupassen. Um jedoch die Sichtbarkeit eines statischen Objekts zu maximieren, muss die Position des statischen Objekts im Bild bekannt sein. Die Kameras 136, Bewegungssensoren 138, 140 und/oder andere Erfassungsgeräte 142, 160, 162, 164, 166, 168 ermöglichen es dem AV-Rechnergerät 110, die Position des AV zu bestimmen. Dies ermöglicht es dem AV-Rechnergerät 110 außerdem, ein Koordinatensystem der Umgebung des AV für eines oder mehrere der von der einen oder mehreren Kameras 136 aufgenommenen Bilder zu entwickeln. Die Kenntnis der Pose und Kalibrierung des AV ermöglicht darüber hinaus die Projektion von Objekten aus der 3D-Vektorkarte in das Koordinatensystem des einen oder der mehreren Kamerabilder. Gemäß verschiedenen Ausführungsformen werden diese Informationen von den AEC-Algorithmen verwendet, die dann verwendet werden können, um automatische Belichtungseinstellungen für ein oder mehrere statische Objekte von Interesse zu priorisieren. Wenn beispielsweise das statische Objekt von Interesse nahezu gesättigt ist, kann ein AEC-Algorithmus erstellt werden, um die automatischen Belichtungseinstellungen so zu berechnen, dass Details im statischen Objekt von Interesse erhalten bleiben.
Beispielsweise haben Kamerabildszenen an Tunnel-Ein- und -ausfahrtspunkten häufig einen hohen Dynamikbereich, was die Sichtbarkeit von Details der Umgebung und/oder von statischen oder sich bewegenden Akteuren an Tunnel-Ein- oder -ausfahrtspunkten einschränkt. Dies kann zu einem Verlust von Bilddetails führen, je nachdem, ob der Ein- oder Ausfahrtsunkt priorisiert wird. Um den Verlust von Bilddetails zu minimieren, werden ein oder mehrere bestimmte Bildbereiche beispielsweise durch einen Begrenzungsrahmen isoliert.
Nunmehr bezugnehmend auf 2 ist dort zur Veranschaulichung ein Bild 200 dargestellt, das von einer Kamera 136 eines AV aufgenommen wurde.
Wie in 2 gezeigt, enthält das Bild 200 ein statisches Objekt 205. Ein interessierender Bereich wird durch einen Begrenzungsrahmen 210 gekennzeichnet. Gemäß verschiedenen Ausführungsformen werden Kartendaten und der aktuelle Standort des AV und der Kamera verwendet, um den interessierenden Bereich im Sichtfeld der Kamera zu bestimmen, sodass der interessierende Bereich ein Bereich des Bildes ist, der voraussichtlich eines oder mehrere statische Objekte von Interesse 205 enthält.
Gemäß verschiedenen Ausführungsformen ermöglichen die Positionsinformationen des Begrenzungsrahmens dem einen oder den mehreren AEC-Algorithmen, benötigte Details eines oder mehrerer Objekte und/oder Akteure innerhalb des Begrenzungsrahmens zu bewahren bzw. erkennbar zu halten.
Nunmehr bezugnehmend auf die 3-4 ist dort ein Verfahren 300 zum Betreiben eines Fahrzeugs gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung veranschaulichend dargestellt.
Bei 305 identifiziert ein AV-Steuersystem eines AV Kartendaten für einen aktuellen Standort des AV unter Verwendung eines Standorts des AV und von Posen- und Trajektoriendaten für das AV. Die Kartendaten können vorab auf das AV geladen werden, können beispielsweise über die Cloud abgerufen werden, können über einen oder mehrere Sensoren berechnet werden, die mit dem AV verbunden sind oder von diesem abgerufen werden und/oder über andere geeignete Mittel bereitgestellt werden.
Beispielsweise kann das GPS verwendet werden, um einen geografischen Standort des AV zu bestimmen oder abzuschätzen. Zu diesem Zweck kann das GPS einen Transceiver umfassen, der so konfiguriert ist, dass er eine Position des AV in Bezug auf die Erde basierend auf satellitenbasierten Positionsdaten schätzt. In einem Beispiel kann das System so konfiguriert sein, dass das GPS in Kombination mit den Kartendaten verwendet wird, um die Position einer Fahrspurbegrenzung auf einer Straße abzuschätzen, auf der das AV möglicherweise fährt.
Das AV-Rechnergerät kann dazu konfiguriert sein, den Standort, die Ausrichtung, die Pose usw. des AV in der Umgebung (Lokalisierung) beispielsweise auf der Grundlage dreidimensionaler Positionsdaten (z.B. Daten von einem GPS), von Orientierungsdaten, von vorhergesagten Standorte oder dergleichen zu bestimmen. Beispielsweise kann das AV-Rechnergerät GPS-Daten empfangen, um die Breiten-, Längen- und/oder Höhenposition des AV zu bestimmen. Auch andere Standortsensoren oder -systeme wie laserbasierte Lokalisierungssysteme, trägheitsgestütztes GPS oder kamerabasierte Lokalisierung können zur Identifizierung des Standorts des Fahrzeugs verwendet werden. Der Standort des Fahrzeugs kann einen absoluten geografischen Standort, wie Breitengrad, Längengrad und Höhe, sowie relative Standortinformationen umfassen, beispielsweise den Standort relativ zu anderen Fahrzeugen in unmittelbarer Umgebung, die oft mit weniger Aufwand als der absolute geografische Standort bestimmt werden können. Die Kartendaten können Informationen über Folgendes liefern: die Identität und Lage verschiedener Straßen, Straßenabschnitte, Fahrspurabschnitte, Gebäude oder anderer Elemente; die Lage, Grenzen und Richtungen von Fahrspuren (z.B. die Lage und Richtung einer Parkspur, einer Abbiegespur, einer Fahrradspur oder anderer Fahrspuren innerhalb einer bestimmten Fahrbahn) und mit Fahrspuren verbundene Metadaten; Verkehrskontrolldaten (z.B. Standort und Anweisungen von Beschilderungen, Verkehrssignalen oder anderen Verkehrskontrollgeräten); und/oder andere Kartendaten, die Informationen bereitstellen, die das AV-Rechnergerät bei der Analyse der Umgebung des AV unterstützen. Gemäß verschiedenen Ausführungsformen kann das AV eine oder mehrere Standortdetails und/oder Kartendaten von einem oder mehreren Knoten empfangen. Die Knoten können in oder in der Nähe einer Straße installiert werden. Gemäß verschiedenen Ausführungsformen umfasst der Knoten einen Sender, der zum Übertragen von Standortdaten mithilfe der Beacon-Technologie konfiguriert ist. Die Beacon-Technologie kann in Smart-City-Infrastrukturinstallationen eingesetzt werden.
Die Kartendaten können auch Informationen und/oder Regeln zur Bestimmung der Vorfahrt von Objekten und/oder Fahrzeugen in Konfliktgebieten oder -räumen umfassen. Ein Konfliktraum (oder Konfliktgebiet) bezieht sich auf ein Gebiet, in dem voraussichtlich mehr als ein Objekt und/oder Fahrzeug gleichzeitig vorhanden sein wird, was zu einer Kollisionsgefahr führen kann, es sei denn, einem der Objekte und/oder Fahrzeuge wird Vorrang (d.h. Vorfahrt) eingeräumt, um den Konfliktraum zu durchqueren. Beispiele für solche Konflikträume können Verkehrssignale, Kreuzungen, Stoppschilder, Kreisverkehre, Abzweigungen, Zebrastreifen, Fußgängerüberwege usw. sein. Die Vorfahrtsinformationen und/oder -regeln für einen Konfliktraum können aus Verkehrsgesetzen und -regeln für ein geografisches Gebiet abgeleitet werden (und sind möglicherweise nicht für alle Räume gleich).
In bestimmten Ausführungsformen können die Kartendaten auch Referenzpfadinformationen enthalten, die allgemeinen Mustern der Fahrzeugfahrt entlang einer oder mehrerer Fahrspuren entsprechen, sodass die Bewegung des Objekts auf den Referenzpfad beschränkt ist (z.B. Orte innerhalb von Fahrspuren, auf denen ein Objekt häufig entlangfährt). Solche Referenzpfade können vordefiniert sein, beispielsweise die Mittellinie der Fahrspuren. Optional kann der Referenzpfad auf der Grundlage einer oder mehrerer historischer Beobachtungen von Fahrzeugen oder anderen Objekten über einen bestimmten Zeitraum hinweg generiert werden (z.B. Referenzpfade für Geradeausfahrt, Spurverschmelzung, Abbiegen oder Ähnliches).
In bestimmten Ausführungsformen kann das AV-Rechnergerät auch Informationen bezüglich der Reise oder Route eines Benutzers, Echtzeit-Verkehrsinformationen auf der Route oder Ähnliches enthalten und/oder empfangen.
Gemäß verschiedenen Ausführungsformen kann der aktuelle Standort des Fahrzeugs mithilfe von Sensoren, wie beispielsweise GPS und Bewegungssensoren, und/oder durch andere geeignete Mittel zur Standorterkennung ermittelt werden. Gemäß verschiedenen Ausführungsformen kann das AV-Steuerungssystem außerdem den Standort und die Ausrichtung einer oder mehrerer Kameras bestimmen, die auf dem AV positioniert und/oder mit diesem gekoppelt sind. Gemäß verschiedenen Ausführungsformen können bei 310 zusätzlich Posendaten, wie oben beschrieben, und Trajektoriendaten für das AV erhalten werden, wie oben beschrieben. Beispielsweise können Trajektoriendaten unter Verwendung beispielsweise kinematischer Verlaufsdaten des AV, einer vorgegebenen Route des AV und/oder anderer geeigneter Mittel erhalten oder bestimmt werden. Gemäß verschiedenen Ausführungsformen können die Trajektoriendaten zur Berechnung oder Aktualisierung von Kartendaten verwendet werden.
Das AV-Steuerungssystem identifiziert bei 315 unter Verwendung des aktuellen Standorts des AV sowie der Position und Ausrichtung der einen oder mehreren Kameras ein Sichtfeld des AV von jeder der einen oder mehreren Kameras des AV. Jede an das AV gekoppelte Kamera verfügt über ein Sichtfeld („Field of View“) . Eine Position und/oder Ausrichtung der Kamera im Verhältnis zum AV kann vorbestimmt oder voreingestellt sein und/oder, falls sich eine Kamera im Verhältnis zum AV bewegt, dynamisch berechnet werden. Wie oben beschrieben wird die Position/Lage und Ausrichtung des AV berechnet. Basierend sowohl auf der Position/Lage und Ausrichtung des AV in der Umgebung als auch auf der Position/Lage und Ausrichtung jeder Kamera im Verhältnis zum AV kann das Sichtfeld jeder Kamera im Verhältnis zur Umgebung berechnet werden.
Die Kartendaten umfassen die Position und Ausrichtung eines oder mehrerer statischer Objekte, die sich im Sichtfeld des AV befinden oder befinden werden. Bei 320 verwendet das AV-Steuerungssystem die Kartendaten und den aktuellen Standort des AV und der Kamera, um einen interessierenden Bereich im Sichtfeld der Kamera zu bestimmen, der voraussichtlich ein oder mehrere statische Objekte von Interesse enthält. Basierend auf den Kartendaten und dem Sichtfeld jeder der mit dem AV gekoppelten Kameras kann das AV-Rechnergerät eine allgemeine Position innerhalb des Sichtfelds einer oder mehrerer Kameras berechnen, an der sich ein oder mehrere statische Objekte von Interesse befinden sollten. Diese allgemeine Position korreliert mit der Region von Interesse. Gemäß verschiedenen Ausführungsformen kann der interessierende Bereich außerdem einen Pufferbereich umfassen, der die allgemeine Position innerhalb des Sichtfelds der einen oder mehreren Kameras umgibt, an der sich das eine oder die mehreren statischen Objekte von Interesse befinden sollten.
Anhand dieser Informationen analysiert das AV-Steuerungssystem bei 325 die Kartendaten, um ein oder mehrere statische Objekte zu identifizieren, die sich voraussichtlich im Sichtfeld einer oder mehrerer Kameras des AV befinden. Bei 330 kategorisiert das AV-Steuerungssystem das eine oder die mehreren statischen Objekte in eine oder mehrere Klassen statischer Objekte. Die Klassen repräsentieren den Typ des Objekts. Beispielsweise umfassen die eine oder mehrere Klassen Ampeln, Ampelmasten, Fußgänger, Fahrzeuge, Hydranten, Strommasten und/oder jede andere geeignete Objektklasse.
Bei 335 wählt das AV-Steuerungssystem eine automatische Belichtungseinstellung (AE) für die Kamera aus. Gemäß verschiedenen Ausführungsformen kann die ausgewählte AE-Einstellung auf einer Klasse eines statischen Objekts, einem oder mehreren Merkmalen einer interessierenden Region im Sichtfeld des AV oder beidem basieren. Gemäß verschiedenen Ausführungsformen können die AE-Einstellungen beispielsweise auf einer Nachschlagetabelle basieren, die verschiedene Blendeneinstellungen und Verschlusszeiteinstellungen basierend auf der Lichtstärke im interessierenden Bereich, der Bewegung des AV und/oder der Kamera korreliert in Bezug auf ein statisches Objekt innerhalb des interessierenden Bereichs und/oder andere geeignete Eigenschaften enthält, die die Bildbelichtung beeinflussen können.
Gemäß verschiedenen Ausführungsformen kann die Auswahl der AE-Einstellung bei 335 gemäß 4 Folgendes umfassen: Analysieren bei 336 des von der Kamera erfassten Bildes des Sichtfelds des AV, um einen Luminanzpegel eines oder mehrerer Pixel zu bestimmen, die sich innerhalb des interessierenden Bereichs befinden. Anschließend wird bei 337 ermittelt, ob der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs mit einem Zielpegel übereinstimmt oder zu diesem passt. Der Zielwert kann empirisch ermittelt werden und/oder von der Klasse des statischen Objekts abhängen. Gemäß verschiedenen Ausführungsformen kann jede Objektklasse bestimmten Luminanzeinstellungen und/oder einem Bereich von Luminanzeinstellungen zugeordnet werden.
Wenn der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs nicht mit dem Zielpegel übereinstimmt bzw. nicht zu diesem passt, passt das AV-Steuerungssystem bei 338 die AE-Einstellungen so an, dass die Luminanz der Pixel in dem einen Bild oder in den mehreren Bildern im Sichtfeld von der AV, der von einem oder mehreren Kameras erfasst wurde, mit dem Zielniveau konsistent ist. Sobald die AE-Einstellungen angepasst sind, werden sie bei 336 analysiert, um den Luminanzpegel eines oder mehrerer Pixel zu bestimmen, die sich innerhalb des interessierenden Bereichs befinden. Anschließend wird bei 337 ermittelt, ob der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs mit dem Zielpegel übereinstimmt bzw. zu diesem passt.
Wenn der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs mit dem Zielpegel übereinstimmt bzw. zu diesem passt, wird die AE-Einstellung ausgewählt und veranlasst das AV-Steuerungssystem veranlasst bei 340, dass die Kamera die AE-Einstellung verwendet, wenn sie ein oder mehrere Bilder des Objekts aufnimmt.
Sobald die Leuchtdichte der Pixel mit dem Zielwert übereinstimmt bzw. zu diesem passt, wird das Bild bei 345 analysiert, um Daten zum statischen Objekt zu erfassen. Handelt es sich bei dem statischen Objekt beispielsweise um eine Verkehrsampel, wird das Bild der Verkehrsampel analysiert, um den Zustand der Verkehrsampel zu ermitteln, beispielsweise, ob derzeit eine grüne, gelbe oder rote Ampelleuchte leuchtet.
Sobald das statische Objekt aus dem Bild analysiert und die Daten erfasst wurden, führt das AV-Steuerungssystem bei 350 eine Aktion aus. Die Aktion kann beispielsweise das Ändern der Trajektorie des AV, das Ändern der Geschwindigkeit des AV und/oder jede andere geeignete Aktion umfassen, die so konfiguriert ist, dass ein Konflikt mit einem oder mehreren Akteuren vermieden wird.
Nunmehr bezugnehmend auf 5 ist dort eine beispielhafte Architektur für ein Computergerät 500, beispielsweise das AV-Computergerät 120, dargestellt. Das Computergerät 500 kann ein eigenständiges Gerät sein, das in ein AV-Gerät oder ein anderes geeignetes Fahrzeug oder Gerät integriert ist, eine Vielzahl von Geräten, die elektronisch gekoppelt sind und/oder in elektronischer Kommunikation miteinander stehen, oder eine andere geeignete Form eines elektronischen Geräts sein. Das Computergerät 500 kann eine AV-Systemarchitektur, wie die oben und in 1 beschriebene, umfassen oder mit dieser verwendet werden.
Das Computergerät 500 kann mehr oder weniger Komponenten umfassen als die in 7 gezeigten. Die gezeigten Komponenten reichen jedoch aus, um eine beispielhafte Lösung zur Umsetzung der vorliegenden Lösung zu offenbaren. Die Hardware-Architektur von 5 stellt eine Implementierung eines repräsentativen Computergeräts dar, das so konfiguriert ist, dass es die Belichtungseinstellungen für eine oder mehrere Kameras eines AV automatisch anpasst. Somit implementiert das Computergerät 500 von 5 mindestens einen Teil der hierin beschriebenen Verfahren.
Einige oder alle Komponenten des Computergeräts 500 können als Hardware, Software und/oder eine Kombination aus Hardware und Software implementiert werden. Die Hardware umfasst unter anderem einen oder mehrere elektronische Schaltkreise. Die elektronischen Schaltkreise können unter anderem passive Komponenten (z.B. Widerstände und Kondensatoren) und/oder aktive Komponenten (z.B. Verstärker) umfassen und/oder Mikroprozessoren). Die passiven und/oder die aktiven Komponenten können angepasst, angeordnet und/oder programmiert werden, um eine oder mehrere der hierin beschriebenen Methoden, Verfahren oder Funktionen auszuführen.
Wie in 5 gezeigt, umfasst das Computergerät 500 eine Benutzerschnittstelle 502, eine Zentraleinheit („CPU“) 506, einen Systembus 510, einen Speicher 512, der über den Systembus 510 mit anderen Teilen des Computergeräts 500 verbunden und für diese zugänglich ist, sowie eine Systemschnittstelle 560 und Hardwareeinheiten 514, die mit dem Systembus 510 verbunden sind. Die Benutzeroberfläche kann Eingabegeräte und Ausgabegeräte umfassen, die Benutzer-Software-Interaktionen zur Steuerung von Vorgängen des Computergeräts 500 ermöglichen. Zu den Eingabegeräten gehören unter anderem eine Kamera, ein Bewegungssensor, eine physische und/oder Touch-Tastatur 550 und/oder andere geeignete Eingabegeräte. Die Eingabegeräte können über eine drahtgebundene oder drahtlose Verbindung (z.B. eine Bluetooth^®-Verbindung) mit dem Computergerät 500 verbunden werden. Zu den Ausgabegeräten gehören unter anderem ein Lautsprecher 552, ein Display 554 und/oder Leuchtdioden 556. Die Systemschnittstelle 560 ist so konfiguriert, dass sie die drahtgebundene oder drahtlose Kommunikation zu und von externen Geräten (z.B. Netzwerkknoten wie Zugangspunkten usw.) ermöglicht.
Zumindest einige der Hardwareeinheiten 514 führen Aktionen aus, die den Zugriff auf und die Nutzung des Speichers 512 umfassen, bei dem es sich um einen Direktzugriffsspeicher („RAM“), ein Festplattenlaufwerk, einen Flash-Speicher oder einen Nur-Lese-Speicher einer CD („CD-ROM“) handeln kann") und/oder ein anderes Hardwaregerät, das Anweisungen und Daten speichern kann. Die Hardwareeinheiten 514 können eine Laufwerkseinheit 516 umfassen, die ein computerlesbares Speichermedium 518 umfasst, auf dem ein oder mehrere Befehlssätze 520 (z.B. Softwarecode) gespeichert sind, die zum Implementieren einer oder mehrerer der hierin beschriebenen Methoden, Verfahren oder Funktionen konfiguriert sind. Die Anweisungen 520 können sich während ihrer Ausführung durch das Computergerät 500 auch vollständig oder zumindest teilweise im Speicher 512 und/oder in der CPU 506 befinden. Der Speicher 512 und die CPU 506 können auch maschinenlesbare Medien darstellen. Der Begriff „maschinenlesbare Medien“, wie er hier verwendet wird, bezieht sich auf ein einzelnes Medium oder mehrere Medien (z.B. eine zentralisierte oder verteilte Datenbank und/oder zugehörige Caches und Server), die den einen oder die mehreren Befehlssätze 520 speichern. Der Begriff „maschinenlesbare Medien“, wie er hier verwendet wird, bezieht sich auch auf jedes Medium, das in der Lage ist, einen Satz von Anweisungen 720 zur Ausführung durch das Computergerät 500 zu speichern, zu kodieren oder zu übertragen und das Computergerät 500 zur Ausführung einer beliebigen Aufgabe zu veranlassen oder mehrere der Methoden der vorliegenden Offenbarung. Ein Computerprogrammprodukt ist ein Speichergerät mit darauf gespeicherten Programmieranweisungen.
Obwohl die vorliegende Lösung in Bezug auf eine oder mehrere Implementierungen veranschaulicht und beschrieben wurde, werden anderen Fachleuten beim Lesen und Verstehen dieser Spezifikation und der beigefügten Zeichnungen gleichwertige Änderungen und Modifikationen in den Sinn kommen. Darüber hinaus kann ein bestimmtes Merkmal der vorliegenden Lösung möglicherweise nur in Bezug auf eine von mehreren Implementierungen offenbart worden sein, ein solches Merkmal kann jedoch mit einem oder mehreren anderen Merkmalen der anderen Implementierungen kombiniert werden, je nach Bedarf und Vorteil für eine gegebene oder bestimmte Implementierung Anwendung. Daher sollten die Breite und der Umfang der vorliegenden Lösung nicht durch eine der oben beschriebenen Ausführungsformen eingeschränkt werden. Vielmehr sollte der Umfang der vorliegenden Lösung gemäß den folgenden Ansprüchen und ihren Äquivalenten definiert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 17/118768 [0001]

Claims

Verfahren zum Betreiben eines Fahrzeugs, wobei das Verfahren Folgendes umfasst: durch ein Fahrzeugsteuerungssystem des Fahrzeugs: Identifizieren von Kartendaten für einen aktuellen Standort des Fahrzeugs unter Verwendung eines Standorts des Fahrzeugs sowie von Posen- und Trajektoriendaten für das Fahrzeug; Identifizieren eines Sichtfelds einer Kamera des Fahrzeugs; Analysieren der Kartendaten, um ein Objekt zu identifizieren, das sich voraussichtlich im Sichtfeld der Kamera befindet; Auswählen einer automatischen Belichtungseinstellung (AE) für die Kamera, basierend auf (a) einer Klasse des Objekts, (b) Eigenschaften eines interessierenden Bereichs im Sichtfeld des Fahrzeugs oder (c) beidem; Veranlassen, dass die Kamera beim Aufnehmen von Bildern des Objekts die AE-Einstellung verwendet; und Aufnehmen von Bildern des Objekts unter Verwendung der Kamera.
Verfahren nach Anspruch 1, wobei das Auswählen der AE-Einstellung weiterhin Folgendes umfasst: Verwenden der Kartendaten, um den interessierenden Bereich im Sichtfeld der Kamera zu bestimmen, wobei der interessierende Bereich ein Bereich des Sichtfelds der Kamera ist, von dem erwartet wird, dass er das Objekt enthält; und Analysieren eines Bildes des Sichtfelds der Kamera, das die Kamera aufgenommen hat, um einen Luminanzpegel eines oder mehrerer Pixel innerhalb des interessierenden Bereichs zu bestimmen.
Verfahren nach Anspruch 2, wobei das Auswählen der AE-Einstellung außerdem Folgendes umfasst: Bestimmen, ob der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs zu einem Zielpegel passt oder mit diesem übereinstimmt.
Verfahren nach Anspruch 3, das außerdem Folgendes umfasst: Analysieren des Objekts, um Daten zu erfassen, die sich auf das Objekt beziehen, wenn festgestellt wird, dass der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs mit dem Zielpegel übereinstimmt oder zu diesem passt.
Verfahren nach Anspruch 3, weiterhin umfassend: bei Feststellung, dass der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs nicht mit dem Zielpegel übereinstimmt oder nicht zu diesem passt, Anpassen der AE-Einstellung, sodass eine Luminanz der Pixel im Bild des Sichtfelds mit dem Zielwert konsistent ist.
Verfahren nach Anspruch 1, das weiterhin das Bestimmen der Klasse des Objekts umfasst.
Verfahren nach Anspruch 1, das weiterhin das Bestimmen des interessierenden Bereichs umfasst.
Verfahren nach Anspruch 1, weiterhin umfassend: Bestimmen des Standorts des Fahrzeugs; und Empfangen der Posen- und Trajektoriendaten für das Fahrzeug von einem oder mehreren Fahrzeugsensoren.
Verfahren nach Anspruch 1, wobei das Fahrzeug ein autonomes Fahrzeug ist.
Verfahren zum Betreiben eines Fahrzeugs, wobei das Verfahren Folgendes umfasst: durch ein Fahrzeugsteuerungssystem des Fahrzeugs: Bestimmen einer Trajektorie des Fahrzeugs; Identifizieren von Kartendaten für einen aktuellen Standort des Fahrzeugs; Analysieren der Kartendaten, um: - ein Objekt zu identifizieren, das sich voraussichtlich im Sichtfeld einer Kamera des Fahrzeugs befindet; und - eine Klasse des Objekts zu bestimmen; Auswählen einer automatischen Belichtungseinstellung (AE) für die Kamera, basierend auf (a) der Klasse des Objekts, (b) den Eigenschaften eines interessierenden Bereichs im Sichtfeld der Kamera oder (c) beidem; und Bewirken, dass die Kamera beim Aufnehmen von Bildern des Objekts die AE-Einstellung verwendet.
Verfahren nach Anspruch 10, wobei der interessierende Bereich ein Bereich des Sichtfelds der Kamera ist, von dem erwartet wird, dass er das Objekt enthält.
Verfahren nach Anspruch 10, das außerdem das Analysieren eines Bildes des Sichtfelds der Kamera umfasst, das die Kamera aufgenommen hat, um einen Luminanzpegel eines oder mehrerer Pixel innerhalb des interessierenden Bereichs zu bestimmen.
Verfahren nach Anspruch 12, wobei das Auswählen der AE-Einstellung weiterhin Folgendes umfasst: Bestimmen, ob der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs mit einem Zielpegel übereinstimmt oder zu diesem passt.
Verfahren nach Anspruch 13, das außerdem Folgendes umfasst: Analysieren des Objekts, um Daten zu erfassen, die sich auf das Objekt beziehen, wenn festgestellt wird, dass der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs mit dem Zielpegel übereinstimmt oder zu diesem passt.
Verfahren nach Anspruch 13, weiterhin umfassend: bei der Feststellung, dass der Luminanzpegel der Pixel innerhalb des interessierenden Bereichs nicht mit dem Zielpegel übereinstimmt oder nicht zu diesem passt, Anpassen der AE-Einstellung, sodass eine Luminanz der Pixel im Bild des Sichtfelds der Kamera mit dem Zielwert konsistent ist.
Verfahren nach Anspruch 10, wobei das Identifizieren von Kartendaten die Verwendung der Trajektorie zum Identifizieren der Kartendaten umfasst.
Verfahren nach Anspruch 10, das außerdem das Empfangen von Posen- und Trajektoriendaten für das Fahrzeug von einem oder mehreren Fahrzeugsensoren umfasst.
Verfahren nach Anspruch 10, wobei das Fahrzeug ein autonomes Fahrzeug ist.