DE102019122822A1

DE102019122822A1 - Vordergrunderfassung

Info

Publication number: DE102019122822A1
Application number: DE102019122822.0A
Authority: DE
Inventors: Bruno Sielly Jales Costa; Enrique Corona; Gintaras Vincent Puskorius; Dimitar Petrov Filev
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2018-08-24
Filing date: 2019-08-26
Publication date: 2020-02-27
Also published as: US10769799B2; CN110858866A; US20200065978A1

Abstract

Diese Offenbarung stellt eine Vordergrunderfassung bereit. Ein Rechensystem kann ein Bild empfangen, das Vordergrundpixel beinhaltet. Die Vordergrundpixel können auf Grundlage des Bestimmens einer Exzentrität εauf Grundlage einer Bildfolge bestimmt werden, die durch einen feststehenden Sensor erlangt wurden. Das Fahrzeug kann sich bewegende Objekte im Bild auf Grundlage der Vordergrundpixel bestimmen. Das Fahrzeug kann auf Grundlage der sich bewegenden Objekte im Bild betrieben werden.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft im Allgemeinen Fahrzeugsensoren.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Informationen bezüglich der Umgebung des Fahrzeugs zu erlangen und das Fahrzeug auf Grundlage von den Informationen zu betreiben. Der sichere und komfortable Betrieb des Fahrzeugs kann vom Erlangen genauer und rechtzeitiger Informationen bezüglich der Umgebung des Fahrzeugs abhängen. Fahrzeugsensoren können Daten hinsichtlich zu fahrenden Routen und Objekten bereitstellen, denen in der Umgebung des Fahrzeugs auszuweichen ist. Der sichere und effiziente Betrieb des Fahrzeugs kann vom Erlangen genauer und rechtzeitiger Informationen bezüglich Routen und Objekten in einer Umgebung des Fahrzeugs abhängig sein, während das Fahrzeug auf einer Fahrbahn betrieben wird.
KURZDARSTELLUNG
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Mit einem halb- oder vollautonomen Modus ist ein Betriebsmodus gemeint, bei dem ein Fahrzeug durch eine Rechenvorrichtung als Teil eines Fahrzeuginformationssystems gesteuert werden kann, das Sensoren und Steuerungen aufweist. Das Fahrzeug kann besetzt oder unbesetzt sein, jedoch kann das Fahrzeug in beiden Fällen ohne die Unterstützung eines Insassen gesteuert werden. Im Rahmen dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, bei dem Antrieb (z. B. über einen Antriebsstrang, der eine Brennkraftmaschine und/oder einen Elektromotor beinhaltet), Bremsung und Lenkung eines Fahrzeugs jeweils durch einen oder mehrere Fahrzeugcomputer gesteuert werden; in einem halbautonomen Modus steuert der bzw. steuern die Fahrzeugcomputer eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs. Bei einem nichtautonomen Fahrzeug wird nichts davon durch einen Computer gesteuert.
Eine Rechenvorrichtung in einem Fahrzeug kann dazu programmiert sein, Daten bezüglich der äußeren Umgebung eines Fahrzeugs zu erlangen und die Daten zu verwenden, um ein Bewegungsbahnen zu bestimmen, die zu verwenden sind, um ein Fahrzeug in einem autonomen oder halbautonomen Modus zu betreiben, wobei zum Beispiel die Rechenvorrichtung Informationen an Steuerungen bereitstellen kann, um das Fahrzeug auf einer Fahrbahn im Verkehr, an dem andere Fahrzeuge beteiligt sind, zu betreiben. Basierend auf Sensordaten kann eine Rechenvorrichtung sich bewegende Objekte, einschließlich Fahrzeugen und Fußgängern in der Nähe eines Fahrzeugs, bestimmen und ein Fahrzeug basieren auf den sich bewegenden Objekten betreiben. Zum Beispiel kann eine Rechenvorrichtung sich bewegende Objekte in der Nähe eines Fahrzeugs erkennen und identifizieren und auf Grundlage des Erkennens und Identifizierens von sich bewegenden Objekten zu einer Vielzahl von Zeiträumen eine Bahngeschwindigkeit, einschließlich Geschwindigkeit und Richtung, für die sich bewegenden Objekte bestimmen. Somit profitiert die Rechenvorrichtung von einer verbesserten Genauigkeit beim Analysieren von Sensordaten, z. B. Bilddaten, und beim Identifizieren und Bestimmen von Bewegungsbahnen sich bewegender Objekte.
Es ist in dieser Schrift ein Verfahren offenbart, welches das Empfangen eines Bildes, das Vordergrundpixel beinhaltet, die auf Grundlage des Bestimmens einer Exzentrität ε_k für eine Bildfolge bestimmt wurden, die durch einen feststehenden Sensor erlangt wurden, das Bestimmen von sich bewegenden Objekten im Bild auf Grundlage der Vordergrundpixel und das Betreiben eines Fahrzeugs auf Grundlage der sich bewegenden Objekte im Bild beinhaltet. Die Exzentrität ε_k kann auf Grundlage des Bestimmens eines Mittelwerts µ_k für Pixel der Bildfolge, auf Grundlage eines vorherigen Mittelwerts µ_k-1 entsprechend der Formel µ_k = (1 - α)µ_k-1 + αx_k, bei der α eine empirisch bestimmte Konstante ist, bestimmt werden. Die Exzentrität ε_k kann auf Grundlage des Bestimmens einer Varianz $σ_{k}^{2}$
für Pixel der Bildfolge, auf Grundlage einer vorherigen Varianz $σ_{k - 1}^{2}$
und eines Mittelwerts µ_k entsprechend der Formel $σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α}$
bestimmt werden. Die Exzentrität ε_k kann auf Grundlage eines Mittelwerts µ_k und einer Varianz $σ_{k}^{2}$
entsprechend der Gleichung $ε_{k} = α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}}$
ε_k bestimmt werden.
Die Vordergrundpixel können durch das Vergleichen von ε_k mit α mal einer empirisch bestimmten Konstante bestimmt werden. Sich bewegende Objekte im Bild können auf Grundlage des Bestimmens verbundener Bereiche von Vordergrundpixeln mit empirisch bestimmten Mindest- und Maximalgebieten bestimmt werden. Die verbundenen Bereiche von Vordergrundpixeln können auf Grundlage dessen bestimmt werden, dass sie eine ähnliche Exzentrität ε _k aufweisen. Der feststehende Sensor kann eine Videokamera sein, die in einem Verkehrsinfrastruktursystem beinhaltet ist. Das Fahrzeug kann das Bild, das Vordergrundpixel beinhaltet, vom Verkehrsinfrastruktursystem über ein Netzwerk auf Grundlage eines Standorts des Fahrzeugs empfangen. Die sich bewegenden Objekte können auf Grundlage des Standorts der Videokamera auf einer kognitiven Karte abgebildet werden. Die kognitive Karte kann auf Grundlage des Standorts des Fahrzeugs, von Kartendaten, Fahrzeugsensordaten und den sich bewegenden Objekten bestimmt werden. Das Fahrzeug kann auf Grundlage von einem Pfadpolynom auf Grundlage der kognitiven Karte betrieben werden. Die Videokamera kann fixiert sein, um ein sich nicht änderndes Sichtfeld zu erlangen. Das Fahrzeug kann durch Steuern von Lenken, Bremsen und Antriebsstrang des Fahrzeugs betrieben werden.
Ferner ist ein computerlesbares Medium offenbart, auf dem Programmanweisungen zum Ausführen einiger oder sämtlicher der vorstehenden Verfahrensschritte gespeichert sind. Ferner ist ein Computer offenbart, der zum Ausführen einiger oder sämtlicher der vorstehenden Verfahrensschritte programmiert ist, der eine Computervorrichtung beinhaltet, die zum Empfangen eines Bildes programmiert ist, das Vordergrundpixel beinhaltet, die auf Grundlage des Bestimmens einer Exzentrität ε _k für eine Bildfolge, die durch einen feststehenden Sensor erlangt wurden, des Bestimmens sich bewegender Objekte im Bild auf Grundlage der Vordergrundpixel und des Betreibens eines Fahrzeugs auf Grundlage der sich bewegenden Objekte im Bild bestimmt wurden. Die Exzentrität ε_k kann auf Grundlage des Bestimmens eines Mittelwerts µ_k für Pixel der Bildfolge, auf Grundlage eines vorherigen Mittelwerts µ_k-1 entsprechend der Formel µ_k = (1 - α)µ_k-1 + αx_k, bei der α eine empirisch bestimmte Konstante ist, bestimmt werden. Die Exzentrität ε_k kann auf Grundlage des Bestimmens einer Varianz $σ_{k}^{2}$
für Pixel der Bildfolge, auf Grundlage einer vorherigen Varianz $σ_{k - 1}^{2}$
und eines Mittelwerts µ_k entsprechend der Formel $σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α}$
bestimmt werden. Die Exzentrität ε_k kann auf Grundlage eines Mittelwerts µ_k und einer Varianz $σ_{k}^{2}$
entsprechend der Gleichung $ε_{k} = α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}}$
bestimmt werden.
Die Computervorrichtung kann ferner dazu programmiert sein, die Vordergrundpixel durch das Vergleichen von ε_k mit α mal einer empirisch bestimmten Konstante zu bestimmen. Sich bewegende Objekte im Bild können auf Grundlage des Bestimmens verbundener Bereiche von Vordergrundpixeln mit empirisch bestimmten Mindest- und Maximalgebieten bestimmt werden. Die verbundenen Bereiche von Vordergrundpixeln können auf Grundlage dessen bestimmt werden, dass sie eine ähnliche Exzentrität ε_k aufweisen. Der feststehende Sensor kann eine Farbvideokamera mit rot, grün, blau (RGB) sein, die zum Beispiel in einem Verkehrsinfrastruktursystem beinhaltet ist. Das Fahrzeug kann das Bild, das Vordergrundpixel beinhaltet, vom Verkehrsinfrastruktursystem über ein Netzwerk auf Grundlage eines Standorts des Fahrzeugs empfangen. Die sich bewegenden Objekte können auf Grundlage des Standorts der Videokamera auf einer kognitiven Karte abgebildet werden. Die kognitive Karte kann auf Grundlage des Standorts des Fahrzeugs, von Kartendaten, Fahrzeugsensordaten und den sich bewegenden Objekten bestimmt werden. Das Fahrzeug kann auf Grundlage von einem Pfadpolynom auf Grundlage der kognitiven Karte betrieben werden. Die Videokamera kann fixiert sein, um ein sich nicht änderndes Sichtfeld zu erlangen. Das Fahrzeug kann durch Steuern von Lenken, Bremsen und Antriebsstrang des Fahrzeugs betrieben werden.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Fahrzeugs.
2 ist eine Darstellung eines beispielhaften Verkehrsschauplatzes, der eine feststehende Kamera beinhaltet.
3 ist eine Darstellung eines beispielhaften Bildes eines Verkehrsschauplatzes, der durch eine feststehende Kamera erlangt wurde.
4 ist eine Darstellung eines beispielhaften Bildes, das bestimmte sich bewegende Objekte beinhaltet.
5 ist eine Darstellung einer beispielhaften kognitiven Karte.
6 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Betreiben eines Fahrzeugs auf Grundlage sich bewegender Objekte.
7 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Bestimmen von Vordergrundobj ekten.

DETAILLIERTE BESCHREIBUNG
1 ist eine Darstellung eines Verkehrsinfrastruktursystems 100, das ein Fahrzeug 110 beinhaltet, welches in einem autonomen („autonom“ alleinstehend bedeutet in dieser Offenbarung „vollständig autonom“) und einem von einem Insassen gesteuerten (auch als nichtautonom bezeichneten) Modus betrieben werden kann. Das Fahrzeug 110 beinhaltet zudem eine oder mehrere Rechenvorrichtungen 115 zum Durchführen von Berechnungen zum Steuern des Fahrzeug 110 während des autonomen Betriebs. Die Rechenvorrichtungen 115 können Informationen hinsichtlich des Betriebs des Fahrzeugs von Sensoren 116 empfangen.
Der Rechenvorrichtung 115 kann das Fahrzeug 110 in einem autonomen Modus, einem halbautonomen Modus oder einem nichtautonomen Modus betreiben. Zum Zwecke dieser Offenbarung ist ein autonomer Modus als einer definiert, in dem jedes von Antrieb, Bremsung und Lenkung des Fahrzeugs 110 durch die Rechenvorrichtung gesteuert wird; in einem halbautonomen Modus steuert die Rechenvorrichtung 115 eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs 110; in einem nicht autonomen Modus steuert ein menschlicher Bediener den Antrieb, die Bremsung und die Lenkung des Fahrzeugs.
Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie diese bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Arten von computerlesbaren Medien und hat Anweisungen gespeichert, die durch den Prozessor ausführbar sind, um verschiedene Vorgänge durchzuführen, zu denen die in dieser Schrift offenbarten gehören. Zum Beispiel kann die Rechenvorrichtung 115 Programmierung beinhalten, um eines oder mehrere von Bremsung, Antrieb (z. B. Steuerung der Beschleunigung in dem Fahrzeug 110 durch Steuern von einem oder mehreren von einem Verbrennungsmotor, einem Elektromotor, Hybridmotor usw.), Lenkung, Klimasteuerung, Innen- und/oder Außenleuchten usw. des Fahrzeugs zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Bediener derartige Vorgänge steuern soll.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug 110 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten, z.B. einer Antriebsstrangsteuerung 112, einer Bremssteuerung 113, einer Lenksteuerung 114 usw., enthalten sind, beinhalten oder kommunikativ daran gekoppelt sein, z. B. über einen Fahrzeugkommunikationsbus, der weiter unten beschrieben ist. Die Rechenvorrichtung 115 ist im Allgemeinen zur Kommunikation über ein Fahrzeugkommunikationsnetzwerk ausgelegt, das z. B. einen Bus im Fahrzeug 110, wie etwa ein Controller Area Network (CAN) oder dergleichen, beinhaltet; das Netzwerk des Fahrzeugs 110 kann zusätzlich oder alternativ drahtgebundene oder drahtlose Kommunikationsmechanismen beinhalten, wie sie bekannt sind, z. B. Ethernet oder andere Kommunikationsprotokolle.
Über das Fahrzeugnetzwerk kann die Rechenvorrichtung 115 Mitteilungen an verschiedene Vorrichtungen im Fahrzeug senden und/oder Mitteilungen von den verschiedenen Vorrichtungen, z. B. Steuerungen, Aktoren, Sensoren usw., einschließlich der Sensoren 116, empfangen. Alternativ oder zusätzlich dazu kann in Fällen, in denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetzwerk zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen oder Erfassungselemente, wie etwa die Sensoren 116, Daten an die Rechenvorrichtung 115 über das Fahrzeugkommunikationsnetzwerk bereitstellen.
Außerdem kann die Rechenvorrichtung 115 zur Kommunikation durch eine Fahrzeug-Infrastruktur-Schnittstelle (F-I-Schnittstelle) 111 mit einem Remote-Servercomputer 120, z. B. einem Cloud-Server, über ein Netzwerk 130 konfiguriert sein, die, wie nachstehend beschrieben, Hardware, Firmware und Software beinhaltet, die es der Rechenvorrichtung 115 ermöglichen, mit einem Remote-Servercomputer 120 über ein Netzwerk 130, wie z. B. drahtlose Internet-(Wi-Fi-) oder Mobilfunknetzwerke, zu kommunizieren. Die F-I-Schnittstelle 111 kann dementsprechend Prozessoren, Speicher, Sendeempfänger usw. beinhalten, die dazu konfiguriert sind, verschiedene drahtgebundene und/oder drahtlose Netzwerktechniken, z. B. Mobilfunk, Bluetooth® und drahtgebundene und/oder drahtlose Paketnetzwerke, zu nutzen. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 über die F-I-Schnittstelle 111 unter Verwendung von Fahrzeug-Fahrzeug-Netzwerken (F-F-Netzwerken) z. B. gemäß dedizierter Nahbereichskommunikation (Dedicated Short Range Communications - DSRC) und/oder dergleichen konfiguriert sein, die z.B. ad hoc zwischen Fahrzeugen 110 in der Nähe gebildet werden oder über infrastrukturbasierte Netzwerke gebildet werden. Die Rechenvorrichtung 115 beinhaltet zudem nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Informationen protokollieren, indem sie die Informationen zum späteren Abrufen und Übertragen über das Fahrzeugkommunikationsnetzwerk und eine Fahrzeug-Infrastruktur-Schnittstelle (F-I-Schnittstelle) 111 an einen Servercomputer 120 oder eine mobile Benutzervorrichtung 160 in nichtflüchtigem Speicher speichert.
Wie bereits erwähnt, ist in Anweisungen, die in dem Speicher gespeichert sind und durch den Prozessor der Rechenvorrichtung 115 ausgeführt werden können, im Allgemeinen Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsung, Lenkung, Antrieb usw., ohne Eingreifen eines menschlichen Bedieners enthalten. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. den Sensordaten von den Sensoren 116, dem Servercomputer 120 usw., kann die Rechenvorrichtung 115 ohne einen Fahrer zum Betreiben des Fahrzeugs 110 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern. Beispielsweise kann die Rechenvorrichtung 115 Programmierung zum Regulieren des Betriebsverhaltens des Fahrzeugs 110 (d. h. physischer Manifestationen des Betriebs des Fahrzeugs 110), wie etwa Geschwindigkeit, Beschleunigung, Bremsung, Lenkung usw., sowie des taktischen Verhaltens (d. h. Steuerung des Betriebsverhaltens typischerweise auf eine Weise, mit der eine sichere und effiziente Zurücklegung einer Route erreicht werden soll), wie etwa einem Abstand zwischen Fahrzeugen und/oder einer Zeitdauer zwischen Fahrzeugen, Fahrstreifenwechsel, eines Mindestabstands zwischen Fahrzeugen, eines minimalen Linksabbiegewegs, einer Zeit bis zur Ankunft an einem bestimmten Standort und eine minimale Zeit bis zur Ankunft an einer Kreuzung (ohne Ampel) zum Überqueren der Kreuzung, beinhalten.
Im vorliegenden Zusammenhang beinhaltet der Ausdruck Steuerungen Rechenvorrichtungen, die typischerweise zum Steuern eines bestimmten Fahrzeugteilsystems programmiert sind. Beispiele beinhalten eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Eine Steuerung kann eine elektronische Steuereinheit (electronic control unit - ECU) sein, wie sie bekannt ist, die potenziell eine zusätzliche Programmierung, wie in dieser Schrift beschrieben, beinhaltet. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und Anweisungen von dieser empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Zum Beispiel kann die Bremssteuerung 113 Anweisungen zum Betreiben der Bremsen des Fahrzeugs 110 von der Rechenvorrichtung 115 empfangen.
Die eine oder mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECUs) oder dergleichen beinhalten, zu denen als nicht einschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114 gehören. Jede der Steuerungen 112, 113, 114 kann entsprechende Prozessoren und Speicher und einen oder mehrere Aktoren beinhalten. Die Steuerungen 112, 113, 114 können mit einem Kommunikationsbus des Fahrzeugs 110 programmiert und verbunden sein, wie etwa einem Controller-Area-Network(CAN)-Bus oder Local-Interconnect-Network(LIN)-Bus, um Anweisungen vom Computer 115 zu empfangen und Aktoren auf Grundlage der Anweisungen zu steuern.
Die Sensoren 116 können eine Vielfalt an Vorrichtungen beinhalten, die bekanntlich Daten über den Fahrzeugkommunikationsbus bereitstellen. Zum Beispiel kann ein Radar, das an einem vorderen Stoßfänger (nicht gezeigt) des Fahrzeugs 110 befestigt ist, einen Abstand des Fahrzeugs 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen oder kann ein Sensor des globalen Positionsbestimmungssystems (GPS), der in dem Fahrzeug 110 angeordnet ist, geographische Koordinaten des Fahrzeugs 110 bereitstellen. Der/die durch das Radar und/oder die anderen Sensoren 116 bereitgestellte(n) Abstand/Abstände und/oder die durch den GPS-Sensor bereitgestellten geografischen Koordinaten können durch die Rechenvorrichtung 115 verwendet werden, um das Fahrzeug 110 autonom oder halbautonom zu betreiben.
Das Fahrzeug 110 ist im Allgemeinen ein landbasiertes Fahrzeug 110, das zu einem autonomen und/oder halbautonomen Betrieb in der Lage ist und drei oder mehr Räder aufweist, z. B. ein Personenkraftwagen, ein Leicht-LKW usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die F-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114. Die Sensoren 116 können Daten bezüglich des Fahrzeugs 110 und der Umgebung, in der das Fahrzeug 110 betrieben wird, sammeln. Beispielsweise können zu den Sensoren 116 u.a. Höhenmesser, Kameras, LIDAR, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hall-Effekt-Sensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren, wie etwa Schalter, usw. gehören. Die Sensoren 116 können dazu verwendet werden, die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben wird; z. B. können die Sensoren 116 Phänomene, wie etwa Wetterbedingungen (Niederschlag, äußere Umgebungstemperatur usw.), die Neigung einer Straße, den Standort einer Straße (z. B. anhand von Straßenrändern, Fahrstreifenmarkierungen usw.) oder die Standorte von Zielobjekten, wie z.B. benachbarten Fahrzeugen 110, erfassen. Die Sensoren 116 können ferner verwendet werden, um Daten, einschließlich dynamischer Daten des Fahrzeugs 110, die sich auf den Betrieb des Fahrzeugs 110 beziehen, wie etwa Geschwindigkeit, Gierrate, Lenkwinkel, Motordrehzahl, Bremsdruck, Öldruck, den auf die Steuerungen 112, 113, 114 im Fahrzeug 110 angewandten Leistungspegel, Konnektivität zwischen Komponenten und genaue und rechtzeitige Durchführung der Komponenten des Fahrzeugs 110, zu sammeln.
2 ist ein Diagramm eines beispielhaften Bildes 200 eines Verkehrsschauplatzes, der zur Einhaltung von 37 C.F.R. §1.84(a)(1) in schwarz-weiß dargestellt sind. Dieses beispielhafte Bild 200 beinhaltet eine Fahrbahn 202 und Verkehrsobjekte 204. Die Verkehrsobjekte können Fahrzeuge, Fußgänger, Fahrräder, Tiere oder Schutt usw. beinhalten. Das Bild 200 beinhaltet zudem eine feststehende Videokamera 206, die an einem Befestigungspfosten 208 oder einer beliebigen anderen Struktur befestigt sein kann, die Ampeln oder Gebäuden beinhaltet. Die feststehende Videokamera 206 weist eine Linse 210 mit einem Sichtfeld 214, das durch gepunktete Linien dargestellt ist, und eine optische Achse 212 auf, die durch eine gestrichelte Linie dargestellt ist. Das Sichtfeld 214 kann durch eine Vergrößerungslinse 210 in Kombination mit einer optischen Achse 212, die als eine Richtung im 3D-Raum definiert ist, welche sich an einer 3D-Positon eines optischen Zentrums der Linse 210 befindet, dargestellt sein. Die optische Achse 212 kann das Zentrum im 3D-Raum des Sichtfeldes 214 darstellen.
Das Sichtfeld 214 bestimmt den Abschnitt des 3D-Raums, der in einem Bild, d. h. einem digitalen Bild, durch die feststehende Videokamera 206 aufgenommen wird, und dadurch als Videobild durch die feststehende Videokamera 206 erlangt wird. Die 3D-Position und - Stellung der feststehenden Videokamera 206 kann empirisch bestimmt werden, wobei die 3D-Position durch x-, y-, z-Koordinaten in Bezug auf Breitengrad, Längengrad und Höhenlage definiert ist und die Stellung durch p-, Φ-, θ-Drehwinkel in Bezug auf durch Längengrad, Breitengrad und Höhenlage definierte Achsen definiert ist. Basierend auf der Bestimmung der 3D-Position und -Stellung der feststehenden Videokamera 206 kann das Sichtfeld 214 bestimmt werden.
Da sich das Sichtfeld 214 der feststehenden Videokamera 206 nicht ändert, können beispielsweise 3D-Abstände in der realen Welt von der feststehenden Videokamera 206 zu Hintergrundstandorten in der realen Welt bestimmt werden, in dem die 3D-Position von Objekten in der realen Welt physikalisch gemessen werden, wie etwa Fahrbahnen, die in einem Videobild dargestellt sind, das durch die feststehende Videokamera 206 erlangt wurde. Andere Techniken zum Bestimmen von 3D-Positionen von Objekten in der realen Welt beinhalten Fotogrammetrie, bei der eine a-priori-Information hinsichtlich der Größe eines Objektes dazu verwendet werden kann, die 3D-Position des Objektes in der realen Welt in Bezug auf die feststehende Videokamera zu bestimmen. Sobald die 3D-Positionen von Objekten in der realen Welt innerhalb des Sichtfeldes der feststehenden Videokamera 206 bestimmt sind, können die 3D-Positionen beispielsweise Pixelkoordinaten (i, j) in einem Videobild zugewiesen werden. Die 3D-Positionsinformationen können in einer Rechenvorrichtung gespeichert werden, die in einem Verkehrsinfrastruktursystem 100 beinhaltet ist.
Die feststehende Videokamera 206 kann Teil des Verkehrsinfrastruktursystems 100 sein. Ein Verkehrsinfrastruktursystem beinhaltet im vorliegenden Zusammenhang in dieser Schrift ein Netzwerk von Rechenvorrichtungen und Sensoren, die Daten hinsichtlich des Fahrzeugverkehrs in Gebieten erlangen, die Fahrbahnen und Abschnitte von Fahrbahnen beinhalten, und mit Fahrzeugen, die zum Fahrzeugverkehr gehören, kommunizieren. Ein Verkehrsinfrastruktursystem 100 kann Kommunikationsnetzwerke und Rechenvorrichtungen beinhalten, die beispielsweise den Fahrzeugverkehr in Gebieten, wie etwa Städten, Wohngebieten, Bezirken oder auf Autobahnen, überwachen und regeln. Ein Verkehrsinfrastruktursystem 100 kann Sensoren, wie etwa die feststehende Videokamera 206, beinhalten, um Videodaten vom Verkehr aufzuzeichnen und die Videodaten zu verarbeiten und sie beispielsweise an Rechenvorrichtungen übertragen, die in Kommunikation mit vielen feststehenden Videokameras 206 stehen, welche die Videodaten vom Verkehr zum Bestimmen von Verkehrsmustern und -geschwindigkeiten verwenden können. Das Verkehrsinfrastruktursystem 100 kann zudem eine drahtlose Kommunikationsausrüstung beinhalten, die dem Verkehrsinfrastruktursystem 100 erlaubt, Ad-hoc-Netzwerke mit einem Fahrzeug 110 auf Grundlage des Standorts in einem durch das Verkehrsinfrastruktursystem definierten geografischen Gebiet zu bilden. Ein Verkehrsinfrastruktursystem 100 kann beispielsweise eine Vielzahl von Sende- und Empfangsstationen beinhalten und kann die Ad-hoc-Netzwerke auf dieselbe Art und Weise verwalten, wie Mobilfunktelefonnetzwerke Mobiltelefonkommunikationen verwalten. Zum Beispiel kann ein Verkehrsinfrastruktursystem 100 Kommunikationen von einem Server 120 mit einem Fahrzeug 110 unter Verwendung der F-I-Schnittstelle 111 immer dann, wenn sich das Fahrzeug 110 innerhalb der Reichweite des Verkehrsinfrastruktursystems 100 befand, beinhalten, z. B. Kommunikationselemente, die in dem Netzwerk 130 beinhaltet sind, wobei „innerhalb der Reichweite“ als das Gebiet definiert ist, in dem das Fahrzeug 110 ein verwendbares Signal von einem Sendeempfänger des Verkehrsinfrastruktursystems 100 empfangen kann.
3 ist ein beispielhaftes Videobild 300, das durch eine feststehende Videokamera 206 erlangt wurde und in schwarz-weiß dargestellt ist, um die Bestimmungen des Patentamtes zu erfüllen. Das Videobild 300 beinhaltet Bilder einer Fahrbahn 302, Hintergrundobjekte 304, die Bordsteine, Zylinder und Pfosten usw. beinhalten, und Vordergrundobjekte, die Fahrzeuge im Straßenverkehr 306, 308, 310, 312 beinhalten.
Das Bestimmen von Vorder- und Hintergrundobjekten in einem Videobild 300 kann durch ein Verkehrsinfrastruktursystem 100 für eine Vielfalt an Aufgaben verwendet werden, die zum Beispiel Verkehrsflussanalyse, das Orten von Fußgängern und den Betrieb des Fahrzeugs 110 beinhalten. Vorder- und Hintergrundobjekte in einem Videobild 300 können bestimmt werden, indem ein erstes Videobild 300 an einer Rechenvorrichtung 115 erlangt und gespeichert wird. Ein zweites Videobild 300 kann erlangt werden und das erste Videobild 300 kann vom zweiten Videobild 300 abgezogen werden. Das sich ergebende abgezogene Bild enthält Nullen an Pixelpositionen, an denen sich die Daten zwischen dem ersten und dem zweiten Videobild 300 nicht geändert haben, und Nicht-null-Werte an Pixelpostionen, die sich geändert haben. Die Nicht-null-Werte werden durch die Bewegung von Vordergrundobjekten im zweiten Videobild 300 verursacht, was zu Nicht-null-Pixelwerten führt. Sich nicht bewegende oder Hintergrundobjekte werden aus dem Ergebnisbild heraussubtrahiert, wodurch nur die Vordergrundobjekte zurückbleiben, die durch verbundene Bereiche von Nicht-null-Pixeln gebildet werden.
Eine einfache Hintergrundsubtraktion kann Vordergrundpixel von Hintergrundpixeln trennen; aber sich ändernde Lichtstärken und andere Änderung beim Erscheinungsbild des Hintergrunds können es erfordern, ein neues Hintergrundbild zu erlangen. Zu wissen, wann ein neues Hintergrundbild zu erlangen ist, kann schwierig sein, wenn der Schauplatz zum Beispiel sich bewegende Fahrzeuge beinhaltet. Andere Techniken für den Vordergrund/Hintergrund können sich auf Schwellenwerte oder andere empirisch bestimmte Parameter stützen, die eine Einstellung zum Nachverfolgen von sich ändernden Bedingungen erfordern. Die in dieser Schrift erörterten Techniken berechnen eine Exzentrizität ε der Pixel eines Datenstroms von Videobildern und bestimmen dadurch Vorder- und Hintergrundpixel in einem Ergebnisbild, das aus dem Datenstrom von Videobildern abgeleitet ist, ohne dass eine Einstellung zum Nachverfolgen von sich ändernden Bedingungen erforderlich ist. Ein Datenstrom von Videobildern kann als eine Vielzahl von Videobildern definiert sein, die durch eine Videokamera in aufeinanderfolgenden Zeitintervallen erlangt werden.
Die Berechnung der Exzentrizität ε basierend auf einem Eingangsdatenstrom von Videobildern kann durch eine Rechenvorrichtung effizienter durchgeführt werden als durch andere vorstehend beschriebene Techniken zum Bestimmen des Bildvordergrunds/-hintergrunds. Zum Beispiel kann die Berechnung der Exzentrizität ε auf Grundlage eines Eingangsdatenstroms von Videobildern mit einer Geschwindigkeit von Hunderten von Videobildern pro Sekunde an jederzeit verfügbare Rechenvorrichtungen durchgeführt werden.
Die Berechnung der Exzentrizität ε ist frei von komplexen benutzerdefinierten Parametern und frei von Annahmen zu den Daten und deren Verteilung.
Bei der Exzentrizität ε handelt es sich um eine Metrik, d. h. einen wie nachstehend erläuterten Wert, der/die angibt, wie sehr sich ein Pixel von vergangenen Abtastungen der gleichen Pixelposition unterscheidet. Hinsichtlich eines Satzes von Abtastungen der gleichen Pixelposition als ein Vektor von Variablen in n Dimensionen nimmt der Wert der Exzentrizität ε zu, während diese Variablen von ihrem „normalen“ Verhalten abweichen. Für die Vordergrunderkennung werden alle „anormalen“ oder „irregulären“ Pixel auf Grundlage von den Intensitäten der Pixel als Vordergrund gekennzeichnet. Die Exzentrizität ε zum Zeitpunkt k kann durch die folgende Gleichung gegeben sein: $ε_{k} = α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}}$
wobei α eine empirisch bestimmte dimensionslose Konstante ist (für gewöhnlich ein kleiner Wert, z. B. 0,005), der eine Lerngeschwindigkeit für das Hintergrundmodel darstellt, wobei die Lerngeschwindigkeit angibt, welcher Abschnitt der Exzentrizität ε_k auf dem aktuellen Pixel x_k basiert, und somit wie schnell sich die Exzentrizität ε_k beispielsweise an Änderungen im Eingangsvideodatenstrom anpassen kann, und wobei das aktuelle Pixel x_k ein Vektor ist, der die Intensitäten einer Videodatenstromabtastung zum Zeitpunkt k beinhaltet. Bei den Variablen µ_k und $σ_{k}^{2}$
handelt es sich um den Mittelwert und die Varianz des aktuellen Pixels x_k zum Zeitpunkt k, die rekursiv gemäß den folgenden Gleichungen aktualisiert werden: $μ_{k} = (1 - α) μ_{k - 1} + α x_{k}$
$σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α}$
Ein Pixel x_k wird als Vordergrundpixel bestimmt, wenn die berechnete Exzentrizität ε_k zum Zeitpunkt k höher als 5α ist.
4 ist eine beispielhaftes Bild 400 der Exzentrität ε_k , das die Vordergrundbereiche 406, 408, 410, 412 vor einem Hintergrund 402 von Pixeln mit dem Wert null beinhaltet. Die Vordergrundbereiche 406, 408, 410, 412 sind auf Grundlage des Anwendens der Formel (1), (2) und (3) auf einen Datenstrom von Videobildern bestimmt, die zum Beispiel das Videobild 300 beinhalten. Durch die Gleichungen (1), (2) und (3) bestimmte Vordergrundpixel im Bild 400 der Exzentrizität ε_k können in Vordergrundbereiche 406, 408, 410, 412 durch das Bestimmen verbundener Bereiche von Vordergrundpixeln gruppiert werden, wobei Vordergrundpixel als verbunden bestimmt werden, wenn sie 8-fach benachbart sind, was diagonal benachbart beinhaltet. Die Vordergrundbereiche 406, 408, 410, 412 können Objekte darstellen, die sich vor einem Hintergrund bewegen, beispielsweise Fahrzeuge oder Fußgänger auf oder nahe einer Fahrbahn.
Die Verkehrsinfrastruktursysteme 100 können eine Vielzahl von feststehenden Videokameras beinhalten, die Bilder 400 der Exzentrizität ε_k z. B. für eine Vielzahl von Rechenvorrichtungen über das Netzwerk 130 bereitstellen. Zum Beispiel können Computer 115 in einer entsprechenden Vielzahl von Fahrzeugen 110 Bilder 400 der Exzentrizität ε_k empfangen. In der Vielzahl von Rechenvorrichtungen 115 beinhaltete Softwareprogramme können auf Grundlage von Informationen in Bezug auf den Standort, die Stellung und das Sichtfeld jeder feststehenden Videokamera 206 und dem Standort, der Geschwindigkeit und der Fahrtrichtung jedes Fahrzeugs 110 ein oder mehrere konkrete Bilder 400 der Exzentrizität ε_k identifizieren, die für die jeweiligen Fahrzeuge 110 relevant sind. Eine Rechenvorrichtung 115 in jedem Fahrzeug 110 kann dann über das Netzwerk 130 nur diejenigen Bilder 400 der Exzentrizität ε_k herunterladen, die als relevant für das jeweilige Fahrzeug 110 bestimmt wurden, wodurch der Netzwerkbandbreitennutzung minimiert wird. Jede feststehende Videokamera 206 kann zusammen mit dem Bild 400 der Exzentrizität ε_k Informationen beinhalten, welche den Standort, die Stellung und das Sichtfeld der feststehenden Videokamera identifiziert, die das Bild 400 der Exzentrizität ε_k erlangt hat.
5 ist eine beispielhafte kognitive Karte 500, die durch eine Rechenvorrichtung 115 im Fahrzeug 110 auf Grundlage eines Bildes 400 der Exzentrizität ε_k und von einem Verkehrsinfrastruktursystem heruntergeladene 3D-Positionsdaten bestimmt wurde. Wie vorstehend in Bezug auf 3 erörtert, können die 3D-Positionsdaten dazu verwendet werden, um die 3D-Positionen von Objekten in der realen Welt in einem Ergebnisbild 400 auf Grundlage der Pixelkoordinaten (i,j) des Objekts zu bestimmen. Eine kognitive Karte ist eine Darstellung einer lokalen räumlichen Umgebung, die Standorte von Objekten in dieser Umgebung in Bezug aufeinander spezifiziert.
In dem Beispiel aus 5 ist die kognitive Karte 500 eine Ansicht von oben einer lokalen räumlichen Umgebung, die Bereiche und Objekte beinhaltet, welche für die Navigation des Fahrzeugs 110 relevant sind, die eine Fahrbahn 502 und Fahrzeuge 504, 506, 508, 510 beinhalten. Eine kognitive Karte 500 kann auf Grundlage von Informationen in Bezug auf den Standort und die Fahrtrichtung eines Fahrzeugs 110 und gespeicherten Kartendaten bestimmt werden. Zum Beispiel kann sich das Fahrzeug 110 am Pfeil 512 befinden und in die Richtung fahren, die durch diesen angegeben wird. Da die kognitive Karte 500 basierend auf 3D-Koordinaten in der realen Welt aufgebaut ist, können sich 3D-Positionen von Objekten in der realen Welt des Bildes 400 der Exzentrizität ε_k in der kognitiven Karte 500 befinden. Die Rechenvorrichtung 115 kann den Standort und die Fahrtrichtung des Fahrzeugs 110 eingeben und Merkmale der kognitiven Karte 500, welche die Fahrbahn 502 beinhaltet, auf Grundlage von heruntergeladenen oder gespeicherten Karteninformationen und Daten von den Fahrzeugsensoren 116 bestimmen. Zum Beispiel kann ein Lidar-Sensor 116 Abstände messen, die das Vorhandensein der Straße 502 bestätigen.
Die Rechenvorrichtung 115 kann Informationen in Bezug auf die Vordergrundbereiche 406, 408, 410, 412 aus einem Bild 400 der Exzentrizität ε_k , die von einem Verkehrsinfrastruktursystem in eine kognitiven Karte 500 heruntergeladen wruden, einbeziehen. Da die feststehende Videokamera Informationen in Bezug auf die 3D-Position, die Stellung und das Sichtfeld zusammen mit dem Bild 400 der Exzentrizität ε_k einbezogen hat, kann die Rechenvorrichtung 115 die Vordergrundbereiche 406, 408, 410, 412 auf der kognitiven Karte 500 als sich bewegende Objekte 504, 506, 508, 510 durch das Bestimmen auf Grundlage der Pixelkoordinaten (i, j) der Vordergrundbereiche 406, 408, 410, 412 und der 3D-Position von Hintergrundpixelpositionen in der realen Welt, welche die Fahrbahn 502 beinhalten, abbilden, wo die Pixel der Vordergrundbereiche 406, 408, 410, 412 die Fahrbahn 502 schneiden. Durch das Abbilden der Vordergrundbereiche 406, 408, 410, 412 auf entsprechenden Positionen in der kognitiven Karte 500 können die sich bewegenden Objekte 504, 506, 508, 510 durch die Rechenvorrichtung 115 auf Grundlage des Standorts, der Größe und der Form identifiziert und durch die Rechenvorrichtung 115 verwendet werden, um einen Weg zu bestimmen, auf dem das Fahrzeug 110 auf der Fahrbahn 502 zu betreiben ist, der den sich bewegenden Objekte 504, 506, 508, 510 ausweicht. Durch das Orten der sich bewegenden Objekte 504, 506, 508, 510 in einer Reihe von Ergebnisbildern 500, die in aufeinanderfolgenden Zeitpunkten erlangt wurden, können eine Geschwindigkeit und Richtung für jedes sich bewegende Objekt 504, 506, 508, 510 durch die Rechenvorrichtung 115 bestimmt und verwendet werden, um einen Weg für das Fahrzeug 110 zum Fahren auf einer Fahrbahn 502 zu bestimmen, der einen Zusammenstoß oder Beinahezusammenstoß mit den sich bewegenden Objekten 504, 506, 508, 510 vermeidet.
Die Rechenvorrichtung 115 kann das Fahrzeug 110 auf Grundlage eines Wegpolynoms betreiben, das einen Weg 514 (gestrichelte Linie) spezifiziert, der mindestens teilweise anhand von sich bewegenden Objekten 504, 506, 508, 510 bestimmt wird. Bei dem Wegpolynom handelt es sich um eine mathematische Darstellung einer 3D-Position und -Bewegung in der realen Welt, die beispielsweise Änderungsgeschwindigkeiten von Quer- und Längsbeschleunigungen beinhaltet. Die Rechenvorrichtung 115 kann ein Wegpolynom 115 auf Grundlage eines aktuellen Standorts, einer aktuellen Geschwindigkeit und Richtung für das Fahrzeug 110 bestimmen, dargestellt durch den Pfeil 512. Die Rechenvorrichtung kann dann eine Polynomfunktion dritten Grades oder weniger in Splines genannten Segmenten bestimmen, wobei die Segmente derart beschränkt werden, dass sie durch Beschränkungen für erste Ableitungen glatt zusammenpassen, um vorhergesagte aufeinanderfolgende Standorte des Fahrzeugs 110 darzustellen. Beschränkungen für das Wegpolynom 514 bei 3D-Koordinaten in der realen Welt beinhalten Ober- und Untergrenzen für Quer- und Längsbeschleunigungen und Obergrenzen für Änderungsgeschwindigkeiten der Quer- und Längsbeschleunigung (Ruck), die zum Betreiben des Fahrzeugs 110 entlang des Wegpolynoms 514 erforderlich sind. Das Wegpolynom 514 kann außerdem beschränkt sein, um auf der Fahrbahn 502 zu bleiben und sich bewegende Objekte 504, 506, 508, 510 zu vermeiden, während Zielgeschwindigkeiten aufrechterhalten werden. Die Rechenvorrichtung 115 kann das Fahrzeug 110 betreiben, um entlang eines Weges 514 durch das Senden von Befehlen an die Steuerungen 112, 113, 114 zum Steuern der Lenkung, der Bremsen und des Antriebsstrangs des Fahrzeugs 110 entsprechend einem bestimmten Wegpolynom zu fahren, um das Fahrzeug 110 zu veranlassen, entlang des Weges 514 auf einer Fahrbahn 502 bei einer Zielgeschwindigkeit zu fahren, wobei die sich bewegenden Objekte 504, 506, 508, 510 vermieden werden.
Die Rechenvorrichtung 115 kann ein Wegpolynom für einen Weg 514 auf Grundlage von gespeicherten Kartendaten, Standortdaten von den Fahrzeugsensoren 116, die GPS und Beschleunigungsmesser, Radar-, Lidar- und Videosensoren beinhalten, bestimmen. Die Rechenvorrichtung 115 kann Daten von Radar-, Lidar- und Videosensoren verarbeiten, um Objekte in Sichtfeldern auf Grundlage von jedem der Radar-, Lidar- und Videosensoren unter Verwendung von maschinellen Bildverarbeitungstechniken zu bestimmen, die zum Beispiel neuronale Netzwerken und Bayessche Statistik beinhalten. Unter Verwendung von Informationen auf Grundlage der Sichtfelder jedes Sensors 116 können sich die Objekte in einer kognitiven Karte 500 befinden. Die Rechenvorrichtung kann dann ein Wegpolynom in der kognitiven Karte 500 bestimmen, das dem Fahrzeug 110 erlaubt, zu einem Ziel zu fahren, während es einen Zusammenstoß oder Beinahezusammenstoß mit den Objekten durch das Schätzen von Bereichen mit freiem Raum und Bereichen mit nichtfreiem Raum vermeiden, die in der kognitiven Karte 500 beinhaltet sind. Bereiche mit freiem Raum sind Bereiche einer kognitiven Karte 500, in denen für ein Fahrzeug 110 vorhergesagt werden kann, dass es ungehindert auf einer Fahrbahnfläche fahren kann.
Die Rechenvorrichtung 115 kann Ziele in der kognitiven Karte 500 für die Fahrt des Fahrzeugs 110 bestimmen, die einen Schritt zur Erreichung einer höheren zielgerichteten Maßnahme darstellen, wie zum Beispiel das Abholen eines Fahrgastes und das Absetzen desselben an einem Ziel. In einer kognitiven Karte 500 beinhaltete Bereiche mit nichtfreiem Raum beinhalten Bereiche ohne Fahrbahn und Bereiche, die Objekte umgeben, sowohl feststehende Objekte wie Leitkegel und Leitplanken als auch, wenn Objekte als sich bewegend bestimmt werden, Standorte, zu denen sich die Objekte wahrscheinlich bewegen werden, wobei beispielsweise Wegstrecken für Fahrzeuge, Fußgänger und Fahrradfahrer vorgesagt werden. Standorte in einer kognitiven Karte 500, zu denen sich die Objekte wahrscheinlich bewegen werden, können auf Grundlage von wiederholten Beobachtungen der Objekte im Laufe der Zeit bestimmt werden, um beispielsweise Wahrscheinlichkeiten für Objektpositionen auf Grundlage von einer bestimmten Geschwindigkeit und Richtung des Objekts zu bestimmen. Wegpolynome können bestimmt werden, um das Fahrzeug 110 zu lenken, um es innerhalb eines Bereichs mit freiem Raum zu fahren, um ein Ziel zu erreichen, während es Bereiche mit nichtfreiem Raum vermeidet. Daten, und daher erkannte Objekte, von den Fahrzeugsensoren 116, einschließlich Radar-, Lidar- und Videosensoren, sind auf die Sichtfelder jedes der Radar-, Lidar- und Videosensoren beschränkt. Das Hinzufügen von Daten in Bezug auf sich bewegende Objekte 504, 506, 508, 510 zu einer kognitiven Karte 500 kann die kognitive Karte 500 durch das Beinhalten von Objekten zusätzlich zu den Objekten verbessern, die in den Sichtfeldern der Fahrzeugsensoren 116 sichtbar sind.
6 ist eine Darstellung eines Ablaufdiagramms, das in Bezug auf die 1-5 beschrieben ist, eines Prozesses 600 zum Betreiben eines Fahrzeugs auf Grundlage des Bestimmens sich bewegender Objekte in einem Bild. Der Prozess 600 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem z. B. Informationen von den Sensoren 116 als Eingabe herangezogen und Befehle ausgeführt und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 600 beinhaltet mehrere Blöcke in der offenbarten Reihenfolge. Der Prozess 600 beinhaltet zudem Umsetzungen, die weniger Blöcke beinhalten, oder kann die Blöcke in anderen Reihenfolgen beinhalten.
Der Prozess 600 beginnt bei Block 602, in dem eine in einem Fahrzeug 110 beinhaltete Rechenvorrichtung 115 ein Bild 400 der Exzentrizität ε_k von einer feststehenden Videokamera 206 empfängt. Wie vorstehend in Bezug auf die 2-4 beschrieben, kann die feststehende Videokamera 206 in einem Verkehrsinfrastruktursystem beinhaltet sein, das bestimmt, wann das Bild 400 der Exzentrizität ε_k von der feststehenden Videokamera 206 an das Fahrzeug 110 übertragen werden soll. Ein Verkehrsinfrastruktursystem kann außerdem das Bild 400 der Exzentrizität ε_k als Reaktion auf eine Anfrage übertragen, die zum Beispiel durch das Fahrzeug 110 an ein Verkehrsinfrastruktursystem über ein Ad-hoch-Netzwerk übertragen wird. Zusätzlich zum Bild 400 der Exzentrizität ε_k kann ein Verkehrsinfrastruktursystem Informationen zum Standort, der Stellung und dem Sichtfeld in Bezug auf die feststehende Videokamera 206 übertragen.
Bei Block 604 kann die Rechenvorrichtung 115 das Bild 400 der Exzentrizität ε_k mit einer kognitiven Karte 500 auf Grundlage der Kombination des Standorts, der Stellung und des Sichtfeldes mit Informationen in Bezug auf die 3D-Positionen von Objekten in der realen Welt im Sichtfeld kombinieren, um die sich bewegenden Objekte 504, 506, 508, 510 auf oder nahe einer Fahrbahn 502 zu bestimmen, auf der ein Fahrzeug 110 fährt, wie vorstehend in Bezug auf die 4 und 5 erörtert.
Bei Block 606 kann die Rechenvorrichtung 115 das Fahrzeug 110 durch das Bestimmen eines Wegpolynoms 514 auf Grundlage des Bestimmens von Bereichen mit freiem Raum und Bereichen mit nichtfreiem Raum in einer kognitiven Karte 500 zu bestimmen und mindestens teilweise von bewegenden Objekten 504, 506, 508, 510 betreiben, wie vorstehend in Bezug auf die vorstehende 5 erörtert. Die Rechenvorrichtung 115 kann das Fahrzeug 110 durch das Senden von Befehlen an die Steuerungen 112, 113, 114 zum Steuern der Lenkung, der Bremsung und des Antriebsstrangs des Fahrzeugs 110 betreiben, um entlang des Wegpolynoms 514 zu fahren. Nach diesem Block endet der Prozess 600.
7 ist eine Darstellung eines Ablaufdiagramms, das in Bezug auf 3 beschrieben ist, eines Prozesses 700 zum Betreiben eines Fahrzeugs auf Grundlage des Bestimmens sich bewegender Objekte in einem Bild. Der Prozess 700 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem zum Beispiel Informationen von den Sensoren 116 als Eingabe genutzt und Befehle ausgeführt und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 700 beinhaltet mehrere Blöcke in der offenbarten Reihenfolge. Der Prozess 700 beinhaltet außerdem Umsetzungen, die weniger Blöcke beinhalten, oder kann die Blöcke in anderen Reihenfolgen beinhalten.
Der Prozess 700 beginnt bei Block 702, in dem eine in einem Fahrzeug 110 beinhaltete Rechenvorrichtung 115 ein Probepixel x_k aus einem Eingangsbild (i,j) von einer feststehenden Videokamera bestimmt. Der Prozess 700 beschreibt einen Prozess, der auf jedes Pixel x_k eines Eingangsbilds (i, j) von einer feststehenden Videokamera angewendet wird. Die feststehende Videokamera kann zum Beispiel eine RGB-Farbvideokamera sein, wobei die Pixel RGB-Pixel sind. Die Pixel x_k können zum Beispiel in einer Rasterabtastungsreihenfolge ausgewählt werden, in der Zeilen des Eingangsbildes nacheinander von oben nach unten abgetastet werden. Der Prozess 700 wird für jedes Pixel des Eingangsbildes (i, j) wiederholt.
Bei Block 704 aktualisiert die Rechenvorrichtung 115 den Mittelwert µ_k entsprechend der vorstehenden Gleichung (2), auf Grundlage des Pixels x_k des Bildes (i, j).
Bei Block 706 aktualisiert die Rechenvorrichtung 115 die Varianz $σ_{k}^{2}$
entsprechend der vorstehenden Gleichung (3), auf Grundlage des Pixels x_k des Bildes (i, j) und des Mittelwerts µ_k .
Bei Block 708 berechnet die Rechenvorrichtung 115 ein Exzentritätsbild ε_k entsprechend der vorstehenden Gleichung (1), auf Grundlage des Pixels x_k des Bildes (i, j) und des Mittelwerts µ_k und der Varianz $σ_{k}^{2} .$
Bei Block 710 vergleicht die Rechenvorrichtung 115 die Pixel des Exzentritätsbildes ε_k mit dem Fünffachen einer empirisch bestimmten Konstanten α. Wenn der Wert eines Pixels des Exzentritätsbildes ε_k größer oder gleich 5-mal α ist, zweigt der Prozess 700 zu Block 612 ab. Wenn der Wert des Pixels geringer als 5-mal α ist, zweigt der Prozess 700 zu Block 614 ab.
Bei Block 712 wird das Exzentritätsbild ε_k durch das Einstellen der Ausgabe (i, j) gleich dem Vordergrund berechnet. Nach Block 712 endet der Prozess 700.
Bei Block 714 wird das Exzentritätsbild ε_k durch das Einstellen der Ausgabe (i, j) gleich dem Hintergrund berechnet. Nach Block 714 endet der Prozess 700.
Rechenvorrichtungen, wie etwa die in dieser Schrift erörterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausgeführt werden können. Beispielsweise können die vorstehend erörterten Prozessblöcke als computerausführbare Befehle verwirklicht sein.
Computerausführbare Befehle können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung vielfältiger Programmiersprachen und/oder -techniken, einschließlich unter anderem entweder allein oder in Kombination Java™, C, C++, Visual Basic, Java Script, Perl, HTML usw., erstellt worden sind. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle z. B. von einem Speicher, einem computerlesbaren Medium usw. und führt diese Befehle aus, wodurch er einen oder mehrere Prozesse, einschließlich eines oder mehrerer der hier beschriebenen Prozesse, durchführt. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung einer Vielfalt an computerlesbaren Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Ein computerlesbares Medium schließt ein jedes Medium ein, das an der Bereitstellung von Daten (z. B. Befehlen) beteiligt ist, die von einem Computer gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien, flüchtiger Medien usw. Zu nichtflüchtigen Medien gehören zum Beispiel optische Platten oder Magnetplatten und andere dauerhafte Speicher. Zu flüchtigen Medien gehört ein dynamischer Direktzugriffsspeicher (dynamic random access memory - DRAM), der typischerweise einen Hauptspeicher darstellt. Zu gängigen Formen computerlesbarer Medien gehören zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, ein beliebiger anderer Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das durch einen Computer ausgelesen werden kann.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass eines oder mehrere der aufgeführten Elemente genannt wird bzw. werden, es sei denn, ein Patentanspruch enthält ausdrücklich eine gegenteilige Einschränkung.
Der Ausdruck „beispielhaft“ wird in dieser Schrift in dem Sinne verwendet, dass er ein Beispiel angibt, z. B. sollte ein Verweis auf eine „beispielhafte Vorrichtung“ einfach als Bezugnahme auf ein Beispiel für eine Vorrichtung gelesen werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, eine Messung, ein Wert, eine Bestimmung, eine Berechnung usw. von einer/einem genau beschriebenen Geometrie, Abstand, Messung, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Bearbeitungszeit, Kommunikationszeit usw. abweichen kann.
In den Zeichnungen kennzeichnen die gleichen Bezugszeichen die gleichen Elemente. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass die Schritte oder Blöcke derartiger Prozesse usw. zwar als gemäß einer bestimmten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der in dieser Schrift beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt dienen die Beschreibungen von Prozessen in dieser Schrift der Veranschaulichung bestimmter Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren: das Empfangen eines Bildes, das Vordergrundpixel beinhaltet, die auf Grundlage des Bestimmens einer Exzentrität ε_k für eine Bildfolge bestimmt wurden, die durch einen feststehenden Sensor erlangt wurden; das Bestimmen von sich bewegenden Objekten im Bild auf Grundlage der Vordergrundpixel; und das Betreiben eines Fahrzeugs auf Grundlage der sich bewegenden Objekte im Bild.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen der Exzentrität ε_k auf Grundlage des Bestimmens eines Mittelwerts µ_k für Pixel der Bildfolge, auf Grundlage eines vorherigen Mittelwerts µ_k-1 entsprechend der Formel µ_k = (1 - α)µ_k-1 + αx_k, bei der α eine empirisch bestimmte Konstante ist, gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen der Exzentrität ε_k auf Grundlage des Bestimmens einer Varianz $σ_{k}^{2}$
für Pixel der Bildfolge auf Grundlage einer vorherigen Varianz $σ_{k - 1}^{2}$
und des Mittelwerts µ_k entsprechend der Formel $σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α}$
gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen der Exzentrität ε_k auf Grundlage des Mittelwerts µ_k und der Varianz $σ_{k}^{2}$
entsprechend der Formel $ε_{k} = α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}}$
gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen der Vordergrundpixel durch das Vergleichen von ε_k mit α mal einer empirisch bestimmten Konstante gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen sich bewegender Objekte im Bild auf Grundlage des Bestimmens verbundener Bereiche von Vordergrundpixeln mit empirisch bestimmten Mindest- und Maximalgebieten gekennzeichnet.
Gemäß einer Ausführungsform werden die verbundenen Bereiche von Vordergrundpixeln auf Grundlage dessen bestimmt, dass sie eine ähnliche Exzentrität ε_k aufweisen.
Gemäß einer Ausführungsform ist der feststehende Sensor eine Farbvideokamera mit rot, grün, blau (RGB), die in einem Verkehrsinfrastruktursystem beinhaltet ist.
Gemäß einer Ausführungsform empfängt das Fahrzeug das Bild, das Vordergrundpixel beinhaltet, vom Verkehrsinfrastruktursystem über ein Netzwerk auf Grundlage eines Standorts des Fahrzeugs.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: einen Prozessor; und einen Speicher, wobei der Speicher Anweisungen beinhaltet, die zu folgendem Zweck durch den Prozessor auszuführen sind: das Empfangen eines Bildes, das Vordergrundpixel beinhaltet, die auf Grundlage des Bestimmens eines Bildes der Exzentrität ε_k auf Grundlage eines Bildes bestimmt wurden, das durch einen feststehenden Sensor erlangt wurde; das Bestimmen von sich bewegenden Objekten im Bild auf Grundlage der Vordergrundpixel; und das Betreiben eines Fahrzeugs auf Grundlage der sich bewegenden Objekte im Bild.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen der Exzentrität ε_k auf Grundlage des Bestimmens eines Mittelwerts µ_k für Pixel der Bildfolge auf Grundlage eines vorherigen Mittelwerts µ_k-1 entsprechend der Formel µ_k = (1 - α)µ_k-1 + αx_k gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen der Exzentrität ε_k auf Grundlage des Bestimmens einer Varianz auf Grundlage von $σ_{k}^{2}$
für Pixel der Bildfolge auf Grundlage einer vorherigen Varianz $σ_{k - 1}^{2}$
und des Mittelwerts µ_k entsprechend der Formel $σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α}$
gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen der Exzentrität ε_k auf Grundlage des Mittelwerts µ_k und der Varianz $σ_{k}^{2}$
entsprechend der Formel $ε_{k} = α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}}$
gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen der Vordergrundpixel durch das Vergleichen von ε_k mit α mal einer empirisch bestimmten Konstante gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen sich bewegender Objekte im Bild auf Grundlage des Bestimmens verbundener Bereiche von Vordergrundpixeln mit empirisch bestimmten Mindest- und Maximalgebieten gekennzeichnet.
Gemäß einer Ausführungsform werden die verbundenen Bereiche von Vordergrundpixeln auf Grundlage dessen bestimmt, dass sie eine ähnliche Exzentrität ε_k aufweisen.
Gemäß einer Ausführungsform ist der feststehende Sensor eine Farbvideokamera mit rot, grün, blau (RGB), die in einem Verkehrsinfrastruktursystem beinhaltet ist.
Gemäß einer Ausführungsform empfängt das Fahrzeug das Bild, das Vordergrundpixel beinhaltet, vom Verkehrsinfrastruktursystem über ein Netzwerk auf Grundlage eines Standorts des Fahrzeugs.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: Mittel zum Steuern des Lenkens, Bremsens und Antriebsstrangs des Fahrzeugs; Computermittel für Folgendes: das Empfangen eines Bildes, das Vordergrundpixel beinhaltet, die auf Grundlage des Bestimmens einer Exzentrität ε_k auf Grundlage eines Bildes bestimmt wurden, das durch einen feststehenden Sensor erlangt wurde; das Bestimmen von sich bewegenden Objekten im Bild auf Grundlage der Vordergrundpixel; und das Betreiben eines Fahrzeugs auf Grundlage der sich bewegenden Objekte im Bild und auf Grundlage der Mittel zum Steuern des Lenkens, Bremsens und des Antriebsstrangs des Fahrzeugs.
Gemäß einer Ausführungsform ist die Erfindung ferner durch das Bestimmen der Exzentrität ε_k auf Grundlage des Bestimmens eines Mittelwerts µ_k auf Grundlage der Formel µ_k = (1 - α)µ_k-1 + αx_k gekennzeichnet.

Claims

Verfahren, umfassend: das Empfangen eines Bildes, das Vordergrundpixel beinhaltet, die auf Grundlage des Bestimmens einer Exzentrität ε_k für eine Bildfolge bestimmt wurden, die durch einen feststehenden Sensor erlangt wurden; das Bestimmen von sich bewegenden Objekten im Bild auf Grundlage der Vordergrundpixel; und das Betreiben eines Fahrzeugs auf Grundlage der sich bewegenden Objekte im Bild.
Verfahren nach Anspruch 1, ferner umfassend das Bestimmen der Exzentrität ε_k auf Grundlage des Bestimmens eines Mittelwerts µ_k für Pixel der Bildfolge, auf Grundlage eines vorherigen Mittelwerts µ_k-1 entsprechend der Formel µ_k = (1 - α)µ_k-1 + αx_k, bei der α eine empirisch bestimmte Konstante ist.
Verfahren nach Anspruch 2, ferner umfassend das Bestimmen das Bestimmen der Exzentrität ε_k auf Grundlage des Bestimmens einer Varianz $σ_{k}^{2}$
für Pixel der Bildfolge auf Grundlage einer vorherigen Varianz µ_k und des Mittelwerts µ_k entsprechend der Formel $σ_{k}^{2} = (1 - α) σ_{k - 1}^{2} + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{1 - α} .$
Verfahren nach Anspruch 3, ferner umfassend das Bestimmen das Bestimmen der Exzentrität ε_k auf Grundlage des Mittelwerts µ_k und der Varianz $σ_{k}^{2}$
entsprechend der Formel $ε_{k} = α + \frac{α {(x_{k} - μ_{k})}^{T} (x_{k} - μ_{k})}{σ_{k}^{2}} .$
Verfahren nach Anspruch 4, ferner umfassend das Bestimmen der Vordergrundpixel durch das Vergleichen von ε_k mit α mal einer empirisch bestimmten Konstante.
Verfahren nach Anspruch 1, ferner umfassend das Bestimmen sich bewegender Objekte im Bild auf Grundlage des Bestimmens verbundener Bereiche von Vordergrundpixeln mit empirisch bestimmten Mindest- und Maximalgebieten.
Verfahren nach Anspruch 6, wobei die verbundenen Bereiche von Vordergrundpixeln auf Grundlage dessen bestimmt werden, dass sie eine ähnliche Exzentrität ε_k aufweisen.
Verfahren nach Anspruch 1, wobei der feststehende Sensor eine Farbvideokamera mit rot, grün, blau (RGB) ist, die in einem Verkehrsinfrastruktursystem beinhaltet ist.
Verfahren nach Anspruch 8, wobei das Fahrzeug das Bild, das Vordergrundpixel beinhaltet, vom Verkehrsinfrastruktursystem über ein Netzwerk auf Grundlage eines Standorts des Fahrzeugs empfängt.
Verfahren nach Anspruch 9, ferner umfassend das Abbilden sich bewegender Objekte auf Grundlage des Standorts der RGB-Farbvideokamera auf einer kognitiven Karte.
Verfahren nach Anspruch 10, ferner umfassend das Bestimmen der kognitiven Karte auf Grundlage des Standorts des Fahrzeugs, von Kartendaten, Fahrzeugsensordaten und den sich bewegenden Objekten.
Verfahren nach Anspruch 11, ferner umfassend das Betreiben des Fahrzeugs auf Grundlage eines Wegpolynoms auf Grundlage der kognitiven Karte.
Verfahren nach Anspruch 12, wobei die RGB-Farbvideokamera fixiert ist, um ein sich nicht änderndes Sichtfeld zu erlangen.
Verfahren nach Anspruch 1, ferner umfassend Betreiben des Fahrzeugs durch Steuern von Lenken, Bremsen und Antriebsstrang des Fahrzeugs.
System, umfassend einen Computer, der dazu programmiert ist, die Verfahren nach einem der Ansprüche 1-14 durchzuführen.