DE102012207620A1

DE102012207620A1 - System und Verfahren für die Lichtsignaldetektierung

Info

Publication number: DE102012207620A1
Application number: DE102012207620A
Authority: DE
Inventors: Shuqing Zeng
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2011-05-10
Filing date: 2012-05-08
Publication date: 2012-12-06
Anticipated expiration: 2032-05-09
Also published as: DE102012207620B4; US20120288138A1; CN102800207B; US8620032B2; CN102800207A

Abstract

Ein Verfahren und ein System können einen Ort eines Fahrzeugs bestimmen, unter Verwendung einer dem Fahrzeug zugeordneten Kamera ein Bild erheben, das Bild zusammen mit dem Ort des Fahrzeugs und/oder zuvor erhobenen Informationen über den Ort von Lichtsignalen oder anderen Objekten (z. B. Verkehrszeichen) analysieren und unter Verwendung dieser Analyse ein Bild eines Lichtsignals innerhalb des erhobenen Bilds ermitteln. Die Position (z. B. eine geographische Position) des Signals kann bestimmt und zur späteren Verwendung gespeichert werden. Die Identifizierung des Signals kann verwendet werden, um eine Ausgabe wie etwa den Status des Signals wie etwa grünes Licht bereitzustellen.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf die Detektierung verkehrsbezogener Objekte oder Signalvorrichtungen wie etwa Verkehrsampeln, die z. B. eine Kombination aus Ortskenntnis, Kenntnis zuvor detektierter Objekte und Bilderzeugung verwendet.
HINTERGRUND
Ein hoher Prozentsatz an Verkehrsunfällen (z. B. Kraftfahrzeugunfällen) tritt an Straßenkreuzungen auf, wobei sich ein Teil dieser Unfälle daraus ergibt, dass Fahrer Lichtsignale nicht beachten. Die Bereitstellung von Informationen hinsichtlich Lichtsignalen für Fahrer und die Tatsache, dass Fahrer vor oder zu der Zeit, zu der sich ein Fahrzeug solchen Signalen annähert, auf diese Signale aufmerksam gemacht werden, kann Fahrern solche Unfälle vermeiden helfen. Außerdem kann die Eingabe von Informationen hinsichtlich solcher Signale in Systeme wie etwa einen autonomen adaptiven Tempomat (ACC) der Leistung dieser Systeme helfen.
Informationen über Lichtsignale können durch automatisierte Computerbildanalyse von Bildern, die z. B. von einer in Fahrtrichtung weisenden Kamera erfasst werden, bereitgestellt werden. Allerdings kann diese Analyse ungenau sein und mehr Zeit brauchen, als in einem schnell bewegten Fahrzeug zur Verfügung steht.
ZUSAMMENFASSUNG
Ein Verfahren und ein System können einen Ort eines Fahrzeugs bestimmen, unter Verwendung einer dem Fahrzeug zugeordneten Kamera ein Bild erheben, das Bild zusammen mit dem Ort des Fahrzeugs und/oder zuvor erhobenen Informationen über den Ort von Lichtsignalen oder anderen Objekten (z. B. Verkehrszeichen) analysieren und unter Verwendung dieser Analyse ein Bild eines Lichtsignals innerhalb des erhobenen Bilds ermitteln. Die Position des Signals kann bestimmt und zur späteren Verwendung gespeichert werden. Die Identifizierung des Signals kann verwendet werden, um eine Ausgabe wie etwa den Status des Signals (z. B. grünes Licht) bereitzustellen.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Der Gegenstand hinsichtlich der Erfindung ist insbesondere in dem abschließenden Abschnitt der Beschreibung dargelegt und charakteristisch beansprucht. Allerdings kann die Erfindung sowohl hinsichtlich der Organisation als auch des Betriebsverfahrens zusammen mit Aufgaben, Merkmalen und Vorteilen davon am besten verstanden werden mit Bezug auf die folgende ausführliche Beschreibung, wenn sie mit den beigefügten Zeichnungen gelesen wird, in denen:
1 eine schematische Darstellung eines Fahrzeugs und eines Signaldetektierungssystems in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung ist;
2 eine schematische Darstellung eines Signaldetektierungssystems in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung ist;
3 ein Ablaufplan ist, der ein Verfahren in Übereinstimmung mit einer Ausführungsform der Erfindung zeigt;
4 ein Ablaufplan ist, der ein Verfahren in Übereinstimmung mit einer Ausführungsform der Erfindung zeigt; und
5 eine Ansicht von einer in einem Fahrzeug angebrachten Kamera mit hinzugefügten Kandidatenfenstern in Übereinstimmung mit einer Ausführungsform der Erfindung zeigt.
Um entsprechende oder analoge Elemente anzugeben, können Bezugszeichen unter den Zeichnungen wiederholt sein. Darüber hinaus können einige der in den Zeichnungen gezeigten Blöcke zu einer einzelnen Funktion kombiniert sein.
AUSFÜHRLICHE BESCHREIBUNG
In der folgenden ausführlichen Beschreibung sind zahlreiche spezifische Einzelheiten dargelegt, um ein gründliches Verständnis der Erfindung zu schaffen. Allerdings ist für den Durchschnittsfachmann auf dem Gebiet selbstverständlich, dass die Ausführungsformen der vorliegenden Erfindung ohne diese spezifischen Einzelheiten verwirklicht werden können. In anderen Fällen sind gut bekannte Verfahren, Prozeduren, Komponenten und Schaltungen nicht ausführlich beschrieben worden, um die vorliegende Erfindung nicht zu verdecken.
Soweit nicht spezifisch etwas anderes angegeben ist, beziehen sich überall in der Beschreibung Diskussionen, die Begriffe wie etwa ”verarbeiten”, ”berechnen”, ”speichern”, ”bestimmen” oder dergleichen nutzen, wie aus den folgenden Diskussionen offensichtlich ist, auf die Aktion und/oder auf Prozesse eines Computers oder Computersystems oder einer ähnlichen elektronischen Computervorrichtung, der bzw. das bzw. die Daten, die als physikalische wie etwa elektronische Größen innerhalb der Register und/oder Speicher des Computersystems dargestellt sind, innerhalb des Computersystems in andere Daten, die ähnlich als physikalische Größen innerhalb der Speicher, Register oder anderer solcher Informationsablage-, Informationsübertragungs- oder Informationsanzeigevorrichtungen des Computersystems dargestellt sind, manipuliert und/oder transformiert.
Ausführungsformen der Erfindung können Ortsinformationen eines Fahrzeugs (und verwandte Informationen wie etwa die Richtung der Fahrt, die Geschwindigkeit, die Beschleunigung, die Fahrtrichtung, das Gieren usw.) und visuelle Informationen wie etwa von einer Kamera in dem Fahrzeug erfasste Bilder kombinieren, um Signalvorrichtungen wie etwa Lichtsignale zu ermitteln (z. B. einen absoluten Ort und/oder absolute Orte in Bildern zu bestimmen). Wenn ein Lichtsignal hier verwendet ist, kann es eine Verkehrsampel wie etwa eine herkömmliche Verkehrsampel mit drei oder einer anderen Anzahl von Lampen, z. B. rot, gelb und grün, oder andere Verkehrs-, Zug-, Fahrzeug- oder andere Signalisierungsvorrichtungen enthalten. Zuvor erhobene, erhaltene oder eingegebene Kenntnis z. B. hinsichtlich der Geometrie einer Straße oder Straßenkreuzung und des Orts von Lichtsignalen können verwendet werden, um Signale innerhalb eines Bilds zu ermitteln. Bilder können z. B. unter Verwendung einer Kamera wie etwa einer an dem Fahrzeug angebrachten Digitalkamera erhoben werden. Die Kamera weist üblicherweise nach vorn, in der typischen Fahrtrichtung, und kann z. B. vorn an einem Rückspiegel oder an einem anderen geeigneten Ort angebracht sein. Das Fahrzeug ist üblicherweise ein Kraftfahrzeug wie etwa ein PKW, ein Lieferwagen oder ein LKW, wobei aber Ausführungsformen der Erfindung mit anderen Fahrzeugen verwendet werden können. Ortsinformationen können von einem Fahrzeugortsdetektierungssystem wie etwa Informationen von einem globalen Positionsbestimmungssystem (GPS), Koppelnavigationsinformationen (z. B. Raddrehzahl, Beschleunigungsmesser usw.) oder andere Informationen kommen.
Obgleich Signale in der Weise beschrieben sind, dass sie detektiert werden, können unter Verwendung von Ausführungsformen der vorliegenden Erfindung andere straßen- oder verkehrsbezogene Objekte detektiert werden. Zum Beispiel können Verkehrszeichen, Brücken, Autobahnausfahrten, Anzahlen von Fahrspuren, Straßenränder oder andere Objekte detektiert werden.
Wenn die Position, die Perspektive, die Fahrtrichtung oder die Richtung und andere Positions- und Orientierungsdaten der Kamera hier diskutiert sind, sind sie üblicherweise mit denen des Fahrzeugs austauschbar. Da Bilder durch die an dem Fahrzeug angebrachte Kamera erfasst werden, sind die Entfernung und der Winkel von dem Fahrzeug, wenn sie hier verwendet werden, üblicherweise die Entfernung und der Winkel von der Kamera.
Die Ortsinformationen und die zuvor erhobenen oder erhaltenen Informationen können zum Mitteilen an die Bildanalyse verwendet werden. Vorbereitete, vorher vorhandene oder öffentlich verfügbare Karteninformationen wie etwa Navteq-Karten oder durch Google bereitgestellte Karten können ebenfalls verwendet werden. In einigen Ausführungsformen kann dies die Bildanalyse schneller und/oder genauer machen, obgleich andere oder verschiedene Vorteile verwirklicht werden können. Zum Beispiel können Informationen hinsichtlich eines Bereichs wie etwa einer Straßenkreuzung mit Lichtsignalen eingegeben oder erhalten werden. Diese Informationen können während der vorhergehenden Fahrt des Fahrzeugs über die Straßenkreuzung erhalten werden. Die Geometrie der Straßenkreuzung einschließlich des Orts bekannter Lichtsignale kann bekannt sein. Informationen über den Ort zuvor identifizierter Lichtsignale können mit den gegenwärtig bekannten Ortsinformationen des Fahrzeugs kombiniert werden, um innerhalb durch das Fahrzeug erhobener Bilder wahrscheinliche Gebiete zu identifizieren, um den Ort von Lichtsignalen zu bestimmen. Durch die Kamera erfasste Bilder können zusammen mit dem Ort des Fahrzeugs und bekannten Kartendaten oder Kenntnis über den Ort von Straßenkreuzungen und/oder zuvor erhobenen Informationen über den Ort von Signalen auf Signale analysiert werden, um ein Bild eines Lichtsignals innerhalb des erhobenen Bilds zu ermitteln.
In einigen Ausführungsformen können mit jeder Durchfahrt durch einen Bereich, einen Straßenabschnitt oder eine Straßenkreuzung mehr Informationen zusammengetragen werden, sodass mit jeder aufeinanderfolgenden Durchfahrt eine genauere und/oder schnellere Bildanalyse ausgeführt werden kann. Die Signalortsinformationen können gespeichert werden und die Menge dieser Informationen kann zunehmen, während mehr Signale detektiert werden.
Nachdem Signalvorrichtungen wie etwa Lichtsignale innerhalb von Bildern identifiziert worden sind, können sie analysiert werden, um ihren Status oder Zustand (z. B. Stopp, gelbes Licht, grünes Licht, Linksabbiegen verboten, Linksabbiegen zulässig usw.) zu bestimmen. Dieser Zustand kann einem Fahrer oder anderen Nutzer wie etwa über eine Anzeige, einen Alarm, einen hörbaren Ton usw. angezeigt oder bereitgestellt werden. Dieser Zustand kann für einen automatischen Prozess wie etwa einen ACC bereitgestellt werden, um zu veranlassen, dass das Fahrzeug automatisch verlangsamt.
1 ist ein schematisches Diagramm eines Fahrzeugs und eines Signaldetektierungssystems in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung. Das Fahrzeug 10 (z. B. ein PKW, ein LKW oder ein anderes Fahrzeug) kann ein Signaldetektierungssystem 100 enthalten. Eine Kamera 12 in dem Fahrzeug oder die dem Fahrzeug zugeordnet ist, z. B. eine Digitalkamera, die Video- und/oder Standbilder aufnehmen kann, kann Bilder erhalten und die Bilder z. B. über eine Drahtverbindung 14 oder eine drahtlose Verbindung zum Signaldetektierungssystem 100 übertragen. Die Kamera 12 ist üblicherweise nach vorn weisend, z. B. in der üblichen Fahrtrichtung weisend, erzeugt Bilder durch die Windschutzscheibe 22 und kann z. B. am Rückspiegel 24 angebracht sein, kann aber an einem anderen Ort, z. B. außerhalb des Fahrgastraums 18, positioniert sein. Es können mehr als eine Kamera verwendet werden, die Bilder aus unterschiedlichen Perspektiven erhalten.
In einer Ausführungsform ist oder enthält das Signaldetektierungssystem 100 eine Computervorrichtung, die an dem Armaturenbrett des Fahrzeugs im Fahrgastraum 18 oder im Kofferraum 20 angebracht ist und Teil eines herkömmlichen Fahrzeugortsdetektierungssystems wie etwa eines GPS sein, ihm zugeordnet sein, Ortsinformation von ihm annehmen oder es enthalten kann. In alternativen Ausführungsformen kann sich das Signaldetektierungssystem 100 in einem anderen Teil des Fahrzeugs befinden, kann es sich in mehreren Teilen des Fahrzeugs befinden oder kann sich seine gesamte Funktionalität oder ein Teil davon fern (z. B. in einem fernen Server) befinden.
2 ist eine schematische Darstellung eines Signaldetektierungssystems in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung. Das Signaldetektierungssystem 100 kann einen oder mehrere Prozessoren) oder Controller 110, Speicher 120, eine Langzeitablage 130, Eingabevorrichtung(en) oder -bereich(e) 140 und Ausgabevorrichtung(en)–-bereich(e) 150 enthalten: Die Eingabevorrichtung(en) oder -bereich(e) 140 können z. B. ein Touchscreen, eine Tastatur, ein Mikrofon, eine Zeigevorrichtung oder eine andere Vorrichtung sein. Die Ausgabevorrichtung(en) oder -bereich(e) 150 können z. B. eine Anzeige, ein Bildschirm, eine Audiovorrichtung wie etwa ein Lautsprecher oder Kopfhörer oder eine andere Vorrichtung sein. Die Eingabevorrichtung(en) oder -bereich(e) 140 und die Ausgabevorrichtung(en) oder -bereich(e) 150 können z. B. zu einer Touchscreenanzeige und -eingabe, die Teil des Systems 100 sein kann, kombiniert sein. Das Signaldetektierungssystem 100 kann das GPS-System 180 oder ein anderes System zum Empfangen oder Bestimmen von Ortsinformationen, z. B. für das Fahrzeug 10, enthalten, ihm zugeordnet sein oder mit ihm verbunden sein. Das GPS-System 180 kann sich in dem Fahrzeug an einem vom System 100 getrennten Ort befinden.
Das System 100 kann eine oder mehrere Datenbanken 170 enthalten, die z. B. Informationen über jedes zuvor festgestellte Signal (z. B. Lichtsignal oder andere Signal) einschließlich des geographischen oder dreidimensionalen Orts (3D-Orts) des Signals enthalten können. Der geographische Ort oder 3D-Ort eines Objekts wie etwa eines Signals, eines Fahrzeugs oder eines Objekts, das in einem Bild identifiziert worden ist, kann z. B. in einem in GPS-Systemen verwendeten Format oder Ort, ein x-, y-, z-Koordinatensatz oder andere geeignete Ortsinformationen sein. Es können andere Informationen über Signale wie etwa Bildausschnitte detektierter Lichtsignale, ein Vertrauenswert hinsichtlich der Existenz des Signals, eine Historie früherer Schätzwerte oder Messwerte für Signalorte oder Gauß-Verteilungen eines Signalorts oder geschätzten Orts in Bezug auf ein Signal gespeichert sein. Die Datenbanken 170 können alle oder teilweise im Speicher 120 und/oder in der Langzeitablage 130 oder in einer anderen Vorrichtung gespeichert sein. Das System 100 kann Kartendaten 175 enthalten, obgleich auf diese Daten fern zugegriffen werden kann und sie getrennt vom System 100 gespeichert sein können.
Der Prozessor oder Controller 110 kann z. B. eine Zentraleinheit (CPU), ein Chip oder irgendeine geeignete Computer- oder Rechenvorrichtung sein. Der Prozessor oder Controller 110 kann mehrere Prozessoren enthalten und kann Universalprozessoren und/oder dedizierte Prozessoren wie etwa Graphikverarbeitungschips enthalten. Der Prozessor 110 kann Code oder Anweisungen ausführen, die z. B. im Speicher 120 oder in der Langzeitablage 130 gespeichert sind, um Ausführungsformen der vorliegenden Erfindung auszuführen.
Der Speicher 120 kann z. B. ein Schreib-Lese-Speicher (RAM), ein Nur-Lese-Speicher (ROM), ein dynamischer RAM (DRAM), ein synchroner DRAM (SD-RAM), ein Speicherchip mit doppelter Datenrate (DDR), ein Flash-Speicher, ein flüchtiger Speicher, ein nicht flüchtiger Speicher, ein Cache-Speicher, ein Puffer, eine Kurzzeitspeichereinheit, eine Langzeitspeichereinheit oder andere geeignete Speichereinheiten oder Ablageeinheiten sein oder enthalten. Der Speicher 120 kann mehrere Speichereinheiten sein oder enthalten.
Die Langzeitablage 130 kann z. B. ein Festplattenlaufwerk, ein Diskettenlaufwerk, ein Kompakt-Disk-Laufwerk (CD-Laufwerk), ein CD-Recordable-Laufwerk (CD-R-Laufwerk), eine Universal-Serial-Bus-Vorrichtung (USB-Vorrichtung) oder eine andere geeignete Wechsel- und/oder Festablageeinheit sein oder enthalten und kann mehrere oder eine Kombination solcher Einheiten enthalten.
Der Speicher 120 und/oder die Langzeitablage 130 und/oder andere Speichervorrichtungen können die Geometrie von Straßenkreuzungen oder anderen Bereichen, die das Fahrzeug 10 besucht hat, die z. B die Ortskoordinaten (z. B. X/Y/Z-Koordinaten, GPS-Koordinaten) von Signalen enthalten können, speichern. Signalpositionen können z. B. als geographische Länge, geographische Breite und Höhe oder Elevation gespeichert sein. Die Fahrzeugortsdaten können eine Fahrtrichtung enthalten und können somit z. B. sechs Zahlen wie etwa die geographische Länge, die geographische Breite und die Höhe oder Elevation und Fahrtrichtungsdaten, die drei Zahlen enthalten können, enthalten. Es können andere Verfahren und Systeme zur Darstellung des Signalorts und des Fahrzeugorts und/oder der Fahrtrichtung verwendet werden. In einer Ausführungsform nimmt das System an, dass das Signal zu dem ankommenden Verkehr (z. B. zu dem Fahrzeug, das das System trägt) weist.
In einigen Ausführungsformen sind Signaldaten, die durch ein Fahrzeug erhoben werden, für das bestimmte Fahrzeug, das die Daten erhebt, nutzbar oder relevant, sodass sie durch ein bestimmtes Fahrzeug zur Verwendung durch ein System 100 in diesem bestimmten Fahrzeug ”entwickelt” oder erfasst werden.
3 ist ein Ablaufplan, der ein Verfahren in Übereinstimmung mit einer Ausführungsform der Erfindung zeigt. Die Betriebe aus 3 können z. B. durch das anhand von 1 und 2 beschriebene System ausgeführt werden, können aber. durch andere Systeme und Vorrichtungen ausgeführt werden.
Im Betrieb 300 kann ein Fahrzeug fahren und kann es Bilder, üblicherweise in Vorwärtsrichtung, erfassen oder erheben. Bilder können in regelmäßigen Intervallen, z. B. alle 100 Millisekunden oder in anderen Intervallen, erhoben werden. Bilder können als Video erfasst werden. Zum Beispiel kann eine Kamera oder können Kameras in dem Fahrzeug oder die dem Fahrzeug zugeordnet sind, z. B. eine oder mehrere nach vorn weisende Kameras wie etwa die Kamera 12, Bilder erfassen.
Im Betrieb 310 kann der Ort des Fahrzeugs z. B. durch Annehmen eines Orts eines Fahrzeugs von einem Fahrzeugortsbestimmungssystem wie etwa einem GPS (z. B. einem System 180), durch Koppelnavigation oder durch eine Kombination von Systemen bestimmt werden.
Im Betrieb 320 kann ein erfasstes Bild analysiert werden, können Bilder von Signalvorrichtungen innerhalb des erfassten Bilds detektiert und ermittelt werden und kann der Ort (z. B. der geographische Ort) der detektierten Signale bestimmt werden. Dies kann z. B. durch bekannte Objekterkennungstechniken z. B. auf der Grundlage bekannter Schablonen oder Eigenschaften von Signalen wie etwa Lichtsignalen erfolgen. Da Signale in unterschiedlichen Gerichtsbarkeiten unterschiedlich aussehen können, können in unterschiedlichen Anwendungen, an unterschiedlichen Orten oder in unterschiedlichen Gerichtsbarkeiten andere spezifische Schablonen oder Eigenschaften verwendet werden. Die Bilder können analysiert werden, und mit oder zusammen mit einer Eingabe wie etwa einer Eingabe einer geographischen Karte, die durch Navteq oder Google bereitgestellt wird, kann eine Signaldetektierung erfolgen. Die Bilder können analysiert werden, und zusammen mit oder zusammen mit Straßenkreuzungsinformationen oder Signalortsinformationen, die zuvor durch ein System innerhalb des Fahrzeugs erhalten wurden, kann eine Signaldetektierung ausgeführt werden; diese Informationen können für das spezifische Fahrzeug relevant sein und innerhalb des oder für das spezifische Fahrzeug gespeichert sein. In 4 ist eine beispielhafte Prozedur für die Detektierung von Signalvorrichtungen innerhalb eines Bilds gegeben.
Das Ergebnis der Signaldetektierung kann z. B. ein Bild des Signals oder die Position des Signals innerhalb eines Bilds und den geographischen Ort des Signals enthalten.
Falls im Betrieb 330 ein Signal detektiert wird oder falls im Betrieb 320 eine positive Bestimmung vorgenommen wird, dass ein Lichtsignal vorhanden ist, können die in einem System in dem Fahrzeug gespeicherten Signalortsinformationen aktualisiert werden. Dieses Aktualisieren kann z. B. das Speichern eines Eintrags für das Signal und seines geographischen Orts in einer Datenbank (z. B. in der Datenbank 170) oder in einer anderen Datenstruktur oder in einem Speicher oder in einer Langzeitablagevorrichtung enthalten. Dieses Aktualisieren kann z. B. das Einstellen des zuvor gespeicherten geographischen Orts für ein Signal enthalten. Dieses Aktualisieren kann das Merken, dass ein Signal mehr als einmal bei oder nahe einem Ort detektiert wurde (oder die Anzahl, in der es detektiert wurde), enthalten. Dieses Aktualisieren kann das Speichern von Informationen über neu detektierte Lichtsignale enthalten. Signale, die für einen Standort wegen Bildqualitätsproblemen, Verarbeitungsbeschränkungen oder aus anderen Gründen zuvor nicht detektiert wurden, können zu einer Datenbank hinzugefügt werden. Der Ort von Signalen, deren Ort zuvor fehlerhaft berechnet wurde oder die bewegt worden sind, kann in der Datenbank geändert werden.
Die Signalpositionsinformationen können in GPS-Koordinaten x (z. B. geographische Breite, geographische Länge und Höhe) dargestellt werden und können eine entsprechende Kovarianzmatrix (P) enthalten. Eine neue oder aktualisierte Messposition z kann in demselben Koordinatensystem wie eine Kovarianzmatrix (M) sein.
Die Gauß-Verteilung N(x, P) für die Signalposition kann als [R_p, z_p] mit P = R –1 / PRP –T / P und z_P = R_Px bezeichnet werden. Ähnlich kann die Gauß-Verteilung N(z, M) für den neuen Messwert z als [R_M, z_M] bezeichnet werden. Der kombinierte, aktualisierte oder neue Schätzwert für die Signalposition [R ^_P, z ^_P] kann als x^ = (R T / PR_P + R T / MR_M)^–1(R T / Pz_P + R T / Mz_M) berechnet werden, wobei R ^_P der Cholesky-Zerlegungsfaktor der Matrix R T / PR_P + R T / MR_M ist.
Um eine Signalposition auf der Grundlage neuer Informationen zu aktualisieren, können andere Berechnungen verwendet werden.
Im Betrieb 340 kann der Zustand oder Status des Signals bestimmt werden. Der Status kann z. B. rot (Halt), gelb (langsam), grün (Fahren), Rechtsabbiegen, Linksabbiegen, Rechtsabbiegen verboten, Linksabbiegen verboten, funktionsunfähig oder Fehler (z. B. im Fall eines Stromausfalls oder eines fehlerhaften Lichtsignals) oder andere Status oder Zustande sein. Unterschiedliche Gerichtsbarkeiten können unterschiedliche Eingaben oder Bilder aufweisen, die unterschiedlichem Status zugeordnet sind – z. B. bedeutet in einigen Gerichtsbarkeiten ein gelbes Licht langsam und bedeutet in anderen ein gelbes Licht, dass das Signal bald auf grün oder ”Fahren” wechselt. Der spezifische Ort des Bilds, in dem ein Signal detektiert wurde, kann auf bekannte Farben oder Formen (z. B. grün, rot, gelb), die auf spezifische Status für die relevante Gerichtsbarkeit oder für den relevanten Bereich relevant sind, analysiert werden.
Im Betrieb 350 kann eine Ausgabe erzeugt werden oder kann der Status verwendet werden. Der Status oder Zustand kann z. B. in Form einer Anzeige oder eines Signals, z. B. über Ausgabevorrichtung(en) oder -bereich(e) 150, einem Nutzer dargestellt werden (wobei z. B. ein Audiosignal von einem Lautsprecher im Armaturenbrett oder Fahrerraum ”Halt” sagt). Der Status kann eine Eingabe in ein automatisiertes System wie etwa einen ACC sein. Der Status kann veranlassen, dass ein solches automatisiertes System oder ein Fahrer das Fahrzeug verlangsamt oder anhält. Falls in dem Signal ein Rot oder Halt detektiert wird und der Fahrer nicht anhält oder anzuhalten beginnt, kann für den Nutzer eine Straßenkreuzungs-Verkehrsampel-Warnmeldung dargestellt werden.
Falls im Betrieb 360 keine Verkehrsampel detektiert wird oder im Betrieb 320 eine Negativbestimmung hinsichtlich des Vorhandenseins eines Lichtsignals erfolgt, können die in einem System in dem Fahrzeug gespeicherten Signalortsinformationen aktualisiert werden. In einer Ausführungsform kann jedem Signal in einer Datenbank ein Vertrauenswert zugeordnet sein. Falls das erwartete Signal nicht detektiert wird, kann der Vertrauenswert verringert werden. Falls der Vertrauenswert unter einem Schwellenwert liegt, kann der entsprechende Signaleintrag aus der Datenbank entfernt werden. Falls ein erwartetes Signal detektiert wird, kann der Vertrauenswert erhöht werden.
Es können andere Betriebe oder Reihen von Betrieben verwendet werden. Die Betriebe brauchen nicht in der dargestellten Reihenfolge stattzufinden; die dargestellte Reihenfolge dient nur zur Organisation dieser Beschreibung. Zum Beispiel können Fahrzeugortsinformationen auf ständiger oder periodischer Grundlage erhoben werden und kann eine Bilderhebung auf ständiger oder periodischer Grundlage stattfinden und braucht eine Fahrzeugortsinformationserhebung nicht nach der Bilderhebung und -analyse stattzufinden.
In einer Ausführungsform ist die Position der nach vorn weisenden Kamera in der Weise kalibriert, dass sie sich auf die Phasenmitte der dem Fahrzeug zugeordneten GPS-Antenne bezieht. Unter der Annahme, dass die Höhe des entsprechenden Punkts der realen Welt bekannt ist, kann jedes Pixel in dem Bild einer Relativposition z. B. von der Antennenposition (z. B. den Verlagerungen der geographischen Länge und Breite von der Position der GPS-Antenne) entsprechen. Falls die Höhe unbekannt ist, können mehrere Messwerte der Signalposition in einer Bildebene (z. B. die Zeile und die Spalte des Signals) von einer Folge von von dem Fahrzeug an bekannten Positionen erfassten Bildern verwendet werden, um die Höhe zu bestimmen.
Die Eingabe der geographischen Karte, das Definieren geographischer Merkmale wie etwa Straßen und Straßenkreuzungen (z. B. dort, wo sich zwei oder mehr Straßen treffen), kann mit Ortsinformationen des Fahrzeugs oder der abgebildeten Objekte kombiniert werden, um die Wahrscheinlichkeit des Auftretens eines Signals innerhalb eines Bilds zu gewichten und/oder um einen Detektierungsprozess zu gewichten. Die Ortsinformationen des Fahrzeugs können jedem Bild oder innerhalb des Bilds identifizierten Objekten zugewiesen werden. Die einem Bild zugewiesenen Ortsinformationen können die des Fahrzeugs zu der Zeit, zu der das Bild erfasst wurde, sein – die in dem Bild gezeigten Objekte können selbst andere Ortsinformationen besitzen. Falls die einem Bild zugewiesenen oder Objekten in dem Bild zugeordneten GPS-Informationen in Übereinstimmung mit einer Karte nicht einer Straßenkreuzung entsprechen, kann der Merkmalsextraktionsprozess gewichtet werden, um die Wahrscheinlichkeit der Detektierung eines Signals zu verringern (wobei die klare Erkennung eines Signals in dem Bild dies natürlich außer Kraft setzen kann). Falls die einem Bild zugewiesenen oder Objekten in dem Bild zugeordneten GPS-Informationen in Übereinstimmung mit einer Karte einer Straßenkreuzung entsprechen, kann der Merkmalsextraktionsprozess gewichtet werden, um die Wahrscheinlichkeit der Detektierung eines Signals zu erhöhen.
Informationen über den Ort durch ein System in dem Fahrzeug zuvor erhobener Signale können mit Ortsinformationen des Fahrzeugs oder von Objekten in erfassten Bildern kombiniert werden, um die Wahrscheinlichkeit des Auftretens eines Signals innerhalb eines Bilds und außerdem an spezifischen Orten innerhalb eines Bilds zu gewichten. Regionen eines zu analysierenden Bilds können auf der Grundlage des Orts des Fahrzeugs zur Zeit der Bilderfassung und der geschätzten Entfernung und des relativen Orts von dem Fahrzeug des Kandidatensignals einem geographischen Ort zugewiesen werden. Die Ortsdaten können mit einem zuvor erhobenen Signalort verglichen werden, um die Gewichtung für einen Bereich zu erhöhen oder zu verringern, um zu bestimmen, ob der Bereich in einem Signaldetektierungsprozess verwendet wird.
4 ist ein Ablaufplan, der ein Verfahren zum Ermitteln, Auffinden oder Detektieren von Signalen innerhalb eines Bilds in Übereinstimmung mit einer Ausführungsform der Erfindung zeigt. Die Betriebe aus 4 können Teil des durch 3 beschriebenen Satzes von Betrieben sein oder können in anderen Verfahren verwendet werden.
Im Betrieb 400 kann für ein Bild (z. B. für ein im Betrieb 300 aus 3 erfasstes Bild) ein Satz von Kandidatenfenstern oder Kandidatenbereichen definiert oder identifiziert werden. Die Kandidatenfenster können z. B. Rechtecke oder Quadrate sein, wobei aber andere Formen verwendet werden können. In einer Ausführungsform sind die Kandidatenfenster virtuelle digitale Objekte, die im Speicher (z. B. im Speicher 120) gespeichert sind und nicht angezeigt werden.
In einer Ausführungsform wird in dem Bild durch bekannte Verfahren ein Horizont identifiziert. Es können Gebiete über dem Horizont, die eine Wahrscheinlichkeit besitzen, ein Bild eines Signals zu enthalten, wie etwa jene mit hoher Dichte von Gelb oder anderen Verkehrsampelkomponenten oder -rändern, identifiziert werden. In einer anderen Ausführungsform können Gebiete, die eine Wahrscheinlichkeit besitzen, ein Signal zu enthalten, auf der Grundlage früher bekannter oder detektierter Signale identifiziert werden. Es können eines oder mehrere Fenster zugewiesen werden, die jedes gewählte Gebiet umgeben. Zum Beispiel kann für dieselbe identifizierte Kandidatenposition ein Satz, z. B. von zehn, unterschiedlich großen und/oder geformten Schablonenfenstern zugewiesen werden, wobei das Bildgebiet, das durch jedes Fenster definiert oder von ihm umgeben ist, in Klassierer oder in einen Erkennungsbetrieb (in Erkennungsbetriebe) (z. B. in ein ”Brechstangen”-Verfahren) eingegeben werden kann. Es können andere Verfahren zum Definieren von Kandidatenfenstern verwendet werden. Außerdem können andere Verfahren zum Identifizieren von Gebieten, in denen nach Signalen zu suchen ist, verwendet werden.
Ob jedes mögliche Fenster oder jeder mögliche Bereich als ein Kandidatenfenster verwendet werden soll oder nicht, kann zusammen mit einem früheren Signalorts-Datensignal, wie es in einem System oder in einer Datenbank in dem Fahrzeug oder gesteuert durch das Fahrzeug (z. B. in der Datenbank 170) gespeichert ist, oder unter dessen Verwendung als eine positive und/oder negative Gewichtung bestimmt werden.
5 zeigt ein Bild, das mit einer Kamera aufgenommen wurde, die in einem Fahrzeug angebracht ist, wobei Kandidatenbereiche oder -fenster in Übereinstimmung mit einer Ausführungsform hinzugefügt worden sind. Die gezeigten Kandidatenfenster 500 sind in einer Ausführungsform ein Teilsatz von zu dem Fenster hinzugefügten Kandidatenfenstern. Die Fenster 510 sind die Positionen von Lichtsignalen, deren Positionen zuvor durch ein dem Fahrzeug zugeordnetes System erhoben worden sind, und die Fenster oder Bereiche 510 können ein gewähltes Gebiet identifizieren, das zum Definieren von Kandidatenfenstern verwendet werden kann, oder die Grundlage dafür sein. Zum Beispiel kann für jedes Fenster oder für jeden Bereich 510, das bzw. der einem bekannten oder zuvor identifizierten Signal entspricht, ein Satz von Kandidatenfenstern veränderlicher Größe und Position erzeugt werden, wobei sich jedes Kandidatenfenster mit einem Fenster oder Bereich 510 überschneidet (wobei der Klarheit halber nur eine begrenzte Anzahl von Kandidatenfenstern gezeigt sind).
Zuvor durch ein System in dem oder gesteuert durch das Fahrzeug (z. B. das System 100) erhobene Informationen über den Ort von Signalen oder Informationen darüber, wohin die Signale projiziert werden, damit sie in Bildern sind, die auf früherer Erfahrung beruhen, können die Suche nach Signalen innerhalb von Bildern beschleunigen oder die Suche beschränken. In einem bewegten Fahrzeug, in dem die Reaktion eines Fahrers oder Fahrzeugs auf eine Verkehrsampel zeitsensibel ist, kann dies von Nutzen sein. Durch den geographischen Ort oder 3D-Ort des Signals, wie er in einem System oder in einer Datenbank in dem oder gesteuert durch das Fahrzeug gespeichert ist, können eine positive und eine negative Gewichtung oder Führung bereitgestellt werden.
Wenn Gebiete über dem Horizont, die eine Wahrscheinlichkeit besitzen, ein Bild eines Signals zu enthalten, identifiziert werden, kann der geographische Ort des identifizierten Objekts in jedem Gebiet dazu verwendet werden zu identifizieren, ob ein Signal bei dem oder in der Nähe des Orts für das Objekt (z. B. innerhalb einer bestimmten vorgegebenen Entfernung) identifiziert wurde oder nicht. Falls ein Signal zuvor als bei dem oder in der Nähe (z. B. innerhalb einer Schwellenentfernung) des Orts des Objekts in dem Gebiet identifiziert wurde, wird dieses Gebiet wahrscheinlicher als ein Kandidatengebiet identifiziert, das von einem oder mehreren Kandidatenbereichen oder -fenstern umgeben oder durch sie definiert ist. Falls ein Signal nicht zuvor als bei dem oder in der Nähe des Objekts in dem Gebiet identifiziert wurde, kann dieses Gebiet weniger wahrscheinlich als ein Kandidatengebiet, das von einem oder von mehreren Kandidatenfenstern umgeben ist, identifiziert werden.
Um die geographische Position von Kandidatengebieten mit dem Ort zuvor identifizierter Signale für jedes Kandidatenfenster zu vergleichen, kann die geographische Position von Objekten oder das in dem Fenster dargestellte oder abgebildete Hauptobjekt geschätzt und zugewiesen werden. Die gegenwärtige Fahrzeugposition (und möglicherweise die Fahrtrichtung oder Orientierung) und die geschätzte Entfernung und der geschätzte Winkel des Fensters relativ zu dem Fahrzeug können kombiniert werden, um diesen Schätzwert bereitzustellen. Zum Beispiel können die Fahrzeugposition und die Fahrtrichtung und ein geschätzter Winkel gegen die Horizontale auf die Bildebene projiziert werden. Es können andere Verfahren verwendet werden. Da es möglich ist, dass das Fahrzeug durch einen zuvor abgebildeten Bereich in einer anderen Position (z. B. in einer anderen Fahrspur) fährt, können die Bestimmung der absoluten (z. B. geographischen) Position von Objekten in dem Bild und der Vergleich mit der Position bekannter Signale bei der Signaldetektierung helfen.
Zum Beispiel können einer oder mehrere Merkmalspunkte innerhalb des Kandidatenfensters oder -bereichs identifiziert werden. Während sich das Fahrzeug in Richtung des in dem Fenster abgebildeten Objekts bewegt, kann an einem Satz oder einer Reihe spezifischer Fahrzeugpositionen eine Triangulation verwendet werden, um den geographischen Ort des Merkmalspunkts (der Merkmalspunkte) zu schätzen. Es wird/werden der Winkel oder die Winkel der Linie von der Kamera in dem Fahrzeug zu jedem Punkt berechnet (die spezifische Position und der spezifische Blickwinkel der Kamera relativ zu dem GPS-Zentrumspunkt des Fahrzeugs kann bekannt sein und für diese Berechnungen verwendet werden). In einer Ausführungsform werden zwei Winkel – die Elevation gegen die Horizontale und der linke/rechte Winkel gegen die Fahrtrichtung des Fahrzeugs und der Kamera (”das Gieren”) – verwendet. Während sich das Fahrzeug (und somit die Kamera) in Richtung des Objekts bewegt, ändert sich der berechnete Winkel oder ändern sich die berechneten Winkel (z. B. für jedes Bild, das zum Bestimmen des Orts des Objekts verwendet wird). Die Änderungen des Winkels oder der Winkel können mit den Änderungen der gefahrenen Entfernung kombiniert werden, um für irgendein gegebenes Bild unter Verwendung bekannter Bildverarbeitungstechniken wie etwa Triangulation die Entfernung zwischen der Kamera und den Punkten zu bestimmen. Die geschätzte Entfernung von dem Fahrzeug kann mit dem Winkel oder mit den Winkeln von dem Fahrzeug kombiniert werden, um die geschätzte Höhe über und die Entfernung von dem Fahrzeug und/oder den geographischen Ort – z. B. den dreidimensionalen Ort in absoluten Ausdrücken, üblicherweise eine Drei-Zahlen-Koordinate – des Zielobjekts in dem Kandidatenfenster zu bestimmen. Die Höhe über und die Entfernung zu dem Fahrzeug können relativ zu einem bekannten Referenzpunkt wie etwa der Kamera oder dem GPS-Ort des Fahrzeugs sein.
Im Betrieb 410 können Bereiche eines Bilds, die Bilder von Signalen (z. B. innerhalb von Kandidatenbereichen oder -fenstern) enthalten, identifiziert werden. In einer Ausführungsform werden Signale durch Analysieren von Abschnitten des Bilds, die z. B. von Kandidatenfenstern umgeben oder durch sie definiert sind, identifiziert. Für jedes Kandidatenfenster kann bestimmt werden, ob dieses Kandidatenfenster ein Signal enthält oder nicht, und kann daraufhin der Umriss oder können daraufhin die Pixel, die dem Signal innerhalb des Kandidatenfensters oder -bereichs entsprechen, bestimmt werden. In anderen Ausführungsformen brauchen keine Kandidatenfenster verwendet zu werden. In einer Ausführungsform werden Kandidatenfenster unter Verwendung des geographischen, GPS- oder 3D-Orts des Fahrzeugs zusammen mit bekannten Kartendaten, die den bekannten Ort von Straßenkreuzungen (da Signale wahrscheinlicher bei Straßenkreuzungen vorhanden sind) oder anderen Bereichen, die wahrscheinlich Signale enthalten, enthalten, als positive und/oder negative Gewichtung oder als Führung, als Signale umgebend oder nicht umgebend identifiziert. Obgleich in einer Ausführungsform Fahrzeugortsinformationen zum Gewichten oder zum Beeinflussen der Bestimmung, ob Kandidatenfenster Signale enthalten, verwendet werden und getrennt frühere Signaldaten verwendet werden, um bei der Bestimmung von Kandidatenfenstern selbst zu gewichten oder zu helfen, können in anderen Ausführungsformen Fahrzeugortsdaten verwendet werden, um Kandidatenfenster zu wählen, und Signalinformationen verwendet werden, um zu bestimmen, ob Kandidatenfenster Bilder von Signalen enthalten, oder kann in ihnen eine Kombination jeder Eingabe für jede Bestimmung verwendet werden.
Durch Straßenkreuzungsinformationen, die einer vorher vorhandenen oder vorbereiteten Karte entnommen werden, kann eine positive und negative Gewichtung oder Führung bereitgestellt werden. Die Straßenkreuzungen können in dieser Karte z. B. als der Treffpunkt zweier oder mehrerer Straßen identifiziert werden, wobei angenommen werden kann, dass in der Nähe von Straßenkreuzungen Signale vorhanden sind und dass dort, wo keine Straßenkreuzungen vorhanden sind, keine Signale vorhanden sind. Natürlich treten Ausnahmen auf, sodass eine Eingabe von diesen Karten die Form einer Gewichtung haben kann. In anderen Ausführungsformen können keine Gewichtungen verwendet werden (können z. B. Absolutwerte verwendet werden) und brauchen keine solchen Karteninformationen verwendet zu werden.
Jedes Kandidatenfenster kann durch eine Reihe oder Kaskade von Schritten oder Klassierern verarbeitet werden, wobei jedes unterschiedliche Bildmerkmale identifiziert und die Wahrscheinlichkeit des Vorhandenseins eines Bilds eines Signals in dem Bild oder Kandidatenfenster bestimmt. Zum Beispiel können eine Reihe von Baum-kaskadierten Klassierern verwendet werden. In einer Ausführungsform kann eine Haar-artige Histogrammorientierung von Gradientenmerkmalen (HOG-Merkmalen) berechnet werden und kann ein AdaBoost-Algorithmus (Adaptive-Boosting-Algorithmus) verwendet werden, um Merkmale auszuwählen, die Objekte am besten vom Hintergrund unterscheiden.
Zum Beispiel sei die binäre Größe f_P definiert als
mit p_s und p_v der Position des Signals und des betreffenden Fahrzeugs und D einem Entfernungsschwellenwert. Ein Ensemble aus schwachen und effizienten Detektoren (somit effizient) kann kaskadiert oder in Kaskade ausgeführt werden. Zum Beispiel können AdaBoost-Klassierer verwendet werden, die als die folgende Entscheidungsfunktion konstruiert sind: F = sign(w₁f₁ + w₂f₂ + ... + w_nf_n + w_Pf_P) wobei die Vorzeichenfunktion –1 (kein Objekt), falls die Zahl kleiner als 0 ist, und +1 (Objekt), falls die Zahl positiv ist, zurückgibt. Der binäre Merkmalswert f_i kann z. B. wie folgt definiert werden:
wobei v_i ein skalarer Merkmalsdeskriptor ist, v_i > T_i das Objekt angibt und ein v_i ≤ T_i kein Objekt angibt. w_i repräsentiert die Stärke (z. B. Wichtigkeit) des Merkmals f_i, das die Entscheidung über Objekt oder kein Objekt beeinflussen kann. Parameter (z. B. w_i, w_P und T_i) können z. B. aus einem markierten Trainingsdatensatz gelernt werden.
Der Klassierer jedes Knotens kann so abgestimmt werden, dass er auf Kosten vieler falscher Detektierungen eine sehr hohe Detektierungsrate besitzt. Zum Beispiel können bei jedem Knoten fast alle (99,9%) der Objekte ermittelt werden, wobei aber viele (50%) der Nicht-Objekte fehlerhaft detektiert werden können. Schließlich kann mit einem z. B. 20-Schichtkaskadierten Klassierer die Enddetektierungsrate 0,999²⁰ = 98% mit einer Rate falscher Positivwerte von nur 0,5²⁰ = 0,0001% sein. Die letzte Stufe kann z. B. ein HOG-HSV-Klassierer sein, der auf der Grundlage einer Eingabe von den vorhergehenden Stufen bestimmt, ob ein Lichtsignal vorhanden ist.
Es können andere oder unterschiedliche Klassierer verwendet werden und es können unterschiedliche Reihenfolgen der Klassierer verwendet werden.
Die Eingabe in jeden Klassierer kann ein Satz von Kandidatenfenstern und Gewichtungsinformationen (wie etwa Fahrzeugortsinformationen) sein. Jeder Klassierer kann unter Verwendung seiner eigenen bestimmten Kriterien bestimmen, welche der Eingangskandidatenfenster wahrscheinlich Signale enthalten, und diesen Satz von Kandidatenfenstern (üblicherweise einen kleineren Satz als den Eingangssatz) ausgeben. Jeder Klassierer kann für jedes Fenster wahrscheinlicher bestimmen, dass das Fenster ein Signal enthält, falls die Fahrzeugpositionsdaten zusammen mit bekannten Kartendaten angeben, dass das Fahrzeug zur Zeit der Bilderfassung bei oder in der Nähe einer Straßenkreuzung ist oder falls eine den Objekten in dem Kandidatenfenster zugeschriebene Position (die üblicherweise von der Fahrzeugposition abgeleitet ist) zur Zeit der Bilderfassung bei oder in der Nähe einer Straßenkreuzung ist.
In einer Ausführungsform ist die Ausgabe der Reihe von Klassierern ein Satz von Kandidatenfenstern, die am wahrscheinlichsten Signale enthalten, bei denen am wahrscheinlichsten davon ausgegangen wird, dass sie Signale enthalten, oder von denen bestimmt worden ist, dass sie am wahrscheinlichsten Signale enthalten. In anderen Ausführungsformen kann die Ausgabe jedes Klassierers ein Zwischenwert von ja oder nein oder von eins oder null (oder einer anderen, ähnlichen Ausgabe) sein, der der Tatsache entspricht, ob vorhergesagt wird, dass in dem Fenster ein Signal detektiert wird, und kann die Ausgabe der Reihe entsprechend der Tatsache, ob in dem Rechteck ein Signal detektiert wird oder nicht, ja oder nein oder eins oder null (oder eine andere, ähnliche Ausgabe) sein. Es können andere Verfahren zum Identifizieren von Signalen in Bildern als Klassierer oder eine Reihe von Stufen verwendet werden.
Im Betrieb 420 kann innerhalb jedes Bereichs oder Kandidatenfensters, der bzw. das in der Weise identifiziert worden ist, dass er bzw. es ein Signal besitzt, oder bei dem davon ausgegangen wird, dass er bzw. es ein Signal besitzt, ein Signal identifiziert werden. Bekannte Objektdetektierungstechniken können innerhalb eines Kandidatenfensters definieren, wo sich das Signal befindet. Der geographische Ort des Signals kann z. B. aus geographischen Informationen, die für Fensterobjekte im Betrieb 410 berechnet wurden, bestimmt werden oder kann für das bestimmte Signal z. B. unter Verwendung der im Betrieb 410 diskutierten Technik bestimmt werden.
Im Betrieb 430 kann eine Ausgabe erzeugt werden. Die Ausgabe kann z. B. ein Bild jedes detektierten Signals oder die Position des Signals (der Signale) innerhalb eines Bilds oder von Bildern und den geographischen Ort des Signals (der Signale) enthalten.
Es können andere Betriebe oder Reihen von Betrieben verwendet werden. Während in dem in 4 gezeigten Beispiel Informationen wie etwa die Fahrzeugposition und zuvor erhobene Signalinformationen in den Suchprozess als ein Gewicht eingegeben werden, können Signale ohne frühere Signalinformationen detektiert werden, wo zuvor erhobene Informationen nicht vorhersagen, wo Signale sind, oder wo Fahrzeugortsinformationen nicht vorhersagen, wo Signale sind.
Obgleich in oben beschriebenen Ausführungsformen Signale detektiert werden, können durch Aufzeichnen der früheren Detektierung solcher Objekte andere Objekte in Bildern detektiert werden und können ihre Detektierungsgenauigkeit und -geschwindigkeit verbessert werden. Zum Beispiel können Verkehrsampeln, Brücken, Autobahnabfahrten, Nummern von Fahrspuren, Straßenränder oder andere Objekte detektiert werden.
Ausführungsformen der vorliegenden Erfindung können Vorrichtungen zum Ausführen der hier beschriebenen Betriebe enthalten. Diese Vorrichtungen können speziell für die gewünschten Zwecke konstruiert sein oder können Computer oder Prozessoren umfassen, die durch ein in den Computern gespeichertes Computerprogramm wahlweise aktiviert oder rekonfiguriert werden. Diese Computerprogramme können in einem computerlesbaren oder prozessorlesbaren nicht temporären Speichermedium, in irgendeiner Art Platte einschließlich Disketten, optischer Platten, CD-ROMs, magnetooptischer Platten, Nur-Lese-Speichern (ROMs), Schreib-Lese-Speichern (RAMs), elektrisch programmierbaren Nur-Lese-Speichern (EPROMs), elektrisch löschbaren und programmierbaren Nur-Lese-Speichern (EEPROMs), magnetischen oder optischen Karten oder irgendeinem anderen Typ eines zum Speichern elektronischer Anweisungen geeigneten Mediums, gespeichert sein. Es wird gewürdigt werden, dass zur Implementierung der wie hier beschriebenen Lehren der Erfindung eine Vielzahl von Programmiersprachen verwendet werden können. Ausführungsformen der Erfindung können einen Artikel wie etwa ein computer- oder prozessorlesbares Ablagemedium wie etwa z. B. einen Speicher, ein Plattenlaufwerk oder einen USB-Flash-Speicher, der (das) Anweisungen, z. B. durch einen Computer ausführbare Anweisungen, die, wenn sie durch einen Prozessor oder Controller ausgeführt werden, veranlassen, dass der Prozessor oder Controller hier offenbarte Verfahren ausführt, codiert, enthält oder speichert, enthalten. Die Anweisungen können veranlassen, dass der Prozessor oder Controller Prozesse ausführt, die hier offenbarte Verfahren ausführen.
Merkmale verschiedener hier diskutierter Ausführungsformen können mit anderen hier diskutierten Ausführungsformen verwendet werden. Die vorstehende Beschreibung der Ausführungsformen der Erfindung ist zu Veranschaulichungs- und Beschreibungszwecken dargestellt worden. Sie soll nicht erschöpfend sein oder die Erfindung auf die genaue offenbarte Form beschränken. Der Fachmann auf dem Gebiet wird würdigen, dass im Licht der obigen Lehre viele Abwandlungen, Veränderungen, Ersetzungen, Änderungen und Entsprechungen möglich sind. Selbstverständlich sollen die beigefügten Ansprüche somit alle solchen Abwandlungen und Änderungen, die im wahren Erfindungsgedanken liegen, enthalten.

Claims

Verfahren, das umfasst: Bestimmen eines Orts eines Fahrzeugs; Erheben eines Bilds unter Verwendung einer dem Fahrzeug zugeordneten Kamera; und Analysieren des Bilds zusammen mit dem Ort des Fahrzeugs und zuvor erhobenen Informationen über den Ort von Lichtsignalen zum Ermitteln eines Bilds eines Lichtsignals innerhalb des erhobenen Bilds.
Verfahren nach Anspruch 1, das das Bestimmen des geographischen Orts des Lichtsignals umfasst.
Verfahren nach Anspruch 1, wobei die zuvor erhobenen Informationen über den Ort von Lichtsignalen auf der Grundlage von Bildern erhoben werden, die durch die dem Fahrzeug zugeordnete Kamera erfasst werden.
Verfahren nach Anspruch 1, das das Aktualisieren der zuvor erhobenen Informationen über den Ort von Lichtsignalen mit dem Ort des Lichtsignals umfasst.
Verfahren nach Anspruch 1, das das Lokalisieren eines Bilds eines Lichtsignals durch Erzeugen eines Satzes von Kandidatenfenstern, die jeweils einen Abschnitt des Bilds umgeben, umfasst, wobei die Auswahl jedes Fensters durch zuvor erhobene Informationen über den Ort von Lichtsignalen gewichtet wird.
Verfahren nach Anspruch 1, das das Lokalisieren eines Bilds eines Lichtsignals durch Analysieren von Abschnitten des Bilds umfasst, wobei die Analyse durch den Ort des Fahrzeugs zusammen mit bekannten Kartendaten gewichtet wird.
System, das umfasst: eine Datenbank, die zuvor erhobene Informationen über den Ort von Lichtsignalen speichert; eine Kamera; ein Fahrzeugortsdetektierungssystem; und einen Controller zum: Annehmen eines Orts eines Fahrzeugs von dem Fahrzeugortsdetektierungssystem; Erheben eines Bilds unter Verwendung der Kamera; und Analysieren des Bilds zusammen mit dem Ort des Fahrzeugs und den zuvor erhobenen Informationen über den Ort von Lichtsignalen zum Lokalisieren eines Bilds eines Lichtsignals innerhalb des erhobenen Bilds.
System nach Anspruch 7, wobei die zuvor erhobenen Informationen über den Ort von Lichtsignalen auf der Grundlage von durch die Kamera erfassten Bildern erhoben werden.
Verfahren, das umfasst: Erfassen eines Bilds in einem Fahrzeug; Suchen nach einem Lichtsignal innerhalb mehrerer Kandidatenbereiche innerhalb des Bilds, wobei die Kandidatenbereiche unter Verwendung von Informationen über den Ort von Lichtsignalen als Eingabe bestimmt werden; und Bestimmen des Status des Lichtsignals innerhalb des Bilds.
Verfahren nach Anspruch 9, wobei das Suchen nach einem Lichtsignal innerhalb des Bilds durch den Ort des Fahrzeugs gewichtet wird.