-
Stand der Technik
-
Die Erfindung geht aus von einem Verfahren oder einer Vorrichtung nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Aus dem Stand der Technik bzgl. 3D-Rekonstruktion mit Rolling-Shutter-Kameras (C. Geyer, M. Meingast, and S. Sastry. Geometric models of rollingshutter cameras. In Proc. 6th OmniVis WS, 2005 und G. Klein and D. Murray. Parallel tracking and mapping on a camera phone. In Proc. ISMAR'09, Orlando, Oct. 2009) sind Verfahren bekannt, welche den Einfluss des Rolling-Shutters unter der Annahme einer bekannten 3D-Geometrie der zu rekonstruierenden Objekte (z. B. fronto-parallele Ebenen) kompensieren. Komplexere Verfahren sind zudem aus der Veröffentlichung „J. Hedborg, E. Ringaby, P.-E. Forssen, and M. Felsberg. Structure and motion estimation from rolling shutter video. In Proc. IEEE Int. Conf. on Computer Vision (ICCV) Workshops, 2011" bekannt.
-
Eine fundamentale Methode zur Interpretation von Bildsequenzen besteht in der 3D-Rekonstruktion der Szene auf Basis von mindestens zwei Einzelbildern, welche 2D-Projektionen der Szene aus unterschiedlichen Kamera-Positionen liefern. Hierbei werden zunächst die Kamerabewegung aus den Bildsequenzdaten geschätzt und anschließend die 3D-Koordinaten von (statischen) Raumpunkten durch Triangulation bestimmt (Structure from Motion, SfM). Eine wichtige Voraussetzung zur exakten 3D-Rekonstruktion der beobachteten Szene besteht in der hinreichend genauen Bestimmung der Kamera-Eigenbewegung, d. h. der Kamera-Pose (Position und Orientierung) zu den jeweiligen Bildaufnahmezeitpunkten. In einer Vielzahl von Anwendungen (Fahrerassistenz, Sicherheitstechnik, Robotik, mobile Geräte, etc.) werden heute jedoch unter anderem aus Kostengründen häufig Kamera-Systeme mit Rolling-Shutter (im Unterschied zu High-End-Kamera-Systemen mit Global-Shutter) eingesetzt, so dass die Bildpunkte unterschiedlicher Bildzeilen zu unterschiedlichen Zeitpunkten belichtet und ausgelesen werden.
-
Bei der Anwendung von SfM-Algorithmen zur 3D-Szenenrekonstruktion wird dies jedoch im Allgemeinen nicht berücksichtigt, woraus systematische 3D-Rekonstruktionsfehler resultieren. Den Stand der Technik bezüglich 3D-Rekonstruktion mit Rolling-Shutter-Kameras bilden Verfahren, welche den Einfluss des Rolling-Shutters unter der Annahme einer bekannten 3D-Geometrie der zu rekonstruierenden Objekte (z. B. fronto-parallele Ebenen) kompensieren. Komplexere Ansätze vermeiden die Einbeziehung von a-priori Annahmen über die Szenengeometrie durch den Einsatz aufwendiger Rechenverfahren (Bündelausgleich), welche auf eingebetteten Kamerasystemen (z. B. Kamera für Fahrerassistenzsysteme im Kraftfahrzeug) nicht effizient implementiert werden können.
-
Der hier vorgestellte Ansatz ermöglicht eine effiziente Implementierung einer 3D-Szenenrekonstruktion unter Verwendung von Rolling-Shutter-Kameras. Dieser Ansatz ist insbesondere für eingebettete Systeme mit begrenzten Ressourcen geeignet und ermöglicht eine punktweise 3D-Rekonstruktion ohne systematische Restfehler und erfordert keinerlei Vorwissen über die Szenengeometrie.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Der hier vorgestellte Ansatz schafft ein Verfahren zum Ermitteln eines Bildes (im Sinne einer Repräsentation bzw. Rekonstruktion) einer Umgebung eines Fahrzeugs, wobei das Verfahren die folgenden Schritte aufweist:
- – Einlesen von ersten Bilddaten und von zumindest zweiten Bilddaten, wobei die ersten Bilddaten Bilddaten eines ersten Bildaufnahmebereichs einer Kamera in oder an einem Fahrzeug der repräsentieren und die zweiten Bilddaten Bilddaten aus einem zum ersten Bildaufnahmebereich unterschiedlichen zweiten Bildaufnahmebereich der Kamera repräsentieren und wobei die zweiten Bilddaten zeitlich nach den ersten Bilddaten aufgenommen wurden;
- – Verarbeiten der zweiten Bilddaten unter Verwendung eines Fahrzeug- und/oder Fahrtparameters, um verarbeitete zweite Bilddaten zu erhalten; und
- – Kombinieren der ersten Bilddaten mit den verarbeiteten zweiten Bilddaten, um das Bild der Umgebung des Fahrzeugs zu erhalten.
-
Unter Bilddaten können beispielsweise Daten von Teilbildern verstanden, die das in einem Teilabschnitt eines Bildaufnahmesensors wie beispielsweise einer Kamera oder dergleichen geliefert werden. Unter einem Bildaufnahmebereich kann ein Teilbereich verstanden werden, in dem der Bildsensor Bilddaten erfassen kann. Beispielsweise kann ein solcher Bildaufnahmebereich eine Bildzeile, eine Bildspalte oder ein Pixel des Bildsensors sein. Unter einem Fahrzeugparameter kann beispielsweise ein Parameter verstanden werden, der eine physikalische Größe eines Fahrzeugs, eines Objekts oder des Objekts in Bezug zum Fahrzeug repräsentiert. Unter einem Fahrtparameter eine physikalische Größe verstanden werden, die bei der Fahrt des Fahrzeugs erfassbar ist. Unter einer Umgebung des Fahrzeugs kann das Vorhandensein von Objekten und/oder die Anordnung eines oder mehrerer Objekte im Raum, insbesondere in Bezug zum Fahrzeug verstanden werden.
-
Der hier vorgestellte Ansatz basiert auf der Erkenntnis, dass durch die Verwendung des Fahrzeugparameters und/oder des Fahrtparameters sowie geeigneter Modellbildung und Berücksichtigugn des zeitlichen Verhaltens des Bildaufnahmeprozesses ein Bild erstellt werden kann, in welchem eine durch den zeitlichen Versatz der ersten Bilddaten gegenüber den zweiten Bilddaten entstehende Verzerrung kompensiert werden kann. Hierdurch ist es möglich, ein Bild der Umgebung des Fahrzeugs zu erstellen, welches zur Auswertung in weiteren Fahrerassistenzsystemen des Fahrzeugs verwendet werden kann. Der hier vorgestellte Ansatz basiert bietet dabei den Vorteil, ein kostengünstiger technisch einfacher Bildaufnahmesensor zur Erzeugung des Bildes der Umgebung des Fahrzeugs verwendet werden kann, wobei die Fehler, die durch die entsprechenden Teilbilder mit zeitlichem Versatz bei der Auswertung eines solchen entstehenden Bildes durch die Verarbeitung der zweiten Bilddaten unter Verwendung des Fahrzeugparameters und oder des Farbparameters kompensiert werden können.
-
Denkbar ist ferner eine Ausführungsform des hier vorgestellten Ansatzes, bei dem im Schritt des Verarbeitens die zweiten Bilddaten unter Verwendung einer Fahrtgeschwindigkeit des Fahrzeugs oder der Kamera als Fahrtparameter und/oder einer Anordnungshöhe der Kamera im oder am Fahrzeug als Fahrzeugparameters verarbeitet werden. Die Verwendung eines Fahrtparameters und/oder Fahrzeugparameters ist einerseits technisch einfach zu erfassen und andererseits eine gut geeignete Größe, um ein möglichst realitätsnahes Abbild der Umgebung des Fahrzeugs in dem Bild zu schaffen.
-
Gemäß einer weiteren Ausführungsform können im Schritt des Einlesens als erste und/oder zweite Bilddaten Bilddaten eingelesen werden, die ein durch eine Abtastzeile oder einer Abtastspalte abgetastetes Bild einer Kamera repräsentieren oder die einen Bildpunkt der Kamera repräsentieren. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil einer sehr flexiblen und somit sehr präzisen Kompensierung der durch den zeitlichen Versatz der Aufnahme der ersten und zweiten Bilddaten. Zugleich lassen sich derartige erste oder zweite Bilddaten technisch sehr einfach und ohne großen Aufwand der Umrechnung ermitteln.
-
Besonders vorteilhaft ist eine Ausführungsform des hier vorgestellten Ansatzes, bei der im Schritt des Verarbeitens die zweiten Bilddaten verarbeitet werden, um Bilddaten in einem Bildaufnahmebereich außerhalb des zweiten Bildaufnahmebereichs als verarbeitete zweite Bilddaten zu ermitteln. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, auch außerhalb eines Bereichs des Bildes zu verändern, der dem zweiten Bildaufnahmebereich entspricht, wodurch eine sehr flexible und somit sehr genaue Möglichkeit zur Ermittlung eines die Umgebung des Fahrzeugs realitätsnah abbildenden Bildes eröffnet wird.
-
Alternativ oder zusätzlich kann ein einer weiteren Ausführungsform des hier vorgestellten Ansatzes im Schritt des Verarbeitens zum Ermitteln der verarbeiteten Bilddaten eine in den ersten und/oder zweiten Bilddaten erkannte Struktur eines Objektes in der Umgebung des Fahrzeugs verwendet werden, insbesondere wobei die erkannte Struktur mit einer in einem Speicher abgespeicherten Vergleichsstruktur verglichen wird. Unter einer Struktur eines Objektes kann beispielsweise eine Kante oder dergleichen in den ersten oder zweiten Bilddaten verstanden werden, welche beispielsweise unter Verwendung eines Mustererkennungsalgorithmus erkannt wurde. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil einer möglichen Plausibilisierung bei dem Kombinieren der ersten Bilddaten mit den verarbeiteten zweiten Bilddaten, sodass beispielsweise ein Bruch einer solchen Kante im Bild vermieden werden kann, der physikalisch möglicherweise nicht vorliegt.
-
Auch ist eine Ausführungsform des hier vorgestellten Ansatzes von Vorteil, bei dem im Schritt des Einlesens zumindest dritte Bilddaten eingelesen werden, die Bilddaten aus einem zum ersten und zweiten Bildaufnahmebereich unterschiedlichen dritten Bildaufnahmebereich der Kamera repräsentieren und wobei die dritten Bilddaten zeitlich nach den ersten und zweiten Bilddaten aufgenommen wurden, wobei im Schritt des Verarbeitens die dritten Bilddaten unter Verwendung des Fahrzeug- und/oder Fahrtparameters verarbeitet werden, um verarbeitete dritte Bilddaten zu erhalten und wobei im Schritt des Kombinierens die ersten Bilddaten mit den verarbeiteten zweiten Bilddaten und den verarbeiteten dritten Bilddaten kombiniert werden, um das Bild der Umgebung des Fahrzeugs zu erhalten. Eine solche Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil einer sehr flexiblen und somit hoch präzisen Möglichkeit zur Abbildung der Umgebung des Fahrzeugs in dem Bild, da für die Kombination des Bildes eine Vielzahl von entsprechend verarbeiteten Bilddaten verwendet werden kann. Auf diese Weise lässt sich ein Bild ermitteln, welches aus zu unterschiedlichen Zeitpunkten erfassten Teilbildern gebildet wird, die durch die jeweiligen Bilddaten repräsentiert sind.
-
Numerisch oder schaltungstechnisch sehr effizient lässt sich eine Ausführungsform des hier vorgestellten Ansatzes implementieren, bei der im Schritt des Verarbeitens die verarbeiteten zweiten Bilddaten unter Verwendung eines linearen Differenzialgleichungssystems ermittelt werden.
-
Auch schafft der hier vorgestellte Ansatz ein Verfahren zum Erkennen von Objekten in einer Umgebung eines Fahrzeugs, wobei das Verfahren die folgenden Schritte aufweist:
- – Einlesen eines Bildes, das gemäß einem Verfahren entsprechend einer hier vorgestellten Ausführungsform ermittelt wurde; und
- – Auswerten des eingelesenen Bildes unter Verwendung von zumindest einem Mustererkennungsalgorithmus, um das Objekt in der Umgebung des Fahrzeugs zu erkennen.
-
Auch durch eine solche Ausführungsform des hier vorgeschlagenen Ansatzes lässt sich lassen sich die Vorteile schnell und technisch effizient realisieren.
-
Diese Verfahren können beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät oder einer Vorrichtung implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
In einer vorteilhaften Ausgestaltung erfolgt durch die Vorrichtung eine Steuerung eines Bildprozessors, der in einem Fahrzeug eingesetzt wird, um ein Kamerabild einer Umgebung des Fahrzeugs auszuwerten und hierdurch Bildsignale für weitere Fahrerassistenzsysteme wie beispielsweise eine Kollisionserkennungseinheit bereitzustellen. Hierzu kann die Vorrichtung beispielsweise auf Sensorsignale wie die Bilddaten der Kamera als Bildsensor zugreifen. Die Ausgabe des kombinierten Bildes kann dann beispielsweise zu einem Bildprozessor erfolgen, in dem eine Erkennung von Objekten in dem ermittelten Bild erfolgt, die beispielsweise im Fall der Kollisionserkennung zur Ansteuerung von Personenschutzmitteln wie einem Airbag oder einem Gurtstraffer verwendet werden können.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 ein Blockschaltbild eines Fahrzeugs mit einem Ausführungsbeispiel einer Vorrichtung zum Ermitteln eines Bildes einer Umgebung eines Fahrzeugs;
-
2 eine schematische Darstellung der zeitlichen Zusammenhänge für zwei zeitlich benachbarte Bilder und einer Bildfolge am Beispiel einer Rolling-Shutter-Kamera als Kamera im Fahrzeug;
-
3 anhand von zwei Frames eine synthetische Szene (hier eine Baustelle) als Bilder zur Veranschaulichung des hier vorgestellten Ansatzes;
-
4 zwei übereinander angeordnete Teilbilder als Bilder, in denen das obere Teilbild ohne den Einsatz des hier vorgestellten Ansatzes rekonstruiert bzw. kombiniert wurde und das untere unter Einsatz des hier vorgestellten Ansatzes rekonstruiert bzw. kombiniert wurde;
-
5 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel; und
-
6 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt ein Blockschaltbild eines Fahrzeugs 100 mit einem Ausführungsbeispiel einer Vorrichtung 105 zum Ermitteln eines Bildes 107 einer Umgebung 110 eines Fahrzeugs 100. Ferner weist das Fahrzeug 100 eine Kamera 115 als optischen Bildsensor auf, wobei die Kamera 115 ausgebildet ist, um erste Bilddaten 120 und zweite Bilddaten 125 bereitzustellen. Die ersten Bilddaten 120 werden hierbei von einem ersten Bildaufnahmebereich 130 bereitgestellt, wogegen die zweiten Bilddaten 125 von einem zweiten Bildaufnahmebereich 132 der Kamera 115 bereitgestellt werden. Die Bildaufnahmebereiche 130 und 132 sind unterschiedliche Teilabschnitte eines Bilderfassungssensors der Kamera 115 und können unterschiedliche Abschnitte oder Blickwinkel von der Kamera 115 in die Umgebung 110 bildlich in dem Bild 107 abbilden. Bei kostengünstigen Kameras 115, die vorzugsweise im hier vorgestellten Ansatz verwendet werden sollen, werden die ersten Bilddaten 120 auch früher als die zweiten Bilddaten 125 geliefert. Fährt nun das Fahrzeug 100 mit der Fahrtgeschwindigkeit 135, werden die zweiten Bilddaten 125 als einer anderen Perspektive der Kamera 115 in die Umgebung 110 aufgenommen, sodass nun bei einer Kombination der ersten Bilddaten 120 mit den zweiten Bilddaten 120 eine perspektivische Verzerrung auftritt, die eine Verarbeitung einer auf solche Weise entstehendes Bild 107 der Umgebung 110 beispielsweise für ein Fahrerassistenzsystem 137 deutlich erschwert oder gar unmöglich macht.
-
Um sicherzustellen, dass Fahrzeugbereich kostengünstige Komponenten wie eine solche Kamera 115, beispielsweise in der Form einer Rolling-Shutter-Kamera, verwendet werden können, wird nun die Vorrichtung 105 zum Ermitteln des Bildes 107 der Umgebung 110 des Fahrzeugs 100 verwendet, in welchem eine Korrektur der zeitlich nachfolgend gelieferten zweiten Bilddaten 125 erfolgt, sodass die verarbeiteten, das heißt korrigierten zweiten Bilddaten 125' nun mit den ersten Bilddaten 120 zu dem Bild 107 kombiniert werden können, welches dann beispielsweise dem Fahrerassistenzsystem 137 zur Verfügung gestellt werden kann.
-
Diese Funktionalität sicherzustellen, weist die Vorrichtung 105 eine Einleseschnittstelle 140 auf, über welche die ersten Bilddaten 120 und die zweiten Bilddaten 125 eingelesen werden. Hieran anschließend werden die ersten Bilddaten 120 und die zweiten Bilddaten 125 von der Einleseschnittstelle 140 an eine Verarbeitungseinheit 145 übersandt. In der Verarbeitungseinheit 145 werden dann die zweiten Bilddaten 125 unter Verwendung eines Fahrzeug- und/oder Fahrtparameters 147 verarbeitet, der beispielsweise aus einer Speichereinheit 149 des Fahrzeugs 100 in die Verarbeitungseinheit 145 geladen wird. Der Fahrzeug- und/oder Fahrtparameter 147 kann beispielsweise die Fahrtgeschwindigkeit 135 des Fahrzeugs 100 und/oder eine Einbauhöhe 150 der Kamera 115 im Fahrzeug 100, beispielsweise bezüglich der Ebene der Fahrbahn repräsentieren. Zusätzlich kann beispielsweise die Verarbeitungseinheit 145 zu Verarbeitung der zweiten Bilddaten 125 eine Zeitdauer verwenden, die der Zeitdifferenz zwischen der Aufnahme der ersten Bilddaten durch den Bildaufnahmesensor in der Kamera 115 gegenüber der Aufnahme der zweiten Bilddaten 125 durch den Bildaufnahmesensor in der Kamera 115 entspricht. Hierdurch wird es nun möglich, die zweiten Bilddaten 125 derart zu verarbeiten, dass verarbeitete zweite Bilddaten 125' erhalten werden, die auf denjenigen Zeitpunkt „zurückgerechnet” wurden, zu denen die ersten Bilddaten 120 aufgenommen wurden. Die verarbeiteten zweiten Bilddaten 125' sowie die ersten Bilddaten 120 werden nachfolgend zu einer Kombiniereinheit 155 übersandt, in welcher aus den verarbeiteten zweiten Bilddaten 125' und den ersten Bilddaten 120 nun das Bild 107 ermittelt wird, welches nun in seiner Gänze die Umgebung 110 sehr gut angenähert zum Zeitpunkt der Aufnahme der ersten Bilddaten 120 durch den Bildaufnahmesensor der Kamera 115 sehr realitätsnah wiedergibt.
-
Dieses Bild 107 kann nun beispielsweise in dem Fahrerassistenzsystem 137 weiterverarbeitet werden, um beispielsweise aus diesem Bild 107 Objekte 157 wie eine Barke vor dem Fahrzeug 100 oder die Fahrspur auf der Straße vor dem Fahrzeug 100 mittels eines Mustererkennungsalgorithmus 158 zu erkennen. Dies ermöglicht nun dem Fahrerassistenzsystem 137 die Lenkung des Fahrzeugs 100 durch die Lenkeinheit 160 zu unterstützen oder ganz automatisch vorzunehmen und/oder die Ansteuerung von Personenschutzmitteln wie beispielsweise einem Fahrer-Airbag 165 für den Fall, dass eine unmittelbar bevorstehende Kollision mit dem Objekt 157 aus dem Bild 107 erkannt wird.
-
Gemäß einem weiteren Ausführungsbeispiel des hier vorgestellten Ansatzes kann auch die Kamera 115 dritte Bilddaten 170 aus einem vom ersten Bildaufnahmebereich 130 und vom zweiten Bildaufnahmebereich 132 unterschiedlichen dritten Bildaufnahmebereich 172 bereitstellen, die dann von der Einleseschnittstelle 140 eingelesen und an die Verarbeitungseinheit 145 weitergeleitet werden. Die die dritten Bilddaten 170 wurden dann beispielsweise als dritte ausgelesene Zeile oder als dritter ausgelesener Pixel zeitlich nach den ersten Bilddaten 120 und zweiten Bilddaten 125 aufgenommen bzw. von der Kamera 115 bereitgestellt. In der Verarbeitungseinheit 145 werden dann die dritten Bilddaten 170 unter Verwendung des Fahrzeug- und/oder Fahrtparameters 147 verarbeitet, um verarbeitete dritte Bilddaten 170' zu erhalten, welche dann an die Kombiniereinheit 155 übermittelt werden. In der Kombiniereinheit 155 werden dann die ersten Bilddaten 120 mit den verarbeiteten zweiten Bilddaten 125' und den verarbeiteten dritten Bilddaten 170' kombiniert werden, um das Bild 107 der Umgebung 110 des Fahrzeugs 100 zu erhalten. Auf diese Weise kann eine noch weiter verbesserte Kompensation der durch die zeitliche Verzögerung, die beispielsweise durch das zeitversetzte Auslesen des Rolling-Shutters bedingt ist, verursachten Verzerrungen in den zur Verfügung stehenden Bilddaten erreicht werden.
-
Ein Aspekt des hier vorgestellten Ansatzes besteht in der effizienten Modellbildung der Kamera-Eigenbewegung unter Verwendung von Quaternionen und der darauf basierenden simultanen Schätzung der Kamera-Eigenbewegung für jede Bildzeile oder gegebenenfalls auch jeden Bildpunkt und der punktweisen 3D-Szenengeometrie. Dieses Verfahren führt auf ein lineares Differenzialgleichungssystem für die Rotation der Kamera 115 und die Translation der Kamera 115, welches mit geeigneten numerischen Verfahren robust und mit hoher Konvergenzgeschwindigkeit gelöst werden kann. Im Unterschied hierzu führen klassische Ansätze basierend auf Euler-Winkeln zu nicht-linearen Differenzialgleichungen mit singulären Punkten, welche das Konvergenzverhalten bei der numerischen Integration verschlechtern. Der hier vorgestellte Ansatz liefert beispielsweise eine punktweise 3D-Rekonstruktion der beobachteten Szene der Umgebung 110 ohne systematische Restfehler aufgrund der Rolling-Shutter-Verzerrungen der in den Bilddaten 120 und 125 enthaltenen Einzel- bzw. Teilbilder der Bildsequenz. Darüber hinaus ermöglicht der hier vorgestellte Ansatz einen zwanglosen Übergang der Verwendung von Global-Shutter- zu Rolling-/Shutter-Kameras in Fahrzeugen und liefert ein effizientes Verfahren zur Entzerrung bzw. Rolling-Shutter-Kompensation der Einzel- bzw. Teilbilder in den Bilddaten 120 bzw. 125, sodass im Signalfluss nachfolgende Verarbeitungsverfahren wie beispielsweise im Fahrerassistenzsystem 137 ohne weitere Berücksichtigung von Rolling-Shutter-Effekten implementiert werden können. 2 zeigt eine schematische Darstellung der zeitlichen Zusammenhänge für zwei zeitlich benachbarte Bilder 200 und 205 einer Bildfolge am Beispiel einer Rolling-Shutter-Kamera als Kamera 115 im Fahrzeug 100 in Abhängigkeit von der Zeit t. Hierbei werden die Bilder in einer Auslesezeit T, pro Bild ausgelesen, wobei diese Auslesezeit in N Rahmenzeitintervalle der Zeitdauer Tf unterteilt ist, In diesem Ausführungsbeispiel wird angenommen, dass die Bildpunkte einer jeden der n = N Bildzeilen 210 simultan belichtet und ausgelesen werden. Es ist jedoch zu beachten, dass die nachfolgenden Ausführungen unmittelbar auf den Fall einer Rolling-Shutter-Kamera übertragen werden können, welche unterschiedliche Belichtungs- bzw. Auslesezeitpunkte für Teile von Bildzeilen oder im Grenzfall für jeden Bildpunkt aufweist. Im Falle einer Verzeichniskorrektur der Optik führt die hier betrachtete Rolling-Shutter-Kamera im Allgemeinen ebenfalls auf eine Abhängigkeit der Bildpunktzeitstempel sowohl vom Zeilen-Index als auch vom Spalten-Index des betrachteten Bildpunktes, welche jedoch wiederum durch eine einfache Erweiterung des beschriebenen Ansatzes unmittelbar berücksichtigt werden kann.
-
In diesem Fall kann die Rotationsgleichung der Kamera 115 mit q = exp(φ .(t' – t)n) und die Translationsgleichung der Kamera 115 mit s' = v'(t' – t) angegeben werden. Mit den in 2 eingeführten Größen kann die Kamera-Eigenbewegung für hinreichend glatte Trajektorien (siehe unten in der 2) durch ein lineares Differenzialgleichungssystem q . = 1 / 2Ωq0 t .' = v' mit dem Einheits-Quaternion q zur Beschreibung der Kamera-Rotation sowie dem Translationsvektor t' vollständig beschrieben werden, wobei angenommen wird, dass die Winkelgeschwindigkeit nach Betrag (dφ/dt) und Richtung (n) und der Vektor der Translationsgeschwindigkeit (v') im betrachteten Zeitintervall konstant sind. Die schiefsymmetrische (3×3)-Matrix Ω der Drehraten gemessen im Kamera-Koordinatensystem ist unter diesen Annahmen ebenfalls konstant, so dass das gegebene Differenzialgleichungssystem analytisch gelöst und wie vorstehend angegeben implementiert werden kann.
-
Mit dieser Modellbildung kann die Eigenbewegung einer Global-Shutter-Kamera, wie in 2 angegeben, zwanglos auf die Eigenbewegung einer Rolling-Shutter-Kamera übertragen werden. Im Falle der oben genannten Ausprägungen einer Rolling-Shutter-Kamera, bei welcher die Bildpunktzeitstempel sowohl vom Zeilen- als auch vom Spalten-Index abhängig sind, lassen sich die angegebenen Modelle der Kamera-Eigenbewegung unmittelbar verallgemeinern, indem die Zeitdifferenzen δt(n, n') = t'(n') – t(n) δt(n, m, n', m') = t'(n', m') – t(n, m) erweitert werden.
-
Die Anwendung dieser Modelle der Kamera-Eigenbewegung auf die SfM-basierte 3D-Rekonstruktion der beobachteten Szene führt auf eine punktweise 3D-Rekonstruktion, welche jedoch zunächst nur bezüglich des jeweiligen zeitlich veränderlichen Kamera-Koordinaten-Systems gegeben ist. Für die nachfolgenden Verarbeitungsschritte ist es jedoch vorteilhaft, die punktweise 3D-Rekonstruktion auf ein gemeinsames Referenz-Kamera-Koordinaten-System mit einem festen Referenz-Zeitstempel zu beziehen. Hierzu bieten sich insbesondere die in 2 angegeben Referenz-Zeitstempel (k × Tf) an, welche durch den jeweiligen Mittelwert der Auslesezeitpunkte eines Frames gegeben sind.
-
Zur 3D-Rekonstruktion bzgl. des Referenz-Kamera-Koordinaten-Systems genügt es, das angegebene Modell der Kamera-Eigenbewegung zur Rückprojektion eines 3D-Punktes (P) zum Zeitpunkt (t) auf den Referenz-Zeitpunkt (tref = k × Tf) zu nutzen, wobei die oben genannte Zeitdifferenzen lediglich durch (δt = t – tref)(zu ersetzen sind. Dies führt mit der entsprechenden Rotationsmatrix (R = R(δt)) und dem zugehörigen Translationsvektor (s' = s'(δt)) zunächst auf P(t) = R(δt)P(tref) + s'(δt) und schließlich auf die gesuchte Rückprojektion P(tref) = RT(δt)P(t) – s'(δt)
-
3 zeigt anhand von zwei Frames eine synthetische Szene (hier eine Baustelle) als Bilder 107 zur Veranschaulichung des hier vorgestellten Ansatzes, wobei sich eine Rolling-Shutter-Kamera im Fahrzeug 100 mit Vcam = 80 km/h auf einer Straße mit seitlich im Abstand von 15 m aufgestellten Baken als Objekten 157 bewegt. Die Einbauhöhe 150 der Kamera 115 beträgt 1,2 m, die Auflösung 1280 × 720 Bildpunkte und der horizontale Öffnungswinkel 50°. Die Bildwiederholrate ist 25fps entsprechend Tf = 40 ms. Die Auslesezeit des Rolling-Shutters ist Tr = 35 ms. Insbesondere im rechten Bild aus der 3 ist der Einfluss des Rolling-Shutters deutlich erkennbar, da die senkrecht zur Fahrbahnoberfläche stehenden Baken als Objekte 157 mit abnehmender Entfernung zur Kamera 115 zunehmend stärker geschert werden. Die Wirksamkeit des hier vorgestellten Ansatzes wird in 4 veranschaulicht.
-
4 zeigt hierbei zwei übereinander angeordnete Teilbilder als Bilder 107, in denen das obere Teilbild ohne den Einsatz des hier vorgestellten Ansatzes rekonstruiert bzw. kombiniert wurde und das untere unter Einsatz des hier vorgestellten Ansatzes rekonstruiert bzw. kombiniert wurde. Die Entfernungen des Objektes 157 bei zeilenweiser Auslesung des Bildsensors der Kamera 115 ist hierbei in der rechten oberen Darstellung als Entfernung des Objektes in Abhängigkeit von der ausgelesenen Zeile darstellt. Das auf der linken Seite unten dargestellte Teilbild der 4 zeigt die Rekonstruktion des rechten Bildes aus 3 für den Referenzzeitpunkt tref = Tf. Wie erkennbar ist, weisen die Baken als Objekte 157 im gesamten Bildbereich des Bildes nun die korrekte senkrechte Orientierung auf, d. h. der Einfluss des Rolling-Shutters wurde vollständig kompensiert, sodass nachgelagerte Verfahren, beispielsweise im Fahrerassistenzsystem 137, ohne explizite Berücksichtigung von Rolling-Shutter-Einflüssen angewendet werden können. Das in der 4 unten rechts dargestellte Diagramm zeigt nun wieder die Entfernungen des Objektes 157 bei zeilenweiser Auslesung des Bildsensors der Kamera 115, wobei nun die zeitlich später ausgelesenen Bilddaten verarbeitet wurden und somit auf einen einheitlichen Auslesezeitpunkt zurückgerechnet wurden. In der unteren rechten Darstellung ist dabei wiederum die (nun rechnerisch korrigierte) Entfernung des Objektes in Abhängigkeit von der ausgelesenen Zeile darstellt.
-
In 4 sind weiterhin die SfM-basierten 3D-Rekonstruktion der ersten Bake als Objekt 157 auf der rechten Fahrbahnseite mit und ohne Kompensation des Rolling-Shutters dargestellt. Die nicht kompensierte 3D-Rekonstruktion (oben rechts in der 4) weist wie zu erwarten eine deutliche Abhängigkeit der Entfernung der Bake als Objekt 157 von der betrachteten Bildzeile auf. Hingegen wird die Entfernung der Bake als Objekt 157 im Falle der RS-kompensierten SfM-Rekonstruktion (unten rechts in der 4) bis auf einen stochastischen Fehler, welcher aus der Quantisierung der Bildpunktkorrespondenzen resultiert, korrekt geschätzt.
-
5 zeigt ein Ablaufdiagramm eines Verfahrens 500 zum Ermitteln eines Bildes einer Umgebung eines Fahrzeugs. Das Verfahren umfasst einen Schritt 510 des Einlesen von ersten Bilddaten und von zumindest zweiten Bilddaten, wobei die ersten Bilddaten Bilddaten eines ersten Bildaufnahmebereichs einer Kamera in oder an einem Fahrzeug der repräsentieren und die zweiten Bilddaten Bilddaten aus einem zum ersten Bildaufnahmebereich unterschiedlichen zweiten Bildaufnahmebereich der Kamera repräsentieren und wobei die zweiten Bilddaten zeitlich nach den ersten Bilddaten aufgenommen wurden. Weiterhin umfasst das Verfahren 520 einen Schritt des Verarbeitens der zweiten Bilddaten unter Verwendung eines Fahrzeug- und/oder Fahrtparameters, um verarbeitete zweite Bilddaten zu erhalten. Schließlich umfast das Verfahren 500 einen Schritt 530 des Kombinierens der ersten Bilddaten mit den verarbeiteten zweiten Bilddaten, um das Bild der Umgebung des Fahrzeugs zu erhalten.
-
6 zeigt ein Ablaufdiagramm eines Verfahrens 600 zum Erkennen von Objekten 157 in einer Umgebung 110 eines Fahrzeugs 100. Das Verfahren 600 umfasst einen Schritt 610 des Einlesens eines Bildes, das gemäß einem Verfahren 500 entsprechend einem vorstehend beschriebenen Ausführungsbeispiel ermittelt wurde. Ferner umfasst das Verfahren 600 einen Schritt 620 des Auswertens des eingelesenen Bildes unter Verwendung von zumindest einem Mustererkennungsalgorithmus, um das Objekt in der Umgebung des Fahrzeugs zu erkennen. Dieses Verfahren 600 kann dann beispielsweise in dem Fahrerassistenzsystem 137 ausgeführt werden, in dem in dem Bild 107 enthaltene Objekte mittels des Mustererkennungsalgorithmus 158 zu erkennen.
-
Umfasst ein Ausführungsbeispiel eine „und/oder”-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- C. Geyer, M. Meingast, and S. Sastry. Geometric models of rollingshutter cameras. In Proc. 6th OmniVis WS, 2005 und G. Klein and D. Murray. Parallel tracking and mapping on a camera phone. In Proc. ISMAR'09, Orlando, Oct. 2009 [0002]
- „J. Hedborg, E. Ringaby, P.-E. Forssen, and M. Felsberg. Structure and motion estimation from rolling shutter video. In Proc. IEEE Int. Conf. on Computer Vision (ICCV) Workshops, 2011” [0002]
