DE102012105436A1

DE102012105436A1 - Fahrzeugkamera zur Entfernungsmessung

Info

Publication number: DE102012105436A1
Application number: DE201210105436
Authority: DE
Inventors: Stefan Menzel
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2012-06-22
Filing date: 2012-06-22
Publication date: 2013-12-24
Anticipated expiration: 2032-06-23
Also published as: DE102012105436B4

Abstract

Die Erfindung betrifft ein Kamerasystem für ein Fahrzeug, zur Bestimmung von Objektentfernungen, umfassend wenigstens ein Bildaufnahmeelement (4), mit einer für elektromagnetische Strahlung (7) sensitiven Fläche, und ein Abbildungssystem (3) zur Projektion von elektromagnetischer Strahlung (7) auf die sensitive Fläche des Bildaufnahmeelements (4), wobei das Kamerasystem eine Mikrolinsen-Anordnung (8) umfasst, welche derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung (7) angeordnet ist, dass das Kamerasystem als Lichtfeldkamera ausgebildet ist.

Description

Die Erfindung betrifft ein Kamerasystem zum Einsatz in einem Fahrzeug und zur Bestimmung von Objektentfernungen sowie ein Verfahren zum Betrieb eines solchen Kamerasystems.
Fahrerassistenzsysteme in Fahrzeugen verwenden häufig eine oder mehrere Kameras zur Erfassung des Fahrzeugumfelds, beispielsweise zur Erkennung verschiedenster Objekte im Umfeld des Fahrzeugs.
Die Kameras sind dabei in der Regel im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet und blicken in Fahrtrichtung durch die Scheibe hindurch. Bekannt sind beispielsweise Fahrzeugkameras zur Erkennung von Hindernissen, Fahrbahnmarkierungen, Verkehrszeichen, Verkehrsteilnehmern und anderen Objekten, sowie Nachtsichtkameras oder auch Stereokameras als optische Abstandssensoren.
Einige Fahrerassistenzsysteme, beispielsweise Systeme zur Vermeidung von Unfällen, z.B. (Not-)Bremsassistenten, und Systeme mit einer Längs- bzw. Querführungsunterstützung, z.B. Geschwindigkeitsregelungssysteme oder Fahrspurassistenten, benötigen möglichst genaue Informationen über das Fahrzeugumfeld. Dabei kommt der Erfassung von Objekten sowie der Bestimmung der Entfernung zu diesen Objekten eine wichtige Rolle zu. Zur Bestimmung der Objektentfernung ist bislang die Verwendung von Strahlsensoren, beispielsweise Ultraschall-, Radar- oder Lidar-Sensoren, bekannt. Auch Kameras werden bereits zur Bestimmung von Objektentfernungen eingesetzt.
Bei der Bestimmung von Objektentfernungen mittels Kameras werden derzeit sogenannte Stereo-Kameras eingesetzt. Diese bestehen aus zwei in der Regel identischen Kameramodulen (Einzelkameras), die als separate optische Systeme mit jeweils einem Bildaufnahmeelement und einem Abbildungssystem (z.B. Objektiv) aufgebaut sind. Die beiden Kameramodule werden mit ihren optischen Achsen meist parallel zueinander ausgerichtet und lateral versetzt, d.h. auf einer Linie parallel zur Fahrzeugquerachse versetzt, hinter der Windschutzscheibe angeordnet. Die laterale Distanz zwischen den Kamerasystemen wird als Baseline bezeichnet. Die Pixelkoordinaten der Projektion eines Bildpunktes eines Objektes unterscheiden sich in den erfassten Bildern der beiden Kameramodule. Die Differenz zwischen den Koordinatenpaaren, d.h. der Versatz des Bildpunktes in den Bildern, hängt dabei von der Entfernung des Objektes zur Kamera ab. Bei bekannter Baseline lässt sich aus dem Versatz des Bildpunktes mittels Trigonometrie auf bekannte Weise die Entfernung zum Objekt berechnet (Stereoprinzip).
Nachteilig beim Einsatz von Stereo-Kameras zur Bestimmung von Objektentfernungen in Fahrzeugen ist jedoch die Tatsache, dass die Anordnung und die Kalibrierung, d.h. die Ausrichtung der zwei Kameramodule zueinander, mit erheblichem Aufwand und Kosten verbunden sind. Bereits eine marginale Ungenauigkeit bzw. eine leichte Änderung des Blickwinkels eines der beiden Kameramodule kann die Entfernungsbestimmung erheblich verfälschen. Zusätzlich müssen eine Vielzahl von Umwelteinflüssen, z.B. Temperaturunterschiede und Vibrationen, die während des Fahrbetriebs auftreten können, antizipiert werden. Diese können zu denselben Problemen (Änderung des Blickwinkels) und den damit verbundenen Konsequenzen (verfälschte Entfernungsbestimmung) führen. Die Antizipation erfolgt in der Regel durch eine komplexe Verbausituation der Kameramodule bzw. der Stereo-Kamera. Neben der aufwändigen und komplexen Verbausituation benötigen Stereo-Kameras zudem viel Platz im Fahrzeuginnenraum und einen entsprechend großen Blickbereich durch die Windschutzscheibe. Es müssen jedes Mal zwei identische Kameramodule eingesetzt werden und die Genauigkeit der Entfernungsbestimmung hängt von der Größe der Baseline ab, d.h. vom lateralen Versatz der Kameramodule zueinander. Je größer die Baseline der Kameramodule desto genauer ist die Entfernungsbestimmung. Je größer die Baseline gewählt wird, umso größer ist jedoch auch der Platzbedarf für die Stereo-Kamera. Zudem erhöht sich mit zunehmendem Abstand der Kameramodule der Aufwand bei der Ausrichtung der Module zueinander.
Eine weitere Möglichkeit die Entfernung zu Objekten mittels Kameras zu bestimmten, ist die Anwendung sogenannter Depth-From-Focus oder Depth-From-Defocus Ansätze. Ein Vorteil dieser Ansätze gegenüber der Stereo-Kamera ist die Tatsache, dass die Entfernungsbestimmung bereits mittels eines einzelnen Kameramoduls erfolgen kann, z.B. mittels einer Monokamera. Dadurch können viele der vorangehend beschrieben Probleme beim Einsatz von Stereo-Kameras vermieden werden. Besonders sei hier neben den oben genannten Problemen, auch die in der Auswertung auftretende Schwierigkeit genannt, die zwei Bilder bzw. das Bildpaar einer Stereo-Kamera korrekt zu vergleichen, d.h. Objekte in beiden Bilder korrekt aufzufinden, welche sich aufgrund des Versatzes an unterschiedlichen Bildpositionen befinden. Dieses Problem ist in der Literatur als Korrespondenz-Problem zu finden.
Der Depth-From-Focus (DFF) Ansatz nutzt aus, dass Objekte in einer bestimmten Entfernung von einem Abbildungssystem nur in einer bestimmten Ebene fokussiert abgebildet werden. Diese Ebene wird Fokusebene genannt. Weicht die Fokusebene von der Ebene ab, in der das Bildaufnahmeelement angeordnet ist, erscheint das Objekt im erfassten Bild unscharf. Mit anderen Worten: Jede Objektentfernung besitzt eine bestimmte Fokusebene auf der Bildseite des Abbildungssystems. Variiert nun die Objektentfernung, so variiert auch die Fokusebene.
Durch Variation des Abstandes zwischen Abbildungssystem und Bildaufnahmeelement ist es daher möglich die Abbildung des Objektes zu fokussieren und zu defokussieren. Bei bekannten optischen Parametern des Abbildungssystems erlaubt der so gefundene Punkt größter Objektschärfe (Fokuseinstellung mit größter Objektschärfe), den Abstand zwischen Abbildungssystem und Objekt über bekannte optische Zusammenhänge zu berechnen. Die Genauigkeit des Verfahrens hängt dabei auch von der Anzahl der möglichen Bildweiteneinstellung (Fokuseinstellungen) ab. Wird diese kontinuierlich variiert, kann das Bild beliebig fokussiert dargestellt werden.
Der Depth-From-Defocus (DFD) Ansatz ist eng mit dem DFF Ansatz verwandt. Auch dieser Ansatz nutzt die Unschärfe aus, die bei einer nicht fokussierten Abbildung auftritt. Der Unterschied zum DFF Ansatz besteht darin, dass für ein Objekt nicht schrittweise eine Einstellung gesucht wird, die das Objekt fokussiert darstellt. Stattdessen werden zwei oder mehr Bildaufnahmen der beobachteten Szene mit verschiedenen Fokuseinstellungen, d.h. mit abweichender Fokussierung, erstellt. Die unterschiedlichen Fokuseinstellungen wirken sich auch auf die Unschärfe von Objekten im erfassten Bild aus. Dabei ist das Ausmaß der Unschärfe abhängig von der Entfernung zwischen Objekt und Kamera. Diese Eigenschaft macht sich der DFD Ansatz zu Nutze. Er untersucht blockweise mittels Vergleich die Unschärfe in zwei Bildern, wobei beispielsweise die Differenz der Unschärfe zweier Bilder bestimmt werden kann. Aus dem Vergleich wird die Entfernung berechnet. Der blockweise Vergleich ermöglicht die Bestimmung von Objektentfernungen aus Bildern, ohne zunächst Korrespondenzen zwischen den Bildregionen herstellen zu müssen, was ein Vorteil gegenüber dem Stereoprinzip darstellt.
Ein Verfahren zur Bestimmung von Objektentfernungen mittels des Depth-from-Defocus Ansatzes ist beispielsweise aus der WO 2011/093923 A1 bekannt. Darin wird ein Verfahren zur Berechnung von Tiefeninformation für eine digitale Bilderzeugungsvorrichtung offenbart. In einer Ausführungsform umfasst das Verfahren das Erfassen eines ersten Bildes mit einer ersten Fokuseinstellung, das Erfassen eines zweiten Bildes mit einer zweiten Fokuseinstellung, das Ermitteln eines repräsentativen Bereichs in beiden Bildern, und das Ermitteln eines Verhältnisses der Unschärfe der beiden Bereiche. Zur Bestimmung von Entfernungen wird das Ermittelte Verhältnis der Unschärfe mit Tabellendaten abgeglichen.
Nachteilig an den Ansätzen DFF und DFD ist die Tatsache, dass bei den bislang eingesetzten Kameramodulen, insbesondere bei den bislang verwendeten Monokameras, eine mechanisch verstellbare Optik erforderlich ist, um die Fokussierung des Kameramoduls zu ändern und somit mindestens zwei einzelne Bilder mit abweichender Fokussierung zu erhalten. Die Änderung der Fokuseinstellung führt zudem, insbesondere aufgrund deren mechanischer Ausgestaltung, zu Ungenauigkeiten und zu einer verlangsamten Entfernungsbestimmung. Auch die in der Fahrzeug-Industrie typischen Lebensdaueranforderungen von Fahrzeugkomponenten von typischerweise mehreren Jahren stellen mechanische Komponenten vor das Problem des Verschleißes bei dauerhafter Belastung. Weiterhin erweist sich der Einsatz der beiden Ansätze im Fahrzeug als schwierig, da zwischen der Aufnahme zweier Bilder jedes Mal eine Veränderung der Fokuseinstellung, insbesondere eine Änderung des Abstands zwischen Objektiv und Bildaufnahmeelement, erforderlich ist und sich das Fahrzeug während der Verstellung in der Regel bewegt. Die Eigenbewegung des Fahrzeugs muss somit, ähnlich wie bei Stereo-Kameras, antizipiert werden. Ein weiterer Nachteil ist die Abhängigkeit der Genauigkeit der Entfernungsbestimmung von der Anzahl der möglichen Fokuseinstellungen, d.h. der maximalen Anzahl an Bildern mit unterschiedlicher Fokussierung.
Der Erfindung liegt die Aufgabe zugrunde, ein Kamerasystem für ein Kraftfahrzeug zur Bestimmung von Objektentfernungen anzugeben, mittels dem die Entfernung zu Objekten möglichst einfach, genau und zuverlässig bestimmt werden kann.
Diese Aufgabe wird durch ein Kamerasystem mit den Merkmalen nach Anspruch 1 sowie durch ein Verfahren zum Betrieb eines solchen mit den Merkmalen nach Anspruch 7 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.
Aus dem Bereich der Bildaufnahmetechnik bzw. aus der digitalen Fotografie sind sogenannte Lichtfeldkameras bekannt. Diese werden auch als plenoptische Kameras bezeichnet. Das grundsätzliche Prinzip einer Lichtfeldkamera wird im Folgenden kurz beschrieben. Im Gegensatz zu konventionellen Kameras, bei welchen mit einem Abbildungssystem (z.B. ein Objektiv mit einer oder mehreren hintereinander angeordneten Linsen) und einem dahinter angeordneten Bildaufnahmeelement lediglich zweidimensionale Bilder bzw. 2-D-Bilddaten erfasst werden, ist es mit einer Lichtfeldkamera möglich, das sogenannte 4-D-Lichtfeld einer Szene zu erfassen. Dabei wird, neben der Position und der Intensität eines Lichtstrahls, auch die Richtung, aus welcher der Lichtstrahl auf das Bildaufnahmeelement fällt, ermittelt. Ermöglicht wird dies durch eine Mikrolinsen-Anordnung (Mikrolinsen-Array) zwischen dem Abbildungssystem und dem Bildaufnahmeelement. Bei der Mikrolinsen-Anordnung handelt es sich um ein Linsengitter, bestehend aus einer Vielzahl von in der Regel matrixförmig angeordneten Mikrolinsen. Das Linsengitter ist derart zwischen dem Abbildungssystem und dem Bildaufnahmeelement positioniert, z.B. in der hinteren Bildebene (Fokusebene, Brennebene) des Abbildungssystems, dass jeder Bildpunkt nochmals gebrochen und zu einem Kegel erweitert wird, welcher dann auf das Bildaufnahmeelement bzw. dessen sensitive Fläche trifft. Jeder Mikrolinse kann dabei eine Mehrzahl an lichtempfindlichen Zellen (Fotodioden bzw. Pixel) des Bildaufnahmeelements bzw. dessen sensitiver Fläche zugeordnet sein. Auf diese Weise bleibt die Information erhalten, aus welcher Richtung einzelne Lichtstrahlen in das Kamerasysteme eingefallen sind. Ein senkrecht auf eine Mikrolinse auftreffender Lichtstrahl landet im Mittelpunkt des Kreises bzw. der Ellipse, ein schräg eintreffender Lichtstrahl weiter am Rand. Das mittels einer Lichtfeldkamera erfasste Licht wird somit richtungsselektiv in separierbaren Einzelbildern auf dem Bildsensor erfasst. Durch geeignete Aneinanderreihung von Pixeln, insbesondere jeweils des gleichen Pixels unter jeder Mikrolinse, können aus einem so erfassten Bild einer beobachteten Szene mehrere Einzelbilder erzeugt werden, welche die beobachtete Szene aus unterschiedlichen, insbesondere leicht voneinander abweichenden, Betrachtungswinkeln (Blickwinkeln) abbilden. Derart können insbesondere zwei Einzelbilder einer beobachteten Szene erzeugt werden, die einen Versatz aufweisen, wie bei stereoskopischen Halbbildern, d.h. wie bei einem Bildpaar, dass mittels einer Stereokamera erfasst wurde. Die Anzahl der derart erzeugbaren Einzelbilder einer beobachteten Szene, ist gleich der Anzahl der Pixel unter jeder einzelnen Mikrolinse. Weiterhin können mittels geeigneter Bildverarbeitung, insbesondere durch geeignetes Aufsummieren der Einzelbilder, Bilder mit unterschiedlichem Fokus erzeugt werden. Dadurch ist es möglich die Schärfe eines mittels einer Lichtfeldkamera erfassten Bildes nachträglich neu zu berechnen und damit, wie bei einem richtigen Objektiv, den Fokus nachträglich zu ändern. Mit anderen Worten: Es können nach der Bildaufnahme durch Verarbeitung der erfassten Bild- bzw. der erfassten Pixeldaten verschiedene Schärfeebenen realisiert werden und mehrere Bilder mit unterschiedlichem Fokus erzeugt bzw. ausgegeben werden. Weiterhin können anhand des Versatzes der erzeugten Einzelbilder Tiefeninformationen der Objektszene (beobachteten Szene) extrahiert werden, insbesondere unter Verwendung einfacher optischer Zusammenhänge, wie zum Beispiel der Abbildungsgleichung. Falls nur zwei Einzelbilder herangezogen werden ist diese Tiefeninformation im Vergleich zu Stereo-Kameras weniger genau aufgrund der typischerweise geringeren Baseline. Allerdings kann diese Genauigkeit gesteigert werden durch den Versatzvergleich und die Mittelung über mehrere Einzelbilder (alle Einzelbilder im Idealfall). Durch die Verfügbarkeit von Tiefeninformationen der Objektszene kann weiterhin eine dreidimensionale (3D) Darstellung der Objektszene errechnet werden. Details zum Prinzip von Lichtfeldkameras, d.h. Aufbaumöglichkeiten und die erforderliche Bildverarbeitung, sind in der Literatur bereits ausführlich beschrieben. Verwiesen sei hierzu insbesondere auf die Arbeiten von ADELSON und WANG (Adelson, T., und Wang, J. Y. A. 1992. Single lens stereo with a plenoptic camera. IEEE Transactions on Pattern Analysis and Machine Intelligence 14, 2 (Feb), 99–106) sowie auf eine Dissertation von NG (Ng, R. 2006. Digital Light Field Photography. Dissertation. Stanford University, July 2006) und auf eine Veröffentlichung von NG ET AL. zu diesem Thema(Ng, R., Levoy, M., Bredif, M., Duval, G., Horowitz, M., Hanrahan, P. 2005. Light Field Photography with a Hand-held Plenoptic Camera. Standford Tech Report CTSR 2005-02).
Ein wesentlicher Gedanke der Erfindung besteht nun darin, das Prinzip der Lichtfeldkamera für ein Kamerasystem im Automobilbereich anzuwenden, insbesondere für ein Kamerasystem, mittels dem Entfernungen zu Objekten bestimmt werden sollen, wobei vorzugsweise alle sonstigen Kamerafunktion erhalten bleiben bzw. weiterhin möglich sind. Hierdurch ist es möglich mit einem einzelnen Kameramodul bzw. mit nur einem optischen System, welches ein Bildaufnahmeelement und ein Abbildungssystem umfasst, zunächst ein Bild einer Szene zu erfassen. Aufgrund der Ausgestaltung des Kamerasystems als Lichtfeldkamera, bei welcher die eintreffenden Lichtstrahlen richtungsselektiv auf dem Bildaufnahmeelement erfasst werden, ist es möglich, nachträglich zwei oder mehr Einzelbilder aus dem erfassten Bild einer Szene zu berechnen, die eine abweichende Fokussierung aufweisen. Die Bestimmung von Objektentfernungen kann weiterhin analog zu den einleitend beschrieben Ansätzen DFD und DFD erfolgen.
Ein wesentlicher Vorteil des erfindungsgemäßen Kamerasystems gegenüber dem Einsatz einer Stereokamera, ist die Tatsache, dass die Ausrichtung zweier einzelner Kameramodule zueinander entfällt. Es ist somit nichtmehr erforderlich zwei einzelne Kameramodule zueinander Auszurichten bzw. zu Kalibrieren. Das erfindungsgemäße Kamerasystem benötigt weniger Einbauraum im Fahrzeug und kann insgesamt kompakter ausgestaltet werden. Fehler bei der Bestimmung von Objektentfernungen aufgrund falscher oder ungenauer Ausrichtung können nichtmehr auftreten. Umwelteinflüsse, wie Temperaturunterschiede und Vibrationen, die während des Betriebs auftreten können, müssen nicht, wie bei den bislang eingesetzten Kamerasystemen, hinsichtlich negativer Auswirkungen auf die Ausrichtung zweier Kameramodule antizipiert werden. Gegenüber der Verwendung der Ansätze DFF und DFD bei bekannten Kamerasystemen, d.h. mit verstellbarer Kameraoptik, bestehen zudem die Vorteile, dass zur Änderung der Fokussierung insbesondere keine mechanische Verstellung von optischen Einrichtungen des Kamerasystems während der Bildaufnahme, insbesondere zwischen der Aufnahme zweier Einzelbilder, erforderlich ist. Die Erzeugung der Vergleichsbilder für den DFD Ansatz bzw. die schrittweise Anpassung der Fokussierung beim DFF Ansatz, d.h. bis ein Objekt bildscharf abgebildet ist, erfolgt bevorzugt aus einem einzelnen mittels des erfindungsgemäßen Kamerasystems erfassten Bildes. Eigenbewegungen des Fahrzeugs oder sonstige Einflüsse müssen somit ebenfalls nichtmehr antizipiert werden.
Das erfindungsgemäße Kamerasystem kommt bevorzugt in einem Fahrzeug zum Einsatz und dient insbesondere zur Bestimmung von Objektentfernungen. Es können darüber hinaus auch weitere Funktionen, z.B. andere bekannte Fahrerassistenzfunktionen, mittels des Kamerasystems umgesetzt werden. Bei dem Kamerasystem handelt es sich somit vorzugsweise um eine Fahrzeugkamera. Diese kann beispielsweise im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet sein, mit Blickrichtung durch die Fahrzeugscheibe hindurch in das Fahrzeugumfeld, insbesondere zur Erfassung von Bildern aus dem Fahrzeugumfeld für eine oder mehrere Fahrerassistenzfunktionen. Bei dem erfindungsgemäßen Kamerasystem kann es sich auch um eine anderorts im bzw. am Fahrzeug angeordnete Kamera handeln, beispielsweise um eine Innenraumkamera zur Erfassung von Fahrzeuginsassen. Erfindungsgemäß ist das Kamerasystem dabei derart ausgebildet, dass mittels des Kamerasystems bzw. mittels der vom Kamerasystem erfassten Bilder Entfernungen zu Objekten, z.B. Entfernung zwischen dem Fahrzeug und einem Objekt und/oder zwischen dem Kamerasystem und einem Objekt, bestimmbar sind. Weiterhin kann eine drei-dimensionale Darstellung der erfassen Szene errechnet werden.
Das erfindungsgemäße Kamerasystem umfasst wenigstens ein und vorzugsweise nur ein Bildaufnahmeelement mit einer für elektromagnetische Strahlung sensitiven Fläche, beispielsweise ein CMOS- oder CCD-Bildchip. Das Kamerasystem umfasst weiterhin zumindest ein Abbildungssystem, z.B. mit einer oder mehreren Linsen, das zur Projektion von elektromagnetischer Strahlung auf die sensitive Fläche des Bildaufnahmeelements dient. Bei dem Abbildungssystem handelt es sich beispielsweise um ein Objektiv des Kamerasystems.
Das erfindungsgemäße Kamerasystem umfasst im Weiteren wenigstens eine Mikrolinsen-Anordnung, vorzugsweise ein Linsengitter mit einer Vielzahl matrixförmig angeordneter Mikrolinsen. Die Mikrolinsen-Anordnung dient zur Ausgestaltung des Kamerasystems nach dem Prinzip einer Lichtfeldkamera, insbesondere zur Erfassung des 4-D-Lichtfelds der mittels des Kamerasystems beobachteten Szene, d.h. beispielsweise des Fahrzeugumfelds. Die Mikrolinsen-Anordnung dient insbesondere zur Erfassung der Richtungen, aus denen Lichtstrahlen aus der beobachteten Szene in das Kamerasystem einfallen. Jeder Mikrolinse der Mikrolinsen-Anordnung ist hierzu bevorzugt ein bestimmter Bereich der sensitiven Fläche des Bildaufnahmeelements zugeordnet, d.h. jede Mikrolinse projiziert elektromagnetische Strahlung auf eine definierte Anzahl bzw. einen definierten Bereich an lichtempfindlichen Zellen des Bildaufnahmeelements. Die Mikrolinsen-Anordnung ist weiterhin vorzugsweise derart ausgebildet und vor dem Bildaufnahmeelement angeordneten, dass die Bereiche der sensitiven Fläche des Bildaufnahmeelements, welche den einzelnen Mikrolinsen zugeordnet sind, sich nicht überlappen und/oder möglichst groß sind. Die Mikrolinsen-Anordnung kann beispielsweise direkt über der sensitiven Fläche des Bildaufnahmeelements und/oder in der Brennebene des Abbildungssystems oder auf die Brennebene des Abbildungssystems fokussiert angeordnet sein. Die Mikrolinsen-Anordnung kann weiterhin vor der gesamten sensitiven Fläche oder nur vor einem Teilbereich der sensitiven Fläche des Bildaufnahmeelements angeordnet sein. Das erfindungsgemäße Kamerasystem kann somit derart ausgestaltet sein bzw. die Mikrolinsen-Anordnung kann insbesondere derart angeordnet sein, dass nur ein Teil der sensitiven Fläche des Bildaufnahmeelements nach dem Prinzip der Lichtfeldkamera ausgebildet ist.
Mittels Bildverarbeitungseinrichtungen, welche insbesondere Bestandteil des erfindungsgemäßen Kamerasystems sein können, werden die mittels des Kamerasystems bzw. mittels des Bildaufnahmeelements erfassten Bilder bevorzugt derart verarbeitet, dass aus einem erfassten Bild der beobachteten Szene wenigstens zwei Teilbilder generiert werden. Bei den Teilbildern handelt es sich dabei um Bilder mit abweichender Fokussierung. Mit anderen Worten handelt es sich bei den Teilbildern um wenigstens zwei einzelne Bilder, die aus einem mittels des Kamerasystems erfassten Bild der beobachteten Szene generiert werden und welche unterschiedliche Objektentfernungen fokussiert abbilden. Die Erzeugung von Teilbildern mit unterschiedlicher Fokussierung mittels einer Lichtfeldkamera ist aus dem Stand der Technik, insbesondere aus den einleitend genannten Veröffentlichungen grundsätzlich bekannt. Die Generierung der Teilbilder mit abweichender Fokussierung erfolgt beispielsweise derart, dass zunächst Pixel mit identischer Position unterhalb jeder Mikrolinse herangezogen werden und nach dem Matrixmuster der Mikrolinsenanordnung neu angeordnet werden, d.h. insbesondere nach dem Matrixmuster der Mikrolinsenanordnung aneinandergereiht werden. Dadurch entstehen eine Vielzahl an separaten Bildern, deren größtmögliche Anzahl durch die Anzahl der Pixel unter jeder Mikrolinse gegeben ist und welche die beobachtete Szene mit abweichenden Blickwinkel darstellen, d.h. die jeweils einen leichten Versatz aufweisen. Die Anzahl der Bildpixel (Auflösung) der so separierbaren Bilder ist durch die Anzahl der Mikrolinsen in der Mikrolinsenanordnung gegeben. In einem weiteren Schritt können aus den separierten Bildern, die einen Versatz aufweisen, mittels geeigneter Bildverarbeitungseinrichtungen bzw. mittels geeigneter Bildverarbeitungsalgorithmen die Teilbilder mit abweichender Fokussierung erzeugt werden, insbesondere durch aufsummieren mehrerer der separierten Bilder mit Versatz.
Erfindungsgemäß werden anhand der wenigstens zwei generierten Teilbilder mit abweichender Fokussierung Entfernungen zu einem oder mehreren Objekten bestimmt.
Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Kamerasystems ist die Mikrolinsen-Anordnung derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung angeordnet, dass die vom Abbildungssystem auf die sensitive Fläche des Bildaufnahmeelements projizierte elektromagnetische Strahlung mittels des Bildaufnahmeelements richtungsselektiv erfasst wird, so dass aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder mit abweichender Fokussierung generierbar sind, insbesondere wenigstens zwei einzelne auf unterschiedliche Objektentfernungen fokussierte (bildscharfe) Bilder der Fahrzeugumgebung.
Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Kamerasystems umfasst dieses Bildverarbeitungseinrichtungen oder ist mit Bildverarbeitungseinrichtungen verbunden, die ausgebildet sind, zur Generierung der wenigstens zwei Teilbilder aus mittels des Kamerasystems erfassten Bildern und/oder zur Bestimmung von Objektentfernungen aus den generierten Teilbildern.
Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems ist dieses derart ausgebildet, insbesondere die Bildverarbeitungseinrichtungen, dass aus einem mittels des Kamerasystems erfassten Bild schrittweise Teilbilder mit abweichender Fokussierung generiert werden, bis ein Objekt, zu dem eine Entfernung bestimmt werden soll, in einem der Teilbilder bildscharf abgebildet ist. Hierbei kann insbesondere dasjenige Teilbild ermittelt werden, in dem die höchste Bildschärfe des Objektes gegenüber den restlichen generierten Teilbildern erreicht wird. Unter der schrittweisen Generierung der Teilbilder abweichender Fokussierung ist dabei insbesondere eine sukzessive Generierung von Teilbildern aus einem mittels des Kamerasystems erfassten Bild zu verstehen, wobei dasjenige Teilbild gesucht wird, in dem ein Objekt, zu dem eine Entfernung bestimmt werden soll, bildscharf abgebildet ist bzw. in dem das Objekt die höchste Bildschärfe aufweist. Dieses entspricht insbesondere dem Prinzip des DFF, wobei zur Generierung der Teilbilder mit abweichender Fokussierung keine mechanische Verstellung von optischen Einrichtungen erforderlich ist. Die Generierung der Teilbilder mit abweichender Fokussierung erfolgt vorzugsweise allein mittels Bildverarbeitung. Jedem einzelnen Teilbild, d.h. jedem Teilbild mit unterschiedlicher Fokussierung, kann nun eine (virtuelle) Fokusebene zugeordnet werden, insbesondere unter Verwendung bekannter Zusammenhänge, welcher wiederum eine Objektebene bekannter Brennweite zugeordnet werden kann. Dabei kann jedem generierten Teilbild, d.h. jedem generierten Teilbild mit unterschiedlicher Fokussierung, eine Fokusebene im Bildraum bzw. auf der Bildseite des Abbildungssystems zugeordnet sein. Ist bekannt, bei welchem Teilbild die höchste Bildschärfe des Objekts, zu dem eine Entfernung bestimmt werden soll, erreicht wird, kann über Abbildungsgleichungen bzw. mittels Linsengleichung die Entfernung zum Objekt berechnet werden. Hierdurch kann die Bestimmung der Objektentfernung schnell und zuverlässig erfolgen. Es müssen insbesondere keine Ungenauigkeiten aufgrund von Umwelteinflüssen sowie eine Fahrzeugeigenbewegung zwischen der Aufnahme zweier Bilder antizipiert werden.
Gemäß einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems ist dieses derart ausgebildet, insbesondere die Bildverarbeitungseinrichtungen, dass aus dem Vergleich der Unschärfe eines Objektes in den wenigstens zwei Teilbildern mit abweichender Fokussierung die Entfernung zu einem Objekt (Objektentfernung) berechnet wird. Bei dem Vergleich kann es sich beispielsweise um die Bestimmung der Differenz der Unschärfe eines Objektes in den wenigstens zwei Teilbildern handeln. Dies entspricht im Wesentlichen dem Ansatz des DFD. Es können insbesondere zwei Teilbilder aus einem mittels des Kamerasystems erfassten Bild generiert werden, wobei ein Objekt, von dem eine Objektentfernungen bestimmt werden soll, in einem der Bilder positiv defokussiert abgebildet ist und im anderen Bild negativ defokussiert. Positiv und negativ de-fokussiert meint insbesondere, dass eine bildscharfe Abbildung des Objektes erreicht würde, bei einer Fokuseinstellung zwischen den Fokuseinstellungen der beiden Teilbilder. Ein wesentlicher Vorteil dieser Ausgestaltung des erfindungsgemäßen Kamerasystems ist wie bei der bereits vorangehend beschrieben Ausgestaltung die Tatsache, dass gegenüber der Verwendung des DFD Ansatzes in Verbindung mit bekannten Kamerasystemen, für die Generierung der Teilbilder keine mechanische Verstellung von optischen Einrichtungen des Kamerasystems erfolgen muss. Die Generierung der Teilbilder erfolgt insbesondere aus einem einzelnen mittels des erfindungsgemäßen Kamerasystems erfassten Bild. Hierdurch kann die Bestimmung der Objektentfernung schnell und zuverlässig erfolgen. Es müssen insbesondere keine Ungenauigkeiten aufgrund von Umwelteinflüssen sowie keine Fahrzeugeigenbewegungen zwischen der Aufnahme zweier Bilder antizipiert werden.
Gemäß einer besonderen Ausgestaltung des erfindungsgemäßen Kamerasystems ist die Mikrolinsenanordnung nur in einem bestimmten Teilbereich des Querschnitts des Strahlengangs der, insbesondere der vom Abbildungssystem auf das Bildaufnahmeelement projizierten, elektromagnetischen Strahlung und/oder nur vor einem bestimmten Teilbereich der sensitiven Fläche des Bildaufnahmeelements angeordnet, so dass nur der bestimmte Teilbereich der sensitiven Fläche des Bildaufnahmeelements als Lichtfeldkamera ausgebildet ist. Bei dieser Ausgestaltung des erfindungsgemäßen Kamerasystems wird vorzugsweise nur mittels des bestimmten Teilbereichs der sensitiven Fläche des Bildaufnahmeelements elektromagnetische Strahlung richtungsselektiv erfasst. Ein Vorteil dieser Ausgestaltung besteht im Wesentlichen darin, dass nur für den bestimmten Teilbereich des Bildaufnahmeelements das Auflösungsvermögen reduziert und der restliche Bereich der sensitiven Fläche des Bildaufnahmeelements weiterhin bei maximaler Auflösung betrieben werden kann.
Das erfindungsgemäße Verfahren dient bevorzugt zum Betrieb eines Kamerasystems, das in einem Fahrzeug angeordnet und als Lichtfeldkamera ausgebildet ist. Bei dem Kamerasystem handelt es sich insbesondere um ein Kamerasystem, das nach einer der vorangehend beschriebenen Ausgestaltungen ausgebildet ist. Im Rahmen des erfindungsgemäßen Verfahrens werden vorzugsweise mittels Bildverarbeitungseinrichtungen aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder generiert und mittels der Teilbilder Objektentfernungen bestimmt.
Gemäß einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens werden aus einem mittels des Kamerasystems erfassten Bild, der vom Kamerasystem beobachteten Szene, beispielsweise des in Fahrtrichtung vorausliegenden Fahrzeugumfeldes, wenigstens zwei Teilbilder mit abweichender Fokussierung generiert.
Gemäß einer weiteren bevorzugten Ausführung des erfindungsgemäßen Verfahrens erfolgt die Objektbestimmung derart, dass aus einem mittels des Kamerasystems erfassten Bild schrittweise Teilbilder mit abweichender Fokussierung generiert werden, bis ein Objekt, insbesondere ein Objekt zu dem eine Entfernung (Objektentfernung) bestimmt werden soll, in einem der Teilbilder bildscharf abgebildet ist. Hierbei kann insbesondere dasjenige Teilbild ermittelt werden, in dem die höchste Bildschärfe des Objektes gegenüber den restlichen generierten Teilbildern erreicht wird. Dabei kann jedem generierten Teilbild, d.h. jedem generierten Teilbild mit unterschiedlicher Fokussierung, eine Fokusebene im Bildraum bzw. auf der Bildseite des Abbildungssystems zugeordnet sein. Ist bekannt, bei welchem Teilbild die höchste Bildschärfe des Objekts, zu dem eine Entfernung bestimmt werde soll, erreicht wird, kann über Abbildungsgleichungen bzw. mittels Linsengleichung die Entfernung zum Objektberechnet werden.
Gemäß einer besonderen Ausführung des erfindungsgemäßen Verfahrens erfolgt die Bestimmung von Objektentfernungen derart, dass aus einem Vergleich der Unschärfe eines Objektes in den wenigstens zwei Teilbildern, insbesondere eines Objektes zu dem eine Entfernung (Objektentfernung) bestimmt werden soll, die Entfernung zu dem Objekt berechnet wird. Bei dem Vergleich handelt es sich beispielsweise um die Bestimmung der Differenz der Unschärfe eines Objektes in den wenigstens zwei Teilbildern.
Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.
Es zeigt
1: eine erste Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die in der Fokusebene (Brennebene) des Abbildungssystems des Kamerasystems angeordnet ist und bei der die Mikrolinsen-Anordnung weiterhin im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements entfernt angeordnet ist.
2: eine zweite Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die nicht in der Fokusebene des Abbildungssystems des Kamerasystems angeordnet ist und bei der die Mikrolinsen-Anordnung nicht notwendigerweise im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements entfernt angeordnet ist.
3: eine dritte Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die nur vor einem Teilbereich des Bildaufnahmeelements des Kamerasystems angeordnet ist.
4: eine schematische Darstellung des Funktionsprinzips des erfindungsgemäßen Kamerasystems bzw. einer als Lichtfeldkamera ausgebildeten Fahrzeugkamera.
1 zeigt eine schematische Darstellung einer ersten vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems. Das Kamerasystem ist dabei hinter der Windschutzscheibe 1 eines Fahrzeugs angeordnet, mit Blickrichtung bzw. Erfassungswinkel 2 durch die Windschutzscheibe 1 hindurch, beispielsweise in Fahrtrichtung des Fahrzeugs. Das Kamerasystem umfasst ein Abbildungssystem 3, in diesem Fall ein Objektiv, in dem eine oder mehrere Linsen angeordnet sein können, sowie ein Bildaufnahmeelement 4, das auf einer ersten Leiterplatte 5 angeordnet ist. Das Kamerasystem umfasst weiterhin eine zweite Leiterplatte 6, die elektrisch mit der ersten Leiterplatte 5 verbunden ist und auf der beispielsweise Bildverarbeitungseinrichtungen angeordnet sein können. Das Abbildungssystem 3 dient zur Projektion von elektromagnetischer Strahlung 7 auf eine für elektromagnetische Strahlung sensitive Fläche des Bildaufnahmeelements 4. Im vorliegenden Beispiel ist das Abbildungssystem 3 bzw. das Kamerasystem auf einen in Fahrtrichtung des Fahrzeugs vorausliegenden Fernbereich fokussiert, beispielsweise auf eine Entfernung von 2 m, 5 m oder 10 m. Das Abbildungssystem 3 kann auch auf quasi unendlich fokussiert sein, d.h. auf Objektentfernungen z.B. größer als 2 m, 5 m oder 10 m. Hierdurch können mittels des Kamerasystems eine oder mehrere Fahrerassistenzfunktionen umgesetzt werden, beispielsweise eine Objekterkennung (z.B. von Verkehrszeichen, Hindernissen, Fahrspurmarkierungen, Folgeobjekten). Das Kamerasystem aus 1 ist erfindungsgemäß zur Bestimmung von Objektentfernungen ausgebildet. Hierzu umfasst das Kamerasystem eine Mikrolinsen-Anordnung 8, welche derart ausgebildet und im Strahlengang der vom Abbildungssystem 3 projizierten elektromagnetischen Strahlung 7 angeordnet ist, dass das Kamerasystem als Lichtfeldkamera ausgebildet ist. Die Mikrolinsen-Anordnung 8 ist im vorliegenden Beispiel als Linsengitter mit einer Vielzahl matrixförmig angeordneter Mikrolinsen ausgebildet, d.h. mit einer Vielzahl in Spalten und Zeilen bzw. gitterförmig nebeneinander angeordneten Mikrolinsen. Die Mikrolinsen-Anordnung 8 dient zur Umsetzung des einleitend beschriebenen und aus dem Stand der Technik bekannten Prinzips der Lichtfeldkamera. Jeder Mikrolinse der Mikrolinsen-Anordnung 8 ist dabei bevorzugt ein bestimmter Bereich der sensitiven Fläche des Bildaufnahmeelements 4 zugeordnet, d.h. jede Mikrolinse projiziert elektromagnetische Strahlung 7 auf eine definierte Anzahl an lichtempfindlichen Zellen des Bildaufnahmeelements 4. Die Mikrolinsen-Anordnung 8 ist weiterhin vorzugsweise derart zwischen dem Abbildungssystem 3 und dem Bildaufnahmeelement 4 angeordneten, dass sich die Bereiche, welche den einzelnen Mikrolinsen zugeordnet sind, nicht überlappen, gleichzeitig aber möglichst groß ausfallen. In Ausgestaltung gemäß 1 ist die Mikrolinsen-Anordnung 8 in der Fokusebene bzw. in der (hinteren) Bildebene des Abbildungssystems 3 angeordnet, d.h. in der Brennebene, in der mittels des Abbildungssystems 3 eine bildscharfe Abbildung des Fernbereichs bzw. der beobachteten Szene erzeugt wird. Weiterhin befindet sich die Mikrolinsen-Anordnung 8 im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements 4, d.h. die sensitive Fläche des Bildaufnahmeelements 4 befindet sich in der Ebene, welche durch die Brennpunkte der Mikrolinsen aufgespannt wird. Dabei wird jeder Bildpunkt der bildscharfen Abbildung der beobachtete Szene, d.h. in diesem Fall des Bereichs des Fahrzeugumfelds, auf den das Abbildungssystem 3 (und damit das Kamerasystem) fokussiert ist, von der Mikrolinsen-Anordnung 8 nochmals gebrochen und zu einem Kegel erweitert, welcher dann insbesondere kreisförmig auf das Bildaufnahmeelement 4 bzw. dessen sensitive Fläche trifft. Hierdurch kann mittels des Bildaufnahmeelements 4 neben der Intensität und Position auch die Richtung, aus welcher die elektromagnetische Strahlung 7 in das Kamerasystems einfällt, und damit das sogenannte 4-D-Lichtfeld der beobachteten Szene erfasst werden. Mittels geeigneter Bildverarbeitungseinrichtungen bzw. Bildverarbeitungsalgorithmen können aus einem so erfassten Bild, einer beobachteten Szene, eine Vielzahl an einzelnen Bildern mit Versatz generiert werden, d.h. separierte Bilder, welche die beobachtete Szene aus unterschiedlichen Betrachtungswinkel abbilden. Aus den so separierten Bildern, dessen größtmögliche Anzahl durch die Anzahl an Pixeln unter jeder Mikrolinse begrenzt ist, können weiterhin durch geeignetes Aufsummieren bzw. Zusammenrechnen der separierten Bilder, eine Vielzahl an Teilbildern mit abweichender Fokussierung erzeugt werden, d.h. Teilbilder, die auf eine unterschiedliche Objektentfernung fokussiert sind. Teilbilder mit abweichender Fokussierung können alternativ auch durch Rechenmethoden im reziproken Bildraum (Fourier-Raum) erstellt werden.
2 zeigt eine schematische Darstellung einer zweiten vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems. Das Kamerasystem aus 2 ist dabei in weiten Teilen entsprechend der Beschreibung zu 1 ausgebildet. Im Gegensatz zu 1 ist in 2 die Mikrolinsen-Anordnung 8 nicht in der Fokusebene bzw. Brennebene des Abbildungssystems 3 angeordnet. Die Mikrolinsen-Anordnung 8 ist senkrecht zur optischen Achse 11 des Abbildungssystems 3 angeordnet, wobei die ersten Brennpunkte der einzelnen Mikrolinsen beispielsweise in der Brennebene des Abbildungssystems 3 liegen könnten. Das Bildaufnahmeelement 4 ist gemäß 2 ebenfalls senkrecht zur optischen Achse 11 des Abbildungssystems 3 in einer beliebigen Ebene hinter der Mikrolinsen-Anordnung angeordnet. Das Bildaufnahmeelement 4 kann dabei beispielsweise auch in der Ebene angeordnet sein, die durch die zweiten Brennpunkte der einzelnen Mikrolinsen aufgespannt wird.
3 zeigt eine schematische Darstellung einer dritten vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems. Das Kamerasystem aus 3 ist dabei in weiten Teilen entsprechend der Beschreibung zu 1 und 2 ausgebildet. Im Gegensatz zu 1 und 2 ist die Mikrolinsen-Anordnung 8 im Kamerasystem gemäß 3 nur vor einem bestimmten Teilbereich 10 der sensitiven Fläche des Bildaufnahmeelements 4 angeordnet, so dass nur der bestimmte Teilbereich 10 der sensitiven Fläche des Bildaufnahmeelements 4 zur Erfassung von Bildern nach dem Prinzip der Lichtfeldkamera genutzt werden kann. Die Mikrolinsen-Anordnung 8 ist weiterhin nur in einem bestimmten Bereich des Querschnitts, der mittels des Abbildungssystems 3 projizierten elektromagnetischen Strahlung 7, angeordnet. Bei einer Ausgestaltung des erfindungsgemäßen Kamerasystems entsprechend 3 wird das Prinzip der Lichtfeldkamera somit nur partiell angewendet, wodurch die Auflösung nicht im kompletten Bereich des Bildaufnahmeelements 4 reduziert wird. Das Bildaufnahmeelement 4 bzw. dessen sensitive Fläche wird vielmehr in zwei Bereiche aufgeteilt. Ein Bereich 10 des Bildaufnahmeelements 4 ist als Lichtfeldkamera ausgelegt und in diesem Bereich 10 können nach dem Prinzip der Lichtfeldkamera Teilbilder mit abweichender Fokussierung generiert und aus diesen Objektentfernungen bestimmt werden. Der andere Bereich des Bildaufnahmeelements 4 ist als "normale" Kamera ausgestaltet. Die beobachtete Szene kann dabei auch über den gesamten Bereich des Bildaufnahmeelements 4 abgebildet werden, im Lichtfeldkamera-Bereich 10 allerdings nur in reduzierter Auflösung.
In 4 ist das Funktionsprinzip einer Lichtfeldkamera schematisch dargestellt, insbesondere wie elektromagnetische Strahlung 7 richtungsselektiv auf einem Bildaufnahmeelement 4 erfasst wird, und wie aus einem so erfassten Bild einer beobachteten Szene, in diesem Fall mit einem abgebildeten Objekt 12, eine Vielzahl an Einzelbildern T1, T2 mit Versatz generiert werden können, d.h. insbesondere Einzelbilder T1, T2 mit unterschiedlichem Betrachtungswinkel auf das Objekt 12 bzw. allgemein auf die beobachtete Szene. Das Abbildungssystem 3 umfasst in diesem Fall zwei Linsen, eine Hauptlinse 3.1 und eine Feldlinse 3.2. Die Einzelbilder T1 und T2 können mittels geeigneter Bildverarbeitungsverfahren generiert werden, insbesondere durch Aneinanderreihung jeweils der gleichen Pixel des Bildaufnahmeelements 4 unter jeder Mikrolinse der Mikrolinsen-Anordnung 8. Durch geeignetes Aufsummieren von so erzeugten Einzelbildern T1, T2 lassen sich in einem weiteren Bildverarbeitungsschritt Teilbilder mit unterschiedlicher Fokussierung generieren, d.h. Bilder der beobachteten Szene die auf unterschiedliche Objektentfernungen fokussiert. Die hierfür erforderlichen Bildverarbeitungsalgorithmen sind prinzipiell bekannt, insbesondere aus den einleitend genannten Veröffentlichungen.
Die 1 bis 4 zeigen jeweils nur schematisch, wie das erfindungsgemäße Kamerasystem ausgebildet sein kann. Die Darstellungen sind zur besseren Anschaulichkeit stark vereinfacht, insbesondere zur Darstellung der Funktionsweise des erfindungsgemäßen Kamerasystems nach dem Prinzip einer Lichtfeldkamera. Die Maßstäbe und Abstände der Elemente bzw. Bestandteile des Kamerasystems können von der Darstellung abweichen, insbesondere kann die Mikrolinsen-Anordnung 8 auch direkt über dem Bildaufnahmeelement 4 bzw. über dessen sensitiver Fläche angeordnet sein. Das Kamerasystem kann zudem weitere Komponenten umfassen, beispielsweise eines oder mehrere Gehäuseteile, Streulichtblenden, Mittel zur Anordnung und Befestigung hinter der Windschutzscheibe 1 sowie weitere elektronische Einrichtungen und optische Strahlformungs-und/oder Strahllenkungselemente. Das Kamerasystem kann weiterhin mit elektrischen Einrichtungen, insbesondere mit Fahrerassistenzsystemen, im Fahrzeug verbunden sein.
Bezugszeichenliste

1: Windschutzscheibe
2: Erfassungswinkel
3: Abbildungssystem
3.1: Hauptlinse
3.2: Feldlinse
4: Bildaufnahmeelement
5: Erste Leiterplatte
6: Zweite Leiterplatte
7: Elektromagnetische Strahlung
8: Mikrolinsen-Anordnung
10: Teilbereich der sensitiven Fläche des Bildaufnahmeelements
11: Optische Achse
12: Objekt
T1: Teilbild 1
T2: Teilbild 2

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2011/093923 A1 [0011]

Zitierte Nicht-Patentliteratur

Adelson, T., und Wang, J. Y. A. 1992. Single lens stereo with a plenoptic camera. IEEE Transactions on Pattern Analysis and Machine Intelligence 14, 2 (Feb), 99–106 [0015]
Ng, R. 2006. Digital Light Field Photography. Dissertation. Stanford University, July 2006) und auf eine Veröffentlichung von NG ET AL. zu diesem Thema(Ng, R., Levoy, M., Bredif, M., Duval, G., Horowitz, M., Hanrahan, P. 2005. Light Field Photography with a Hand-held Plenoptic Camera. Standford Tech Report CTSR 2005-02 [0015]

Claims

Kamerasystem für ein Fahrzeug, zur Bestimmung von Objektentfernungen, umfassend – wenigstens ein Bildaufnahmeelement (4), mit einer für elektromagnetische Strahlung (7) sensitiven Fläche, und – ein Abbildungssystem (3), zur Projektion von elektromagnetischer Strahlung (7) auf die sensitive Fläche des Bildaufnahmeelements (4), dadurch gekennzeichnet, dass das Kamerasystem eine Mikrolinsen-Anordnung (8) umfasst, welche derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung (7) angeordnet ist, dass – das Kamerasystem als Lichtfeldkamera ausgebildet ist und mittels Bildverarbeitung – aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder generierbar und – mittels der Teilbilder Objektentfernungen bestimmbar sind.
Kamerasystem nach Anspruch 1, dadurch gekennzeichnet, dass die Mikrolinsen-Anordnung (8) derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung (7) angeordnet ist, dass – die vom Abbildungssystem (3) auf die sensitive Fläche des Bildaufnahmeelements (4) projizierte elektromagnetische Strahlung (7) mittels des Bildaufnahmeelements (4) richtungsselektiv erfasst wird, so dass – aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder mit abweichender Fokussierung generierbar sind.
Kamerasystem nach einem der vorangegangenen Ansprüche umfassend Bildverarbeitungseinrichtungen, die ausgebildet sind, – zur Generierung der wenigstens zwei Teilbilder aus einem mittels des Kamerasystems erfassten Bild und – zur Bestimmung von Objektentfernungen aus den generierten Teilbildern.
Kamerasystem nach einem der vorangegangenen Ansprüche, derart ausgebildet, dass aus einem mittels des Kamerasystems erfassten Bild schrittweise Teilbilder mit abweichender Fokussierung generiert werden, bis ein Objekt in einem der Teilbilder bildscharf abgebildet ist.
Kamerasystem nach einem der vorangegangenen Ansprüche, derart ausgebildet, dass aus einem Vergleich der Unschärfe eines Objektes in den wenigstens zwei Teilbildern, die Entfernung zu dem Objekt berechnet wird.
Kamerasystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Mikrolinsenanordnung (8) nur in einem bestimmten Teilbereich des Querschnitts des Strahlengangs der elektromagnetischen Strahlung (7), insbesondere nur vor einem bestimmten Teilbereich (10) der sensitiven Fläche des Bildaufnahmeelements (4), angeordnet ist, so dass nur der bestimmte Teilbereich (10) der sensitiven Fläche des Bildaufnahmeelements (4) als Lichtfeldkamera ausgebildet ist und nur mittels des bestimmten Teilbereichs (10) elektromagnetische Strahlung (7) richtungsselektiv erfasst wird.
Verfahren zum Betrieb eines Kamerasystems, das nach einem der vorangegangenen Ansprüche ausgebildet ist, und zur Bestimmung von Objektentfernungen, dadurch gekennzeichnet, dass mittels Bildverarbeitungseinrichtungen aus einem mittels des Kamerasystems erfassten Bild einer beobachteten Szene wenigstens zwei Teilbilder generiert und mittels der Teilbilder Objektentfernungen bestimmt werden.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder mit abweichender Fokussierung generiert werden.
Verfahren nach einem der Ansprüche 7 oder 8, wobei die Bestimmung von Objektentfernungen derart erfolgt, dass aus einem mittels des Kamerasystems erfassten Bild schrittweise Teilbilder mit abweichender Fokussierung generiert werden, bis ein Objekt in einem der Teilbilder bildscharf abgebildet ist.
Verfahren nach einem der Ansprüche 7 oder 8, wobei die Bestimmung von Objektentfernungen derart erfolgt, dass aus einem Vergleich der Unschärfe eines Objektes in den wenigstens zwei Teilbildern, die Entfernung zu dem Objekt berechnet wird.
Fahrzeug, in dem ein Kamerasystem nach einem der Ansprüche 1 bis 6 angeordnet ist.