DE102012105436B4

DE102012105436B4 - Vehicle camera for distance measurement

Info

Publication number: DE102012105436B4
Application number: DE102012105436.3A
Authority: DE
Inventors: Stefan Menzel
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2012-06-22
Filing date: 2012-06-22
Publication date: 2021-12-16
Anticipated expiration: 2032-06-23
Also published as: DE102012105436A1

Abstract

Kamerasystem für ein Fahrzeug, zur Bestimmung von Objektentfernungen,umfassend- wenigstens ein Bildaufnahmeelement (4), mit einer für elektromagnetische Strahlung (7) sensitiven Fläche, und- ein Abbildungssystem (3), zur Projektion von elektromagnetischer Strahlung (7) auf die sensitive Fläche des Bildaufnahmeelements (4),wobeidas Kamerasystem eine Mikrolinsen-Anordnung (8) umfasst, welche derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung (7) angeordnet ist, dass- das Kamerasystem als Lichtfeldkamera ausgebildet ist und mittels Bildverarbeitung- aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder generierbar und- mittels der Teilbilder Objektentfernungen bestimmbar sind,dadurch gekennzeichnet, dassdie Mikrolinsen-Anordnung (8) derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung (7) angeordnet ist, dass- die vom Abbildungssystem (3) auf die sensitive Fläche des Bildaufnahmeelements (4) projizierte elektromagnetische Strahlung (7) mittels des Bildaufnahmeelements (4) richtungsselektiv erfasst wird, so dass- aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder mit abweichender Fokussierung generierbar sind.Camera system for a vehicle, for determining object distances, comprising- at least one image recording element (4) with a surface sensitive to electromagnetic radiation (7), and- an imaging system (3) for projecting electromagnetic radiation (7) onto the sensitive surface of the image recording element (4), the camera system comprising a microlens arrangement (8) which is designed and arranged in the beam path of the electromagnetic radiation (7) in such a way that the camera system is designed as a light field camera and is captured by means of image processing from a camera system Image at least two partial images can be generated and object distances can be determined by means of the partial images, characterized in that the microlens array (8) is designed and arranged in the beam path of the electromagnetic radiation (7) that the imaging system (3) onto the sensitive surface of the image pickup element (4) projected electromagnetic S Radiation (7) is detected in a directionally selective manner by means of the image recording element (4), so that at least two partial images with a different focus can be generated from an image recorded by means of the camera system.

Description

Die Erfindung betrifft ein Kamerasystem zum Einsatz in einem Fahrzeug und zur Bestimmung von Objektentfernungen sowie ein Verfahren zum Betrieb eines solchen Kamerasystems.The invention relates to a camera system for use in a vehicle and for determining object distances and a method for operating such a camera system.

Fahrerassistenzsysteme in Fahrzeugen verwenden häufig eine oder mehrere Kameras zur Erfassung des Fahrzeugumfelds, beispielsweise zur Erkennung verschiedenster Objekte im Umfeld des Fahrzeugs.
Die Kameras sind dabei in der Regel im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet und blicken in Fahrtrichtung durch die Scheibe hindurch. Bekannt sind beispielsweise Fahrzeugkameras zur Erkennung von Hindernissen, Fahrbahnmarkierungen, Verkehrszeichen, Verkehrsteilnehmern und anderen Objekten, sowie Nachtsichtkameras oder auch Stereokameras als optische Abstandssensoren.Driver assistance systems in vehicles often use one or more cameras to record the surroundings of the vehicle, for example to detect a wide variety of objects in the surroundings of the vehicle.
The cameras are usually arranged in the vehicle interior behind the windshield and look through the window in the direction of travel. For example, vehicle cameras for detecting obstacles, lane markings, traffic signs, road users and other objects, as well as night vision cameras or stereo cameras as optical distance sensors are known.

Einige Fahrerassistenzsysteme, beispielsweise Systeme zur Vermeidung von Unfällen, z.B. (Not-)Bremsassistenten, und Systeme mit einer Längs- bzw. Querführungsunterstützung, z.B. Geschwindigkeitsregelungssysteme oder Fahrspurassistenten, benötigen möglichst genaue Informationen über das Fahrzeugumfeld. Dabei kommt der Erfassung von Objekten sowie der Bestimmung der Entfernung zu diesen Objekten eine wichtige Rolle zu. Zur Bestimmung der Objektentfernung ist bislang die Verwendung von Strahlsensoren, beispielsweise Ultraschall-, Radar- oder Lidar-Sensoren, bekannt. Auch Kameras werden bereits zur Bestimmung von Objektentfernungen eingesetzt.Some driver assistance systems, for example systems to avoid accidents, e.g. (emergency) brake assistants, and systems with longitudinal or lateral guidance support, e.g. speed control systems or lane assistants, require the most accurate information possible about the vehicle's surroundings. The detection of objects and the determination of the distance to these objects play an important role. The use of beam sensors, for example ultrasound, radar or lidar sensors, has hitherto been known to determine the object distance. Cameras are also already being used to determine object distances.

Bei der Bestimmung von Objektentfernungen mittels Kameras werden derzeit sogenannte Stereo-Kameras eingesetzt. Diese bestehen aus zwei in der Regel identischen Kameramodulen (Einzelkameras), die als separate optische Systeme mit jeweils einem Bildaufnahmeelement und einem Abbildungssystem (z.B. Objektiv) aufgebaut sind. Die beiden Kameramodule werden mit ihren optischen Achsen meist parallel zueinander ausgerichtet und lateral versetzt, d.h. auf einer Linie parallel zur Fahrzeugquerachse versetzt, hinter der Windschutzscheibe angeordnet. Die laterale Distanz zwischen den Kamerasystemen wird als Baseline bezeichnet. Die Pixelkoordinaten der Projektion eines Bildpunktes eines Objektes unterscheiden sich in den erfassten Bildern der beiden Kameramodule. Die Differenz zwischen den Koordinatenpaaren, d.h. der Versatz des Bildpunktes in den Bildern, hängt dabei von der Entfernung des Objektes zur Kamera ab. Bei bekannter Baseline lässt sich aus dem Versatz des Bildpunktes mittels Trigonometrie auf bekannte Weise die Entfernung zum Objekt berechnet (Stereoprinzip).So-called stereo cameras are currently used to determine object distances by means of cameras. These consist of two usually identical camera modules (single cameras), which are constructed as separate optical systems, each with an image recording element and an imaging system (e.g. lens). The optical axes of the two camera modules are usually aligned parallel to each other and laterally offset, i.e. offset on a line parallel to the transverse axis of the vehicle, behind the windshield. The lateral distance between the camera systems is known as the baseline. The pixel coordinates of the projection of an image point of an object differ in the captured images of the two camera modules. The difference between the coordinate pairs, i.e. the offset of the image point in the images, depends on the distance between the object and the camera. If the baseline is known, the distance to the object can be calculated in a known manner from the offset of the image point by means of trigonometry (stereo principle).

Nachteilig beim Einsatz von Stereo-Kameras zur Bestimmung von Objektentfernungen in Fahrzeugen ist jedoch die Tatsache, dass die Anordnung und die Kalibrierung, d.h. die Ausrichtung der zwei Kameramodule zueinander, mit erheblichem Aufwand und Kosten verbunden sind. Bereits eine marginale Ungenauigkeit bzw. eine leichte Änderung des Blickwinkels eines der beiden Kameramodule kann die Entfernungsbestimmung erheblich verfälschen. Zusätzlich müssen eine Vielzahl von Umwelteinflüssen, z.B. Temperaturunterschiede und Vibrationen, die während des Fahrbetriebs auftreten können, antizipiert werden. Diese können zu denselben Problemen (Änderung des Blickwinkels) und den damit verbundenen Konsequenzen (verfälschte Entfernungsbestimmung) führen. Die Antizipation erfolgt in der Regel durch eine komplexe Verbausituation der Kameramodule bzw. der Stereo-Kamera. Neben der aufwändigen und komplexen Verbausituation benötigen Stereo-Kameras zudem viel Platz im Fahrzeuginnenraum und einen entsprechend großen Blickbereich durch die Windschutzscheibe. Es müssen jedes Mal zwei identische Kameramodule eingesetzt werden und die Genauigkeit der Entfernungsbestimmung hängt von der Größe der Baseline ab, d.h. vom lateralen Versatz der Kameramodule zueinander. Je größer die Baseline der Kameramodule desto genauer ist die Entfernungsbestimmung. Je größer die Baseline gewählt wird, umso größer ist jedoch auch der Platzbedarf für die Stereo-Kamera. Zudem erhöht sich mit zunehmendem Abstand der Kameramodule der Aufwand bei der Ausrichtung der Module zueinander.However, the disadvantage of using stereo cameras to determine object distances in vehicles is the fact that the arrangement and calibration, i.e. the alignment of the two camera modules with one another, involve considerable effort and expense. Even a marginal inaccuracy or a slight change in the viewing angle of one of the two camera modules can significantly falsify the determination of the distance. In addition, a large number of environmental influences, e.g. temperature differences and vibrations that can occur during driving, must be anticipated. These can lead to the same problems (change of perspective) and the associated consequences (incorrect determination of distance). The anticipation usually takes place through a complex installation situation of the camera modules or the stereo camera. In addition to the elaborate and complex installation situation, stereo cameras also require a lot of space in the vehicle interior and a correspondingly large viewing area through the windshield. Two identical camera modules have to be used each time and the accuracy of the distance determination depends on the size of the baseline, i.e. the lateral offset of the camera modules to one another. The larger the baseline of the camera modules, the more accurate the distance determination. However, the larger the baseline, the greater the space required for the stereo camera. In addition, as the distance between the camera modules increases, the effort involved in aligning the modules with one another increases.

Eine weitere Möglichkeit die Entfernung zu Objekten mittels Kameras zu bestimmten, ist die Anwendung sogenannter Depth-From-Focus oder Depth-From-Defocus Ansätze. Ein Vorteil dieser Ansätze gegenüber der Stereo-Kamera ist die Tatsache, dass die Entfernungsbestimmung bereits mittels eines einzelnen Kameramoduls erfolgen kann, z.B. mittels einer Monokamera. Dadurch können viele der vorangehend beschrieben Probleme beim Einsatz von Stereo-Kameras vermieden werden. Besonders sei hier neben den oben genannten Problemen, auch die in der Auswertung auftretende Schwierigkeit genannt, die zwei Bilder bzw. das Bildpaar einer Stereo-Kamera korrekt zu vergleichen, d.h. Objekte in beiden Bilder korrekt aufzufinden, welche sich aufgrund des Versatzes an unterschiedlichen Bildpositionen befinden. Dieses Problem ist in der Literatur als Korrespondenz-Problem zu finden.Another possibility to determine the distance to objects by means of cameras is the use of so-called depth-from-focus or depth-from-defocus approaches. One advantage of these approaches compared to the stereo camera is the fact that the distance can be determined using a single camera module, e.g. a mono camera. In this way, many of the problems described above when using stereo cameras can be avoided. In addition to the problems mentioned above, the difficulty occurring in the evaluation of correctly comparing the two images or the image pair of a stereo camera, ie correctly finding objects in both images that are at different image positions due to the offset, should also be mentioned here . This problem can be found in the literature as the correspondence problem.

Der Depth-From-Focus (DFF) Ansatz nutzt aus, dass Objekte in einer bestimmten Entfernung von einem Abbildungssystem nur in einer bestimmten Ebene fokussiert abgebildet werden. Diese Ebene wird Fokusebene genannt. Weicht die Fokusebene von der Ebene ab, in der das Bildaufnahmeelement angeordnet ist, erscheint das Objekt im erfassten Bild unscharf. Mit anderen Worten: Jede Objektentfernung besitzt eine bestimmte Fokusebene auf der Bildseite des Abbildungssystems. Variiert nun die Objektentfernung, so variiert auch die Fokusebene. The Depth-From-Focus (DFF) approach takes advantage of the fact that objects at a certain distance from an imaging system are only imaged in a focused manner in a certain plane. This plane is called the focal plane. If the focal plane deviates from the plane in which the image recording element is arranged, the object appears in the captured image out of focus. In other words: every object distance has a certain focal plane on the image side of the imaging system. If the object distance now varies, the focal plane also varies.

Durch Variation des Abstandes zwischen Abbildungssystem und Bildaufnahmeelement ist es daher möglich die Abbildung des Objektes zu fokussieren und zu defokussieren. Bei bekannten optischen Parametern des Abbildungssystems erlaubt der so gefundene Punkt größter Objektschärfe (Fokuseinstellung mit größter Objektschärfe), den Abstand zwischen Abbildungssystem und Objekt über bekannte optische Zusammenhänge zu berechnen. Die Genauigkeit des Verfahrens hängt dabei auch von der Anzahl der möglichen Bildweiteneinstellung (Fokuseinstellungen) ab. Wird diese kontinuierlich variiert, kann das Bild beliebig fokussiert dargestellt werden.By varying the distance between the imaging system and the image pickup element, it is therefore possible to focus and defocus the image of the object. With known optical parameters of the imaging system, the point of greatest object sharpness found in this way (focus setting with greatest object sharpness) allows the distance between the imaging system and the object to be calculated using known optical relationships. The accuracy of the method also depends on the number of possible image width settings (focus settings). If this is varied continuously, the image can be displayed with any focus.

Der Depth-From-Defocus (DFD) Ansatz ist eng mit dem DFF Ansatz verwandt. Auch dieser Ansatz nutzt die Unschärfe aus, die bei einer nicht fokussierten Abbildung auftritt. Der Unterschied zum DFF Ansatz besteht darin, dass für ein Objekt nicht schrittweise eine Einstellung gesucht wird, die das Objekt fokussiert darstellt. Stattdessen werden zwei oder mehr Bildaufnahmen der beobachteten Szene mit verschiedenen Fokuseinstellungen, d.h. mit abweichender Fokussierung, erstellt. Die unterschiedlichen Fokuseinstellungen wirken sich auch auf die Unschärfe von Objekten im erfassten Bild aus. Dabei ist das Ausmaß der Unschärfe abhängig von der Entfernung zwischen Objekt und Kamera. Diese Eigenschaft macht sich der DFD Ansatz zu Nutze. Er untersucht blockweise mittels Vergleich die Unschärfe in zwei Bildern, wobei beispielsweise die Differenz der Unschärfe zweier Bilder bestimmt werden kann. Aus dem Vergleich wird die Entfernung berechnet. Der blockweise Vergleich ermöglicht die Bestimmung von Objektentfernungen aus Bildern, ohne zunächst Korrespondenzen zwischen den Bildregionen herstellen zu müssen, was ein Vorteil gegenüber dem Stereoprinzip darstellt.The Depth-From-Defocus (DFD) approach is closely related to the DFF approach. This approach also makes use of the blurring that occurs when the image is not in focus. The difference to the DFF approach is that a setting is not searched for an object step-by-step that shows the object in focus. Instead, two or more images of the observed scene are created with different focus settings, i.e. with different focusing. The different focus settings also affect the blurring of objects in the captured image. The extent of the blurring depends on the distance between the object and the camera. The DFD approach makes use of this property. It examines the blurring in two images block by block by means of a comparison, whereby, for example, the difference in the blurring of two images can be determined. The distance is calculated from the comparison. The block-by-block comparison enables object distances to be determined from images without first having to establish correspondences between the image regions, which is an advantage over the stereo principle.

Ein Verfahren zur Bestimmung von Objektentfernungen mittels des Depth-from-Defocus Ansatzes ist beispielsweise aus der WO 2011/093923 A1 bekannt. Darin wird ein Verfahren zur Berechnung von Tiefeninformation für eine digitale Bilderzeugungsvorrichtung offenbart. In einer Ausführungsform umfasst das Verfahren das Erfassen eines ersten Bildes mit einer ersten Fokuseinstellung, das Erfassen eines zweiten Bildes mit einer zweiten Fokuseinstellung, das Ermitteln eines repräsentativen Bereichs in beiden Bildern, und das Ermitteln eines Verhältnisses der Unschärfe der beiden Bereiche. Zur Bestimmung von Entfernungen wird das Ermittelte Verhältnis der Unschärfe mit Tabellendaten abgeglichen.A method for determining object distances using the depth-from-defocus approach is, for example, from WO 2011/093923 A1 known. A method for calculating depth information for a digital imaging device is disclosed therein. In one embodiment, the method comprises capturing a first image with a first focus setting, capturing a second image with a second focus setting, determining a representative area in both images, and determining a ratio of the blurring of the two areas. To determine distances, the determined blurring ratio is compared with table data.

Nachteilig an den Ansätzen DFF und DFD ist die Tatsache, dass bei den bislang eingesetzten Kameramodulen, insbesondere bei den bislang verwendeten Monokameras, eine mechanisch verstellbare Optik erforderlich ist, um die Fokussierung des Kameramoduls zu ändern und somit mindestens zwei einzelne Bilder mit abweichender Fokussierung zu erhalten. Die Änderung der Fokuseinstellung führt zudem, insbesondere aufgrund deren mechanischer Ausgestaltung, zu Ungenauigkeiten und zu einer verlangsamten Entfernungsbestimmung. Auch die in der Fahrzeug-Industrie typischen Lebensdaueranforderungen von Fahrzeugkomponenten von typischerweise mehreren Jahren stellen mechanische Komponenten vor das Problem des Verschleißes bei dauerhafter Belastung. Weiterhin erweist sich der Einsatz der beiden Ansätze im Fahrzeug als schwierig, da zwischen der Aufnahme zweier Bilder jedes Mal eine Veränderung der Fokuseinstellung, insbesondere eine Änderung des Abstands zwischen Objektiv und Bildaufnahmeelement, erforderlich ist und sich das Fahrzeug während der Verstellung in der Regel bewegt. Die Eigenbewegung des Fahrzeugs muss somit, ähnlich wie bei Stereo-Kameras, antizipiert werden. Ein weiterer Nachteil ist die Abhängigkeit der Genauigkeit der Entfernungsbestimmung von der Anzahl der möglichen Fokuseinstellungen, d.h. der maximalen Anzahl an Bildern mit unterschiedlicher Fokussierung.A disadvantage of the DFF and DFD approaches is the fact that the camera modules used so far, especially the mono cameras used so far, require mechanically adjustable optics to change the focus of the camera module and thus obtain at least two individual images with different focus . The change in the focus setting also leads, in particular due to its mechanical design, to inaccuracies and to a slower determination of the distance. The service life requirements of vehicle components of typically several years, which are typical in the vehicle industry, also pose the problem of wear and tear on mechanical components under permanent load. Furthermore, the use of the two approaches in the vehicle proves to be difficult, since a change in the focus setting, in particular a change in the distance between the lens and the image pickup element, is required each time between the acquisition of two images and the vehicle usually moves during the adjustment. The vehicle's own movement must therefore be anticipated, similar to stereo cameras. Another disadvantage is that the accuracy of the distance determination depends on the number of possible focus settings, i.e. the maximum number of images with different focusing.

Aus der Druckschrift DE102005043411A1 ist ein stereoskopisches Abbildungssystem bekannt, welches mindestens einen Bildsensor zur Aufnahme von Bilddaten und mindestens zwei Abbildungsarme umfasst.From the pamphlet DE102005043411A1 a stereoscopic imaging system is known which comprises at least one image sensor for recording image data and at least two imaging arms.

Die Druckschrift DE102008062977A1 zeigt ein optisches Modul mit einem Halbleiterelement mit einer für elektromagnetische Strahlung sensitiven Fläche und einem Objektiv zum Projizieren elektromagnetischer Strahlung auf die sensitive Fläche des Halbleiterelements.The pamphlet DE102008062977A1 shows an optical module with a semiconductor element with a surface sensitive to electromagnetic radiation and an objective for projecting electromagnetic radiation onto the sensitive surface of the semiconductor element.

Der Erfindung liegt die Aufgabe zugrunde, ein Kamerasystem für ein Kraftfahrzeug zur Bestimmung von Objektentfernungen anzugeben, mittels dem die Entfernung zu Objekten möglichst einfach, genau und zuverlässig bestimmt werden kann.The invention is based on the object of specifying a camera system for a motor vehicle for determining object distances, by means of which the distance to objects can be determined as simply, precisely and reliably as possible.

Diese Aufgabe wird durch ein Kamerasystem mit den Merkmalen nach Anspruch 1 sowie durch ein Verfahren zum Betrieb eines solchen mit den Merkmalen nach Anspruch 6 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.This object is achieved by a camera system with the features according to claim 1 and by a method for operating such a system with the features according to claim 6. Advantageous refinements and developments are the subject matter of the dependent claims, combinations and refinements of individual features also being conceivable with one another.

Aus dem Bereich der Bildaufnahmetechnik bzw. aus der digitalen Fotografie sind sogenannte Lichtfeldkameras bekannt. Diese werden auch als plenoptische Kameras bezeichnet. Das grundsätzliche Prinzip einer Lichtfeldkamera wird im Folgenden kurz beschrieben. Im Gegensatz zu konventionellen Kameras, bei welchen mit einem Abbildungssystem (z.B. ein Objektiv mit einer oder mehreren hintereinander angeordneten Linsen) und einem dahinter angeordneten Bildaufnahmeelement lediglich zweidimensionale Bilder bzw. 2-D-Bilddaten erfasst werden, ist es mit einer Lichtfeldkamera möglich, das sogenannte 4-D-Lichtfeld einer Szene zu erfassen. Dabei wird, neben der Position und der Intensität eines Lichtstrahls, auch die Richtung, aus welcher der Lichtstrahl auf das Bildaufnahmeelement fällt, ermittelt. Ermöglicht wird dies durch eine Mikrolinsen-Anordnung (Mikrolinsen-Array) zwischen dem Abbildungssystem und dem Bildaufnahmeelement. Bei der Mikrolinsen-Anordnung handelt es sich um ein Linsengitter, bestehend aus einer Vielzahl von in der Regel matrixförmig angeordneten Mikrolinsen. Das Linsengitter ist derart zwischen dem Abbildungssystem und dem Bildaufnahmeelement positioniert, z.B. in der hinteren Bildebene (Fokusebene, Brennebene) des Abbildungssystems, dass jeder Bildpunkt nochmals gebrochen und zu einem Kegel erweitert wird, welcher dann auf das Bildaufnahmeelement bzw. dessen sensitive Fläche trifft. Jeder Mikrolinse kann dabei eine Mehrzahl an lichtempfindlichen Zellen (Fotodioden bzw. Pixel) des Bildaufnahmeelements bzw. dessen sensitiver Fläche zugeordnet sein. Auf diese Weise bleibt die Information erhalten, aus welcher Richtung einzelne Lichtstrahlen in das Kamerasysteme eingefallen sind. Ein senkrecht auf eine Mikrolinse auftreffender Lichtstrahl landet im Mittelpunkt des Kreises bzw. der Ellipse, ein schräg eintreffender Lichtstrahl weiter am Rand. Das mittels einer Lichtfeldkamera erfasste Licht wird somit richtungsselektiv in separierbaren Einzelbildern auf dem Bildsensor erfasst. Durch geeignete Aneinanderreihung von Pixeln, insbesondere jeweils des gleichen Pixels unter jeder Mikrolinse, können aus einem so erfassten Bild einer beobachteten Szene mehrere Einzelbilder erzeugt werden, welche die beobachtete Szene aus unterschiedlichen, insbesondere leicht voneinander abweichenden, Betrachtungswinkeln (Blickwinkeln) abbilden. Derart können insbesondere zwei Einzelbilder einer beobachteten Szene erzeugt werden, die einen Versatz aufweisen, wie bei stereoskopischen Halbbildern, d.h. wie bei einem Bildpaar, dass mittels einer Stereokamera erfasst wurde. Die Anzahl der derart erzeugbaren Einzelbilder einer beobachteten Szene, ist gleich der Anzahl der Pixel unter jeder einzelnen Mikrolinse. Weiterhin können mittels geeigneter Bildverarbeitung, insbesondere durch geeignetes Aufsummieren der Einzelbilder, Bilder mit unterschiedlichem Fokus erzeugt werden. Dadurch ist es möglich die Schärfe eines mittels einer Lichtfeldkamera erfassten Bildes nachträglich neu zu berechnen und damit, wie bei einem richtigen Objektiv, den Fokus nachträglich zu ändern. Mit anderen Worten: Es können nach der Bildaufnahme durch Verarbeitung der erfassten Bild- bzw. der erfassten Pixeldaten verschiedene Schärfeebenen realisiert werden und mehrere Bilder mit unterschiedlichem Fokus erzeugt bzw. ausgegeben werden. Weiterhin können anhand des Versatzes der erzeugten Einzelbilder Tiefeninformationen der Objektszene (beobachteten Szene) extrahiert werden, insbesondere unter Verwendung einfacher optischer Zusammenhänge, wie zum Beispiel der Abbildungsgleichung. Falls nur zwei Einzelbilder herangezogen werden ist diese Tiefeninformation im Vergleich zu Stereo-Kameras weniger genau aufgrund der typischerweise geringeren Baseline. Allerdings kann diese Genauigkeit gesteigert werden durch den Versatzvergleich und die Mittelung über mehrere Einzelbilder (alle Einzelbilder im Idealfall). Durch die Verfügbarkeit von Tiefeninformationen der Objektszene kann weiterhin eine drei-dimensionale (3D) Darstellung der Objektszene errechnet werden. Details zum Prinzip von Lichtfeldkameras, d.h. Aufbaumöglichkeiten und die erforderliche Bildverarbeitung, sind in der Literatur bereits ausführlich beschrieben. Verwiesen sei hierzu insbesondere auf die Arbeiten von ADELSON und WANG ( Adelson, T., und Wang, J. Y. A. 1992 . Single lens stereo with a plenoptic camera. IEEE Transactions on Pattern Analysis and Machine Intelligence 14, 2 (Feb), 99-106) sowie auf eine Dissertation von NG (Ng, R. 2006. Digital Light Field Photography. Dissertation. Stanford University, July 2006) und auf eine Veröffentlichung von NG ET AL. zu diesem Thema (Ng, R., Levoy, M., Bredif, M., Duval, G., Horowitz, M., Hanrahan, P. 2005. Light Field Photography with a Hand-held Plenoptic Camera. Standford Tech Report CTSR 2005-02) .From the field of image recording technology or from digital photography are so-called Light field cameras known. These are also known as plenoptic cameras. The basic principle of a light field camera is briefly described below. In contrast to conventional cameras, in which only two-dimensional images or 2-D image data are recorded with an imaging system (e.g. an objective with one or more lenses arranged one behind the other) and an image recording element arranged behind it, it is possible with a light field camera, the so-called Capture 4-D light field of a scene. In addition to the position and the intensity of a light beam, the direction from which the light beam falls on the image recording element is also determined. This is made possible by a microlens arrangement (microlens array) between the imaging system and the image pickup element. The microlens arrangement is a lens grid consisting of a large number of microlenses, which are usually arranged in the form of a matrix. The lens grid is positioned between the imaging system and the image pickup element, e.g. in the rear image plane (focal plane, focal plane) of the imaging system, that each pixel is refracted again and expanded to form a cone, which then hits the image pickup element or its sensitive surface. A plurality of light-sensitive cells (photodiodes or pixels) of the image recording element or its sensitive surface can be assigned to each microlens. In this way, the information is retained as to the direction from which individual light rays entered the camera system. A light beam striking a microlens perpendicularly lands in the center of the circle or the ellipse, a light beam arriving at an angle further on the edge. The light captured by means of a light field camera is thus captured in a directionally selective manner in separable individual images on the image sensor. By suitably stringing together pixels, in particular the same pixel under each microlens, multiple individual images can be generated from an image of an observed scene captured in this way, which image the observed scene from different, in particular slightly different, viewing angles (viewing angles). In this way, in particular, two individual images of an observed scene can be generated which have an offset, as in the case of stereoscopic half-images, ie as in the case of an image pair that was captured by means of a stereo camera. The number of individual images of an observed scene that can be generated in this way is equal to the number of pixels under each individual microlens. Furthermore, by means of suitable image processing, in particular by suitable adding up of the individual images, images with different foci can be generated. This makes it possible to subsequently recalculate the sharpness of an image captured by means of a light field camera and thus, as with a real lens, to subsequently change the focus. In other words: after the image is recorded, by processing the recorded image or the recorded pixel data, different levels of sharpness can be implemented and multiple images with different focus can be generated or output. Furthermore, on the basis of the offset of the generated individual images, depth information of the object scene (observed scene) can be extracted, in particular using simple optical relationships, such as the imaging equation, for example. If only two individual images are used, this depth information is less accurate compared to stereo cameras due to the typically lower baseline. However, this accuracy can be increased by the offset comparison and the averaging over several individual images (all individual images in the ideal case). Due to the availability of depth information of the object scene, a three-dimensional (3D) representation of the object scene can also be calculated. Details on the principle of light field cameras, that is to say the options for construction and the required image processing, have already been described in detail in the literature. Reference is made in particular to the work of ADELSON and WANG ( Adelson, T., and Wang, JYA 1992 . Single lens stereo with a plenoptic camera. IEEE Transactions on Pattern Analysis and Machine Intelligence 14, 2 (Feb), 99-106) and a dissertation by NG (Ng, R. 2006. Digital Light Field Photography. Dissertation. Stanford University, July 2006) and a publication by NG ET AL. on this subject (Ng, R., Levoy, M., Bredif, M., Duval, G., Horowitz, M., Hanrahan, P. 2005. Light Field Photography with a Hand-held Plenoptic Camera. Standford Tech Report CTSR 2005-02).

Ein wesentlicher Gedanke der Erfindung besteht nun darin, das Prinzip der Lichtfeldkamera für ein Kamerasystem im Automobilbereich anzuwenden, insbesondere für ein Kamerasystem, mittels dem Entfernungen zu Objekten bestimmt werden sollen, wobei vorzugsweise alle sonstigen Kamerafunktion erhalten bleiben bzw. weiterhin möglich sind. Hierdurch ist es möglich mit einem einzelnen Kameramodul bzw. mit nur einem optischen System, welches ein Bildaufnahmeelement und ein Abbildungssystem umfasst, zunächst ein Bild einer Szene zu erfassen. Aufgrund der Ausgestaltung des Kamerasystems als Lichtfeldkamera, bei welcher die eintreffenden Lichtstrahlen richtungsselektiv auf dem Bildaufnahmeelement erfasst werden, ist es möglich, nachträglich zwei oder mehr Einzelbilder aus dem erfassten Bild einer Szene zu berechnen, die eine abweichende Fokussierung aufweisen. Die Bestimmung von Objektentfernungen kann weiterhin analog zu den einleitend beschrieben Ansätzen DFD und DFD erfolgen.An essential idea of the invention is to use the principle of the light field camera for a camera system in the automotive sector, in particular for a camera system by means of which distances to objects are to be determined, with all other camera functions preferably being retained or still possible. This makes it possible to first capture an image of a scene with a single camera module or with only one optical system which comprises an image recording element and an imaging system. Due to the design of the camera system as a light field camera, in which the incoming light rays are recorded in a directionally selective manner on the image recording element, it is possible to subsequently calculate two or more individual images from the recorded image of a scene that have a different focus. Object distances can still be determined in a manner analogous to the approaches DFD and DFD described in the introduction.

Ein wesentlicher Vorteil des erfindungsgemäßen Kamerasystems gegenüber dem Einsatz einer Stereokamera, ist die Tatsache, dass die Ausrichtung zweier einzelner Kameramodule zueinander entfällt. Es ist somit nichtmehr erforderlich zwei einzelne Kameramodule zueinander Auszurichten bzw. zu Kalibrieren. Das erfindungsgemäße Kamerasystem benötigt weniger Einbauraum im Fahrzeug und kann insgesamt kompakter ausgestaltet werden. A significant advantage of the camera system according to the invention compared to the use of a stereo camera is the fact that the alignment There is no need for two individual camera modules to each other. It is therefore no longer necessary to align or calibrate two individual camera modules with one another. The camera system according to the invention requires less installation space in the vehicle and can be made more compact overall.

Fehler bei der Bestimmung von Objektentfernungen aufgrund falscher oder ungenauer Ausrichtung können nichtmehr auftreten. Umwelteinflüsse, wie Temperaturunterschiede und Vibrationen, die während des Betriebs auftreten können, müssen nicht, wie bei den bislang eingesetzten Kamerasystemen, hinsichtlich negativer Auswirkungen auf die Ausrichtung zweier Kameramodule antizipiert werden. Gegenüber der Verwendung der Ansätze DFF und DFD bei bekannten Kamerasystemen, d.h. mit verstellbarer Kameraoptik, bestehen zudem die Vorteile, dass zur Änderung der Fokussierung insbesondere keine mechanische Verstellung von optischen Einrichtungen des Kamerasystems während der Bildaufnahme, insbesondere zwischen der Aufnahme zweier Einzelbilder, erforderlich ist. Die Erzeugung der Vergleichsbilder für den DFD Ansatz bzw. die schrittweise Anpassung der Fokussierung beim DFF Ansatz, d.h. bis ein Objekt bildscharf abgebildet ist, erfolgt bevorzugt aus einem einzelnen mittels des erfindungsgemäßen Kamerasystems erfassten Bildes. Eigenbewegungen des Fahrzeugs oder sonstige Einflüsse müssen somit ebenfalls nichtmehr antizipiert werden.Errors in determining object distances due to incorrect or inaccurate alignment can no longer occur. Environmental influences such as temperature differences and vibrations that can occur during operation do not have to be anticipated, as with the camera systems used up to now, with regard to negative effects on the alignment of two camera modules. Compared to the use of the DFF and DFD approaches in known camera systems, i.e. with adjustable camera optics, there are also the advantages that, in particular, no mechanical adjustment of optical devices of the camera system is required to change the focus during image acquisition, in particular between the acquisition of two individual images. The generation of the comparison images for the DFD approach or the step-by-step adjustment of the focusing in the DFF approach, i.e. until an object is imaged in sharp focus, is preferably carried out from a single image captured by the camera system according to the invention. The vehicle's own movements or other influences no longer have to be anticipated.

Das erfindungsgemäße Kamerasystem kommt bevorzugt in einem Fahrzeug zum Einsatz und dient insbesondere zur Bestimmung von Objektentfernungen. Es können darüber hinaus auch weitere Funktionen, z.B. andere bekannte Fahrerassistenzfunktionen, mittels des Kamerasystems umgesetzt werden. Bei dem Kamerasystem handelt es sich somit vorzugsweise um eine Fahrzeugkamera. Diese kann beispielsweise im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet sein, mit Blickrichtung durch die Fahrzeugscheibe hindurch in das Fahrzeugumfeld, insbesondere zur Erfassung von Bildern aus dem Fahrzeugumfeld für eine oder mehrere Fahrerassistenzfunktionen. Bei dem erfindungsgemäßen Kamerasystem kann es sich auch um eine anderorts im bzw. am Fahrzeug angeordnete Kamera handeln, beispielsweise um eine Innenraumkamera zur Erfassung von Fahrzeuginsassen. Erfindungsgemäß ist das Kamerasystem dabei derart ausgebildet, dass mittels des Kamerasystems bzw. mittels der vom Kamerasystem erfassten Bilder Entfernungen zu Objekten, z.B. Entfernung zwischen dem Fahrzeug und einem Objekt und/oder zwischen dem Kamerasystem und einem Objekt, bestimmbar sind. Weiterhin kann eine drei-dimensionale Darstellung der erfassen Szene errechnet werden.The camera system according to the invention is preferably used in a vehicle and is used in particular to determine object distances. In addition, other functions, e.g. other known driver assistance functions, can also be implemented using the camera system. The camera system is therefore preferably a vehicle camera. This can be arranged, for example, in the vehicle interior behind the windshield, looking through the vehicle window into the vehicle surroundings, in particular for capturing images from the vehicle surroundings for one or more driver assistance functions. The camera system according to the invention can also be a camera arranged elsewhere in or on the vehicle, for example an interior camera for capturing vehicle occupants. According to the invention, the camera system is designed in such a way that distances to objects, e.g. distance between the vehicle and an object and / or between the camera system and an object, can be determined by means of the camera system or the images captured by the camera system. Furthermore, a three-dimensional representation of the captured scene can be calculated.

Das erfindungsgemäße Kamerasystem umfasst wenigstens ein und vorzugsweise nur ein Bildaufnahmeelement mit einer für elektromagnetische Strahlung sensitiven Fläche, beispielsweise ein CMOS- oder CCD-Bildchip. Das Kamerasystem umfasst weiterhin zumindest ein Abbildungssystem, z.B. mit einer oder mehreren Linsen, das zur Projektion von elektromagnetischer Strahlung auf die sensitive Fläche des Bildaufnahmeelements dient. Bei dem Abbildungssystem handelt es sich beispielsweise um ein Objektiv des Kamerasystems.The camera system according to the invention comprises at least one and preferably only one image recording element with an area sensitive to electromagnetic radiation, for example a CMOS or CCD image chip. The camera system furthermore comprises at least one imaging system, e.g. with one or more lenses, which is used to project electromagnetic radiation onto the sensitive surface of the image recording element. The imaging system is, for example, an objective of the camera system.

Das erfindungsgemäße Kamerasystem umfasst im Weiteren wenigstens eine Mikrolinsen-Anordnung, vorzugsweise ein Linsengitter mit einer Vielzahl matrixförmig angeordneter Mikrolinsen. Die Mikrolinsen-Anordnung dient zur Ausgestaltung des Kamerasystems nach dem Prinzip einer Lichtfeldkamera, insbesondere zur Erfassung des 4-D-Lichtfelds der mittels des Kamerasystems beobachteten Szene, d.h. beispielsweise des Fahrzeugumfelds. Die Mikrolinsen-Anordnung dient insbesondere zur Erfassung der Richtungen, aus denen Lichtstrahlen aus der beobachteten Szene in das Kamerasystem einfallen. Jeder Mikrolinse der Mikrolinsen-Anordnung ist hierzu bevorzugt ein bestimmter Bereich der sensitiven Fläche des Bildaufnahmeelements zugeordnet, d.h. jede Mikrolinse projiziert elektromagnetische Strahlung auf eine definierte Anzahl bzw. einen definierten Bereich an lichtempfindlichen Zellen des Bildaufnahmeelements. Die Mikrolinsen-Anordnung ist weiterhin vorzugsweise derart ausgebildet und vor dem Bildaufnahmeelement angeordneten, dass die Bereiche der sensitiven Fläche des Bildaufnahmeelements, welche den einzelnen Mikrolinsen zugeordnet sind, sich nicht überlappen und/oder möglichst groß sind. Die Mikrolinsen-Anordnung kann beispielsweise direkt über der sensitiven Fläche des Bildaufnahmeelements und/oder in der Brennebene des Abbildungssystems oder auf die Brennebene des Abbildungssystems fokussiert angeordnet sein. Die Mikrolinsen-Anordnung kann weiterhin vor der gesamten sensitiven Fläche oder nur vor einem Teilbereich der sensitiven Fläche des Bildaufnahmeelements angeordnet sein. Das erfindungsgemäße Kamerasystem kann somit derart ausgestaltet sein bzw. die Mikrolinsen-Anordnung kann insbesondere derart angeordnet sein, dass nur ein Teil der sensitiven Fläche des Bildaufnahmeelements nach dem Prinzip der Lichtfeldkamera ausgebildet ist.The camera system according to the invention furthermore comprises at least one microlens arrangement, preferably a lens grid with a plurality of microlenses arranged in a matrix. The microlens arrangement is used to design the camera system based on the principle of a light field camera, in particular to capture the 4-D light field of the scene observed by means of the camera system, i.e. for example the area around the vehicle. The microlens arrangement is used in particular to detect the directions from which light rays from the observed scene enter the camera system. For this purpose, each microlens of the microlens arrangement is preferably assigned a specific area of the sensitive surface of the image pickup element, i.e. each microlens projects electromagnetic radiation onto a defined number or a defined area of light-sensitive cells of the image pickup element. The microlens arrangement is furthermore preferably designed and arranged in front of the image pickup element in such a way that the areas of the sensitive surface of the image pickup element which are assigned to the individual microlenses do not overlap and / or are as large as possible. The microlens arrangement can be arranged, for example, directly above the sensitive surface of the image recording element and / or in the focal plane of the imaging system or focused on the focal plane of the imaging system. The microlens arrangement can furthermore be arranged in front of the entire sensitive area or only in front of a partial area of the sensitive area of the image recording element. The camera system according to the invention can thus be designed or the microlens arrangement can in particular be arranged such that only part of the sensitive surface of the image recording element is designed according to the principle of the light field camera.

Mittels Bildverarbeitungseinrichtungen, welche insbesondere Bestandteil des erfindungsgemäßen Kamerasystems sein können, werden die mittels des Kamerasystems bzw. mittels des Bildaufnahmeelements erfassten Bilder bevorzugt derart verarbeitet, dass aus einem erfassten Bild der beobachteten Szene wenigstens zwei Teilbilder generiert werden. Bei den Teilbildern handelt es sich dabei um Bilder mit abweichender Fokussierung. Mit anderen Worten handelt es sich bei den Teilbildern um wenigstens zwei einzelne Bilder, die aus einem mittels des Kamerasystems erfassten Bild der beobachteten Szene generiert werden und welche unterschiedliche Objektentfernungen fokussiert abbilden. Die Erzeugung von Teilbildern mit unterschiedlicher Fokussierung mittels einer Lichtfeldkamera ist aus dem Stand der Technik, insbesondere aus den einleitend genannten Veröffentlichungen grundsätzlich bekannt. Die Generierung der Teilbilder mit abweichender Fokussierung erfolgt beispielsweise derart, dass zunächst Pixel mit identischer Position unterhalb jeder Mikrolinse herangezogen werden und nach dem Matrixmuster der Mikrolinsenanordnung neu angeordnet werden, d.h. insbesondere nach dem Matrixmuster der Mikrolinsenanordnung aneinandergereiht werden. Dadurch entstehen eine Vielzahl an separaten Bildern, deren größtmögliche Anzahl durch die Anzahl der Pixel unter jeder Mikrolinse gegeben ist und welche die beobachtete Szene mit abweichenden Blickwinkel darstellen, d.h. die jeweils einen leichten Versatz aufweisen. Die Anzahl der Bildpixel (Auflösung) der so separierbaren Bilder ist durch die Anzahl der Mikrolinsen in der Mikrolinsenanordnung gegeben. In einem weiteren Schritt können aus den separierten Bildern, die einen Versatz aufweisen, mittels geeigneter Bildverarbeitungseinrichtungen bzw. mittels geeigneter Bildverarbeitungsalgorithmen die Teilbilder mit abweichender Fokussierung erzeugt werden, insbesondere durch aufsummieren mehrerer der separierten Bilder mit Versatz.By means of image processing devices, which can in particular be part of the camera system according to the invention, the images captured by means of the camera system or by means of the image capturing element are preferably processed in such a way that at least two partial images are generated from a captured image of the observed scene. The partial images are images with a different focus. In other words the partial images are at least two individual images that are generated from an image of the observed scene captured by means of the camera system and that depict different object distances in a focused manner. The generation of partial images with different focussing by means of a light field camera is known in principle from the prior art, in particular from the publications mentioned in the introduction. The partial images with different focussing are generated, for example, in such a way that initially pixels with an identical position below each microlens are used and rearranged according to the matrix pattern of the microlens arrangement, ie in particular are lined up according to the matrix pattern of the microlens arrangement. This results in a large number of separate images, the greatest possible number of which is given by the number of pixels under each microlens and which depict the observed scene with a different angle of view, ie each of which has a slight offset. The number of image pixels (resolution) of the images that can be separated in this way is given by the number of microlenses in the microlens array. In a further step, the partial images with a different focus can be generated from the separated images that have an offset by means of suitable image processing devices or by means of suitable image processing algorithms, in particular by adding up several of the separated images with an offset.

Erfindungsgemäß werden anhand der wenigstens zwei generierten Teilbilder mit abweichender Fokussierung Entfernungen zu einem oder mehreren Objekten bestimmt.According to the invention, distances to one or more objects are determined on the basis of the at least two generated partial images with a different focus.

Erfindungsgemäß ist die Mikrolinsen-Anordnung derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung angeordnet, dass die vom Abbildungssystem auf die sensitive Fläche des Bildaufnahmeelements projizierte elektromagnetische Strahlung mittels des Bildaufnahmeelements richtungsselektiv erfasst wird, so dass aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder mit abweichender Fokussierung generierbar sind, insbesondere wenigstens zwei einzelne auf unterschiedliche Objektentfernungen fokussierte (bildscharfe) Bilder der Fahrzeugumgebung.According to the invention, the microlens arrangement is designed and arranged in the beam path of the electromagnetic radiation in such a way that the electromagnetic radiation projected by the imaging system onto the sensitive surface of the image recording element is recorded in a direction-selective manner by means of the image recording element, so that at least two partial images with deviating Focusing can be generated, in particular at least two individual (image-sharp) images of the vehicle environment that are focused on different object distances.

Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Kamerasystems umfasst dieses Bildverarbeitungseinrichtungen oder ist mit Bildverarbeitungseinrichtungen verbunden, die ausgebildet sind, zur Generierung der wenigstens zwei Teilbilder aus mittels des Kamerasystems erfassten Bildern und/oder zur Bestimmung von Objektentfernungen aus den generierten Teilbildern.According to a further preferred embodiment of the camera system according to the invention, it comprises image processing devices or is connected to image processing devices that are designed to generate the at least two partial images from images captured by the camera system and / or to determine object distances from the generated partial images.

Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems ist dieses derart ausgebildet, insbesondere die Bildverarbeitungseinrichtungen, dass aus einem mittels des Kamerasystems erfassten Bild schrittweise Teilbilder mit abweichender Fokussierung generiert werden, bis ein Objekt, zu dem eine Entfernung bestimmt werden soll, in einem der Teilbilder bildscharf abgebildet ist. Hierbei kann insbesondere dasjenige Teilbild ermittelt werden, in dem die höchste Bildschärfe des Objektes gegenüber den restlichen generierten Teilbildern erreicht wird. Unter der schrittweisen Generierung der Teilbilder abweichender Fokussierung ist dabei insbesondere eine sukzessive Generierung von Teilbildern aus einem mittels des Kamerasystems erfassten Bild zu verstehen, wobei dasjenige Teilbild gesucht wird, in dem ein Objekt, zu dem eine Entfernung bestimmt werden soll, bildscharf abgebildet ist bzw. in dem das Objekt die höchste Bildschärfe aufweist. Dieses entspricht insbesondere dem Prinzip des DFF, wobei zur Generierung der Teilbilder mit abweichender Fokussierung keine mechanische Verstellung von optischen Einrichtungen erforderlich ist. Die Generierung der Teilbilder mit abweichender Fokussierung erfolgt vorzugsweise allein mittels Bildverarbeitung. Jedem einzelnen Teilbild, d.h. jedem Teilbild mit unterschiedlicher Fokussierung, kann nun eine (virtuelle) Fokusebene zugeordnet werden, insbesondere unter Verwendung bekannter Zusammenhänge, welcher wiederum eine Objektebene bekannter Brennweite zugeordnet werden kann. Dabei kann jedem generierten Teilbild, d.h. jedem generierten Teilbild mit unterschiedlicher Fokussierung, eine Fokusebene im Bildraum bzw. auf der Bildseite des Abbildungssystems zugeordnet sein. Ist bekannt, bei welchem Teilbild die höchste Bildschärfe des Objekts, zu dem eine Entfernung bestimmt werden soll, erreicht wird, kann über Abbildungsgleichungen bzw. mittels Linsengleichung die Entfernung zum Objekt berechnet werden. Hierdurch kann die Bestimmung der Objektentfernung schnell und zuverlässig erfolgen. Es müssen insbesondere keine Ungenauigkeiten aufgrund von Umwelteinflüssen sowie eine Fahrzeugeigenbewegung zwischen der Aufnahme zweier Bilder antizipiert werden.According to an advantageous embodiment of the camera system according to the invention, it is designed in such a way, in particular the image processing devices, that partial images with deviating focussing are gradually generated from an image captured by the camera system until an object to which a distance is to be determined is imaged sharply in one of the partial images is. In particular, that partial image can be determined in which the highest image sharpness of the object compared to the remaining generated partial images is achieved. The step-by-step generation of the partial images with deviating focus is to be understood in particular as the successive generation of partial images from an image captured by means of the camera system, the partial image being sought in which an object to which a distance is to be determined is or is sharply depicted. in which the object has the highest sharpness. This corresponds in particular to the principle of the DFF, whereby no mechanical adjustment of optical devices is required to generate the partial images with deviating focussing. The partial images with a different focus are preferably generated solely by means of image processing. A (virtual) focus plane can now be assigned to each individual partial image, i.e. each partial image with different focussing, in particular using known relationships, which in turn can be assigned an object plane of known focal length. A focal plane in the image space or on the image side of the imaging system can be assigned to each generated partial image, i.e. each generated partial image with different focussing. If it is known in which partial image the highest image sharpness of the object to which a distance is to be determined is achieved, the distance to the object can be calculated using imaging equations or lens equations. This enables the object distance to be determined quickly and reliably. In particular, there is no need to anticipate any inaccuracies due to environmental influences or a vehicle's own movement between the recording of two images.

Gemäß einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems ist dieses derart ausgebildet, insbesondere die Bildverarbeitungseinrichtungen, dass aus dem Vergleich der Unschärfe eines Objektes in den wenigstens zwei Teilbildern mit abweichender Fokussierung die Entfernung zu einem Objekt (Objektentfernung) berechnet wird. Bei dem Vergleich kann es sich beispielsweise um die Bestimmung der Differenz der Unschärfe eines Objektes in den wenigstens zwei Teilbildern handeln. Dies entspricht im Wesentlichen dem Ansatz des DFD. Es können insbesondere zwei Teilbilder aus einem mittels des Kamerasystems erfassten Bild generiert werden, wobei ein Objekt, von dem eine Objektentfernungen bestimmt werden soll, in einem der Bilder positiv de-fokussiert abgebildet ist und im anderen Bild negativ de-fokussiert. Positiv und negativ de-fokussiert meint insbesondere, dass eine bildscharfe Abbildung des Objektes erreicht würde, bei einer Fokuseinstellung zwischen den Fokuseinstellungen der beiden Teilbilder. Ein wesentlicher Vorteil dieser Ausgestaltung des erfindungsgemäßen Kamerasystems ist wie bei der bereits vorangehend beschrieben Ausgestaltung die Tatsache, dass gegenüber der Verwendung des DFD Ansatzes in Verbindung mit bekannten Kamerasystemen, für die Generierung der Teilbilder keine mechanische Verstellung von optischen Einrichtungen des Kamerasystems erfolgen muss. Die Generierung der Teilbilder erfolgt insbesondere aus einem einzelnen mittels des erfindungsgemäßen Kamerasystems erfassten Bild. Hierdurch kann die Bestimmung der Objektentfernung schnell und zuverlässig erfolgen. Es müssen insbesondere keine Ungenauigkeiten aufgrund von Umwelteinflüssen sowie keine Fahrzeugeigenbewegungen zwischen der Aufnahme zweier Bilder antizipiert werden.According to a further advantageous embodiment of the camera system according to the invention, it is designed in such a way, in particular the image processing devices, that the distance to an object (object distance) is calculated from the comparison of the blurring of an object in the at least two partial images with different focusing. The comparison can be, for example, determining the difference in the blurring of an object in the at least two partial images. This essentially corresponds to the approach of the DFD. In particular, two partial images can be generated from an image captured by means of the camera system, an object from which an object distance is to be determined, is shown in one of the images in a positive defocused manner and in the other image in a negative defocused manner. Positive and negative de-focused means, in particular, that an image-sharp image of the object would be achieved with a focus setting between the focus settings of the two partial images. A significant advantage of this embodiment of the camera system according to the invention is, as in the embodiment already described above, the fact that, compared to the use of the DFD approach in connection with known camera systems, no mechanical adjustment of optical devices of the camera system has to be carried out to generate the partial images. The partial images are generated in particular from a single image captured by means of the camera system according to the invention. This enables the object distance to be determined quickly and reliably. In particular, there is no need to anticipate any inaccuracies due to environmental influences and no vehicle movements between the recording of two images.

Gemäß einer besonderen Ausgestaltung des erfindungsgemäßen Kamerasystems ist die Mikrolinsenanordnung nur in einem bestimmten Teilbereich des Querschnitts des Strahlengangs der, insbesondere der vom Abbildungssystem auf das Bildaufnahmeelement projizierten, elektromagnetischen Strahlung und/oder nur vor einem bestimmten Teilbereich der sensitiven Fläche des Bildaufnahmeelements angeordnet, so dass nur der bestimmte Teilbereich der sensitiven Fläche des Bildaufnahmeelements als Lichtfeldkamera ausgebildet ist. Bei dieser Ausgestaltung des erfindungsgemäßen Kamerasystems wird vorzugsweise nur mittels des bestimmten Teilbereichs der sensitiven Fläche des Bildaufnahmeelements elektromagnetische Strahlung richtungsselektiv erfasst. Ein Vorteil dieser Ausgestaltung besteht im Wesentlichen darin, dass nur für den bestimmten Teilbereich des Bildaufnahmeelements das Auflösungsvermögen reduziert und der restliche Bereich der sensitiven Fläche des Bildaufnahmeelements weiterhin bei maximaler Auflösung betrieben werden kann.According to a special embodiment of the camera system according to the invention, the microlens arrangement is only arranged in a certain sub-area of the cross-section of the beam path of the electromagnetic radiation projected by the imaging system onto the image recording element and / or only in front of a certain sub-area of the sensitive surface of the image recording element, so that only the specific sub-area of the sensitive surface of the image recording element is designed as a light field camera. In this embodiment of the camera system according to the invention, electromagnetic radiation is preferably detected in a directionally selective manner only by means of the specific partial area of the sensitive surface of the image recording element. An advantage of this embodiment is essentially that the resolution is reduced only for the specific partial area of the image pickup element and the remaining area of the sensitive area of the image pickup element can continue to be operated at maximum resolution.

Das erfindungsgemäße Verfahren dient bevorzugt zum Betrieb eines Kamerasystems, das in einem Fahrzeug angeordnet und als Lichtfeldkamera ausgebildet ist. Bei dem Kamerasystem handelt es sich insbesondere um ein Kamerasystem, das nach einer der vorangehend beschriebenen Ausgestaltungen ausgebildet ist. Im Rahmen des erfindungsgemäßen Verfahrens werden vorzugsweise mittels Bildverarbeitungseinrichtungen aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder generiert und mittels der Teilbilder Objektentfernungen bestimmt.The method according to the invention is preferably used to operate a camera system which is arranged in a vehicle and designed as a light field camera. The camera system is, in particular, a camera system that is designed according to one of the configurations described above. Within the scope of the method according to the invention, at least two partial images are preferably generated by means of image processing devices from an image captured by means of the camera system and object distances are determined by means of the partial images.

Gemäß einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens werden aus einem mittels des Kamerasystems erfassten Bild, der vom Kamerasystem beobachteten Szene, beispielsweise des in Fahrtrichtung vorausliegenden Fahrzeugumfeldes, wenigstens zwei Teilbilder mit abweichender Fokussierung generiert.According to a preferred embodiment of the method according to the invention, at least two partial images with different focusing are generated from an image captured by the camera system of the scene observed by the camera system, for example of the vehicle surroundings ahead in the direction of travel.

Gemäß einer weiteren bevorzugten Ausführung des erfindungsgemäßen Verfahrens erfolgt die Objektbestimmung derart, dass aus einem mittels des Kamerasystems erfassten Bild schrittweise Teilbilder mit abweichender Fokussierung generiert werden, bis ein Objekt, insbesondere ein Objekt zu dem eine Entfernung (Objektentfernung) bestimmt werden soll, in einem der Teilbilder bildscharf abgebildet ist. Hierbei kann insbesondere dasjenige Teilbild ermittelt werden, in dem die höchste Bildschärfe des Objektes gegenüber den restlichen generierten Teilbildern erreicht wird. Dabei kann jedem generierten Teilbild, d.h. jedem generierten Teilbild mit unterschiedlicher Fokussierung, eine Fokusebene im Bildraum bzw. auf der Bildseite des Abbildungssystems zugeordnet sein. Ist bekannt, bei welchem Teilbild die höchste Bildschärfe des Objekts, zu dem eine Entfernung bestimmt werde soll, erreicht wird, kann über Abbildungsgleichungen bzw. mittels Linsengleichung die Entfernung zum Objektberechnet werden.According to a further preferred embodiment of the method according to the invention, the object is determined in such a way that partial images with a different focus are gradually generated from an image captured by the camera system until an object, in particular an object to which a distance (object distance) is to be determined, in one of the Partial images is shown in sharp focus. In particular, that partial image can be determined in which the highest image sharpness of the object compared to the remaining generated partial images is achieved. A focal plane in the image space or on the image side of the imaging system can be assigned to each generated partial image, i.e. each generated partial image with different focussing. If it is known in which partial image the highest image sharpness of the object to which a distance is to be determined is achieved, the distance to the object can be calculated using imaging equations or lens equations.

Gemäß einer besonderen Ausführung des erfindungsgemäßen Verfahrens erfolgt die Bestimmung von Objektentfernungen derart, dass aus einem Vergleich der Unschärfe eines Objektes in den wenigstens zwei Teilbildern, insbesondere eines Objektes zu dem eine Entfernung (Objektentfernung) bestimmt werden soll, die Entfernung zu dem Objekt berechnet wird. Bei dem Vergleich handelt es sich beispielsweise um die Bestimmung der Differenz der Unschärfe eines Objektes in den wenigstens zwei Teilbildern.According to a particular embodiment of the method according to the invention, object distances are determined in such a way that the distance to the object is calculated from a comparison of the blurring of an object in the at least two partial images, in particular of an object to which a distance (object distance) is to be determined. The comparison involves, for example, determining the difference in the blurring of an object in the at least two partial images.

Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert.Further advantages and optional configurations emerge from the description and the drawings. Exemplary embodiments are shown in simplified form in the drawings and explained in more detail in the description below.

Es zeigt

1: eine erste Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die in der Fokusebene (Brennebene) des Abbildungssystems des Kamerasystems angeordnet ist und bei der die Mikrolinsen-Anordnung weiterhin im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements entfernt angeordnet ist.
2: eine zweite Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die nicht in der Fokusebene des Abbildungssystems des Kamerasystems angeordnet ist und bei der die Mikrolinsen-Anordnung nicht notwendigerweise im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements entfernt angeordnet ist.
3: eine dritte Ausgestaltung des erfindungsgemäßen Kamerasystems mit einer Mikrolinsen-Anordnung, die nur vor einem Teilbereich des Bildaufnahmeelements des Kamerasystems angeordnet ist.
4: eine schematische Darstellung des Funktionsprinzips des erfindungsgemäßen Kamerasystems bzw. einer als Lichtfeldkamera ausgebildeten Fahrzeugkamera.

It shows

1 : a first embodiment of the camera system according to the invention with a microlens arrangement which is arranged in the focal plane (focal plane) of the imaging system of the camera system and in which the microlens arrangement is further arranged at a distance of a microlens focal length from the sensitive surface of the image pickup element.
2 : a second embodiment of the camera system according to the invention with a microlens arrangement that is not in the The focal plane of the imaging system of the camera system is arranged and in which the microlens arrangement is not necessarily arranged at a distance of a microlens focal length from the sensitive surface of the image pickup element.
3 : a third embodiment of the camera system according to the invention with a microlens arrangement which is arranged only in front of a partial area of the image recording element of the camera system.
4th : a schematic representation of the functional principle of the camera system according to the invention or a vehicle camera designed as a light field camera.

1 zeigt eine schematische Darstellung einer ersten vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems. Das Kamerasystem ist dabei hinter der Windschutzscheibe 1 eines Fahrzeugs angeordnet, mit Blickrichtung bzw. Erfassungswinkel 2 durch die Windschutzscheibe 1 hindurch, beispielsweise in Fahrtrichtung des Fahrzeugs. Das Kamerasystem umfasst ein Abbildungssystem 3, in diesem Fall ein Objektiv, in dem eine oder mehrere Linsen angeordnet sein können, sowie ein Bildaufnahmeelement 4, das auf einer ersten Leiterplatte 5 angeordnet ist. Das Kamerasystem umfasst weiterhin eine zweite Leiterplatte 6, die elektrisch mit der ersten Leiterplatte 5 verbunden ist und auf der beispielsweise Bildverarbeitungseinrichtungen angeordnet sein können. Das Abbildungssystem 3 dient zur Projektion von elektromagnetischer Strahlung 7 auf eine für elektromagnetische Strahlung sensitive Fläche des Bildaufnahmeelements 4. Im vorliegenden Beispiel ist das Abbildungssystem 3 bzw. das Kamerasystem auf einen in Fahrtrichtung des Fahrzeugs vorausliegenden Fernbereich fokussiert, beispielsweise auf eine Entfernung von 2 m, 5 m oder 10 m. Das Abbildungssystem 3 kann auch auf quasi unendlich fokussiert sein, d.h. auf Objektentfernungen z.B. größer als 2 m, 5 m oder 10 m. Hierdurch können mittels des Kamerasystems eine oder mehrere Fahrerassistenzfunktionen umgesetzt werden, beispielsweise eine Objekterkennung (z.B. von Verkehrszeichen, Hindernissen, Fahrspurmarkierungen, Folgeobjekten) . 1 shows a schematic representation of a first advantageous embodiment of the camera system according to the invention. The camera system is behind the windshield 1 of a vehicle arranged with the viewing direction or detection angle 2 through the windshield 1 through it, for example in the direction of travel of the vehicle. The camera system includes an imaging system 3 , in this case an objective in which one or more lenses can be arranged, as well as an image pickup element 4th that is on a first printed circuit board 5 is arranged. The camera system also includes a second circuit board 6th that electrically connect to the first circuit board 5 is connected and can be arranged on the image processing devices, for example. The imaging system 3 serves to project electromagnetic radiation 7th on a surface of the image pickup element that is sensitive to electromagnetic radiation 4th . In this example, the imaging system is 3 or the camera system focuses on a distant area lying ahead in the direction of travel of the vehicle, for example at a distance of 2 m, 5 m or 10 m 3 can also be focused on quasi infinite, i.e. on object distances e.g. greater than 2 m, 5 m or 10 m. This allows one or more driver assistance functions to be implemented by means of the camera system, e.g. object recognition (e.g. of traffic signs, obstacles, lane markings, following objects).

Das Kamerasystem aus 1 ist erfindungsgemäß zur Bestimmung von Objektentfernungen ausgebildet. Hierzu umfasst das Kamerasystem eine Mikrolinsen-Anordnung 8, welche derart ausgebildet und im Strahlengang der vom Abbildungssystem 3 projizierten elektromagnetischen Strahlung 7 angeordnet ist, dass das Kamerasystem als Lichtfeldkamera ausgebildet ist. Die Mikrolinsen-Anordnung 8 ist im vorliegenden Beispiel als Linsengitter mit einer Vielzahl matrixförmig angeordneter Mikrolinsen ausgebildet, d.h. mit einer Vielzahl in Spalten und Zeilen bzw. gitterförmig nebeneinander angeordneten Mikrolinsen. Die Mikrolinsen-Anordnung 8 dient zur Umsetzung des einleitend beschriebenen und aus dem Stand der Technik bekannten Prinzips der Lichtfeldkamera. Jeder Mikrolinse der Mikrolinsen-Anordnung 8 ist dabei bevorzugt ein bestimmter Bereich der sensitiven Fläche des Bildaufnahmeelements 4 zugeordnet, d.h. jede Mikrolinse projiziert elektromagnetische Strahlung 7 auf eine definierte Anzahl an lichtempfindlichen Zellen des Bildaufnahmeelements 4. Die Mikrolinsen-Anordnung 8 ist weiterhin vorzugsweise derart zwischen dem Abbildungssystem 3 und dem Bildaufnahmeelement 4 angeordneten, dass sich die Bereiche, welche den einzelnen Mikrolinsen zugeordnet sind, nicht überlappen, gleichzeitig aber möglichst groß ausfallen.The camera system off 1 is designed according to the invention to determine object distances. For this purpose, the camera system includes a microlens arrangement 8th , which are so designed and in the beam path of the imaging system 3 projected electromagnetic radiation 7th is arranged that the camera system is designed as a light field camera. The microlens array 8th In the present example, it is designed as a lens grid with a multiplicity of microlenses arranged in a matrix-like manner, ie with a multiplicity of microlenses arranged in columns and rows or in a grid-like arrangement next to one another. The microlens array 8th serves to implement the principle of the light field camera described in the introduction and known from the prior art. Each microlens of the microlens array 8th a specific area of the sensitive surface of the image pickup element is preferred 4th assigned, that is, each microlens projects electromagnetic radiation 7th on a defined number of light-sensitive cells of the image recording element 4th . The microlens array 8th is furthermore preferably such between the imaging system 3 and the image pickup element 4th arranged so that the areas that are assigned to the individual microlenses do not overlap, but at the same time turn out to be as large as possible.

In Ausgestaltung gemäß 1 ist die Mikrolinsen-Anordnung 8 in der Fokusebene bzw. in der (hinteren) Bildebene des Abbildungssystems 3 angeordnet, d.h. in der Brennebene, in der mittels des Abbildungssystems 3 eine bildscharfe Abbildung des Fernbereichs bzw. der beobachteten Szene erzeugt wird. Weiterhin befindet sich die Mikrolinsen-Anordnung 8 im Abstand einer Mikrolinsen Brennweite von der sensitiven Fläche des Bildaufnahmeelements 4, d.h. die sensitive Fläche des Bildaufnahmeelements 4 befindet sich in der Ebene, welche durch die Brennpunkte der Mikrolinsen aufgespannt wird. Dabei wird jeder Bildpunkt der bildscharfen Abbildung der beobachtete Szene, d.h. in diesem Fall des Bereichs des Fahrzeugumfelds, auf den das Abbildungssystem 3 (und damit das Kamerasystem) fokussiert ist, von der Mikrolinsen-Anordnung 8 nochmals gebrochen und zu einem Kegel erweitert, welcher dann insbesondere kreisförmig auf das Bildaufnahmeelement 4 bzw. dessen sensitive Fläche trifft. Hierdurch kann mittels des Bildaufnahmeelements 4 neben der Intensität und Position auch die Richtung, aus welcher die elektromagnetische Strahlung 7 in das Kamerasystems einfällt, und damit das sogenannte 4-D-Lichtfeld der beobachteten Szene erfasst werden. Mittels geeigneter Bildverarbeitungseinrichtungen bzw. Bildverarbeitungsalgorithmen können aus einem so erfassten Bild, einer beobachteten Szene, eine Vielzahl an einzelnen Bildern mit Versatz generiert werden, d.h. separierte Bilder, welche die beobachtete Szene aus unterschiedlichen Betrachtungswinkel abbilden. Aus den so separierten Bildern, dessen größtmögliche Anzahl durch die Anzahl an Pixeln unter jeder Mikrolinse begrenzt ist, können weiterhin durch geeignetes Aufsummieren bzw. Zusammenrechnen der separierten Bilder, eine Vielzahl an Teilbildern mit abweichender Fokussierung erzeugt werden, d.h. Teilbilder, die auf eine unterschiedliche Objektentfernung fokussiert sind. Teilbilder mit abweichender Fokussierung können alternativ auch durch Rechenmethoden im reziproken Bildraum (Fourier-Raum) erstellt werden.In accordance with 1 is the microlens array 8th in the focal plane or in the (rear) image plane of the imaging system 3 arranged, ie in the focal plane in which by means of the imaging system 3 a sharp image of the far area or the observed scene is generated. The microlens array is also located 8th at a distance of a microlens focal length from the sensitive surface of the image pickup element 4th , ie the sensitive area of the image pickup element 4th is located in the plane that is spanned by the focal points of the microlenses. In this case, each pixel of the image-sharp image of the observed scene, that is to say in this case of the area of the vehicle surroundings onto which the imaging system is located 3 (and thus the camera system) is focused by the microlens array 8th broken again and expanded to a cone, which is then in particular circular on the image recording element 4th or its sensitive surface. As a result, by means of the image recording element 4th In addition to the intensity and position, also the direction from which the electromagnetic radiation is coming 7th falls into the camera system, and thus the so-called 4-D light field of the observed scene can be recorded. Using suitable image processing devices or image processing algorithms, a large number of individual images with an offset can be generated from an image captured in this way, an observed scene, ie separated images which depict the observed scene from different viewing angles. From the images separated in this way, the largest possible number of which is limited by the number of pixels under each microlens, a large number of partial images with different focussing can also be generated by appropriately adding or adding up the separated images, i.e. partial images that are at a different object distance are focused. Partial images with a different focus can alternatively also be created using computational methods in reciprocal image space (Fourier space).

2 zeigt eine schematische Darstellung einer zweiten vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems. Das Kamerasystem aus 2 ist dabei in weiten Teilen entsprechend der Beschreibung zu 1 ausgebildet. Im Gegensatz zu 1 ist in 2 die Mikrolinsen-Anordnung 8 nicht in der Fokusebene bzw. Brennebene des Abbildungssystems 3 angeordnet. Die Mikrolinsen-Anordnung 8 ist senkrecht zur optischen Achse 11 des Abbildungssystems 3 angeordnet, wobei die ersten Brennpunkte der einzelnen Mikrolinsen beispielsweise in der Brennebene des Abbildungssystems 3 liegen könnten. Das Bildaufnahmeelement 4 ist gemäß 2 ebenfalls senkrecht zur optischen Achse 11 des Abbildungssystems 3 in einer beliebigen Ebene hinter der Mikrolinsen-Anordnung angeordnet. Das Bildaufnahmeelement 4 kann dabei beispielsweise auch in der Ebene angeordnet sein, die durch die zweiten Brennpunkte der einzelnen Mikrolinsen aufgespannt wird. 2 shows a schematic representation of a second advantageous embodiment of the camera system according to the invention. The camera system off 2 is to a large extent in accordance with the description 1 educated. In contrast to 1 is in 2 the microlens array 8th not in the focal plane or focal plane of the imaging system 3 arranged. The microlens array 8th is perpendicular to the optical axis 11th of the imaging system 3 arranged, the first focal points of the individual microlenses, for example, in the focal plane of the imaging system 3 could lie. The image pickup element 4th is according to 2 also perpendicular to the optical axis 11th of the imaging system 3 arranged in any plane behind the microlens array. The image pickup element 4th can for example also be arranged in the plane that is spanned by the second focal points of the individual microlenses.

3 zeigt eine schematische Darstellung einer dritten vorteilhaften Ausgestaltung des erfindungsgemäßen Kamerasystems. Das Kamerasystem aus 3 ist dabei in weiten Teilen entsprechend der Beschreibung zu 1 und 2 ausgebildet. Im Gegensatz zu 1 und 2 ist die Mikrolinsen-Anordnung 8 im Kamerasystem gemäß 3 nur vor einem bestimmten Teilbereich 10 der sensitiven Fläche des Bildaufnahmeelements 4 angeordnet, so dass nur der bestimmte Teilbereich 10 der sensitiven Fläche des Bildaufnahmeelements 4 zur Erfassung von Bildern nach dem Prinzip der Lichtfeldkamera genutzt werden kann. Die Mikrolinsen-Anordnung 8 ist weiterhin nur in einem bestimmten Bereich des Querschnitts, der mittels des Abbildungssystems 3 projizierten elektromagnetischen Strahlung 7, angeordnet. Bei einer Ausgestaltung des erfindungsgemäßen Kamerasystems entsprechend 3 wird das Prinzip der Lichtfeldkamera somit nur partiell angewendet, wodurch die Auflösung nicht im kompletten Bereich des Bildaufnahmeelements 4 reduziert wird. Das Bildaufnahmeelement 4 bzw. dessen sensitive Fläche wird vielmehr in zwei Bereiche aufgeteilt. Ein Bereich 10 des Bildaufnahmeelements 4 ist als Lichtfeldkamera ausgelegt und in diesem Bereich 10 können nach dem Prinzip der Lichtfeldkamera Teilbilder mit abweichender Fokussierung generiert und aus diesen Objektentfernungen bestimmt werden. Der andere Bereich des Bildaufnahmeelements 4 ist als „normale“ Kamera ausgestaltet. Die beobachtete Szene kann dabei auch über den gesamten Bereich des Bildaufnahmeelements 4 abgebildet werden, im Lichtfeldkamera-Bereich 10 allerdings nur in reduzierter Auflösung. 3 shows a schematic representation of a third advantageous embodiment of the camera system according to the invention. The camera system off 3 is to a large extent in accordance with the description 1 and 2 educated. In contrast to 1 and 2 is the microlens array 8th in the camera system according to 3 only in front of a certain sub-area 10 the sensitive area of the image pickup element 4th arranged so that only the specific sub-area 10 the sensitive area of the image pickup element 4th can be used to capture images based on the principle of the light field camera. The microlens array 8th is still only in a certain area of the cross-section, which is determined by means of the imaging system 3 projected electromagnetic radiation 7th , arranged. Correspondingly in one embodiment of the camera system according to the invention 3 the principle of the light field camera is thus only partially applied, which means that the resolution is not in the entire area of the image recording element 4th is reduced. The image pickup element 4th or its sensitive area is rather divided into two areas. An area 10 of the image pickup element 4th is designed as a light field camera and in this area 10 partial images with a different focus can be generated according to the principle of the light field camera and determined from these object distances. The other area of the image pickup element 4th is designed as a "normal" camera. The observed scene can also cover the entire area of the image recording element 4th can be imaged in the light field camera area 10 however only in reduced resolution.

In 4 ist das Funktionsprinzip einer Lichtfeldkamera schematisch dargestellt, insbesondere wie elektromagnetische Strahlung 7 richtungsselektiv auf einem Bildaufnahmeelement 4 erfasst wird, und wie aus einem so erfassten Bild einer beobachteten Szene, in diesem Fall mit einem abgebildeten Objekt 12, eine Vielzahl an Einzelbildern T1, T2 mit Versatz generiert werden können, d.h. insbesondere Einzelbilder T1, T2 mit unterschiedlichem Betrachtungswinkel auf das Objekt 12 bzw. allgemein auf die beobachtete Szene. Das Abbildungssystem 3 umfasst in diesem Fall zwei Linsen, eine Hauptlinse 3.1 und eine Feldlinse 3.2. Die Einzelbilder T1 und T2 können mittels geeigneter Bildverarbeitungsverfahren generiert werden, insbesondere durch Aneinanderreihung jeweils der gleichen Pixel des Bildaufnahmeelements 4 unter jeder Mikrolinse der Mikrolinsen-Anordnung 8. Durch geeignetes Aufsummieren von so erzeugten Einzelbildern T1, T2 lassen sich in einem weiteren Bildverarbeitungsschritt Teilbilder mit unterschiedlicher Fokussierung generieren, d.h. Bilder der beobachteten Szene die auf unterschiedliche Objektentfernungen fokussiert. Die hierfür erforderlichen Bildverarbeitungsalgorithmen sind prinzipiell bekannt, insbesondere aus den einleitend genannten Veröffentlichungen.In 4th the functional principle of a light field camera is shown schematically, in particular like electromagnetic radiation 7th directionally selective on an image pickup element 4th is captured, and as from an image captured in this way of an observed scene, in this case with an imaged object 12th , a multitude of individual images T1 , T2 can be generated with an offset, ie in particular individual images T1 , T2 with different viewing angles on the object 12th or generally to the observed scene. The imaging system 3 in this case comprises two lenses, one main lens 3.1 and a field lens 3.2 . The single images T1 and T2 can be generated by means of suitable image processing methods, in particular by stringing together the same pixels of the image recording element 4th under each microlens of the microlens array 8th . By appropriately adding up the individual images generated in this way T1 , T2 In a further image processing step, partial images with different focussing can be generated, ie images of the observed scene that are focused on different object distances. The image processing algorithms required for this are known in principle, in particular from the publications mentioned in the introduction.

Die 1 bis 4 zeigen jeweils nur schematisch, wie das erfindungsgemäße Kamerasystem ausgebildet sein kann. Die Darstellungen sind zur besseren Anschaulichkeit stark vereinfacht, insbesondere zur Darstellung der Funktionsweise des erfindungsgemäßen Kamerasystems nach dem Prinzip einer Lichtfeldkamera. Die Maßstäbe und Abstände der Elemente bzw. Bestandteile des Kamerasystems können von der Darstellung abweichen, insbesondere kann die Mikrolinsen-Anordnung 8 auch direkt über dem Bildaufnahmeelement 4 bzw. über dessen sensitiver Fläche angeordnet sein. Das Kamerasystem kann zudem weitere Komponenten umfassen, beispielsweise eines oder mehrere Gehäuseteile, Streulichtblenden, Mittel zur Anordnung und Befestigung hinter der Windschutzscheibe 1 sowie weitere elektronische Einrichtungen und optische Strahlformungs- und/oder Strahllenkungselemente. Das Kamerasystem kann weiterhin mit elektrischen Einrichtungen, insbesondere mit Fahrerassistenzsystemen, im Fahrzeug verbunden sein.the 1 until 4th each show only schematically how the camera system according to the invention can be designed. The representations are greatly simplified for better clarity, in particular to represent the mode of operation of the camera system according to the invention based on the principle of a light field camera. The scales and distances between the elements or components of the camera system can differ from the illustration; in particular, the microlens arrangement can 8th also directly above the image pickup element 4th or be arranged over its sensitive surface. The camera system can also include further components, for example one or more housing parts, lens hoods, means for arrangement and fastening behind the windshield 1 as well as further electronic devices and optical beam shaping and / or beam steering elements. The camera system can also be connected to electrical devices, in particular to driver assistance systems, in the vehicle.

BezugszeichenlisteList of reference symbols

11: WindschutzscheibeWindshield
22: ErfassungswinkelDetection angle
33: AbbildungssystemImaging system
3.13.1: HauptlinseMain lens
3.23.2: FeldlinseField lens
44th: BildaufnahmeelementImage pickup element
55: Erste LeiterplatteFirst circuit board
66th: Zweite LeiterplatteSecond circuit board
77th: Elektromagnetische StrahlungElectromagnetic radiation
88th: Mikrolinsen-AnordnungMicrolens array
1010: Teilbereich der sensitiven Fläche des BildaufnahmeelementsPart of the sensitive area of the image pickup element
1111th: Optische AchseOptical axis
1212th: Objektobject
T1T1: Teilbild 1Part 1
T2T2: Teilbild 2Partial image 2

Claims

Kamerasystem für ein Fahrzeug, zur Bestimmung von Objektentfernungen, umfassend - wenigstens ein Bildaufnahmeelement (4), mit einer für elektromagnetische Strahlung (7) sensitiven Fläche, und - ein Abbildungssystem (3), zur Projektion von elektromagnetischer Strahlung (7) auf die sensitive Fläche des Bildaufnahmeelements (4), wobei das Kamerasystem eine Mikrolinsen-Anordnung (8) umfasst, welche derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung (7) angeordnet ist, dass - das Kamerasystem als Lichtfeldkamera ausgebildet ist und mittels Bildverarbeitung - aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder generierbar und - mittels der Teilbilder Objektentfernungen bestimmbar sind, dadurch gekennzeichnet, dass die Mikrolinsen-Anordnung (8) derart ausgebildet und im Strahlengang der elektromagnetischen Strahlung (7) angeordnet ist, dass - die vom Abbildungssystem (3) auf die sensitive Fläche des Bildaufnahmeelements (4) projizierte elektromagnetische Strahlung (7) mittels des Bildaufnahmeelements (4) richtungsselektiv erfasst wird, so dass - aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder mit abweichender Fokussierung generierbar sind. Camera system for a vehicle, for determining object distances, comprising - at least one image recording element (4) with a surface sensitive to electromagnetic radiation (7), and - an imaging system (3) for projecting electromagnetic radiation (7) onto the sensitive surface of the image recording element (4), the camera system comprising a microlens arrangement (8) which is designed and arranged in the beam path of the electromagnetic radiation (7) such that - the camera system is designed as a light field camera and by means of image processing - from a means of the camera system captured image at least two partial images can be generated and - object distances can be determined by means of the partial images, characterized in that the microlens array (8) is designed and arranged in the beam path of the electromagnetic radiation (7) that - the imaging system (3) onto the sensitive surface of the image pickup element (4) projected electrom Magnetic radiation (7) is detected in a directionally selective manner by means of the image recording element (4), so that at least two partial images with deviating focussing can be generated from an image recorded by means of the camera system.

Kamerasystem nach Anspruch 1 umfassend Bildverarbeitungseinrichtungen, die ausgebildet sind, - zur Generierung der wenigstens zwei Teilbilder aus einem mittels des Kamerasystems erfassten Bild und - zur Bestimmung von Objektentfernungen aus den generierten Teilbildern.Camera system according to Claim 1 comprising image processing devices which are designed to generate the at least two partial images from an image captured by means of the camera system and to determine object distances from the generated partial images.

Kamerasystem nach einem der vorangegangenen Ansprüche, derart ausgebildet, dass aus einem mittels des Kamerasystems erfassten Bild schrittweise Teilbilder mit abweichender Fokussierung generiert werden, bis ein Objekt in einem der Teilbilder bildscharf abgebildet ist.Camera system according to one of the preceding claims, designed such that partial images with a different focus are generated step by step from an image captured by the camera system, until an object is imaged in sharp focus in one of the partial images.

Kamerasystem nach einem der vorangegangenen Ansprüche, derart ausgebildet, dass aus einem Vergleich der Unschärfe eines Objektes in den wenigstens zwei Teilbildern, die Entfernung zu dem Objekt berechnet wird.Camera system according to one of the preceding claims, designed such that the distance to the object is calculated from a comparison of the blurring of an object in the at least two partial images.

Kamerasystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Mikrolinsenanordnung (8) nur in einem bestimmten Teilbereich des Querschnitts des Strahlengangs der elektromagnetischen Strahlung (7), vor einem bestimmten Teilbereich (10) der sensitiven Fläche des Bildaufnahmeelements (4), angeordnet ist, so dass nur der bestimmte Teilbereich (10) der sensitiven Fläche des Bildaufnahmeelements (4) als Lichtfeldkamera ausgebildet ist und nur mittels des bestimmten Teilbereichs (10) elektromagnetische Strahlung (7) richtungsselektiv erfasst wird.Camera system according to one of the preceding claims, characterized in that the microlens arrangement (8) is only arranged in a certain sub-area of the cross-section of the beam path of the electromagnetic radiation (7), in front of a certain sub-area (10) of the sensitive surface of the image recording element (4) so that only the specific sub-area (10) of the sensitive surface of the image recording element (4) is designed as a light field camera and only the specific sub-area (10) detects electromagnetic radiation (7) in a directionally selective manner.

Verfahren zum Betrieb eines Kamerasystems, das nach einem der vorangegangenen Ansprüche ausgebildet ist, und zur Bestimmung von Objektentfernungen, dadurch gekennzeichnet, dass mittels Bildverarbeitungseinrichtungen aus einem mittels des Kamerasystems erfassten Bild einer beobachteten Szene wenigstens zwei Teilbilder generiert und mittels der Teilbilder Objektentfernungen bestimmt werden.Method for operating a camera system, which is designed according to one of the preceding claims, and for determining object distances, characterized in that at least two partial images are generated by means of image processing devices from an image of an observed scene captured by means of the camera system and object distances are determined by means of the partial images.

Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass aus einem mittels des Kamerasystems erfassten Bild wenigstens zwei Teilbilder mit abweichender Fokussierung generiert werden.Procedure according to Claim 6 , characterized in that at least two partial images with different focusing are generated from an image captured by means of the camera system.

Verfahren nach einem der Ansprüche 6 oder 7, wobei die Bestimmung von Objektentfernungen derart erfolgt, dass aus einem mittels des Kamerasystems erfassten Bild schrittweise Teilbilder mit abweichender Fokussierung generiert werden, bis ein Objekt in einem der Teilbilder bildscharf abgebildet ist.Method according to one of the Claims 6 or 7th Object distances are determined in such a way that partial images with deviating focussing are gradually generated from an image captured by means of the camera system until an object is depicted in sharp focus in one of the partial images.

Verfahren nach einem der Ansprüche 6 oder 7, wobei die Bestimmung von Objektentfernungen derart erfolgt, dass aus einem Vergleich der Unschärfe eines Objektes in den wenigstens zwei Teilbildern, die Entfernung zu dem Objekt berechnet wird.Method according to one of the Claims 6 or 7th Object distances being determined in such a way that the distance to the object is calculated from a comparison of the blurring of an object in the at least two partial images.

Fahrzeug, in dem ein Kamerasystem nach einem der Ansprüche 1 bis 5 angeordnet ist.Vehicle in which a camera system according to one of the Claims 1 until 5 is arranged.