DE102015224185B4 - Device for detecting and displaying a vehicle environment in a vehicle and vehicle with such a device - Google Patents

Abstract

Vorrichtung (1) zum Erfassen und Anzeigen einer Fahrzeugumgebung in einem Fahrzeug (5), mit zumindest einer Lichtfeldkamera (2), wobei die Lichtfeldkamera (2) ein Bild aus der Fahrzeugumgebung erfasst, und zumindest einem Lichtfeld-Display (3), welches im Innenraum des Fahrzeugs (5) angeordnet ist, wobei das von der Lichtfeldkamera (3) erfasste Bild an das Lichtfeld-Display (2) analog übertragbar ist, so dass das Bild im Innenraum des Fahrzeugs (5) mittels des Lichtfeld-Displays (3) anzeigbar ist.

Device (1) for detecting and displaying a vehicle environment in a vehicle (5), with at least one light field camera (2), wherein the light field camera (2) detects an image from the vehicle surroundings, and at least one light field display (3), which in Interior of the vehicle (5) is arranged, wherein the light field camera (3) detected image to the light field display (2) analog transferable, so that the image in the interior of the vehicle (5) by means of the light field display (3) can be displayed.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zum Erfassen und Anzeigen einer Fahrzeugumgebung in einem Fahrzeug. Ferner betrifft die Erfindung ein Fahrzeug mit einer solchen Vorrichtung.The present invention relates to an apparatus for detecting and displaying a vehicle environment in a vehicle. Furthermore, the invention relates to a vehicle with such a device.

Die Darstellung der Fahrzeugumgebung im Fahrzeuginnenraum stellt heutzutage eine wichtige Unterstützung bei der Fahrzeugführung, beispielsweise beim Einparken oder bei Überholmanövern, für den Fahrer dar. Um Fahrmanöver sicher ausführen zu können, ist dabei die Darstellung des rückwärtigen Verkehrsgeschehens häufig von großer Bedeutung. Insbesondere ist es wichtig, realitätsgetreue Tiefeninformationen zu präsentieren, um dem Fahrer eine reale Einschätzung von Abständen zu erlauben.The representation of the vehicle environment in the vehicle interior nowadays represents an important support for the driver, for example when parking or overtaking maneuvers, for the driver. In order to be able to carry out driving maneuvers safely, the representation of the rear traffic is often of great importance. In particular, it is important to present realistic depth information to allow the driver a real estimate of distances.

Aus der DE 10 2011 053 999 A1 ist ein Erfassungssystem zur optischen Erfassung eines Gegenstands und/oder eines Raumbereichs bekannt. Das Erfassungssystem umfasst dabei einen Lichtfeldsensor. Die von dem Lichtfeldsensor gewonnenen Daten sind dabei auf einem 2D-Bildschirm darstellbar.From the DE 10 2011 053 999 A1 For example, a detection system for optically detecting an object and / or a space area is known. The detection system comprises a light field sensor. The data obtained by the light field sensor can be displayed on a 2D screen.

Zur Bereitstellung von Tiefeninformationen ist aus der DE 10 2014 218 027 A1 eine Vorrichtung zur Bilderfassung im Bereich eines Kraftfahrzeugs bekannt. Zur Bilderfassung wird eine Lichtfeldkamera verwendet. Die erfassten Bilddaten werden dann verarbeitet und daraus Tiefeninformationen abgeleitet, wobei lediglich 2D-Bilder zur Anzeige gebracht werden.To provide depth information is from the DE 10 2014 218 027 A1 a device for image acquisition in the field of a motor vehicle known. For image capture, a light field camera is used. The captured image data is then processed and derived therefrom depth information, with only 2D images are displayed.

Aus der DE 10 2015 202 846 A1 ist ein Fahrzeugsichtsystem mit einer Kamera, einer Anzeigeeinheit und einem Controller bekannt. Optional kann bei diesem System eine Warnanzeige verwendet werden, die als Lichtfeld-HUD (heads up display) ausgebildet sein kann.From the DE 10 2015 202 846 A1 a vehicle vision system with a camera, a display unit and a controller is known. Optionally, in this system, a warning display can be used, which can be designed as a light field HUD (heads up display).

Dreidimensionale Informationen werden heutzutage in der Regel mittels autostereoskopischen Displays unter Verwendung von Lentikularlinsen dargestellt. Weiterhin können aufgenommene Bilddaten auf rotierende Objekte oder auf eine Vielzahl von hintereinander angeordneten Flüssigkristallscheiben projiziert werden, um dem Nutzer einen Tiefeneindruck der erfassten Bilddaten zu vermitteln.Three-dimensional information is typically displayed today by means of autostereoscopic displays using lenticular lenses. Furthermore, recorded image data can be projected onto rotating objects or onto a multiplicity of liquid crystal disks arranged one behind the other in order to convey to the user a depth impression of the acquired image data.

Autostereoskopische Displays haben den Nachteil, dass die Linse des Auges des Betrachters nicht auf die wahrgenommene Tiefe eines dargestellten Objekts eingestellt werden kann. Vielmehr muss das Auge auf die Entfernung des Displays scharfgestellt werden. Für die Verwendung in einem Fahrzeug ist zudem ein Trackingsystem notwendig, welches die Kopfposition des Betrachters ermittelt, so dass für die momentane Sicht des Betrachters ein korrektes 3D-Bild erzeugt wird. Dies wiederum führt zu hohen Kosten und einem großen Bauraumbedarf. Auch die Anordnung von rotierenden Objekten oder von Flüssigkristallscheiben führt zu einem erhöhten Platzbedarf im Fahrzeug sowie zu hohen Kosten.Autostereoscopic displays have the disadvantage that the lens of the eye of the observer can not be adjusted to the perceived depth of a displayed object. Rather, the eye must be focused on the distance of the display. For use in a vehicle also a tracking system is necessary, which determines the head position of the observer, so that for the current view of the observer, a correct 3D image is generated. This in turn leads to high costs and a large space requirement. The arrangement of rotating objects or liquid crystal panels leads to an increased space requirement in the vehicle and at high costs.

Es ist die Aufgabe der vorliegenden Erfindung, eine Vorrichtung der eingangs genannten Art bereitzustellen, mittels welcher dem Fahrer eine realitätsgetreue Tiefendarstellung der Fahrzeugumgebung innerhalb eines Fahrzeugs ermöglicht wird, wobei der Fahrer auf unterschiedliche Tiefenebenen des dargestellten Bildes fokussieren kann.It is the object of the present invention to provide a device of the aforementioned type, by means of which the driver a realistic depth representation of the vehicle environment is made possible within a vehicle, the driver can focus on different depth levels of the displayed image.

Diese Aufgabe wird erfindungsgemäß durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Aus- und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.This object is achieved by a device having the features of claim 1. Advantageous training and further developments emerge from the dependent claims.

Die erfindungsgemäße Vorrichtung umfasst zumindest eine Lichtfeldkamera, wobei die Lichtfeldkamera ein Bild aus der Fahrzeugumgebung erfasst. Ferner umfasst die Vorrichtung zumindest ein Lichtfeld-Display, welches im Innenraum des Fahrzeugs angeordnet ist, wobei das von der Lichtfeldkamera erfasste Bild an das Lichtfeld-Display analog übertragbar ist, so dass das Bild im Innenraum des Fahrzeugs mittels des Lichtfeld-Displays anzeigbar ist.The device according to the invention comprises at least one light field camera, wherein the light field camera captures an image from the vehicle environment. Furthermore, the device comprises at least one light field display, which is arranged in the interior of the vehicle, wherein the captured by the light field camera image to the light field display is analog transferable, so that the image in the interior of the vehicle by means of the light field display can be displayed.

Eine Lichtfeldkamera, auch plenoptische Kamera genannt, umfasst üblicherweise eine Hauptlinse, eine Vielzahl von Mikro-Bildsensoren und eine Vielzahl von Mikro-Linsen, wobei vor jedem Mikro-Bildsensor oder einem Zusammenschluss von Mikro-Bildsensoren eine Mikro-Linse angeordnet ist. Ein Lichtfeld beinhaltet dabei alle Lichtstrahlen innerhalb eines dreidimensionalen Raumes in jede Richtung sowie an jedem Punkt des dreidimensionalen Raumes. Diese Lichtstrahlen treffen innerhalb der Kamera auf das Array von Mikro-Linsen und werden von diesen auf die Mikro-Bildsensoren gebrochen. Das dadurch entstehende Bild ist eine Zusammensetzung aus genau so vielen Einzelbildern wie verwendeten Mikro-Linsen. Dabei sieht jede Mikro-Linse das aufgenommene Objekt oder die aufgenommene Szenerie aus einem leicht unterschiedlichen Winkel, so dass sich das Bild auf jedem Mikro-Bildsensor geringfügig von dem Bild auf einem benachbarten Mikro-Bildsensor unterscheidet.A light field camera, also called plenoptic camera, usually comprises a main lens, a plurality of micro-image sensors and a plurality of micro-lenses, wherein a micro-lens is arranged in front of each micro-image sensor or a combination of micro-image sensors. A light field contains all light rays within a three-dimensional space in every direction as well as at every point of the three-dimensional space. These rays of light strike the array of micro-lenses within the camera and are refracted by them onto the micro-image sensors. The resulting image is a composite of as many individual images as used micro-lenses. In this case, each micro-lens sees the recorded object or the recorded scene from a slightly different angle, so that the image on each micro-image sensor is slightly different from the image on an adjacent micro-image sensor.

Ein Lichtfeld-Display funktioniert nach dem umgekehrten Prinzip einer Lichtfeldkamera. Dabei umfasst das Lichtfeld-Display ein Array aus Mikro-Display-Einheiten, welche wiederum Mikro-Displays und Mikro-Linsen aufweisen. Die von den Mikro-Displays ausgesendeten Lichtstrahlen werden von den Mikro-Linsen in den Raum vor dem Display gebrochen. Dadurch entsteht eine Vielzahl von Kreuzungspunkten, an welchen sich die Lichtstrahlen der unterschiedlichen Mikro-Display-Einheiten kreuzen. Die Kreuzungspunkte können dabei übereinander, nebeneinander und in der Tiefe an definierten Punkten im Raum angeordnet sein. Die Kreuzungspunkte sind insbesondere in Ebenen angeordnet. Es entsteht ein dreidimensionaler Bildraum. Ein Lichtfeld-Display präsentiert dabei alle dargestellten Inhalte, sofern die Bildaufnahme korrekt erfolgt ist, stereoskopisch und räumlich korrekt. Zudem ermöglicht ein Lichtfeld-Display einem Betrachter vorteilhafterweise, an unterschiedliche Stellen in den Bildraum zu fokussieren. Im Unterschied hierzu muss bei einem herkömmlichen stereo-fähigen Display immer auf die 2D-Bildschirmebene fokussiert werden. Auch ein spezielle 3D-Brille wird bei der Verwendung der erfindungsgemäßen Vorrichtung nicht benötigt, um das dreidimensionale Bild betrachten zu können.A light field display works according to the reverse principle of a light field camera. In this case, the light field display comprises an array of micro-display units, which in turn have micro-displays and micro-lenses. The light rays emitted by the microdisplays are refracted by the micro lenses in the space in front of the display. This creates a multiplicity of crossing points at which the light beams of the different microdisplay units intersect. The crossing points can be superimposed, be arranged next to each other and in depth at defined points in the room. The crossing points are arranged in particular in planes. The result is a three-dimensional pictorial space. A light field display presents all displayed content, provided that the image was taken correctly, stereoscopically and spatially correct. In addition, a light-field display advantageously allows a viewer to focus at different locations in the image space. In contrast, a traditional stereo-capable display always needs to focus on the 2D screen level. A special 3D glasses is not required when using the device according to the invention in order to view the three-dimensional image can.

Durch die Verwendung einer Lichtfeldkamera in Verbindung mit einem Lichtfeld-Display werden daher vorteilhafterweise alle Nachteile eines autostereoskopischen Displays vermieden. Insbesondere wird es dem Fahrer ermöglicht, auf verschiedene Tiefenebenen zu fokussieren, daraus zusätzlich und insbesondere passend zum stereoskopischen Bildeindruck räumliche Informationen abzuleiten und dadurch einen räumlichen Eindruck des erfassten Verkehrsgeschehens zu erlangen. Zudem müssen die von der Lichtfeldkamera erfassten Bilder auch nicht derart weiterverarbeitet werden, dass sie auf einem 2D-Bildschirm anzeigbar sind. Dies nämlich bedingt einen hohen Rechenaufwand, der insbesondere sehr zeitaufwendig sein kann. Zwischen der Bildaufnahme und der Bildanzeige würde es daher zu einer erheblichen Zeitverzögerung kommen. Durch die Kombination der Lichtfeldkamera mit dem Lichtfeld-Display wird ein aufgenommenes Lichtfeld auch als Lichtfeld wiedergegeben. Aufwendige Rechenschritte, welche das Lichtfeld in 2D-Daten verwandeln müssen, können daher vorteilhafterweise entfallen.By using a light field camera in conjunction with a light field display, therefore, all the disadvantages of an autostereoscopic display are advantageously avoided. In particular, it is possible for the driver to focus on different depth levels, in addition to deduce spatial information in addition to and in particular matching the stereoscopic image impression, and thereby obtain a spatial impression of the detected traffic situation. In addition, the images captured by the light field camera also do not have to be processed in such a way that they can be displayed on a 2D screen. This requires a high computational effort, which can be very time-consuming, in particular. There would therefore be a considerable time delay between the image acquisition and the image display. By combining the light field camera with the light field display, a recorded light field is also reproduced as a light field. Elaborate computation steps, which must transform the light field into 2D data, can therefore advantageously be dispensed with.

Es können jedoch Verarbeitungsschritte integriert werden, die einer Erhöhung der Auflösung, Erhöhung eines Tiefeneindrucks, Veränderungen der Lichtintensität, Veränderungen des Farbraumes und/oder Veränderungen des Kontrasts dienen.However, processing steps can be integrated which serve to increase the resolution, increase a depth impression, changes in the light intensity, changes in the color space and / or changes in the contrast.

In einer Ausgestaltung der erfindungsgemäßen Vorrichtung ist die Lichtfeldkamera direkt mit dem Lichtfeld-Display gekoppelt, wobei die Lichtfeldkamera das erfasste Bild direkt an das Lichtfeld-Display überträgt. Direkte Kopplung bedeutet hierbei insbesondere, dass keine bildverarbeitenden Einrichtungen, wie beispielsweise Bildnachbearbeitungselektronik, zwischen der Lichtfeldkamera und dem Lichtfeld-Display angeordnet sind. Das aufgenommene Bild wird daher ohne Verarbeitung auf direktem Weg, d.h. ohne Umwege über bildverarbeitende Einrichtungen, von der Lichtfeldkamera an das Lichtfeld-Display übertragen. Zur Einschätzung einer Verkehrssituation ist es notwendig, dass das von der Lichtfeldkamera erfasste Bild im Wesentlichen in Echtzeit wiedergegeben wird, d.h. dass das Bild möglichst verzögerungsfrei nach der Erfassung an das Lichtfeld-Display weitergeleitet wird.In one embodiment of the device according to the invention, the light field camera is coupled directly to the light field display, wherein the light field camera transmits the captured image directly to the light field display. In this case, direct coupling means in particular that no image processing devices, such as, for example, post-processing electronics, are arranged between the light field camera and the light field display. The captured image is therefore processed directly without processing, i. without detours via image processing equipment, transferred from the light field camera to the light field display. To assess a traffic situation, it is necessary that the image captured by the light field camera be displayed substantially in real time, i. that the image is forwarded to the light field display as soon as possible after the acquisition.

In einer weiteren Ausgestaltung der erfindungsgemäßen Vorrichtung weist die Lichtfeldkamera eine bestimmte Anzahl von Mikro-Sensor-Einheiten auf. Ebenso weist das Lichtfeld-Display eine bestimmte Anzahl von Mikro-Display-Einheiten auf. Dabei stimmt die bestimmte Anzahl der Mikro-Sensor-Einheiten mit der bestimmten Anzahl von Mikro-Display-Einheiten überein. Eine Mikro-Sensor-Einheit der Lichtfeldkamera umfasst dabei insbesondere einen Mikro-Bildsensor sowie eine davor angeordnete Mikro-Linse. Eine Mikro-Display-Einheit des Lichtfeld-Displays umfasst insbesondere ein Mikro-Display sowie eine davor angeordnete Mikro-Linse.In a further embodiment of the device according to the invention, the light field camera has a certain number of micro-sensor units. Likewise, the light field display has a certain number of micro-display units. In this case, the specific number of micro-sensor units coincides with the specific number of micro-display units. A micro-sensor unit of the light field camera comprises in particular a micro-image sensor and a micro-lens arranged in front of it. A micro-display unit of the light-field display comprises, in particular, a micro-display and a micro-lens arranged in front of it.

Weiterhin kann jede Mikro-Sensor-Einheit eine bestimmte Anzahl von Mikro-Bildsensor-Bildpunkten und jede Mikro-Display-Einheit eine bestimmte Anzahl von Mikro-Display-Bildpunkten umfassen, wobei die bestimmte Anzahl von Mikro-Bildsensor-Bildpunkten mit der bestimmten Anzahl von Mikro-Display-Bildpunkten übereinstimmt. Zudem ist jedem Mikro-Bildsensor-Bildpunkt einem Mikro-Display-Bildpunkt zugeordnet. Dadurch wird vorteilhafterweise vermieden, dass die Bildpunkte des aufgenommenen Bildes zur richtigen Zusammensetzung seitens des Mikro-Displays einzelnen Bildpunkten in einem separaten Schritt zugeordnet werden müssen.Furthermore, each micro-sensor unit may comprise a certain number of micro-image sensor pixels and each micro-display unit may comprise a certain number of micro-display pixels, the given number of micro-image sensor pixels having the determined number of micro-display pixels Micro-display pixels. In addition, each micro-image sensor pixel is assigned to a micro-display pixel. As a result, it is advantageously avoided that the pixels of the recorded image for the correct composition on the part of the micro-display individual pixels must be assigned in a separate step.

Die Bildübertragung von der Lichtfeldkamera auf das Lichtfeld-Display ist analog ausgestaltet. Beispielsweise wird das Bild dabei bereits analog aufgenommen. Ein analoges Bildsignal kann dabei als eine Größe verstanden werden, die sich beispielsweise durch die auf den Bildsensor einfallende Helligkeit bestimmt. Zusätzlich oder alternativ kann auch die Farbe oder das Farbspektrum der einfallenden Lichtstrahlen als analoge Größe verarbeitet werden. Es werden also die auf den Bildsensor einfallenden Lichtstrahlen des Lichtfeldes direkt an das Lichtfeld-Display weitergeleitet.The image transmission from the light field camera to the light field display is designed analogously. For example, the image is already recorded analog. An analog image signal can be understood as a quantity which, for example, is determined by the brightness incident on the image sensor. Additionally or alternatively, the color or the color spectrum of the incident light rays can also be processed as an analogous quantity. Thus, the light rays of the light field incident on the image sensor are forwarded directly to the light field display.

Gemäß einer weiteren Ausgestaltung der erfindungsgemäßen Vorrichtung ist jeweils ein Mikro-Bildsensor mittels eines Lichtwellenleiters mit einem ihm zugeordneten Mikro-Display gekoppelt oder ein Mikro-Bildsensor-Bildpunkt ist mittels eines Lichtwellenleiters mit einem ihm zugeordneten Mikro-Display-Bildpunkt gekoppelt. Dies ermöglicht vorteilhafterweise die analoge Übertragung des aufgenommenen Bildes. Dabei werden die einfallenden Lichtstrahlen auf der Seite des Bildsensors in die Lichtwellenleiter eingekoppelt, durch die Lichtwellenleiter weitergeleitet und auf der Seite des Displays wieder an den Auskoppelflächen der Lichtwellenleiter ausgekoppelt. Ist jeweils ein Mikro-Bildsensor mit einem ihm zugeordneten Mikro-Display mittels eines Lichtwellenleiters verbunden, werden Lichtstrahlen je nach Einfallrichtung unter verschiedenen Einfallswinkeln an der Einkoppelfläche in den jeweiligen Lichtwellenleiter eingekoppelt. Um eine räumlich korrekte Bildwiedergabe zu erreichen, wird jeder Lichtstrahl unter einem Ausfallswinkel an der Auskoppelfläche wieder aus dem Lichtwellenleiter ausgekoppelt, der seinem Einfallswinkel an der Einkoppelfläche entspricht. Dies bedeutet, dass mehrere Lichtstrahlen gleichzeitig durch den Lichtwellenleiter geleitet werden, wobei die Lichtstrahlen geringfügig unterschiedliche Einfallswinkel und somit auch geringfügig unterschiedliche Ausfallswinkel aufweisen. Dies wird beispielsweise dadurch erreicht, dass der Lichtwellenleiter, welcher eingekoppelte Lichtstrahlen durch Totalreflexion weiterleitet, eine bestimmte Länge aufweist. Die bestimmte Länge bestimmt sich durch den Winkel der Totalreflexion, welcher durch den Brechungsindex des Materials des Lichtwellenleiters festgelegt ist. Die Abmessungen eines Mikro-Bildsensors bestimmen dabei den Durchmesser eines Lichtwellenleiters. Ist jeweils ein Mikro-Bildsensor-Bildpunkt mit einem ihm zugeordneten Mikro-Display-Bildpunkt mittels eines Lichtwellenleiters gekoppelt, weist ein Mikro-Bildsensor mehrere Lichtwellenleiter auf. Die Anzahl der Lichtwellenleiter richtet sich dabei nach der Anzahl der Mikro-Display-Bildpunkte. Auch in diesem Fall werden Lichtstrahlen unter unterschiedlichen Einfallswinkeln in die Lichtwellenleiter eingekoppelt und jeder Lichtstrahl unter einem Ausfallswinkel wieder aus dem Lichtwellenleiter ausgekoppelt, der seinem Einfallswinkel an der Einkoppelfläche entspricht.According to a further embodiment of the device according to the invention, in each case a micro-image sensor is coupled by means of an optical waveguide with a micro-display assigned to it or a micro-image sensor pixel is coupled by means of an optical waveguide to an associated micro-display pixel. This advantageously allows the analog transmission of the recorded image. In this case, the incident light beams are coupled on the side of the image sensor in the optical waveguide, forwarded by the optical waveguide and decoupled on the side of the display back to the decoupling surfaces of the optical waveguide. Is each a micro-image sensor with associated with a micro-display associated with it by means of an optical waveguide, light beams are coupled depending on the direction of arrival at different incidence angles at the coupling surface in the respective optical waveguide. In order to achieve a spatially correct image reproduction, each light beam is decoupled again from the optical waveguide at an exit angle at the decoupling surface, which corresponds to its angle of incidence at the coupling-in surface. This means that a plurality of light beams are passed simultaneously through the optical waveguide, wherein the light beams have slightly different angles of incidence and thus also slightly different angles of reflection. This is achieved, for example, by virtue of the fact that the optical waveguide, which transmits coupled-in light beams by total reflection, has a specific length. The determined length is determined by the angle of total reflection, which is determined by the refractive index of the material of the optical waveguide. The dimensions of a micro-image sensor determine the diameter of an optical waveguide. If a respective micro-image sensor pixel is coupled to a micro-display pixel assigned to it by means of an optical waveguide, a micro-image sensor has a plurality of optical waveguides. The number of optical fibers depends on the number of micro-display pixels. In this case too, light beams are coupled into the optical waveguides at different angles of incidence, and each light beam is coupled out again from the optical waveguide at an angle of reflection which corresponds to its angle of incidence at the coupling-in surface.

Diese direkte Kopplung ermöglicht dabei insbesondere eine schnelle Bildübertragung. Die Schnelligkeit der Bildübertragung richtet sich dabei nach der spezifischen Ausbreitungsgeschwindigkeit des Lichtes in dem Material des Lichtwellenleiters.This direct coupling allows in particular a fast image transmission. The speed of the image transmission depends on the specific propagation speed of the light in the material of the optical waveguide.

In einer weiteren Ausgestaltung überträgt die Lichtfeldkamera eine Abfolge aufgenommener Bilder im Wesentlichen zeitlich synchron an das Lichtfeld-Display. Dies ermöglicht vorteilhafterweise, dass von der Lichtfeldkamera kontinuierlich erfasste Bilder im Innenraum des Fahrzeugs als Film im Wesentlichen in Echtzeit, beispielsweise nach einer Zeit kleiner als 1 ms, auf dem Lichtfeld-Display angezeigt werden können. Dies ist beispielsweise dann wichtig, wenn die erfindungsgemäße Vorrichtung als Rückfahrkamera oder als Ersatz von Außenspiegeln verwendet wird. Denn in diesen Fällen muss der Fahrer auf das momentan hinter ihm ablaufende Verkehrsgeschehen sofort reagieren können, um Unfälle zu vermeiden.In a further refinement, the light field camera transmits a sequence of recorded images substantially synchronously in time to the light field display. This advantageously makes it possible that images captured continuously by the light field camera in the interior of the vehicle can be displayed on the light field display as a film substantially in real time, for example after a time less than 1 ms. This is important, for example, when the device according to the invention is used as a reversing camera or as a replacement for exterior mirrors. Because in these cases, the driver must be able to respond immediately to the current behind him running traffic to avoid accidents.

Die erfasste Fahrzeugumgebung befindet sich insbesondere hinter dem Fahrzeug, so dass die hintere Fahrzeugumgebung im Innenraum des Fahrzeugs anzeigbar ist. Hierdurch erst wird es ermöglicht, eine Rückfahrkamera bereitzustellen oder Rückspiegel des Fahrzeugs durch die erfindungsgemäße Vorrichtung zu ersetzen. Dabei können sowohl die im Außenbereich des Fahrzeugs angeordneten Seitenspiegel als auch der Rückinnenspiegel durch eine solche Vorrichtung ersetzt werden. Zusätzlich oder alternativ kann sich die Fahrzeugumgebung, die im Fahrzeuginnenraum angezeigt wird, auch vor dem Fahrzeug, beispielsweise seitlich vor dem Fahrzeug, befinden. Die Lichtfeldkamera ist dann beispielsweise in den A-Säulen des Fahrzeugs angeordnet.The detected vehicle environment is in particular behind the vehicle so that the rear vehicle environment can be displayed in the interior of the vehicle. This only makes it possible to provide a reversing camera or to replace the rearview mirror of the vehicle by the device according to the invention. In this case, both the side mirrors arranged in the outer region of the vehicle and the rear inner mirror can be replaced by such a device. Additionally or alternatively, the vehicle environment that is displayed in the vehicle interior, also in front of the vehicle, for example, laterally in front of the vehicle, are. The light field camera is then arranged, for example, in the A-pillars of the vehicle.

Die Erfindung betrifft ferner ein Fahrzeug mit der vorstehend beschriebenen erfindungsgemäßen Vorrichtung. Dadurch können Fahrerassistenzsysteme, wie beispielsweise eine Rückfahrkamera, mit einer solchen Vorrichtung betrieben werden. Dadurch wird es dem Fahrer ermöglicht, Tiefeninformationen aus dem dargestellten Bild zu entnehmen. Zur Darstellung von Tiefeninformationen bei einer herkömmlichen Rückfahrkamera werden in der Regel in einem zweidimensional angezeigten Bild perspektivische Symbole und Fahrspuren angezeigt. Dies ist bei Verwendung der erfindungsgemäßen Vorrichtung nicht mehr notwendig. Die perspektivischen Symbole und Fahrspuren können natürlich trotzdem angezeigt werden.The invention further relates to a vehicle with the device according to the invention described above. As a result, driver assistance systems, such as a reversing camera, can be operated with such a device. This allows the driver to extract depth information from the displayed image. In order to display depth information in a conventional reversing camera, perspective symbols and lanes are generally displayed in a two-dimensionally displayed image. This is no longer necessary when using the device according to the invention. The perspective symbols and lanes can of course still be displayed.

Weiterhin ist es dann auch möglich, die Außenspiegel des Fahrzeugs durch eine Kombination aus Kamera und Display zu ersetzen. Hierzu ist insbesondere an der linken und der rechten Außenseite des Fahrzeugs jeweils eine Lichtfeldkamera angeordnet. Dabei ist jede der Lichtfeldkameras rückwärtig ausgerichtet, wobei die an der linken Außenseite des Fahrzeugs angeordnete Lichtfeldkamera mit einem auf der linken Seite des Innenraums angeordneten Lichtfeld-Display und die an der rechten Außenseite des Fahrzeugs angeordnete Lichtfeldkamera mit einem auf der rechten Seite des Innenraums angeordneten Lichtfeld-Display gekoppelt ist.Furthermore, it is then also possible to replace the exterior mirrors of the vehicle by a combination of camera and display. For this purpose, a light field camera is arranged in each case in particular on the left and the right outer side of the vehicle. In this case, each of the light field cameras is rearwardly aligned, wherein arranged on the left outside of the vehicle light field camera with a arranged on the left side of the interior light field display and arranged on the right outside of the vehicle light field camera with a arranged on the right side of the interior light field Display is coupled.

Das Fahrzeug weist dann zwei erfindungsgemäße Vorrichtungen auf. Dabei ist die linke Lichtfeldkamera insbesondere an der Stelle an der linken Außenseite des Fahrzeugs angeordnet, an welcher sich normalerweise der linke Außenspiegel befindet, und die rechte Lichtfeldkamera ist insbesondere an der Stelle an der rechten Außenseite des Fahrzeugs angeordnet, an welcher sich normalerweise der rechte Außenspiegel befindet. Das erfindungsgemäße Fahrzeug weist in einem solchen Fall keine Außenspiegel mehr auf. Der Luftwiderstandsbeiwert eines Fahrzeugs trägt maßgeblich zum Kraftstoffverbrauch bei. Die physikalischen Außenspiegel des Fahrzeugs beeinflussen den Luftwiderstandsbeiwert in hohem Maße. Zwar kann die Form der Außenspiegel verändert werden, und dadurch aerodynamisch gestaltet werden. Die Mindestgröße der Spiegelfläche hingegen ist gesetzlich vorgeschrieben, so dass diese nicht einfach verringert werden kann. Die Dimensionen einer Lichtfeldkamera können deutlich geringer gewählt werden als die eines Außenspiegels. Durch die Verwendung der Lichtfeldkamera mit einer deutlich geringeren Dimension als der eines Außenspiegels kann daher der Luftwiderstandsbeiwert des Fahrzeugs und dadurch auch der Kraftstoffverbrauch deutlich verringert werden.The vehicle then has two devices according to the invention. In this case, the left field camera is arranged in particular at the location on the left outside of the vehicle, on which normally the left side mirror is located, and the right light field camera is arranged in particular at the location on the right outside of the vehicle, which is usually the right side mirror located. The vehicle according to the invention has no exterior mirrors in such a case. The drag coefficient of a vehicle contributes significantly to fuel consumption. The physical exterior mirrors of the vehicle greatly affect the drag coefficient. Although the shape of the exterior mirrors can be changed, and thereby be designed aerodynamically. The minimum size of Mirror surface, however, is required by law, so that it can not be easily reduced. The dimensions of a light field camera can be chosen significantly lower than those of an exterior mirror. By using the light field camera with a significantly smaller dimension than that of an exterior mirror, therefore, the drag coefficient of the vehicle and thereby also the fuel consumption can be significantly reduced.

Weiterhin kann die Lichtfeldkamera eine Weitwinkel-Kamera sein. Dadurch wird dann ein erheblich größerer Teil der hinteren Fahrzeugumgebung erfasst, als dies von den Außenspiegeln möglich ist. Es wird dadurch die Gefahr, dass ein überholendes Fahrzeug übersehen wird, da es sich gerade im toten Winkel eines Außenspiegels befindet, verringert.Furthermore, the light field camera can be a wide-angle camera. As a result, a significantly larger part of the rear vehicle environment is detected than is possible from the exterior mirrors. It is thereby reduced the risk that an overtaking vehicle will be overlooked because it is currently in the blind spot of an exterior mirror.

Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den beigefügten Zeichnungen erläutert.

• 1 zeigt ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung,
• 2 und 3 zeigen ein Ausführungsbeispiel einer Anordnung einer erfindungsgemäßen Vorrichtung an bzw. in einem Fahrzeug,
• 4 zeigt schematisch ein Ausführungsbeispiel einer Lichtfeldkamera der erfindungsgemäßen Vorrichtung und
• 5 und 6 zeigen schematisch ein Ausführungsbeispiel für den Aufbau und die Funktionsweise eines Lichtfeld-Displays der erfindungsgemäßen Vorrichtung.

The invention will now be explained by means of embodiments with reference to the accompanying drawings.

• 1 shows an embodiment of a device according to the invention,
• 2 and 3 show an embodiment of an arrangement of a device according to the invention on or in a vehicle,
• 4 schematically shows an embodiment of a light field camera of the device according to the invention and
• 5 and 6 schematically show an embodiment of the structure and operation of a light-field display of the device according to the invention.

Mit Bezug zu 1 wird ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 1 erläutert.In reference to 1 is an embodiment of a device according to the invention 1 explained.

Die erfindungsgemäße Vorrichtung 1 umfasst eine Lichtfeldkamera 2 und ein Lichtfeld-Display 3. Die Lichtfeldkamera 2 ist über eine Kopplungseinrichtung 4 mit dem Lichtfeld-Display 3 gekoppelt. Die Kopplungseinrichtung 4 umfasst mehrere Lichtwellenleiter 8. Mittels der Lichtwellenleiter 8 wird eine analoge Bildübertragung zwischen der Lichtfeldkamera 2 und dem Lichtfeld-Display 3 bereitgestellt.The device according to the invention 1 includes a light field camera 2 and a light field display 3 , The light field camera 2 is via a coupling device 4 with the light field display 3 coupled. The coupling device 4 includes multiple optical fibers 8th , By means of optical fibers 8th is an analog image transfer between the light field camera 2 and the light field display 3 provided.

Die Lichtfeldkamera 2 ist derart ausgerichtet, dass sie ein Bild aus der Fahrzeugumgebung aufnimmt. Die Lichtfeldkamera 2 ist insbesondere im Außenbereich des Fahrzeugs angeordnet, so dass störende Reflexionen, welche durch Lichtbrechung durch eine Fahrzeugscheibe entstehen, keine Bildfehler verursachen.The light field camera 2 is oriented so that it takes a picture of the vehicle environment. The light field camera 2 is arranged in particular in the outer region of the vehicle, so that disturbing reflections, which are caused by refraction of light through a vehicle window, do not cause any artifacts.

Wie in 2 gezeigt, ist eine Lichtfeldkamera 2 insbesondere an der Stelle im Außenbereich eines Fahrzeugs 5 angeordnet, an welcher normalerweise ein Außenspiegel des Fahrzeugs 5 angeordnet ist.As in 2 shown is a light field camera 2 especially at the location in the outer area of a vehicle 5 arranged, which is usually an outside mirror of the vehicle 5 is arranged.

Dabei ist links eine erste Lichtfeldkamera 2.1 und rechts eine zweite Lichtfeldkamera 2.2 angeordnet. Da die erfindungsgemäße Vorrichtung 1 insbesondere die Außenspiegel des Fahrzeugs 5 ersetzen soll, weist dieses keine Außenspiegel mehr auf. Eine Lichtfeldkamera 2.1 und 2.2 weist dabei deutlich geringere Dimensionen auf als ein herkömmlicher Außenspiegel. Daher ist der von der Lichtfeldkamera 2 bzw. einer Umrahmung für die Lichtfeldkamera 2 erzeugte Luftwiderstandsbeiwert deutlich geringer, als der Luftwiderstandsbeiwert eines herkömmlichen Außenspiegels.On the left is a first light field camera 2.1 and on the right a second light field camera 2.2 arranged. As the device of the invention 1 in particular the exterior mirrors of the vehicle 5 replace, this has no mirrors on. A light field camera 2.1 and 2.2 has significantly smaller dimensions than a conventional exterior mirror. Therefore, that of the light field camera 2 or a frame for the light field camera 2 drag coefficient significantly lower than the drag coefficient of a conventional exterior mirror.

Im Allgemeinen richten sich die Dimensionen der Lichtfeldkameras 2.1 und 2.2 danach, wie groß das Bild im Innenraum des Fahrzeugs 5 dargestellt werden soll. Um die Lichtfeldkameras 2.1 und 2.2 klein zu halten, die Anzeige dennoch groß auszugestalten, können beispielsweise optische Elemente, wie beispielsweise Linsen, in den Lichtfeldkameras 2.1 und 2.2 und/oder den Lichtfeld-Displays 3.1 und 3.2 angeordnet werden.In general, the dimensions of the light field cameras are directed 2.1 and 2.2 After that, how big the picture in the interior of the vehicle 5 should be displayed. To the light field cameras 2.1 and 2.2 To keep small, the display still great design, for example, optical elements, such as lenses, in the light field cameras 2.1 and 2.2 and / or the light field displays 3.1 and 3.2 to be ordered.

Die linke Lichtfeldkamera 2.1 ist rückwärtig gerichtet. Die Aufnahmerichtung LR der linken Lichtfeldkamera 2.1 ist in Fahrtrichtung links rückwärts gerichtet, so dass das Fahrgeschehen links hinter dem Fahrzeug 5 als Bild erfasst wird. Die rechte Lichtfeldkamera 2.2 ist ebenso rückwärtig gerichtet. Die Aufnahmerichtung RR der rechten Lichtfeldkamera 2.2 ist in Fahrtrichtung rechts rückwärts, so dass das Fahrgeschehen rechts hinter dem Fahrzeug 5 als Bild erfasst wird.The left light field camera 2.1 is directed backwards. The recording direction LR the left light field camera 2.1 is directed in the direction of travel left backwards, so that the driving action left behind the vehicle 5 is captured as an image. The right light field camera 2.2 is also directed backwards. The recording direction RR the right light field camera 2.2 is right in the direction of travel backwards, so that the driving action is right behind the vehicle 5 is captured as an image.

Der linken Lichtfeldkamera 2.1 ist innerhalb des Fahrzeuginnenraums ein Lichtfeld-Display 3.1 zugeordnet, welches auf der linken Seite des Fahrzeuginnenraums in der vorderen Fahrzeugtür, im vorliegenden Beispiel also in der Fahrertür, angeordnet ist, wie in 3 gezeigt ist. Das in der Fahrertür angeordnete Lichtfeld-Display 3.1 ist dabei mit der linken Lichtfeldkamera 2.1 gekoppelt. Das Verkehrsgeschehen, welches links hinter dem Fahrzeug 5 abläuft wird dem Fahrer daher mittels des Lichtfeld-Displays 3.1 in der Fahrertür angezeigt. Entsprechend ist auf der Beifahrerseite in der Beifahrertür ein zweites Lichtfeld-Display 3.2 angeordnet. Das in der Beifahrertür angeordnete Lichtfeld-Display 3.2 ist mit der rechten Lichtfeldkamera 2.2 gekoppelt. Das Verkehrsgeschehen, welches rechts hinter dem Fahrzeug 5 abläuft wird dem Fahrer daher mittels des Lichtfeld-Displays 3.2 in der Beifahrertür angezeigt. Zwar wird das von den Lichtfeld-Displays 3.1 und 3.2 angezeigte Bild nicht genau an den Stellen angezeigt, an denen der Fahrer normalerweise die Spiegelbilder von den Außenspiegeln sieht. Die Richtung, in welche der Fahrer seinen Blick richten muss, um das hintere linke bzw. rechte Verkehrsgeschehen zu beobachten, bleibt jedoch die gleiche. Dem Fahrer wird durch die Anordnung der Lichtfeld-Displays 3.1 und 3.2 an diesen Stellen daher sofort klar, welches Lichtfeld-Display 3.1 oder 3.2 das hintere linke und welches Lichtfeld-Display 3.1 oder 3.2 das hintere rechte Verkehrsgeschehen anzeigt.The left light field camera 2.1 is a light field display within the vehicle interior 3.1 assigned, which is arranged on the left side of the vehicle interior in the front vehicle door, in the present example, in the driver's door, as in 3 is shown. The light field display arranged in the driver's door 3.1 is with the left light field camera 2.1 coupled. The traffic happening, which is left behind the vehicle 5 The driver therefore runs off by means of the light field display 3.1 displayed in the driver's door. Accordingly, on the passenger side in the passenger door, a second light field display 3.2 arranged. The light field display arranged in the passenger door 3.2 is with the right light field camera 2.2 coupled. The traffic happening, which is right behind the vehicle 5 The driver therefore runs off by means of the light field display 3.2 displayed in the passenger door. Although this is the case of the light field displays 3.1 and 3.2 displayed image is not displayed exactly at the places where the driver normally sees the mirror images of the exterior mirrors. The direction in which the driver has to direct his gaze to the rear left or However, observing right-wing traffic remains the same. The driver is informed by the arrangement of the light field displays 3.1 and 3.2 At these points therefore immediately clear which light field display 3.1 or 3.2 the back left and which light field display 3.1 or 3.2 the rear right traffic indicates.

Mit Bezug zu 4 wird der Aufbau und die Funktionsweise einer Lichtfeldkamera 2 erläutert. Die Lichtfeldkamera 2 umfasst eine bestimmte Anzahl von Mikro-Sensor-Einheiten 9. Eine Mikro-Sensor-Einheit 9 umfasst dabei jeweils einen Mikro-Bildsensor 9.1 und eine vor dem Mikro-Bildsensor 9.1 angeordnete Mikro-Linse 9.2. Ein Mikro-Bildsensor 9.1 wiederum umfasst eine bestimmte Anzahl von Mikro-Bildsensor-Bildpunkten 9.3, im Folgenden als Mikro-Pixel 9.3 bezeichnet. Vor den Mikro-Linsen 9.2 befindet sich eine Hauptlinse 10, welche die von einem Lichtfeld, welches alle innerhalb eines dreidimensionalen Raumes vorhandenen Lichtstrahlen beinhaltet, ausgestrahlten Lichtstrahlen einfängt und auf die Mikro-Sensor-Einheiten 9 lenkt. Dies kann auf unterschiedliche Weise geschehen. Beispielsweise kann die Hauptlinse 10 die eingefangenen Lichtstrahlen in einer Zwischenebene fokussieren, in welcher dann ein Zwischenbild entsteht. Die von dem Zwischenbild ausgehenden Lichtstrahlen werden wiederum an den Mikro-Linsen 9.2 auf die Mikro-Bildsensoren 9.1 gebrochen. Jede Mikro-Linse 9.2 bildet also sozusagen eine Mikro-Kamera, wobei jede Mikro-Kamera das Zwischenbild aus einem leicht unterschiedlichen Blickwinkel aufnimmt. Alternativ kann die Hauptlinse 10 die Lichtstrahlen auch direkt auf die Mikro-Linsen 9.1 lenken, ohne die Bildung eines Zwischenbildes. Weiterhin kann die Hauptlinse auch weggelassen werden. Die Lichtstrahlen fallen dann direkt auf die Mikro-Linsen 9.2 und werden von diesen auf die Mikro-Pixel 9.3 verteilt.In reference to 4 becomes the structure and operation of a light field camera 2 explained. The light field camera 2 includes a certain number of micro-sensor units 9 , A micro-sensor unit 9 in each case comprises a micro-image sensor 9.1 and one in front of the micro-image sensor 9.1 arranged micro-lens 9.2 , A micro-image sensor 9.1 in turn, includes a certain number of micro-image sensor pixels 9.3 , hereinafter referred to as micro-pixels 9.3 designated. In front of the micro lenses 9.2 there is a main lens 10 , which captures the light rays emitted by a light field, which includes all light rays within a three-dimensional space, and the micro-sensor units 9 directs. This can be done in different ways. For example, the main lens 10 Focus the captured light rays in an intermediate plane, in which an intermediate image is created. The light rays emanating from the intermediate image are in turn transmitted to the micro-lenses 9.2 on the micro-image sensors 9.1 Broken. Every micro-lens 9.2 So it forms a micro-camera, where each micro-camera takes the intermediate image from a slightly different angle. Alternatively, the main lens 10 the rays of light also directly on the micro-lenses 9.1 steer without the formation of an intermediate image. Furthermore, the main lens can also be omitted. The light rays then fall directly on the micro-lenses 9.2 and become of these on the micro-pixels 9.3 distributed.

Der Aufbau und die Funktionsweise eines Lichtfeld-Displays 3 werden mit Bezug zu den 5 und 6 erläutert.The structure and operation of a light field display 3 be related to the 5 and 6 explained.

Prinzipiell sind der Aufbau und die Funktionsweise eines Lichtfeld-Displays 3 umgekehrt zu dem Aufbau und der Funktionsweise der Lichtfeldkamera 2.In principle, the structure and operation of a light field display 3 vice versa to the structure and operation of the light field camera 2 ,

Das Lichtfeld-Display 3 umfasst mehrere Mikrodisplay-Einheiten 6. Jede Mikro-Display-Einheit 6 wiederum umfasst ein Mikro-Display 6.1 und eine Mikro-Linse 6.2. Ein Mikro-Display 6.1 weist mehrere Mikro-Display-Bildpunkte 6.3 auf, im Folgenden als Mikro-Pixel 6.3 bezeichnet. Die Anordnung der Mikro-Linsen 6.2 in Spalten und Reihen bildet dabei ein sogenanntes Mikro-Linsen-Array.The light field display 3 includes several microdisplay units 6 , Each micro-display unit 6 in turn, includes a micro-display 6.1 and a micro-lens 6.2 , A micro-display 6.1 has several micro-display pixels 6.3 on, hereinafter referred to as micro-pixels 6.3 designated. The arrangement of the micro-lenses 6.2 in columns and rows forms a so-called micro-lens array.

Jedes Mikro-Pixel 6.3 sendet dabei zumindest einen Lichtstrahl 7 aus. Dabei treffen die Lichtstrahlen 7 parallel zueinander auf die Mikro-Linsen 6.2 und werden von diesen gebrochen. Die Brechung der Lichtstrahlen 7 erfolgt dabei derart, dass sie sich in der Entfernung f zur jeweiligen Mikro-Linse 6.2 treffen, im Fall des ersten Aufeinandertreffens der Lichtstrahlen 7 also dem Brennpunkt der jeweiligen Mikro-Linse 6.1. Dadurch entstehen Kreuzungspunkte K, in denen sich die Lichtstrahlen 7, die von der gleichen Mikro-Display-Einheit 6 stammen, kreuzen. Ein zweiter Kreuzungspunkt K' entsteht dort, wo sich die Lichtstrahlen 7 zweier benachbart zueinander angeordneter Mikro-Display-Einheiten 6 kreuzen. Auf gleiche Weise entsteht in dem Abstand f" (aus Gründen der Übersicht nicht mehr gezeigt) ein dritter Kreuzungspunkt K", in welchem sich die Lichtstrahlen 7 von mehreren unterschiedlichen Mikro-Display-Einheiten 6 kreuzen. In Abhängigkeit von den abgestrahlten Lichtstrahlen 7 ergeben sich entsprechend viele Kreuzungspunkte K, K', K", usw. in unterschiedlichen Entfernungen zu dem Mikro-Linsen-Array.Every micro-pixel 6.3 it sends at least one light beam 7 out. At the same time the light rays hit 7 parallel to each other on the micro lenses 6.2 and are broken by these. The refraction of the light rays 7 takes place in such a way that they are in the distance f to the respective micro-lens 6.2 in the case of the first collision of the light rays 7 So the focus of each micro-lens 6.1 , This creates crossing points K in which are the light rays 7 that of the same micro-display unit 6 come, cross. A second crossing point K ' arises where the rays of light come from 7 two adjacently arranged micro-display units 6 cross. The same way arises in the distance f " (not shown for reasons of clarity) a third crossing point K " in which the light rays are 7 of several different micro-display units 6 cross. Depending on the radiated light rays 7 there are correspondingly many crossing points K . K ' . K " , etc. at different distances to the micro-lens array.

Die Kreuzungspunkte K bilden dabei die Bildebene E. Die Kreuzungspunkte K' und K" jeweils die Bildebenen E' und E". Die Bildebenen E, E', E", usw. wiederum bilden den Bildraum, welcher für das menschliche Auge als das von der Lichtfeldkamera 2 aufgenommene Bild wahrnehmbar ist. Die Bildebenen E, E', E", usw. liegen in verschiedenen Abständen f, f', f" usw. zu dem Mikro-Linsen-Array. Dadurch entstehen in unterschiedlichen Entfernungen unterschiedliche Abbildungen, die sich gemeinsam zu einem dreidimensionalen Bild zusammensetzen. Das dreidimensionale Bild ähnelt dabei einem Hologramm. Dadurch ergibt sich ein Tiefeneindruck des erfassten Bildes. Der Fahrer kann zudem mit den Augen auf die unterschiedlichen Bildebenen E, E', E", usw. fokussieren. Es ist daher nicht mehr notwendig, dass der Fahrer trotz einer dreidimensionalen Anzeige auf ein zweidimensionales Display fokussieren muss.The crossing points K form the image plane e , The crossing points K ' and K " each the picture planes e ' and e " , The picture levels e . e ' . e " , etc., in turn, form the image space, which for the human eye than that of the light field camera 2 recorded image is perceptible. The picture levels e . e ' . e " , etc. are at different distances f . f ' . f " etc. to the micro-lens array. This results in different images at different distances, which together form a three-dimensional image. The three-dimensional image resembles a hologram. This results in a depth impression of the captured image. The driver can also look at the different image levels e . e ' . e " , etc. focus. It is therefore no longer necessary for the driver to focus on a two-dimensional display despite a three-dimensional display.

In 6 ist aus Gründen der Übersicht eine zweidimensionale Darstellung der Strahlengänge der von den Mikro-Display-Einheiten 6.1 ausgesendeten Lichtstrahlen 7 gezeigt. In Realität ist ein Lichtfeld-Display 3 jedoch aus einem Mikro-Display-Einheiten-Array aufgebaut, wie es in 5 gezeigt ist. Die Mikro-Display-Einheiten 6 sind dabei in einer Matrix aus mehreren Spalten und Zeilen angeordnet, deren Anzahl wiederum Einfluss auf die finale Auflösung des in dem Innenraum des Fahrzeugs 5 angezeigten dreidimensionalen Bildes hat. Es entstehen daher eine Vielzahl von übereinander und nebeneinander angeordneter Kreuzungspunkte K, K', K", usw. der Lichtstrahlen 7.In 6 is for reasons of clarity a two-dimensional representation of the beam paths of the micro-display units 6.1 emitted light rays 7 shown. In reality, a light field display 3 However, built from a micro-display unit array, as in 5 is shown. The micro-display units 6 are arranged in a matrix of several columns and rows, whose number in turn influence the final resolution of the interior of the vehicle 5 has displayed three-dimensional image. There are therefore a large number of crossover points arranged one above the other and next to one another K . K ' . K " , etc. of the light rays 7 ,

Auf jedem Mikro-Display 6.1 wird ein geringfügig unterschiedliches Bild angezeigt. Dadurch baut sich ein Lichtfeld vor dem Lichtfeld-Display 3 auf, welches das zuvor aufgenommene Lichtfeld wiedergibt. Dabei präsentiert ein Lichtfeld-Display 3 alle dargestellten Inhalte stereoskopisch und räumlich korrekt.On every micro-display 6.1 a slightly different image is displayed. As a result, a light field builds up in front of the light field display 3 on, which reproduces the previously recorded light field. Here presents a light field display 3 all displayed content stereoscopically and spatially correct.

Die Auflösung kann ganz einfach dadurch reduziert werden, dass mehrere Mikro-Displays 6.1 durch eine Mikro-Linse 6.2 zusammengefasst werden. Die Auflösung bestimmt sich daher maßgeblich durch die Anzahl der vorhandenen Mikro-Linsen 6.2 und die Anzahl der Mikro-Pixel 6.3 der Mikro-Displays 6.1.The resolution can be easily reduced by having multiple micro-displays 6.1 through a micro-lens 6.2 be summarized. The resolution is therefore largely determined by the number of micro lenses available 6.2 and the number of micro-pixels 6.3 the micro-displays 6.1 ,

Die Lichtfeldkamera 2 weist im vorliegenden Beispiel ebenso viele Mikro-Sensor-Einheiten 9 auf, wie das Lichtfeld-Display 3 Mikro-Display-Einheiten 6 aufweist. Je größer dabei die Auflösung der Mikro-Sensor-Einheiten 9 ist, desto größer ist auch die von der Lichtfeldkamera 2 aufgenommene analoge Datenmenge.The light field camera 2 has in the present example as many micro-sensor units 9 on, like the light field display 3 Micro-display units 6 having. The greater the resolution of the micro-sensor units 9 is, the larger is also the of the light field camera 2 recorded analog data.

Weiterhin ist jedes Mikro-Pixel 9.3 eines Mikro-Bildsensors 9.1 einem Mikro-Pixel 6.3 des Mikro-Displays 6.1 zugeordnet. Die Zuordnung geschieht dabei auf einfache Weise durch die direkte Verbindung eines Mikro-Pixels 9.3 mit einem Mikro-Pixel 6.3 mittels eines Lichtwellenleiters 8. Die Lichtfeldkamera 2 wird dadurch direkt mit dem Lichtfeld-Display 3 gekoppelt.Furthermore, every micro-pixel 9.3 a micro-image sensor 9.1 a micro-pixel 6.3 of the micro-display 6.1 assigned. The assignment is done in a simple manner by the direct connection of a micro-pixel 9.3 with a micro-pixel 6.3 by means of an optical waveguide 8th , The light field camera 2 becomes directly with the light field display 3 coupled.

Jeder Lichtwellenleiter 8 weist hierzu eine Lichteinkoppelfläche und eine Lichtauskoppelfläche auf. Die Lichteinkoppelfläche ist dabei seitens des Mikro-Bildsensors 9.1 angeordnet. Dies wiederum bedeutet, dass jedes Mikro-Pixel 9.3 des Mikro-Bildsensors 9.1 eine Lichteinkoppelfläche umfasst. Das von dem Lichtfeld unter einem bestimmten Einfallswinkel auf die Lichteinkoppelfläche fallende Licht wird in den Lichtwellenleiter 8 eingekoppelt und durch Totalreflexion auf die andere Seite des Lichtwellenleiters 8 geleitet. Auf der Seite des entsprechenden Mikro-Displays 6.1 wird der zuvor eingekoppelte und weitergeleitete Lichtstrahl 7 an der Lichtauskoppelfläche unter einem Ausfallswinkel wieder aus dem Lichtwellenleiter 8 ausgekoppelt, wobei der Ausfallswinkel dem Einfallswinkel entspricht. Dass sich Einfallswinkel und Ausfallswinkel entsprechen, wird dabei dadurch realisiert, dass die Lichtwellenleiter 8 eine bestimmte Länge aufweisen. Die bestimmte Länge, welche ein Lichtwellenleiter 8 aufweisen muss, wird dabei über den Brechungsindex des Materials des Lichtwellenleiters 8 und den dadurch festgelegten Winkel der Totalreflexion in dem Lichtwellenleiter 8 ermittelt.Every optical fiber 8th has for this purpose a light input surface and a light output surface. The light input surface is on the part of the micro-image sensor 9.1 arranged. This in turn means that every micro-pixel 9.3 of the micro-image sensor 9.1 comprises a light input surface. The light falling from the light field at a certain angle of incidence on the light incoupling surface is introduced into the optical waveguide 8th coupled and by total reflection on the other side of the optical waveguide 8th directed. On the side of the corresponding micro-display 6.1 becomes the previously injected and relayed light beam 7 at the light outcoupling surface at a failure angle back out of the optical waveguide 8th decoupled, wherein the angle of failure corresponds to the angle of incidence. The fact that the angle of incidence and the angle of reflection correspond to each other is realized by the fact that the optical waveguides 8th have a certain length. The particular length, which is an optical fiber 8th must be about the refractive index of the material of the optical waveguide 8th and the angle of total reflection in the optical waveguide determined thereby 8th determined.

Ist der Ausfallswinkel an der Auskoppelfläche des Lichtwellenleiters nicht 0 Grad, verlassen die Lichtstrahlen die Lichtwellenleiter 8 nicht parallel. Es wird daher unmittelbar vor jedem Mikro-Bildsensor 9.1 ein Mikro-Kollimator angeordnet, der einen parallelen Strahlenverlauf an den Auskoppelflächen der Lichtwellenleiter 8 der ausgekoppelten Lichtstrahlen 7 erzeugt. Die parallel gerichteten Lichtstrahlen treffen dann, wie bereits erläutert, auf die vor dem entsprechenden Mikro-Display 6.1 angeordnete Mikro-Linse 6.2. Dadurch wird eine korrekte räumliche Wiedergabe des aufgenommenen Bildes durch das Lichtfeld-Display 3 gewährleistet. Dadurch, dass jedes Mikro-Pixel 9.3 der Mikro-Bildsensoren 9.1 mit jeweils einem Mikro-Pixel 6.3 der Mikro-Displays 6.1 direkt über einen Lichtwellenleiter 8 verbunden ist, ergibt sich eine direkte Übertragung des aufgenommenen Bildes von der Lichtfeldkamera 2 an das Lichtfeld-Display 3. Die Bildübertragung findet auf diese Weise analog statt und kann insbesondere ohne Bildverarbeitungsschritte realisiert werden. Dies ermöglicht, dass die Bildanzeige im Wesentlichen verzögerungsfrei zur Bilderfassung geschieht.If the angle of reflection at the outcoupling surface of the optical waveguide is not 0 degrees, the light beams leave the optical waveguides 8th not parallel. It will therefore be right in front of every micro-image sensor 9.1 a micro-collimator arranged, which has a parallel beam path at the outcoupling surfaces of the optical waveguide 8th the decoupled light beams 7 generated. The collimated light beams then hit, as already explained, on the front of the corresponding micro-display 6.1 arranged micro-lens 6.2 , This will give a correct spatial reproduction of the recorded image through the light field display 3 guaranteed. By doing that every micro-pixel 9.3 the micro-image sensors 9.1 each with a micro-pixel 6.3 the micro-displays 6.1 directly via an optical fiber 8th is connected, results in a direct transfer of the recorded image of the light field camera 2 to the light field display 3 , The image transmission takes place analogously in this way and can be realized in particular without image processing steps. This allows the image display to occur substantially instantaneously for image capture.

Die Kopplungseinrichtung 4 wird auf beiden Seiten durch die jeweilige Fahrzeugtür geführt. Die linke Lichtfeldkamera 2.1 ist dadurch direkt mit dem linken Lichtfeld-Display 3.1 und die rechte Lichtfeldkamera 2.2 ist direkt mit dem rechten Lichtfeld-Display 3.2 gekoppelt.The coupling device 4 is guided through the respective vehicle door on both sides. The left light field camera 2.1 is thus directly with the left light field display 3.1 and the right light field camera 2.2 is directly with the right light field display 3.2 coupled.

Die Lichtfeldkamera 2 überträgt zudem das von ihr erfasste Bild im Wesentlichen zeitlich synchron zur Bilderfassung an das Lichtfeld-Display 3. Dies wird insbesondere durch die Bildübertragung mittels der Lichtwellenleiter 8 ermöglicht.The light field camera 2 In addition, it transmits the image captured by it to the light field display essentially synchronously with the image acquisition 3 , This is in particular due to the image transmission by means of the optical waveguide 8th allows.

In einer weiteren Ausführungsform erfasst die Lichtfeldkamera 2 eine Abfolge von Bildern der Fahrzeugumgebung und überträgt diese kontinuierlich im Wesentlichen in Echtzeit an das Lichtfeld-Display 3. Dadurch wird es ermöglicht, dass im Innenraum des Fahrzeugs 5 die erfasste Bildabfolge als Film wiedergegeben wird. Der Fahrer kann daher auf das momentan hinter ihm ablaufende Verkehrsgeschehen rechtzeitig reagieren. Zudem kann dann gewährleistet werden, dass die Außenspiegel des Fahrzeugs 5 ersetzt werden können, ohne dass sich ein Sicherheitsrisiko durch eine zeitverzögerte Anzeige ergibt. Die direkte analoge Bildübertragung, die eine Übertragung des Bildes ermöglicht, ohne dass zeitraubende Bildverarbeitungsschritte notwendig sind, erleichtert daher eine dynamische Wiedergabe des hinter dem Fahrzeug 5 aufgenommenen Fahrgeschehens.In another embodiment, the light field camera detects 2 a sequence of images of the vehicle environment and transmits them continuously in substantially real time to the light field display 3 , This makes it possible for the interior of the vehicle 5 the captured image sequence is displayed as a movie. The driver can therefore react to the current behind him running traffic in time. In addition, it can then be ensured that the exterior mirrors of the vehicle 5 can be replaced without a security risk resulting from a time-delayed display. The direct analogue image transmission, which allows transmission of the image without the need for time-consuming image processing steps, therefore facilitates a dynamic reproduction of the behind the vehicle 5 recorded driving.

In einer weiteren Ausgestaltung kann die Lichtfeldkamera 2 auch am Heck des Fahrzeugs 5 angeordnet und rückwärtig gerichtet sein. Die Lichtfeldkamera 2 ist dabei beispielsweise in der oberen oder unteren Mitte am Kofferraumdeckel des Fahrzeugs 5 angeordnet. Es wird dann die Fahrzeugumgebung direkt hinter dem Fahrzeug 5 als Bild erfasst. Hierdurch wird ein Rückfahrkamera bereitgestellt, die es dem Fahrer ermöglicht, Tiefeninformationen aus dem dargestellten Bild zu entnehmen. Zur Darstellung von Tiefeninformationen bei einer herkömmlichen Rückfahrkamera werden in der Regel in ein zweidimensional angezeigtes Bild perspektivische Symbole und Fahrspuren angezeigt. Dies ist bei Verwendung einer erfindungsgemäßen Vorrichtung 1 nicht mehr erforderlich.In a further embodiment, the light field camera 2 also at the rear of the vehicle 5 arranged and directed backwards. The light field camera 2 is for example in the upper or lower middle of the trunk lid of the vehicle 5 arranged. It then becomes the vehicle environment directly behind the vehicle 5 captured as a picture. As a result, a reversing camera is provided, which allows the driver to extract depth information from the displayed image. For displaying depth information in a conventional reversing camera, perspective symbols and lanes are generally displayed in a two-dimensionally displayed image. This is when using a device according to the invention 1 not necessary anymore.

Alternativ oder zusätzlich kann die Lichtfeldkamera 2 auch derart angeordnet sein, dass ein Rückinnenspiegel des Fahrzeugs 5 ersetzt werden kann. Das zugehörige Lichtfeld-Display 3 ist dann beispielsweise in der Mittelkonsole des Fahrzeugs 5 angeordnet.Alternatively or additionally, the light field camera 2 Also be arranged such that a rear-view mirror of the vehicle 5 can be replaced. The associated light field display 3 is then for example in the center console of the vehicle 5 arranged.

In einem weiteren Ausführungsbeispiel ist das Fahrzeug 5 in ein Netzwerk aus Fahrzeugen eingebunden. Das Fahrzeug 5 kann dann Daten anderer Fahrzeuge aus der Umgebung empfangen und diese als eigene Informationen verwerten. Die Lichtfeldkamera 2 ist dann beispielsweise in einem vorausfahrenden Fahrzeug 5 angeordnet. Das Lichtfeld-Display 3 hingegen bleibt im eigenen Fahrzeug 5 angeordnet. Eine analoge Datenübertragung durch Lichtwellenleiter 8 ist dann jedoch nicht möglich. In einem solchen Fall wird das Bild digital an das in dem Fahrzeug 5 angeordneten Lichtfeld-Display 3 übertragen.In a further embodiment, the vehicle 5 integrated into a network of vehicles. The vehicle 5 can then receive data from other vehicles from the environment and use it as their own information. The light field camera 2 is then, for example, in a vehicle in front 5 arranged. The light field display 3 however, stays in your own vehicle 5 arranged. An analogue data transmission through optical fibers 8th is not possible then. In such a case, the image digitally becomes that in the vehicle 5 arranged light field display 3 transfer.

Um einschätzen zu können, ob ein Überholmanöver möglich ist, muss der Fahrer des Fahrzeugs 5 zuverlässig an dem vorausfahrenden Fahrzeug vorbeisehen können. Dies ist beispielsweise erschwert, wenn das vorausfahrende Fahrzeug ein LKW ist. Ist in dem LKW jedoch eine nach vorne ausgerichtete Lichtfeldkamera 2 angeordnet, kann diese die aufgenommenen Bilddaten an das Lichtfeld-Display 3 in dem Fahrzeug 5 übertragen. Dem Fahrer wird dadurch das vor dem LKW ablaufende Fahrgeschehen angezeigt. Der Fahrer kann dadurch besser einschätzen, ob er ein Überholmanöver startet oder nicht.In order to assess whether an overtaking maneuver is possible, the driver of the vehicle must 5 can reliably look past the preceding vehicle. This is for example more difficult if the vehicle in front is a truck. Is in the truck, however, a forward-facing light field camera 2 arranged, this can take the recorded image data to the light field display 3 in the vehicle 5 transfer. The driver is thereby displayed the running ahead of the truck driving events. The driver can thus better assess whether he starts an overtaking maneuver or not.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11

Vorrichtungcontraption

22

LichtfeldkameraLight field camera

33

Lichtfeld-DisplayLight field display

44

Kopplungcoupling

55

Fahrzeugvehicle

66

Mikro-Display-EinheitMicro-display unit

6.16.1

Mikro-DisplayMicro Display

6.26.2

Mikro-LinseMicro-lens

6.36.3

Mikro-PixelMicro Pixel

77

Lichtstrahlbeam of light

88th

Lichtwellenleiteroptical fiber

99

Mikro-Sensor-EinheitMicro-sensor unit

9.19.1

Mikro-BildsensorMicro image sensor

9.29.2

Mikro-LinseMicro-lens

9.39.3

Mikro-PixelMicro Pixel

1010

Hauptlinsemain lens

1111

Steuervorrichtungcontrol device

ff

Brennpunkt; Abstandfocus; distance

f, f"f, f "

Abstanddistance

K, K', K"K, K ', K "

Kreuzungspunktintersection

E, E', E"E, E ', E "

Bildebeneimage plane

Claims (9)

Vorrichtung (1) zum Erfassen und Anzeigen einer Fahrzeugumgebung in einem Fahrzeug (5), mit zumindest einer Lichtfeldkamera (2), wobei die Lichtfeldkamera (2) ein Bild aus der Fahrzeugumgebung erfasst, und zumindest einem Lichtfeld-Display (3), welches im Innenraum des Fahrzeugs (5) angeordnet ist, wobei das von der Lichtfeldkamera (3) erfasste Bild an das Lichtfeld-Display (2) analog übertragbar ist, so dass das Bild im Innenraum des Fahrzeugs (5) mittels des Lichtfeld-Displays (3) anzeigbar ist.Device (1) for detecting and displaying a vehicle environment in a vehicle (5), with at least one light field camera (2), wherein the light field camera (2) detects an image from the vehicle surroundings, and at least one light field display (3), which in Interior of the vehicle (5) is arranged, wherein the light field camera (3) detected image to the light field display (2) analog transferable, so that the image in the interior of the vehicle (5) by means of the light field display (3) can be displayed. Vorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Lichtfeldkamera (2) direkt mit dem Lichtfeld-Display (3) gekoppelt ist, wobei die Lichtfeldkamera (2) das erfasste Bild direkt an das Lichtfeld-Display (3) überträgt.Device (1) according to Claim 1 , characterized in that the light field camera (2) is coupled directly to the light field display (3), wherein the light field camera (2) transmits the captured image directly to the light field display (3). Vorrichtung (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Lichtfeldkamera (2) eine bestimmte Anzahl von Mikro-Sensor-Einheiten (9) aufweist und das Lichtfeld-Display (3) eine bestimmte Anzahl von Mikro-Display-Einheiten (6) aufweist, wobei die bestimmte Anzahl der Mikro-Sensor-Einheiten (9) mit der bestimmten Anzahl von Mikro-Display-Einheiten (6) übereinstimmt.Device (1) according to Claim 1 or 2 , characterized in that the light field camera (2) has a certain number of micro-sensor units (9) and the light field display (3) has a certain number of micro-display units (6), wherein the determined number of Micro-sensor units (9) with the specific number of micro-display units (6) matches. Vorrichtung (1) nach Anspruch 3, dadurch gekennzeichnet, dass jede Mikro-Sensor-Einheit (9) eine bestimmte Anzahl von Mikro-Bildsensor-Bildpunkten (9.3) und jede Mikro-Display-Einheit (6) eine bestimmte Anzahl von Mikro-Display-Bildpunkten (6.3) umfasst, wobei die bestimmte Anzahl von Mikro-Bildsensor-Bildpunkten (9.3) mit der bestimmten Anzahl von Mikro-Display-Bildpunkten (6.3) übereinstimmt und jedem Mikro-Bildsensor-Bildpunkt (9.3) ein Mikro-Display-Bildpunkt (6.3) zugeordnet ist.Device (1) according to Claim 3 characterized in that each micro-sensor unit (9) comprises a certain number of micro-image sensor pixels (9.3) and each micro-display unit (6) comprises a certain number of micro-display pixels (6.3), wherein the determined number of micro-image sensor pixels (9.3) coincides with the determined number of micro-display pixels (6.3) and each micro-image sensor pixel (9.3) is associated with a micro-display pixel (6.3). Vorrichtung (1) nach Anspruch 4, dadurch gekennzeichnet, dass jeweils ein Mikro-Bildsensor (9) mittels eines Lichtwellenleiters (8) mit einem ihm zugeordneten Mikro-Display (6) gekoppelt ist oder ein Mikro-Bildsensor-Bildpunkt (9.3) mittels eines Lichtwellenleiters (8) mit einem ihm zugeordneten Mikro-Display-Bildpunkt (6.3) gekoppelt ist.Device (1) according to Claim 4 , characterized in that in each case a micro-image sensor (9) by means of an optical waveguide (8) with an associated micro-display (6) is coupled or a micro-image sensor pixel (9.3) by means of an optical waveguide (8) with a him associated micro-display pixel (6.3) is coupled. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lichtfeldkamera (2) eine Abfolge aufgenommener Bilder im Wesentlichen zeitlich synchron an das Lichtfeld-Display (3) überträgt.Device (1) according to one of the preceding claims, characterized in that the Light field camera (2) transmits a sequence of recorded images substantially temporally synchronously to the light field display (3). Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Fahrzeugumgebung die Umgebung hinter dem Fahrzeug (5) ist, so dass eine hintere Fahrzeugumgebung im Innenraum des Fahrzeugs (5) anzeigbar ist.Device (1) according to one of the preceding claims, characterized in that the vehicle environment is the environment behind the vehicle (5), so that a rear vehicle environment in the interior of the vehicle (5) can be displayed. Fahrzeug (5) mit einer Vorrichtung (1) nach einem der Ansprüche 1 bis 7.Vehicle (5) with a device (1) according to one of Claims 1 to 7 , Fahrzeug nach Anspruch 8, wobei an der linken und rechten Außenseite des Fahrzeugs (5) jeweils eine Lichtfeldkamera (2) angeordnet ist, wobei jede der Lichtfeldkameras (2) rückwärtig ausgerichtet ist, wobei die an der linken Außenseite des Fahrzeugs angeordnete Lichtfeldkamera (2.1) mit einem auf der linken Seite des Innenraums angeordneten Lichtfeld-Display (3.1) und die an der rechten Außenseite des Fahrzeugs (5) angeordnete Lichtfeldkamera (2.2) mit einem auf der rechten Seite des Innenraums angeordneten Lichtfeld-Display (3.2) gekoppelt ist.Vehicle after Claim 8 , wherein on the left and right outside of the vehicle (5) in each case a light field camera (2) is arranged, wherein each of the light field cameras (2) is aligned rearwardly, wherein arranged on the left outside of the vehicle light field camera (2.1) with a on the Left side of the interior arranged light field display (3.1) and arranged on the right outside of the vehicle (5) light field camera (2.2) is coupled to a arranged on the right side of the interior light field display (3.2).

Images