DE102011114325A1

DE102011114325A1 - Device for generating polarized optical images, for camera used in mobile phone, has lens system that transfers captured image field to camera sensor

Info

Publication number: DE102011114325A1
Application number: DE102011114325A
Authority: DE
Inventors: Anmelder Gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2011-09-24
Filing date: 2011-09-24
Publication date: 2013-03-28

Abstract

The device has array of lenses (103) that captures image field (101) onto projection surface (104) through a first lens system (102). The captured image field is transferred to camera sensor through the second lens system (105).

Description

Die Erfindung betrifft eine Vorrichtung entsprechend dem Oberbegriff des Anspruchs I.The invention relates to a device according to the preamble of claim I.

Die Erfindung ist angesiedelt im Gebiet der fotografischen und filmischen Bilderfassung, im Besonderen der plenoptischen Fotografie (auch Integralfotografie oder Lichtfeldfotografie genannt). Plenoptische Kamerasysteme unterscheiden sich von herkömmlichen Kamerasystemen dadurch, dass vor dem bilderfassenden Sensor (CCD Array oder auch analoger Film) eine Anordnung („Array”) sehr kleiner Linsen, sogenannter Mikrolinsen, platziert ist. Diese brechen den vom Linsensystem der Kamera einfallenden Lichtstrahl und erzeugen daraus viele, sich in ihrer Perspektive minimal unterscheidende, „Mikro-Bilder” der fotografierten Szene, die auf dem Bildsensor abgebildet werden. Darüberhinaus gibt es 2 bekannte Varianten der plenoptischen Kamera: die so genannte „Plenoptische Kamera 1.0” (oder auch „Plenoptische Kamera” genannt) und die „Plenoptische Kamera 2.0” (oder auch die „fokusierte Plenoptische Kamera” genannt). Sie unterscheiden sich durch die Lage der Fokus-Ebene des Bildes des Linsensystems der Kamera zu den Mikrolinsen. Im Laufe der nachträglichen Bildearbeitung dieser Bilddaten ist es möglich eine Reihe zusätzlicher Informationen aus diesen Mikro-Bildern mit Hilfe von Computern zu errechnen und darzustellen: multiple Ansichten der Szene aus unterschiedlichen Perspektiven (findet Anwendung in Stereo 3D, Autostereo 3D), 3D Tiefeninformationen des Bildfeldes sowie die nachträgliche Fokusierung auf eine beliebige Bildebene des Bildfeldes – womit das „Scharfstellen” beim eigentlichen Fotografieren entfällt.
Patentverweise hierzu: „Improved plenoptic Camera” Dokument CN000101455071A , „Plenoptic Camera” Dokument US020070230944A1 The invention is in the field of photographic and cinematographic image capture, in particular plenoptic photography (also called integral photography or light field photography). Plenoptic camera systems differ from conventional camera systems in that an arrangement ("array") of very small lenses, so-called microlenses, is placed in front of the image-capturing sensor (CCD array or analogue film). These break the light beam incident on the lens system of the camera and produce many, in their perspective, minimally different, "micro-images" of the photographed scene, which are imaged on the image sensor. In addition, there are 2 known variants of the plenoptic camera: the so-called "plenoptic camera 1.0" (also called "plenoptic camera") and the "plenoptic camera 2.0" (or also called the "focused plenoptic camera"). They differ by the position of the focal plane of the image of the lens system of the camera to the microlenses. In the course of the subsequent image processing of this image data, it is possible to compute and display a number of additional information from these micro-images with the help of computers: multiple views of the scene from different perspectives (finds application in stereo 3D, autostereo 3D), 3D depth information of the image field and the subsequent focus on any image plane of the image field - which eliminates the "focus" in the actual photographing.
Patent references: "Improved plenoptic camera" document CN000101455071A , "Plenoptic Camera" document US020070230944A1

Möchte man die Vorteile eines plenoptischen Kamerasystems nutzen so erfordert dies die Herstellung und Entwicklung eines Kameragehäuses mit plenoptischen Mikrolinsen direkt vor dem Bildsensor – eine konventionelle Kamera ohne solch ein Array von Mikrolinsen kann plenoptische Vorteile also bisher nicht nutzen. Obwohl ein weiteres grosses Potential der plenoptischen Fotografie die Aufnahme von 3D Bildern mit nur einem Objektiv an Stelle von wie hierfür üblich zwei (für Stereo 3D Bilder) oder mehreren (für autostereoskopische 3D Bilder) Objektiven ist, bringt die Tatsache, dass die zu erzielende Parallaxe und damit der zu erzielende 3D Effekt bei herkömmlichen plenoptischen Kameras mit der Grösse des Bildsensors begrenzt ist („breitere und grösserer Bildsensor bedeutet grössere Parallaxe und grösseren 3D Effekt...”) erhebliche Limitierungen mit sich. Der heutige technische Stand lässt nur begrenzt grosse Sensoren zu und die Herstellung und Entwicklung ist hier sehr kostspielig.If one wants to take advantage of a plenoptic camera system, this requires the production and development of a camera housing with plenoptic microlenses directly in front of the image sensor - a conventional camera without such an array of microlenses can not yet benefit from plenoptic advantages. Although another great potential of plenoptic photography is the inclusion of 3D images with only one lens in place of the usual two (for stereo 3D images) or multiple (for autostereoscopic 3D images) lenses, brings the fact that the parallax to be achieved and so that the 3D effect to be achieved in conventional plenoptic cameras with the size of the image sensor is limited ("wider and larger image sensor means greater parallax and greater 3D effect ...") significant limitations with it. The current state of technology allows only limited sensors and the production and development is very expensive here.

Aufgabe der Erfindung ist es eine herkömmliche Kamera in ein plenoptisches Kamerasystem umzuwandeln, und dies ohne jegliche Modifikationen an der Kamera selbst sondern nur durch das Aufsetzen eines speziell entwickelten Objektives zu erreichen.The object of the invention is to convert a conventional camera into a plenoptic camera system, and to accomplish this without any modifications to the camera itself, but only through the placement of a specially developed objective.

Diese Aufgabe wird durch die hier vorgestellte Erfindung wie folgt gelöst:
Durch eine Zweistufen-Bildererfassung mittels zwei durch eine Projektionsfläche voneinander getrennten Linsensystemen wird das in das Linsensysstem 1 (102) einfallende Licht des Bildfeldes (101) auf das Linsen-Array (103) geleitet und von diesem in die einzelnen plenoptischen Mikro-Bilder „gebrochen”. Diese Mikro-Bilder werden auf der Projektionsfläche (104) abgebildet. Von der Rückseite der Projektionsfläche (z. B. eine halbtransparente Mattscheibe mit feiner Diffussionsstufe, die das, auf sie von den Linsen des Arrays (103) projezierte, Licht „einfängt” und durch ihre teilweise Lichtdurchlässigkeit den folgenden Schritt ermöglicht) wird in der zweiten Stufe der Bilderfassung das abgebildete Ensemble von Mikrobildern über das Linsensystem 2 (105) direkt auf den Sensor der Kamera (106) abgebildet.This object is achieved by the invention presented here as follows:
By means of two-stage image acquisition by means of two lens systems separated by a projection surface, the lens system 1 (in FIG. 102 ) incident light of the image field ( 101 ) on the lens array ( 103 ) and "broken" by this into the individual plenoptic micro-images. These micro-images are displayed on the screen ( 104 ). From the back of the screen (for example, a semi-transparent screen with a fine diffusion layer that slides onto it from the lenses of the array ( 103 ), "captures" light and allows the following step through its partial transparency), in the second stage of image acquisition, the imaged ensemble of microimages via the lens system 2 (FIG. 105 ) directly on the sensor of the camera ( 106 ).

Das eigentliche bilderfassende Kamerasystem und dessen Sensor (106) sind somit unabhängig von der Objektiveinheit, die das das plenoptische Bild (d. h. das Ensemble von Mikrobildern) erzeugt. Eine solch konsrukierte Objektiveinheit kann über Objektivadapter problemlos an vielen auf dem Markt erhältlichen „konventionellen” Foto- oder Film-Kamerasystemen Verwendung finden. Das Kamerasystem mit Bildsensor (106) fungiert in der „zweiten Stufe” der Bilderfassung lediglich als „Abtast-Gerät” des im Objektiv auf der Projektionsfläche (104) erzeugten plenoptischen Bildes.The actual camera system and its sensor ( 106 ) are thus independent of the lens unit that produces the plenoptic image (ie the ensemble of microimages). Such a consensus lens unit can easily be used with lens adapters in many "conventional" photo or film camera systems available on the market. The camera system with image sensor ( 106 ) acts in the "second stage" of the image acquisition only as a "scanning device" of the lens in the projection surface ( 104 ) generated plenoptic image.

Ein weiterer grosser Vorteil dieser Erfindung ist die weitestgehende Unabhängigkeit der Sensorgrösse (106) von sowohl der im Objektiv verbauten Grösse der Projektionsfläche als auch der Grösse der im Linsen-Sytem 1 (102) verwendeten Linsen. Je grösser der Linsendurchmesser des Linsen Systems 1 (102) ist desto grösser ist die Parallaxe (Stereobasis) des abgebildeten Bildfeldes. Somit können auch bei Verwendung eines Kamerasystems mit sehr geringer Grösse eines Bildsensors Aufnahmen mit einer sehr grossen Parallaxe und somit sehr starker 3D Wirkung und sehr genauen Tiefeninformationen aufgenommen werden. Eine Sachlage, die bei Verwendung einer bisher „bekannten plenoptischen Kamera” neben einem grossen Linsensystem einen sehr grossen kostspieligen bilderfassenden Sensor benötigt. Hier wird der Sensor durch eine grosse Projektionsfläche ersetzt und diese erfüllt die gleiche lichtsammelnde Funktion zum Abbilden der Mikro-Bilder.Another great advantage of this invention is the largely independent sensor size ( 106 ) of both the built-in lens size of the projection surface and the size of the lenses in the lens system 1 ( 102 ) used lenses. The larger the lens diameter of the lens system 1 ( 102 ) the greater is the parallax (stereo base) of the imaged field of view. Thus, even when using a camera system with a very small size of an image sensor recordings with a very large parallax and thus very strong 3D effect and very accurate depth information can be recorded. A situation that requires a very large costly image-capturing sensor when using a previously "plenoptic camera" next to a large lens system. Here, the sensor is replaced by a large projection surface and this fulfills the same light-collecting function for imaging the micro-images.

Desweiteren vorteilhaft ist die Tatsache, dass Objektive eine viel längere Anwendungsdauer als Kameragehäuse besitzen. D. h., dass das plenoptische Objektiv über einen langen Zeitraum und viele Jahre genutzt werden kann und nicht ersetzt werden muss, auch wenn die Kameratechnologie sich verändert bzw. verbessert und z. B. Modelle mit besseren Sensoren oder besserer Elektronik ein altes Kameramodell ersetzten. Ginge es hier um eine plenoptische Kamera inclusive Mikrolinsen-Array so wäre die Neuanschaffung eines „neuen Modells” eine sehr kostspielige Angelegenheit – mittels dieser Erfindung muss lediglich eine neue Standard-Kamera eine ältere Standard-Kamera ersetzen.Furthermore advantageous is the fact that lenses have a much longer period of use than Have camera body. This means that the plenoptic lens can be used over a long period of time and many years and does not have to be replaced, even if the camera technology changes or improves and z. For example, models with better sensors or better electronics replaced an old camera model. If this were a plenoptic camera including a microlens array, then the new acquisition of a "new model" would be a very expensive affair - with this invention, only a new standard camera needs to replace an older standard camera.

Ausführungsbeispiele dieser Erfindung:Embodiments of this invention:

1) Eine denkbare Ausführung ist die Herstellung eines auswechselbarem oder vorsetzbarem Kameraobjektives (109), das die komplette Vorrichtung dieser Erfindung im Innneren enthält. Dies erweitert dann jede Kamera (110) – sowohl Foto-, Film-, Industrie-, Mobiltelefon- und alle weiteren sich auf dem Markt befindlichen Kameras die einen Sensor zur Bilderzeugung einsetzen – um die plenoptischen Bildinformationen, Vorteile und Funktionen.1) One conceivable embodiment is the production of a replaceable or presettable camera objective ( 109 ) containing the complete apparatus of this invention inside. This then expands every camera ( 110 ) - the camera, film, industrial, mobile phone and all other cameras on the market using a sensor for image generation - the plenoptic image information, advantages and functions.
2) Denkbar ist auch, neben der Entwicklung einer kompletten Objektiveinheit mittels dieser Vorrichtung, die Herstellung eines plenoptischen Objektivadapters (111), der alle Elemente dieser Vorrichtung ausser jedoch das Linsen-System 1 (102) enthält. Dieses Linsen System 1 (102) kann dann durch bereits am Markt vorhandene Standard-Kameraobjektive (112) ersetzt werden und somit hätte man – bei Anwendung einer konventionellen Kamera (110) mit Wechselobjektiv (112) – lediglich diesen plenoptischen Objektivadapter dazwischenzusetzen um die plenoptischen Bildinformationen, Vorteile und Funktionen zu erhalten.2) It is also conceivable, besides the development of a complete objective unit by means of this device, to produce a plenoptic objective adapter ( 111 ), all elements of this device except the lens system 1 (FIG. 102 ) contains. This lens system 1 ( 102 ) can then by existing on the market standard camera lenses ( 112 ) and thus one would have - when using a conventional camera ( 110 ) with interchangeable lens ( 112 ) - just interpose this plenoptic lens adapter to get the plenoptic image information, benefits and features.
3) Auch könnte diese Erfindung Anwendung finden in einer Objektiv-Ausführung in einer Kamera die zwar kein so genanntes Wechselobjektiv besitzt, die aber die oben beschriebenen Vorteile einer grossen Projektionsfläche für die verbesserte 3D Auswertung – im gegensatz zum Verbauen eines ensprechend grossen Bildsensors (106) – nutzen möchte. Alle Elemente der Erfindung (102, 103, 104, 105) wären dann mit dem Sensor (106) der Kamera fest verbunden in einem Gehäuse (113) untergebracht.3) Also, this invention could find application in a lens design in a camera which does not have a so-called interchangeable lens, but the above-described advantages of a large projection surface for improved 3D evaluation - in contrast to the obstruction of a correspondingly large image sensor ( 106 ) - want to use. All elements of the invention ( 102 . 103 . 104 . 105 ) would then be with the sensor ( 106 ) of the camera firmly connected in a housing ( 113 ) housed.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

CN 000101455071 A [0002] CN 000101455071 A [0002]
US 020070230944 A1 [0002] US 020070230944 A1 [0002]

Claims

Vorrichtung zum Erzeugen von plenoptischen Bildern, dadurch gekennzeichnet, dass ein Bildfeld (101) über ein Linsensystem 1 (102) sowie ein Array von Linsen (103) auf eine Projektionsfläche (104) abgebildet wird und von einem Linsensystem 2 (105) auf einen herkömmlichen Kamerasensor (106) übertragen wird.Device for generating plenoptic images, characterized in that an image field ( 101 ) via a lens system 1 ( 102 ) as well as an array of lenses ( 103 ) on a projection surface ( 104 ) and by a lens system 2 ( 105 ) to a conventional camera sensor ( 106 ) is transmitted.

Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass durch Aufsetzen dieser Vorrichtung aus jeder herkömmlichen Kamera (110) eine plenoptische Kamera wird.Device according to claim 1, characterized in that by placing this device from any conventional camera ( 110 ) becomes a plenoptic camera.

Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass durch Weglassen des Linsen-Systems 1 (102) eine weitere Ausführung der Vorrichtung als Adapterlösung (111) zusammen mit einem Standard-Kameraobjektiv (112), welches das Linsen System 1 (102) ersetzt, kombiniert werden kann.Device according to one of the preceding claims, characterized in that by omitting the lens system 1 (FIG. 102 ) a further embodiment of the device as an adapter solution ( 111 ) together with a standard camera lens ( 112 ), which the lens system 1 ( 102 ), can be combined.

Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass unabhängig der Lage der Fokus-Ebene (107 und 108) des Linsensystems 1 (102) nach dem Prinzip der „Plenoptischen Kamera 1.0” oder nach dem Prinzips der „Plenoptischen Kamera 2.0” eine Projektion eines Ensembles von Mikrobildern auf der Projektionsfläche (104) entsteht.Device according to one of the preceding claims, characterized in that independently of the position of the focus plane ( 107 and 108 ) of the lens system 1 ( 102 ) according to the principle of "plenoptic camera 1.0" or according to the principle of "plenoptic camera 2.0" a projection of an ensemble of microimages on the projection surface ( 104 ) arises.

Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Ausführung (Anzahl und Grösse) der Linsen im Linsen Array (103) je nach gewünschtem plenoptischen Bild-Ensemble konstruiert und variiert werden kann.Device according to one of the preceding claims, characterized in that the design (number and size) of the lenses in the lens array ( 103 ) can be designed and varied depending on the desired plenoptic image ensemble.

Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die komplette Vorrichtung nicht als separates und wechselbares Objektiv, sondern auch fest verbunden in eine herkömmliche Kamera (113) integriert werden kann.Device according to one of the preceding claims, characterized in that the complete device not as a separate and exchangeable lens, but also firmly connected in a conventional camera ( 113 ) can be integrated.

Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass sie sowohl für einzelne Bildaufnahmen (Fotografien) als auch mehrbildrige Serienaufnahmen (Filmaufnahmen) verwendung finden kann.Device according to one of the preceding claims, characterized in that it can be used both for individual image recordings (photographs) as well as multi-shot continuous shots (film recordings).

Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Grösse des Linsen Systems 1 (102) und der Projektionsfläche (104) in Relation zum Bildfeld (101) die Qualität und erzielbare Raum-Tiefen-Stärke der aus den Bilddaten errechenbaren 3D Tiefeninformationen und 3D Aufnahmen beeinflusst.Device according to one of the preceding claims, characterized in that the size of the lens system 1 ( 102 ) and the projection surface ( 104 ) in relation to the image field ( 101 ) influences the quality and achievable space-depth strength of the 3D depth information and 3D images that can be calculated from the image data.

Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Grössenverhältnis zwischen dem Linsen System 1 (102) sowie der Projektionsfläche (104) unabhängig zur Grösse des Kamerasensors (106) ist.Device according to one of the preceding claims, characterized in that the size ratio between the lens system 1 ( 102 ) as well as the projection surface ( 104 ) regardless of the size of the camera sensor ( 106 ).

Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Linsen-Systeme 1 (102) und 2 (105) in verschiedensten Ausführungen zum Anpassen an verschiedene Kameratypen und Sensorgrössen konstruiert werden können.Device according to one of the preceding claims, characterized in that the lens systems 1 ( 102 ) and 2 ( 105 ) can be designed in a variety of designs to suit different camera types and sensor sizes.