WO2007085233A2 - Method for data compression of computer-generated video hologrammes - Google Patents

Method for data compression of computer-generated video hologrammes Download PDF

Info

Publication number
WO2007085233A2
WO2007085233A2 PCT/DE2007/000108 DE2007000108W WO2007085233A2 WO 2007085233 A2 WO2007085233 A2 WO 2007085233A2 DE 2007000108 W DE2007000108 W DE 2007000108W WO 2007085233 A2 WO2007085233 A2 WO 2007085233A2
Authority
WO
WIPO (PCT)
Prior art keywords
scene
data compression
values
slm
points
Prior art date
Application number
PCT/DE2007/000108
Other languages
German (de)
French (fr)
Other versions
WO2007085233A3 (en
Inventor
Norbert Leister
Original Assignee
Seereal Technologies S.A.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seereal Technologies S.A. filed Critical Seereal Technologies S.A.
Publication of WO2007085233A2 publication Critical patent/WO2007085233A2/en
Publication of WO2007085233A3 publication Critical patent/WO2007085233A3/en

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/40Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45Representation of the decomposed object
    • G03H2210/454Representation of the decomposed object into planes

Definitions

  • the invention relates to a method for data compression of a sequence of computer-generated video holograms, CGVH.
  • CGVH In contrast to classical holograms, which are stored as interference patterns in a photographic or otherwise manner, CGVH exist as a result of calculating discrete hologram data from sequences of a three-dimensional scene and storing them with, for example, electronic means, an electronic storage medium of a computer, graphics processor, graphics adapter or in similar hardware components.
  • the modulated interference-capable light propagates in the space in front of the eyes of a beholder as a complex, two-dimensional, controllable by the amplitude values of the optical wavefront for the reconstruction of a three-dimensional scene.
  • the coding of a light modulator matrix with the complex hologram values of the computer-generated video holograms causes the pixel-modulated wave field emanating from the display screen to reconstruct the desired three-dimensional scene by interfering with the space.
  • Hardware components and computational methods can achieve application in key areas.
  • the calculated hologram data encode a light modulator matrix which influences interference-capable light in amplitude and phase, in short called complex-valued or simply amplitude-controlled electronically.
  • the light modulator matrix SLM is referred to as a means for controlling the intensity, color and / or phase by switching, blanking or modulating light beams of one or more independent light sources.
  • a holographic display usually contains a matrix of controllable pixels, wherein the pixels change the amplitude and / or phase of transmitted light and thus reconstruct the object points.
  • An SLM comprises such a matrix.
  • the SLM can be discretely listed as an acousto-optical modulator AOM or also continuously.
  • An embodiment for the reconstruction of the holograms by amplitude modulation can be achieved with a liquid crystal display (LCD).
  • the present invention also relates to other controllable devices for modulating sufficiently coherent light to a lightwave front or to a lightwave relief.
  • pixel includes a controllable hologram pixel of the SLM, represents a discrete value of the hologram point, and is individually addressed and controlled. Each pixel represents a hologram point of the hologram.
  • a pixel means an individually controllable display pixel.
  • a pixel is an individually controllable micromirror or a small group thereof.
  • a pixel includes an imaginary region that represents the hologram point.
  • a pixel is usually subdivided into several subpixels which represent the primary colors.
  • the encoded hologram is the transformation of the 3D scene.
  • a transformation becomes widespread in this document interprets and includes any mathematical or computer-aided method that represents or approximates a transformation and is based on Maxwell's wave equation.
  • the Fourier transformation which is used with particular preference, can be implemented simply in terms of programming technology and, moreover, can be realized very precisely by optical systems.
  • the holographic representation In contrast to the presentation of 2D video data, the holographic representation generates the lightwave front of 3D objects or 3D scenes through the interference and superposition of coherent lightwaves. In doing so, the hologram values required to contribute to the reconstruction of each point of the object are determined for each pixel. A single pixel thus contributes with the correspondingly modulated light to the representation of the entire scene. Conversely, the information about each scene point is distributed throughout the hologram.
  • Compression techniques store the digital hologram prior to application of a Burrows-Wheeler coding algorithm in intermediate coding of separate data streams for real and imaginary components.
  • Lossy compression techniques are based on subsampling, quantization, and discrete Fourier transform.
  • the amount of data required per video frame for storage or processing should be significantly reduced.
  • the resulting hologram data should allow the use of known, as simple as possible or standardized data compression method and thereby achieve such high compression rates that a resource-saving and economical application is possible.
  • the method is for data compression of a sequence of computer generated
  • Video holograms which, starting from an image content of image data with
  • Depth information is encoded as complex hologram values.
  • SLM provided with a variety of pixels.
  • a modulated wave field is generated by the SLM, which is controlled with complex hologram values, and the desired real or virtual three-dimensional scene is reconstructed by interferences in space.
  • observer windows are generated in truncated pyramidal reconstruction spaces.
  • the windows are close to the viewer's eye and can be tracked with known position detection and tracking the current viewer position.
  • the area in which a viewer sees a scene is given by a truncated pyramidal reconstruction space, the so-called frustrum, which extends from the SLM to the viewer window.
  • the truncated pyramid can be replaced by a pyramid in an approximation because the observer window is much smaller than the SLM.
  • the viewer windows are dimensioned so small that, in an inverse view, changes in restricted areas of the image content to be encoded only in limited areas the SLM, so in a few pixels, cause changes in the complex hologram values.
  • a phase matrix with defined phase values is defined.
  • the random values of the phases are chosen to be equally distributed, with further distributions possibly being conceivable for further image enhancement.
  • a phase matrix of the same dimension is defined.
  • the second method step involves determining the visibility of the scene.
  • the scene is structured into visible object points.
  • the object of the scene within the frustrum is structured with a three-axis discretization and, starting from the observer window, the visible object points of the scene are determined. In this calculation, the scene is cut into a plurality of virtual planes parallel to the SLM.
  • the cut planes are discretized into an equivalent screening with m object points per line and n object points per column.
  • the sectional planes lie within the pyramidal frustrum and are advantageously discretized into the same number of n * m points despite the different dimensions.
  • areas of the scene that are closer to the viewer are correspondingly finer discetized than areas that are far away from the viewer.
  • it is checked for all points whether they are already covered by a closer point to the viewer.
  • further embodiments are explained.
  • the method is based on the idea that a more efficient compression of a sequence can be achieved, provided object points whose amplitude does not change retain identical phase values in successive pictures of a sequence.
  • the phase matrix determined in the first step is used for each hologram of the sequence to be calculated.
  • the visible object points are based on the same defined phase value in a transformation to complex hologram values independently of the respective depth information of a respective object point and in each image of the sequence.
  • an object point remains the same in successive pictures, it automatically gets the same complex hologram value in each picture in the sequence. If an object point is omitted, another point in the next image of the sequence may get the phase value that the first object point previously had instead. The phase values once assigned to an object point are no longer changed. Unmodified object points imply unchanged complex hologram values.
  • the inventive method thus allows efficient data compression of the sequence and also allows the use of simple and faster compression methods, as they can be realized for example by the group of differential image methods. The application of further compression methods is also possible.
  • the examples are based on means for representing computer generated
  • the virtual observer windows cover the pupils of the observer and are tracked with known position detection and tracking devices of the current observer position.
  • a virtual truncated pyramid-shaped observer area is spanned, with the SLM forming the base area and the observer window forming the top.
  • the truncated pyramid can be regarded as a pyramid. The observer sees through the observer window in the direction of the SLM and, in the observer window, perceives the wavefront as true, which represents the scene, sees the object reconstructed in the observer area of the scene.
  • the computer-generated video holograms are reconstructed with a hologram display, which the applicant has already described in the publication PCT / EP 2005 009604 "Method and device for Encoding and Reconstructing Computer Generated Video Holograms ".
  • Viewer window that wave front is generated which would represent or represent the scene.
  • the observer windows are dimensioned so small that, in an inverse view, changes in restricted areas of the image content to be encoded cause changes in the complex hologram values only in restricted areas of the SLM, that is to say in a few pixels.
  • the following embodiment will be further explained with an SLM with m pixel rows and n pixel columns.
  • the SLM is here an LCD display, which modulates sufficiently modulated light in the amplitude values.
  • a phase matrix with phase values is determined.
  • the phase matrix comprises equal to the SLM m rows and n columns, with the phase values chosen to be equally distributed in the row and column directions.
  • a second method step relates to the discretization of the object of the scene and the determination of visible object points of the scene.
  • the determination of the visibility is carried out according to the position of the viewer, ie the viewing direction through the small observer window on the object of the scene and according to the depth information of the scene points.
  • the object is cut in planes parallel to the SLM.
  • the object is scanned into points within the observer area, analogous to the resolution of the SLM in n-rows and m-columns as well.
  • the points in the visibility level are now checked to see if a new point is already covered by a previous point.
  • the assigned area to the individual grid points changes in proportion to the distance from the viewer window.
  • the aim of the visibility determination is the determination or selection of m times n visible points that now discretize the visible object.
  • the step size between the cutting planes is equidistant in simple embodiments, but can be adjusted individually to the depth information of the scene.
  • the intersection with the object is determined in each section plane and the visibility of these boundary points is checked as to whether they are already obscured by a point closer to the viewer.
  • the visibility of the object points is determined by edge points, which are determined as a section of the plane with the edge of the object.
  • a sampled scene point in row i and column j of a more distant level lies hidden behind the element in row i and column j of a closer level for the eye in the center of the viewing window. In the calculation, it is thus checked whether a scene point i, j is already present in a plane closer to the eye and possibly eliminated.
  • the visible object points are based on the same defined phase value in a transformation to complex hologram values independently of the respective depth information of a respective object point and in each image of the sequence. If an object point remains the same in successive pictures, it automatically gets the same complex hologram value in each picture in the sequence.
  • An application of differential image compression allows efficient reduction of the data size of the sequence.
  • the viewer windows in a hologram display according to document WO 2004/044659 are generated by temporal multiplexing.
  • Video hologram and device for the reconstruction of video holograms are generated by temporal multiplexing.
  • the inventive method for data compression can be applied to both image views.
  • An additional reduction in the amount of data stored can be achieved if, for example, the different perspective for areas in the background of the scene is neglected and the views are assumed to be the same.
  • the obtained hologram values generated in the two embodiments are converted into Burckhardt coding or two-phase coding.
  • the complex value is represented by three gray levels discretized in the values 0 to 255, the one represented by 255
  • Value represents the maximum achievable component value.
  • the maximum value is selected and initialized at the beginning of data compression.
  • the maximum value occurring in a video sequence, or the corresponding quantile of a normal distribution, is not known at the beginning of the coding.
  • a simple solution is to cut off the peak values that exceed the maximum value and replace them with the maximum value.
  • the maximum value corresponds to a corresponding quantile of the normal distribution and allows a corresponding statistical description.
  • the compression device for carrying out the data compression comprises at least memory means for storing the phase matrix, arithmetic means for generating the phase values of the phase matrix, arithmetic means for structuring the scene into visible object points with corresponding storage means, arithmetic means for coding the visible object points on the basis of the phase values to complex hologram values and further storage means, which provides at least one subsequence as input data for the data compression.
  • Applicant's document DE 10 2004 063 838 describes a method for calculating computer-generated video holograms. It assigns objects with complex amplitude values of a three-dimensional scene in grid points of parallel, virtual cutting planes to define a separate object data set with discrete amplitude values in grid points for each cutting plane and to calculate a holographic coding for a light modulator matrix of a hologram display from the image data sets.
  • the document describes a signal processing device for carrying out the method. The method steps are implemented by the corresponding elements of the signaling device and include:
  • this signal device for coding is constructed in a simple embodiment.
  • the use of the cutting planes also offers the possibility of structuring the scene, as explained in the first exemplary embodiment, into visible object points.
  • the coding is extended by assigning the phase values of the phase matrix to the visible object points as explained in the preceding exemplary embodiments.
  • the generated complex holograms are separated into three- or two-phase components and efficiently compressed, for example, by a differential image method, which is also implemented with corresponding calculation means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

The invention relates to a method for data compression of a sequence of computer-generated video hologrammes, which are coded as complex hologramme values of a scene from image data with depth information, for display on a playback device with a spatial light modulator, generating a modulated wave field and reconstructing the desired three-dimensional scene, wherein changes in limited regions of the image content for coding only cause changes to the complex hologramme values in limited regions of the SLM, comprising the following steps: (S1) definition of a phase matrix with fixed phase values f(i,j), (S2) determining the visibility of the scene with relation to the position of an observer and the depth information for the image content or coding, wherein the scene is structured in visible object points, (S3) coding the scene, wherein said visible object points are based on the same defined phase value f(i,j), on a transformation of complex hologramme values, independent of the corresponding depth information and in each image of the sequence, such that in sequential images unchanged object points imply unchanged complex hologramme values and permit an efficient data compression of the sequence.

Description

Verfahren zur Datenkompression computergenerierter VideohologrammeMethod for data compression of computer-generated video holograms
Gebiet der ErfindungField of the invention
Die Erfindung betrifft ein Verfahren zur Datenkompression einer Sequenz computergenerierter Videohologramme, CGVH.The invention relates to a method for data compression of a sequence of computer-generated video holograms, CGVH.
Im Gegensatz zu klassischen Hologrammen, die als Interferenzmuster photografisch oder auf andere Weise gespeichert sind, existieren CGVH als Ergebnis der Berechnung von diskreten Hologrammdaten aus Sequenzen einer dreidimensionalen Szene und ihrer Speicherung mit beispielsweise elektronischen Mitteln, mit einem elektronischen Speichermedium eines Computers, Graphikprozessors, Graphikadapters oder in ähnlichen Hardwarekomponenten.In contrast to classical holograms, which are stored as interference patterns in a photographic or otherwise manner, CGVH exist as a result of calculating discrete hologram data from sequences of a three-dimensional scene and storing them with, for example, electronic means, an electronic storage medium of a computer, graphics processor, graphics adapter or in similar hardware components.
Das modulierte interferenzfähige Licht breitet sich im Raum vor den Augen eines Betrachters als eine komplexe, zweidimensionale, durch die Amplitudenwerte steuerbare Lichtwellenfront zur Rekonstruktion einer dreidimensionalen Szene aus.The modulated interference-capable light propagates in the space in front of the eyes of a beholder as a complex, two-dimensional, controllable by the amplitude values of the optical wavefront for the reconstruction of a three-dimensional scene.
Dabei bewirkt das Kodieren einer Lichtmodulatormatrix mit den komplexen Hologrammwerten der computergenerierten Videohologramme, dass das vom Displayschirm ausgehende, in Pixeln modulierte Wellenfeld durch Interferenzen in den Raum die gewünschte dreidimensionale Szene rekonstruiert.In this case, the coding of a light modulator matrix with the complex hologram values of the computer-generated video holograms causes the pixel-modulated wave field emanating from the display screen to reconstruct the desired three-dimensional scene by interfering with the space.
Die Darstellung von Hologrammen in Echtzeit hat aufgrund der Weiterentwicklung vonThe representation of holograms in real time has been due to the advancement of
Hardwarekomponenten und berechnungstechnischen Verfahren Anwendung in wichtigen Bereichen erzielen können.Hardware components and computational methods can achieve application in key areas.
Eine wichtige Aufgabenstellung der digitalen Holographie liegt in einer vielfach höherenAn important task of digital holography lies in a much higher level
Datenmenge pro Bild im Vergleich zu herkömmlichen Videodaten. Diese großeAmount of data per picture compared to conventional video data. This size
Datenmenge stellt sehr hohe Anforderungen an die Speicher- und Übertragungsmedien wie beispielsweise Netzwerkkomponenten und Bus-Systeme.The amount of data places very high demands on storage and transmission media such as network components and bus systems.
Selbst die Übertragung und Verarbeitung herkömmlicher Videodaten stellt hoheEven the transmission and processing of conventional video data is high
Anforderungen an die Ressourcen. Mit Datenkompression und leistungsfähigeren Speichermedien wird versucht, die zu verarbeitende Datenmenge handhaben zu können.Requirements for resources. With data compression and more powerful Storage media is trying to handle the amount of data to be processed.
Eine effiziente Kompression ist wichtiges Hilfsmittel damit Speicherung undEfficient compression is an important tool for storage and management
Übertragung der Daten hinreichend performant erfolgen. Eine handhabbareTransfer of data sufficiently performant done. A manageable
Datenmenge soll dazu beitragen, eine Weiterverbreitung und Akzeptanz von CGVH-The amount of data should contribute to the further dissemination and acceptance of CGVH
Systemen zu ermöglichen.To enable systems.
Die berechneten Hologrammdaten kodieren eine Lichtmodulatormatrix, welche interferenzfähiges Licht in Amplitude und Phase, kurz komplexwertige oder einfach Amplitude genannt, elektronisch gesteuert beeinflusst.The calculated hologram data encode a light modulator matrix which influences interference-capable light in amplitude and phase, in short called complex-valued or simply amplitude-controlled electronically.
In diesem Dokument wird als die Lichtmodulatormatrix beziehungsweise Spatial-Light- Modulator SLM als eine Einrichtung zum Steuern der Intensität, Farbe und/oder Phase durch Schalten, Austasten oder Modulieren von Lichtstrahlen einer oder mehrerer unabhängiger Lichtquellen bezeichnet. Ein holographisches Display beinhaltet in der Regel eine Matrix steuerbarer Pixel, wobei die Pixel die Amplitude und/oder Phase von durchstrahlenden Lichts verändern und so die Objektpunkte rekonstruieren. Ein SLM umfasst eine derartige Matrix. Der SLM . kann beispielsweise diskret als Akusto- optischer Modulator AOM oder auch auch kontinuierlich aufgeführt sein. Eine Ausführung zur Rekonstruktion der Hologramme durch Amplitudenmodulation kann mit einem Liquid Crystal Display (LCD) erfogen. Die vorliegende Erfindung bezieht sich ebenso auf weitere steuerbare Vorrichtungen um hinreichend kohärentes Licht zu einer Lichtwellenfront oder zu einem Lichtwellenrelief zu modulieren.In this document, the light modulator matrix SLM is referred to as a means for controlling the intensity, color and / or phase by switching, blanking or modulating light beams of one or more independent light sources. A holographic display usually contains a matrix of controllable pixels, wherein the pixels change the amplitude and / or phase of transmitted light and thus reconstruct the object points. An SLM comprises such a matrix. The SLM. For example, it can be discretely listed as an acousto-optical modulator AOM or also continuously. An embodiment for the reconstruction of the holograms by amplitude modulation can be achieved with a liquid crystal display (LCD). The present invention also relates to other controllable devices for modulating sufficiently coherent light to a lightwave front or to a lightwave relief.
Die Bezeichnung Pixel umfasst ein steuerbares Hologramm-Pixel der SLM, repäsentiert einen diskreten Wert des Hologrammpunktes und ist einzeln adressiert und gesteuert. Jedes Pixel repräsentiert einen Hologrammpunkt des Hologramms. Im Falle eines LCDs bedeutet ein Pixel ein individuell ansteuerbares Display-Pixel. Für eine DLP ist ein Pixel ein individuell steuerbaren Mikrospiegel oder eine kleine Gruppe davon. Bei einer kontinuierlichen SLM umfasst ein Pixel eine imaginäre Region, welche den Hologrammpunkt representiert. Bei einer Farbdarstellung wird in der Regel ein Pixel in mehrere Subpixel unterteilt welche die Grundfarben repräsentieren.The term pixel includes a controllable hologram pixel of the SLM, represents a discrete value of the hologram point, and is individually addressed and controlled. Each pixel represents a hologram point of the hologram. In the case of an LCD, a pixel means an individually controllable display pixel. For a DLP, a pixel is an individually controllable micromirror or a small group thereof. In a continuous SLM, a pixel includes an imaginary region that represents the hologram point. In a color representation, a pixel is usually subdivided into several subpixels which represent the primary colors.
In den meisten holographischen Systemen ist das kodierte Hologram die Transformation der 3D-Szene. Eine Transformation wird in diesem Dokument weitläufig interpretiert und umfasst jedes mathematische oder rechnerunterstützte Verfahren, welches eine Transformation darstellt oder approximiert und auf der Maxwellschen Wellengleichung basiert. Die besonders bevorzugt verwendete Fouriertransformation lässt sich programmtechnisch einfach implementieren und kann überdies sehr genau durch optische Systeme realisiert werden.In most holographic systems, the encoded hologram is the transformation of the 3D scene. A transformation becomes widespread in this document interprets and includes any mathematical or computer-aided method that represents or approximates a transformation and is based on Maxwell's wave equation. The Fourier transformation, which is used with particular preference, can be implemented simply in terms of programming technology and, moreover, can be realized very precisely by optical systems.
Im Gegensatz zur Darstellung von 2D-Videodaten wird bei der holographischen Darstellung die Lichtwellenfront der 3D-Objekte or 3D-Szenen durch die Interferenz und Überlagerung kohärenter Lichtwellen generiert. Dabei werden für jedes Pixel die Hologrammwerte bestimmt, die erforderlich sind, die Wellenfront zur Rekonstruktion jedes Punktes des Objekts beizutragen. Ein einzelnes Pixel trägt somit mit dem entsprechend modulierten Licht zur Darstellung der gesamten Szene bei. Umgekehrt betrachtet ist die Information zu jedem einzelnen Szenepunkt auf dem gesamten Hologramm verteilt.In contrast to the presentation of 2D video data, the holographic representation generates the lightwave front of 3D objects or 3D scenes through the interference and superposition of coherent lightwaves. In doing so, the hologram values required to contribute to the reconstruction of each point of the object are determined for each pixel. A single pixel thus contributes with the correspondingly modulated light to the representation of the entire scene. Conversely, the information about each scene point is distributed throughout the hologram.
Ändert sich nur ein kleiner Bereich der zu rekonstruierenden Szene, so sind alle Pixelwerte des Hologramms betroffen und es werden alle Pixel mit einem neuen Wert belegt, um das nur wenig veränderte Objekt wiederum zu rekonstruieren. Änderungen des Objekts bewirken folglich auch, dass die Bildpunkte des Videoframes aus welchen die Pixelwerte der SLM generiert werden, unterschiedlich sind, obwohl der Rest der Szene gleich bleibt.If only a small area of the scene to be reconstructed changes, all pixel values of the hologram are affected and all pixels are assigned a new value in order to reconstruct the slightly changed object. Consequently, changes to the object also cause the pixels of the video frame from which the pixel values of the SLM are generated to be different, although the rest of the scene remains the same.
Hieraus ist ersichtlich, dass beispielsweise Verfahren aus der Gruppe derIt can be seen from this that, for example, methods from the group of
Differenzbildkompression nur unbefriedigende Kompressionsraten erzielen. Eine effiziente Kompression von Differenzbildern erscheint daher mit derartigen Hologrammen nicht möglich.Differential image compression can only achieve unsatisfactory compression rates. An efficient compression of difference images therefore does not seem possible with such holograms.
Stand der TechnikState of the art
In der Weiterführung der Aufgabe werden in der Fachliteratur weiterführende Konzepte, beispielsweise eine Datenkompression durch Karhunen-Loeve-Transformation KLT vorgeschlagen. Yoshihiro Ishida et al "Bit Allocation in the Transform Coding of Hologram Patterns" beschreibt eine Realisierung einer effektiven Kompression von Hologrammmustern mit umfangreichen Dateninformationen. Die Kompression der Muster erfolgt anhand einer Betrachtung des reproduzierten Bildes, wobei unnötige Komponenten zur Reproduktion des Bildes aus dem Hologrammmuster, beispielsweise durch Bandpassfilterung, entfernt wird. Die unnötigen Komponenten werden dabei von den notwendigen Komponenten getrennt und so die Datenmenge reduziert.In the continuation of the task further concepts, such as data compression by Karhunen-Loeve-Transformation KLT are proposed in the literature. Yoshihiro Ishida et al "Bit Allocation in the Transform Coding of Hologram Patterns" describes an implementation of effective compression of hologram patterns with extensive data information. The compression of the patterns is done by looking at the reproduced image, removing unnecessary components for reproducing the image from the hologram pattern, for example by bandpass filtering. The unnecessary components are separated from the necessary components, thus reducing the amount of data.
T. Naughton et al "Compression of digital holograms for three-dimensional object reconstruction and recognition", beschreibt eine Anwendung von verlustloser und verlustbehafteter Kompression bei dreidimensionaler Objektrekonstruktion basierend auf Phasen-Shift-Holographie. Mit standardmäßigen verlustlosenT. Naughton et al "Compression of digital holograms for three-dimensional object reconstruction and recognition" describes an application of lossless and lossy compression in three-dimensional object reconstruction based on phase-shift holography. With standard lossless
Kompressionstechniken wird das digitale Hologramm vor Anwendung eines Burrows- Wheeler-coding-Algorithmus in einer Zwischenkodierung von separaten Datenströmen für reale und imaginäre Komponenten gespeichert. Verlustbehaftete Kompressionstechniken basieren auf Subsampling, Quantisierung und diskrete Fouriertransformation.Compression techniques store the digital hologram prior to application of a Burrows-Wheeler coding algorithm in intermediate coding of separate data streams for real and imaginary components. Lossy compression techniques are based on subsampling, quantization, and discrete Fourier transform.
Bei den vielfach genannten Vorschlägen zur verlustbehafteten Datenkompression kann der Nachteil einer Qualtitätseinbuße der holografischen Darstellung nicht überwunden werden. With the frequently mentioned proposals for lossy data compression, the disadvantage of a reduction in the quality of the holographic representation can not be overcome.
Aufgabe der ErfindungObject of the invention
Es ist die Aufgabe der Erfindung, für die Darstellung von digitalen Videohologrammen in Echtzeit ein Verfahren zur effizienten Kompression einer Sequenz von Hologrammdaten bereitzustellen. Dabei soll die zur Speicherung oder Verarbeitung erforderliche Datenmenge pro Videoframe signifikant verringert werden. Überdies sollen die resultierenden Hologrammdaten die Anwendung bekannter, möglichst einfacher beziehungsweise standardisierter Datenkompressionsverfahren erlauben und dabei so hohe Kompressionsraten erzielen, dass eine ressourcenschonende und wirtschaftliche Anwendung ermöglicht wird.It is the object of the invention to provide for the representation of digital video holograms in real time a method for efficient compression of a sequence of hologram data. The amount of data required per video frame for storage or processing should be significantly reduced. Moreover, the resulting hologram data should allow the use of known, as simple as possible or standardized data compression method and thereby achieve such high compression rates that a resource-saving and economical application is possible.
Zusammenfassung der ErfindungSummary of the invention
Das Verfahren dient zur Datenkompression einer Sequenz computergenerierterThe method is for data compression of a sequence of computer generated
Videohologramme, welche ausgehend von einem Bildinhalt aus Bilddaten mitVideo holograms, which, starting from an image content of image data with
Tiefeninformation als komplexe Hologrammwerte kodiert sind.Depth information is encoded as complex hologram values.
Zur Wiedergabe der Sequenz ist eine Einrichtung mit einem Spatial-Light-Modulator,To reproduce the sequence is a device with a Spatial Light Modulator,
SLM, mit einer Vielzahl von Pixeln vorgesehen.SLM, provided with a variety of pixels.
Aus hinreichend kohärentem Licht wird von dem mit komplexen Hologrammwerten gesteuerten SLM ein moduliertes Wellenfeld erzeugt und durch Interferenzen im Raum die gewünschte reale oder virtuelle dreidimensionale Szene rekonstruiert.From sufficiently coherent light, a modulated wave field is generated by the SLM, which is controlled with complex hologram values, and the desired real or virtual three-dimensional scene is reconstructed by interferences in space.
Ausgehend vom SLM werden in pyramidenstumpfförmigen Rekonstruktionsräumen Betrachterfenster generiert. Die Fenster liegen in Augennähe des Betrachters und können mit bekannten Positionserkennungs- und Nachführeinrichtungen der aktuellen Betrachterposition nachgeführt werden.On the basis of the SLM, observer windows are generated in truncated pyramidal reconstruction spaces. The windows are close to the viewer's eye and can be tracked with known position detection and tracking the current viewer position.
Es ist ein Ausgangspunkt der Erfindung, dass jener Bereich, in dem ein Betrachter eine Szene sieht, durch einen pyramidenstumpfförmigen Rekonstruktionsraum, das sogenannte Frustrum, gegeben ist, der sich vom SLM zum Betrachterfenster erstreckt. Der Pyramidenstumpf kann in einer Näherung durch eine Pyramide ersetzt werden, da das Betrachterfenster viel kleiner als der SLM ist.It is a starting point of the invention that the area in which a viewer sees a scene is given by a truncated pyramidal reconstruction space, the so-called frustrum, which extends from the SLM to the viewer window. The truncated pyramid can be replaced by a pyramid in an approximation because the observer window is much smaller than the SLM.
In einer bevorzugten Ausführung der Einrichtung sind die Betrachterfenster so klein dimensioniert, dass, bei einer inversen Betrachtungsweise, Änderungen in beschränkten Bereichen des zu kodierenden Bildinhalts nur in beschränkten Bereichen der SLM, also in wenigen Pixeln, Änderungen der komplexen Hologrammwerte hervorrufen.In a preferred embodiment of the device, the viewer windows are dimensioned so small that, in an inverse view, changes in restricted areas of the image content to be encoded only in limited areas the SLM, so in a few pixels, cause changes in the complex hologram values.
Schritt 1 PhasenmatrixStep 1 Phase matrix
In ersten Schritt des erfindungsgemäßen Verfahrens wird eine Phasenmatrix mit festgelegten Phasenwerten definiert. In einer einfachen Lösung werden die Zufallswerte der Phasen gleichverteilt gewählt, wobei weitere Verteilungen gegebenenfalls zur weiteren Bildverbesserung denkbar sind. Vorzugsweise wird ausgehend von einer Auflösung des SLM mit m-Pixelzeilen und n-Pixelspalten eine Phasenmatrix gleicher Dimension festgelegt.In the first step of the method according to the invention, a phase matrix with defined phase values is defined. In a simple solution, the random values of the phases are chosen to be equally distributed, with further distributions possibly being conceivable for further image enhancement. Preferably, based on a resolution of the SLM with m pixel rows and n pixel columns, a phase matrix of the same dimension is defined.
Schritt 2 SichtbarkeitStep 2 Visibility
Der zweite Verfahrensschritt umfasst die Ermittlung der Sichtbarkeit der Szene. Gemäß der Position des Betrachters und der Tiefen Information des Bildinhalts wird die Szene in sichtbare Objektpunkte strukturiert. In einer einfachen Lösung wird das Objekt der Szene innerhalb des Frustrums mit einer dreiachsigen Diskretisierung strukturiert und ausgehend vom Betrachterfenster die sichbaren Objektpunkte der Szene ermittelt. Bei dieser Berechnung wird die Szene in eine Vielzahl virtueller Ebenen geschnitten, die zur SLM parallel liegen.The second method step involves determining the visibility of the scene. According to the position of the viewer and the depth information of the image content, the scene is structured into visible object points. In a simple solution, the object of the scene within the frustrum is structured with a three-axis discretization and, starting from the observer window, the visible object points of the scene are determined. In this calculation, the scene is cut into a plurality of virtual planes parallel to the SLM.
Vorzugsweise wird ausgehend von einer Auflösung des SLM mit m-Pixelzeilen und n- Pixelspalten die Schnittebenen in eine äquivalente Rasterung mit m-Objektpunkten pro Zeile und n-Objektpunkten pro Spalte diskretisiert. Die Schnittebenen liegen dabei innerhalb des pyramidenförmigen Frustrums und werden mit Vorteil trotz der unterschiedlichen Ausdehungen in die gleiche Anzahl von n*m Punkten diskretisiert. Mit Vorteil wird dabei erreicht, dass Bereiche der Szene, die näher zum Betrachter liegen entsprechend feiner disketisiert werden als Bereiche, die vom Betrachter weit entfernt sind. In einer einfachen Ausführung wird für alle Punkt geprüft, ob sie bereits von einem dem Betrachter näheren Punkt verdeckt werden. Im Ausführungsbeispiel der Erfindung werden weitere Ausführungsformen erläutert.Preferably, starting from a resolution of the SLM with m pixel rows and n pixel columns, the cut planes are discretized into an equivalent screening with m object points per line and n object points per column. The sectional planes lie within the pyramidal frustrum and are advantageously discretized into the same number of n * m points despite the different dimensions. Advantageously, it is achieved that areas of the scene that are closer to the viewer are correspondingly finer discetized than areas that are far away from the viewer. In a simple execution it is checked for all points whether they are already covered by a closer point to the viewer. In the embodiment of the invention further embodiments are explained.
Die Ermittlung der Sichtbarkeit ergibt in Verbindung mit der zur SLM analog gewählten Rasterung in Summe über alle Schnittebenen n*m sichtbare Objektpunkte, für welche im ersten Verfahrensschritt ebenso viele Phasenwerte bereitgestellt wurden. Ist die Anzahl der sichtbaren Objektpunkte kleiner als die vorgesehene Dimension n*m, so wird den restlichen Punkten die verschwindende Intensität Null zugewiesen. Die Szene ist somit durch n*m sichtbare Objektpunkte hinreichend genau strukturiert. Andere Verhältnisse der Rasterungen zwischen SLM, Phasenmatrix und den sichtbaren Objektpunkten sind denkbar und können entsprechend transformiert werden.The determination of the visibility in conjunction with the screening selected analogously to the SLM results in total over all cutting planes n * m visible object points for which in the first method step just as many phase values were provided. Is the Number of visible object points smaller than the intended dimension n * m, the remaining points are assigned the zero vanishing intensity. The scene is thus sufficiently precise structured by n * m visible object points. Other ratios of the screenings between SLM, phase matrix and the visible object points are conceivable and can be transformed accordingly.
Schritt 3 KodierungStep 3 coding
Im Weiteren liegt dem Verfahren der Gedanke zugrunde, dass eine effizientere Kompression einer Sequenz erreichbar ist, soferne Objektpunkte, deren Amplitude sich nicht ändert, in aufeinanderfolgenden Bildern einer Sequenz auch identische Phasenwerte behalten.Furthermore, the method is based on the idea that a more efficient compression of a sequence can be achieved, provided object points whose amplitude does not change retain identical phase values in successive pictures of a sequence.
Die im ersten Schritt festgelegte Phasenmatrix wird für jedes zu berechnende Hologramm der Sequenz verwendet. Dabei wird den sichtbaren Objektpunkten bei einer Transformation zu komplexen Hologrammwerten unabhängig von der jeweiligen Tiefeninformation eines jeweiligen Objektpunkts und in jedem Bild der Sequenz der gleiche definierte Phasenwert zugrunde gelegt.The phase matrix determined in the first step is used for each hologram of the sequence to be calculated. In this case, the visible object points are based on the same defined phase value in a transformation to complex hologram values independently of the respective depth information of a respective object point and in each image of the sequence.
Bleibt ein Objektpunkt in aufeinanderfolgenden Bildern gleich, so bekommt er automatisch in jedem Bild der Sequenz den gleichen komplexen Hologrammwert. Entfällt ein Objektpunkt, so bekommt unter Umständen ein anderer Punkt im nächsten Bild der Sequenz stattdessen den Phasenwert, die der erste Objektpunkt zuvor hatte. Die einmal einem Objektpunkt zugewiesenen Phasenwerte werden nicht mehr geändert. Unveränderte Objektpunkte implizieren unveränderte komplexe Hologrammwerte. Das erfindungsgemäße Verfahren gestattet somit eine effiziente Datenkompression der Sequenz und erlaubt überdies die Anwendung einfacher und schneller Kompressionsverfahren, wie sie beispielsweise durch die Gruppe der Differenzbildverfahren realisiert werden können. Die Anwendung weiterer Kompressionsverfahren ist ebenso möglich.If an object point remains the same in successive pictures, it automatically gets the same complex hologram value in each picture in the sequence. If an object point is omitted, another point in the next image of the sequence may get the phase value that the first object point previously had instead. The phase values once assigned to an object point are no longer changed. Unmodified object points imply unchanged complex hologram values. The inventive method thus allows efficient data compression of the sequence and also allows the use of simple and faster compression methods, as they can be realized for example by the group of differential image methods. The application of further compression methods is also possible.
Die Kodierung nach Burckhardt bzw. Zweiphasenkodierung wird im Ausfürhungsbeispiel näher erläutert. Weitere Verfahrensgruppen der Kodierung, beispielsweise Kinoform sind denkbar.The coding according to Burckhardt or two-phase coding is explained in more detail in Ausfürhungsbeispiel. Further process groups of the coding, for example Kinoform are conceivable.
Bei einer handelsüblichen Auflösung des SLM, welche bereits eine qualitativ hochwertige Darstellung des Hologramms ermöglicht, können die bisher sehr hohen und kostenintensiven Anforderungen an die Speicher- und Übertragungsmedien nachhaltig verringert werden. Es handelt sich um eine Erfindung von hohem wirtschaftlichem Wert.At a commercial resolution of the SLM, which already allows a high-quality representation of the hologram, the previously very high and costly requirements for storage and transmission media are sustainably reduced. It is an invention of high economic value.
Bevorzugte Ausführungsformen der ErfindungPreferred embodiments of the invention
Das erfindungsgemäße Verfahren und die Kompressionseinrichtung werden anhand der nachfolgenden Ausführungsbeispiele weiterführend erläutert.The method and the compression device according to the invention will be explained in more detail with reference to the following exemplary embodiments.
Die Beispiele basieren auf Einrichtungen zur Darstellung von computergeneriertenThe examples are based on means for representing computer generated
Videohologrammen, welche der Anmelder bereits in PCT/EP 2005 009604 sowieVideo holograms, which the applicant already in PCT / EP 2005 009604 and
WO 2004/044659 beschrieben hat.WO 2004/044659 has described.
Den genannten Verfahren und Displays liegt dabei der Gedanke zugrunde, nicht dasThe mentioned methods and displays are based on the idea, not the
Objekt der Szene zu rekonstruieren, welches sodann vom Betrachter gesehen werden kann, sondern in zwei kleine Betrachtungsfenster, welche jeweils die Pupillen derObject of the scene to be reconstructed, which can then be seen by the viewer, but in two small viewing window, each of which the pupils of the
Betrachter überdecken, jene Wellenfront zu rekonstruieren, die das Objekt der Szene aussenden so aussenden würde, wenn es an der vorgegebenen Stelle real existieren würde.Observers cover up to reconstruct that wavefront that would send out the object of the scene so if it existed in the given place in reality.
Durch die Betrachterfenster kann der Betrachter die Szene sehen. Die virtuellen Betrachterfenster überdecken die Pupillen des Betrachters und werden mit bekannten Positionserkennungs- und Nachführeinrichtungen der aktuellen Betrachterposition nachgeführt.Through the viewer window, the viewer can see the scene. The virtual observer windows cover the pupils of the observer and are tracked with known position detection and tracking devices of the current observer position.
Zwischen dem SLM des Hologrammdisplays und den Betrachterfenstern ist ein virtueller pyramidenstumpförmiger Betrachterbereich aufgespannt, wobei die SLM die Grundfläche und das Betrachterfenster die Spitze bildet. Bei sehr kleinen Betrachterfenstern kann der Pyramidenstumpf als Pyramide betrachtet werden. Der Betrachter sieht durch die Betrachterfenster in Richtung der SLM und nimmt im Betrachterfenster die Wellenfront wahrgeneriert wird, welche die Szene repräsentiert sieht das im Betrachterbereich rekonstruierte Objekt der Szene.Between the SLM of the hologram display and the viewer windows, a virtual truncated pyramid-shaped observer area is spanned, with the SLM forming the base area and the observer window forming the top. For very small observer windows, the truncated pyramid can be regarded as a pyramid. The observer sees through the observer window in the direction of the SLM and, in the observer window, perceives the wavefront as true, which represents the scene, sees the object reconstructed in the observer area of the scene.
In einem ersten Ausfürungsbeispiel des Verfahrens werden die computergenerierten Videohologramme mit einem Hologrammdisplay rekonstruiert, welches der Anmelder bereits in der Druckschrift PCT/EP 2005 009604 "Verfahren und Einrichtung zum Kodieren und Rekonstruieren von computergenerierten Videohologrammen" beschrieben hat.In a first embodiment of the method, the computer-generated video holograms are reconstructed with a hologram display, which the applicant has already described in the publication PCT / EP 2005 009604 "Method and device for Encoding and Reconstructing Computer Generated Video Holograms ".
Die horizontale Parallaxe zur Erzeugung des Stereo-Effekts wird durch räumlichesThe horizontal parallax for generating the stereo effect is determined by spatial
Multiplexing, beispielsweise durch eine Lentikularmaske und die Darstellung derMultiplexing, for example by a lenticular mask and the representation of
Hologramme in benachbarten SLM-Spalten erzielt. wird dabei nicht die Szene selbst rekonstruiert, sondern in kleine virtuelleAchieved holograms in adjacent SLM columns. not the scene itself is reconstructed, but in small virtual
Betrachterfenster jene Wellenfront generiert wird, welche die Szene repräsentiert beziehungsweise repräsentieren würde.Viewer window that wave front is generated, which would represent or represent the scene.
Die Betrachterfenster sind dabei so klein dimensioniert, dass, bei einer inversen Betrachtungsweise Änderungen in beschränkten Bereichen des zu kodierenden Bildinhalts nur in beschränkten Bereichen der SLM, also in wenigen Pixeln, Änderungen der komplexen Hologrammwerte hervorrufen.The observer windows are dimensioned so small that, in an inverse view, changes in restricted areas of the image content to be encoded cause changes in the complex hologram values only in restricted areas of the SLM, that is to say in a few pixels.
Die folgende Ausführung wird mit einer SLM mit m-Pixelzeilen und n-Pixelspalten weiterführend erläutert. Der SLM ist hier ein LCD-Display, welches hinreichend moduliertes Licht in den Amplitudenwerten moduliert.The following embodiment will be further explained with an SLM with m pixel rows and n pixel columns. The SLM is here an LCD display, which modulates sufficiently modulated light in the amplitude values.
Nachfolgend wird das erfindungsgemäße Verfahren zur Datenkompression weiterführend erläutert.The method according to the invention for data compression will be explained below.
In einem ersten Verfahrensschritt wird eine Phasenmatrix mit Phasenwerten festgelegt. Die Phasenmatrix umfasst gleich der SLM m-Zeilen und n-Spalten, wobei die Phasenwerte in Zeilen- und Spaltenrichtung gleichverteilt gewählt sind.In a first method step, a phase matrix with phase values is determined. The phase matrix comprises equal to the SLM m rows and n columns, with the phase values chosen to be equally distributed in the row and column directions.
Ein zweiter Verfahrensschritt betrifft die Diskretisierung des Objekts der Szene und die Ermittlung von sichbaren Objektpunkten der Szene. Die Ermittlung der Sichtbarkeit erfolgt gemäß der Position des Betrachters, also der Blickrichtung durch die kleinen Betrachterfenster auf das Objekt der Szene sowie gemäß der Tiefeninformation der Szenepunkte.A second method step relates to the discretization of the object of the scene and the determination of visible object points of the scene. The determination of the visibility is carried out according to the position of the viewer, ie the viewing direction through the small observer window on the object of the scene and according to the depth information of the scene points.
In einer einfachen Realisierung wird das Objekt in Ebenen parallel zur SLM geschnitten. In jeder Schnittebene wird das Objekt innerhalb des Betrachterbereichs in Punkte gerastert und zwar analog zur Auflösung der SLM in ebenso n-Zeilen und m-Spalten. Ausgehend vom Betrachterauge werden nun die Punkte in der Sichtbarkeitsebene geprüft, ob ein neuer Punkt schon von einem vorhergehenden Punkt verdeckt ist. Infolge der gleichen Anzahl an Rasterpunktwerten in jedem Datensatz verändert sich damit die zugeordnete Fläche zu den einzelnen Rasterpunkten proportional zum Abstand vom Betrachterfenster. Ziel der Sichtbarkeitsbestimmung ist die Bestimmung beziehungsweise Selektion von m mal n sichtbaren Punkten die nunmehr das sichtbare Objekt diskretisieren.In a simple implementation, the object is cut in planes parallel to the SLM. In each section plane, the object is scanned into points within the observer area, analogous to the resolution of the SLM in n-rows and m-columns as well. Starting from the observer eye, the points in the visibility level are now checked to see if a new point is already covered by a previous point. As a result of the same number of halftone dot values in each data set, the assigned area to the individual grid points changes in proportion to the distance from the viewer window. The aim of the visibility determination is the determination or selection of m times n visible points that now discretize the visible object.
Die Schrittweite zwischen den Schnittebenen ist in einfachen Ausführungsformen äquidistant, kann jedoch individuell der Tiefeninformation der Szene angepasst werden.The step size between the cutting planes is equidistant in simple embodiments, but can be adjusted individually to the depth information of the scene.
Ausgehend vom Betrachter werden in jeder Schnittebene der Schnitt mit dem Objekt ermittelt und von diesen Randpunkten die Sichtbarkeit geprüft, ob sie bereits von einem dem Betrachter näheren Punkt verdeckt werden. Beginnend mit den virtuellen Schnittebene, welche dem Betrachter am nächsten liegt. Die Sichtbarkeit der Objektpunkte wird durch Randpunkte bestimmt, die als Schnitt der Ebene mit dem Rand des Objekts ermittelt.Based on the observer, the intersection with the object is determined in each section plane and the visibility of these boundary points is checked as to whether they are already obscured by a point closer to the viewer. Starting with the virtual cutting plane closest to the viewer. The visibility of the object points is determined by edge points, which are determined as a section of the plane with the edge of the object.
Ein abgetasteter Szenepunkt in Zeile i und Spalte j einer entfernteren Ebene liegt für das Auge im Zentrum des Viewing window verdeckt hinter dem Element in Zeile i und Spalte j einer näheren Ebene. Bei der Berechnung wird also geprüft, ob ein Szenepunkt i, j schon in einer dem Auge näherliegenden Ebene vorhanden ist und gegebenenfalls eliminiert.A sampled scene point in row i and column j of a more distant level lies hidden behind the element in row i and column j of a closer level for the eye in the center of the viewing window. In the calculation, it is thus checked whether a scene point i, j is already present in a plane closer to the eye and possibly eliminated.
Im dritten Verfahrensschritt, der Kodierung, wird den sichtbaren Objektpunkten bei einer Transformation zu komplexen Hologrammwerten unabhängig von der jeweiligen Tiefen Information eines jeweiligen Objektpunkts und in jedem Bild der Sequenz der gleiche definierte Phasenwert zugrunde gelegt. Bleibt ein Objektpunkt in aufeinanderfolgenden Bildern gleich, so bekommt er automatisch in jedem Bild der Sequenz den gleichen komplexen Hologrammwert. Eine Anwendung der Differenzbildkompression erlaubt eine effiziente Verringerung des Datenumfangs der Sequenz.In the third method step, the coding, the visible object points are based on the same defined phase value in a transformation to complex hologram values independently of the respective depth information of a respective object point and in each image of the sequence. If an object point remains the same in successive pictures, it automatically gets the same complex hologram value in each picture in the sequence. An application of differential image compression allows efficient reduction of the data size of the sequence.
In einem weiteren Ausführungsbeispiel werden im Gegensatz zum oben genannten räumlichen Multiplexing die Betrachterfenster bei einem Hologrammdisplay nach der Druckschrift WO 2004/044659 "Videohologramm und Einrichtung zur Rekonstruktion von Videohologrammen" durch zeitliches Multiplexing generiert. Durch sequentielles Schalten der Lichtquelle und des SLM-Inhalts werden zwei leicht perspektivisch verschiedene Bildansichten an die jeweiligen Betrachterfenster gelenkt. Das erfindungsgemäße Verfahren zur Datenkompression kann auf beide Bildansichten angewendetwerden. Eine zusätzliche Verringerung der gespeicherten Datenmenge kann erzielt werden, wenn beispielsweise die untschiedliche Perspektive für Bereiche im Hintergrund der Szene vernachlässigt wird und die Ansichten als gleich angenommen werden.In a further embodiment, in contrast to the above-mentioned spatial multiplexing, the viewer windows in a hologram display according to document WO 2004/044659 "Video hologram and device for the reconstruction of video holograms" are generated by temporal multiplexing. By sequentially switching the light source and the SLM content, two slightly perspective different image views are directed to the respective viewer window. The inventive method for data compression can be applied to both image views. An additional reduction in the amount of data stored can be achieved if, for example, the different perspective for areas in the background of the scene is neglected and the views are assumed to be the same.
Die erhaltenen in den beiden Ausfürungsbeispiel generierten Hologrammwerte werden in eine Burckhardt-Kodierung oder in eine Zweiphasenkodierung umgewandelt.The obtained hologram values generated in the two embodiments are converted into Burckhardt coding or two-phase coding.
Im Falle der Burckhardt-Kodierung wird der komplexe Wert durch drei, in den Werten 0 bis 255 diskretisierten Graustufen repräsentiert, wobei der durch 255 repräsentierteIn the case of Burckhardt coding, the complex value is represented by three gray levels discretized in the values 0 to 255, the one represented by 255
Wert den maximal erzielbaren Komponentenwert repräsentiert.Value represents the maximum achievable component value.
Ausgehend von einer festgelegten maximal erzielbaren Signalstärke wird die aktuelleStarting from a specified maximum achievable signal strength, the current
Signalstärke gemäß dem Maximalwert als Bezugsgröße und den verfügbaren 255Signal strength according to the maximum value as a reference and the available 255
Intervallen normiert.Normalized intervals.
Der Maximalwert wird am Beginn der Datenkompression gewählt und initialisiert.The maximum value is selected and initialized at the beginning of data compression.
Eine Änderung des Maximalwerts zwischen zwei Bildern führt zu einer Änderung derChanging the maximum value between two images will change the
Hologrammwerte in allen Pixeln und vermindert dadurch die erzielbareHologram values in all pixels and thereby reduces the achievable
Kompressionsrate der Sequenz, da sich bei Bildern, wo sich der Maximalwert ändert, die ansonsten hohe Kompressionsrate nicht erzielen lässt.Compression rate of the sequence, since the otherwise high compression rate can not be achieved for images where the maximum value changes.
Der in einer Videosequenz auftretende Maximalwert, beziehungsweise das entsprechende Quantil einer Normalverteilung, ist zu Beginn der Kodierung nicht bekannt. Eine einfache Lösungsmöglichkeit besteht darin, die Spitzenwerte, welche den Maximalwert überschreiten, abzuschneiden und durch den Maximalwert zu ersetzen. Der Maximalwert entspricht einem entsprechenden Quantil der Normalverteilung und erlaubt eine entsprechende statistische Beschreibung.The maximum value occurring in a video sequence, or the corresponding quantile of a normal distribution, is not known at the beginning of the coding. A simple solution is to cut off the peak values that exceed the maximum value and replace them with the maximum value. The maximum value corresponds to a corresponding quantile of the normal distribution and allows a corresponding statistical description.
Eine zu große Wahl des Maximalwerts bedingt naturgemäß eine gröbere Rasterung der Zwischenintervalle. Andererseits hat eine zu kleine Wahl zur Folge, dass ein entsprechend höherer Anteil von Spitzenwerten nur durch den Maximalwert angenähert werden kann. In diesen Punkten kann der in die Kodierung eingehende Eingangswert nicht mehr durch einen entsprechenden Ausgangswert nach der Kodierung rekonstruiert werden.Too large a choice of the maximum value naturally requires a coarser screening of the intermediate intervals. On the other hand, a too small choice means that a correspondingly higher proportion of peak values can only be approximated by the maximum value. In these points, the input value entering the coding can no longer be reconstructed by a corresponding output value after encoding.
Die Kompressionseinrichtung zur Duchrführung der Datenkompression umfasst mindestes Speichermittel zur Speicherung der Phasenmatrix, Rechenmittel zur Generierung der Phasenwerte der Phasenmatrix, Rechenmittel zur Strukturierung der Szene in sichtbare Objektpunkte mit entsprechenden Speichermitteln, Rechenmittel zur Kodierung der sichtbaren Objektpunkte aufgrund der Phasenwerte zu komplexen Hologrammwerten und weiteren Speichermitteln, welche zumindest eine Teilsequenz als Eingangsdaten für die Datenkompression bereitstellt.The compression device for carrying out the data compression comprises at least memory means for storing the phase matrix, arithmetic means for generating the phase values of the phase matrix, arithmetic means for structuring the scene into visible object points with corresponding storage means, arithmetic means for coding the visible object points on the basis of the phase values to complex hologram values and further storage means, which provides at least one subsequence as input data for the data compression.
Die Druckschrift DE 10 2004 063 838 des Anmelders beschreibt ein Verfahren zum Berechnen von computergenerierten Videohologrammen. Es ordnet Objekte mit komplexen Amplitudenwerten einer dreidimensionalen Szene in Rasterpunkten von parallelen, virtuellen Schnittebenen zu, um zu jeder Schnittebene einen separaten Objektdatensatz mit diskreten Amplitudenwerten in Rasterpunkten zu definieren und aus den Bilddatensätzen eine holographische Kodierung für eine Lichtmodulatormatrix eines Hologrammdisplays zu berechnen. Im Weiteren beschreibt die Schrift eine Signalbearbeitungseinrichtung zur Durchführung des Verfahrens. Die Verfahrenschritte sind durch die entsprechenden Elemente der Signaleinrichtung implementiert und umfassen:Applicant's document DE 10 2004 063 838 describes a method for calculating computer-generated video holograms. It assigns objects with complex amplitude values of a three-dimensional scene in grid points of parallel, virtual cutting planes to define a separate object data set with discrete amplitude values in grid points for each cutting plane and to calculate a holographic coding for a light modulator matrix of a hologram display from the image data sets. In the following, the document describes a signal processing device for carrying out the method. The method steps are implemented by the corresponding elements of the signaling device and include:
- (S1) Transformation des Objektdatensatzes einer jeden Schnittebene in eine zweidimensionale Verteilung von Wellenfeldern in mindestens ein virtuelles Fenster in einer Referenzebene nahe den Augen eines Betrachters- (S1) transformation of the object data set of each section plane into a two-dimensional distribution of wave fields in at least one virtual window in a reference plane near the eyes of a viewer
- (S2) Addition der berechneten Verteilungen für alle Schnittebenen in einen Referenzdatensatz- (S2) adding the calculated distributions for all cutting planes into a reference data set
- (S3) Transformation des Referenzdatensatzes von der Referenzebene in eine endlich entfernte, parallele Hologrammebene am Ort des SLMs zur Erzeugung eines Hologrammdatensatzes für das gemeinsame CGH.- (S3) transformation of the reference data set from the reference plane into a finite, parallel hologram plane at the location of the SLM to generate a hologram data set for the common CGH.
Zur Durchführung des erfindungsgemäßen Verfahrens wird in einer einfachen Ausführung auf diese Signaleinrichtung zur Kodierung aufgebaut. Alternativ besteht die Möglichkeit, die Signaleinrichtung zu erweitern, indem einzelne Verfahrensschritte modifiziert werden. Die Verwendung der Schnittebenen bietet in einer Modifikation ebenso die Möglichkeit, die Szene, wie im ersten Ausführungsbeispiel erläutert, in sichtbare Objektpunkte zu strukturieren. Die Kodierung wird erweitert, indem, wie in den vorangestellten Ausführungsbeispielen erläutert, den sichtbaren Objektpunkten die Phasenwerte der Phasenmatrix zugeordnet werden. Die generierten komplexen Hologramm werden in drei- oder zweiphasige Komponenten getrennt und beispielsweise durch ein Differenzbildverfahren, welches ebenfalls mit entsprechenden Rechenmitteln implementiert ist, effizient komprimiert. For carrying out the method according to the invention, this signal device for coding is constructed in a simple embodiment. Alternatively, it is possible to extend the signaling device by modifying individual method steps. In a modification, the use of the cutting planes also offers the possibility of structuring the scene, as explained in the first exemplary embodiment, into visible object points. The coding is extended by assigning the phase values of the phase matrix to the visible object points as explained in the preceding exemplary embodiments. The generated complex holograms are separated into three- or two-phase components and efficiently compressed, for example, by a differential image method, which is also implemented with corresponding calculation means.

Claims

Patentansprüche claims
1. Verfahren zur Datenkompression einer Sequenz computergenerierter Videohologramme, welche aus Bilddaten mit Tiefeninformation als komplexe Hologrammwerte einer Szene kodiert sind, zur Darstellung auf einer Wiedergabeeinrichtung mit einem Spatial-Light-Modulator, SLM, welcher ein moduliertes Wellenfeld erzeugt und die gewünschte dreidimensionale Szene rekonstruiert, wobei Änderungen in beschränkten Bereichen des zu kodierenden Bildinhalts nur in beschränkten Bereichen der SLM Änderungen der komplexen Hologrammwerte hervorrufen umfassend die SchritteA method for data compression of a sequence of computer-generated video holograms, which are encoded from image data with depth information as complex hologram values of a scene, for display on a display device with a spatial light modulator, SLM, which generates a modulated wave field and reconstructs the desired three-dimensional scene, wherein changes in restricted areas of the image content to be encoded cause changes in the complex hologram values only in restricted areas of the SLM, comprising the steps
- (S1) Definition einer Phasenmatrix mit-festgelegten Phasenwerten φ(i,j)- (S1) Definition of a phase matrix with fixed phase values φ (i, j)
- (S2) Ermittlung der Sichtbarkeit der Szene gemäß der Position eines Betrachters und der Tiefen information des zu kodierenden Bildinhalts, wobei die Szene in sichtbare Objektpunkte S(SJ) strukturiert wird- (S2) determining the visibility of the scene according to the position of a viewer and the depth information of the image content to be coded, wherein the scene is structured into visible object points S (SJ)
- (S3) Kodierung der Szene, wobei diesen sichtbaren Objektpunkten S(i, j) bei einer Transformation komplexen Hologrammwerten unabhängig von der jeweiligen Tiefeninformation und in jedem Bild der Sequenz der gleiche definierte Phasenwert φ(i,j) zugrunde gelegt wird, so dass in aufeinanderfolgenden Bildern unveränderte Objektpunkte unveränderte komplexe Hologrammwerte implizieren und eine effiziente Datenkompression der Sequenz erlauben.- (S3) encoding the scene, wherein these visible object points S (i, j) in a complex complex hologram transformation independent of the respective depth information and in each image of the sequence, the same defined phase value φ (i, j) is used, so that in consecutive images, unchanged object points imply unchanged complex hologram values and allow efficient data compression of the sequence.
2. Verfahren zur Datenkompression nach Anspruch 1 für eine Wiedergabeeinrichtung, die ausgehend vom SLM in pyramidenstumpfförmigen Rekonstruktionsräumen mindestens die Pupille überdeckende und mit der Bewegung des Betrachters nachgeführte Betrachterfenster generiert.2. A method for data compression according to claim 1 for a display device, which generates starting from the SLM in truncated pyramidal reconstruction spaces at least the pupil covering and tracked with the movement of the observer viewer window.
3. Verfahren zur Datenkompression nach Anspruch 2 für eine Wiedergabeeinrichtung, wobei die Betrachterfenster so klein dimensioniert sind, dass Änderungen in beschränkten Bereichen des zu kodierenden Bildinhalts nur in beschränkten Bereichen der SLM Änderungen der komplexen Hologrammwerte hervorrufen. 3. A method for data compression according to claim 2 for a display device, wherein the viewer windows are dimensioned so small that changes in restricted areas of the image content to be encoded cause only in limited areas of the SLM changes in the complex hologram values.
4. Verfahren zur Datenkompression nach Anspruch 3 wobei das Objekt durch eine dreiachsige Diskretisierung in sichtbare Szenepunkte S(ij) strukturiert wird.4. The method for data compression according to claim 3, wherein the object is structured by a three-axis discretization into visible scene points S (ij).
5. Verfahren zur Datenkompression nach Anspruch 4, wobei das Objekt durch eine dreiachsige Diskretisierung innerhalb des Rekonstruktionsraumes in sichtbare Szenepunkte S(i,j) strukturiert wird.5. The method for data compression according to claim 4, wherein the object is structured by a triaxial discretization within the reconstruction space into visible scene points S (i, j).
6. Verfahren zur Datenkompression nach Anspruch 4, wobei das Objekt durch eine dreiachsige Diskretisierung innerhalb des Rekonstruktionsraumes in sichtbare Szenepunkte S(i,j) strukturiert wird, wobei jeder zur SLM parallelen Schnittebene der Diskretisierung die gleiche Rasterung zugeordnet wird.6. The method for data compression according to claim 4, wherein the object is structured by a triaxial discretization within the reconstruction space into visible scene points S (i, j), wherein each slicing plane parallel to the SLM is assigned the same rasterization of the discretization.
7. Verfahren zur Datenkompression nach Anspruch 4, wobei die Anzahl der sichtbaren Objektpunkte, Dimension der SLM, der Phasenmatrix und der Diskretisierung des Objekts gleich oder äquvalent ist.The method of data compression of claim 4, wherein the number of visible object points, dimension of the SLM, phase matrix and discretization of the object is the same or equivalent.
8. Verfahren zur Datenkompression nach Anspruch 1 , wobei die Dimension der Phasenmatrix, die Auflösung der SLM, die Dimension der sichtbaren Objektpunkte und die Rasterung der der zur SLM parallelen Schnittebene für die Diskretisierung jeweils gleich oder äquivalent ist.The data compression method of claim 1, wherein the dimension of the phase matrix, the resolution of the SLM, the dimension of the visible object points, and the rasterization of the slicing plane parallel to the SLM are the same or equivalent for the discretization.
9. Verfahren zur Datenkompression nach Anspruch 4, wobei, falls die Anzahl der sichtbaren Objektpunkte die vorgesehene Dimension unterschreitet, den restlichen Punkten die verschwindende Intensität Null zugewiesen wird.9. The method for data compression according to claim 4, wherein, if the number of visible object points falls below the intended dimension, the remaining points are assigned the zero vanishing intensity.
10. Verfahren zur Datenkompression nach Anspruch 1 , wobei die Kodierung der Szene nur für die sichtbaren Objektpunkte S(i, j) erfolgt.10. A method of data compression according to claim 1, wherein the coding of the scene only for the visible object points S (i, j) takes place.
11. Verfahren zur Datenkompression nach Anspruch 1, wobei Objektpunkte S(i, j), deren Amplitude sich nicht ändert, in aufeinanderfolgenden Bildern einer Sequenz auch identische Phasenwerte behalten.11. A method of data compression according to claim 1, wherein object points S (i, j) whose amplitude does not change, also keep identical phase values in successive pictures of a sequence.
12. Verfahren zur Datenkompression nach Anspruch 1 , wobei die Zeilenwerte und/oder die Spaltenwerte der Phasenmatrix gleichverteilt sind. The method of data compression of claim 1, wherein the row values and / or the column values of the phase matrix are equally distributed.
13. Verfahren zur Datenkompression nach Anspruch 1 , wobei die komplexen Hologrammwerte in Burckhardt-Komponenten oder Zweiphasenkomponenten transformiert werden. The method of data compression of claim 1, wherein the complex hologram values are transformed into Burckhardt components or two-phase components.
PCT/DE2007/000108 2006-01-24 2007-01-15 Method for data compression of computer-generated video hologrammes WO2007085233A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006004299.9 2006-01-24
DE200610004299 DE102006004299A1 (en) 2006-01-24 2006-01-24 Computer generated video hologram sequence data compression method, involves underlying all viewable object points in object point of same defined phase value, so that unchanged points of object imply unchanged hologram values

Publications (2)

Publication Number Publication Date
WO2007085233A2 true WO2007085233A2 (en) 2007-08-02
WO2007085233A3 WO2007085233A3 (en) 2007-09-13

Family

ID=38051006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2007/000108 WO2007085233A2 (en) 2006-01-24 2007-01-15 Method for data compression of computer-generated video hologrammes

Country Status (3)

Country Link
DE (1) DE102006004299A1 (en)
TW (1) TW200812393A (en)
WO (1) WO2007085233A2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006066906A1 (en) * 2004-12-23 2006-06-29 Seereal Technologies Gmbh Method and device for computing computer-generated video holograms

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0880110B1 (en) * 1997-05-22 2006-11-08 Nippon Telegraph And Telephone Corporation Method and apparatus for displaying computer generated holograms
US6900904B1 (en) * 2000-02-04 2005-05-31 Zebra Imaging, Inc. Distributed system for producing holographic stereograms on-demand from various types of source material

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006066906A1 (en) * 2004-12-23 2006-06-29 Seereal Technologies Gmbh Method and device for computing computer-generated video holograms

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAUGHTON T J ET AL: "Three-dimensional imaging, compression, and reconstruction of digital holograms" OPTO-IRELAND 2002: OPTICAL METROLOGY, IMAGING, AND MACHINE VISION 5-6 SEPT. 2002 GALWAY, IRELAND, Bd. 4877, 5. September 2002 (2002-09-05), - 6. September 2002 (2002-09-06) Seiten 104-114, XP002435814 Proceedings of the SPIE - The International Society for Optical Engineering SPIE-Int. Soc. Opt. Eng USA ISSN: 0277-786X *
YOSHIKAWA H ET AL: "HOLOGRAPHIC IMAGE COMPRESSION BY MOTION PICTURE CODING" PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US, Bd. 2652, 29. Januar 1996 (1996-01-29), Seiten 2-9, XP008035887 ISSN: 0277-786X *

Also Published As

Publication number Publication date
WO2007085233A3 (en) 2007-09-13
DE102006004299A1 (en) 2007-07-26
TW200812393A (en) 2008-03-01

Similar Documents

Publication Publication Date Title
DE102007023739B4 (en) Method for rendering and generating color video holograms in real time and holographic display device
EP2158522B1 (en) Analytical method for computing video holograms in real time
DE10353439B4 (en) Device for the reconstruction of video holograms
EP2160655B1 (en) Method for generating video holograms in real-time for enhancing a 3d-rendering graphic pipeline
DE102007013431B4 (en) Method and apparatus for reconstructing a three-dimensional scene with corrected visibility
EP2024793B1 (en) Method and device for rendering and generating computer-generated video holograms
DE102004063838A1 (en) Method and apparatus for calculating computer generated video holograms
WO2008025839A1 (en) Method for generating video holograms in real time by means of subholograms
DE102006062377B4 (en) Method and holographic display device for reducing speckle
WO2008025844A1 (en) Method for generating computer-generated video holograms in real time by means of propagation
WO2007118842A1 (en) Method for rendering and generating computer-generated video holograms in real-time
DE102004044111A1 (en) Method and device for coding and reconstructing computer-generated video holograms
DE102007045332A1 (en) Holographic display with improved reconstruction quality
DE102015205873A1 (en) Method for calculating holograms for holographic reconstruction of two-dimensional and / or three-dimensional scenes
WO2008138980A2 (en) Method for generating video holograms for a holographic reproduction device with free addressing
EP2181361B1 (en) Holographic reconstruction device
DE102006042324B4 (en) Method for generating computer-generated video holograms in real time by means of sub-holograms
WO2007085233A2 (en) Method for data compression of computer-generated video hologrammes
DE102006042323B4 (en) Method for generating computer-generated video holograms in real time by means of propagation
DE102006042326A1 (en) Computer generated video hologram generating method for holographic playback device, involves determining contributions of subholograms at entire reconstruction of scene for each object point from look-up table

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase

Ref document number: 07711152

Country of ref document: EP

Kind code of ref document: A2