DE102007041719B4 - Method for creating augmented reality in a room - Google Patents
Method for creating augmented reality in a room Download PDFInfo
- Publication number
- DE102007041719B4 DE102007041719B4 DE102007041719A DE102007041719A DE102007041719B4 DE 102007041719 B4 DE102007041719 B4 DE 102007041719B4 DE 102007041719 A DE102007041719 A DE 102007041719A DE 102007041719 A DE102007041719 A DE 102007041719A DE 102007041719 B4 DE102007041719 B4 DE 102007041719B4
- Authority
- DE
- Germany
- Prior art keywords
- image
- difference
- foreground
- complementary
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/12—Projectors or projection-type viewers; Accessories therefor adapted for projection of either still pictures or motion pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
Abstract
Verfahren zur Erzeugung erweiterter Realität in einem Raum (1), bei dem zumindest auf einen Teil den Raum (1) begrenzender und/oder im Raum (1) befindlicher Oberflächen mittels mindestens eines digitalen Videoprojektors (3) Bilder (I, I') einer Bildfolge (BP) projiziert werden, wobei die Bilder (I, I') räumlich und/oder zeitlich in Luminanz und/oder Chrominanz moduliert werden, wobei mindestens eine mit mindestens einem der Videoprojektoren (3) synchronisierte Kamera (2) zumindest einen Teil des Raumes (1) aufnimmt, wobei die Bilder (I, I') pixelweise moduliert werden, dadurch gekennzeichnet, dass eine für ein menschliches Auge gerade wahrnehmbare Differenz (Δ) für mindestens ein Pixel mindestens eines Originalbildes (O) aus einer Originalbildfolge berechnet wird, dass zur Einblendung einer für einen Betrachter oder eine der Kameras (2) nicht wahrnehmbaren Struktur (C) ein positionsgleiches Pixel in einem aus dem Originalbild (O) abgeleiteten Bild (I) zumindest in einem roten und/oder blauen und/oder grünen Farbkanal maximal um die gerade wahrnehmbare Differenz (Δ) und...Method for generating augmented reality in a room (1) in which at least part of the room (1) delimiting and / or in space (1) is imaged (I, I ') by means of at least one digital video projector (3) Image sequence (B P ) are projected, wherein the images (I, I ') spatially and / or temporally modulated in luminance and / or chrominance, wherein at least one with at least one of the video projectors (3) synchronized camera (2) at least a part of the space (1), wherein the images (I, I ') are modulated pixel by pixel, characterized in that a difference (Δ) just perceptible to a human eye is calculated for at least one pixel of at least one original image (O) from an original image sequence in that, for the purpose of superimposing a structure (C) imperceptible to a viewer or one of the cameras (2), a position-identical pixel in an image (I) derived from the original image (O) is at least red and / or blue and / or green color channel at most around the currently perceptible difference (Δ) and ...
Description
Die Erfindung betrifft ein Verfahren zur Erzeugung erweiterter Realität in einem Raum.The The invention relates to a method for generating augmented reality in one Room.
Viele moderne Fernsehproduktionen wenden virtuelle Studiotechnologie an. Chroma Keying ist das wichtigste Verfahren, um live aufgenommene oder gespeicherte Videosignale eines realen Blue-Screen-Studios mit virtuellen Inhalten zu überlagern. Dabei wird das Videosignal analysiert und Pixel des Videos mit einer vordefinierten Farbe (z. B. blau oder grün) werden durch computergenerierte Grafiken ersetzt. Dies ermöglicht die Benutzung von Bildverarbeitungstechniken, um den Vordergrund effektiv vom Hintergrund zu trennen und anschließend reale Objekte (wie einen Schauspieler oder einen Moderator) nahtlos in eine rein virtuelle Umgebung zu integrieren. Blue-Screen-Techniken beschränken virtuelle Studiotechnologie allerdings auf besondere Aufnahmeumgebungen. Deshalb untersuchen neueste Forschungsanstrengungen die Möglichkeiten erweiterter Realität (AR – augmented reality) für Fernsehproduktionen. Im Gegensatz zu Blue-Screen-Studios werden voll ausgestattete reale Fernsehstudios mittels virtueller Inhalte erweitert indem das aufgenommene Videomaterial mit Computergrafiken überlagert wird. In Anlehnung an den Begriff virtuelles Studio verwenden wir hierfür im Folgenden den Begriff erweitertes Studio. Verschiedene Gruppen haben bereits die Vorzüge erweiterter Realität im Rahmen von Studioproduktionen gezeigt. In (Yuko Yamanuchi et al., Real space-based virtual studio seamless synthesis of a real set image with a virtual set image, Proceedings of the ACM symposium an Virtual reality software anc technology, Hybrid VR, 2002, ISBN 1-58113-530-0, pp. 194–200) werden 360° ultrahoch aufgelöste omnidirektionale (kugelförmige) Bilder künstlicher Hintergründe erweitert, die in Echtzeit im Verhältnis zur Rotation einer Pan-Tilt-Kamera (pan – horizontale Rotation; tilt – vertikale Rotation) verzerrt und durch einen realen Schauspieler verdeckt werden. Eine Axi-Vision-Kamera wird benutzt, um gleichzeitig Farb- und Tiefeninformationen für jedes Pixel aufzunehmen. Jüngste Beispiele werden auch im Zusam menhang mit dem EU-geförderten Projekt MATRIS gezeigt (IST, MATRIS – Markerless real-time Tracking for Augmented Reality Image Synthesis, http://www.ist-matris.org/, 2004, Last visited August 31st, 2006). In (Frahm et al., Markerless Augmented Reality with Light Source Estimation for Direct Illumination, Conference an Visual Media Production CVMP, London, December 2005) wird eine Fish-Eye-Kamera zusätzlich zu einer Studio-Kamera benutzt. Während die Studio-Kamera die zu erweiternden Videoinhalte aufnimmt, beobachtet die Fish-Eye-Kamera die obere Hemisphäre, um die installierten Studiobeleuchtungen zu verfolgen. Die Anwendung eines Structure-from-Motion-Algorithmus auf beide Bilder ermöglicht die Schätzung der Stellung der Studio-Kamera. Herkömmliche Stereo-Algorithmen erlauben die Rekonstruktion der Tiefe der Studio-Szenerie und ermöglichen infolgedessen korrekte Verdeckungseffekte zwischen realen und virtuellen Objekten. Außerdem erlaubt die Kenntnis der realen Studio-Lichtquellen die Berechnung einer Light Map, die eine konsistente Beleuchtung und Abschattung sicherstellt. Virtuelle und erweiterte Studio-Produktionen müssen verschiedenen technischen Herausforderungen begegnen. Eine davon ist die stabile und schnelle Verfolgung (auch Tracking genannt) und Nachführung der Studio-Kameras. Bei einigen Lösungsansätzen wird spezielle Verfolgungs-Hardware eingesetzt, während andere versuchen, die Kamerastellung durch Beobachtung natürlicher Charakteristika (z. B. an der Decke befestigte Studio-Lampen oder der Studio-Inhalt selbst) oder künstlicher Marken mittels zusätzlicher Kameras abzuschätzen. Optische Verfolgung wird wegen ihrer Robustheit gegenüber den meisten Umgebungsstörungen, und wegen ihrer Geschwindigkeit und Präzision immer beliebter. Ansätze zur optischen Verfolgung können in markerlose und markerbasierte Methoden eingeteilt werden. Markerlose Techniken auf der einen Seite hängen stark von der robusten Erkennung natürlicher Szenen-Charakteristika ab. Sie versagen gewöhnlich bei gleichförmig strukturierten Oberflächen unter ungünstigen Lichtverhältnissen. Dies beschränkt die Anwendung solcher Techniken in Fernseh-Studios auf optimierte Situationen. Markerbasierte Verfolgung andererseits stellt künstliche visuelle Charakteristika durch Einbeziehung detektierbarer Markierungszeichen zur Verfügung. Allerdings sollten diese Marker weder direkt in der Studioumgebung noch in der aufgenommenen Video aufzeichnung sichtbar sein. Infolgedessen ist markerbasierte Verfolgung gewöhnlich auf die Beobachtung von Bereichen außerhalb des Kamerabildes wie die Decke oder den Fußboden, die normalerweise mit Studioausrüstung, wie Lichtinstallationen, Kabeln und Aufbauten, bedeckt sind, beschränkt. Daher verursachen Verdeckungen und dynamische Umgruppierung der Installationen zusätzliche Probleme für markerbasierte Verfolgung. Ein weiteres Problem ist die Erfassung der Szenentiefe. Dies ist notwendig für die Einbeziehung künstlicher 3D-Objekte in die Videoaufzeichnung bei Erzeugung konsistenter Verdeckungs- und Beleuchtungseffekte zusammen mit dem aufgenommenen realen Inhalt. Einige Lösungsansätze rekonstruieren die Szenen-Geometrie offline (während eines speziellen Kalibrierungsschrittes) durch Nutzung von Multiviewpoint-Stereo aus unkalibrierten Video-Sequenzen. Die Qualität solcher Techniken hängt von der Qualität der Merkmalsübereinstimmung in den Stereopaaren ab. Allerdings kann daß Auffinden vergleichbarer Merkmale zur Absicherung einer hochqualitativen Tiefenrekonstruktion nicht nur für reale Studioumgebungen sondern auch für virtuelle Studios oder eingebettete Blue-Screens, die hauptsächlich gleichförmig gefärbte Oberflächen einsetzen, schwierig sein. Außer der Offline-Rekonstruktion der statischen Studio-Szenerie sind Online-Tiefenschätzungen (z. B. von bewegten Personen in der Szene) noch schwieriger. In virtuellen Studios erlaubt der gleichförmig gefärbte Hintergrund, der für das Chroma Keying erforderlich ist, die Anwendung schneller Depth-from-Silhouette-Algorithmen oder ähnlicher Techniken. Dies ist allerdings nicht mit einer realen Studio-Szenerie möglich. Noch eine weitere Herausforderung für virtuelle und erweiterte Studios ist die Frage, wie Regieinformationen für Moderatoren, Schauspieler oder Teilnehmer während einer Live-Ausstrahlung oder einer Aufnahme angezeigt werden. Teleprompter oder fest installierte Bildschirme bieten begrenzte Möglichkeiten, da sie nicht erlauben, die dargestellte Information in einen räumlichen Zusammenhang zu bringen. Schrittfolgen werden beispielsweise gewöhnlich statisch auf dem Fußboden markiert.Many modern television productions use virtual studio technology. Chroma keying is the most important method of overlaying live video or stored video from a real blue screen studio with virtual content. The video signal is analyzed and pixels of the video with a predefined color (eg blue or green) are replaced by computer-generated graphics. This allows the use of image processing techniques to effectively separate the foreground from the background and then seamlessly integrate real objects (such as an actor or a presenter) into a purely virtual environment. However, blue-screen techniques limit virtual studio technology to special recording environments. Therefore, recent research efforts are exploring the possibilities of augmented reality (AR) for television productions. Unlike blue-screen studios, fully equipped real-life TV studios are augmented with virtual content by superimposing video footage on computer graphics. Following the term virtual studio, we use the term extended studio for this purpose. Several groups have already shown the benefits of augmented reality in studio productions. In (Yuko Yamanuchi et al., Realspace-based virtual studio seamless synthesis of a virtual set image, Proceedings of the ACM symposium on virtual reality software anc technology, Hybrid VR, 2002, ISBN 1-58113-530 -0, pp. 194-200) expands 360 ° ultra-high-resolution omnidirectional (spherical) images of artificial backgrounds that distort and translate in real time in proportion to the rotation of a pan-tilt camera (pan-horizontal rotation; tilt-vertical rotation) to be obscured by a real actor. An Axi Vision camera is used to simultaneously capture color and depth information for each pixel. Recent examples are also presented in the context of the EU-funded project MATRIS (IST, MATRIS - Markerless real-time tracking for augmented reality image synthesis, http://www.ist-matris.org/, 2004, Last visited August 31st , 2006). In (Frahm et al., Markerless Augmented Reality with Light Source Estimation for Direct Illumination, Conference on Visual Media Production CVMP, London, December 2005), a fish-eye camera is used in addition to a studio camera. As the studio camera captures the video content to be expanded, the fish-eye camera observes the top hemisphere to track the installed studio lighting. Using a structure-from-motion algorithm on both images allows estimating the position of the studio camera. Traditional stereo algorithms allow you to reconstruct the depth of the studio scene, allowing for correct masking effects between real and virtual objects. In addition, knowing the real studio light sources allows the calculation of a light map that ensures consistent lighting and shading. Virtual and advanced studio productions must meet different technical challenges. One of them is the stable and fast tracking (also called tracking) and tracking of the studio cameras. Some approaches use special tracking hardware while others attempt to estimate the camera position by observing natural characteristics (eg, ceiling-mounted studio lamps or the studio content itself) or artificial markers using additional cameras. Optical tracking is becoming increasingly popular because of its robustness to most environmental disturbances, and because of its speed and precision. Optical tracking approaches can be classified into markerless and marker-based methods. Markerless techniques on the one hand depend heavily on the robust recognition of natural scene characteristics. They usually fail with uniformly structured surfaces under unfavorable light conditions. This limits the application of such techniques in television studios to optimized situations. Marker-based tracking, on the other hand, provides artificial visual characteristics by including detectable landmarks. However, these markers should neither be visible directly in the studio environment nor in the recorded video recording. As a result, marker-based tracking is usually limited to the observation of areas outside of the camera image such as the ceiling or floor normally covered with studio equipment, such as light installations, cables and constructions. Therefore, obfuscation and dynamic regrouping of the installations cause additional problems for marker-based tracking. Another problem is the capture of scene depth. This is necessary for the incorporation of 3D artificial objects into the video recording while producing consistent masking and lighting effects along with the captured real content. Some approaches reconstruct the scene geometry offline (during a special calibration step) by using multiviewpoint stereo from uncalibrated video sequences. The quality of such techniques depends on the quality of the feature match in the stereo pairs. However, finding comparable features to ensure high-quality deep reconstruction can not only be done in real studio environments but also in virtual studios or embedded blue screens that are mostly uniformly colored surfaces use, be difficult. In addition to the offline reconstruction of the static studio scenery, online depth estimates (eg of moving people in the scene) are even more difficult. In virtual studios, the uniformly colored background required for chroma keying allows the use of fast depth-from-silhouette algorithms or similar techniques. However, this is not possible with a real studio scenery. Yet another challenge for virtual and advanced studios is how to display directorial information for presenters, actors, or participants during a live broadcast or recording. Teleprompters or fixed screens offer limited possibilities, as they do not allow the presented information to be spatially related. For example, step sequences are usually statically marked on the floor.
In
der
Aus [COTTING, D. et al: Embedding imperceptible patterns into projected images for simultaneous acquisition and display. In: Third IEEE and ACM international symposium an mixed and augmented reality, ISMAR 2004.2.-5. November 2004, S. 100–109] ist die Projektion codierter Strukturen bekannt, welche nur für eine mit dem Projektor synchronisierte Kamera sichtbar sind.Out [COTTING, D. et al: Embedding imperceptible patterns into projected images for simultaneous acquisition and display. In: Third IEEE and ACM international symposium on mixed and augmented reality, ISMAR 2004.2.-5. November 2004, pp. 100-109], the projection is coded Structures known only for a camera synchronized with the projector is visible.
In [COTTING, D. et al: WinSGL: synchronizing displays in parallel graphics using cost-effective software genlocking. In: Parallel Computing. Elsevier Publishers, Amsterdam, 19.05.2007, S. 420–437] ist die Projektion eines Bildes mit einer kodierten Struktur offenbart, wobei in einem unmittelbar nachfolgenden Bild ein Komplement der Struktur projiziert wird.In [COTTING, D. et al: WinSGL: synchronizing displays in parallel graphics using cost-effective software genlocking. In: Parallel Computing. Elsevier Publishers, Amsterdam, 19.05.2007, S. 420-437] is the Projection of an image with a coded structure revealed, wherein in an immediately following image a complement of Structure is projected.
Aus
der
Es ist eine Aufgabe der Erfindung, ein neuartiges Verfahren zur Erzeugung erweiterter Realität in einem Raum anzugeben.It It is an object of the invention to provide a novel method of production augmented reality in a room.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.The The object is achieved by a method having the features of claim 1.
Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.advantageous Further developments are the subject of the dependent claims.
Bei einem erfindungsgemäßen Verfahren zur Erzeugung erweiterter Realität in einem Raum werden zumindest auf einen Teil den Raum begrenzender und/oder im Raum befindlicher Oberflächen mittels mindestens eines digitalen Videoprojektors Bilder projiziert, wobei die Bilder räumlich und/oder zeitlich in Luminanz und/oder Chrominanz moduliert werden, insbesondere pixelweise. Es ist mindestens eine Kamera vorgesehen, die mit mindestens einem der Videoprojektoren synchronisiert ist und zumindest einen Teil des Raumes aufnimmt.at a method according to the invention to create augmented reality in a room, the space becomes at least a part of it and / or in-surface surfaces by means of at least one digital video projector projects images, with the images spatially and / or temporally modulated in luminance and / or chrominance, in particular pixel by pixel. There is at least one camera provided with at least one of the video projectors is synchronized and at least one Part of the room.
Vorzugsweise wird in mindestens einem der projizierten Bilder mindestens eine kodierte Struktur integriert. In einem unmittelbar nachfolgenden der projizierten Bilder wird ein Komplement der kodierten Struktur so integriert, dass die Struktur nur für einen Betrachter oder nur für die Kamera sichtbar ist. Die aufeinanderfolgende Projektion zweier zueinander komplementärer Bilder mit einer hinreichend hohen Bildwiederholfrequenz von beispielsweise 120 Hz führt für den Betrachter infolge der Beschränkungen des menschlichen Sehvermögens zu einer Wahrnehmung einer gemittelten Summe beider Bilder. Eine mit dem Videoprojektor synchronisierte Kamera kann jedoch beide Bilder separat aufnehmen.Preferably At least one of the projected images will have at least one integrated coded structure. In an immediately following the projected image becomes a complement of the coded structure integrated so that the structure only for a viewer or only for the Camera is visible. The successive projection of two complementary images with a sufficiently high refresh rate of, for example 120 Hz leads for the Viewer due to the limitations of the human eyesight to a perception of an averaged sum of both images. One with However, the camera synchronized with the video projector can take both pictures record separately.
Auf diese Weise wird mittels für den Betrachter nicht sichtbarer Strukturen beispielsweise optisches Tracking, das heißt die Nachführung einer Kameraposition anhand der projizierten Struktur, möglich, ohne dass zusätzliche Marker außerhalb des Sichtfeldes der Kamera erforderlich sind.On this way is by means of the observer not visible structures, for example, optical Tracking, that is the tracking a camera position based on the projected structure, possible, without that extra Markers outside the field of view of the camera are required.
Ebenso können für den Betrachter sichtbare, jedoch für die Kamera unsichtbare Strukturen eingeblendet werden, beispielsweise Regieanweisungen für einen Moderator, wodurch kein Teleprompter benötigt wird. Dies geschieht beispielsweise, in dem die Kamera so synchronisiert wird, dass sie nur jedes zweite projizierte Bild aufnimmt, während die Struktur jeweils dann eingeblendet wird, wenn die Kamera nicht aufnimmt.As well can for the Viewer visible, however, for the camera invisible structures are displayed, for example Director's instructions for a moderator, which does not require a teleprompter. This happens, for example, in which the camera is synchronized so that it only every second projected image picks up while the structure will be displayed whenever the camera is not receives.
Die auf die Oberflächen projizierten Bilder können auch zur zumindest partiellen Beleuchtung des Raumes dienen. Dabei wird beispielsweise Licht mit einem einheitlichen Farbton mittels radiometrischer Kompensation auf zumindest einen Teil der im Raum befindlichen Oberflächen projiziert. Eine solche Projektion kann mit beliebiger Frequenz durchgeführt werden und kann auch integrierte Strukturen enthalten. Die Projektion kann mit einer Kamera aufgenommen und einem Chroma-Keying verfahren zugrunde gelegt werden, analog zu virtuellen Blue-Screen-Studios, jedoch vor beliebigen Hintergründen. Eine solche Beleuchtung ist sowohl statisch als auch dynamisch möglich.The on the surfaces projected images can also serve for at least partial illumination of the room. there For example, light with a uniform hue using radiometric compensation on at least part of the space located surfaces projected. Such a projection can be at any frequency carried out and can also contain integrated structures. The projection can be taken with a camera and chroma-keying underlying, however, similar to virtual blue-screen studios, but before any backgrounds. Such lighting is possible both statically and dynamically.
Erfindungsgemäß wird zur Einblendung der Struktur in das Bild eine für ein menschliches Auge gerade wahrnehmbare Differenz für mindestens ein Pixel mindestens eines Originalbildes aus einer Originalbildfolge berechnet. Das bedeutet beispielsweise, dass ermittelt wird, wie sehr das Originalbild zur Einblendung der Struktur modifiziert werden kann, damit der Unterschied für einen Betrachter gerade erkennbar wird. Zur Einblendung einer für den Betrachter oder eine der Kameras nicht wahrnehmbaren Struktur wird ein positionsgleiches Pixel in einem aus dem Originalbild abgeleiteten Bild zumindest in einem roten und/oder blauen und/oder grünen Farbkanal maximal um die gerade wahrnehmbare Differenz und in einem komplementären Bild maximal um ein Negatives der gerade wahrnehmbaren Differenz verändert. Das Bild und das komplementäre Bild werden aufeinander folgend projiziert. Die gerade wahrnehmbare Differenz ist vom Bildinhalt abhängig und wird dementsprechend für wechselnde Originalbilder und/oder wechselnde Strukturen jeweils neu berechnet.According to the invention is for Insertion of the structure in the picture one for a human eye straight perceptible difference for at least one pixel of at least one original image from an original image sequence calculated. This means, for example, that it is determined how very much the original image will be modified to show the structure can, hence the difference for a viewer is just recognizable. To display one for the viewer or one of the cameras imperceptible structure becomes a positionally equal Pixels in an image derived from the original image, at least in a red and / or blue and / or green color channel at most around the just perceptible difference and in a complementary image changed by a maximum of the currently perceivable difference. The Picture and the complementary Image are projected consecutively. The just noticeable Difference depends on the image content and is accordingly for changing original pictures and / or changing structures respectively recalculated.
Die abwechselnde Projektion erfolgt vorzugsweise mit einer Bildwiederholfrequenz, die größer als eine Flimmerfrequenz ist. Als Flimmerfrequenz soll eine Maximalfrequenz verstanden werden, bei der bei aufeinanderfolgender Projektion von Bildern von einem menschlichen Auge ein Flimmern wahrgenommen wird.The alternating projection is preferably carried out with a refresh rate, the bigger than is a flicker frequency. As a flicker frequency is a maximum frequency be understood in the case of successive projection of images from a human eye a flicker is perceived.
Flimmerfreie Darstellung ist ab ungefähr 45 Hell-Dunkel-Wechseln pro Sekunde möglich, bei denen die meisten Menschen das Flimmern nur noch unbewusst wahrnehmen. Allerdings können sehr helle und kontrastreiche Bilder auch hier noch zum Flimmern führen. Ab etwa 60 Hell-Dunkel-Wechseln pro Sekunde ist Flimmern weitgehend ausgeschaltet. Insbesondere erfolgt die abwechselnde Projektion mit einer Bildwiederholfrequenz von 120 Hz. Auf diese Weise sind die in jedem zweiten Bild projizierten Strukturen bzw. ihre Komplemente nicht als Flimmern wahrnehmbar.flicker Presentation is about from 45 light-dark-changes per second possible, with which most People perceive the flicker only unconsciously. Indeed can very bright and high-contrast images even here to flicker to lead. From about 60 light-dark changes per second is flicker largely switched off. In particular, the alternating projection takes place with a refresh rate of 120 Hz. In this way, the in every second image projected structures or their complements not noticeable as flicker.
Vorzugsweise wird die gerade wahrnehmbare Differenz auf einer regionalen Bildhelligkeit und/oder einer räumlichen Auflösung und/oder einer Raumfrequenz des Originalbildes und/oder der Struktur und/oder einer zeitlichen Frequenz des Bildes und/oder des komplementären Bildes und/oder einer maximalen Geschwindigkeit einer Augenbewegung basierend pixelweise ermittelt. Die Kenntnis der Verhältnisse zwischen diesen Parametern ermöglicht eine dynamische und inhaltsabhängige regionale Adaption der gerade wahrnehmbaren Differenz. Die maximale Geschwindigkeit der Augenbewegung kann insbesondere empirisch ermittelt werden.Preferably is the just noticeable difference on a regional image brightness and / or a spatial resolution and / or a spatial frequency of the original image and / or the structure and / or a temporal frequency of the image and / or the complementary image and / or a maximum speed of eye movement determined pixel by pixel. The knowledge of the relationships between these parameters allows one dynamic and content dependent regional adaptation of the just perceptible difference. The maximal Speed of eye movement can be determined in particular empirically become.
Bevorzugt wird mindestens eine der Kameras auf die Bildwiederholfrequenz synchronisiert, wobei das Originalbild aus einem Mittelwert des aufgenommenen Bildes und des aufgenommenen komplementären Bildes und die Struktur aus einer Differenz oder einem Quotienten aus dem aufgenommenen Bild und dem aufgenommenen komplementären Bild rekonstruiert wird. Der Quotient der beiden Bilder ist größer oder kleiner Eins während die Differenz beider Bilder größer oder kleiner Null ist, abhängig vom integrierten Bit. Um einen Einfluss der Übertragungs- oder Antwortfunktion der Kamera oder des Projektors zu vermeiden, können diese linearisiert sein. Nach der Linearisierung kann eine Gammakorrektur angewandt werden, um die Farbkonsistenz sicher zu stellen.Prefers if at least one of the cameras is synchronized to the refresh rate, the original image being an average of the captured image and the recorded complementary Picture and the structure of a difference or a quotient reconstructed from the recorded image and the recorded complementary image becomes. The quotient of the two pictures is larger or smaller one while the Difference between both pictures bigger or less than zero is dependent from the integrated bit. To influence the transmission or response function camera or projector, these can be linearized. After linearization, gamma correction can be applied to ensure the color consistency.
Es können sowohl binäre Strukturen als auch Strukturen variabler Intensitäten integriert sein.It can both binary Structures as well as structures of variable intensities integrated be.
Vorzugsweise wird ein Kantendetektions-Algorithmus auf das aufgenommene Bild und auf das aufgenommene komplementäre Bild angewandt, ein optischer Fluss berechnet und eine Homografie-Matrix ermittelt, um das aufgenommene Bild und das aufgenommene komplementäre Bild aneinander auszurichten. Auf diese Weise werden beispielsweise schnelle Kamerabewegungen kompensiert. Als Kantendetektions-Algorithmus kommt beispielsweise ein Canny-Algorithmus in Betracht.Preferably becomes an edge detection algorithm on the captured image and applied to the captured complementary image, an optical one River is calculated and a homography matrix is determined to be recorded Align image and the recorded complementary image to each other. In this way, for example, fast camera movements compensated. As an edge detection algorithm, for example, comes Canny algorithm into consideration.
Insbesondere zur regionalen Adaption der gerade wahrnehmbaren Differenz ist die Bestimmung der Raumfrequenz des darzustellenden Bildes in Echtzeit vorteilhaft. Zu diesem Zweck wird vorzugsweise ein Laplace-Pyramiden-Algorithmus angewandt. Die verwendete Laplace-Pyramide weist vorzugsweise sechs Stufen auf. Beispielsweise werden die absoluten Differenzen jeder Stufe der Gauß-Pyramide benutzt und jede Stufe der daraus resultierenden Laplace-Pyramide normiert. Das Ergebnis sind die Verhältnisse der Raumfrequenzen innerhalb jedes der erzeugten Frequenzbänder. Die Ergebnisse werden abhängig von der Entfernung des Betrachters von einer Bildebene und der Größe der Projektion in Einheiten von Zyklen pro Grad konvertiert, mit denen sich das Auflösungsvermögen des menschlichen Auges besonders gut beschreiben lässt. Das Eingabebild für den Laplace-Pyramiden-Algorithmus wird in sein physikalisches Helligkeits-Äquivalent mit der Einheit cd/m2 transformiert (Die Antwort-Funktion des Projektors wurde mit einem Fotometer gemessen.). Mit diesen Parametern kann die gerade wahrnehmbare Differenz für eine beliebige Region innerhalb des Originalbildes mit der kodierten Struktur ermittelt werden.In particular for the regional adaptation of the currently perceivable difference, the determination of the spatial frequency of the image to be displayed in real time is advantageous. For this purpose, a Laplace pyramid algorithm is preferably used. The Laplace pyramid used preferably has six stages. For example, the absolute differences of each stage of the Gaussian pyramid are used and normalized to each stage of the resulting Laplace pyramid. The result is the ratios of the spatial frequencies within each of the generated frequency bands. The results are converted depending on the distance of the viewer from an image plane and the size of the projection in units of cycles per degree, with which the resolution of the human eye can be described very well. The input image for the Laplace pyramid algorithm is transformed into its physical brightness equivalent with the unit cd / m 2 (the response function of the projector was measured with a photometer). With these parameters, the just noticeable difference for any region within the original image with the coded structure can be determined.
Vorzugsweise wird der grüne Kanal des Originalbildes um eine geringere Differenz verändert als der rote und der blaue Kanal. Dies ist eine weitere Möglichkeit, um die Sichtbarkeit der Strukturen in den projizierten Bildern zu verringern, da das menschliche Auge für Licht im Wellenlängenbereich grünen Lichts besonders empfindlich ist. Insbesondere beträgt die Differenz im grünen Kanal maximal ein Viertel der Differenz im roten und/oder im blauen Kanal. Bei deutlich verminder ter Wahrnehmbarkeit durch einen Beobachter kann die Struktur so dennoch mit hoher Qualität projiziert werden. Trotz der unterschiedlichen Differenzen in den Farbkanälen wird vom Betrachter keine Farbverschiebung wahrgenommen, da das Bild in gleicher Weise durch das komplementäre Bild kompensiert wird. Vorzugsweise wird die maximale Differenz in den drei Farbkanälen statt einer mittleren Differenz im Graukanal zur Schwellwertbestimmung benutzt.Preferably, the green channel of the original image is changed by a smaller difference than the red and blue channels. This is another way to reduce the visibility of the structures in the projected images since the human Eye is particularly sensitive to light in the wavelength range of green light. In particular, the difference in the green channel is at most a quarter of the difference in the red and / or in the blue channel. With a significantly reduced perceptibility by an observer, the structure can still be projected with high quality. Despite the different differences in the color channels, no color shift is perceived by the viewer, since the image is compensated in the same way by the complementary image. Preferably, the maximum difference in the three color channels is used instead of a mean difference in the gray channel for thresholding.
Wenn die Auflösung der Kamera niedriger ist als die des Projektors, können individuelle Pixel am Übergang von Markergrenzen falsch klassifiziert werden. Bei schnellen Kamerabewegungen kann die integrierte Struktur durch die geometrische Missregistrierung nicht mehr für jedes Pixel korrekt rekonstruiert werden. Dieser Defekt kann durch Anwendung eines Median-Filters effizient entfernt werden.If the resolution the camera is lower than that of the projector, can be customized Pixel at the transition of marker boundaries are misclassified. For fast camera movements can the integrated structure through the geometric misregistration not for anymore every pixel is correctly reconstructed. This defect can through Application of a median filter can be efficiently removed.
In einer bevorzugten Ausführungsform wird, insbesondere bei zeitlich variierenden Strukturen die Differenz zum Originalbild über eine Folge von Bildern und komplementären Bildern schrittweise von Null bis maximal bis auf die gerade wahrnehmbare Differenz angehoben und/oder von maximal der gerade wahrnehmbaren Differenz bis auf Null abgesenkt. Das bedeutet, dass eine Struktur nicht abrupt in das Bild projiziert, sondern stufenweise eingeblendet wird, wodurch die Wahrnehmung von Flackern an den Übergangen vermieden wird. Insbesondere wird zum Ausblenden die Differenz in einer Anzahl von Schritten um einen konstanten Wert bis auf Null reduziert. Wenn die Differenz Null ist, kann auf eine neue Struktur umgeschaltet und diese wieder schrittweise eingeblendet werden.In a preferred embodiment becomes, especially with temporally varying structures, the difference to the original picture over a sequence of images and complementary images gradually from zero raised to a maximum of the currently perceptible difference and / or of the maximum of the currently noticeable difference up to Zero lowered. This means that a structure is not abrupt in the image is projected, but gradually faded in, causing the perception of flickering at the pass is avoided. Especially fades to the difference in a number of steps reduced by a constant value to zero. If the difference Zero can be switched to a new structure and this again be gradually displayed.
Eine Anzahl der Schritte, über die die Differenz angehoben oder abgesenkt wird, wird bevorzugt in Abhängigkeit von einer mittels der lokalen Raumfrequenz und der lokalen Helligkeit bestimmten gerade wahrnehmbaren Helligkeits- und/oder Kontrastdifferenz ermittelt. Diese Parameter können aus einer so genannten Threshold-vs-Intensity-Funktion (TVI) und einer Kontrast-Empfindlichkeits-Funktion abgeleitet werden. Dies sind Funktionen der lokalen Raumfrequenz und des Helligkeitspegels. Auf diese Weise kann eine optimale Anzahl von Schritten für den Vorgang des Ein- und Ausblendens einer kodierten Struktur für jede Region im Bild bestimmt werden. Insbesondere werden Mittelwerte der Raumfrequenzen und Helligkeitspegel von Bildbereichen benutzt, für die bereits die gerade wahrnehmbare Differenz berechnet wurde. Die TVI-Funktion und die Kontrast-Empfindlichkeits-Funktion werden angewandt und ihre Ergebnisse multipliziert, um die größte nicht wahrnehmbare Helligkeitsdifferenz pro Schritt zu bestimmen. Auf diese Weise wird die Anzahl der jeweils erforderlichen Schritte zum Ein- und Ausblenden für die entsprechende Bildregion bestimmt.A Number of steps, over the difference is raised or lowered, is preferred in dependence one by means of the local spatial frequency and the local brightness certain just perceivable brightness and / or contrast difference determined. These parameters can from a so-called Threshold vs Intensity function (TVI) and a contrast sensitivity function be derived. These are functions of the local spatial frequency and the brightness level. In this way can be an optimal number of steps for the A process of fading in and out of a coded structure for each region to be determined in the picture. In particular, mean values of the spatial frequencies become and brightness levels of image areas used for that already the just noticeable difference was calculated. The TVI function and the contrast sensitivity function are applied and their results multiplied to the largest imperceptible brightness difference to determine per step. In this way, the number of each required Steps to show and hide for the corresponding image region certainly.
Wird das Originalbild in der Originalbildfolge gegenüber einem vorangegangenen Originalbild verändert, beispielsweise bei einem Szenenwechsel, bei Videos oder interaktiven Inhalten, während die gerade projizierte Struktur dennoch beibehalten werden soll, beispielsweise wenn es sich um einen Marker für die Kameraverfolgung und -nachführung handelt, wird die gerade wahrnehmbare Differenz vorzugsweise neu bestimmt und auch der Ein- oder Ausblendvorgang entsprechend angepasst, damit die Struktur nicht plötzlich sichtbar wird oder eine andere Wahrnehmungsstörung verursacht, beispielsweise infolge einer veränderten Raumfrequenz.Becomes the original picture in the original picture sequence compared to a previous original picture changed For example, during a scene change, for videos or interactive Content while the currently projected structure should still be preserved, for example, if it is a marker for camera tracking and -nachführung the currently noticeable difference is preferably new determined and also the fade-in or fade-out adjusted accordingly, so that the structure does not suddenly becomes visible or causes another perception disorder, for example, as a result an altered one Spatial frequency.
Als Strukturen werden beispielsweise zweidimensionale Marker in das Bild und entsprechend in das komplementäre Bild eingebettet, die zur Kameraverfolgung und -nachführung verwendet werden.When Structures, for example, become two-dimensional markers in the Picture and accordingly embedded in the complementary picture, the Camera tracking and tracking be used.
Vorzugsweise wird eine Position und/oder eine Größe des Markers während der Bildfolge zumindest dann dynamisch neu berechnet und im Bild und im komplementären Bild verändert, wenn eine der Kameras bewegt oder auf eine andere der Kameras umgeschaltet wird und der bisherige Marker infolge Abschattung durch ein Objekt oder eine Person in einem Vordergrund nicht oder schlecht sichtbar ist, wobei Objekte und/oder Personen in einem Vordergrund mittels eines Keying-Verfahrens extrahiert werden.Preferably is a position and / or a size of the marker during the Image sequence at least then recalculated dynamically and in the image and in the complementary Image changed, when one of the cameras moves or switches to another of the cameras and the previous marker due to shading by an object or a person in a foreground not or poorly visible is where objects and / or people in a foreground means a keying process be extracted.
Die Größe und Position der Marker wird dabei vorzugsweise mittels eines Quad-Trees bestimmt, wobei die Markergröße entsprechend der Sichtbarkeit maximiert wird. Ein Quadtree ist in der Informatik eine spezielle Baum-Struktur, in der jeder innere Knoten bis zu vier Kinder haben kann. Das Begriff Quad-Tree leitet sich von der Zahl der Kinder eines inneren Knotens ab (quad (vier) + tree (Baum) = Quad-Tree). Diese Struktur wird hauptsächlich zur Organisation zweidimensionaler Daten im Bereich der Computergrafik eingesetzt. Die Wurzel des Baumes repräsentiert dabei eine quadratische Fläche. Diese wird rekursiv in je vier gleich große Quadranten zerlegt bis die gewünschte Auflösung erreicht ist und die Rekursion in einem Blatt endet. Durch rekursive Anwendung dieser Zerteilung kann die vom Wurzelknoten repräsentierte Fläche beliebig fein aufgelöst werden. Beispielsweise wird ein Quad-Tree berechnet, der eine Vielzahl von Markern verschiedener Größen an verschiedenen Positionen in jeder Ebene des Quad-Trees umfasst. Von einer höheren Ebene zur nächstniedrigeren vervierfacht sich die Anzahl der Marker während ihre Größe sich um den Faktor 2 verringert. Wir bezeichnen dies als Markerbaum. Adaptive Markerpositionierung wird in mehreren Schritten umgesetzt.The size and position of the markers is preferably determined by means of a quad-tree, wherein the marker size is maximized according to the visibility. A quadtree is a special tree structure in computer science in which each inner node can have up to four children. The term quad-tree is derived from the number of children of an inner node (quad (four) + tree (tree) = quad-tree). This structure is mainly used for the organization of two-dimensional data in the field of computer graphics. The root of the tree represents a square area. This is decomposed recursively into four equally sized quadrants until the desired resolution is reached and the recursion ends in a leaf. By recursive application of this division, the area represented by the root node can be arbitrarily resolved in any desired way. For example, a quad-tree is calculated that includes a plurality of markers of various sizes at different positions in each plane of the quad-tree. From a higher level to the next lower, the number of markers quadruples while their size decreases by a factor of two. We call this a marker tree. ad aptive marker positioning is implemented in several steps.
Zuerst wird ein Vollbild-Quad in Projektorauflösung erzeugt und eine projektive Transformation berechnet, auf die die erzeugte Vordergrundprojektion aus der Kameraperspektive abgebildet ist. Dies wird erreicht durch Nutzung der Model-View-Matrix, die sich aus der in den zuvor dargestellten Bildern rekonstruierten Struktur zur Kameranachverfolgung ergibt.First is a full-screen Quad generated in projector resolution and a projective Transformation calculates to which the generated foreground projection from the camera perspective is shown. This is achieved by Use of the model view matrix, the to be reconstructed from the pictures presented above Structure for camera tracking results.
Das Ergebnis ist ein Binärbild, das die Sichtbarkeit jedes Projektorpixels aus Kamerasicht enthält, was wir als Sichtbarkeitskarte bezeichnen wollen. Diese Technik ist analog zu herkömmlichem Shadow Mapping. Die ursprüngliche Sichtbarkeitskarte wird dann benutzt, um die kleinstmögliche Markergröße zu berechnen, die benutzt wird, indem die Anzahl der Projektorpixel, die im Kamerabild aus der vorherigen Perspektive sichtbar sind, ermittelt wird. Wir rechnen die Sichtbarkeitskarte mittels Unterabtastung zu einer Bildpyramide, die die größtmögliche Markergröße in der obersten Ebene (z. B. per Definition 2 × 2 Marker) bis herunter zu der festgelegten kleinstmöglichen Markergröße in der untersten Ebene (z. B. 16×16 Pixel pro Marker) umfasst. Dies führt zu einer Sichtbarkeitskarte mit multipler Auflösung, die wir Sichtbarkeitsbaum nennen. Während der Laufzeit werden der Markerbaum und der Sichtbarkeitsbaum in den korrespondierenden Ebenen kombiniert: In einer Top-Down-Richtung werden nur Einträge, die weder verschattet (d. h. die in der selben Sichtbarkeitsbaum-Ebene als sichtbar markiert sind) noch bereits durch Marker höherer Ebenen belegt sind, behandelt. Die verbleibenden Einträge werden dann in der aktuellen Ebene des Markerbaums als belegt gekennzeichnet. Regionen, die über alle Ebenen unsichtbar sind, werden auf der untersten Ebene der Markerpyramide gekennzeichnet. Wenn die unterste Ebene erreicht ist, wird der markierte Markerbaum kollabiert und die nichtüberlappenden Einträge, die durch verschiedene Ebenen belegt sind, werden kombiniert. Daraus ergibt sich ein kodiertes Bild, das die Menge optimal skalierter und platzierter Marker bezüglich der Vordergrundverdeckungen und der Kameraperspektive enthält. Lokale Markerregionen können zeitlich geblendet werden, wenn eine Änderung der Marker in einem bestimmten Bereich des Bildes stattfindet.The Result is a binary image, which contains the visibility of each projector pixel from camera view, what we want to call it a visibility card. This technique is analogous to conventional shadow Mapping. The original Visibility Map is then used to calculate the smallest possible marker size, which is used by the number of projector pixels in the camera image are visible from the previous perspective. We calculate the visibility map by subsampling to a picture pyramid, the the largest possible marker size in the top level (eg by definition 2 × 2 markers) down to the smallest possible Marker size in the lowest level (eg 16 × 16 Pixels per marker). This leads to a visibility map with multiple resolution, the we call visibility tree. While the marquee tree and the visibility tree are in runtime combined in the corresponding levels: in a top-down direction will only be entries, which neither shadows (that is, in the same visibility tree level already marked as visible) by markers of higher levels are occupied, treated. The remaining entries will then be in the current one Level of the marker tree marked as occupied. Regions above all Layers are invisible, become at the lowest level of the marker pyramid characterized. When the lowest level is reached, the highlighted one Mark tree collapses and the non-overlapping entries that are occupied by different levels are combined. from that This results in a coded image that optimally scales the set and placed markers with respect to the foreground occlusions and the camera perspective contains. local Marker regions can be blinded when a change of marker in one certain area of the image takes place.
Vorzugsweise wird beim Keying-Verfahren der Vordergrund blitzartig jeweils nur im Bild oder nur im komplementären Bild beleuchtet, wobei Objekte und/oder Personen im Vordergrund anhand der im Bild und im komplementären Bild unterschiedlichen Helligkeit vom gleichbleibend hellen Hintergrund unterscheiden werden. Diese Technik wird auch als Real-Time-Flash-Keying bezeichnet.Preferably In the keying method, the foreground is only ever in a flash in the picture or only in the complementary one Illuminated image, with objects and / or people in the foreground based on the different brightness in the picture and in the complementary picture be distinguished from the consistently bright background. These Technology is also referred to as real-time flash keying.
Zur Extraktion des Vordergrunds werden vorzugsweise nur Helligkeitsunterschiede berücksichtigt, die einen bestimmten Schwellwert übersteigen. Insbesondere ist dieser Schwellwert größer als das Doppelte der aktuell größten Differenz, d. h. der Intensitätsdifferenz, die zur Integration der Struktur verwendet wird.to Extraction of the foreground preferably only brightness differences considered, which exceed a certain threshold. In particular this threshold is greater than twice the currently largest difference, d. H. the intensity difference, which is used to integrate the structure.
Die blitzartige Beleuchtung erfolgt bevorzugt durch mindestens einen LED-Blitz oder durch mindestens einen der Videoprojektoren. Beispielsweise wird der Vordergrund 60 mal pro Sekunde mit Blitzen von jeweils acht Millisekunden Länge beleuchtet, so dass bei 120 Hz Bildwiederholfrequenz jeweils nur der Vorder grund des Bilds oder des komplementären Bilds beleuchtet ist. Beispielsweise können weiße LEDs mit einer Farbtemperatur von 5600 K benutzt werden. Zusätzlich können Farbfilter verwendet werden.The Lightning-like lighting is preferably carried out by at least one LED flash or through at least one of the video projectors. For example the foreground 60 times per second with flashes of eight each Milliseconds in length illuminated, so that at 120 Hz refresh rate only the Foreground of the image or the complementary image is illuminated. For example can white LEDs be used with a color temperature of 5600 K. In addition, color filters be used.
Insbesondere bei schnellen Kamerabewegungen können das aufgenommene Bild und das aufgenommene komplementäre Bild ebenfalls mit Hilfe einer Homografiematrix korrigiert werden, bevor der Vordergrund extrahiert wird.Especially with fast camera movements can the captured image and the captured complementary image also be corrected with the help of a homography matrix before the Foreground is extracted.
In einer weiteren Ausführungsform wird beim Keying-Verfahren der Vordergrund konstant beleuchtet, wobei Objekte und/oder Personen im Vordergrund anhand der gleichbleibenden Helligkeit vom Hintergrund unterschieden werden, der anhand der im Bild und im komplementären Bild unterschiedlich hellen, nicht wahrnehmbaren Strukturen identifiziert wird.In a further embodiment the foreground is constantly illuminated during the keying process, with objects and / or people in the foreground based on the same Brightness can be distinguished from the background, based on the in the Picture and in the complementary Image different bright, imperceptible structures is identified.
Vorzugsweise werden zwei der Kameras zueinander koaxial angeordnet, wobei eine der Kameras auf den Vordergrund und die andere der Kameras auf den Hintergrund fokussiert wird und die aufgenommenen Bilder und/oder die aufgenommenen komplementären Bilder beider Kameras zur Extraktion des Vordergrunds genutzt werden.Preferably two of the cameras are arranged coaxially with each other, with a the cameras on the foreground and the other of the cameras on the Background is focused and the captured images and / or the recorded complementary Images from both cameras can be used to extract the foreground.
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand von Zeichnungen näher erläutert.in the Below are embodiments of the Invention explained in more detail with reference to drawings.
Darin zeigen:In this demonstrate:
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.each other corresponding parts are in all figures with the same reference numerals Mistake.
In
In
In
Wird
eine Struktur C unter Beachtung der gerade wahrnehmbaren Differenz Δ in das projizierte Bild
In
den
Das
Ergebnis ist ein Binärbild,
das die Sichtbarkeit jedes Projektorpixels aus Kamerasicht enthält, was
wir als Sichtbarkeitskarte bezeichnen, wie in
Die Bildwiederholfrequenz von 120 Hz wurde exemplarisch gewählt. Es kann eine andere Bildwiederholfrequenz verwendet werden.The Refresh rate of 120 Hz was selected as an example. It a different refresh rate can be used.
Zur
Vermeidung von Clipping bei der Addition und/oder Subtraktion der
gerade wahrnehmbaren Differenz Δ zum
Bild
- 11
- Raumroom
- 22
- Kameracamera
- 33
- Digitaler Videoprojektordigital video projector
- 44
- Räumliche Erweiterungspatial extension
- 55
- projizerte Filmsequenzprojizerte movie
- 66
- analoge Lichtquelleanalog light source
- 77
- Personperson
- 88th
- Markermarker
- 99
- Computercomputer
- 1010
- Produktionseinheitproduction unit
- 1111
- Vordergrundobjektforeground object
- 1212
- Hintergrundbackground
- 1313
- relative integrierte Lichtmengerelative integrated amount of light
- BA B A
- aufgenommene Bildfolgerecorded image sequence
- BP B P
- projizierte Bildfolgeprojected image sequence
- ΔΔ
- gerade wahrnehmbare Differenzjust noticeable difference
- II
- Bildimage
- I'I '
- komplementäres Bildcomplementary picture
- OO
- Originalbildoriginal image
- ss
- Anzahlnumber
Claims (28)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102007041719A DE102007041719B4 (en) | 2006-11-06 | 2007-09-04 | Method for creating augmented reality in a room |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102006052507.8 | 2006-11-06 | ||
| DE102006052507 | 2006-11-06 | ||
| DE102007041719A DE102007041719B4 (en) | 2006-11-06 | 2007-09-04 | Method for creating augmented reality in a room |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102007041719A1 DE102007041719A1 (en) | 2008-05-15 |
| DE102007041719B4 true DE102007041719B4 (en) | 2010-01-28 |
Family
ID=39277819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102007041719A Expired - Fee Related DE102007041719B4 (en) | 2006-11-06 | 2007-09-04 | Method for creating augmented reality in a room |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102007041719B4 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102021106488A1 (en) | 2020-12-23 | 2022-06-23 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Background display device, background display system, recording system, camera system, digital camera and method for controlling a background display device |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5944904B2 (en) * | 2010-09-20 | 2016-07-05 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | Method for distinguishing landscape background from foreground, and method for replacing background in landscape image |
| DE102011117659B4 (en) * | 2011-11-04 | 2013-10-31 | Eizo Gmbh | Method for operating an image processing device and corresponding image processing device |
| WO2015107257A1 (en) * | 2014-01-16 | 2015-07-23 | Nokia Technologies Oy | Method and apparatus for multiple-camera imaging |
| DE102021215048A1 (en) | 2021-12-27 | 2023-06-29 | Friedrich-Schiller-Universität Jena | Arrangement and method for distinguishing between a background and a foreground object of a scene |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0993204A1 (en) * | 1996-02-01 | 2000-04-12 | RT-Set Ltd. | Chroma keying studio system |
| WO2003079694A2 (en) * | 2002-03-15 | 2003-09-25 | British Broadcasting Corporation | Virtual studio system |
-
2007
- 2007-09-04 DE DE102007041719A patent/DE102007041719B4/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0993204A1 (en) * | 1996-02-01 | 2000-04-12 | RT-Set Ltd. | Chroma keying studio system |
| WO2003079694A2 (en) * | 2002-03-15 | 2003-09-25 | British Broadcasting Corporation | Virtual studio system |
Non-Patent Citations (3)
| Title |
|---|
| COTTING,D. [u.a.]: Embedding imperceptible patterns into projected images for simultaneous acquisition and display. In: Third IEEE and ACM international symposium on mixed and augmented reality, ISMAR 2004.2. - 5. November 2004, S.100-109 * |
| COTTING,D. [u.a.]: Embedding imperceptible patterns into projected images for simultaneous acquisition and display. In: Third IEEE and ACM international symposium on mixed and augmented reality, ISMAR 2004.2. - 5. November 2004, S.100-109 COTTING,D. [u.a.]: WinSGL: sychronizing displays in parallel graphics using cost-effective software genlocking. In: Parallel Computing. Elsevier Publishers, Amsterdam, 19.05.2007, S.420-437 |
| COTTING,D. [u.a.]: WinSGL: sychronizing displays in parallel graphics using cost-effective software genlocking. In: Parallel Computing. Elsevier Publishers, Amsterdam, 19.05.2007, S.420-437 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102021106488A1 (en) | 2020-12-23 | 2022-06-23 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Background display device, background display system, recording system, camera system, digital camera and method for controlling a background display device |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102007041719A1 (en) | 2008-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7340094B2 (en) | Image segmentation by means of temporal parallax difference induction | |
| CA2284032C (en) | Real-time method of digitally altering a video data stream to remove portions of the original image and substitute elements to create a new image | |
| EP1784978B1 (en) | Method and device for representing a digital image on a surface which is non-trivial in terms of its geometry and photometry | |
| EP0796541B1 (en) | System and method of real time insertions into video using adaptive occlusion with a synthetic reference image | |
| DE19825302B4 (en) | System for creating a three-dimensional garbage mat, which allows a simplified adjustment of spatial relationships between real and virtual scene elements | |
| Grundhofer et al. | Dynamic adaptation of projected imperceptible codes | |
| EP3427474B1 (en) | Image processing method, image processing means and image processing device for generating images of a portion of a three-dimensional space | |
| MXPA03010039A (en) | Image sequence enhancement system and method. | |
| WO2012058490A2 (en) | Minimal artifact image sequence depth enhancement system and method | |
| KR20080037738A (en) | Imaging camera processing unit and method | |
| DE112006000534T5 (en) | Positioning a subject with respect to a background scene in a digital camera | |
| DE102007041719B4 (en) | Method for creating augmented reality in a room | |
| DE69736638T2 (en) | Color Dancing Studio System | |
| US20170213328A1 (en) | Method and system for processing image content for enabling high dynamic range (uhd) output thereof and computer-readable medium comprising uhd content created using same | |
| JP2001503574A (en) | Backing luminance non-uniformity compensation in real-time synthesis systems | |
| DE19713648C2 (en) | Process for electronically reducing the light / dark contrast of video images as soon as they are recorded | |
| Gouiffès et al. | HTRI: High time range imaging | |
| JP2006186983A (en) | Exposure correction method for color image | |
| EP2137983B1 (en) | Using a region restricted cleanup signal to bridge a signal level mismatch between a blue screen and an adjoining garbage matte | |
| WO2009036831A1 (en) | Device and method for aligning a 3d object in an image corresponding to a field of view of a recording device | |
| JP2688811B2 (en) | How to color black and white images | |
| DE112008002083T5 (en) | Method and software for image transformation | |
| US20080063275A1 (en) | Image segmentation by means of temporal parallax difference induction | |
| Routhier | What Are the “Killer Apps” for HDR? Analysis of SDR Assets to Predict the Potential of HDR | |
| Thomas | Virtual Graphics for Broadcast Production |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OP8 | Request for examination as to paragraph 44 patent law | ||
| 8364 | No opposition during term of opposition | ||
| 8381 | Inventor (new situation) |
Inventor name: ZOLLMANN, STEPHANIE, 07743 JENA, DE Inventor name: KOLSTER, DANIEL, 99423 WEIMAR, DE Inventor name: GRUNDHOEFER, ANSELM, 8053 ZUERICH, CH Inventor name: BIMBER, OLIVER, 35394 GIESSEN, DE |
|
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |