DE102013207098A1 - A method of integrating a computer generated image from a highest image quality object into an animated environment created and animated by a 3D real time system - Google Patents
A method of integrating a computer generated image from a highest image quality object into an animated environment created and animated by a 3D real time system Download PDFInfo
- Publication number
- DE102013207098A1 DE102013207098A1 DE102013207098.5A DE102013207098A DE102013207098A1 DE 102013207098 A1 DE102013207098 A1 DE 102013207098A1 DE 102013207098 A DE102013207098 A DE 102013207098A DE 102013207098 A1 DE102013207098 A1 DE 102013207098A1
- Authority
- DE
- Germany
- Prior art keywords
- calculated
- image
- vehicle
- images
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
Es wird ein Verfahren vorgestellt, mit dessen Hilfe es möglich ist, Gegenstände in fotorealistischer Qualität in eine in Echtzeit animierte Umgebung zu integrieren.A method is presented with the aid of which it is possible to integrate objects of photo-realistic quality into a real-time animated environment.
Description
Um hochwertige Produkte, wie zum Beispiel Kraftfahrzeuge, adäquat zu präsentieren, werden heutzutage verschiedene digitale Systeme genutzt. Diese umfassen stets einen oder mehrere Computer sowie einen oder mehrere Bildschirme zur Visualisierung. In order to adequately present high-quality products, such as motor vehicles, various digital systems are used today. These always include one or more computers and one or more screens for visualization.
Computer und Bildschirm können dabei, wie etwa in Tablets, Smartphones und Fernsehern, in einem einzigen Gerät integriert sein. Die Produktvisualisierung erfolgt typischerweise auf einer Webseite oder einer sogenannten App oder einem sogenannten „Point of Sales“ (POS). Die genannten Visualisierungssysteme ermöglichen es einem potentiellen Kunden, sich spielerisch mit den Fahrzeugen des Herstellers vertraut zu machen. Zu diesem Zweck kann der Interessent einen Fahrzeugtyp (Modellreihe) sowie Farbe und Ausstattung auswählen und dadurch ein Fahrzeug seinen Wünschen entsprechend konfigurieren. Damit der Interessent einen möglichst realistischen visuellen Eindruck von dem eigens konfigurierten Fahrzeug erhält, stellt das Visualisierungssystem dieses in einer animierten 3D-Umgebung dar. Damit der potentielle Käufer möglichst vielfältige Eindrücke gewinnen kann, wird das Fahrzeug in einem virtuellen Rundgang um selbiges mit Hilfe einer „internen“ Kamera von allen Seiten und in verschiedenen Beleuchtungssituationen, wie beispielsweise „Tag“ und „Nacht“, präsentiert.Computers and monitors can be integrated into a single device, such as tablets, smartphones and televisions. The product visualization typically takes place on a website or a so-called app or a so-called "Point of Sales" (POS). The visualization systems mentioned make it possible for a potential customer to playfully familiarize themselves with the vehicles of the manufacturer. For this purpose, the interested party can select a vehicle type (model series) and color and equipment, thereby configuring a vehicle according to his wishes. In order to give the prospective customer a realistic visual impression of the specially configured vehicle, the visualization system displays this in an animated 3D environment. In order for the potential buyer to gain as many impressions as possible, the vehicle is navigated in a virtual tour around the same with the help of a " internal "camera from all sides and in different lighting situations, such as" day "and" night ", presented.
Im Zusammenhang mit dem erfindungsgemäßen Verfahren wird häufig von einer „internen“ Kamera gesprochen, weil das erfindungsgemäße Verfahren ausschließlich mit Hilfe von computergenerierten Bildern durchgeführt wird. Die Verwendung von Fotografien ist bisher nicht vorgesehen. Für die Bildberechnung und die animierte Darstellung einer Umgebung ist es allerdings erforderlich sowohl einen Standpunkt, von dem aus Gegenstand und Umgebung betrachtet werden sollen, als auch die optischen Eigenschaften (Blickwinkel, bzw. Brennweite eines Objektivs) festzulegen. Diese Eigenschaften werden mit dem gewählten Begriff der „internen“ Kamera verbunden. In connection with the method according to the invention is often spoken of an "internal" camera, because the inventive method is performed exclusively with the help of computer-generated images. The use of photographs is not planned. For the image calculation and the animated representation of an environment, however, it is necessary to define both a viewpoint from which the object and surroundings are to be viewed, and also the optical properties (angle of view or focal length of an objective). These properties are linked to the chosen term of the "internal" camera.
Um animierte 3D-Darstellungen in Echtzeit erzeugen zu können, nutzen herkömmliche Visualisierungssysteme die aus Videospielen bekannten Algorithmen. Diese sind sehr effizient, da sie sich der Leistungsfähigkeit der Grafikprozessoren bedienen können. Auf Grund des Anspruchs auf die Erzeugung in Echtzeit, ist der Grad an Fotorealismus bei solchen Darstellungen dennoch relativ gering. Die Resultate sind somit unbefriedigend im Hinblick auf die Präsentation von hochwertigen Produkten, wie zum Beispiel Premium-Kraftfahrzeugen.In order to generate animated 3D representations in real time, conventional visualization systems use the algorithms known from video games. These are very efficient because they can use the power of the graphics processors. Nevertheless, due to the demand for real-time generation, the degree of photorealism in such representations is relatively low. The results are therefore unsatisfactory with regard to the presentation of high-quality products, such as premium motor vehicles.
Aufgabe der Erfindung ist es, ein Verfahren bereitzustellen, das es ermöglicht, einen Gegenstand, wie zum Beispiel ein Fahrzeug, in einer in Echtzeit animierten Umgebung in höchstmöglicher Qualität darzustellen.The object of the invention is to provide a method which makes it possible to represent an object, such as a vehicle, in a real-time animated environment in the highest possible quality.
Im Folgenden wird die Bezeichnung „Fahrzeug“ analog zu „Gegenstand“ benutzt, da es für den Erfolg des Verfahrens unbedeutend ist, welchem Typ der Gegenstand angehört.In the following, the term "vehicle" is used analogously to "object", since it is irrelevant to the success of the method to which type the object belongs.
Diese Aufgabe wird erfindungsgemäß bei einem Verfahren zur Erzeugung animierter Inhalte mittels eines 3D-Echtzeitsystems, dadurch gelöst, dass mindestens ein vorab erstelltes Bild des Gegenstands/der Gegenstände in die in Echtzeit mittels einer 3D-Gameengine, wie z. B. Unity3D, animierte Umgebung oder Szene eingeblendet wird. Hierdurch entsteht der Schein, dass der Gegenstand tatsächlich im Raum platziert wird.This object is achieved in a method for generating animated content by means of a 3D real-time system, characterized in that at least one pre-created image of the object / objects in the real-time by means of a 3D game engine, such. Unity3D, animated environment or scene is displayed. This creates the appearance that the object is actually placed in the room.
Vorteile der ErfindungAdvantages of the invention
Ein wichtiger Vorteil des erfindungsgemäßen Verfahrens ist darin zu sehen, dass ein oder mehrere Bilder des Gegenstands, der später in einer in Echtzeit animierten Umgebung dargestellt werden soll, vorab von einer „Renderingengine“, wie zum Beispiel „V-Ray“, auf einem leistungsfähigen Computer oder Server berechnet werden. Weil diese Bildberechnungen nicht in Echtzeit erfolgen müssen, stellt der relativ große Rechenaufwand kein Problem dar und es können Bilder mit einer sehr hohen Qualität erzeugt werden. Zu jeder einzelnen der verschiedenen Fahrzeugabbildungen/Perspektiven, sprich zu jedem Bild, werden zusätzlich später relevante Daten, wie die Kameraposition, die Kamerarotation und das Kamera-FOV (Field of View), abgespeichert.An important advantage of the method of the invention is that one or more images of the object to be displayed later in a real-time animated environment are pre-scanned by a rendering engine, such as "V-Ray," on a powerful computer Computer or server. Because these image calculations do not have to be done in real time, the relatively large amount of computation does not present a problem and images of very high quality can be generated. For each individual one of the different vehicle images / perspectives, ie for each image, additional relevant data, such as the camera position, the camera rotation and the camera FOV (field of view), are additionally stored.
Die erzeugten Bilder zeigen lediglich das Fahrzeug bzw. den Gegenstand; d. h. seine „Umgebung“ ist transparent; weder Hintergrund noch Schatten sind sichtbar.The images produced merely show the vehicle or object; d. H. his "environment" is transparent; neither background nor shadow are visible.
Die eben genannten Daten, welche bei der Bildgenerierung gespeichert werden, sind zwingend erforderlich für das weitere Vorgehen. Erst durch sie ist es möglich, dass später der Blickwinkel in eine animierte Szene und der Blickwinkel auf das Fahrzeug gleich sind.The above-mentioned data, which are stored during the image generation, are absolutely necessary for the further procedure. Only through them is it possible that later the viewing angle in an animated scene and the view of the vehicle are the same.
In anderen Worten: Im 3D-Echtzeitssystem werden die bekannten Daten zu Kameraposition, -rotation und FOV der computergenerierten 2D-Bilder auf eine interne Kamera angewendet und die freigestellte Fahrzeugabbildung vor eben jener internen Kamera platziert.In other words, in the real-time 3D system, the known camera positioning, rotation, and FOV data of the computer-generated 2D images are applied to an internal camera and the isolated vehicle image is placed in front of that internal camera.
Als Bilder des Fahrzeugs oder des Gegenstands können sowohl Außenansichten, Innenansichten als auch sphärische Innenansichten verwendet werden. As images of the vehicle or object, both exterior views, Interior views as well as spherical interior views can be used.
Werden diese Bilder eines Gegenstands später in die animierte Umgebung eingeblendet, wird der Gegenstand in höchster Qualität dargestellt während die Qualität der Darstellung der in Echtzeit animierten Umgebung demgegenüber relativ gering ist.When these images of an object are later faded into the animated environment, the object is rendered in the highest quality while the quality of the presentation of the real-time animated environment is relatively low.
Das „Einblenden der vorab berechneten Bilder“ erfolgt anhand einer Reihe von Schritten. Im 3D-Raum der Echtzeitszene wird eine Fläche erzeugt und orthogonal zur Blickrichtung der internen Kamera ausgerichtet. Jegliche Transformation der Kamera wird analog auf die Fläche angewendet, sodass der Abstand und die orthogonale Ausrichtung zur internen Kamera erhalten bleiben. Hiding the pre-calculated images is done in a series of steps. In the 3D space of the real-time scene, an area is created and aligned orthogonally to the viewing direction of the internal camera. Any transformation of the camera is applied analogously to the surface so that the distance and the orthogonal alignment to the internal camera are maintained.
Dies hat unter anderem zur Folge, dass exakt das Bild, welches der gewählten Perspektive entspricht, als Textur der Fläche angezeigt wird.One of the consequences of this is that the exact image corresponding to the selected perspective is displayed as the texture of the surface.
Die freigestellte Fahrzeugabbildung muss abhängig von dem gewünschten Abstand zur internen Kamera im 3D-Raum, dem Kamera-FOV und dem Zoomfaktor skaliert werden. Bildlich gesprochen heißt dies, dass das 2D-Bild, nachdem es an der gewünschten Position im Strahlengang der internen Kamera platziert wurde, in seiner Größe derart angepasst werden muss, dass die relative Größe im Verhältnis zur animierten Umgebung erhalten bleibt. Dadurch entsteht der Eindruck, dass die "flache" 2D-Abbildung des Fahrzeugs als dreidimensionales Objekt in der 3D-Echtzeitszene vorhanden ist.The isolated vehicle image must be scaled according to the desired distance to the internal camera in 3D space, the camera FOV, and the zoom factor. Figuratively speaking, this means that the 2D image, after it has been placed in the desired position in the beam path of the internal camera, must be adjusted in size so that the relative size is maintained in relation to the animated environment. This creates the impression that the "flat" 2D image of the vehicle exists as a three-dimensional object in the 3D real-time scene.
Hierbei ist zu beachten, dass diese Herangehensweise beispielhaft zu verstehen ist, sprich das genaue Vorgehen ergibt sich durch die gesuchte Unbekannte, verfolgt aber stets das gleiche Ziel.It should be noted that this approach is to be understood as an example, ie the exact procedure results from the unknown unknown, but always pursues the same goal.
Folgende Formel ist Grundlage der Berechnungen:
Mit:
- alpha
- = vertikaler Kamera-FOV
- h
- = Höhe des Bildes
- z
- = Zoomfaktor
- f
- = Abstand des Bildes zur internen Kamera
- alpha
- = vertical camera FOV
- H
- = Height of the picture
- z
- = Zoom factor
- f
- = Distance of the image to the internal camera
Beispiel:Example:
Bekannt ist der vertikale FOV von 35° (entspricht 35·PI·2/360 Einheiten im Bogenmaß) und der Zoomfaktor von 1,0. Darüber hinaus soll die 2D-Abbildung im Abstand von 100 Einheiten zur Kamera platziert werden.Known is the vertical FOV of 35 ° (equivalent to 35 * PI * 2/360 units in radians) and the zoom factor of 1.0. In addition, the 2D image should be placed at a distance of 100 units from the camera.
Stellt man die genannte Formel hinsichtlich der Unbekannten h um, erhält man:
Hieraus folgt, dass die 2D-Abbildung im Beispiel auf etwa 63,06% in ihrer Höhe skaliert werden muss. Die Breite wird analog dazu in Anbetracht des Seitenverhältnisses skaliert.It follows that in the example, the 2D map must be scaled up to about 63.06% in height. The width is scaled analogously in consideration of the aspect ratio.
Damit wird der Nachteil der herkömmlichen 3D-Echtzeit-Animationen, nämlich eine vergleichsweise geringe Qualität der Darstellung, ausgeglichen. Die Tatsache, dass zum Erstellen der Bilder des Gegenstands sehr viel Rechenzeit benötigt wird, fällt insofern nicht so sehr ins Gewicht, als diese Berechnungen vorab auf einem leistungsfähigen Server gemacht werden können. Die einmal fertig berechneten Bilder können dann abgespeichert und in verschiedenen Visualisierungssystemen und/oder in anderen Anwendungen eingesetzt werden.Thus, the disadvantage of the conventional 3D real-time animations, namely a comparatively low quality of the representation is compensated. The fact that a lot of computation time is needed to create the images of the object is not so significant in that these calculations can be made in advance on a powerful server. The once calculated images can then be stored and used in various visualization systems and / or in other applications.
Besonders vorteilhaft ist es natürlich, wenn das oder die Bilder des mindestens einen Gegenstands von einem Computer berechnete Bilder, sogenannte „Computer Generated Images“, sind. Sie sind prädestiniert für das erfindungsgemäße Verfahren, da sie eine schier endlose Vielfalt an Darstellungen ermöglichen. Es können Fahrzeuge und andere Produkte, die zum Zeitpunkt der Bilderstellung nur als CAD-Datensatz vorhanden sind, als Ausgangsbasis für die Berechnung von Bildern herangezogen werden. Des Weiteren ist es möglich, verschiedene Ausführungen oder Modifikationen, verschiedene Farben, Ausstattungsvarianten und anderes mehr bei der Erstellung der Bilder zu berücksichtigen, ohne jemals den Gegenstand tatsächlich in allen diesen Varianten herstellen zu müssen. Maßgebend für den Erfolg des Verfahrens sind Tiefeninformationen, welche bei CGIs ohnehin vorhanden sind. Doch auch nicht durch Computer generierte Abbildungen von Gegenständen können durch Anwendung bekannter Verfahren, wie z. B. der Extraktion von Tiefeninformationen aus stereoskopischem Bildmaterial, genutzt werden. Of course, it is particularly advantageous if the one or more images of the at least one object are computed by a computer images, so-called "computer generated images" are. They are predestined for the method according to the invention, since they allow an almost endless variety of representations. Vehicles and other products that are only available as a CAD dataset at the time of image creation can be used as a basis for the calculation of images. Furthermore, it is possible to consider various designs or modifications, different colors, trim levels, and more when creating the images, without ever having to actually fabricate the article in all of these variations. Decisive for the success of the procedure are depth information, which is already present in CGIs. However, also not generated by computer images of objects can by applying known methods, such as. As the extraction of depth information from stereoscopic images used.
Um zusätzlich eine Konfiguration eine Gegenstandes, z. B. eines Fahrzeugs, zu ermöglichen werden bei zwei Karosserievarianten (z. B. Coupe und Kombi) und drei Wagenfarben (z. B. weiß, rot und silbern) also aus jeder Position der Kamera sechs computer-generierte Bilder (CGI) berechnet (Zahl der Bilder pro Perspektive = Zahl der Karosserievarianten x Zahl der Farben). Es hat sich für einen vollständigen Rundumflug (360°) um den Gegenstand als vorteilhaft erwiesen Bilder aus 36 Perspektiven mit einem Abstand von jeweils 10° zu generieren. In addition to a configuration of an object, for. For example, in two body variants (eg, coupe and station wagon) and three car colors (eg, white, red, and silver), six computer-generated images (CGI) are calculated from each position of the camera (eg, vehicle). Number of images per perspective = number of body variants x number of colors). It has become a complete 360 ° flight around the object as advantageous to generate images from 36 perspectives with a distance of 10 ° each.
Dies verspricht ein optimales Kosten-Nutzen-Verhältnis. Wird die Anzahl der Perspektiven erhöht, erhält man eine flüssigere Kamerafahrt, muss jedoch einen Anstieg des Rechenaufwands und der erforderlichen Speicherkapazität in Kauf nehmen.This promises an optimal cost-benefit ratio. If the number of perspectives is increased, you will get a smoother tracking shot, but you have to accept an increase in the computational burden and the required storage capacity.
Insgesamt werden also, um im Beispiel zu bleiben, 36 × (3 × 2) Bilder = 216 Bilder berechnet und abgespeichert. Erweitert sich die Liste der verfügbaren Parameter, wie z. B. der Zustände („Tag“ und „Nacht“) oder der Auflösung, muss ein Faktor angefügt werden, der die Anzahl der Möglichkeiten für den betreffenden Parameter repräsentiert.In total, therefore, in order to stay in the example, 36 × (3 × 2) images = 216 images are calculated and stored. Extends the list of available parameters, such as: For example, the states ("day" and "night") or the resolution, a factor must be added that represents the number of possibilities for that parameter.
Durch die Wahl der Karosserieform und der Farbe trifft der Nutzer eine Auswahl von 36 Bildern aus den im Layer „Karosserieform“ hinterlegten 216 Bildern. By choosing the body shape and the color, the user makes a selection of 36 images from the 216 images stored in the "Bodywork" layer.
Bei der (Vorab-)Berechnung der Bilder, im Fachjargon Rendering genannt, hat es sich als vorteilhaft erwiesen, zu jedem Bildpunkt eines berechneten Bildes eines Gegenstands die Entfernung Z zwischen dem im Bildpunkt sichtbaren Teil des Gegenstands und dem Standort einer internen Kamera zu berechnen und in einer Datei abzuspeichern (Z-Map). Diese Berechnung erfordert relativ wenig zusätzliche Rechenleistung und ermöglicht es, Bilder des Gegenstands aus etwas geänderten Perspektiven, bzw. Kamerastandorten nachträglich durch ein Interpolationsverfahren, allgemein als „Image Based Rendering“ bezeichnet, zu generieren.In the (pre) calculation of the images, referred to in the jargon as rendering, it has proved to be advantageous to calculate the distance Z between the image-visible part of the object and the location of an internal camera for each pixel of a calculated image of an object save in a file (Z-Map). This calculation requires relatively little additional computing power and makes it possible to subsequently generate images of the object from slightly changed perspectives or camera locations by means of an interpolation method, generally referred to as "image-based rendering".
Dies ist insbesondere dann wichtig, wenn eine Kamerafahrt simuliert werden soll, so dass eine Vielzahl von Bildern des Gegenstands aus einer Vielzahl von Standpunkten, dabei jedoch deutlich mehr als die bereits genannten 36, benötigt wird, wobei sich die Standpunkte von denen aus der Gegenstand betrachtet wird, von dem Standpunkt des jeweils vorhergehenden Bild etwas unterscheiden.This is particularly important when simulating a tracking shot, so that a plurality of images of the subject matter from a plurality of viewpoints, but much more than the aforementioned 36, is needed, with the viewpoints of those looking at the subject will differ slightly from the viewpoint of the previous image.
Um die Farbdarstellung und Blendenflecke (engl. „Lens Flare“) sowie andere optische Phänomene bestmöglich in die Darstellung des Gegenstands in der animierten Umgebung integrieren zu können, ist weiter vorgesehen, zu jedem Bildpunkt eines berechneten Bildes eine Normale zu der Oberfläche des im Bildpunkt sichtbaren Teils des Gegenstands zu berechnen und in einer Datei zu hinterlegen (Normal-Map).In order to be able to best integrate the color representation and lens flare as well as other optical phenomena into the representation of the object in the animated environment, it is further provided that for each pixel of a calculated image a normal to the surface of the image visible in the pixel Part of the item to calculate and deposit in a file (normal map).
Des Weiteren ist vorgesehen, dass ein Bild eines Gegenstandes aus mehreren Schichten oder Schablonen, die auch als Layer bezeichnet werden, zusammengesetzt wird.Furthermore, it is provided that an image of an article is composed of a plurality of layers or templates, which are also referred to as layers.
Die Technik, ein Bild eines Gegenstands aus mehreren „Schichten“ zusammenzusetzen ermöglicht es, eine Vielzahl von Ausstattungskonfigurationen und Varianten mit überschaubarem Aufwand abzubilden. So ist es beispielsweise möglich, in einer Schicht „Karosserie“ verschiedene Varianten der Karosserie (Form und Farbe) abzuspeichern, nachdem sie zuvor berechnet wurden.The technique of composing an image of an object made up of several "layers" makes it possible to reproduce a large number of equipment configurations and variants with a manageable amount of effort. It is thus possible, for example, to store different variants of the body (shape and color) in a "body" layer, after they have been previously calculated.
Des Weiteren ist es möglich, in der Schicht „Räder“ verschiedene Radsätze abzuspeichern, ebenfalls nachdem sie zuvor berechnet wurden. Furthermore, it is possible to store different wheelsets in the "Wheels" layer, also after having been previously calculated.
In ähnlicher Weise können von verschiedenen Frontschürzen Bilder berechnet und in der Schicht „Frontschürze“ abgespeichert werden. Similarly, images of different front aprons can be computed and stored in the "front apron" layer.
Es ist ebenfalls möglich, in einer Schicht „Frontscheinwerfer“ verschiedene Beleuchtungstechniken zu hinterlegen; z. B. Xenon- und Reflexionsscheinwerfer It is also possible to deposit in a layer "headlights" different lighting techniques; z. B. xenon and reflection headlights
Auch die Innenausstattung und andere Ausstattungsmerkmale können als Layer oder separate Schicht betrachtet werden. Für jede Schicht und für jede Variante wird ein Bild pro Perspektive und jeden weiteren Parameter (im beschriebenen Beispiel 36 Bilder) berechnet und abgespeichert.The interior and other features can be considered as a layer or separate layer. For each layer and for each variant, one image per perspective and every other parameter (36 images in the example described) is calculated and stored.
Diese Aufzählung von Schichten ist nicht abschließend, soll jedoch verdeutlichen, dass es durch die modulartige Zusammensetzung des Bildes eines Gegenstandes aus verschiedenen Schichten ohne Weiteres möglich ist, eine Vielzahl von Ausstattungsvarianten und Konfigurationen eines Gegenstands sehr detailgetreu abzubilden (sog. Vollkonfiguration), ohne von allen möglichen Konfigurationen und Varianten Gesamtbilder des Gegenstands erzeugen zu müssen.This enumeration of layers is not exhaustive, but should make it clear that the modular composition of the image of an object from different layers makes it possible to reproduce a multitude of equipment variants and configurations of an object very accurately (so-called full configuration), without any of them possible configurations and variants to have to create overall images of the object.
In anderen Worten die Permutation der Varianten aller zu unterscheidenden Einzelteile des Gegenstands und ihrer Bildberechnung im Vorfeld entfällt und es müssen lediglich die entsprechenden Teilbilder oder Schablonen berechnet werden.In other words, the permutation of the variants of all the individual parts of the object to be distinguished and their image calculation in advance is eliminated and only the corresponding drawing images or templates must be calculated.
Dies hat eine deutliche Reduzierung des Rechenaufwands und der benötigten Speicherkapazität für die errechneten Bilder zur Folge.This results in a significant reduction of the computational effort and the required storage capacity for the calculated images.
Um eine besonders realistische Darstellung bzw. Integration des Gegenstands in die animierte 3D-Umgebung zu erreichen, ist vorgesehen, dass ein Schatten des Gegenstands gesondert berechnet und abgespeichert wird. Dieser Schatten wird als Textur gewissermaßen der Darstellung des Bodens der animierten Umgebung an dem Ort, an dem später das Fahrzeug bzw. der Gegenstand positioniert wird, überlagert. In order to achieve a particularly realistic representation or integration of the object into the animated 3D environment, it is provided that a shadow of the object is separately calculated and stored. As a texture, this shadow is superimposed on the representation of the bottom of the animated environment at the location where the vehicle or object is later positioned.
Wird nun die Kameraposition und -rotation modifiziert, sprich es wird ein Perspektivwechsel vollzogen, ändert sich neben dem Blick auf die 3D-Echtzeitszenerie auch der Blick auf den Schatten des Gegenstands. Das Verfahren zur Projektion von Bildern auf eine Geometrie ist als „Texture Mapping“ bekannt. Durch diese Methodik wird der Schein verstärkt, das Fahrzeug stünde tatsächlich in der Szene. Now, if the camera position and rotation is modified, that is, a change of perspective is made, the view of the object's shadow changes in addition to the view of the 3D real-time scenery. The method for projecting images onto a geometry is known as texture mapping. This method reinforces the appearance that the vehicle is actually in the scene.
Alternativ ist es auch möglich, den Schatten des Gegenstands vorteilhafter Weise anhand eines geometrisch vereinfachten 3D-Modells des Gegenstands in Echtzeit und interaktiv zu berechnen. Hierbei ist der zusätzliche Rechenzeitbedarf für die Berechnung des Schattens vergleichsweise gering. Kleinere Ungenauigkeiten bei der Berechnung des Schattens fallen dem Betrachter des Gegenstands in einer animierten Umgebung nicht auf. Die Darstellung der Schatten entspricht bei diesem Ansatz, in Bezug auf ihre qualitativen Merkmale, den übrigen Schatten in der 3D-Echtzeitszene.Alternatively, it is also possible to calculate the object's shadow advantageously in real time and interactively using a geometrically simplified 3D model of the object. Here, the additional computing time required for the calculation of the shadow is comparatively low. Minor inaccuracies in the calculation of the shadow are not noticeable to the viewer of the subject in an animated environment. The shadow representation in this approach, in terms of its qualitative characteristics, is the other shadow in the 3D real-time scene.
Um berechnen zu können, ob ein 3D-Objekt in der 3D-Echtzeitszene, welches sich aus der Sicht der Kamera mit der Fahrzeugabbildung überschneidet, sich nun vor oder hinter dem Fahrzeug befindet, kann wie schon bei der Simulation des Schattens auch ein niedrig aufgelöstes 3D-Hilfsmodell verwendet werden, das wenig Rechenzeit benötigt.To be able to calculate whether a 3D object in the 3D real-time scene, which intersects with the vehicle image from the perspective of the camera, is now in front of or behind the vehicle, as in the simulation of the shadow, a low-resolution 3D can also be used Auxiliary model, which requires little computing time.
In weiterer vorteilhafter Ausgestaltung des erfindungsgemäßen Verfahrens ist es möglich, eine Fahrt einer internen Kamera um den Gegenstand herum zu simulieren, wobei entsprechend der Position der internen Kamera die Darstellung der Umgebung und, je nach gewähltem Verfahren, auch des Schattens des Gegenstands in Echtzeit berechnet werden. In a further advantageous embodiment of the method according to the invention, it is possible to simulate a movement of an internal camera around the object, wherein the representation of the environment and, depending on the chosen method, the shadow of the object are calculated in real time according to the position of the internal camera ,
In Abhängigkeit der Position der internen Kamera wird aus einer Mehrzahl von zuvor berechneten Bildern das Bild des Gegenstands ausgewählt und in den Strahlengang der internen Kamera eingeblendet, welches den Gegenstand aus der gleichen Position wie dem aktuellen Standpunkt der internen Kamera darstellt. Depending on the position of the internal camera, the image of the object is selected from a plurality of previously calculated images and superimposed into the beam path of the internal camera, which displays the object from the same position as the current position of the internal camera.
Dadurch ist es möglich, eine „Filmsequenz“ des Gegenstands zu erzeugen, das den Gegenstand aus wechselnden Perspektiven darstellt. Durch den Wechsel der eingeblendeten Bilder des Gegenstands in Abhängigkeit der Position der internen Kamera, wird eine weitere Steigerung der fotorealistischen Einbindung des Gegenstands in die in Echtzeit animierte 3D-Darstellung der Umgebung erzielt.This makes it possible to create a "movie sequence" of the subject that represents the subject from changing perspectives. By changing the displayed images of the object depending on the position of the internal camera, a further increase of the photo-realistic integration of the object in the real-time animated 3D representation of the environment is achieved.
Um eine weitere Verbesserung der Einbindung des Bilds des Gegenstands in eine animierte Umgebung zu erreichen, wird immer dann, wenn die interne Kamera eine Position einnimmt, zu der kein vorab berechnetes Bild des Gegenstands aus der gleichen Perspektive vorliegt, ein (Zwischen-)Bild durch Interpolation berechnet. Grundlage der Interpolation sind hierbei die Bilder des Gegenstands aus den benachbarten Perspektiven. In order to further improve the incorporation of the image of the subject into an animated environment, whenever the internal camera occupies a position to which no pre-calculated image of the subject exists from the same perspective, an (intermediate) image is made Interpolation calculated. The basis of interpolation here are the images of the object from the neighboring perspectives.
Dadurch ist es bei einer Kamerafahrt möglich, nicht nur die in Echtzeit animierte Umgebung, sondern auch die damit verbundenen, sich ändernden und auf dem Gegenstand eingeblendeten Reflexionen flüssig und ohne Ruckeln darzustellen. Dadurch ergibt sich eine weitere signifikante Verbesserung der Bildqualität und der fotorealistischen Einbindung des Gegenstands in die animierte 3D-Umgebung.This makes it possible during a camera movement, not only the real-time animated environment, but also the associated, changing and displayed on the subject reflections liquid and without juddering. This results in a further significant improvement of the image quality and the photorealistic integration of the object in the animated 3D environment.
Zur Interpolation von Bildern des Gegenstands in einer Zwischenposition werden vorteilhafterweise die in der Z-Map abgespeicherten Entfernungen zwischen den in den Bildpunkten sichtbaren Teilen des Gegenstands und dem Standort der internen Kamera, auch Tiefeninformationen genannt, herangezogen.For the interpolation of images of the object in an intermediate position, advantageously the distances stored in the Z-map between the parts of the object visible in the pixels and the location of the internal camera, also called depth information, are used.
Die fotorealistische Darstellung von Umgebung und Gegenstand wird weiter verbessert, wenn in Abhängigkeit der Position einer oder mehrerer Lichtquellen oder Objekte in der Umgebung und der Position der internen Kamera und unter Berücksichtigung der Normalen der Oberflächenabschnitte des Gegenstands Lichtreflexe und Oberflächenreflexionen auf dem Gegenstand berechnet und in den Strahlengang eingeblendet werden. Hierzu wird die Information zur Ausrichtung der Flächennormalen als dreidimensionaler Vektor (x, y, z) in den RGB Farbwerten eines Bildes gespeichert – „Normal Map“ genannt. Mit dieser Information können zusammen mit Licht- und Kameraposition Lichtreflexe berechnet werden. The photorealistic representation of the environment and object is further enhanced when, depending on the position of one or more light sources or objects in the environment and the position of the internal camera and taking into account the normals of the surface portions of the object, light reflections and surface reflections are calculated on the object and into the object Beam path are faded in. For this purpose, the information for aligning the surface normals is stored as a three-dimensional vector (x, y, z) in the RGB color values of an image - called a "normal map". With this information, light reflections can be calculated together with light and camera position.
Wenn zum Beispiel im Hintergrund der animierten Umgebung die Sonne untergeht, können Lichtreflexe auf dem Dach oder einem Kotflügel eines dargestellten Fahrzeugs in der Realität auftreten und diese Lichtreflexe können auch bei dem erfindungsgemäßen Verfahren berechnet und in das Bild eingeblendet werden.For example, if the sun goes down in the background of the animated environment, light reflections on the roof or fender of a depicted vehicle may occur in reality, and these reflections may also be calculated in the method of the invention and superimposed on the image.
Des Weiteren ist es möglich, z. B. bei Gegenlicht, die Lichtspiegelungen, die in einem Objektiv einer realen Kamera auftreten (Linsenreflexion oder engl. Lens Flare), zu berechnen und in den Strahlengang der internen Kamera einzublenden. Derartige Effekte helfen, die 2D-Fahrzeugabbildung visuell besser mit der 3D-Echtzeitszene zu verbinden. Dadurch wird der realitätsnahe Eindruck einer Kamerafahrt zusätzlich verbessert.Furthermore, it is possible, for. B. in backlight, the light reflections that occur in a lens of a real camera (lens reflection or English Lens Flare) to calculate and display in the beam path of the internal camera. Such effects help to visually better connect the 2D vehicle image with the 3D real-time scene. This further improves the realistic impression of a tracking shot.
Die Simulation der unterschiedlichen Lichtverteilungen von verschiedenen Scheinwerfertypen des abgebildeten Fahrzeugs, wie z. B. Halogen-Leuchten, Xenon-Leuchten oder LED-Leuchten, kann durch vorproduzierte Texturen, die ähnlich wie der Schlagschatten des Gegenstands auf dem 3D-Boden projiziert werden, oder durch interne virtuelle Lichtquellen in dem 3D-Echtzeitsystem berechnet werden.The simulation of the different light distributions of different types of headlights of the imaged vehicle, such. B. Halogen lights, xenon lights, or LED lights can be calculated by pre-fabricated textures projected on the 3D floor, similar to the object's drop shadow, or by internal virtual light sources in the 3D real-time system.
Durch das gleichzeitige Austauschen des Scheinwerfertyps in der Fahrzeugabbildung und das Wechseln der Lichtverteilung auf dem Boden wird der Eindruck verstärkt, dass die 2D-Fahrzeugabbildung ein dreidimensionales Objekt in der Szene ist und Auswirkungen auf die Beleuchtung eben jener hat.By simultaneously replacing the headlamp type in the vehicle image and changing the light distribution on the ground, the impression is reinforced that the 2D vehicle image is a three-dimensional object in the scene and has an effect on the lighting of the same.
Da bei der Berechnung in verschiedenen Positionen der Abstand der internen Kamera von dem Gegenstand bekannt ist bzw. vorgegeben wird und auch bei einer Kamerafahrt immer die Position der internen Kamera relativ zu dem Gegenstand bekannt ist, ist ein Zoomen der Kamera in jeder beliebigen Position möglich. Bei einem Heranzoomen der Kamera an den vermeintlichen 3D-Gegenstand wird das Bild des Gegenstands gewissermaßen näher an der Kamera in den Strahlengang der internen Kamera eingeblendet und erscheint dadurch größer auf dem Bildschirm. Analog hierzu erscheint das Bild des Gegenstands beim Herauszoomen der Kamera kleiner.Since in the calculation in various positions, the distance of the internal camera from the object is known or given and also in a camera movement always the position of the internal camera relative to the object is known zooming of the camera in any position is possible. When the camera is zoomed in on the supposed 3D object, the image of the object is, as it were, faded closer to the camera into the beam path of the internal camera and thus appears larger on the screen. Likewise, the image of the item appears smaller when the camera is zoomed out.
Da sich durch einen Kamerazoom lediglich der Kamera FOV ändert – d. h. nur der sichtbare Bildausschnitt wird vergrößert oder verkleinert, die perspektivische Verzerrung ändert sich nicht – ist ein solcher ohne Transformationen der 2D Fahrzeugabbildung möglich. Auch hierdurch wird die visuelle Verbindung von 2D-Fahrzeugabbildung und 3D-Echtzeitszene verstärkt.Because a camera zoom only changes the camera FOV - d. H. only the visible image section is enlarged or reduced, the perspective distortion does not change - is such a possible without transformations of the 2D vehicle image. This also enhances the visual connection between 2D vehicle imaging and 3D real-time scene.
Dadurch ist es möglich, den Gegenstand zusammen mit der ihn umgebenden Szenerie heranzuzoomen oder auch wieder weg zu zoomen. Die dafür erforderlichen Berechnungen können in Echtzeit gemacht werden, so dass auch hier wieder eine Option geschaffen ist, um dem Betrachter oder Nutzer des erfindungsgemäßen Verfahrens eine möglichst realistische Darstellung zu bieten, da ihm das Verhalten von handelsüblichen Fotokameras bekannt ist.This makes it possible to zoom in on the object together with the surrounding scenery or to zoom away. The necessary calculations can be made in real time, so that here again an option is created to provide the viewer or user of the method according to the invention as realistic as possible, since he knows the behavior of commercially available cameras.
In der animierten Umgebung/Szene können eines oder mehrere 3D-Objekte (beispielsweise Vögel, Baukräne, Fahnen, Gras, Wasserpfützen, etc.) animiert sein, wodurch sich eine weitere Verbesserung des visuellen Eindrucks ergibt. Dies ist ein signifikanter Vorteil eines 3D-Echtzeitsystems.In the animated environment / scene, one or more 3D objects (eg, birds, construction cranes, flags, grass, puddles, etc.) may be animated, resulting in a further enhancement of the visual impression. This is a significant advantage of a 3D real-time system.
Die eingangs genannte Aufgabe wird auch gelöst durch ein Computerprogramm zur Durchführung des erfindungsgemäßen Verfahrens, wobei das Computerprogramm vorteilhafterweise auf einer herkömmlichen Software basiert, mit deren Hilfe in Echtzeit animierte Umgebungen bzw. 3D-Darstellungen von räumlichen Szenerien oder Umgebungen erzeugt werden können. The object mentioned at the outset is also achieved by a computer program for carrying out the method according to the invention, wherein the computer program is advantageously based on conventional software with the aid of which real-time animated environments or 3D representations of spatial scenes or environments can be generated.
In diese Software werden die erfindungsgemäßen Funktionalitäten, nämlich das Einblenden eines 2D-Bildes eines Gegenstands in den Strahlengang der internen Kamera, implementiert. Dadurch ist es möglich, den im Fokus stehenden Gegenstand in einer sehr viel besseren Bildqualität darzustellen als den Rest der animierten Umgebung, ohne viel zusätzliche Rechenleistung zu benötigen. In this software, the functionalities of the invention, namely the fading of a 2D image of an object in the beam path of the internal camera implemented. This makes it possible to present the object in focus in a much better image quality than the rest of the animated environment, without the need for much additional processing power.
Die zur Durchführung des erfindungsgemäßen Verfahrens benötigte Rechenleistung kann von herkömmlichen POS, aber auch Tablet-PCs oder anderen Client-PCs, erbracht werden.The computing power required to carry out the method according to the invention can be provided by conventional POS, but also tablet PCs or other client PCs.
Des Weiteren wird die eingangs genannte Aufgabe auch durch ein Speichermedium, auf dem das erfindungsgemäße Verfahren und/oder die vorgefertigten Bilder des Gegenstands gespeichert sind, gelöst.Furthermore, the object mentioned at the outset is also achieved by a storage medium on which the method according to the invention and / or the prefabricated images of the object are stored.
Mit dem erfindungsgemäßen Verfahren ist es möglich, mindestens ein Bild eines Gegenstands, z. B. eines Autos, in exzellenter Qualität in eine in Echtzeit generierte 3D-Umgebung zu integrieren. Man kann eine flüssige Kamerafahrt in Echtzeit um dieses Auto machen und die präsentierte Ansicht aktiv beeinflussen. Gewissermaßen als Nebeneffekt wird der Fokus stetig auf das Auto gelegt, da es in brillanter Qualität dargestellt wird und sich somit relativ deutlich positiv von der Umwelt abhebt. Die Aufmerksamkeit des Betrachters wird also sehr stark auf das beworbene Objekt (in diesem Falle: das Auto) gelenkt. Zudem ergibt sich eine gewisse Ästhetik, die aus dem Kontrast zwischen brillanter Darstellung des Bildmittelpunkts Auto und etwas rauerer, gröberer Darstellung der Umgebung resultiert. With the method according to the invention it is possible, at least one image of an object, for. As a car, to integrate in excellent quality in a real-time generated 3D environment. You can do a smooth camera movement in real time around this car and actively influence the presented view. To a certain extent, as a side effect, the focus is placed steadily on the car, as it is presented in brilliant quality and thus relatively clearly stands out from the environment. The viewer's attention is thus very strongly directed to the advertised object (in this case: the car). In addition, there is a certain aesthetic, which results from the contrast between brilliant representation of the center of the image Auto and a rouger, coarser representation of the environment.
Zeichnung drawing
Es zeigen: Show it:
Beschreibung der Ausführungsbeispiele Description of the embodiments
Anhand der
In der
Das in
Wenn ein Bild
Auf der Basis dieser und anderer Informationen kann ein Bild
Wie bei digitalen Bildern üblich, setzt sich das Bild
In der
Ein Normalen-Vektor, d. h. ein Vektor, der orthogonal auf der Oberfläche des Bildpunkts
Bei der computergestützten Berechnung des Bilds
In entsprechender Weise werden die Informationen zu den Normalen-Vektoren der Oberfläche für jeden Bildpunkt
Mit Hilfe der zusätzlichen Normal-Map für jede 2D-Fahrzeugabbildung, deren Inhalt nicht als Farbe sondern als senkrecht zur Fläche stehender Normalen-Vektor interpretiert wird, kann das 3D-Echtzeitsystem über einen Shader die Reflexion der Umgebung auf jeder einzelnen 2D-Abbildung berechnen, als wäre es ein 3D-Objekt.With the aid of the additional normal map for each 2D vehicle image whose content is interpreted not as a color but as a perpendicular to the surface normal vector, the 3D real-time system can use a shader to calculate the reflection of the environment on each individual 2D image, as if it were a 3D object.
Das in
So ist es Gang und Gebe, dass ein Kraftfahrzeug mit verschiedenen Rädern (Aluminiumräder, Stahlblechfelgen, spezielle Designs) angeboten wird. Auch ist es möglich, dass die Frontschürze oder vordere Stoßstange des Fahrzeugs entsprechend der Produktlinie mehr oder weniger sportlich gestaltet ist. Auch gibt es die Möglichkeit, verschiedene Varianten von Außenspiegeln und oder Frontscheinwerfern (Reflexionsschweinwerfer, Xenon, LED, ...) anderes mehr aus dem Herstellerkatalog auszuwählen, so dass sich infolgedessen ein anderes Bild
Weil von den Herstellern hochwertiger Fahrzeuge mittlerweile so viele Ausstattungsvarianten angeboten werden, dass es Milliarden von möglichen Kombinationen gibt, ist es schlicht nicht praktikabel, von allen Ausstattungsvarianten „auf Vorrat“ Bilder zu berechnen und diese abzuspeichern. Daher wird bei dem erfindungsgemäßen Verfahren die sogenannte Layer-Technologie eingesetzt bei der Bild
Dies bedeutet im konkreten Beispiel, dass das Bild
In der
Die
Die Schicht der Karosserie ist nicht gesondert dargestellt.The layer of the body is not shown separately.
Man kann sich nun vorstellen, dass das Bild
Wenn es nun beispielsweise drei verschiedene Frontschürzen gibt, dann werden in der Schicht „Frontschürze“ von diesen drei Frontschürzen in allen angebotenen Farben und in allen gewünschten Blickwinkeln Bilder mit Hilfe eines Computers generiert. If, for example, there are three different front aprons, then in the layer "front apron" of these three front aprons in all offered colors and in all desired angles images are generated with the help of a computer.
Wenn es also beispielsweise zwei verschiedene Frontschürzen gibt und diese in drei Farben angeboten werden, dann gibt es sechs Varianten der Schicht „Frontschürze“. Von jeder Variante müssen Bilder in verschiedenen Ansichten berechnet und abgespeichert werden. If, for example, there are two different front aprons and they are offered in three colors, there are six variants of the "front apron" layer. From each variant, images must be calculated and stored in different views.
Entsprechendes gilt auch für die anderen Schichten, wie Karosserieform, Außenspiegel, Räder und Frontscheinwerfer. Es versteht sich von selbst, dass die Auswahl der genannten Schichten beispielhaften Charakter hat und die Erfindung nicht auf diese Auswahl beschränkt ist. The same applies to the other layers, such as body shape, exterior mirrors, wheels and headlights. It goes without saying that the selection of the layers mentioned has exemplary character and the invention is not limited to this selection.
Wenn nun der Nutzer des Visualisierungssystems andere Räder an dem Fahrzeug sehen will, dann wird nur in der Schicht „Räder“ ein anderes Bild der Räder aus dem Speicher des Rechners geladen und damit das veränderte (Gesamt-)Bild
Auf diese Weise ist es möglich, eine große Variantenvielfalt zu beherrschen und auf einfache Weise diese verschiedenen Varianten in einer Gesamtdarstellung
Dieser schicht- oder schablonenartige Aufbau des Fahrzeugs
In der
Damit später das Fahrzeug in einer animierten Umgebung aus verschiedenen Perspektiven dargestellt werden kann, werden von verschiedenen Punkten einer internen Kamerafahrt, den verschiedenen Perspektiven, Bilder aller zuvor genannten Schichten (Karosserieform, Frontschürze, Außenspiegel, Räder und Frontscheinwerfer) berechnet. So that the vehicle can later be presented in an animated environment from different perspectives, different points of an internal camera movement, the different perspectives, images of all the aforementioned layers (body shape, front apron, exterior mirrors, wheels and headlights) are calculated.
In der
Die
Wenn man den Weg der Kamerafahrt beim Winkel 0° beginnt und vorab alle 10° ein Bild des Fahrzeugs vorab berechnet, dann entsprechen diese 36 Bilder des Fahrzeugs 36 Standpunkten der internen Kamera
In der
Wenn man eine möglichst flüssige Kamerafahrt um das interne Fahrzeug
Die vorab berechneten 2D-Bilder (Fahrzeugabbildungen) können entweder vorproduziert als einzelne Bilddateien in einem Dateisystem abgelegt sein und durch das 3D-Echtzeitsystem geladen oder durch ein externes System über eine Schnittstelle bereitgestellt werden.The pre-calculated 2D images (vehicle images) can either be pre-produced as individual image files stored in a file system and loaded by the 3D real-time system or provided by an external system via an interface.
Durch das Austauschen der 2D-Bilder in dem 3D-Echtzeitsystem zur Laufzeit wird eine Konfiguration des Fahrzeugs durch den Nutzer zur Laufzeit ermöglicht.By exchanging the 2D images in the 3D real-time system at runtime, a configuration of the vehicle is made possible by the user at runtime.
Dabei wird, wie bereits erwähnt, jedes Bild aus den genannten Schichten zusammengesetzt. Im Ergebnis führt dies dazu, dass zu jeder Position der internen Kamera
Selbstverständlich werden zu den Bildern auch die Z-Map und die Normal-Map erstellt, wie bereits im Zusammenhang mit der
Wenn man nun aus allen 36 Standorten der internen Kamera
Diese Bilder werden bei dem erfindungsgemäßen Verfahren nun in den Strahlengang einer internen Kamera
Man stelle sich nun eine Szene vor, welche unabhängig von einer Kamera animiert ist. Es würde sich beispielsweise ein fliegender Vogel im Himmel bewegen. Schießt nun die interne Kamera
Zunächst wird in der
Es ist offensichtlich, dass die in
In
Die
Dabei wird deutlich, dass die Kamerabewegung eine Kreisbahn beschreibt, die innerhalb der Gegenstände liegt.It becomes clear that the camera movement describes a circular path that lies within the objects.
Die
Wenn man nun die in Echtzeit generierte Szenerie mit dem auf dem Boden der Szenerie überlagerten Schatten
Zunächst wird deutlich, dass sich ein dreidimensionaler Eindruck des Bilds
Weil das zweidimensionale Bild
Durch diesen „Automatismus“ ist es möglich, auf einfache Weise einen Schatten des Fahrzeugs darzustellen, der sehr realistisch wirkt und trotzdem in Echtzeit nur wenig Rechenzeit benötigt.Through this "automatism" it is possible to easily represent a shadow of the vehicle, which looks very realistic and still requires little real time in real time.
Die Realitätsnähe der Einbindung der hochqualitativen 2D-Darstellung des Gegenstands in die animierte Szene wird durch die Schatten weiter verbessert. The realism of incorporating the high-quality 2D representation of the subject into the animated scene is further enhanced by the shadows.
Der Fahrzeugschatten
Alternativ kann der Schatten des Fahrzeugs von dem 3D-Echtzeitsystem zur Laufzeit mit Hilfe eines vergleichsweise niedrig aufgelösten 3D-(Hilfs-)Modell des Fahrzeugs erzeugt werden. Dieses 3D-Hilfsmodell ist für die interne Kamera
Durch die Tatsache, dass die 2D-Fahrzeugabbildung als Textur auf der Fläche, welche vor der internen Kamera liegt, bzw. in den Strahlengang der internen Kamera eingeblendet wird, entsteht das Problem, dass die Information, wo das suggerierte dreidimensionale Fahrzeug in der 3D-Szene steht, fehlt. Um berechnen zu können, ob sich ein 3D-Objekt, wie beispielsweise der Kegelstumpf aus
Es versteht sich von selbst, dass je nach Position der internen Kamera
Wenn sich also in
Wenn die Kamera sich nun weiterbewegt und eine Position einnimmt, die einem Winkel von 130° entspricht, dann muss selbstverständlich die Szenerie entsprechend neu berechnet werden und es müssen die zu der Kameraposition 130° gehörenden zweidimensionalen Bilder des Fahrzeugs
Wenn man eine solche interne Kamerafahrt nur von 36 Positionen aus darstellen würde, dann ergäbe sich eine sehr ruckartige und wenig ansprechende Kamerafahrt, falls nicht mehr als 14 bis 16 aufeinanderfolgende Perspektiven pro Sekunde angezeigt würden. Ab dem genannten Wert interpretiert das menschliche Gehirn eine Folge von Einzelbildern als zusammengehörige Bildsequenz.If you were to do such an internal tracking shot from just 36 positions, you would get a very jerky and unattractive tracking shot if you did not see more than 14 to 16 consecutive views per second. From the above value, the human brain interprets a sequence of individual images as a related image sequence.
Weil die Szenerie, in der das Fahrzeug
Wenn man nun unterstellt, dass die Szenerie bei der Kamerafahrt in Schritten von einem Grad berechnet wird und aus diesen 360 kleinen Schritten eine Kamerafahrt in Echtzeit berechnet wird, dann ergibt sich eine flüssige Darstellung dieser Kamera insoweit als die Szenerie betroffen ist. Assuming that the scene is calculated in steps of one degree during the camera movement, and a camera movement in real time is calculated from these 360 small steps, the result is a fluid representation of this camera as far as the scenery is concerned.
Da jedoch aus den genannten Gründen von dem Fahrzeug
Es liegt auf der Hand, dass eine solche Darstellung unbefriedigend ist, weil das Fahrzeug
An dieser Stelle macht sich das erfindungsgemäße Verfahren nun die Tatsache zunutze, dass zu jedem Bild des Fahrzeugs
Diese Interpolation von Bildern des Fahrzeugs ausgehend von den in höchster Qualität vorhandenen vorab berechneten Bildern ermöglicht es, das Fahrzeug in verschiedensten Perspektiven mit sehr hoher Qualität als 2D-Darstellung abzubilden und ggf. zu interpolieren und in den Strahlengang der Kamera
Im Ergebnis lassen sich somit Kamerafahrten der internen Kamera
Mit Hilfe der "Z-Map" für jede 2D-Fahrzeugabbildung und Perspektive, deren Inhalt als Tiefeninformation (Abstand zwischen Punkt im Raum und Kamera) interpretiert wird, kann das 3D-Echtzeitsystem über einen Shader und ein Verfahren, welches allgemein als "Image Based Rendering" bezeichnet wird, Bilder zwischen einzelnen Perspektiven interpolieren. So kann schon aus minimal 5 Perspektiven (vorne, hinten, links, rechts, oben) ein flüssiger „Rundumflug“ um das Fahrzeug realisiert werden. Mehr Perspektiven erhöhen die Qualität und Genauigkeit der Interpolation.With the aid of the "Z-Map" for each 2D vehicle image and perspective, the content of which is interpreted as depth information (distance between point in space and camera), the 3D real-time system can use a shader and a method commonly referred to as "Image Based Rendering ", interpolate images between individual perspectives. So even from a minimum of 5 perspectives (front, back, left, right, up) a fluid "all-round flight" around the vehicle can be realized. More perspectives increase the quality and accuracy of the interpolation.
Durch diese Technik wird aus mehreren 2D-Abbildungen intern im 3D-Echtzeitsystem ein 3D-Modell errechnet. Somit ist die Integration des Fahrzeugs in die 3D-Szene mit diesem Punkt als vollständig und gelungen zu betrachten. Dieses interne 3D-Modell kann dann auch das zuvor beschriebene niedrig aufgelöste 3D-Hilfsmodell ersetzen.Using this technique, a 3D model is internally calculated from several 2D images in the 3D real-time system. Thus, the integration of the vehicle into the 3D scene with this point is considered complete and successful. This internal 3D model can then also replace the previously described low-resolution 3D auxiliary model.
Durch das Image Based Rendering sind weitere Kamerafahrten/Animationen und beinahe uneingeschränkte Bewegungsfreiheit möglich.Image-based rendering allows more camera shots / animations and almost unlimited freedom of movement.
Im Ergebnis lässt sich somit das Fahrzeug bei einer Kamerafahrt in höchster Qualität darstellen. Alle Bewegungen wirken flüssig und die Darstellung von Fahrzeug und Umgebung lässt sich mit Hilfe eines einzigen Rechners realisieren. As a result, the vehicle can be displayed in a camera movement of the highest quality. All movements have a fluid effect and the depiction of vehicle and surroundings can be realized with the help of a single computer.
Anhand der
Dabei wird in die Mitte der Szenerie ein vereinfachtes 3D-Modell
Weil das Modell
Das vereinfachte Modell
Durch diese Berechnung des Schattens
Eine weitere Steigerung der Realitätstreue kann dadurch erreicht werden, dass Lichtreflexe, die durch die Spiegelung beispielsweise des Sonnenlichts auf einer Kante des Fahrzeugs entstehen, und die Reflexion der Umgebung auf der Oberfläche des Fahrzeugs, in Echtzeit berechnet und in das Bild eingeblendet werden. Zur Berechnung dieser Reflexionen und Lichtreflexe wird die im Zusammenhang mit der
Eine weitere Steigerung der Realität der Darstellung kann erreicht werden, indem entsprechend den gewählten Frontscheinwerfern (Halogen, Xenon oder LED-Technik) das von den Frontscheinwerfern ausgeleuchtete Lichtfeld dargestellt wird. So haben beispielsweise Xenon-Lichter ein charakteristisches bläuliches Licht, während Halogen-Scheinwerfer einen demgegenüber „wärmeren“ Farbton haben und LED-Leuchten einen größeren Lichtstrom und gleichzeitig ein relativ farb-neutrales Licht erzeugen.A further increase in the reality of the presentation can be achieved by the light source field illuminated by the headlights is displayed according to the selected headlights (halogen, xenon or LED technology). For example, xenon lights have a characteristic bluish light, while halogen headlamps have a "warmer" hue and LED lights produce a larger luminous flux and at the same time a relatively color-neutral light.
Claims (16)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013207098.5A DE102013207098A1 (en) | 2013-04-19 | 2013-04-19 | A method of integrating a computer generated image from a highest image quality object into an animated environment created and animated by a 3D real time system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013207098.5A DE102013207098A1 (en) | 2013-04-19 | 2013-04-19 | A method of integrating a computer generated image from a highest image quality object into an animated environment created and animated by a 3D real time system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102013207098A1 true DE102013207098A1 (en) | 2014-10-23 |
Family
ID=51628919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102013207098.5A Ceased DE102013207098A1 (en) | 2013-04-19 | 2013-04-19 | A method of integrating a computer generated image from a highest image quality object into an animated environment created and animated by a 3D real time system |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102013207098A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102021123138A1 (en) | 2021-09-07 | 2023-03-09 | WALD Digitale Transformations GmbH | Process for adapting the nature of an object to be manufactured, in particular a chimney, to the environment of the site intended for its installation and application software |
-
2013
- 2013-04-19 DE DE102013207098.5A patent/DE102013207098A1/en not_active Ceased
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102021123138A1 (en) | 2021-09-07 | 2023-03-09 | WALD Digitale Transformations GmbH | Process for adapting the nature of an object to be manufactured, in particular a chimney, to the environment of the site intended for its installation and application software |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102009041431B4 (en) | Driving simulation apparatus, wide-angle camera video simulation apparatus and image deforming / composing apparatus | |
DE69807479T2 (en) | Creation of an image of a three-dimensional object | |
DE602005006347T2 (en) | System and method for generating a two-layered 3D representation of a scene | |
EP2206089B1 (en) | Method and device for illustrating a virtual object in a real environment | |
DE69635347T2 (en) | METHOD AND SYSTEM FOR REPRODUCING AND COMBINING IMAGES | |
DE112018000311T5 (en) | Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering | |
DE102005010250B4 (en) | Method and device for tracking sweet spots | |
DE112018000858T5 (en) | Apparatus and method for displaying information | |
DE202014010917U1 (en) | Smooth drawing plane for rendering vector data of complex three-dimensional objects | |
DE202008018628U1 (en) | System for playback, viewing and annotation of panoramic images and related applications | |
DE112018000862T5 (en) | Apparatus and method for displaying information | |
EP3347876B1 (en) | Device and method for generating a model of an object using superimposed image data in a virtual environment | |
DE102016203709A1 (en) | Image processing method, image processing means and image processing apparatus for generating images of a part of a three-dimensional space | |
DE102010015079A1 (en) | A method of displaying an image on a display device in a vehicle. Driver assistance system and vehicle | |
WO2004027707A2 (en) | Image processing on an item of hardware that is optimized with regard to vector calculation and color mixing | |
EP0862141A2 (en) | Image presentation method and apparatus | |
DE112019000329B4 (en) | DISPLAY SYSTEM, MOVABLE OBJECT AND DESIGN METHOD | |
WO2018162509A2 (en) | Device and method for the representation of a spatial image of an object in a virtual environment | |
EP2951787A1 (en) | Method and device for processing 3d image data | |
EP3403240A1 (en) | Device and method for superimposing at least one part of an object with a virtual surface | |
DE112013004072T5 (en) | Method for automatically correcting the video projection by means of inverse transformation | |
DE102013016241A1 (en) | Method and device for augmented presentation | |
DE102014208048A1 (en) | System and method for personalizing an exhibition space | |
WO2009118156A2 (en) | M,method for generating a 3d-image of a scene from a 2d-image of the scene | |
EP3556090A1 (en) | Three-dimensional all-round view system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |