DE102013207098A1 - A method of integrating a computer generated image from a highest image quality object into an animated environment created and animated by a 3D real time system - Google Patents

Abstract

Es wird ein Verfahren vorgestellt, mit dessen Hilfe es möglich ist, Gegenstände in fotorealistischer Qualität in eine in Echtzeit animierte Umgebung zu integrieren.A method is presented with the aid of which it is possible to integrate objects of photo-realistic quality into a real-time animated environment.

Description

Um hochwertige Produkte, wie zum Beispiel Kraftfahrzeuge, adäquat zu präsentieren, werden heutzutage verschiedene digitale Systeme genutzt. Diese umfassen stets einen oder mehrere Computer sowie einen oder mehrere Bildschirme zur Visualisierung. In order to adequately present high-quality products, such as motor vehicles, various digital systems are used today. These always include one or more computers and one or more screens for visualization.

Computer und Bildschirm können dabei, wie etwa in Tablets, Smartphones und Fernsehern, in einem einzigen Gerät integriert sein. Die Produktvisualisierung erfolgt typischerweise auf einer Webseite oder einer sogenannten App oder einem sogenannten „Point of Sales“ (POS). Die genannten Visualisierungssysteme ermöglichen es einem potentiellen Kunden, sich spielerisch mit den Fahrzeugen des Herstellers vertraut zu machen. Zu diesem Zweck kann der Interessent einen Fahrzeugtyp (Modellreihe) sowie Farbe und Ausstattung auswählen und dadurch ein Fahrzeug seinen Wünschen entsprechend konfigurieren. Damit der Interessent einen möglichst realistischen visuellen Eindruck von dem eigens konfigurierten Fahrzeug erhält, stellt das Visualisierungssystem dieses in einer animierten 3D-Umgebung dar. Damit der potentielle Käufer möglichst vielfältige Eindrücke gewinnen kann, wird das Fahrzeug in einem virtuellen Rundgang um selbiges mit Hilfe einer „internen“ Kamera von allen Seiten und in verschiedenen Beleuchtungssituationen, wie beispielsweise „Tag“ und „Nacht“, präsentiert.Computers and monitors can be integrated into a single device, such as tablets, smartphones and televisions. The product visualization typically takes place on a website or a so-called app or a so-called "Point of Sales" (POS). The visualization systems mentioned make it possible for a potential customer to playfully familiarize themselves with the vehicles of the manufacturer. For this purpose, the interested party can select a vehicle type (model series) and color and equipment, thereby configuring a vehicle according to his wishes. In order to give the prospective customer a realistic visual impression of the specially configured vehicle, the visualization system displays this in an animated 3D environment. In order for the potential buyer to gain as many impressions as possible, the vehicle is navigated in a virtual tour around the same with the help of a " internal "camera from all sides and in different lighting situations, such as" day "and" night ", presented.

Im Zusammenhang mit dem erfindungsgemäßen Verfahren wird häufig von einer „internen“ Kamera gesprochen, weil das erfindungsgemäße Verfahren ausschließlich mit Hilfe von computergenerierten Bildern durchgeführt wird. Die Verwendung von Fotografien ist bisher nicht vorgesehen. Für die Bildberechnung und die animierte Darstellung einer Umgebung ist es allerdings erforderlich sowohl einen Standpunkt, von dem aus Gegenstand und Umgebung betrachtet werden sollen, als auch die optischen Eigenschaften (Blickwinkel, bzw. Brennweite eines Objektivs) festzulegen. Diese Eigenschaften werden mit dem gewählten Begriff der „internen“ Kamera verbunden. In connection with the method according to the invention is often spoken of an "internal" camera, because the inventive method is performed exclusively with the help of computer-generated images. The use of photographs is not planned. For the image calculation and the animated representation of an environment, however, it is necessary to define both a viewpoint from which the object and surroundings are to be viewed, and also the optical properties (angle of view or focal length of an objective). These properties are linked to the chosen term of the "internal" camera.

Um animierte 3D-Darstellungen in Echtzeit erzeugen zu können, nutzen herkömmliche Visualisierungssysteme die aus Videospielen bekannten Algorithmen. Diese sind sehr effizient, da sie sich der Leistungsfähigkeit der Grafikprozessoren bedienen können. Auf Grund des Anspruchs auf die Erzeugung in Echtzeit, ist der Grad an Fotorealismus bei solchen Darstellungen dennoch relativ gering. Die Resultate sind somit unbefriedigend im Hinblick auf die Präsentation von hochwertigen Produkten, wie zum Beispiel Premium-Kraftfahrzeugen.In order to generate animated 3D representations in real time, conventional visualization systems use the algorithms known from video games. These are very efficient because they can use the power of the graphics processors. Nevertheless, due to the demand for real-time generation, the degree of photorealism in such representations is relatively low. The results are therefore unsatisfactory with regard to the presentation of high-quality products, such as premium motor vehicles.

Aufgabe der Erfindung ist es, ein Verfahren bereitzustellen, das es ermöglicht, einen Gegenstand, wie zum Beispiel ein Fahrzeug, in einer in Echtzeit animierten Umgebung in höchstmöglicher Qualität darzustellen.The object of the invention is to provide a method which makes it possible to represent an object, such as a vehicle, in a real-time animated environment in the highest possible quality.

Im Folgenden wird die Bezeichnung „Fahrzeug“ analog zu „Gegenstand“ benutzt, da es für den Erfolg des Verfahrens unbedeutend ist, welchem Typ der Gegenstand angehört.In the following, the term "vehicle" is used analogously to "object", since it is irrelevant to the success of the method to which type the object belongs.

Diese Aufgabe wird erfindungsgemäß bei einem Verfahren zur Erzeugung animierter Inhalte mittels eines 3D-Echtzeitsystems, dadurch gelöst, dass mindestens ein vorab erstelltes Bild des Gegenstands/der Gegenstände in die in Echtzeit mittels einer 3D-Gameengine, wie z. B. Unity3D, animierte Umgebung oder Szene eingeblendet wird. Hierdurch entsteht der Schein, dass der Gegenstand tatsächlich im Raum platziert wird.This object is achieved in a method for generating animated content by means of a 3D real-time system, characterized in that at least one pre-created image of the object / objects in the real-time by means of a 3D game engine, such. Unity3D, animated environment or scene is displayed. This creates the appearance that the object is actually placed in the room.

Vorteile der ErfindungAdvantages of the invention

Ein wichtiger Vorteil des erfindungsgemäßen Verfahrens ist darin zu sehen, dass ein oder mehrere Bilder des Gegenstands, der später in einer in Echtzeit animierten Umgebung dargestellt werden soll, vorab von einer „Renderingengine“, wie zum Beispiel „V-Ray“, auf einem leistungsfähigen Computer oder Server berechnet werden. Weil diese Bildberechnungen nicht in Echtzeit erfolgen müssen, stellt der relativ große Rechenaufwand kein Problem dar und es können Bilder mit einer sehr hohen Qualität erzeugt werden. Zu jeder einzelnen der verschiedenen Fahrzeugabbildungen/Perspektiven, sprich zu jedem Bild, werden zusätzlich später relevante Daten, wie die Kameraposition, die Kamerarotation und das Kamera-FOV (Field of View), abgespeichert.An important advantage of the method of the invention is that one or more images of the object to be displayed later in a real-time animated environment are pre-scanned by a rendering engine, such as "V-Ray," on a powerful computer Computer or server. Because these image calculations do not have to be done in real time, the relatively large amount of computation does not present a problem and images of very high quality can be generated. For each individual one of the different vehicle images / perspectives, ie for each image, additional relevant data, such as the camera position, the camera rotation and the camera FOV (field of view), are additionally stored.

Die erzeugten Bilder zeigen lediglich das Fahrzeug bzw. den Gegenstand; d. h. seine „Umgebung“ ist transparent; weder Hintergrund noch Schatten sind sichtbar.The images produced merely show the vehicle or object; d. H. his "environment" is transparent; neither background nor shadow are visible.

Die eben genannten Daten, welche bei der Bildgenerierung gespeichert werden, sind zwingend erforderlich für das weitere Vorgehen. Erst durch sie ist es möglich, dass später der Blickwinkel in eine animierte Szene und der Blickwinkel auf das Fahrzeug gleich sind.The above-mentioned data, which are stored during the image generation, are absolutely necessary for the further procedure. Only through them is it possible that later the viewing angle in an animated scene and the view of the vehicle are the same.

In anderen Worten: Im 3D-Echtzeitssystem werden die bekannten Daten zu Kameraposition, -rotation und FOV der computergenerierten 2D-Bilder auf eine interne Kamera angewendet und die freigestellte Fahrzeugabbildung vor eben jener internen Kamera platziert.In other words, in the real-time 3D system, the known camera positioning, rotation, and FOV data of the computer-generated 2D images are applied to an internal camera and the isolated vehicle image is placed in front of that internal camera.

Als Bilder des Fahrzeugs oder des Gegenstands können sowohl Außenansichten, Innenansichten als auch sphärische Innenansichten verwendet werden. As images of the vehicle or object, both exterior views, Interior views as well as spherical interior views can be used.

Werden diese Bilder eines Gegenstands später in die animierte Umgebung eingeblendet, wird der Gegenstand in höchster Qualität dargestellt während die Qualität der Darstellung der in Echtzeit animierten Umgebung demgegenüber relativ gering ist.When these images of an object are later faded into the animated environment, the object is rendered in the highest quality while the quality of the presentation of the real-time animated environment is relatively low.

Das „Einblenden der vorab berechneten Bilder“ erfolgt anhand einer Reihe von Schritten. Im 3D-Raum der Echtzeitszene wird eine Fläche erzeugt und orthogonal zur Blickrichtung der internen Kamera ausgerichtet. Jegliche Transformation der Kamera wird analog auf die Fläche angewendet, sodass der Abstand und die orthogonale Ausrichtung zur internen Kamera erhalten bleiben. Hiding the pre-calculated images is done in a series of steps. In the 3D space of the real-time scene, an area is created and aligned orthogonally to the viewing direction of the internal camera. Any transformation of the camera is applied analogously to the surface so that the distance and the orthogonal alignment to the internal camera are maintained.

Dies hat unter anderem zur Folge, dass exakt das Bild, welches der gewählten Perspektive entspricht, als Textur der Fläche angezeigt wird.One of the consequences of this is that the exact image corresponding to the selected perspective is displayed as the texture of the surface.

Die freigestellte Fahrzeugabbildung muss abhängig von dem gewünschten Abstand zur internen Kamera im 3D-Raum, dem Kamera-FOV und dem Zoomfaktor skaliert werden. Bildlich gesprochen heißt dies, dass das 2D-Bild, nachdem es an der gewünschten Position im Strahlengang der internen Kamera platziert wurde, in seiner Größe derart angepasst werden muss, dass die relative Größe im Verhältnis zur animierten Umgebung erhalten bleibt. Dadurch entsteht der Eindruck, dass die "flache" 2D-Abbildung des Fahrzeugs als dreidimensionales Objekt in der 3D-Echtzeitszene vorhanden ist.The isolated vehicle image must be scaled according to the desired distance to the internal camera in 3D space, the camera FOV, and the zoom factor. Figuratively speaking, this means that the 2D image, after it has been placed in the desired position in the beam path of the internal camera, must be adjusted in size so that the relative size is maintained in relation to the animated environment. This creates the impression that the "flat" 2D image of the vehicle exists as a three-dimensional object in the 3D real-time scene.

Hierbei ist zu beachten, dass diese Herangehensweise beispielhaft zu verstehen ist, sprich das genaue Vorgehen ergibt sich durch die gesuchte Unbekannte, verfolgt aber stets das gleiche Ziel.It should be noted that this approach is to be understood as an example, ie the exact procedure results from the unknown unknown, but always pursues the same goal.

Folgende Formel ist Grundlage der Berechnungen: tan(alpha/2) = (h/2)/(z·f) The following formula is the basis of the calculations: tan (alpha / 2) = (h / 2) / (z · f)

Mit:

alpha

= vertikaler Kamera-FOV

h

= Höhe des Bildes

z

= Zoomfaktor

f

= Abstand des Bildes zur internen Kamera

With:

alpha

= vertical camera FOV

H

= Height of the picture

z

= Zoom factor

f

= Distance of the image to the internal camera

Beispiel:Example:

Bekannt ist der vertikale FOV von 35° (entspricht 35·PI·2/360 Einheiten im Bogenmaß) und der Zoomfaktor von 1,0. Darüber hinaus soll die 2D-Abbildung im Abstand von 100 Einheiten zur Kamera platziert werden.Known is the vertical FOV of 35 ° (equivalent to 35 * PI * 2/360 units in radians) and the zoom factor of 1.0. In addition, the 2D image should be placed at a distance of 100 units from the camera.

Stellt man die genannte Formel hinsichtlich der Unbekannten h um, erhält man: h = tan(alpha/2)·f·z·2 und durch Einsetzen ergibt sich: h = tan(((35·PI·2)/360)/2)·100·1·2 If one repositions the formula with respect to the unknown h, one obtains: h = tan (alpha / 2) · f · z · 2 and by inserting results: h = tan (((35 * PI * 2) / 360) / 2) * 100 * 1 * 2

Hieraus folgt, dass die 2D-Abbildung im Beispiel auf etwa 63,06% in ihrer Höhe skaliert werden muss. Die Breite wird analog dazu in Anbetracht des Seitenverhältnisses skaliert.It follows that in the example, the 2D map must be scaled up to about 63.06% in height. The width is scaled analogously in consideration of the aspect ratio.

Damit wird der Nachteil der herkömmlichen 3D-Echtzeit-Animationen, nämlich eine vergleichsweise geringe Qualität der Darstellung, ausgeglichen. Die Tatsache, dass zum Erstellen der Bilder des Gegenstands sehr viel Rechenzeit benötigt wird, fällt insofern nicht so sehr ins Gewicht, als diese Berechnungen vorab auf einem leistungsfähigen Server gemacht werden können. Die einmal fertig berechneten Bilder können dann abgespeichert und in verschiedenen Visualisierungssystemen und/oder in anderen Anwendungen eingesetzt werden.Thus, the disadvantage of the conventional 3D real-time animations, namely a comparatively low quality of the representation is compensated. The fact that a lot of computation time is needed to create the images of the object is not so significant in that these calculations can be made in advance on a powerful server. The once calculated images can then be stored and used in various visualization systems and / or in other applications.

Besonders vorteilhaft ist es natürlich, wenn das oder die Bilder des mindestens einen Gegenstands von einem Computer berechnete Bilder, sogenannte „Computer Generated Images“, sind. Sie sind prädestiniert für das erfindungsgemäße Verfahren, da sie eine schier endlose Vielfalt an Darstellungen ermöglichen. Es können Fahrzeuge und andere Produkte, die zum Zeitpunkt der Bilderstellung nur als CAD-Datensatz vorhanden sind, als Ausgangsbasis für die Berechnung von Bildern herangezogen werden. Des Weiteren ist es möglich, verschiedene Ausführungen oder Modifikationen, verschiedene Farben, Ausstattungsvarianten und anderes mehr bei der Erstellung der Bilder zu berücksichtigen, ohne jemals den Gegenstand tatsächlich in allen diesen Varianten herstellen zu müssen. Maßgebend für den Erfolg des Verfahrens sind Tiefeninformationen, welche bei CGIs ohnehin vorhanden sind. Doch auch nicht durch Computer generierte Abbildungen von Gegenständen können durch Anwendung bekannter Verfahren, wie z. B. der Extraktion von Tiefeninformationen aus stereoskopischem Bildmaterial, genutzt werden. Of course, it is particularly advantageous if the one or more images of the at least one object are computed by a computer images, so-called "computer generated images" are. They are predestined for the method according to the invention, since they allow an almost endless variety of representations. Vehicles and other products that are only available as a CAD dataset at the time of image creation can be used as a basis for the calculation of images. Furthermore, it is possible to consider various designs or modifications, different colors, trim levels, and more when creating the images, without ever having to actually fabricate the article in all of these variations. Decisive for the success of the procedure are depth information, which is already present in CGIs. However, also not generated by computer images of objects can by applying known methods, such as. As the extraction of depth information from stereoscopic images used.

Um zusätzlich eine Konfiguration eine Gegenstandes, z. B. eines Fahrzeugs, zu ermöglichen werden bei zwei Karosserievarianten (z. B. Coupe und Kombi) und drei Wagenfarben (z. B. weiß, rot und silbern) also aus jeder Position der Kamera sechs computer-generierte Bilder (CGI) berechnet (Zahl der Bilder pro Perspektive = Zahl der Karosserievarianten x Zahl der Farben). Es hat sich für einen vollständigen Rundumflug (360°) um den Gegenstand als vorteilhaft erwiesen Bilder aus 36 Perspektiven mit einem Abstand von jeweils 10° zu generieren. In addition to a configuration of an object, for. For example, in two body variants (eg, coupe and station wagon) and three car colors (eg, white, red, and silver), six computer-generated images (CGI) are calculated from each position of the camera (eg, vehicle). Number of images per perspective = number of body variants x number of colors). It has become a complete 360 ° flight around the object as advantageous to generate images from 36 perspectives with a distance of 10 ° each.

Dies verspricht ein optimales Kosten-Nutzen-Verhältnis. Wird die Anzahl der Perspektiven erhöht, erhält man eine flüssigere Kamerafahrt, muss jedoch einen Anstieg des Rechenaufwands und der erforderlichen Speicherkapazität in Kauf nehmen.This promises an optimal cost-benefit ratio. If the number of perspectives is increased, you will get a smoother tracking shot, but you have to accept an increase in the computational burden and the required storage capacity.

Insgesamt werden also, um im Beispiel zu bleiben, 36 × (3 × 2) Bilder = 216 Bilder berechnet und abgespeichert. Erweitert sich die Liste der verfügbaren Parameter, wie z. B. der Zustände („Tag“ und „Nacht“) oder der Auflösung, muss ein Faktor angefügt werden, der die Anzahl der Möglichkeiten für den betreffenden Parameter repräsentiert.In total, therefore, in order to stay in the example, 36 × (3 × 2) images = 216 images are calculated and stored. Extends the list of available parameters, such as: For example, the states ("day" and "night") or the resolution, a factor must be added that represents the number of possibilities for that parameter.

Durch die Wahl der Karosserieform und der Farbe trifft der Nutzer eine Auswahl von 36 Bildern aus den im Layer „Karosserieform“ hinterlegten 216 Bildern. By choosing the body shape and the color, the user makes a selection of 36 images from the 216 images stored in the "Bodywork" layer.

Bei der (Vorab-)Berechnung der Bilder, im Fachjargon Rendering genannt, hat es sich als vorteilhaft erwiesen, zu jedem Bildpunkt eines berechneten Bildes eines Gegenstands die Entfernung Z zwischen dem im Bildpunkt sichtbaren Teil des Gegenstands und dem Standort einer internen Kamera zu berechnen und in einer Datei abzuspeichern (Z-Map). Diese Berechnung erfordert relativ wenig zusätzliche Rechenleistung und ermöglicht es, Bilder des Gegenstands aus etwas geänderten Perspektiven, bzw. Kamerastandorten nachträglich durch ein Interpolationsverfahren, allgemein als „Image Based Rendering“ bezeichnet, zu generieren.In the (pre) calculation of the images, referred to in the jargon as rendering, it has proved to be advantageous to calculate the distance Z between the image-visible part of the object and the location of an internal camera for each pixel of a calculated image of an object save in a file (Z-Map). This calculation requires relatively little additional computing power and makes it possible to subsequently generate images of the object from slightly changed perspectives or camera locations by means of an interpolation method, generally referred to as "image-based rendering".

Dies ist insbesondere dann wichtig, wenn eine Kamerafahrt simuliert werden soll, so dass eine Vielzahl von Bildern des Gegenstands aus einer Vielzahl von Standpunkten, dabei jedoch deutlich mehr als die bereits genannten 36, benötigt wird, wobei sich die Standpunkte von denen aus der Gegenstand betrachtet wird, von dem Standpunkt des jeweils vorhergehenden Bild etwas unterscheiden.This is particularly important when simulating a tracking shot, so that a plurality of images of the subject matter from a plurality of viewpoints, but much more than the aforementioned 36, is needed, with the viewpoints of those looking at the subject will differ slightly from the viewpoint of the previous image.

Um die Farbdarstellung und Blendenflecke (engl. „Lens Flare“) sowie andere optische Phänomene bestmöglich in die Darstellung des Gegenstands in der animierten Umgebung integrieren zu können, ist weiter vorgesehen, zu jedem Bildpunkt eines berechneten Bildes eine Normale zu der Oberfläche des im Bildpunkt sichtbaren Teils des Gegenstands zu berechnen und in einer Datei zu hinterlegen (Normal-Map).In order to be able to best integrate the color representation and lens flare as well as other optical phenomena into the representation of the object in the animated environment, it is further provided that for each pixel of a calculated image a normal to the surface of the image visible in the pixel Part of the item to calculate and deposit in a file (normal map).

Des Weiteren ist vorgesehen, dass ein Bild eines Gegenstandes aus mehreren Schichten oder Schablonen, die auch als Layer bezeichnet werden, zusammengesetzt wird.Furthermore, it is provided that an image of an article is composed of a plurality of layers or templates, which are also referred to as layers.

Die Technik, ein Bild eines Gegenstands aus mehreren „Schichten“ zusammenzusetzen ermöglicht es, eine Vielzahl von Ausstattungskonfigurationen und Varianten mit überschaubarem Aufwand abzubilden. So ist es beispielsweise möglich, in einer Schicht „Karosserie“ verschiedene Varianten der Karosserie (Form und Farbe) abzuspeichern, nachdem sie zuvor berechnet wurden.The technique of composing an image of an object made up of several "layers" makes it possible to reproduce a large number of equipment configurations and variants with a manageable amount of effort. It is thus possible, for example, to store different variants of the body (shape and color) in a "body" layer, after they have been previously calculated.

Des Weiteren ist es möglich, in der Schicht „Räder“ verschiedene Radsätze abzuspeichern, ebenfalls nachdem sie zuvor berechnet wurden. Furthermore, it is possible to store different wheelsets in the "Wheels" layer, also after having been previously calculated.

In ähnlicher Weise können von verschiedenen Frontschürzen Bilder berechnet und in der Schicht „Frontschürze“ abgespeichert werden. Similarly, images of different front aprons can be computed and stored in the "front apron" layer.

Es ist ebenfalls möglich, in einer Schicht „Frontscheinwerfer“ verschiedene Beleuchtungstechniken zu hinterlegen; z. B. Xenon- und Reflexionsscheinwerfer It is also possible to deposit in a layer "headlights" different lighting techniques; z. B. xenon and reflection headlights

Auch die Innenausstattung und andere Ausstattungsmerkmale können als Layer oder separate Schicht betrachtet werden. Für jede Schicht und für jede Variante wird ein Bild pro Perspektive und jeden weiteren Parameter (im beschriebenen Beispiel 36 Bilder) berechnet und abgespeichert.The interior and other features can be considered as a layer or separate layer. For each layer and for each variant, one image per perspective and every other parameter (36 images in the example described) is calculated and stored.

Diese Aufzählung von Schichten ist nicht abschließend, soll jedoch verdeutlichen, dass es durch die modulartige Zusammensetzung des Bildes eines Gegenstandes aus verschiedenen Schichten ohne Weiteres möglich ist, eine Vielzahl von Ausstattungsvarianten und Konfigurationen eines Gegenstands sehr detailgetreu abzubilden (sog. Vollkonfiguration), ohne von allen möglichen Konfigurationen und Varianten Gesamtbilder des Gegenstands erzeugen zu müssen.This enumeration of layers is not exhaustive, but should make it clear that the modular composition of the image of an object from different layers makes it possible to reproduce a multitude of equipment variants and configurations of an object very accurately (so-called full configuration), without any of them possible configurations and variants to have to create overall images of the object.

In anderen Worten die Permutation der Varianten aller zu unterscheidenden Einzelteile des Gegenstands und ihrer Bildberechnung im Vorfeld entfällt und es müssen lediglich die entsprechenden Teilbilder oder Schablonen berechnet werden.In other words, the permutation of the variants of all the individual parts of the object to be distinguished and their image calculation in advance is eliminated and only the corresponding drawing images or templates must be calculated.

Dies hat eine deutliche Reduzierung des Rechenaufwands und der benötigten Speicherkapazität für die errechneten Bilder zur Folge.This results in a significant reduction of the computational effort and the required storage capacity for the calculated images.

Um eine besonders realistische Darstellung bzw. Integration des Gegenstands in die animierte 3D-Umgebung zu erreichen, ist vorgesehen, dass ein Schatten des Gegenstands gesondert berechnet und abgespeichert wird. Dieser Schatten wird als Textur gewissermaßen der Darstellung des Bodens der animierten Umgebung an dem Ort, an dem später das Fahrzeug bzw. der Gegenstand positioniert wird, überlagert. In order to achieve a particularly realistic representation or integration of the object into the animated 3D environment, it is provided that a shadow of the object is separately calculated and stored. As a texture, this shadow is superimposed on the representation of the bottom of the animated environment at the location where the vehicle or object is later positioned.

Wird nun die Kameraposition und -rotation modifiziert, sprich es wird ein Perspektivwechsel vollzogen, ändert sich neben dem Blick auf die 3D-Echtzeitszenerie auch der Blick auf den Schatten des Gegenstands. Das Verfahren zur Projektion von Bildern auf eine Geometrie ist als „Texture Mapping“ bekannt. Durch diese Methodik wird der Schein verstärkt, das Fahrzeug stünde tatsächlich in der Szene. Now, if the camera position and rotation is modified, that is, a change of perspective is made, the view of the object's shadow changes in addition to the view of the 3D real-time scenery. The method for projecting images onto a geometry is known as texture mapping. This method reinforces the appearance that the vehicle is actually in the scene.

Alternativ ist es auch möglich, den Schatten des Gegenstands vorteilhafter Weise anhand eines geometrisch vereinfachten 3D-Modells des Gegenstands in Echtzeit und interaktiv zu berechnen. Hierbei ist der zusätzliche Rechenzeitbedarf für die Berechnung des Schattens vergleichsweise gering. Kleinere Ungenauigkeiten bei der Berechnung des Schattens fallen dem Betrachter des Gegenstands in einer animierten Umgebung nicht auf. Die Darstellung der Schatten entspricht bei diesem Ansatz, in Bezug auf ihre qualitativen Merkmale, den übrigen Schatten in der 3D-Echtzeitszene.Alternatively, it is also possible to calculate the object's shadow advantageously in real time and interactively using a geometrically simplified 3D model of the object. Here, the additional computing time required for the calculation of the shadow is comparatively low. Minor inaccuracies in the calculation of the shadow are not noticeable to the viewer of the subject in an animated environment. The shadow representation in this approach, in terms of its qualitative characteristics, is the other shadow in the 3D real-time scene.

Um berechnen zu können, ob ein 3D-Objekt in der 3D-Echtzeitszene, welches sich aus der Sicht der Kamera mit der Fahrzeugabbildung überschneidet, sich nun vor oder hinter dem Fahrzeug befindet, kann wie schon bei der Simulation des Schattens auch ein niedrig aufgelöstes 3D-Hilfsmodell verwendet werden, das wenig Rechenzeit benötigt.To be able to calculate whether a 3D object in the 3D real-time scene, which intersects with the vehicle image from the perspective of the camera, is now in front of or behind the vehicle, as in the simulation of the shadow, a low-resolution 3D can also be used Auxiliary model, which requires little computing time.

In weiterer vorteilhafter Ausgestaltung des erfindungsgemäßen Verfahrens ist es möglich, eine Fahrt einer internen Kamera um den Gegenstand herum zu simulieren, wobei entsprechend der Position der internen Kamera die Darstellung der Umgebung und, je nach gewähltem Verfahren, auch des Schattens des Gegenstands in Echtzeit berechnet werden. In a further advantageous embodiment of the method according to the invention, it is possible to simulate a movement of an internal camera around the object, wherein the representation of the environment and, depending on the chosen method, the shadow of the object are calculated in real time according to the position of the internal camera ,

In Abhängigkeit der Position der internen Kamera wird aus einer Mehrzahl von zuvor berechneten Bildern das Bild des Gegenstands ausgewählt und in den Strahlengang der internen Kamera eingeblendet, welches den Gegenstand aus der gleichen Position wie dem aktuellen Standpunkt der internen Kamera darstellt. Depending on the position of the internal camera, the image of the object is selected from a plurality of previously calculated images and superimposed into the beam path of the internal camera, which displays the object from the same position as the current position of the internal camera.

Dadurch ist es möglich, eine „Filmsequenz“ des Gegenstands zu erzeugen, das den Gegenstand aus wechselnden Perspektiven darstellt. Durch den Wechsel der eingeblendeten Bilder des Gegenstands in Abhängigkeit der Position der internen Kamera, wird eine weitere Steigerung der fotorealistischen Einbindung des Gegenstands in die in Echtzeit animierte 3D-Darstellung der Umgebung erzielt.This makes it possible to create a "movie sequence" of the subject that represents the subject from changing perspectives. By changing the displayed images of the object depending on the position of the internal camera, a further increase of the photo-realistic integration of the object in the real-time animated 3D representation of the environment is achieved.

Um eine weitere Verbesserung der Einbindung des Bilds des Gegenstands in eine animierte Umgebung zu erreichen, wird immer dann, wenn die interne Kamera eine Position einnimmt, zu der kein vorab berechnetes Bild des Gegenstands aus der gleichen Perspektive vorliegt, ein (Zwischen-)Bild durch Interpolation berechnet. Grundlage der Interpolation sind hierbei die Bilder des Gegenstands aus den benachbarten Perspektiven. In order to further improve the incorporation of the image of the subject into an animated environment, whenever the internal camera occupies a position to which no pre-calculated image of the subject exists from the same perspective, an (intermediate) image is made Interpolation calculated. The basis of interpolation here are the images of the object from the neighboring perspectives.

Dadurch ist es bei einer Kamerafahrt möglich, nicht nur die in Echtzeit animierte Umgebung, sondern auch die damit verbundenen, sich ändernden und auf dem Gegenstand eingeblendeten Reflexionen flüssig und ohne Ruckeln darzustellen. Dadurch ergibt sich eine weitere signifikante Verbesserung der Bildqualität und der fotorealistischen Einbindung des Gegenstands in die animierte 3D-Umgebung.This makes it possible during a camera movement, not only the real-time animated environment, but also the associated, changing and displayed on the subject reflections liquid and without juddering. This results in a further significant improvement of the image quality and the photorealistic integration of the object in the animated 3D environment.

Zur Interpolation von Bildern des Gegenstands in einer Zwischenposition werden vorteilhafterweise die in der Z-Map abgespeicherten Entfernungen zwischen den in den Bildpunkten sichtbaren Teilen des Gegenstands und dem Standort der internen Kamera, auch Tiefeninformationen genannt, herangezogen.For the interpolation of images of the object in an intermediate position, advantageously the distances stored in the Z-map between the parts of the object visible in the pixels and the location of the internal camera, also called depth information, are used.

Die fotorealistische Darstellung von Umgebung und Gegenstand wird weiter verbessert, wenn in Abhängigkeit der Position einer oder mehrerer Lichtquellen oder Objekte in der Umgebung und der Position der internen Kamera und unter Berücksichtigung der Normalen der Oberflächenabschnitte des Gegenstands Lichtreflexe und Oberflächenreflexionen auf dem Gegenstand berechnet und in den Strahlengang eingeblendet werden. Hierzu wird die Information zur Ausrichtung der Flächennormalen als dreidimensionaler Vektor (x, y, z) in den RGB Farbwerten eines Bildes gespeichert – „Normal Map“ genannt. Mit dieser Information können zusammen mit Licht- und Kameraposition Lichtreflexe berechnet werden. The photorealistic representation of the environment and object is further enhanced when, depending on the position of one or more light sources or objects in the environment and the position of the internal camera and taking into account the normals of the surface portions of the object, light reflections and surface reflections are calculated on the object and into the object Beam path are faded in. For this purpose, the information for aligning the surface normals is stored as a three-dimensional vector (x, y, z) in the RGB color values of an image - called a "normal map". With this information, light reflections can be calculated together with light and camera position.

Wenn zum Beispiel im Hintergrund der animierten Umgebung die Sonne untergeht, können Lichtreflexe auf dem Dach oder einem Kotflügel eines dargestellten Fahrzeugs in der Realität auftreten und diese Lichtreflexe können auch bei dem erfindungsgemäßen Verfahren berechnet und in das Bild eingeblendet werden.For example, if the sun goes down in the background of the animated environment, light reflections on the roof or fender of a depicted vehicle may occur in reality, and these reflections may also be calculated in the method of the invention and superimposed on the image.

Des Weiteren ist es möglich, z. B. bei Gegenlicht, die Lichtspiegelungen, die in einem Objektiv einer realen Kamera auftreten (Linsenreflexion oder engl. Lens Flare), zu berechnen und in den Strahlengang der internen Kamera einzublenden. Derartige Effekte helfen, die 2D-Fahrzeugabbildung visuell besser mit der 3D-Echtzeitszene zu verbinden. Dadurch wird der realitätsnahe Eindruck einer Kamerafahrt zusätzlich verbessert.Furthermore, it is possible, for. B. in backlight, the light reflections that occur in a lens of a real camera (lens reflection or English Lens Flare) to calculate and display in the beam path of the internal camera. Such effects help to visually better connect the 2D vehicle image with the 3D real-time scene. This further improves the realistic impression of a tracking shot.

Die Simulation der unterschiedlichen Lichtverteilungen von verschiedenen Scheinwerfertypen des abgebildeten Fahrzeugs, wie z. B. Halogen-Leuchten, Xenon-Leuchten oder LED-Leuchten, kann durch vorproduzierte Texturen, die ähnlich wie der Schlagschatten des Gegenstands auf dem 3D-Boden projiziert werden, oder durch interne virtuelle Lichtquellen in dem 3D-Echtzeitsystem berechnet werden.The simulation of the different light distributions of different types of headlights of the imaged vehicle, such. B. Halogen lights, xenon lights, or LED lights can be calculated by pre-fabricated textures projected on the 3D floor, similar to the object's drop shadow, or by internal virtual light sources in the 3D real-time system.

Durch das gleichzeitige Austauschen des Scheinwerfertyps in der Fahrzeugabbildung und das Wechseln der Lichtverteilung auf dem Boden wird der Eindruck verstärkt, dass die 2D-Fahrzeugabbildung ein dreidimensionales Objekt in der Szene ist und Auswirkungen auf die Beleuchtung eben jener hat.By simultaneously replacing the headlamp type in the vehicle image and changing the light distribution on the ground, the impression is reinforced that the 2D vehicle image is a three-dimensional object in the scene and has an effect on the lighting of the same.

Da bei der Berechnung in verschiedenen Positionen der Abstand der internen Kamera von dem Gegenstand bekannt ist bzw. vorgegeben wird und auch bei einer Kamerafahrt immer die Position der internen Kamera relativ zu dem Gegenstand bekannt ist, ist ein Zoomen der Kamera in jeder beliebigen Position möglich. Bei einem Heranzoomen der Kamera an den vermeintlichen 3D-Gegenstand wird das Bild des Gegenstands gewissermaßen näher an der Kamera in den Strahlengang der internen Kamera eingeblendet und erscheint dadurch größer auf dem Bildschirm. Analog hierzu erscheint das Bild des Gegenstands beim Herauszoomen der Kamera kleiner.Since in the calculation in various positions, the distance of the internal camera from the object is known or given and also in a camera movement always the position of the internal camera relative to the object is known zooming of the camera in any position is possible. When the camera is zoomed in on the supposed 3D object, the image of the object is, as it were, faded closer to the camera into the beam path of the internal camera and thus appears larger on the screen. Likewise, the image of the item appears smaller when the camera is zoomed out.

Da sich durch einen Kamerazoom lediglich der Kamera FOV ändert – d. h. nur der sichtbare Bildausschnitt wird vergrößert oder verkleinert, die perspektivische Verzerrung ändert sich nicht – ist ein solcher ohne Transformationen der 2D Fahrzeugabbildung möglich. Auch hierdurch wird die visuelle Verbindung von 2D-Fahrzeugabbildung und 3D-Echtzeitszene verstärkt.Because a camera zoom only changes the camera FOV - d. H. only the visible image section is enlarged or reduced, the perspective distortion does not change - is such a possible without transformations of the 2D vehicle image. This also enhances the visual connection between 2D vehicle imaging and 3D real-time scene.

Dadurch ist es möglich, den Gegenstand zusammen mit der ihn umgebenden Szenerie heranzuzoomen oder auch wieder weg zu zoomen. Die dafür erforderlichen Berechnungen können in Echtzeit gemacht werden, so dass auch hier wieder eine Option geschaffen ist, um dem Betrachter oder Nutzer des erfindungsgemäßen Verfahrens eine möglichst realistische Darstellung zu bieten, da ihm das Verhalten von handelsüblichen Fotokameras bekannt ist.This makes it possible to zoom in on the object together with the surrounding scenery or to zoom away. The necessary calculations can be made in real time, so that here again an option is created to provide the viewer or user of the method according to the invention as realistic as possible, since he knows the behavior of commercially available cameras.

In der animierten Umgebung/Szene können eines oder mehrere 3D-Objekte (beispielsweise Vögel, Baukräne, Fahnen, Gras, Wasserpfützen, etc.) animiert sein, wodurch sich eine weitere Verbesserung des visuellen Eindrucks ergibt. Dies ist ein signifikanter Vorteil eines 3D-Echtzeitsystems.In the animated environment / scene, one or more 3D objects (eg, birds, construction cranes, flags, grass, puddles, etc.) may be animated, resulting in a further enhancement of the visual impression. This is a significant advantage of a 3D real-time system.

Die eingangs genannte Aufgabe wird auch gelöst durch ein Computerprogramm zur Durchführung des erfindungsgemäßen Verfahrens, wobei das Computerprogramm vorteilhafterweise auf einer herkömmlichen Software basiert, mit deren Hilfe in Echtzeit animierte Umgebungen bzw. 3D-Darstellungen von räumlichen Szenerien oder Umgebungen erzeugt werden können. The object mentioned at the outset is also achieved by a computer program for carrying out the method according to the invention, wherein the computer program is advantageously based on conventional software with the aid of which real-time animated environments or 3D representations of spatial scenes or environments can be generated.

In diese Software werden die erfindungsgemäßen Funktionalitäten, nämlich das Einblenden eines 2D-Bildes eines Gegenstands in den Strahlengang der internen Kamera, implementiert. Dadurch ist es möglich, den im Fokus stehenden Gegenstand in einer sehr viel besseren Bildqualität darzustellen als den Rest der animierten Umgebung, ohne viel zusätzliche Rechenleistung zu benötigen. In this software, the functionalities of the invention, namely the fading of a 2D image of an object in the beam path of the internal camera implemented. This makes it possible to present the object in focus in a much better image quality than the rest of the animated environment, without the need for much additional processing power.

Die zur Durchführung des erfindungsgemäßen Verfahrens benötigte Rechenleistung kann von herkömmlichen POS, aber auch Tablet-PCs oder anderen Client-PCs, erbracht werden.The computing power required to carry out the method according to the invention can be provided by conventional POS, but also tablet PCs or other client PCs.

Des Weiteren wird die eingangs genannte Aufgabe auch durch ein Speichermedium, auf dem das erfindungsgemäße Verfahren und/oder die vorgefertigten Bilder des Gegenstands gespeichert sind, gelöst.Furthermore, the object mentioned at the outset is also achieved by a storage medium on which the method according to the invention and / or the prefabricated images of the object are stored.

Mit dem erfindungsgemäßen Verfahren ist es möglich, mindestens ein Bild eines Gegenstands, z. B. eines Autos, in exzellenter Qualität in eine in Echtzeit generierte 3D-Umgebung zu integrieren. Man kann eine flüssige Kamerafahrt in Echtzeit um dieses Auto machen und die präsentierte Ansicht aktiv beeinflussen. Gewissermaßen als Nebeneffekt wird der Fokus stetig auf das Auto gelegt, da es in brillanter Qualität dargestellt wird und sich somit relativ deutlich positiv von der Umwelt abhebt. Die Aufmerksamkeit des Betrachters wird also sehr stark auf das beworbene Objekt (in diesem Falle: das Auto) gelenkt. Zudem ergibt sich eine gewisse Ästhetik, die aus dem Kontrast zwischen brillanter Darstellung des Bildmittelpunkts Auto und etwas rauerer, gröberer Darstellung der Umgebung resultiert. With the method according to the invention it is possible, at least one image of an object, for. As a car, to integrate in excellent quality in a real-time generated 3D environment. You can do a smooth camera movement in real time around this car and actively influence the presented view. To a certain extent, as a side effect, the focus is placed steadily on the car, as it is presented in brilliant quality and thus relatively clearly stands out from the environment. The viewer's attention is thus very strongly directed to the advertised object (in this case: the car). In addition, there is a certain aesthetic, which results from the contrast between brilliant representation of the center of the image Auto and a rouger, coarser representation of the environment.

Zeichnung drawing

Es zeigen: Show it:

1: ein computergeneriertes Bild eines Fahrzeugs, 1 : a computer-generated image of a vehicle,

2: verschiedene Schichten oder Schablonen aus denen das Bild in 1 zusammengesetzt ist, 2 : different layers or stencils from which the picture in 1 is composed,

3: der Schatten des Fahrzeugs in 1, 3 : the shadow of the vehicle in 1 .

4: eine Draufsicht auf das Fahrzeug, 4 : a top view of the vehicle,

5: ein Bild einer in Echtzeit berechneten Umgebung, 5 : an image of a real-time calculated environment,

6: ein in den Strahlengang der internen Kamera gestelltes Bild eines Fahrzeugs, 6 an image of a vehicle placed in the beam path of the internal camera,

7: die Symbiose der 5 und 6, 7 : the symbiosis of 5 and 6 .

8: die Situation aus 7 mit einem Schatten des Fahrzeugs als überlagerte Textur, 8th : the situation off 7 with a shadow of the vehicle as a layered texture,

9: die Situation aus 7, bzw. 8 aus Sicht des Betrachters/der internen Kamera; 9 : the situation off 7 , respectively. 8th from the perspective of the viewer / the internal camera;

10: die Situation aus 7 mit in Echtzeit berechneten Schatten des Fahrzeugs, der Umgebung und einem vergleichsweise niedrig aufgelösten 3D-Modell des betreffenden Gegenstands 10 : the situation off 7 with real-time shadows of the vehicle, the environment, and a comparatively low-resolution 3D model of the subject

11: die Situation aus 10 aus Sicht des Betrachters/der internen Kamera. 11 : the situation off 10 from the perspective of the viewer / the internal camera.

Beschreibung der Ausführungsbeispiele Description of the embodiments

Anhand der 1 bis 11 wird das erfindungsgemäße Verfahren beispielhaft in verschiedenen Schritten erläutert. Based on 1 to 11 the method according to the invention is explained by way of example in different steps.

In der 1 ist ein Bild 1 eines Fahrzeugs, das einen Gegenstand im Sinne der beanspruchten Erfindung ist, vereinfacht dargestellt. In the 1 is a picture 1 a vehicle, which is an object in the sense of the claimed invention, shown in simplified.

Das in 1 dargestellte Bild 1 des Fahrzeugs kann beispielsweise aus den CAD-Daten der Karosserie und der Räder sowie aller Anbauteile berechnet werden. Dabei lassen sich mit Hilfe eines Computers Bilder höchster Qualität erzeugen. Ein solches computerberechnetes Bild wird auch als Computer Generated Image (CGI) bezeichnet.This in 1 illustrated picture 1 of the vehicle can be calculated, for example, from the CAD data of the body and the wheels and all attachments. It can be produced with the help of a computer images of the highest quality. Such a computer-calculated image is also referred to as Computer Generated Image (CGI).

Wenn ein Bild 1 eines solchen Fahrzeugs berechnet werden soll, dann muss der Standort einer internen Kamera 3 sowie deren optische Eigenschaften (z. B. Brennweite, Sensorgröße, Lichtstärke des Objektivs sowie Lichtempfindlichkeit des Chips/Films, etc.) vorgegeben werden bzw. bekannt sein.If a picture 1 of such a vehicle should be calculated, then the location of an internal camera 3 as well as their optical properties (eg focal length, sensor size, light intensity of the lens and photosensitivity of the chip / film, etc.) are specified or known.

Auf der Basis dieser und anderer Informationen kann ein Bild 1 des Fahrzeugs aus der „Perspektive“ der Kamera 3 von einem 3D-Modell berechnet werden. On the basis of this and other information can be a picture 1 of the vehicle from the "perspective" of the camera 3 be calculated from a 3D model.

Wie bei digitalen Bildern üblich, setzt sich das Bild 1 des Fahrzeugs aus einer großen Zahl von Bildpunkten, auch Pixel für „Picture Element“ genannt, zusammen. Ein solches Bild 1 setzt sich aus einer Vielzahl von Flächen im Raum zusammen. Jeder Fläche – und damit auch dem Pixel, der diese in Bild 1 repräsentiert – auf der Oberfläche des Fahrzeugs können mehrere geometrische Eigenschaften zugeordnet werden, unter anderem die Entfernung des Bildpunkts von der internen Kamera 3, und die Neigung/Ausrichtung im Raum, welche durch einen als „Normale“ bezeichneten Vektor repräsentiert wird. As usual with digital pictures, the picture continues 1 of the vehicle from a large number of pixels, also called pixels for "picture element" together. Such a picture 1 consists of a large number of surfaces in the room. Each surface - and thus the pixel, this in picture 1 represents - on the surface of the vehicle several geometric properties can be assigned, including the removal of the pixel from the internal camera 3 , and the inclination / orientation in space, which is represented by a vector called "normal".

In der 1 ist beispielhaft und stark vergrößert ein solcher Bildpunkt 5 dargestellt. Die Entfernung zwischen interner Kamera 3 und dem Bildpunkt 5 ist durch einen Pfeil mit dem Bezugszeichen Z, als Abkürzung für die Z-Achse, dargestellt. In the 1 is exemplary and greatly enlarged such a pixel 5 shown. The distance between internal camera 3 and the pixel 5 is represented by an arrow with the reference Z, as an abbreviation for the Z-axis.

Ein Normalen-Vektor, d. h. ein Vektor, der orthogonal auf der Oberfläche des Bildpunkts 5 steht und wie bereits erwähnt Auskunft über die Ausrichtung der Fläche im 3D-Raum gibt, ist in der 1 als Pfeil mit dem Bezugszeichen N dargestellt.A normal vector, ie a vector orthogonal to the surface of the pixel 5 stands and as already mentioned gives information about the alignment of the surface in the 3D space is in the 1 shown as an arrow with the reference numeral N.

Bei der computergestützten Berechnung des Bilds 1 des Fahrzeugs werden für jeden Bildpunkt die Entfernung Z, die ein gedachter Strahl von der internen Kamera 3 zu der durch eben jenen Bildpunkt repräsentierten Fläche zurücklegt, berechnet und abgespeichert. Ebenso wird die Richtung des Normalen-Vektors N abgespeichert. Die Gesamtheit der Entfernungen, deren Anzahl von der Anzahl aller Bildpunkte abhängt, wird in einer gesonderten Datei, der sogenannten Z-Map, zu jedem Bild 1 abgespeichert.In the computer-aided calculation of the image 1 For each pixel, the vehicle's distance Z, which is an imaginary ray from the internal camera 3 travels back to the area represented by just that pixel, calculates and stores. Likewise, the direction of the normal vector N is stored. The total of the distances, the number of which depends on the number of pixels, is in a separate file, the so-called Z-Map, to each image 1 stored.

In entsprechender Weise werden die Informationen zu den Normalen-Vektoren der Oberfläche für jeden Bildpunkt 5 in einer gesonderten Datei, der Normal-Map, abgespeichert. Diese Zusatzinformationen zu dem oder den computergenerierten Bildern 1 des Fahrzeugs werden bei vorteilhaften Ausgestaltungen des erfindungsgemäßen Verfahrens benötigt.Similarly, the information becomes the normal vectors of the surface for each pixel 5 saved in a separate file, the normal map. This additional information about the computer-generated image (s) 1 of the vehicle are needed in advantageous embodiments of the method according to the invention.

Mit Hilfe der zusätzlichen Normal-Map für jede 2D-Fahrzeugabbildung, deren Inhalt nicht als Farbe sondern als senkrecht zur Fläche stehender Normalen-Vektor interpretiert wird, kann das 3D-Echtzeitsystem über einen Shader die Reflexion der Umgebung auf jeder einzelnen 2D-Abbildung berechnen, als wäre es ein 3D-Objekt.With the aid of the additional normal map for each 2D vehicle image whose content is interpreted not as a color but as a perpendicular to the surface normal vector, the 3D real-time system can use a shader to calculate the reflection of the environment on each individual 2D image, as if it were a 3D object.

Das in 1 dargestellte Fahrzeug 1 stellt eine mögliche Konfiguration von einer Vielzahl der vom Fahrzeughersteller angebotenen Konfigurationen dar.This in 1 illustrated vehicle 1 illustrates one possible configuration of a variety of configurations offered by the vehicle manufacturer.

So ist es Gang und Gebe, dass ein Kraftfahrzeug mit verschiedenen Rädern (Aluminiumräder, Stahlblechfelgen, spezielle Designs) angeboten wird. Auch ist es möglich, dass die Frontschürze oder vordere Stoßstange des Fahrzeugs entsprechend der Produktlinie mehr oder weniger sportlich gestaltet ist. Auch gibt es die Möglichkeit, verschiedene Varianten von Außenspiegeln und oder Frontscheinwerfern (Reflexionsschweinwerfer, Xenon, LED, ...) anderes mehr aus dem Herstellerkatalog auszuwählen, so dass sich infolgedessen ein anderes Bild 1 des Fahrzeugs ergibt. So it is gang and Gebe that a motor vehicle with different wheels (aluminum wheels, sheet steel rims, special designs) is offered. It is also possible that the front apron or front bumper of the vehicle according to the product line is designed more or less sporty. Also, there is the possibility of different variants of exterior mirrors and or headlamps (reflections headlamp, xenon, LED, ...) other more from the manufacturer's catalog to select, so that, as a result, a different picture 1 of the vehicle results.

Weil von den Herstellern hochwertiger Fahrzeuge mittlerweile so viele Ausstattungsvarianten angeboten werden, dass es Milliarden von möglichen Kombinationen gibt, ist es schlicht nicht praktikabel, von allen Ausstattungsvarianten „auf Vorrat“ Bilder zu berechnen und diese abzuspeichern. Daher wird bei dem erfindungsgemäßen Verfahren die sogenannte Layer-Technologie eingesetzt bei der Bild 1 des Fahrzeugs aus verschiedenen Schichten oder Schablonen zusammengesetzt wird.Because of the manufacturers of high-quality vehicles now so many equipment variants offered that there are billions of possible combinations, it is simply not practical, from all equipment variants "in stock" to calculate images and save them. Therefore, in the method according to the invention, the so-called layer technology is used in the image 1 of the vehicle is composed of different layers or templates.

Dies bedeutet im konkreten Beispiel, dass das Bild 1 des Fahrzeugs aus fünf verschiedenen Schichten zusammengesetzt wird. Die wichtigste Schicht bzw. Schablone betrifft die Karosserie des Fahrzeugs (nicht dargestellt). This means in the concrete example that the picture 1 of the vehicle is composed of five different layers. The most important layer or template relates to the body of the vehicle (not shown).

In der 2 sind weitere Schichten beispielhaft dargestellt. In der 2a ist eine Variante der Schicht „Frontschürze“ dargestellt. In der 2b ist eine Variante der Schablone „Außenspiegel“ exemplarisch dargestellt. In the 2 Further layers are exemplified. In the 2a is a variant of the layer "front bumper" shown. In the 2 B a variant of the template "outside mirror" is shown as an example.

Die 2c zeigt ein Ausführungsbeispiel der Schablone „Räder“ und in der 2d ist ein Ausführungsbeispiel der Schablone „Frontleuchten“ dargestellt.The 2c shows an embodiment of the template "wheels" and in the 2d an embodiment of the template "front lights" is shown.

Die Schicht der Karosserie ist nicht gesondert dargestellt.The layer of the body is not shown separately.

Man kann sich nun vorstellen, dass das Bild 1 des Fahrzeugs gemäß 1 durch das Übereinanderlegen der Schichten bzw. Schablonen „Karosserie, Frontschürze, Außenspiegel, Räder und Frontscheinwerfer“ entsteht.One can now imagine that picture 1 of the vehicle according to 1 by superimposing the layers or templates "body, front bumper, exterior mirrors, wheels and headlights" arises.

Wenn es nun beispielsweise drei verschiedene Frontschürzen gibt, dann werden in der Schicht „Frontschürze“ von diesen drei Frontschürzen in allen angebotenen Farben und in allen gewünschten Blickwinkeln Bilder mit Hilfe eines Computers generiert. If, for example, there are three different front aprons, then in the layer "front apron" of these three front aprons in all offered colors and in all desired angles images are generated with the help of a computer.

Wenn es also beispielsweise zwei verschiedene Frontschürzen gibt und diese in drei Farben angeboten werden, dann gibt es sechs Varianten der Schicht „Frontschürze“. Von jeder Variante müssen Bilder in verschiedenen Ansichten berechnet und abgespeichert werden. If, for example, there are two different front aprons and they are offered in three colors, there are six variants of the "front apron" layer. From each variant, images must be calculated and stored in different views.

Entsprechendes gilt auch für die anderen Schichten, wie Karosserieform, Außenspiegel, Räder und Frontscheinwerfer. Es versteht sich von selbst, dass die Auswahl der genannten Schichten beispielhaften Charakter hat und die Erfindung nicht auf diese Auswahl beschränkt ist. The same applies to the other layers, such as body shape, exterior mirrors, wheels and headlights. It goes without saying that the selection of the layers mentioned has exemplary character and the invention is not limited to this selection.

Wenn nun der Nutzer des Visualisierungssystems andere Räder an dem Fahrzeug sehen will, dann wird nur in der Schicht „Räder“ ein anderes Bild der Räder aus dem Speicher des Rechners geladen und damit das veränderte (Gesamt-)Bild 1 des Fahrzeugs erstellt. Alle anderen Schichten können unverändert bleiben. If now the user of the visualization system wants to see other wheels on the vehicle, then only in the layer "wheels" another image of the wheels loaded from the memory of the computer and thus the changed (overall) image 1 created the vehicle. All other layers can remain unchanged.

Auf diese Weise ist es möglich, eine große Variantenvielfalt zu beherrschen und auf einfache Weise diese verschiedenen Varianten in einer Gesamtdarstellung 1 des Fahrzeugs (siehe 1) abzubilden.In this way it is possible to master a large variety of variants and in a simple way these different variants in an overall presentation 1 of the vehicle (see 1 ).

Dieser schicht- oder schablonenartige Aufbau des Fahrzeugs 1 ist ein wesentlicher Aspekt der Erfindung, weil er den benötigten Speicherplatz verringert und außerdem die Berechnung der Bilddateien weniger rechenzeitintensiv ist.This layered or stencil-like construction of the vehicle 1 is an essential aspect of the invention, because it reduces the required storage space and also the calculation of the image files is less computationally intensive.

In der 3 ist nun ein Schatten 13 des Fahrzeugs zu sehen. Dieser Schatten 13 wird später bei einer Variante des erfindungsgemäßen Verfahrens als Textur, d. h. gewissermaßen wie ein Belag (s. „Texture Mapping“), der animierten Darstellung des Bodens einer Umgebung des Fahrzeugs überlagert und zwar an der Stelle, wo später das Fahrzeug stehen wird.In the 3 is now a shadow 13 to see the vehicle. This shadow 13 Later, in a variant of the method according to the invention as a texture, that is to say as a coating (s. "Texture Mapping"), the animated representation of the bottom of an environment of the vehicle superimposed and indeed at the point where the vehicle will stand later.

Damit später das Fahrzeug in einer animierten Umgebung aus verschiedenen Perspektiven dargestellt werden kann, werden von verschiedenen Punkten einer internen Kamerafahrt, den verschiedenen Perspektiven, Bilder aller zuvor genannten Schichten (Karosserieform, Frontschürze, Außenspiegel, Räder und Frontscheinwerfer) berechnet. So that the vehicle can later be presented in an animated environment from different perspectives, different points of an internal camera movement, the different perspectives, images of all the aforementioned layers (body shape, front apron, exterior mirrors, wheels and headlights) are calculated.

In der 4 soll die interne Kamera 3 sowie deren Aufstellung an mehreren ausgewählten Kamerastandorten erläutert werden.In the 4 should the internal camera 3 as well as their installation at several selected camera locations are explained.

Die 4 zeigt eine Draufsicht auf das Fahrzeug (ohne Bezugszeichen). Mit dem Bezugszeichen 7 ist ein kreisförmiger Weg einer Kamerafahrt um das Fahrzeug herum etwa auf Höhe der Gürtellinie des Fahrzeugs 1 angedeutet. The 4 shows a plan view of the vehicle (without reference numeral). With the reference number 7 is a circular path of a camera movement around the vehicle at about the waistline of the vehicle 1 indicated.

Wenn man den Weg der Kamerafahrt beim Winkel 0° beginnt und vorab alle 10° ein Bild des Fahrzeugs vorab berechnet, dann entsprechen diese 36 Bilder des Fahrzeugs 36 Standpunkten der internen Kamera 3 bei einer Fahrt um das Fahrzeug herum. If one starts the path of the camera movement at the angle 0 ° and precalculates an image of the vehicle in advance every 10 °, then these 36 images of the vehicle correspond to 36 points of view of the internal camera 3 when driving around the vehicle.

In der 4 ist die interne Kamera 3 bei einem Winkel von 50° eingezeichnet. Die interne Kamera ist bei der Fahrt auf den Mittelpunkt des Kreises 7, d. h. auf das Fahrzeug, gerichtet. In the 4 is the internal camera 3 drawn at an angle of 50 °. The internal camera is at the ride on the center of the circle 7 , ie to the vehicle, directed.

Wenn man eine möglichst flüssige Kamerafahrt um das interne Fahrzeug 1 machen möchte, müssen aus einer möglichst großen Zahl von Positionen Bilder des Fahrzeugs 1 generiert werden, was den Rechenaufwand und Speicherplatzbedarf in die Höhe treibt. Es hat sich bei der Entwicklung des erfindungsgemäßen Verfahrens als ausreichend herausgestellt, wenn in Abständen von 10° Bilder des Fahrzeugs 1 berechnet werden. Dies bedeutet, dass für eine Kamerafahrt um das Fahrzeug 1 herum insgesamt aus 36 Standorten der internen Kamera 3 vorab Bilder des Fahrzeugs berechnet werden müssen. If you have the smoothest possible camera movement around the internal vehicle 1 want to make pictures of the vehicle from as many positions as possible 1 be generated, which reduces the computational effort and space requirements in the Height drives. It has been found in the development of the method according to the invention as sufficient when at intervals of 10 ° images of the vehicle 1 be calculated. This means that for a tracking shot around the vehicle 1 around a total of 36 locations of the internal camera 3 In advance, images of the vehicle must be calculated.

Die vorab berechneten 2D-Bilder (Fahrzeugabbildungen) können entweder vorproduziert als einzelne Bilddateien in einem Dateisystem abgelegt sein und durch das 3D-Echtzeitsystem geladen oder durch ein externes System über eine Schnittstelle bereitgestellt werden.The pre-calculated 2D images (vehicle images) can either be pre-produced as individual image files stored in a file system and loaded by the 3D real-time system or provided by an external system via an interface.

Durch das Austauschen der 2D-Bilder in dem 3D-Echtzeitsystem zur Laufzeit wird eine Konfiguration des Fahrzeugs durch den Nutzer zur Laufzeit ermöglicht.By exchanging the 2D images in the 3D real-time system at runtime, a configuration of the vehicle is made possible by the user at runtime.

Dabei wird, wie bereits erwähnt, jedes Bild aus den genannten Schichten zusammengesetzt. Im Ergebnis führt dies dazu, dass zu jeder Position der internen Kamera 3 in jeder Schicht des Bildes von allen Varianten Bilder berechnet werden. Der Rechenzeitaufwand hierfür ist zwar hoch, aber beherrschbar. Auch der zum Abspeichern der berechneten Bilder erforderliche Speicherplatz ist handhabbar. Sowohl der Rechenaufwand als auch der Speicherplatz stellen bei dieser Methode nur einen Bruchteil dessen dar, was bei der Permutation aller Varianten zu einem Gesamtbild erforderlich wäre.In this case, as already mentioned, each image is composed of the mentioned layers. As a result, this leads to any position of the internal camera 3 in every layer of the image of all variants images are calculated. The computing time required for this is high, but manageable. Also, the space required to store the calculated images is manageable. Both the computational effort and the storage space represent in this method only a fraction of what would be required in the permutation of all variants to an overall picture.

Selbstverständlich werden zu den Bildern auch die Z-Map und die Normal-Map erstellt, wie bereits im Zusammenhang mit der 1 erläutert.Of course, the Z-Map and the normal map are created to the images, as already in connection with the 1 explained.

Wenn man nun aus allen 36 Standorten der internen Kamera 3 von jeder Schicht in allen Ausstattungsvarianten die Bilder erzeugt hat, dann steht eine Vielzahl von 2D-Darstellungen des Fahrzeugs in optimaler Bildqualität zur Verfügung. If you look from all 36 locations of the internal camera 3 from each layer in all equipment variants has generated the images, then a variety of 2D representations of the vehicle in optimal image quality is available.

Diese Bilder werden bei dem erfindungsgemäßen Verfahren nun in den Strahlengang einer internen Kamera 3, die eine in Echtzeit animierte Szenerie bzw. Umgebung darstellt, eingeblendet. These images are now in the process of the invention in the beam path of an internal camera 3 that displays a real-time animated scene or environment.

Man stelle sich nun eine Szene vor, welche unabhängig von einer Kamera animiert ist. Es würde sich beispielsweise ein fliegender Vogel im Himmel bewegen. Schießt nun die interne Kamera 3 aus der zuvor definierten Position zum gewählten Zeitpunkt ein Bild, wird, sofern sich der Vogel zu diesem Zeitpunkt im Sichtfeld der Kamera befindet, der aktuelle Stand seiner Animation festgehalten. Zusammenfassend kann man sagen, dass die interne Kamera 3 den Zustand der animierten Szene zu dem gewählten Zeitpunkt aus der gewählten Perspektive einfängt und darstellt. Später wird nun im Laufe des erfindungsgemäßen Verfahrens die passende, bereitgestellte 2D-Abbildung des Gegenstands in den Schnappschuss der internen Kamera 3 integriert. Now imagine a scene that is animated independently of a camera. For example, a flying bird would move in the sky. Shoot now the internal camera 3 From the previously defined position at the selected time an image is, if the bird is at this time in the field of view of the camera, the current state of its animation recorded. In summary, it can be said that the internal camera 3 captures and displays the state of the animated scene at the chosen time from the chosen perspective. Later, in the course of the method according to the invention, the appropriate, provided 2D image of the object will now be included in the snapshot of the internal camera 3 integrated.

Zunächst wird in der 5 ein Beispiel einer in Echtzeit berechneten Szenerie dargestellt. Diese Szenerie umfasst einen Boden, der zur Veranschaulichung mit einem linienartigen Raster überzogen ist. Auf dem Boden 9 stehen verschiedene Gegenstände, wie eine Kanne, ein Kegelstumpf, eine Pyramide, ein Torus, ein Zylinder und ein Quader. Die Mitte dieser Szenerie ist frei. Dort befindet sich kein Gegenstand. First, in the 5 an example of a scene calculated in real time. This scenery includes a floor that is covered with a line-like grid for purposes of illustration. On the ground 9 There are various objects such as a jug, a truncated cone, a pyramid, a torus, a cylinder and a cuboid. The middle of this scenery is free. There is no object there.

Es ist offensichtlich, dass die in 5 dargestellte Szenerie von einem bestimmten Standpunkt des Betrachters ausgeht. Je nachdem wie hoch dieser Standpunkt über dem Boden ist, ändert sich die Perspektive auf den Boden bzw. die aufgezählten Gegenstände, die auf dem Boden stehen. Selbstverständlich ändert sich auch die Perspektive, wenn der Standort des Betrachters, der mit dem Standpunkt der internen Kamera 3 gleichgesetzt werden kann, um die Gegenstände herum bewegt wird.It is obvious that the in 5 represented scenery from a particular point of view of the viewer emanates. Depending on how high this position is above the ground, the perspective changes to the ground or the enumerated objects that stand on the ground. Of course, the perspective also changes when the location of the viewer, with the point of view of the internal camera 3 can be equated to the objects is moved around.

In 6 ist illustriert, wie das zuvor berechnete Bild 1 eines Fahrzeugs in den „Strahlengang“ einer internen Kamera 3 eingeblendet wird. Der Strahlengang der internen Kamera 3 ist vereinfacht als Pyramidenstumpf mit den Kanten 11 dargestellt. In 6 is illustrated as the previously calculated image 1 of a vehicle in the "beam path" of an internal camera 3 is displayed. The beam path of the internal camera 3 is simplified as a truncated pyramid with the edges 11 shown.

Die 7 stellt eine Symbiose der 5 und 6 dar. Es ist die in 5 dargestellte Szenerie wiedergegeben und zusätzlich die interne Kamera 3 mit dem in den Strahlengang 11 platzierten Bild 1 des Fahrzeugs dargestellt. Außerdem ist mit dem Bezugszeichen 7 der Weg der internen Kamera 3 angedeutet. The 7 represents a symbiosis of 5 and 6 It is the in 5 shown scenery and additionally the internal camera 3 with the in the beam path 11 placed picture 1 of the vehicle. In addition, with the reference numeral 7 the way of the internal camera 3 indicated.

Dabei wird deutlich, dass die Kamerabewegung eine Kreisbahn beschreibt, die innerhalb der Gegenstände liegt.It becomes clear that the camera movement describes a circular path that lies within the objects.

Die 8 zeigt nun zusätzlich zu der Darstellung der 7 noch eine dem Boden der Szenerie überlagerte Textur, die für das spätere Gesamtbild den Schatten 13 des Fahrzeugs darstellt. The 8th now shows in addition to the representation of 7 another texture superimposed on the floor of the scenery, which creates the shadow for the later overall picture 13 represents the vehicle.

Wenn man nun die in Echtzeit generierte Szenerie mit dem auf dem Boden der Szenerie überlagerten Schatten 13 und das in den Strahlengang 11 der internen Kamera 3 eingeblendete zweidimensionale Bild 1 des Fahrzeugs aus Sicht der internen Kamera zusammenführt, ergibt sich das in der 9 dargestellte Bild. Now, if you take the scenery generated in real time with the shadows superimposed on the floor of the scenery 13 and that in the beam path 11 the internal camera 3 faded two-dimensional image 1 of the vehicle merges from the perspective of the internal camera, this results in the 9 illustrated picture.

Zunächst wird deutlich, dass sich ein dreidimensionaler Eindruck des Bilds 1 von dem Fahrzeug und der Umgebung ergibt.First, it becomes clear that there is a three-dimensional impression of the picture 1 results from the vehicle and the environment.

Weil das zweidimensionale Bild 1 des Fahrzeugs in den Strahlengang der internen Kamera 3 eingeblendet ist, deckt das Bild 1 des Fahrzeugs 1 die Textur 13 des Schattens bereichsweise dort ab, wo sie aus Sicht der internen Kamera 3 unsichtbar ist. Because the two-dimensional picture 1 of the vehicle in the beam path of the internal camera 3 is faded in, covers the picture 1 of the vehicle 1 the texture 13 The shadow partially from where they from the perspective of the internal camera 3 is invisible.

Durch diesen „Automatismus“ ist es möglich, auf einfache Weise einen Schatten des Fahrzeugs darzustellen, der sehr realistisch wirkt und trotzdem in Echtzeit nur wenig Rechenzeit benötigt.Through this "automatism" it is possible to easily represent a shadow of the vehicle, which looks very realistic and still requires little real time in real time.

Die Realitätsnähe der Einbindung der hochqualitativen 2D-Darstellung des Gegenstands in die animierte Szene wird durch die Schatten weiter verbessert. The realism of incorporating the high-quality 2D representation of the subject into the animated scene is further enhanced by the shadows.

Der Fahrzeugschatten 13 kann in hoher Qualität vorproduziert und von dem 3D-Echtzeitsystem als Textur auf den Boden projiziert werden.The vehicle shadow 13 can be pre-produced in high quality and projected onto the ground as a texture by the 3D real-time system.

Alternativ kann der Schatten des Fahrzeugs von dem 3D-Echtzeitsystem zur Laufzeit mit Hilfe eines vergleichsweise niedrig aufgelösten 3D-(Hilfs-)Modell des Fahrzeugs erzeugt werden. Dieses 3D-Hilfsmodell ist für die interne Kamera 3 nicht sichtbar und wird nur zur Berechnung des Schattens verwendet. Dadurch ist ein interaktiver Schatten bei z. B. Sonnenlaufsimulation möglich.Alternatively, the shadow of the vehicle may be generated by the 3D real-time system at runtime using a comparatively low-resolution 3D (auxiliary) model of the vehicle. This 3D auxiliary model is for the internal camera 3 not visible and is only used to calculate the shadow. This is an interactive shadow at z. B. Solar simulation possible.

Durch die Tatsache, dass die 2D-Fahrzeugabbildung als Textur auf der Fläche, welche vor der internen Kamera liegt, bzw. in den Strahlengang der internen Kamera eingeblendet wird, entsteht das Problem, dass die Information, wo das suggerierte dreidimensionale Fahrzeug in der 3D-Szene steht, fehlt. Um berechnen zu können, ob sich ein 3D-Objekt, wie beispielsweise der Kegelstumpf aus 8, welches sich aus der Sicht der Kamera mit der Fahrzeugabbildung überschneidet, sich nun in der 3D-Echtzeitszene vor oder hinter dem Fahrzeug befindet, kann wie schon bei der Simulation des Schattens auch ein niedrig aufgelöstes 3D-Hilfsmodell verwendet werden, das wenig Rechenzeit benötigt.Due to the fact that the 2D vehicle image is displayed as a texture on the surface that lies in front of the internal camera or in the beam path of the internal camera, the problem arises that the information where the suggested three-dimensional vehicle in the 3D Scene is missing. In order to calculate whether a 3D object, such as the truncated cone 8th , which intersects with the vehicle image from the perspective of the camera, is now in the 3D real-time scene in front of or behind the vehicle, as with the simulation of the shadow, a low-resolution 3D auxiliary model can be used, which requires little computing time.

Es versteht sich von selbst, dass je nach Position der internen Kamera 3 auf ihrem Weg um das Fahrzeug immer die richtigen vorab berechneten Bilder 1, welche der Position der Kamera 3 entsprechen, in den Strahlengang eingeblendet werden müssen. It goes without saying that depending on the position of the internal camera 3 getting the right pre-calculated images on their way around the vehicle 1 which the position of the camera 3 correspond, must be superimposed in the beam path.

Wenn sich also in 8 die interne Kamera in einem Winkel von beispielsweise 120° befindet, dann muss die Szenerie aus diesem Winkel in Echtzeit berechnet werden und es müssen die zu dem Winkel 120° gehörenden Bilder, die zuvor berechnet und abgespeichert wurden, des Fahrzeugs 1 in den Strahlengang der internen Kamera 3 eingeblendet werden. So if in 8th For example, if the internal camera is at an angle of, for example, 120 °, then the scene must be calculated from this angle in real time and the images associated with the 120 ° angle, which were previously calculated and stored, of the vehicle 1 in the beam path of the internal camera 3 to be displayed.

Wenn die Kamera sich nun weiterbewegt und eine Position einnimmt, die einem Winkel von 130° entspricht, dann muss selbstverständlich die Szenerie entsprechend neu berechnet werden und es müssen die zu der Kameraposition 130° gehörenden zweidimensionalen Bilder des Fahrzeugs 1 in den Strahlengang 11 der internen Kamera eingeblendet werden. Of course, if the camera moves on and assumes a position corresponding to an angle of 130 °, then of course the scene has to be recalculated accordingly and the two-dimensional images of the vehicle corresponding to the camera position 130 ° have to be recalculated 1 in the beam path 11 the internal camera.

Wenn man eine solche interne Kamerafahrt nur von 36 Positionen aus darstellen würde, dann ergäbe sich eine sehr ruckartige und wenig ansprechende Kamerafahrt, falls nicht mehr als 14 bis 16 aufeinanderfolgende Perspektiven pro Sekunde angezeigt würden. Ab dem genannten Wert interpretiert das menschliche Gehirn eine Folge von Einzelbildern als zusammengehörige Bildsequenz.If you were to do such an internal tracking shot from just 36 positions, you would get a very jerky and unattractive tracking shot if you did not see more than 14 to 16 consecutive views per second. From the above value, the human brain interprets a sequence of individual images as a related image sequence.

Weil die Szenerie, in der das Fahrzeug 1 dargestellt wird, als Grafik von einem echtzeitfähigen Programm erstellt und berechnet wird, ist es möglich, eine quasi-kontinuierliche Kamerafahrt der internen Kamera 3 um das Fahrzeug herum in Echtzeit zu berechnen.Because the scenery in which the vehicle 1 As a graph is created and computed by a real-time capable program, it is possible to make a quasi-continuous tracking shot of the internal camera 3 to calculate the vehicle in real time.

Wenn man nun unterstellt, dass die Szenerie bei der Kamerafahrt in Schritten von einem Grad berechnet wird und aus diesen 360 kleinen Schritten eine Kamerafahrt in Echtzeit berechnet wird, dann ergibt sich eine flüssige Darstellung dieser Kamera insoweit als die Szenerie betroffen ist. Assuming that the scene is calculated in steps of one degree during the camera movement, and a camera movement in real time is calculated from these 360 small steps, the result is a fluid representation of this camera as far as the scenery is concerned.

Da jedoch aus den genannten Gründen von dem Fahrzeug 1 nur Abbildungen in Schritten von 10° vorhanden sind, wäre es nun denkbar, bei der Kamerafahrt bis zum Winkel in einem Bereich von 355° bis 5°, nur das Bild des Fahrzeugs bei einem Winkel von 0° in den Strahlengang einzublenden. Sobald der Standort der internen Kamera 3 in einem Bereich zwischen 5° und 15° liegt, könnte das Bild des Fahrzeugs 1 bei einem Winkel von 10° eingeblendet werden usw.However, because of the reasons mentioned by the vehicle 1 only images are present in steps of 10 °, it would be conceivable, during the camera movement to the angle in an area of 355 ° to 5 °, only the image of the vehicle at an angle of 0 ° in the beam path. Once the location of the internal camera 3 in a range between 5 ° and 15 °, could be the image of the vehicle 1 be displayed at an angle of 10 °, etc.

Es liegt auf der Hand, dass eine solche Darstellung unbefriedigend ist, weil das Fahrzeug 1, das ja im Mittelpunkt des Interesses steht, sehr ruckelig dargestellt würde. It is obvious that such a representation is unsatisfactory because the vehicle 1 , which is indeed in the center of attention, would be presented very jerky.

An dieser Stelle macht sich das erfindungsgemäße Verfahren nun die Tatsache zunutze, dass zu jedem Bild des Fahrzeugs 1 die sogenannte Z-Map berechnet und abgespeichert wurde. Dadurch ist es möglich, aus den Bildern des Fahrzeugs 1 bei einer Kameraposition von 0° und 10° ein Bild des Fahrzeugs 1 beispielsweise bei 1°, bei 2° und bei 3° zu interpolieren. Diese Interpolation mit Hilfe der Z-Map führt also dazu, dass Bilder des Fahrzeugs in Zwischenpositionen berechnet bzw. interpoliert werden können.At this point, the method according to the invention makes use of the fact that for every image of the vehicle 1 the so-called Z-Map was calculated and saved. This makes it possible to get out of the pictures of the vehicle 1 at a camera position of 0 ° and 10 ° an image of the vehicle 1 for example at 1 °, at 2 ° and at 3 ° to interpolate. This interpolation with the help of the z-map thus results in that images of the vehicle can be calculated or interpolated in intermediate positions.

Diese Interpolation von Bildern des Fahrzeugs ausgehend von den in höchster Qualität vorhandenen vorab berechneten Bildern ermöglicht es, das Fahrzeug in verschiedensten Perspektiven mit sehr hoher Qualität als 2D-Darstellung abzubilden und ggf. zu interpolieren und in den Strahlengang der Kamera 3 einzublenden. This interpolation of images of the vehicle starting from the highest-quality pre-calculated images makes it possible to image the vehicle in various perspectives with very high quality as a 2D representation and, if necessary, to interpolate and into the beam path of the camera 3 display.

Im Ergebnis lassen sich somit Kamerafahrten der internen Kamera 3 um das Fahrzeug herum realisieren, bei denen sowohl das Fahrzeug als auch die Umgebung flüssig und kontinuierlich dargestellt werden, wobei die verschiedenen Perspektiven der Umgebung in Echtzeit berechnet werden und die verschiedenen Abbildungen des Fahrzeugs durch Interpolation aus vorhandenen Bildern des Fahrzeugs unter Zuhilfenahme der sogenannten „Z-Map“ erfolgt. As a result, camera shots of the internal camera are possible 3 around the vehicle, in which both the vehicle and the environment are displayed fluidly and continuously, the different perspectives of the environment being calculated in real time and the various images of the vehicle being interpolated from existing images of the vehicle using the so-called "Z. -Map "takes place.

Mit Hilfe der "Z-Map" für jede 2D-Fahrzeugabbildung und Perspektive, deren Inhalt als Tiefeninformation (Abstand zwischen Punkt im Raum und Kamera) interpretiert wird, kann das 3D-Echtzeitsystem über einen Shader und ein Verfahren, welches allgemein als "Image Based Rendering" bezeichnet wird, Bilder zwischen einzelnen Perspektiven interpolieren. So kann schon aus minimal 5 Perspektiven (vorne, hinten, links, rechts, oben) ein flüssiger „Rundumflug“ um das Fahrzeug realisiert werden. Mehr Perspektiven erhöhen die Qualität und Genauigkeit der Interpolation.With the aid of the "Z-Map" for each 2D vehicle image and perspective, the content of which is interpreted as depth information (distance between point in space and camera), the 3D real-time system can use a shader and a method commonly referred to as "Image Based Rendering ", interpolate images between individual perspectives. So even from a minimum of 5 perspectives (front, back, left, right, up) a fluid "all-round flight" around the vehicle can be realized. More perspectives increase the quality and accuracy of the interpolation.

Durch diese Technik wird aus mehreren 2D-Abbildungen intern im 3D-Echtzeitsystem ein 3D-Modell errechnet. Somit ist die Integration des Fahrzeugs in die 3D-Szene mit diesem Punkt als vollständig und gelungen zu betrachten. Dieses interne 3D-Modell kann dann auch das zuvor beschriebene niedrig aufgelöste 3D-Hilfsmodell ersetzen.Using this technique, a 3D model is internally calculated from several 2D images in the 3D real-time system. Thus, the integration of the vehicle into the 3D scene with this point is considered complete and successful. This internal 3D model can then also replace the previously described low-resolution 3D auxiliary model.

Durch das Image Based Rendering sind weitere Kamerafahrten/Animationen und beinahe uneingeschränkte Bewegungsfreiheit möglich.Image-based rendering allows more camera shots / animations and almost unlimited freedom of movement.

Im Ergebnis lässt sich somit das Fahrzeug bei einer Kamerafahrt in höchster Qualität darstellen. Alle Bewegungen wirken flüssig und die Darstellung von Fahrzeug und Umgebung lässt sich mit Hilfe eines einzigen Rechners realisieren. As a result, the vehicle can be displayed in a camera movement of the highest quality. All movements have a fluid effect and the depiction of vehicle and surroundings can be realized with the help of a single computer.

Anhand der 10 und 11 wird nun die zweite Variante der Berechnung des Schattenwurfs veranschaulicht und dargestellt. Based on 10 and 11 Now the second variant of the calculation of the shadow is illustrated and illustrated.

Dabei wird in die Mitte der Szenerie ein vereinfachtes 3D-Modell 15 des Fahrzeugs 1 integriert und mit Hilfe dieses vereinfachten Modells 15 der Schatten 17 des Fahrzeugs in Echtzeit berechnet. In the middle of the scenery, a simplified 3D model is created 15 of the vehicle 1 integrated and with the help of this simplified model 15 the shadow 17 the vehicle is calculated in real time.

Weil das Modell 15 des Fahrzeugs vereinfacht ist, lässt sich der Schatten 17 in Echtzeit mit der vorhandenen Software ohne weiteres zusammen mit den Schatten der anderen Gegenstände der Szenerie berechnen. Because the model 15 the vehicle is simplified, the shadow can be 17 calculate in real time with the existing software readily together with the shadows of the other objects of the scenery.

Das vereinfachte Modell 15 würde jedoch ein Bild des Fahrzeugs ergeben, dass höchsten Ansprüchen nicht gerecht wird. Deshalb wird zusätzlich in der bereits beschriebenen Weise in den Strahlengang der internen Kamera ein vorab berechnetes Bild 1 des Fahrzeugs eingeblendet. Das relativ niedrig aufgelöste 3D-Hilfs-Modell wird lediglich zur Schattenberechnung herangezogen und ist im Ergebnis nicht sichtbar. In der 11 ist nun die Symbiose aus in Echtzeit berechneter Szenerie und eingeblendetem Bild 1 des Fahrzeugs dargestellt. The simplified model 15 however, would give an image of the vehicle that does not meet the highest standards. Therefore, in addition to the already described manner in the beam path of the internal camera, a pre-calculated image 1 of the vehicle. The relatively low-resolution 3D auxiliary model is only used for shadow calculation and is not visible in the result. In the 11 is now the symbiosis of real-time calculated scenery and faded in picture 1 of the vehicle.

Durch diese Berechnung des Schattens 17 in Echtzeit wird eine weiter erhöhte Realitätstreue der Darstellung des Fahrzeugs und dessen Einbindung in die umgebende Szenerie erreicht.By this calculation of the shadow 17 in real time, a further increased realism of the representation of the vehicle and its integration into the surrounding scenery is achieved.

Eine weitere Steigerung der Realitätstreue kann dadurch erreicht werden, dass Lichtreflexe, die durch die Spiegelung beispielsweise des Sonnenlichts auf einer Kante des Fahrzeugs entstehen, und die Reflexion der Umgebung auf der Oberfläche des Fahrzeugs, in Echtzeit berechnet und in das Bild eingeblendet werden. Zur Berechnung dieser Reflexionen und Lichtreflexe wird die im Zusammenhang mit der 1 erläuterte Normal-Map herangezogen.A further increase in fidelity to reality can be achieved by calculating, in real time, light reflections that result from the reflection, for example, of the sunlight on an edge of the vehicle, and the reflection of the surroundings on the surface of the vehicle, and to be superimposed on the image. For the calculation of these reflections and light reflections is used in connection with the 1 explained normal map used.

Eine weitere Steigerung der Realität der Darstellung kann erreicht werden, indem entsprechend den gewählten Frontscheinwerfern (Halogen, Xenon oder LED-Technik) das von den Frontscheinwerfern ausgeleuchtete Lichtfeld dargestellt wird. So haben beispielsweise Xenon-Lichter ein charakteristisches bläuliches Licht, während Halogen-Scheinwerfer einen demgegenüber „wärmeren“ Farbton haben und LED-Leuchten einen größeren Lichtstrom und gleichzeitig ein relativ farb-neutrales Licht erzeugen.A further increase in the reality of the presentation can be achieved by the light source field illuminated by the headlights is displayed according to the selected headlights (halogen, xenon or LED technology). For example, xenon lights have a characteristic bluish light, while halogen headlamps have a "warmer" hue and LED lights produce a larger luminous flux and at the same time a relatively color-neutral light.

Claims (16)

Verfahren zur Erzeugung animierter Bilder durch ein 3D Echtzeitsystem, wobei die Bilder eine in Echtzeit animierte Umgebung und mindestens einen Gegenstand umfassen, dadurch gekennzeichnet, dass mindestens ein 2D-Bild (1) des mindestens einen Gegenstands in die animierte Umgebung eingeblendet wird.A method of generating animated images by a 3D real-time system, the images comprising a real-time animated environment and at least one object, characterized in that at least one 2D image ( 1 ) of the at least one item is displayed in the animated environment. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das oder die Bilder (1) des mindestens einen Gegenstands von einem Computer berechnete Bilder (computer generated images; CGI) sind.Method according to claim 1, characterized in that the image (s) ( 1 ) of the at least one item of computer generated images (CGI). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass zu jedem Bildpunkt (5) eines berechneten Bildes (1) eine Entfernung (Z) zwischen dem durch den 2D-Bildpunkt (5) repräsentierten 3D-Punkt im 3D-Raum und einem internen Standort einer internen Kamera (3) berechnet und in einer Datei (Z-Map) hinterlegt/abgespeichert wird.Method according to claim 2, characterized in that for each pixel ( 5 ) of a calculated image ( 1 ) a distance (Z) between the through the 2D pixel ( 5 ) represented 3D point in 3D space and an internal location of an internal camera ( 3 ) and stored / saved in a file (Z-Map). Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass zu jedem Bildpunkt (5) eines berechneten Bildes (1) eine Normale (N) der durch Bildpunkt (5) repräsentierten Oberfläche im 3D-Raum berechnet und in einer Datei (Normal-Map) hinterlegt/abgespeichert wird.Method according to claim 2 or 3, characterized in that for each pixel ( 5 ) of a calculated image ( 1 ) a normal (N) by pixel ( 5 ) surface calculated in 3D space and stored / saved in a file (normal map). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein berechnetes Bild (1) aus mehreren Schichten (Layern) zusammengesetzt wird, und dass für jede Schicht die Bildpunkte inklusive Entfernung (Z) zwischen dem durch Bildpunkt (5) repräsentierten 3D-Punkt und Kamera (3) sowie die Normale (N) berechnet und abgespeichert werden.Method according to one of the preceding claims, characterized in that a calculated image ( 1 ) is composed of several layers and that for each layer the pixels including the distance (Z) between the pixels ( 5 ) represented 3D point and camera ( 3 ) as well as the normals (N) are calculated and stored. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Schatten (13) des Gegenstands gesondert berechnet und gespeichert wird.Method according to one of the preceding claims, characterized in that a shadow ( 13 ) of the item is calculated and stored separately. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein Schatten (17) in Echtzeit berechnet wird, und dass die Berechnung des Schattens ausgehend von einem geometrisch vereinfachten 3D-Modell (15) des Gegenstands erfolgt.Method according to one of claims 1 to 5, characterized in that a shadow ( 17 ) is calculated in real time, and that the calculation of the shadow is based on a geometrically simplified 3D model ( 15 ) of the object. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass der berechnete Schatten (13) als Textur dem Boden der Umgebung überlagert wird.Method according to one of claims 6 or 7, characterized in that the calculated shadow ( 13 ) as a texture is superimposed on the soil of the environment. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ausgehend von einem geometrisch vereinfachten 3D-Modell (15) des Gegenstands in Echtzeit berechnet wird, welche Gegenstände der animierten Szene von dem Bild (1) des eingeblendeten Gegenstands verdeckt werden.Method according to one of the preceding claims, characterized in that starting from a geometrically simplified 3D model ( 15 ) is calculated in real time which objects of the animated scene from the image ( 1 ) of the displayed object. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Fahrt der internen Kamera (3) um den Gegenstand simuliert wird, dass die 3D-Darstellung der Umgebung und optional auch der Schatten (17) des Gegenstands in Echtzeit berechnet wird, und dass in Abhängigkeit der Position der internen Kamera (3) ein zuvor berechnetes Bild (1), welches den Gegenstand aus der gleichen oder eine ähnlichen Position darstellt, eingeblendet wird.Method according to one of the preceding claims, characterized in that a drive of the internal camera ( 3 ) around the object is simulated that the 3D representation of the environment and optionally the shadow ( 17 ) of the object is calculated in real time, and that depending on the position of the internal camera ( 3 ) a previously calculated image ( 1 ), which represents the object from the same or a similar position, is displayed. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass wenn die interne Kamera (3) eine Position (z. B. 2°) einnimmt von der kein zuvor berechnetes Bild (1) des Gegenstands vorhanden ist, ausgehend von zwei Bildern (1) aus benachbarten Positionen (0° und 10°) ein Bild (1) des Gegenstands in der Position (2°) der internen Kamera (3) durch Interpolation berechnet wird. Method according to claim 10, characterized in that when the internal camera ( 3 ) assumes a position (eg 2 °) of which no previously calculated image ( 1 ) of the object, starting from two images ( 1 ) from adjacent positions (0 ° and 10 °) an image ( 1 ) of the item in the position (2 °) of the internal camera ( 3 ) is calculated by interpolation. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass zur Interpolation eines Bildes in einer Zwischenposition (2°) die abgespeicherten Entfernungen (Z-Map) zwischen den in den Bildpunkten sichtbaren Teilen des Gegenstands (5) und dem Standort einer internen Kamera (3) herangezogen werden.Method according to claim 11, characterized in that for the interpolation of an image in an intermediate position (2 °) the stored distances (Z-map) between the parts of the object visible in the pixels ( 5 ) and the location of an internal camera ( 3 ) are used. Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass die Interpolation von Bildern in Zwischenpositionen in Echtzeit erfolgt.A method according to claim 10 or 11, characterized in that the interpolation of images in intermediate positions takes place in real time. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit einer Position einer Lichtquelle oder der Umgebung und der Position der internen Kamera (3) und unter Berücksichtigung der Normalen (N) der in den Bildpunkten sichtbaren Teile (5) des Gegenstands Lichtreflexe und Reflexionen auf dem Gegenstand berechnet und in den Strahlengang eingeblendet werden. Method according to one of the preceding claims, characterized in that depending on a position of a light source or the environment and the position of the internal camera ( 3 ) and taking into account the normals (N) of the parts visible in the pixels ( 5 ) of the object light reflections and reflections are calculated on the object and displayed in the beam path. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit einer Position einer Lichtquelle und der Position der internen Kamera (3) Lichtspiegelungen (lens flares) eines herkömmlichen Objektivs berechnet und in den Strahlengang eingeblendet werden.Method according to one of the preceding claims, characterized in that depending on a position of a light source and the position of the internal camera ( 3 ) Lens reflections (lens flares) of a conventional lens are calculated and displayed in the beam path. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit der in der Schicht „Frontscheinwerfer“ gewählten Variante Lichtfarbe und Lichtverteilung der Frontscheinwerfer berechnet und in die Darstellung der Umgebung integriert werden. Method according to one of the preceding claims, characterized in that depending on the variant selected in the layer "headlights" light color and light distribution of the headlights are calculated and integrated into the representation of the environment.

Images