EP3384469A2 - Verfahren zur darstellung einer simulationsumgebung - Google Patents

Verfahren zur darstellung einer simulationsumgebung

Info

Publication number
EP3384469A2
EP3384469A2 EP16826698.9A EP16826698A EP3384469A2 EP 3384469 A2 EP3384469 A2 EP 3384469A2 EP 16826698 A EP16826698 A EP 16826698A EP 3384469 A2 EP3384469 A2 EP 3384469A2
Authority
EP
European Patent Office
Prior art keywords
real
simulation environment
image
projection
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16826698.9A
Other languages
English (en)
French (fr)
Inventor
Michael Haubner
Manuel Pabst
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Krauss Maffei Wegmann GmbH and Co KG
Original Assignee
Krauss Maffei Wegmann GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Krauss Maffei Wegmann GmbH and Co KG filed Critical Krauss Maffei Wegmann GmbH and Co KG
Publication of EP3384469A2 publication Critical patent/EP3384469A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Definitions

  • the present invention relates to a method for displaying a computer-generated simulation environment simulating a real environment with a database containing the data of a real estate and real objects located in the terrain.
  • Such methods for the representation of simulation environments are used in different versions. In particular, but by no means only such methods are used for training and / or training purposes. The training and / or training purpose can be very different. Accordingly, generic methods find use, for example, in the training and instruction of pilots and / or train drivers. More generally, such methods for representing a simulation environment are preferably used when the activity to be performed in the context of the simulation, ie the interaction of a receiver representing the simulation environment, with the simulation environment in reality to significant health and / or financial risks would lead.
  • the training and / or training effects achieved or achievable with the depiction largely depend on a realistic representation of the real world, ie the real environment, in the context of the representation of the simulation environment. This means, for example, that the preparation for deployment in the military sector can be more effectively prepared for deployment, the more the representation of the simulation environment resembles a real environment of a planned deployment.
  • a surface model is modeled, for example, from the data representing the real environment, in which objects, in particular buildings, are recognized, extracted, modeled and re-integrated. Only after all these processes can a representation of the thus created simulation environment take place. However, this requires a great deal of time. Especially the modeling of recognized objects is equally time-consuming and prone to error.
  • the data is obtained by an evaluation of recorded images during an overflight and / or during a transit in the real environment
  • the data is a geospecific image of the real estate and / or the real objects and the data are stored as raster data in the database
  • a height grid is generated and stored in the database, which assigns a height value to each raster point of the raster data and wherein at least for a part of the surfaces spanned by raster points
  • Simulation environment a color texture is determined by a projection of at least one image capture on the generated height grid.
  • the method according to the invention makes possible, in a particularly advantageous manner, a particularly realistic representation of a simulation environment based on a height grid with comparatively little effort and a high degree of automation.
  • a corresponding height raster can be generated quickly, precisely and automatically from the images of the real environment using well - known methods such as "structure from motion.”
  • a vertical raster causes a particularly high level of vertical or at least steep surfaces of the simulation environment This in turn means that automated and at the same time true-to-life coloring and other texturing is not possible on such surfaces, although texturing and / or coloring can be performed manually using the known methods but then requires a correspondingly large effort.
  • the method according to the invention makes it possible to project the image recordings or parts of the image recordings onto a generated height grid, which in turn has the advantage that such a projection can take place automatically and at the same time up to a photorealistic texturing of Surfaces in the simulation environment.
  • the method according to the invention has the advantage that it does not have to be executed and completed in advance of the presentation of the simulation environment, so that the color textures are present at the surfaces of the simulation environment spanned by the screen dots. Rather, the projection of the at least one image acquisition on the generated height grid for determining a color texture of a part of the surfaces of the simulation environment spanned by the halftone dots during the presentation of the simulation environment, whereby the time intent between the acquisition of the image recordings, the real environment and the representation of the Simulation environment can be further minimized.
  • the geospecific image of the real environment is transformed into the grid data of the elevation grid with a clear and reversible transformation.
  • a georeferencing can be provided. This assigns each grid point a corresponding point to the real environment.
  • the spatial coordinates of the real environment it is necessary for the spatial coordinates of the real environment to be converted into a corresponding coordinate system of the simulation environment and back.
  • a projection of several image recordings onto the generated height grid is carried out, the color texture of the surface being the mean value of the respective projections determined color textures is determined.
  • advantage is taken of the fact that, in the case of a high image sequence of the image recordings depicting the real environment, the surfaces which are to be provided with a projected color texture in the simulation environment are contained several times from different recording positions. Due to the different image recordings errors and inaccuracies of the image recordings per se as well as due to the projection can be averaged out, which could result in the projection of only an image recording on the height grid for the determination of a color texture.
  • different filters, weights and / or smoothing can be used, so that the formed average of the color texture corresponds to a large extent to the reality, ie the surface in the real environment.
  • Whole color textures, sections of color textures, or individual pixels of color textures can be averaged.
  • the projections of the at least one image recording take place on the height grid of the database of the simulation environment during the representation of the simulation environment.
  • a likewise advantageous embodiment of the method can be provided.
  • This provides that the image recording or the image recordings which are to be projected onto one by Grid points spanned surface of the simulation environment are used, in particular be pre-processed with respect to the resolution of image acquisition.
  • this takes into account the fact that the image recordings of the real environment, which serve to generate the database of the simulation environment, sometimes have a resolution that is significantly higher than the resolution that mediates a user during the execution of the method according to the invention or can be perceived by this. It is possible that both the user himself and the system used to execute the method represent the limiting factor of the resolution.
  • the user-perceivable maximum resolution depends on the distance between the viewing position and the subject being viewed. Accordingly, a further particularly advantageous embodiment of the method provides that the preprocessing of the image recording prior to the implementation of the projections depending on a freely selectable viewing position of the representation of the simulation environment, in particular depending on the distance between the viewing position of the simulation environment and the position of the Grid points spanned surface of the simulation environment on which the image acquisition is projected is performed.
  • an advantageous embodiment of the method provides that the projections of the image recording in dependence on the recording position in the Real environment and the resulting recording position in the simulation environment takes place.
  • the image recordings taken during an overflight above and / or during a passage through the real environment are provided with a position indication that represents a recording position of the image recording.
  • a position indication that represents a recording position of the image recording.
  • the recording direction in the real environment can be derived, for example, from the movement of the apparatus used to record the image recordings and the respective orientations of the recording apparatus with respect to the movement and, as described above, to the simulation environment and the elevation grid present there.
  • the results of the projections for the determination of a color texture are further improved by the following embodiment of the method:
  • This provides that the projections of the image acquisition as a function of Ab- Struktursseigenschaften the recording device with which the image acquisition was generated takes place.
  • Such properties or imaging properties of the recording device may be, for example, the solid angle, which is detected or imaged starting from the position of the recording device.
  • other imaging properties can also improve the quality of the projections to be performed.
  • the angular range can be transmitted, for example, together with the recording position and / or the recording direction into the simulation environment, in particular into the elevation grid of the simulation environment, whereby the assignment of a part of an image recording to a surface spanned by halftone dots in the simulation environment is further improved or can be specified.
  • the projection advantageously comprises a control method which controls whether a part of a surface of the simulation environment spanned by raster points of the raster model differs from the current one freely selectable viewing position of the simulation environment is visible or hidden.
  • the control method is executed using a depth map of the simulation environment derived from the halftone model and the freely selectable viewing position of the simulation environment.
  • the projection of at least one image recording are applied to the surfaces of the simulation environment spanned by raster points, which image steep, in particular vertically extending surfaces of the real terrain and / or real objects.
  • the projection of image recordings for obtaining color textures carried out in the context of the proposed method can be carried out for all regions of the simulation environment. In relatively flat sections of the real environment, ie sections with a relatively large horizontal component and only a slight or no vertical component, however, after the conversion into the raster data of the simulation environment, a relatively large number of raster points per area or surface of the simulation environment are present, so that other methods for obtaining and displaying colors or color textures provide an equally realistic result with less effort.
  • data are stored in the database which represent models of real objects of the real environment.
  • models of real objects can, for example, be derived from the raster data in advance of the execution of the method according to the invention by first identifying the images of real objects in the raster data, then extracting the corresponding raster data and, on the basis of these corresponding models, for example polygon-reduced models of the objects which are then also provided as part of the database of the simulation environment.
  • the models of the real objects are stored in the database in addition to the raster data which images the real objects.
  • known methods for texturing the models for example the polygon-reduced models of the objects can be used, which do not include a projection of an image recording.
  • conventional texturing methods can be used for the models, which results in a less realistic coloring and / or texturing of the models.
  • the representation of the computer-generated, a real environment simulating simulation environment can be done in different modes, wherein in a view mode, the representation is based on the raster data and at least partially determined by the projection of the image recordings color textures and wherein in an interaction mode the presentation is at least partially based on models of real objects.
  • a view mode the representation is based on the raster data and at least partially determined by the projection of the image recordings color textures
  • the presentation is at least partially based on models of real objects.
  • the method for displaying the simulation environment is based on the raster data and the color textures projected at least partially on the raster data from the image recordings.
  • the embodiment of the method described above makes it possible, depending on the mode of operation, to achieve either a particularly realistic view of the simulation environment or an interaction with the simulation environment with a partial waiver of a certain degree of true-to-reality.
  • FIG. 2 shows an exemplary detail of a simulation environment and the viewing position arranged therein;
  • FIG. 3 shows an exemplary representation of a projection of image recordings on surfaces of the raster data of the simulation environment spanned by raster points;
  • FIG. 4 shows an alternative exemplary representation of a projection of an image recording onto a surface spanned by screen dots
  • Fig. 5 is a schematic flow diagram of the invention
  • FIG. 1 shows a real environment 1, in which real objects 2, such as, for example, buildings or plants, are arranged in a real terrain 3.
  • a recording device 4 such as, for example, a satellite or an unmanned aircraft, acquires image recordings 19 in an overflight over the real environment 1.
  • a field of view 8 of the recording device 4 is outlined, which is about a receiving direction 17 of the receiving device extends.
  • the extent of the field of view 8 to the receiving direction 17 depends on the imaging properties of the recording device.
  • the field of view 8 of the receiving device 4 is limited by an imaginary or supposed imaging plane 9.
  • the imaging plane 9 illustrates the mapping of the three-dimensional real environment 1 into a two-dimensional image acquisition 19.
  • a data set based on which the real environment 1 in a Simulation environment can be transferred.
  • an image of the real estate 3 and / or the real objects 2 can be stored in a database, the data being stored as raster data in the database.
  • FIG. 2 shows a section from a simulation environment for illustration according to the proposed method.
  • a plan view of the simulation environment 10 is selected so that the corresponding raster points of the raster data lie in the plane of the drawing of FIG. 2, whereas the height values associated with each raster point of the raster data are perpendicular to the plane of the drawing of FIG are not shown.
  • the section of the simulation environment 10 shows a real-imaging object 11 in the form of a house and a real-imaging terrain 12. In the lower left area, a section of the grid is also displayed, in which each grid point 13 is assigned a height value and thus generates the height grid of the simulation environment 10 becomes.
  • the height values of the raster points 13 thus form a total of raster data which are generated from image recordings 19, the formation of which takes place, for example, as described with reference to FIG. It is recognizable on the basis of the grid points 13 of the section of the grid of the raster data that for a section or section of the simulation environment 10 with a flat or horizontal course, ie a course which runs essentially parallel to the plane of the drawing of FIG. 2, such as, for example, the house roof 18 of the object 1 1, there is a relatively large number of screen dots 13 per area. The situation is different for surfaces 14 which are spanned by the grid points and which represent or image the sidewalls of the real imaging object 11 of the simulation environment 10.
  • FIG. 2 furthermore shows a viewing position 15, which can be freely selected by the user of the method, which is intended to represent the starting point for displaying the computer-generated simulation environment 10 simulating a real environment. It is clear from the representation of the viewing position 15 with respect to the real imaging object 11 that the user of the method perceives the surface 14.1 and the surface 14.2 of the real imaging object 11 at different angles.
  • the surface 14.3 is of the freely selectable display position 15 of FIG. 2 not recognizable, since the surface 14.1 obscured the view of the surface 14.3 from the viewing position 15 from.
  • the proposed method whose basic idea is based on the projection of image recordings 19 on the generated height grid of a simulation environment data base, is to provide a part of the simulation environment surfaces spanned by the screen dots with a color texture.
  • FIG. 3 again shows a section of a simulation environment 10 in plan view, that is to say with a view of the plane of the screen dots. in which the height values assigned to the grid points are perpendicular to the plane of the drawing.
  • a real-imaging object 11 in the form of a house is also shown.
  • the supposed image planes 9 of two different image recordings 19 in FIG. 3 are shown by way of example to illustrate the projections of image recordings 19 on the height raster.
  • the procedure for obtaining the image recordings 19 described with reference to FIG. 1 permits unambiguous positioning and alignment of the imaging plane 9 in the simulation environment 10.
  • the image planes 9 also have a vertical component which, in the example of FIG. 3, is at least partially perpendicular to the plane of the drawing and is not shown in FIG. 3 for reasons of clarity and clarity.
  • FIG. 3 how, on the basis of the image recordings 19 and their image planes 9, a projection is made by which a color texture is assigned to at least part of the surfaces 14 of the simulation environment 10 spanned by the screen dots 13.
  • a mapping rule or projection rule is sketched on the basis of the dotted lines shown in FIG. 3, on the basis of which a first projection region 16.1 is projected from the image acquisition 19 with the imaging plane 9.1 onto the first surface 14.1 of the real imaging object 11 forming a side wall.
  • mapping rules of the projections ie the course of the dotted lines shown by way of example, as well as the not shown therebetween projections of points of the image plane 9.1 on the surfaces 14.1 and 14.2 are determined on the one hand by the raster data or the height grid and on the other hand determined by the present in the generation of the image recording 19 properties such as recording position, recording direction and the like, which are reflected simplified represent in the orientation of the imaging plane 9.1.
  • the imaging plane 9.2 of a second image acquisition 19 can also be used to provide the surfaces 14.1 and 14.2 with a color texture generated from the corresponding image acquisition 19, in accordance with the projection rules shown in dashed lines in FIG. It can also be provided that the corresponding projection regions 16.3 and 16.4 of the image acquisition 19 with the image plane 9.2 are first averaged with the corresponding projection regions 16.1 and 16.2 of the image acquisition 19 with the image plane 9.1.
  • the quality of the color texture generated by the projections for the surfaces 14.1 and 14.2 of the real image forming object 11 can be further improved.
  • 9.2 also allows, at least for a part of the side wall 14.3 of the real image forming object 1 1, the generation of a color texture in the context of a
  • the projection area 16.5 of the image recording 19 with the imaging plane 9.2 can be projected onto a part of the surface 14.3 of the real imaging object 11.
  • FIG. 4 likewise shows a projection of a part of an image recording 19 onto a substantially vertical surface 14.1 spanned by screen dots 13.
  • the representation of FIG. 4 is a strong schematization of an image recording 19. This is not least the clarity of Fig. 4 owed.
  • a variety of other contents such as vegetation, other objects, vehicles, people and animals, would also be encompassed by a realistic image acquisition 19.
  • the representation of the side view of the object 2 in the image recording 19 of FIG. 4 is a deliberately simplified representation which, however, can not fully reproduce the advantages of the method according to the invention. Because the side view of the object 2 of the image recording 19 is just not a photo-realistic representation, as they can be used in the inventive method. However, the basic principle becomes clear from the representation of FIG.
  • the surfaces of the real environment captured in the image recordings 19, in particular the surfaces of real objects 2 covered by the image recordings 19, are used for projection in the simulation environment 10 or in the simulation environment 10 the presentation of the simulation environment 10 cause a correspondingly realistic impression in the viewer.
  • the assignment of the image acquisition 19 and the real object 2 depicted therein to the real imaging object 11 of the simulation environment 10, in particular to the surface 14. 1, can be clearly linked between the acquisition of the image acquisition 19 documented spatial coordinates and / or spatial directions of the real environment 1 to the coordinates of Simulation environment 10 are enabled.
  • the simulation environment 10 may preferably have a link to the real environment 2.
  • the surface 14. 1 of the simulation environment 10 is formed by the sidewall of a real-imaging object 11 of the simulation environment 10.
  • the real-imaging object 11 is represented as a three-dimensional object from a specific perspective, which, for example, goes back to a corresponding viewing position on the object 11 in the simulation environment.
  • the indicated perspective view of the real-imaging object 11 illustrates some of the challenges of the method according to the invention.
  • part of the surface 14. 1 at the upper right-hand edge of the side wall is covered by a part of the house roof 18. 4 also show that, for example, the window arranged below the gable and the surrounding framework structure, as can be seen on the image acquisition 19, are dependent on the viewing position of the simulation environment 10 and the object 11 of FIG. 4 are hidden from the house roof 18.
  • a corresponding texturing of the surface 14.1 will therefore take into account the partial covering of the surface 14.1 by the house roof 18. This can for example be accomplished by a depth map which provides information about which parts of the raster data of the height grid of the simulation environment 10 are visible from the respective viewing position.
  • the projection texture generated from the image recording 19 can then be correspondingly processed, for example, cut to such an extent that non-visible parts of the surface 14.1 are not visible from the viewing position of FIG.
  • the image pickup 19 shows the real object 2 from a perspective different from the perspective of the simulation environment 10.
  • the part of the image recording 19 depicting the surface 14.1 is therefore part of the projection or the mapping rule as indicated by the dot-dashed lines in FIG. 4 are tilted and / or distorted such that, from the viewing position of the simulation environment 10 of FIG. 4, the part of the image pickup 19 which images the visible part of the surface 14. 1 is correspondingly arranged on the surface 14. 1, ie projected onto the surface 14 becomes.
  • FIG. 5 shows a detail of a flow chart of a method for representing a computer-generated simulation environment simulating a real environment.
  • the overall method for representing the simulation environment may include a plurality of further method steps not shown in FIG. 5.
  • the method sequence of FIG. 5 thus mainly relates to the projection of image recordings 19 carried out with the proposed method onto a height grid.
  • step S1 for example, the determination or identification of the current viewing position 15 of the simulation environment 10 takes place, from which the simulation environment 10 is to be displayed to the viewer.
  • an analysis of the raster data can take place in method step S2.
  • This analysis may be directed to determining which surfaces 14 of the simulation environment 10 spanned by the screen dots 13 are particularly suitable for texturing in the context of a projection of an image recording 19. This means that particularly steep or even vertical surfaces 14 in the vicinity of the viewing position 15 of the simulation environment 10 are identified in the raster data.
  • a respective distance or average distance to the viewing position 15 can be determined.
  • a depth map generated on the basis of the viewing position and the raster data can be used to determine the visibility of the surface 14 of the simulation environment 10 identified in method step S2 starting from the viewing position 15.
  • an identification of image recordings 19 takes place which at least partially comprise or depict visible surfaces 14 of the simulation environment 10 to be provided from the display position 15 with a color texture.
  • an inverse transformation of the data of the simulation environment into the reference system of the real environment can be used in order to be able to determine in which image recordings the surfaces of the simulation environment to be textured are mapped.
  • a preprocessing of the identified image recordings follows in the parallel method steps S4.1 and S.4.2, which are shown by way of example.
  • the preprocessing can be such that the resolution of the image recordings 19 takes place as a function of the distance between the surface 14 of the raster data of the simulation environment 10 and the viewing position 15 of the simulation environment 10 determined in method step S2.
  • other or additional preprocessing steps for preprocessing the image recordings can also be carried out in method steps S4.1 and S4.2.
  • the actual projection of the image recordings 19 or at least of parts of the image recordings on the height raster and its surface 14 is subsequently carried out.
  • the imaging specifications of the projection or projections used here are determined both on the basis of the height raster of the raster data and on the available data with regard to the recording properties of the respective image recording 19 in the real environment and the image characteristics of the image recording 19 derived therefrom in the simulation environment carried out. In simple terms, this means that the pixels of the image recordings are shifted, rotated and / or distorted such that both the outline of the corresponding part of the image recording 19 and the content of this part match the corresponding surface in the height grid of the raster data.
  • the subsequent method step S6 is provided for the case in which the method steps S4.1, S4.2, S5.1 and S5.2 relate to the projections of image recordings 19 on one and the same surface 14 of the simulation environment 10 spanned by raster data.
  • an averaging or compensation calculation of the respectively determined color textures is undertaken.
  • the color textures thus generated are applied to the height raster of the raster data of the simulation environment 10 in the course of the method step S7.
  • method step S8 the thus-textured surfaces 14 of the simulation environment 10 are displayed to the user together with the remaining components of the simulation environment 10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Verfahren zur Darstellung einer computergenerierten, eine Realumgebung (1) simulierenden Simulationsumgebung (10), mit einer Datenbasis, welche die Daten des realen Geländes (3) und der im Gelände befindlichen realen Objekte (2) beinhaltet, wobei die Daten bei einem Überflug über und/oder bei einer Durchfahrt in der Realumgebung (1) aufgenommenen Bildaufnahmen (19) gewonnen werden, ein geospezifisches Abbild des realen Geländes (3) und/oder der realen Objekte 2 umfassen und als Rasterdaten in der Datenbasis hinterlegt sind, wobei aus den Bildaufnahmen (19) ein Höhenraster generiert und in der Datenbasis hinterlegt wird, welches jedem Rasterpunkt (13) der Rasterdaten einen Höhenwert zuordnet und wobei zumindest für einen Teil der durch Rasterpunkte (13) aufgespannten Oberflächen (14) der Simulationsumgebung (10) eine Farbtextur durch eine Projektion zumindest einer Bildaufnahme (19) auf das generierte Höhenraster bestimmt wird.

Description

Verfahren zur Darstellung einer Simulationsumgebung Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung mit einer Datenbasis, welche die Daten eines realen Geländes und von in dem Gelände befindlichen realen Objekten beinhaltet. Solche Verfahren zur Darstellung von Simulationsumgebungen kommen in unterschiedlichen Ausführungen zum Einsatz. Besonders jedoch keinesfalls ausschließlich werden derartige Verfahren zu Schulungs- und/oder Trainingszwecken verwendet. Der Schulungs- und/oder Trainingszweck kann dabei höchst unterschiedlich sein. Demnach finden gattungsgemäße Verfah- ren beispielsweise Einsatz bei der Ausbildung und Schulung von Piloten und/oder Zugführern. Allgemeiner ausgedrückt kommen derartige Verfahren zur Darstellung einer Simulationsumgebung bevorzugt dann zum Einsatz, wenn die durchzuführende Tätigkeit im Rahmen der Simulation, also die Interaktion eines Empfängers der Darstellung der Simulationsumgebung, mit der Simulations- Umgebung in der Realität zu erheblichen Risiken gesundheitlicher und/oder finanzieller Natur führen würde.
Dementsprechend sind verwandte Verfahren zur Darstellung einer Simulationsumgebung auch aus dem militärischen Bereich bekannt, wobei sie gleichermaßen zu Ausbildungs- und Trainingszwecken von Fahrzeugführern als auch zur Einsatzvorbereitung Verwendung finden.
In einer Vielzahl der vorangegangen beschriebenen Einsatzzwecke von Verfahren zur Darstellung einer Simulationsumgebung sind die mit der Darstel- lung erreichten oder erreichbaren Schulungs- und/oder Trainingseffekte weitestgehend von einer realitätsgetreuen Abbildung der wirklichen Welt, also der Realumgebung, im Rahmen der Darstellung der Simulationsumgebung abhängig. Dies bedeutet für die Anwendung zur Einsatzvorbereitung im militärischen Bereich beispielsweise, dass eine Vorbereitung auf einen Einsatz umso effektiver stattfinden kann, desto mehr die Darstellung der Simulationsumgebung einer Realumgebung eines geplanten Einsatzes ähnelt.
Um jedoch eine hochgradige Übereinstimmung zwischen einer Real- Umgebung und einer die Realumgebung simulierenden Simulationsumgebung und deren Darstellung zu erreichen, sind unterschiedliche Schwierigkeiten zu überwinden.
Einerseits müssen Daten gewonnen werden, die die Realumgebung mög- liehst genau und detailgetreu abbilden. Die Gewinnung solcher Daten ist dabei aufgrund von Satellitentechnik und unbemannten Aufklärungs- fahrzeugen oder -flugzeugen insgesamt weniger problematisch. Größere Probleme stellen die durch die Abbildung der Realumgebung generierten Datenmengen sowie deren sinnvolle und effiziente Verwendung bei der Generierung und Darstellung der die Realumgebung simulierenden Simula- tionsumgebung dar. Insbesondere kann die benötigte Zeit zwischen der Erhebung oder Generierung der Daten zur Abbildung der Realumgebung und der Darstellung der computergenerierten, eine Realumgebung simulierenden Simulationsumgebung einen besonders kritischen Faktor darstellen. Beispielsweise in der militärischen Einsatzvorbereitung kann es von besonderem Interesse sein, innerhalb kürzester Zeit nach der Datenerfassung durch eine Abbildung einer Realumgebung in der Lage zu sein, eine Darstellung einer eine Realumgebung simulierenden Simulationsumgebung auszuführen und damit die Einsatzvorbereitung zu betreiben.
Bei gattungsgemäßen Verfahren wird jedoch beispielsweise aus den die Realumgebung abbildenden Daten ein Oberflächenmodel modelliert, in dem dann Objekte, insbesondere Gebäude, erkannt, extrahiert, modelliert und wieder integriert werden. Erst im Anschluss an all diese Vorgänge kann eine Darstellung der so geschaffenen Simulationsumgebung erfolgen. Dies erfordert jedoch ein hohes Maß an Zeit. Besonders die Modellierung von erkannten Objekten ist dabei gleichermaßen zeitauffällig und fehleranfällig.
Die A u f g a b e der vorliegenden Erfindung liegt dementsprechend darin, ein Verfahren zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung mit einer Datenbasis, in der Daten des realen Geländes und von im realen Gelände befindlichen realen Objekten beinhaltet sind, anzugeben, welches eine schnelle und realitätsgetreue Darstellung der Simulationsumgebung ermöglicht. Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art dadurch g e l ö s t, dass die Daten durch eine Auswertung von bei einem Überflug über und/oder bei einer Durchfahrt in der Realumgebung aufgenommenen Bildaufnahmen gewonnen werden, die Daten ein geospezifisches Abbild des realen Geländes und/oder der realen Objekte umfassen und die Daten als Rasterdaten in der Datenbasis hinterlegt sind, wobei aus den Bildaufnahmen ein Höhenraster generiert und in der Datenbasis hinterlegt wird, welches jedem Rasterpunkt der Rasterdaten ein Höhenwert zuordnet und wobei zumindest für ein Teil der durch Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung eine Farbtextur durch eine Projektion zumindest einer Bildaufnahme auf das generierte Höhenraster bestimmt wird.
Durch das erfindungsgemäße Verfahren wird in besonders vorteilhafter Wei- se eine besonders realistische Darstellung einer Simulationsumgebung, basierend auf einem Höhen raster bei vergleichsweise geringem Aufwand und hohem Automatisierungsgrad, ermöglicht.
Denn einerseits lässt sich ein entsprechendes Höhenraster aus den Bildauf - nahmen der Realumgebung anhand bekannter Verfahren wie beispielsweise „structure from motion" schnell, präzise und automatisch generieren. Jedoch führt ein solches Höhenraster dazu, dass insbesondere bei vertikal oder zumindest steil verlaufenden Oberflächen der Simulationsumgebung eine geringe Anzahl an Rasterpunkten verhältnismäßig große Oberflächen der Simulationsumgebung abbilden. Dies führt wiederum dazu, dass auf derartigen Oberflächen eine automatisierte und gleichzeitig realitätsgetreue Farbgebung und sonstige Texturierung nicht möglich ist. Mit den bekannten Verfahren kann manuell zwar eine Texturierung und/oder Farbgebung vorgenommen werden, die bedarf dann aber eines entsprechend gro- ßen Aufwands. Durch das erfindungsgemäße Verfahren wird jedoch ermöglicht, dass eine Projektion der Bildaufnahmen bzw. von Teilen der Bildaufnahmen auf ein generiertes Höhenraster vorgenommen wird, was wiederrum zum Vorteil hat, dass eine derartige Projektion automatisch erfolgen kann und gleich- zeitig bis hin zu einer fotorealistischen Texturierung von Oberflächen in der Simulationsumgebung führt. Darüber hinaus hat das erfindungsgemäße Verfahren den Vorteil, dass es nicht im Vorfeld der Darstellung der Simulationsumgebung ausgeführt und abgeschlossen werden muss, so dass die Farbtexturen zu den durch die Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung vorliegen. Vielmehr kann die Projektion der zumindest einen Bildaufnahme auf das generierte Höhenraster zur Bestimmung einer Farbtextur eines Teils der durch die Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung während der Darstellung der Simulationsumgebung erfolgen, wodurch der Zeitvorsatz zwischen der Ge- winnung der Bildaufnahmen, der Realumgebung und der Darstellung der Simulationsumgebung weiter minimiert werden kann.
Dabei ist es notwendig, dass das geospezifische Abbild der Realumgebung mit einer eindeutigen und umkehrbaren Transformation in die Rasterdaten des Höhenrasters überführt wird. Als Beispiel für eine solche Zuordnung kann eine Georeferenzierung vorgesehen sein. Dadurch wird jedem Rasterpunkt ein entsprechender Punkt der Realumgebung zugeordnet. Allgemein ist es jedoch erforderlich, dass die Raumkoordinaten der Realumgebung in ein entsprechendes Koordinatensystem der Simulationsumgebung und zu- rück überführt werden können.
In einer vorteilhaften Ausgestaltung des Verfahrens ist vorgesehen, dass zur Bestimmung der Farbtextur von durch Rasterpunkte aufgespannte Oberflächen der Simulationsumgebung eine Projektion von mehreren Bildauf - nahmen auf das generierte Höhenraster durchgeführt wird, wobei die Farbtextur der Oberfläche als Mittelwert der aus den jeweiligen Projektionen ermittelten Farbtexturen bestimmt wird. Dabei wird einerseits vorteilhaft ausgenutzt, dass im Falle einer hohen Bildabfolge der die Realumgebung abbildenden Bildaufnahmen die Oberflächen, die in der Simulationsumgebung mit einer projizierten Farbtextur zu versehen sind, mehrfach aus ver- schiedenen Aufnahmepositionen enthalten sind. Durch die unterschiedlichen Bildaufnahmen können Fehler und Ungenauigkeiten der Bildaufnahmen an sich sowie aufgrund der Projektion ausgemittelt werden, die bei der Projektion lediglich einer Bildaufnahme auf das Höhenraster zur Bestimmung einer Farbtextur entstehen könnten.
Bei der Bildung des Mittelwerts können verschiedene Filter, Gewichtungen und/oder Glättungen zum Einsatz kommen, so dass der gebildete Mittelwert der Farbtextur im hohen Maße der Realität, also der Oberfläche in der Realumgebung, entspricht. Dabei können ganze Farbtexturen, Abschnitte von Farbtexturen oder einzelne Pixel von Farbtexturen gemittelt werden.
Gemäß einer weiteren vorteilhaften Ausführungsform des Verfahrens ist vorgesehen, dass die Projektionen der zumindest einen Bildaufnahme auf das Höhenraster der Datenbasis der Simulationsumgebung während der Dar- Stellung der Simulationsumgebung erfolgt.
Um die Arbeitsbelastung, insbesondere die Rechenbelastung des Systems, welches zur Ausführung des erfindungsgemäßen Verfahrens genutzt wird, weiter zu verringern, kann eine ebenfalls vorteilhafte Ausgestaltung des Verfahrens vorgesehen werden: Diese sieht vor, dass die Bildaufnahme oder die Bildaufnahmen, die zur Projektion auf eine durch Rasterpunkte aufgespannte Oberfläche der Simulationsumgebung herangezogen werden, insbesondere hinsichtlich der Auflösung der Bildaufnahme vorverarbeitet werden. Damit wird unter anderem dem Umstand Rechnung getragen, dass die Bildaufnahmen der Realumgebung, welche zur Generierung der Datenbasis der Simulationsumgebung dienen, mitunter eine Auflösung aufweisen, die deutlich über der Auflösung liegt, die bei der Ausführung des erfindungsgemä- ßen Verfahrens einen Benutzer vermittelt bzw. von diesem wahrgenommen werden kann. Dabei ist es möglich, dass sowohl der Benutzer selbst als auch das System, welches zur Ausführung des Verfahrens benutzt wird, den limitierenden Faktor der Auflösung darstellt. Bei einer Vorverarbeitung der Bildaufnahmen, insbesondere bei einer Reduzierung der Auflösung der Bildaufnahmen im Vorfeld zu einer Projektion auf das Höhenraster, also eine durch Rasterpunkte aufgespannte Oberfläche, kann die notwendige Rechen leistung zur Ausführung der Projektionen deutlich gesenkt und die Projektion damit entsprechend schnell ausgeführt werden.
Wie in der Realität auch, so hängt bei dem Verfahren zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung die vom Benutzer wahrnehmbare bzw. erfassbare maximale Auflösung von dem Abstand zwischen der Betrachtungsposition und dem betrachteten Objekt ab. Dementsprechend sieht eine weitere besonders vorteilhafte Ausführung des Verfahrens vor, dass die Vorverarbeitung der Bildaufnahme vor der Durchführung der Projektionen in Abhängigkeit einer frei wählbaren Betrachtungsposition der Darstellung der Simulationsumgebung, insbeson- dere in Abhängigkeit vom Abstand zwischen der Betrachtungsposition der Simulationsumgebung und der Position der durch die Rasterpunkte aufgespannten Oberfläche der Simulationsumgebung, auf die die Bildaufnahme projiziert wird, ausgeführt wird. Dies bedeutet, dass wenn der Betrachter der Simulationsumgebung oder der Nutzer des Verfahrens zur Darstellung der Simulationsumgebung eine Betrachtungsposition in der Simulationsumgebung wählt, die sich in der Nähe einer durch wenige Rasterpunkte aufgespannten großen Oberfläche der Simulationsumgebung, wie beispielsweise eine Hauswand oder einem Steilhang, befindet, eine Projektion zumindest einer Bildaufnahme auf diese Oberfläche vorgenommen wird, ohne im Rahmen einer Vorverarbeitung die Auflösung der Bildaufnahme zu reduzieren. Umgekehrt kann bei einem großen Abstand zwischen der gewählten Betrachtungsposition und einer mit einer projizierten Farbtextur zu versehenden Oberfläche der Simulationsumgebung die Auflösung der für die Projektion verwendeten Bildauf - nahmen im Rahmen einer Vorverarbeitung reduziert werden. Dadurch wird bei der Ausführung des erfindungsgemäßen Verfahrens die zur Verfügung stehende Rechenleistung optimal und unter Berücksichtigung der Grenzen der Wahrnehmbarkeit seitens eines Benutzers ausgenutzt. Nachfolgend werden unterschiedliche Ausführungsformen des Verfahrens beschrieben, die sich auf die Zuordnung zwischen einer Bildaufnahme zu einem bestimmten Teil des Höhenrasters zum Ausführen der Projektionen sowie der Einbeziehung der frei wählbaren Betrachtungsposition der Simulationsumgebung beziehen. Denn um im Rahmen der Projektionen aus den Bildaufnahmen eine geeignete Farbtextur für eine durch Rasterpunkte aufgespannte Oberfläche der Simulationsumgebung zu gewinnen, ist zunächst eine möglichst präzise und eindeutige Zuordnung einer Bildaufnahme bzw. eines Teils einer Bildaufnahme zu eben jener Oberfläche im Höhenraster herzustellen. Dabei kommt die oben schon erwähnte eindeutige Zuordnung zwischen den Raumkoordinaten der Realumgebung, wie sie bei der Gewinnung der Bildaufnahmen dokumentiert werden können und dem Koordinatensystem der Simulationsumgebung zum Einsatz.
Dazu sieht eine vorteilhafte Ausgestaltung des Verfahrens vor, dass die Pro- jektionen der Bildaufnahme in Abhängigkeit der Aufnahmeposition in der Realumgebung und der sich daraus resultierenden Aufnahmeposition in der Simulationsumgebung erfolgt.
Dies bedeutet, dass die bei einem Überflug über und/oder bei einer Durch- fahrt durch die Realumgebung aufgenommenen Bildaufnahmen mit einer Positionsangabe versehen sind, die eine Aufnahmeposition der Bildaufnahme darstellen. Durch die Überführung der Gesamtheit der Bildaufnahmen in ein Höhenraster der Datenbasis der Simulationsumgebung kann in der Simulationsumgebung jeder Bildaufnahme eine entsprechend virtuelle oder si- mulierte Aufnahmeposition zugeordnet werden. Dadurch wird wiederrum eine Beziehung zwischen der Bildaufnahme und dem Höhenraster hergestellt, die zur Durchführung der Projektionen der Bildaufnahme zur Erzeugung einer Farbtextur besonders vorteilhaft ist. Die Genauigkeit der Bestimmung einer Farbtextur einer durch Rasterpunkte aufgespannten Oberfläche der Simulationsumgebung durch die Projektionen einer Bildaufnahme kann weiter dadurch verbessert werden, dass die Projektion der Bildaufnahme in Abhängigkeit von der Aufnahmerichtung in der Realumgebung und der daraus resultierenden Aufnahmerichtung in der Si- mulationsumgebung erfolgt.
Die Aufnahmerichtung in der Realumgebung lässt sich beispielsweise aus der Bewegung der zur Aufnahme der Bildaufnahmen verwendeten Vorrichtung sowie der jeweiligen Ausrichtungen der Aufnahmevorrichtung bezüg- lieh der Bewegung ableiten und wie vorangegangen bereits beschrieben in die Simulationsumgebung sowie das dort vorliegende Höhenraster überführen.
Die Resultate der Projektionen zur Bestimmung einer Farbtextur werden weiter durch die folgende Ausgestaltung des Verfahrens verbessert: Diese sieht vor, dass die Projektionen der Bildaufnahme in Abhängigkeit von Ab- bildungseigenschaften der Aufnahmevorrichtung, mit der die Bildaufnahme erzeugt wurde, erfolgt. Bei derartigen Eigenschaften oder Abbildungseigenschaften der Aufnahmevorrichtung kann es sich beispielweise um den Raumwinkel handeln, der ausgehend von der Position der Aufnahmevorrich- tung erfasst oder abgebildet wird. Jedoch auch andere Abbildungseigenschaften kann die Qualität der durchzuführenden Projektionen verbessern. Der Winkelbereich lässt sich beispielsweise zusammen mit der Aufnahmeposition und/oder der Aufnahmerichtung wie oben bereits beschrieben in die Simulationsumgebung, insbesondere in das Höhenraster der Si- mulationsumgebung übertragen, wodurch die Zuordnung eines Teils einer Bildaufnahme zu einer durch Rasterpunkte aufgespannten Oberfläche in der Simulationsumgebung weiter verbessert oder präzisiert werden kann.
Durch den Unterschied der virtuellen Aufnahmeposition, Aufnahmerichtung und anderen Eigenschaften der in die Simulationsumgebung transferierten Bildaufnahme und einer frei wählbaren Betrachtungsposition der Simulationsumgebung kann es vorkommen, dass ein Teil einer durch Rasterpunkte aufgespannten Oberfläche der Simulationsumgebung, für die aus einer Bildaufnahme im Rahmen einer Projektion eine Farbtextur bestimmt werden soll, aus der Betrachtungsposition nicht sichtbar ist, weil andere Rasterpunkte des Rastermodels die Sichtlinie zwischen der Betrachtungsposition und der entsprechenden Oberfläche oder eines Teils der Oberfläche verdecken. Um in dieser Situation eine fehlerhafte oder zumindest irreführende Projektionen oder eine daraus resultierende mangelhafte Ausgestaltung des Verfahrens auszuschließen, ist folgendes vorgesehen: Besonders vorteilhaft umfasst die Projektion ein Kontrollverfahren, welches kontrolliert, ob ein Teil einer durch Rasterpunkte des Rastermodels aufgespannten Oberfläche der Simulationsumgebung von der aktuell frei wählbaren Betrachtungsposition der Simulationsumgebung aus sichtbar oder verdeckt ist. In einer besonders vorteilhaften Ausführungsform ist dabei vorgesehen, dass das Kontrollverfahren unter Verwendung einer aus dem Rastermodel und der frei wählbaren Betrachtungsposition der Simulationsumgebung abgeleiteten Tiefenkarte der Simulationsumgebung ausgeführt wird.
Dies bedeutet, dass beispielsweise ausgehend von der aktuellen Betrachtungsposition eine Analyse des Rastermodels der Simulationsumgebung vorgenommen wird, die feststellt, welche Bereiche der Simulationsumgebung beziehungsweise des Rastermodels der Simulationsumgebung aus der aktu- eilen Betrachtungsposition sichtbar sind und die entsprechenden Ergebnisse in Form einer Tiefenkarte hinterlegt oder speichert.
In einer besonders vorteilhaften Weiterbildung des vorgeschlagenen Verfahrens ist zudem vorgesehen, dass die Projektion von zumindest einer Bild- aufnähme auf die durch Rasterpunkte aufgespannte Oberflächen der Simulationsumgebung angewendet werden, die steil, insbesondere vertikal verlaufende Oberflächen des realen Geländes und/oder realer Objekte abbilden. Grundsätzlich kann die im Rahmen des vorgeschlagenen Verfahrens durchgeführte Projektion von Bildaufnahmen zur Gewinnung von Farbtexturen für alle Bereiche der Simulationsumgebung durchgeführt werden. In verhältnismäßig flachen Abschnitten der realen Umgebung, also Abschnitten mit einer relativ großen horizontalen Komponente und lediglich einer ge- ringen oder keinen vertikalen Komponente sind jedoch nach der Überführung in die Rasterdaten der Simulationsumgebung eine verhältnismäßig große Anzahl von Rasterpunkten pro Fläche oder Oberfläche der Simulationsumgebung vorhanden, so dass andere Verfahren zur Gewinnung und Anzeige von Farben oder Farbtexturen ein gleichermaßen realistisches Er- gebnis bei geringerem Aufwand liefern. Wie jedoch eingangs bereits beschrieben, sind insbesondere bei der Abbildung von steilen oder senkrechten Abschnitten der realen Umgebung nach der Überführung in ein Abbild des realen Geländes unter Verwendung eines Höhenrasters in diesen Bereichen der Simulationsumgebung nur sehr wenige Rasterpunkte pro Fläche oder Flächeninhalt verfügbar, weshalb andere Verfahren zur Bestimmung einer Oberf lächenfarbe oder einer Oberf lächentex- tur hier versagen oder zumindest zu realitätsfernen Ergebnissen führen.
In einer weiteren Ausführungsform des Verfahrens kann vorgesehen sein, dass in der Datenbasis Daten hinterlegt sind, die Modelle realer Objekte der realen Umgebung darstellen.
Diese Modelle realer Objekte können beispielsweise im Vorfeld zu der Ausführung des erfindungsgemäßen Verfahrens aus den Rasterdaten dadurch abgeleitet werden, dass zunächst die Abbildungen von realen Objekten in den Rasterdaten identifiziert werden, anschließend die entsprechenden Rasterdaten extrahiert und auf Grundlage dieser entsprechender Modelle beispielsweise polygonreduzierte Modelle der Objekte angefertigt werden, die dann ebenfalls als Teil der Datenbasis der Simulationsumgebung bereit gestellt werden.
Dabei ist es für die Ausführung des hier beschriebenen Verfahrens besonders vorteilhaft, wenn die Modelle der realen Objekte zusätzlich zu den Rasterdaten, die die realen Objekte abbilden, in der Datenbasis gespei- chert werden. Dabei können auch bekannte Verfahren zur Texturierung der Modelle beispielweise der polygonreduzierten Modelle der Objekte zum Einsatz kommen, die keine Projektion einer Bildaufnahme umfassen. Dies bedeutet auch, dass herkömmliche Texturierungsverfahren für die Modelle zum Einsatz kommen können, die eine weniger realitätsgetreue Farbgebung und/oder Texturierung der Modelle zur Folge haben. Gemäß einer besonders vorteilhaften Weiterbildung des Verfahrens ist vorgesehen, dass die Darstellung der computergenerierten, eine Realumgebung simulierenden Simulationsumgebung in unterschiedlichen Betriebsarten erfolgen kann, wobei in einer Ansichts-Betriebsart die Darstellung basierend auf den Rasterdaten und den zumindest teilweise durch die Projektion der Bildaufnahmen bestimmten Farbtexturen erfolgt und wobei in einer Interaktions-Betriebsart die Darstellung zumindest teilweise basierend auf Modellen realer Objekte erfolgt. Dies ermöglicht, dass zugunsten einer Interaktion mit der Darstellung der Simulationsumgebung auf die Modelle der realen Objekte zurückgegriffen werden kann, für die eine Veränderung leichter umgesetzt und dargestellt werden kann als für ein reines Höhenraster. Dabei kann auch eine Einbuße der Texturierung der Modelle billigend in Kauf genommen werden. Die dy- namische Veränderung von Modellen von Objekten kann beispielsweise für die Darstellung von Beschädigungen der Objekte vorgesehen sein.
Soweit jedoch lediglich eine Ansicht der Simulationsumgebung erfolgen soll, ist es besonders vorteilhaft, wenn das Verfahren zur Darstellung der Simulationsumgebung auf den Rasterdaten und den zumindest teilweise auf die Rasterdaten projizierten Farbtexturen aus den Bildaufnahmen basiert.
Dementsprechend ermöglicht die vorangehend beschriebene Ausgestaltung des Verfahrens, dass je nach Betriebsart entweder eine besonders realisti- sehe Ansicht der Simulationsumgebung oder eine Interaktion mit der Simulationsumgebung unter teilweisem Verzicht auf ein gewisses Maß der Realitätstreue erreicht werden kann.
Weitere Vorteile und Einzelheiten des erfindungsgemäßen Verfahrens wer- den nachfolgend unter Zuhilfenahme der beigefügten, schematisierten Zeichnungen von Ausführungsbeispielen erläutert werden. Darin zeigen: Fig. 1 eine beispielhafte Darstellung einer Gewinnung von Bildaufnahmen einer Realumgebung;
Fig. 2 ein beispielhafter Ausschnitt aus einer Simulationsumgebung und der darin angeordneten Betrachtungsposition;
Fig. 3 eine beispielhafte Darstellung einer Projektion von Bildaufnahmen auf durch Rasterpunkte aufgespannte Oberflächen der Rasterdaten der Simulationsumgebung;
Fig. 4 eine alternative beispielhafte Darstellung einer Projektion einer Bildaufnahme auf eine durch Rasterpunkte aufgespannte Oberfläche;
Fig. 5 ein schematisiertes Ablaufdiagramm des erfindungsgemäßen
Verfahrens gemäß einer Ausführungsform.
Die Fig. 1 zeigt eine Realumgebung 1 , in der reale Objekte 2, wie beispielsweise Gebäude oder Pflanzen in einem realen Gelände 3 angeordnet sind. Um die Realumgebung 1 in einer computergenerierten Simulationsumgebung simulieren zu können, kann vorgesehen sein, dass eine Aufnahmevorrichtung 4 wie beispielsweise ein Satellit oder ein unbemanntes Flugzeug in einem Überflug über die Realumgebung 1 Bildaufnahmen 19 gewinnt. Um die mit der Aufnahmevorrichtung 4 gewonnenen Bildaufnahmen 19 in ein Abbild der Realumgebung überführen zu können, ist es dafür besonders wünschenswert, wenn die genaue Aufnahmeposition der Aufnahmevorrichtung 4 in der Realumgebung, deren momentaner Bewegungszustand sowie Abbildungseigenschaften der Aufnahmevorrichtung 4 zusammen mit den Bildaufnahmen 19 aufgenommen werden.
Im Beispiel der Fig. 1 wird die Dokumentation der Aufnahmeposition 5 der Aufnahmevorrichtung 4 sowie deren Bewegung durch das Koordinatensystem 6 sowie den Geschwindigkeitsvektor 7 veranschaulicht. Darüber hinaus ist ein Sichtfeld 8 der Aufnahmevorrichtung 4 skizziert, welches sich um eine Aufnahmerichtung 17 der Aufnahmevorrichtung erstreckt. Die Ausdehnung des Sichtfelds 8 um die Aufnahmerichtung 17 hängt dabei von den Abbildungseigenschaften der Aufnahmevorrichtung ab. Zur besseren Veranschaulichung des vorgeschlagenen Verfahrens ist das Sichtfeld 8 der Aufnahmevorrichtung 4 durch eine gedachte oder vermeintliche Abbildungsebene 9 begrenzt. Die Abbildungsebene 9 veranschaulicht die Abbildung der dreidimensionalen Realumgebung 1 in eine zweidimensionale Bildaufnahme 19.
Durch die Abbildung der Realumgebung 1 mit einer Aufnahmevorrichtung 4, bei der neben den reinen Bildaufnahmen 19 auch die Aufnahmeposition 5, die Aufnahmerichtung 9, Geschwindigkeitsvektor 7 und die Abbildungseigenschaften der Aufnahmevorrichtung 4 dokumentiert werden, führen zu einem Datensatz, anhand welchem die Realumgebung 1 in eine Simulationsumgebung überführt werden kann. Beispielsweise kann in eine Datenbasis ein Abbild des realen Geländes 3 und/oder der realen Objekte 2 gespeichert sein, wobei die Daten als Rasterdaten in der Datenbasis hinterlegt sind.
Fig. 2 zeigt einen Ausschnitt aus einer Simulationsumgebung zur Darstellung gemäß des vorgeschlagenen Verfahrens. In der Darstellung der Fig. 2 ist eine Draufsicht auf die Simulationsumgebung 10 gewählt, so dass die entsprechenden Rasterpunkte der Rasterdaten in der Zeichenebene der Fig. 2 liegen, wohingegen die jedem Rasterpunkt der Rasterdaten zugeordneten Höhenwerte senkrecht zur Zeichenebene der Fig. 2 liegen und damit nicht dargestellt sind. Der Ausschnitt der Simulationsumgebung 10 zeigt ein realabbildendes Objekt 11 in Form eines Hauses sowie ein realabbildendes Gelände 12. Im linken unteren Bereich ist zudem ein Ausschnitt des Rasters eingeblendet, bei dem jedem Rasterpunkt 13 ein Höhenwert zugeordnet wird und somit das Höhenraster der Simulationsumgebung 10 generiert wird. Die Höhenwerte der Rasterpunkte 13 bilden damit insgesamt Rasterdaten, die aus Bildaufnahmen 19 generiert werden, deren Entstehung beispielsweise wie mit in Bezug auf Fig. 1 beschrieben erfolgt. Anhand der Rasterpunkte 13 des Ausschnitts des Rasters der Rasterdaten wird erkenntlich, dass für einen Abschnitt oder Ausschnitt der Simulationsumgebung 10 mit einem flachen oder horizontalem Verlauf, also einem Verlauf, der im Wesentlichen parallel zur Zeichenebene der Fig. 2 verläuft, wie beispielsweise das Hausdach 18 des Objekts 1 1 , eine verhältnismäßig große Anzahl von Rasterpunkten 13 pro Fläche vorliegt. Anders ist die Situation für von den Rasterpunkten aufgespannten Oberflächen 14, die die Seitenwände des realabbildenden Objekts 1 1 der Simulationsumgebung 10 darstellen oder abbilden. Diese Oberflächen 14 der Seitenwände verlaufen weitestgehend senkrecht, und zwar sowohl in der realen Umgebung als auch in der Simulationsumgebung 10. Dies führt jedoch dazu, dass nur sehr wenige Rasterpunkte 13 mit entsprechenden Höhenwerten vorliegen, um die verhältnismäßig großen Oberflächen 14 der Seitenwände der Simulationsumgebung aufzuspannen. Daraus resultiert die Problematik der Farbgebung oder Texturierung der Oberflächen 14 in der Simulationsumgebung 10 sowie die Farbgebung oder Texturierung vergleichbarer Oberflächen mit einem hohen vertikalem Anteil und einem geringem horizontalen Anteil.
Die Fig. 2 zeigt darüber hinaus eine vom Benutzer des Verfahrens frei wählbare Betrachtungsposition 15, die den Ausgangspunkt zur Darstellung der computergenerierten, eine Realumgebung simulierenden Simulationsumgebung 10 darstellen soll. Anhand der Darstellung der Betrachtungsposition 15 bezüglich des realabbildenden Objekts 1 1 wird deutlich, dass der Benutzer des Verfahrens die Oberfläche 14.1 und die Oberfläche 14.2 des realabbildenden Objekts 1 1 unter unterschiedlichen Winkeln wahrnimmt. Die Ober- fläche 14.3 ist von der frei wählbaren Darstellungsposition 15 der Fig. 2 nicht erkennbar, da die Oberfläche 14.1 die Sicht auf die Oberfläche 14.3 von der Betrachtungsposition 15 aus verdeckt.
Dies veranschaulicht, dass bei der Darstellung der Simulationsumgebung 10, in Abhängigkeit von der gewählten Betrachtungsposition 15, insbesondere jedoch keinesfalls ausschließlich hinsichtlich senkrecht oder zumindest steil verlaufender Oberflächen, deren Sichtbarkeit insgesamt und im Speziellen deren entsprechende Farbgebung oder Texturierung berücksichtigt werden muss.
Aus der beispielhaften Darstellung der Fig. 2 geht eine Situation hervor, in der die frei wählbare Betrachtungsposition 15 verhältnismäßig nah an dem realabbildenden Objekt 11 der Simulationsumgebung 10 gewählt ist. Dies bedeutet aber auch, dass es besonders wünschenswert ist, dass die aus der Betrachtungsposition 15 sichtbaren Oberflächen 14.1 und 14.2 des realabbildenden Objekts 11 mit einer detailreichen und realitätsgetreuen Farbgebung dargestellt werden, obwohl die entsprechenden Oberflächen der Simulationsumgebung lediglich durch eine verhältnismäßig geringe Anzahl von Rasterpunkten 13 aufgespannt werden.
Um dies zu erreichen, bietet sich besonders das vorgeschlagene Verfahren an, dessen Grundidee auf der Projektion von Bildaufnahmen 19 auf das generierte Höhenraster einer Datenbasis einer Simulationsumgebung beruht, um einen Teil der durch die Rasterpunkte aufgespannten Oberflächen der Simulationsumgebung mit einer Farbtextur zu versehen.
Eine Veranschaulichung dieser Projektion wird nachfolgend mit Bezug auf Fig. 3 beschrieben. In Fig. 3 ist abermals ein Ausschnitt einer Simulationsumgebung 10 in der Draufsicht, also mit Sicht auf die Ebene der Rasterpunkte dargestellt, wo- bei sich die den Rasterpunkten zugeordneten Höhenwerte senkrecht zur Zeichenebene liegen. In dem Ausschnitt der Simulationsumgebung 10 ist ebenfalls ein realabbildendes Objekt 11 in Form eines Hauses dargestellt. Weiter sind zur Veranschaulichung der Projektionen von Bildaufnahmen 19 auf das Höhenraster beispielhaft die vermeintlichen Abbildungsebenen 9 zweier unterschiedlicher Bildaufnahmen 19 in der Fig. 3 dargestellt.
Durch die mit Bezug auf Fig. 1 beschriebene Vorgehensweise bei der Gewinnung der Bildaufnahmen 19 kann eine eindeutige Positionierung und Ausrichtung der Abbildungsebene 9 in der Simulationsumgebung 10 erreicht werden. Die Abbildungsebenen 9 verfügen wie in Fig. 1 skizziert auch über eine vertikale Komponente, die im Beispiel der Fig. 3 zumindest teilweise senkrecht auf der Zeichenebene steht und lediglich aus Gründen der Anschaulichkeit und Übersichtlichkeit der Fig. 3 in dieser nicht dargestellt ist.
Trotzdem ist aus der Fig. 3 erkennbar, wie anhand der Bildaufnahmen 19 und deren Abbildungsebenen 9 eine Projektion vorgenommen wird, durch die zumindest einem Teil der durch die Rasterpunkte 13 aufgespannten Oberflächen 14 der Simulationsumgebung 10 eine Farbtextur zugeordnet wird. Anhand der in Fig. 3 punktiert dargestellten Linien wird beispielsweise eine Abbildungsvorschrift oder Projektionsvorschrift skizziert, anhand derer ein erster Projektionsbereich 16.1 aus der Bildaufnahme 19 mit der Abbildungsebene 9.1 auf die erste, eine Seitenwand bildende Oberfläche 14.1 des realabbildenden Objekts 11 projiziert wird. Gleiches gilt für die punktierten Linien, die die Abbildung oder Projektionen eines Projektionsbereich 16.2 der Bildaufnahme 19 mit der Abbildungsebene 9.1 auf die Oberfläche 14.2 des realabbildenden Objekts 11 veranschaulichen.
Die genauen Abbildungsvorschriften der Projektionen, also der Verlauf der beispielhaft dargestellten punktierten Linien sowie der nicht dargestellten dazwischen angeordneten Projektionen von Punkten der Abbildungsebene 9.1 auf die Oberflächen 14.1 und 14.2 werden einerseits durch die Rasterdaten oder das Höhenraster bestimmt und andererseits durch die bei der Erzeugung der Bildaufnahme 19 vorliegenden Eigenschaften wie Aufnahmeposition, Aufnahmerichtung und dergleichen bestimmt, welche sich verein- facht dargestellt in der Ausrichtung der Abbildungsebene 9.1 widerspiegeln.
Die Abbildungsebene 9.2 einer zweiten Bildaufnahme 19 kann gemäß den in der Fig. 3 strichliniert dargestellten Projektionsvorschriften ebenfalls dazu genutzt werden, die Oberflächen 14.1 und 14.2 mit einer aus der entspre- chenden Bildaufnahme 19 generierten Farbtextur zu versehen. Dabei kann auch vorgesehen sein, dass die entsprechenden Projektionsbereiche 16.3 und 16.4 der Bildaufnahme 19 mit der Abbildungsebene 9.2 zunächst mit den entsprechenden Projektionsbereichen 16.1 und 16.2 der Bildaufnahme 19 mit der Abbildungsebene 9.1 gemittelt werden.
Dementsprechend kann die Qualität der durch die Projektionen generierten Farbtextur für die Oberflächen 14.1 und 14.2 des realabbildenden Objekts 1 1 weiter verbessert werden. Die Bildaufnahme 19 mit der Abbildungsebene
9.2 erlaubt zudem, zumindest für ein Teil der Seitenwand 14.3 des realab- bildenden Objekts 1 1 , die Generierung einer Farbtextur im Rahmen einer
Projektion der Bildaufnahme 19 auf das Höhenraster der Simulationsumgebung 10. Der Projektionsbereich 16.5 der Bildaufnahme 19 mit der Abbildungsebene 9.2 kann auf einen Teil der Oberfläche 14.3 des realabbildenden Objekts 1 1 projiziert werden.
Aus der Darstellung der Fig. 3 wird damit auch ersichtlich, dass Bildaufnahmen 19 aus unterschiedlichen Aufnahmepositionen und mit unterschiedlichen Aufnahmerichtungen besonders vorteilhaft und wünschenswert sind, um für eine möglichst große Anzahl von durch Rasterpunkte aufgespannte Oberflächen 14 der Simulationsumgebung 10 möglichst vollständige und detailgetreue Farbtexturen erzeugen zu können. In der Fig. 4 ist ebenfalls eine Projektion eines Teils einer Bildaufnahme 19 auf eine durch Rasterpunkte 13 aufgespannte weitgehend vertikale Oberfläche 14.1 dargestellt.
Hinsichtlich der Bildaufnahme 19 ist festzuhalten, dass es sich bei der Darstellung der Fig. 4 um eine starke Schematisierung einer Bildaufnahme 19 handelt. Dies ist nicht zuletzt der Übersichtlichkeit der Fig. 4 geschuldet. Von einer realistischen Bildaufnahme 19 wären neben der Seitenansicht des realen Objekts 2 selbstverständlich noch eine Vielzahl anderer Inhalte, wie beispielsweise Vegetation, weitere Objekte, Fahrzeuge, Menschen und Tiere umfasst. Es soll auch darauf hingewiesen werden, dass es sich bei der Darstellung der Seitenansicht des Objekts 2 in der Bildaufnahme 19 der Fig. 4 um eine gewollt vereinfachte Darstellung handelt, die die Vorteile des erfindungsgemäßen Verfahrens jedoch nicht vollständig wiederzugeben vermag. Denn die Seitenansicht des Objekts 2 der Bildaufnahme 19 ist eben keine fotorealistische Darstellung, wie sie beim erfindungsgemäßen Verfahren zum Einsatz kommen kann. Aus der Darstellung der Fig. 4 wird jedoch das Grundprinzip deutlich, wonach die in den Bildaufnahmen 19 festge- haltenen Oberflächen der Realumgebung, insbesondere die von den Bildaufnahmen 19 umfassten Oberflächen von realen Objekten 2 zur Projektion herangezogen werden, die in der Simulationsumgebung 10 oder bei der Darstellung der Simulationsumgebung 10 einen entsprechend realistischen Eindruck beim Betrachter hervorrufen.
Wie bereits mit Bezug auf die Fig. 3 beschrieben, kann die Zuordnung der Bildaufnahme 19 und des darin abgebildeten realen Objekts 2 zu dem realabbildenden Objekt 11 der Simulationsumgebung 10, insbesondere zu der Oberfläche 14.1 durch die eindeutige Verknüpfung zwischen den bei der Gewinnung der Bildaufnahme 19 dokumentierten Raumkoordinaten und/oder Raumrichtungen der Realumgebung 1 zu den Koordinaten der Simulationsumgebung 10 ermöglicht werden. Dabei kann die Simulationsumgebung 10 bevorzugt eine Verknüpfung mit der Realumgebung 2 aufweisen. Die Oberfläche 14.1 der Simulationsumgebung 10 wird durch die Seitenwand eines realabbildenden Objekts 11 der Simulationsumgebung 10 gebildet. In der Fig. 4 ist das realabbildende Objekt 11 als dreidimensionales Objekt aus einer bestimmten Perspektive dargestellt, die beispielsweise auf eine entsprechende Betrachtungsposition auf das Objekt 11 in der Simula- tionsumgebung zurückgeht. Die angedeutete perspektivische Darstellung des realabbildenden Objekts 11 veranschaulicht einige der Herausforderungen an das erfindungsgemäße Verfahren. Beispielsweise ist aus der Perspektive der Fig. 4 ein Teil der Oberfläche 14.1 am oberen rechten Rand der Seitenwand durch einen Teil des Hausdachs 18 verdeckt. Die strich- punktiert angedeuteten Abbildungsvorschriften der Fig.4 zeigen auch, dass zum Beispiel das unter dem Dachgiebel angeordnete Fenster sowie die umgebende Fachwerkstruktur, wie sie auf der Bildaufnahme 19 zu sehen ist, von der Betrachtungsposition der Simulationsumgebung 10 und des Objekts 11 der Fig. 4 aus vom Hausdach 18 verdeckt sind.
Eine entsprechende Texturierung der Oberfläche 14.1 wird also die teilweise Überdeckung der Oberfläche 14.1 durch das Hausdach 18 berücksichtigen. Dies kann beispielswiese durch eine Tiefenkarte bewerkstelligt werden, die eine Auskunft darüber gibt, welche Teile der Rasterdaten des Höhenrasters der Simulationsumgebung 10 von der jeweiligen Betrachtungsposition aus sichtbar sind.
Im Rahmen der Projektion kann dann entsprechend die aus der Bildaufnahme 19 generierte Projektionstextur so bearbeitet, beispielsweise zuge- schnitten werden, dass nicht sichtbare Teile der Oberfläche 14.1 aus der Betrachtungsposition der Fig. 4 nicht sichtbar sind. Darüber hinaus zeigt die Bildaufnahme 19 das reale Objekt 2 aus einer Perspektive, die sich von der Perspektive der Simulationsumgebung 10 unterscheidet. Für die Texturierung der Oberfläche 14.1 durch den entsprechen- den Teil der Bildaufnahme 19 wird also im Rahmen der Projektion oder durch die Abbildungsvorschrift, wie sie durch die strich-punktierten Linien der Fig. 4 angedeutet ist, der die Oberfläche 14.1 abbildende Teil der Bildaufnahme 19 so verkippt und/oder verzerrt werden, dass aus der Betrachtungsposition der Simulationsumgebung 10 der Fig. 4 der Teil der Bildauf - nähme 19, der den sichtbaren Teil der Oberfläche 14.1 abbildet, entsprechend auf der Oberfläche 14.1 angeordnet wird, also auf die Oberfläche 14.1 projiziert wird.
Die Fig. 5 zeigt einen Ausschnitt aus einem Ablaufdiagramm eines Verfah- rens zur Darstellung einer computergenerierten, eine Realumgebung simulierenden Simulationsumgebung. Das Gesamtverfahren zur Darstellung der Simulationsumgebung kann eine Vielzahl von weiteren in der Fig. 5 nicht dargestellten Verfahrensschritte umfassen. Der Verfahrensablauf der Fig. 5 betrifft damit hauptsächlich die mit dem vorgeschlagenen Verfahren durch- geführte Projektion von Bildaufnahmen 19 auf ein Höhenraster.
Im ersten Verfahrensschritt S1 erfolgt beispielsweise die Feststellung oder Identifizierung der aktuellen Betrachtungsposition 15 der Simulationsumgebung 10, von der aus dem Betrachter die Simulationsumgebung 10 darge- stellt werden soll.
Die strich -linierte Darstellung der sich an den Verfahrensschritt S1 anschließenden Verfahrensschritte S1.1 bis S1.3 sollen verdeutlichen, dass über die im Folgenden ausführlich beschriebenen Verfahrensschritte hinaus parallel auch weitere zusätzliche oder alternative Verfahrensschritte aus- geführt werden können, ohne dass dadurch die Ausführung des erfindungsgemäßen Verfahrens eingeschränkt oder verhindert wird.
Nach der Feststellung der Betrachtungsposition 15 kann im Verfahrens- schritt S2 eine Analyse der Rasterdaten stattfinden. Diese Analyse kann darauf gerichtet sein, festzustellen, welche durch die Rasterpunkte 13 aufgespannten Oberflächen 14 der Simulationsumgebung 10 für eine Texturie- rung im Rahmen einer Projektion einer Bildaufnahme 19 besonders in Frage kommen. Dies bedeutet, dass besonders steil oder gar vertikal verlaufende Oberflächen 14 in der Umgebung der Betrachtungsposition 15 der Simulationsumgebung 10 in den Rasterdaten identifiziert werden. Darüber hinaus kann im Rahmen des Verfahrensschritt S2 beispielsweise für die identifizierten Oberflächen 14 der Simulationsumgebung 10 eine jeweilige Entfernung oder mittlere Entfernung zu der Betrachtungsposition 15 bestimmt werden. Darüber hinaus kann im Verfahrensschritt S2 auch eine anhand der Betrachtungsposition und der Rasterdaten generierte Tiefenkarte die Sichtbarkeit von dem im Verfahrensschritt S2 identifizierten Oberflächen 14 der Simulationsumgebung 10 ausgehend von der Betrachtungsposition 15 bestimmt werden.
In dem anschließenden Verfahrensschritt S3 kann beispielsweise vorgesehen sein, dass unter Berücksichtigung der Resultate der Verfahrensschritte S1 und S2 eine Identifizierung von Bildaufnahmen 19 erfolgt, die von der Darstellungsposition 15 aus sichtbaren mit einer Farbtextur zu versehenden Oberflächen 14 der Simulationsumgebung 10 zumindest teilweise aufweisen oder abbilden. Im Verfahrensschritt S3 kann damit eine Rücktransformation der Daten der Simulationsumgebung in das Bezugssystem der Realumgebung zum Einsatz kommen, um feststellen zu können, in welchen Bildaufnahmen die zu texturierenden Oberflächen der Simulationsumgebung abgebildet werden. Umgekehrt kann jedoch auch eine Transformation der mit den Bildaufnahmen verknüpften Daten bezüglich der Realumgebung in das Be- zugssystem der Simulationsumgebung vorgenommen werden, um zu identifizieren, welche der Bildaufnahmen eine Abbildung einer entsprechenden Oberfläche zumindest teilweise umfasst. Im Anschluss an die Identifizierung der jeweiligen Bildaufnahmen 19 im Verfahrensschritt S3 folgt in den beispielhaft dargestellten parallelen Verfahrensschritten S4.1 und S.4.2 eine Vorverarbeitung der identifizierten Bildaufnahmen. Die Vorverarbeitung kann dergestalt ausfallen, dass die Auflösung der Bildaufnahmen 19 in Abhängigkeit der im Verfahrensschritt S2 festgestellten Entfernung zwischen der Oberfläche 14 der Rasterdaten der Simulationsumgebung 10 und der Betrachtungsposition 15 der Simulationsumgebung 10 erfolgt. Darüber hinaus können in den Verfahrensschritten S4.1 und S4.2 jedoch auch andere oder zusätzliche Vorverarbeitungsschritte zur Vorverarbeitung der Bildaufnahmen ausgeführt werden.
In den für unterschiedliche Bildaufnahmen 19 separat ausgeführten Verfahrensschritten S5.1 und S5.2 wird im Anschluss die tatsächliche Projektion der Bildaufnahmen 19 oder zumindest von Teilen der Bildaufnahmen auf das Höhenraster und dessen Oberfläche 14 ausgeführt. Die dabei zum Ein- satz kommenden Abbildungsvorschriften der Projektion oder Projektionen werden sowohl anhand des Höhenrasters der Rasterdaten als auch anhand der zur Verfügung stehenden Daten hinsichtlich der Aufnahmeeigenschaften der jeweiligen Bildaufnahme 19 in der Realumgebung und den daraus abgeleiteten Abbildungseigenschaften der Bildaufnahme 19 in der Simula- tionsumgebung durchgeführt. Dies bedeutet vereinfacht ausgedrückt, dass die Bildpunkte der Bildaufnahmen derart verschoben, rotiert und/oder verzerrt werden, dass sowohl der Umriss des entsprechenden Teils der Bildaufnahme 19 als auch der Inhalt dieses Teils auf die entsprechende Oberfläche im Höhenraster der Rasterdaten passt. Die in dem Ablaufdiagramm der Fig. 5 strich- liniert dargestellten Verfahrensschritte S4.3 und S5.3 sollen die Möglichkeit verdeutlichen, dass eine Vielzahl von weiteren Vorverarbeitungs- und Projektionsschritten ausgeführt werden können, die sowohl ein und dieselbe mit einer Farbtextur zu versehende Oberfläche 14 als auch unterschiedliche mit einer Farbtextur zu versehenden Oberflächen 14 betreffen können.
Der anschließende Verfahrensschritt S6 ist für den Fall vorgesehen, dass die Verfahrensschritte S4.1 , S4.2, S5.1 und S5.2 die Projektionen von Bildauf - nahmen 19 auf ein und dieselbe durch Rasterdaten aufgespannte Oberfläche 14 der Simulationsumgebung 10 betrifft. In diesem Fall wird im Rahmen des Verfahrensschritts S6 eine Mittelung oder Ausgleichsrechnung der jeweils bestimmten Farbtexturen vorgenommen. Die so generierten Farbtexturen werden im Rahmen des Verfahrensschritts S7 auf das Höhenraster der Rasterdaten der Simulationsumgebung 10 angewendet. Im Verfahrensschritt S8 werden die so texturierten Oberflächen 14 der Simulationsumgebung 10 zusammen mit den verbleibenden Bestandteilen der Simulationsumgebung 10 dem Benutzer dargestellt. Im Verfahrens- schritt S9 wird überprüft, ob sich die Betrachtungsposition 15 beispielsweise durch eine Benutzereingabe verändert hat. Wenn dies der Fall ist, so springt das Verfahren zurück in den Verfahrensschritt S1 und beginnt von dort erneut die Ausführung des Verfahrens. Andernfalls endet das Verfahren mit dem Verfahrensschritt S10. Bezugszeichen:
1 Realumgebung
2 reales Objekt
3 reales Gelände
4 Aufnahmevorrichtung
5 Aufnahmeposition
6 Koordinatensystem
7 Geschwindigkeitsvektor
8 Sichtfeld
9 Abbildungsebene
9.1 Abbildungsebene
9.2 Abbildungsebene
10 Simulationsumgebung
1 1 realabbildendes Objekt
12 realabbildendes Gelände
13 Rasterpunkte
14 Oberfläche
14.1 Oberfläche
14.2 Oberfläche
14.3 Oberfläche
15 Betrachtungsposition
16.1 Projektionsbereich
16.2 Projektionsbereich
16.3 Projektionsbereich
16.4 Projektionsbereich
16.5 Projektionsbereich
17 Aufnahmerichtung
18 Hausdach
19 Bildaufnahme

Claims

Patentansprüche:
1 . Verfahren zur Darstellung einer computergenerierten, eine Realumgebung (1 ) simulierenden Simulationsumgebung (10), mit einer Datenbasis, welche die Daten des realen Geländes (3) und der im Gelände befindlichen realen Objekte (2) beinhaltet,
d a d u r c h g e k e n n z e i c h n e t,
dass die Daten
- bei einem Überflug über und/oder bei einer Durchfahrt in der Realumgebung (1 ) aufgenommenen Bildaufnahmen (19) gewonnen werden,
- ein geospezifisches Abbild des realen Geländes (3) und/oder der realen Objekte (2) umfassen und
- als Rasterdaten in der Datenbasis hinterlegt sind,
wobei aus den Bildaufnahmen (19) ein Höhenraster generiert und in der Datenbasis hinterlegt wird, welches jedem Rasterpunkt (13) der Rasterdaten einen Höhenwert zuordnet und wobei zumindest für einen Teil der durch Rasterpunkte (13) aufgespannten Oberflächen (14) der Simulationsumgebung (10) eine Farbtextur durch eine Projektion zumindest einer Bildaufnahme (19) auf das generierte Höhenraster bestimmt wird.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass zur Bestimmung der Farbtextur von durch Rasterpunkte (13) aufgespannte Oberflächen (14) eine Projektion von mehreren Bildaufnahmen (19) auf das generierte Höhenraster durchgeführt wird, wobei die Farbtextur einer durch Rasterpunkte (13) aufgespannten Oberfläche (14) insbesondere als Mittelwert der aus den jeweiligen Projektion ermittelten
Farbtexturen bestimmt wird. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass die Projektion der zumindest einen Bildaufnahme (19) auf das Höhenmodell während der Darstellung der Simulationsumgebung (10) erfolgt.
Verfahren nach einem der Ansprüche 1 bis 3,
dadurch gekennzeichnet, dass die Bildaufnahme (19), insbesondere die Auflösung der Bildaufnahme (19), vor der Durchführung der Projektion vorverarbeitet wird.
Verfahren nach Anspruch 4,
dadurch gekennzeichnet, dass die Vorverarbeitung der
Bildaufnahme (19) in Abhängigkeit einer frei wählbaren Darstellungsposition (15) der Darstellung der Simulationsumgebung (10), insbesondere in Abhängigkeit vom Abstand zwischen der Darstellungsposition (15) und der Position der durch Rasterpunkte (13) aufgespannten Oberfläche (14), auf die zumindest eine Bildaufnahme (19) projeziert wird, ausgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 5,
dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) in Abhängigkeit von der Aufnahmeposition (5) in der Realumgebung (1 ) und einer daraus resultierenden Aufnahmeposition in der Simulationsumgebung (10) erfolgt.
Verfahren nach einem der Ansprüche 1 bis 6,
dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) in Abhängigkeit von der Aufnahmerichtung (17) in der
Realumgebung (1 ) und einer daraus resultierenden Aufnahmerichtung in der Simulationsumgebung (10) erfolgt. Verfahren nach einem der Ansprüche 1 bis 7,
dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) in Abhängigkeit von Abbildungseigenschaften der
Aufnahmevorrichtung (4), mit der die Bildaufnahme (19) erzeugt wurde, erfolgt.
Verfahren nach einem der Ansprüche 1 bis 8,
dadurch gekennzeichnet, dass die Projektion ein Kontrollverfahren umfasst, welches kontrolliert, ob ein Rasterpunkt (13) des
Rastermodells von der frei wählbaren Darstellungsposition (15) der Darstellung der Simulationsumgebung (10) aus sichtbar oder verdeckt ist.
Verfahren nach Anspruch 9,
dadurch gekennzeichnet, dass das Kontrollverfahren unter
Verwendung einer aus dem Rastermodell und der frei wählbaren Darstellungsposition der Darstellung der Simulationsumgebung (10) abgeleiteten Tiefenkarte ausgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 10,
dadurch gekennzeichnet, dass die Projektion der Bildaufnahme (19) auf von Rasterpunkten (13) aufgespannte Oberflächen (14) angewendet wird, die steil verlaufende Oberflächen des realen Geländes (3) und/oder der realen Objekte (2) abbilden.
Verfahren nach einem der Ansprüche 1 bis 1 1 ,
gekennzeichnet durch eine Erkennung und Extraktion von Abbildern realer Objekte (2) aus der Datenbasis, insbesondere den
Rasterdaten.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass aus extrahierten Abbildern realer Objekte (2) Modelle berechnet werden, die veränderbar sind und/oder sich zur Interaktion mit anderen Inhalten der
computergenerierten Simulation der Simulationsumgebung (10) eignen.
Verfahren nach Anspruch 13,
dadurch gekennzeichnet, dass die Modelle zusätzlich zu den Rasterdaten in der Datenbasis gespeichert werden.
Verfahren nach einem der Ansprüche 13 oder 14,
dadurch gekennzeichnet, dass die Darstellung in unterschiedlichen Betriebsarten betrieben werden kann, wobei in einer Ansichts- Betriebsart die Darstellung basierend auf den Rasterdaten und den zumindest teilweise durch die Projektion der Bildaufnahmen (19) bestimmten Farbtexturen erfolgt und wobei in einer Interaktions- Betriebsart die Darstellung zumindest teilweise basierend auf Modellen realer Objekte (2) erfolgt.
EP16826698.9A 2015-12-02 2016-12-01 Verfahren zur darstellung einer simulationsumgebung Withdrawn EP3384469A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015120927.6A DE102015120927A1 (de) 2015-12-02 2015-12-02 Verfahren zur Darstellung einer Simulationsumgebung
PCT/DE2016/100563 WO2017092734A2 (de) 2015-12-02 2016-12-01 Verfahren zur darstellung einer simulationsumgebung

Publications (1)

Publication Number Publication Date
EP3384469A2 true EP3384469A2 (de) 2018-10-10

Family

ID=57821722

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16826698.9A Withdrawn EP3384469A2 (de) 2015-12-02 2016-12-01 Verfahren zur darstellung einer simulationsumgebung

Country Status (3)

Country Link
EP (1) EP3384469A2 (de)
DE (1) DE102015120927A1 (de)
WO (1) WO2017092734A2 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016103057A1 (de) 2016-02-22 2017-08-24 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Ermittlung und Darstellung von Veränderungen in einer ein reales Gelände und darin befindliche reale Objekte umfassenden Realumgebung

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195096A1 (en) * 2004-03-05 2005-09-08 Ward Derek K. Rapid mobility analysis and vehicular route planning from overhead imagery
US7626591B2 (en) * 2006-01-24 2009-12-01 D & S Consultants, Inc. System and method for asynchronous continuous-level-of-detail texture mapping for large-scale terrain rendering
US7778491B2 (en) * 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
US8422825B1 (en) * 2008-11-05 2013-04-16 Hover Inc. Method and system for geometry extraction, 3D visualization and analysis using arbitrary oblique imagery
US20130321400A1 (en) * 2012-06-05 2013-12-05 Apple Inc. 3D Map Views for 3D Maps
CA2899584A1 (en) * 2013-01-29 2014-10-23 Andrew Robert Korb Methods for analyzing and compressing multiple images

Also Published As

Publication number Publication date
DE102015120927A1 (de) 2017-06-08
WO2017092734A3 (de) 2017-08-03
WO2017092734A2 (de) 2017-06-08

Similar Documents

Publication Publication Date Title
DE69107267T2 (de) Verfahren und vorrichtung zur modifizierung einer zone sukzessiver bilder.
DE102007045835B4 (de) Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102009041431B4 (de) Fahrsimulationsvorrichtung, Weitwinkelkamera-Videosimulationsvorrichtung und Bilddeformierungs-/-zusammensetzungsvorrichtung
DE68928181T2 (de) Bilderzeugungsgerät
DE102007045834B4 (de) Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
EP3438901A1 (de) Testfahrtszenario-datenbanksystem für realitätsnahe virtuelle testfahrtszenarien
DE102011115739A1 (de) Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
DE102007030226A1 (de) Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
EP3762857A1 (de) Surroundview-system mit angepasster projektionsfläche
WO2009049973A2 (de) Verfahren zur erzeugung und/oder aktualisierung von texturen von hintergrundobjektmodellen, videoüberwachungssystem zur durchführung des verfahrens sowie computerprogramm
WO2008074561A1 (de) Verfahren zum darstellen eines kartenausschnittes in einem navigationssystem und navigationssystem
DE102019005885A1 (de) Umgebungskartengenerierung und Lochfüllung
DE102015120999A1 (de) Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung
EP2546778A2 (de) Verfahren zum evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs
DE19549096A1 (de) Simulationsvorrichtung und -verfahren
EP2381207A1 (de) 3D-Zielvermessung und Zieleinweisung aus IR-Daten
EP1628262A2 (de) Verfahren und Vorrichtung zur Darstellung einer dreidimensionalen Topographie
DE102011082881A1 (de) Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
WO2017092734A2 (de) Verfahren zur darstellung einer simulationsumgebung
EP3384480A1 (de) Verfahren zur vorbereitenden simulation eines militärischen einsatzes in einem einsatzgebiet
DE102022201279B3 (de) Verfahren zum Erfassen einer Umgebung eines Fahrzeugs, Kameravorrichtung und Fahrzeug
EP3754544A1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren
DE102015120929A1 (de) Verfahren zur vorbereitenden Simulation eines militärischen Einsatzes in einem Einsatzgebiet
WO2017182021A1 (de) Verfahren und system zur darstellung einer simulationsumgebung
DE102016124989A1 (de) Bordsteinrepräsentation mit einem dreidimensionalen Körper in einem Fahrerassistenzsystem für ein Kraftfahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180702

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210419

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20211029