WO2013053438A2 - Verfahren zur integration von virtuellen objekten in fahrzeuganzeigen - Google Patents
Verfahren zur integration von virtuellen objekten in fahrzeuganzeigen Download PDFInfo
- Publication number
- WO2013053438A2 WO2013053438A2 PCT/EP2012/004071 EP2012004071W WO2013053438A2 WO 2013053438 A2 WO2013053438 A2 WO 2013053438A2 EP 2012004071 W EP2012004071 W EP 2012004071W WO 2013053438 A2 WO2013053438 A2 WO 2013053438A2
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- virtual
- digital image
- information
- object space
- defined real
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3635—Guidance using 3D or perspective road maps
- G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
- B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
Definitions
- the invention relates to a method and a device for the perspective representation of an artificially or virtually generated 3D object on a 2D display device.
- the three-dimensional representation can be used to simulate real situations, for example in flight simulators.
- Another application example of three-dimensional representations is customary in architecture, whereby here - by means of simulation of three-dimensional spaces - it is possible to commit the locations in a virtual building.
- a device for displaying 3D objects on a 2D display device wherein the 3D objects can be displayed taking into account a variable relative to the 2D display device viewer position.
- the observer position can be determined by means of a position-recognition device. For detecting the position of the observer or the object under consideration, several cameras are used. This gives a realistic 2D impression a realistic spatial impression.
- the method according to the invention uses a recorded digital image of a defined real 3D object space as well as the depth information associated with the recorded digital image for each individual pixel.
- the depth information includes a three-dimensional description of the vehicle environment.
- a first step it enables extraction of perspective information from the digital image of the defined real SD object space. This happens, for example, by recognizing objects such as the road and creating a virtual road course.
- at least one predetermined virtual 3D object is generated in a second step of the method. This may be, for example, a directional arrow, a road sign or traffic jam information, etc.
- the generated virtual 3D object is then placed in a third step of the method in the defined real 3D object space, in perspective and location-accurate in the scenery. This can be done, for example, depending on detected objects such as the virtual road.
- a perspective and true-to-scale adaptation of the virtual 3D object takes place.
- the virtual road course in the generation of the virtual 3D object serves as an orientation or reference system for a determination of a spatial position of the virtual 3D object to be displayed.
- the individual pixels representing the generated 3D virtual object are assigned location coordinates for a subsequent overlay / display on a display device. Furthermore, depth values are assigned to the individual pixels representing the generated 3D virtual object.
- the adapted virtual 3D object is integrated into the recorded image of the real 3D object space.
- a relative position of the vehicle to objects in its environment can be detected particularly easily.
- direction arrows for a navigation can be generated in perspective correctly and drawn on a roadway by being displayed as flat objects in a plane parallel to the road in front of the vehicle, e.g.
- the lane to be used instantaneously can be highlighted in color by placing it as a three-dimensional flat band over the model of the recognized road and its tracks.
- a virtual environment model of the defined real SD object space with the virtual road course from the first step of the method adjusted.
- a conventional example of a virtual environment model of the defined real 3D object space is information on the road topology and geometry present in a navigation device of a vehicle. Taking into account the respective vehicle camera position and the rough geometry of the road section lying ahead of the vehicle, which is calculated, for example, from navigation data, the acquisition of the perspective information and the generation of the virtual road course can be checked and adjusted. This can ensure that the virtual road is created correctly.
- a virtual road course can be generated reliably even under poor visibility conditions or recording conditions for the vehicle's own cameras; For example, in foggy conditions, heavy rain or snow.
- the display of the recorded digital image takes place together with the virtual 3D object integrated in the virtual street model in such a way that the image contents are superimposed on a conventional display device-LCD / TFT display, monitor, etc.-in the correct manner
- the recorded digital image is superimposed with the adapted and integrated virtual 3D object from the fourth step of the method
- the respective depth information of the pixels of the recorded digital image and of the integrated virtual 3D object is evaluated.
- the depth information of the pixel of the digital image is compared with the corresponding associated pixel of the virtual 3D object, wherein only the pixel is displayed on the display device, which is closer from the perspective of a viewer, this / him. This results in the overlap-correct superimposition of the image content that is displayed on the display device.
- a front-view display is used instead of a conventional display device.
- only the additional virtual information of the adapted - and integrated into the virtual road - virtual 3D object with the real image appearing in the viewing window of the front view display must be superimposed on a display field of a partially transparent front view display.
- a display content on the front-panel display panel must correspond to the display content of the recorded digital image of the defined real SD object space. Only in this way can the 3D virtual object be output in perspective and location-correctly on the display field of the front-view display.
- a depth value of a pixel of the digital image is used to obtain perspective information of the digital image.
- Such depth values are stored in a data memory, a so-called Z-buffer.
- the method according to the invention can determine in a particularly simple and secure manner which objects / pixels are drawn at which position of a scene and which are masked or hidden.
- the virtual road course is a result of obtaining perspective information from the digital image of the defined real 3D object space. It corresponds to an approximated three-dimensional model for the course of the road and a lane in front of the vehicle, z. B. in the form of a polygon.
- information about camera position and / or vehicle environment and / or map data may also be used. The comparison with the additional information increases the robustness against errors of the method.
- a further improvement in the reliability when generating the virtual road course can be achieved by an additional comparison of the virtual environment model of the defined real 3D object space is done with navigation data of the vehicle and / or another edge detection is performed.
- the road course including curves, elevations and depressions can be generated.
- the method according to the invention provides a model of the road course that can be generated without further extraction or recalculation of the camera position and orientation. Even a further perspective recognition with their potential errors can be omitted.
- further virtual 3D objects can be provided.
- the provision takes place as a function of further information sources from the vehicle or from other systems, for example an on-board computer of the vehicle, environment-relevant data of a navigation system, traffic control systems, street signs, etc.
- Each of the additionally generated 3D virtual objects is in an advantageous embodiment of the invention in perspective and location to a correct adapted to the virtual road course and integrated into it, as well as surrender correctly output - in relation to the virtual road course and the individual virtual 3D objects to each other.
- the method according to the invention can be integrated particularly advantageously in an in-vehicle device.
- a device requires at least two cameras for recording a digital image of a defined real 3D object space.
- the device according to the invention has means for graphic processing of such information that can be displayed on at least one display device.
- monitors, LCD displays or front-view displays are used.
- Fig. 1 shows a flow chart of an embodiment of the method according to the invention.
- FIG. 1 illustrates a flowchart according to an embodiment of the method according to the invention, as applied, for example, to an augmented reality system 100 that is output on a device (not shown) according to the invention of a digital image of a 3D object space.
- a device can be provided, for example, in a driver assistance system.
- a digital image of a defined 3D object space is recorded by two on-board cameras, a stereo camera system 1.
- the real SD object space corresponds to a sight cone in the field of vision of a driver.
- the stereo camera system 1 provides the necessary for the augmented reality system 100 output data.
- the output data comprises a digital two-dimensional image - monocular image - of the environment with each pixel of the image being assigned a depth information. By means of the depth information, a three-dimensional description of the recorded vehicle environment is possible.
- a virtual road course 10 is generated.
- a depth buffer also called a Z buffer, which contains the depth information of each individual pixel.
- the result of obtaining perspective information is a nourished three-dimensional model for the course of the road and lane in front of the vehicle, for example in the form of a polygon.
- Such a model of the road can be determined without further calculation of camera position and camera orientation.
- a further increase in the accuracy in obtaining the course of the road can be achieved by using an environmental model 15 of the road in a further preferred embodiment.
- the road topology and geometry navigation data can be taken or specific cartographic data of the environment model 15, which are present in a memory of the vehicle.
- information derived from the extraction of the roadway 10 is combined with data from the environment model 15. This creates a very accurate model of a virtual roadway that can detect curvatures, elevations, and subsidence. In other cases, such method steps can be implemented individually or in a different combination in order to generate a virtual road course 10 of high accuracy.
- the virtual 3D objects may be, for example, symbols such as arrows or street signs, or text to be displayed.
- the information sources may be navigation data, map data of an environment model 15 or information from traffic or parking guidance systems.
- messages that are received via the traffic or news of a communication device, such as a smartphone can trigger or control the generation of 3D objects.
- information from a driver assistance system can be the basis for objects to be displayed, such as a safety distance to the vehicle ahead, compliance with the lane, etc.
- the virtual 3D objects 20 have to be adapted in a further step of the method according to the invention in a perspective and location-correct manner.
- directional arrows are adapted to an orientation of the virtual road course and assigned to a specific road section.
- a further generated virtual 3D object, for example a road sign, would therefore be assigned to a specific location on the edge of the virtual road course and additionally adapted to it in perspective.
- an image synthesis 40 the adapted virtual 3D objects 30 are integrated into the virtual road course 10 of the defined real 3D object space.
- depth information is assigned to pixels corresponding to respective 3D objects.
- the resulting virtual image 40 corresponds for example to a virtual road course - a polygon - in which one or more virtual 3D objects are arranged.
- a true-to-scale adaptation of the generated virtual 3D objects 20 to the virtual road course 10 can additionally be performed.
- the scale adaptation can take place depending on an information priority in different sizes.
- the 3D objects may also be displayed in a particular color or color gradation thereof to emphasize particular information content.
- the synthesized virtual image 40 or parts thereof are output on a display device 50, where a merging of the digital image of the defined real 3D object space (real image) and the synthesized virtual image 40 takes place. It is distinguished whether the merger of the real and the synthesized virtual image 40 on a conventional display device 50, such as an LCD / TFT display or on a monitor, or only a portion of the virtual image 40 on a display panel - preferably on a front-view display - is output.
- a conventional display device 50 such as an LCD / TFT display or on a monitor
- a stereo camera system for three-dimensional recording of the environment
- other systems can alternatively be used.
- a camera system with only one camera can be used in which the three-dimensional image of the environment is determined by images taken at different times and camera position.
- systems can be used that combine classic cameras with ToF (time-of-flight) based measurement techniques, laser range scanners or similar systems.
- the display of the augmented reality scene can also be carried out on a stereoscopic display by separately generating a synthetic image for each eye or eye position and performing the image synthesis.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Abstract
Es wird ein Verfahren zur Darstellung virtueller Objekte in Fahrzeuganzeigen unter Verwendung eines von mindestens einer Kamera aufgezeichneten digitalen Bildes eines definierten realen 3D-Objektraumes bereitgestellt, bei dem in einem 1. Schritt durch Gewinnen von Perspektiveninformation aus dem digitalen Bild des definierten realen SD-Objektraumes ein virtueller Straßenverlauf erzeugt (10) wird und in einem 2. Schritt ein vorbestimmtes virtuelles 3D-Objekt generiert (20) wird, wobei in einem 3. Schritt das virtuelle 3D-Objekt in Abhängigkeit von dem virtuellen Straßenverlauf des definierten realen 3D-Objektraumes perspektivisch und ortgenau angepasst (30) wird und in einem 4. Schritt das angepasste virtuelle 3D-Objekt in den virtuellen Straßenverlauf des definierten realen 3D-Objektraumes integriert (40) wird. Des Weiteren wird eine Vorrichtung (100) zur Durchführung des obigen Verfahrens bereitgestellt. Damit können Bilder einer Umgebung mit perspektivisch korrekt integrierten virtuellen 3D-Objekten - beispielsweise Zusatzinformationen - ergänzt werden.
Description
Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur perspektivischen Darstellung eines künstlich bzw. virtuell erzeugten 3D-Objekt.es auf einer 2D-Anzeigevorrichtung.
Die Darstellung von dreidimensionalen Geometrien oder von dreidimensionalen Objekten oder Szenen mithilfe von Computersystemen spielt heute in zahlreichen Anwendungen eine bedeutende Rolle. Mithilfe der dreidimensionalen Darstellung lassen sich reale Situationen simulieren, beispielsweise bei Flugsimulatoren. Ein weiteres Anwendungsbeispiel dreidimensionaler Darstellungen ist in der Architektur üblich, wobei hier - mittels Simulation dreidimensionaler Räume - ein Begehen der Örtlichkeiten in einem virtuellen Gebäude ermöglicht wird.
Aus der Gebrauchsmusterschrift DE 203 05 278 U1 ist eine Vorrichtung zur Darstellung von 3D-Objekten auf einer 2D-Anzeigevorrichtung bekannt, wobei die 3D-Objekte unter Berücksichtigung einer gegenüber der 2D-Anzeigevorrichtung veränderbaren Betrachterposition darstellbar sind. Die Betrachterposition ist mittels einer Positionserkennungsein- richtung bestimmbar. Zur Positionserkennung des Betrachters bzw. des betrachteten Objektes werden mehrere Kameras eingesetzt. Dadurch wird einer tatsächlichen 2D- Darstellung ein realistischer räumlicher Eindruck verliehen.
Computerunterstützte Erweiterung der Realitätswahrnehmung, wobei Bilder oder Videos mit computergenerierten Zusatzinformationen oder virtuellen Objekten mittels Einblendung ergänzt werden, wird unter dem Begriff„Augmented Reality" zusammengefasst.
Weiterhin ist es nun möglich, 2D-Bilder mit perspektivisch korrekt integrierten virtuellen Objekten zu erweitern, die Zusatzinformationen liefern. Diese Neuentwicklung wird auch im Zusammenhang mit der Augmented Reality umgesetzt. Erste Forschungsprototypen sowie im Handel erhältliche, auf Smartphones integrierte Lösungen, implementieren solche Entwicklungen ansatzweise. Bei diesen existierenden Lösungen werden, abhängig
von einer räumlichen Position und Lage einer Kamera, in ein Videobild Zusatzinformationen eingeblendet.
Allerdings ist eine nahtlose und überdeckungsrichtige Integration virtueller Objekte durch eine ausschließlich auf 2D-lnformationen basierende Bildsynthese nicht möglich. Zum einen stimmt die Perspektive der Einblendungen oft nicht mit der Perspektive des Kamerabildes überein, und zum anderen überdecken eingeblendete virtuelle Objekte permanent die Darstellung des Hintergrundes von den Kamerabildern, selbst dann, wenn reale Objekte näher als die Einblendungen liegen. Mit anderen Worten überlagern sich reale und virtuelle Objekte nicht korrekt auf dem widergegebenen Bild einer Anzeigevorrichtung.
Es ist Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung bereitzustellen, mit denen virtuelle 3D-Objekte realistisch in ein 2D-Objekt integriert werden.
Diese Aufgabe wird durch ein Verfahren gelöst, welches die Merkmale des Patentanspruchs 1 aufweist, sowie eine Vorrichtung, welches die Merkmale des Patentanspruchs 10 aufweist.
Wie bereits erwähnt, ist eine nahtlose und überdeckungsrichtige Integration virtueller 3D- Objekte durch eine rein auf 2D-lnformationen basierende Bildsynthese nicht möglich. Eine korrekte Synthese realer und virtueller 3D-Objekte, wobei virtuelle und reale 3D-Objekte einander überdeckungsrichtig dargestellt werden, kann nur durch eine Verschmelzung der Objekte im dreidimensionalen Raum erfolgen.
Zur Darstellung virtueller 3D-Objekte - beispielsweise in Fahrzeuganzeigen - bedient sich das erfindungsgemäße Verfahren eines aufgezeichneten digitalen Bildes von einem definierten realen 3D-Objektraum, sowie der zum aufgenommenen digitalen Bild gehörige Tiefeninformation für jedes einzelne Pixel.
Die Tiefeninformation beinhaltet eine dreidimensionale Beschreibung der Fahrzeugumgebung. Sie ermöglicht bei dem erfindungsgemäßen Verfahren in einem ersten Schritt eine Gewinnung von Perspektivinformationen aus dem digitalen Bild des definierten realen SD- Objektraumes. Dies geschieht z.B. indem Objekte wie z.B. der Straßenverlauf erkannt werden und ein virtueller Straßenverlauf erzeugt wird.
Zur Anreicherung der Szenerie mit Zusatzinformationen wird in einem zweiten Schritt des Verfahrens mindestens ein vorbestimmtes virtuelles 3D-Objekte generiert. Dies kann beispielsweise ein Richtungspfeil, ein Straßenschild oder eine Stauinformation, usw. sein. Das generierte virtuelle 3D-Objekt wird anschließend in einem dritten Schritt des Verfahrens im definierten realen 3D-Objektraum, perspektivisch und ortgenau in der Szenerie platziert. Dies kann zum Beispiel in Abhängigkeit von erkannten Objekten z.B. dem virtuellen Straßenverlauf erfolgen. Zusätzlich zur räumlichen Orientierung des virtuellen SD- Objekts erfolgt eine perspektivische und maßstabgerechte Anpassung des virtuellen 3D- Objekts.
Vorteilhafterweise dient in einer bevorzugten Ausführungsform der virtuelle Straßenverlauf bei der Generierung des virtuellen 3D-Objekts als Orientierung bzw. Bezugssystem für eine Bestimmung einer räumlichen Lage des einzublendenden virtuellen 3D-Objekts.
In diesem Schritt werden den einzelnen Pixeln, die das erzeugte virtuelle 3D-Objekt darstellen, Ortskoordinaten für eine folgende Überlagerung/Darstellung auf einem Anzeigegerät zugeordnet. Weiterhin werden den einzelnen Pixeln, die das erzeugte virtuelle 3D- Objekt darstellen, Tiefenwerte zugeordnet.
Danach wird in einem vierten Schritt des Verfahrens das angepasste virtuelle 3D-Objekt in die aufgenommene Abbildung des realen 3D-Objektraumes integriert.
Mittels der beiden fahrzeugeigenen Kameras lässt sich eine relative Position des Fahrzeugs zu Objekten in dessen Umfeld besonders leicht erfassen. Beispielsweise können dadurch in einer vorteilhaften Ausführungsform Richtungspfeile für eine Navigation perspektivisch korrekt generiert und auf einer Fahrbahn eingezeichnet werden, indem sie als flache Objekte in eine zur Straße parallelen Ebene vor das Fahrzeug eingeblendet werden, z.B. ein„roter Teppich". Des Weiteren kann in einer besonders vorteilhaften Ausführungsform die augenblicklich zu benutzende Fahrspur farblich hervorgehoben werden, indem sie als dreidimensionales flaches Band über das Modell der erkannten Straße und deren Spuren gelegt wird.
In einer besonders bevorzugten Ausführungsform der Erfindung wird in einem weiteren Schritt des Verfahrens ein virtuelles Umgebungsmodell des definierten realen SD- Objektraumes mit dem virtuellen Straßenverlauf aus dem ersten Schritt des Verfahrens
abgeglichen. Ein herkömmliches Beispiel eines virtuellen Umgebungsmodells des definierten realen 3D-Objektraumes sind Informationen zur Straßentopologie und Geometrie, die in einem Navigationsgerät eines Fahrzeugs vorliegen. Unter Berücksichtigung der jeweiligen Fahrzeug-Kameraposition und der Grobgeometrie des vor dem Fahrzeug liegenden Straßenabschnitts, die beispielsweise aus Navigationsdaten errechnet wird, kann die Gewinnung der Perspektivinformationen sowie die Erzeugung des virtuellen Straßenverlaufs überprüft und abgeglichen werden. Dadurch kann gewährleistet werden, dass der virtuelle Straßenverlauf korrekt erzeugt wird. Somit lässt sich auch unter schlechten Sichtverhältnissen bzw. Aufnahmebedingungen für die fahrzeugeigenen Kameras ein virtueller Straßenverlauf zuverlässig erzeugen; beispielsweise bei Nebelverhältnissen, starkem Regen oder Schneefall.
In einer besonders vorteilhaften Ausführungsform der Erfindung erfolgt die Anzeige des aufgezeichneten digitalen Bildes zusammen mit dem in das virtuelle Straßenmodell integrierte virtuelle 3D-Objekt derart, dass die Bildinhalte auf einem herkömmlichen Anzeigegerät - LCD/TFT-Display, Monitor, usw. - überdeckungsrichtig überlagert werden. Bei der Überlagerung des aufgezeichneten digitalen Bildes mit dem angepassten und integrierten virtuellen 3D-Objekt aus dem vierten Schritt des Verfahrens wird die jeweilige Tiefeninformation der Pixel des aufgezeichneten digitalen Bildes sowie des integrierten virtuellen 3D-Objektes ausgewertet. Dabei wird für jede Pixelposition die Tiefeninformation des Pixels des digitalen Bildes mit dem zu überlagernden dazugehörigen Pixel des virtuellen 3D-Objekts verglichen, wobei lediglich das Pixel auf dem Anzeigegerät dargestellt wird, das aus der Sicht eines Betrachters, diesem/ihm näher liegt. Dadurch ergibt sich die überdeckungsrichtige Überlagerung der Bildinhalte, die auf dem Anzeigegerät dargestellt wird.
In einer weiteren bevorzugten Ausführungsform wird statt eines herkömmlichen Anzeigegeräts eine Frontsichtanzeige verwendet. In diesem Fall muss auf einem Anzeigefeld einer teildurchsichtigen Frontsichtanzeige nur die virtuelle Zusatzinformation des angepassten - und in den virtuellen Straßenverlauf integrierten - virtuellen 3D-Objekts mit dem im Sichtfenster der Frontsichtanzeige erscheinenden realen Bild überlagert werden. Auch in diesem Fall wird für jedes Pixel des angezeigten Bildes anhand eines Tiefenpuffers des aufgezeichneten digitalen Bildes sowie des virtuellen 3D-Objekts entschieden, ob an der gemeinsamen Pixelposition des„realen Bildes" bzw. virtuellen 3D-Objekts das Bildpixel näher am Betrachter liegt oder nicht.
In einem speziellen Fall werden in einer besonders vorteilhaften Ausführungsform lediglich die Pixel des angepassten virtuellen 3D-Objekts angezeigt, da auch nur diese Pixel auf einem Anzeigefeld einer Frontsichtanzeige überlagert/eingeblendet werden. Zur Berechnung der korrekten Position, Perspektive und anschließenden Integration in den virtuellen Straßenverlauf wird auch hier der dritte und vierte Schritt des Verfahrens ausgeführt. Allerdings wird lediglich das virtuelle 3D-Objekt auf der Frontsichtanzeige angezeigt. Der besondere Vorteil liegt darin, dass keine überflüssige Information/Grafik, hier des virtuellen Straßenverlaufs, die Sicht eines Fahrers mit Artefakten überfrachtet.
Damit die Anzeige des angepassten virtuellen 3D-Objekts auf der Frontsichtanzeige ermöglicht wird, muss ein Anzeigeinhalt auf dem Anzeigefeld der Frontsichtanzeige dem Anzeigeinhalt des aufgezeichneten digitalen Bildes des definierten realen SD- Objektraumes entsprechen. Nur auf diese Art und Weise lässt sich das virtuelle 3D-Objekt perspektivisch und ortskorrekt auf dem Anzeigefeld der Frontsichtanzeige überdeckungs- richtig ausgeben.
Vorzugsweise wird zur Gewinnung von Perspektiveninformationen des digitalen Bildes jeweils ein Tiefenwert eines Pixels des digitalen Bildes verwendet. Solche Tiefenwerte werden in einem Datenspeicher, einem so genannten Z-Puffer, gespeichert. Mit einer Auswertung der Tiefeninformationen aus dem Z-Puffer kann das erfindungsgemäße Verfahren besonders einfach und sicher feststellen, welche Objekte/Pixel an welcher Stelle einer Szene gezeichnet werden und welche überdeckt bzw. ausgeblendet werden.
Der virtuelle Straßenverlauf ist ein Ergebnis des Gewinnens von Perspektivinformationen aus dem digitalen Bild des definierten realen 3D-Objektraumes. Es entspricht einem genäherten dreidimensionalen Modell für den Verlauf der Straße und einer Fahrspur vor dem Fahrzeug, z. B. in Form eines Polygonzuges. In einer besonders bevorzugten Ausführungsform, können alternativ oder zusätzlich zu dem Schritt des Gewinnens von Perspektivinformationen auch Informationen über Kameraposition und/oder Fahrzeugumgebung und/oder Kartendaten verwendet werden. Der Abgleich mit den zusätzlichen Informationen steigert die Robustheit gegen Fehler des Verfahrens.
In einer besonders bevorzugten Ausführungsform kann eine weitere Verbesserung der Zuverlässigkeit beim Erzeugen des virtuellen Straßenverlaufs dadurch erreicht werden, dass ein zusätzlicher Abgleich des virtuellen Umgebungsmodells des definierten realen
3D-Objektsraums mit Navigationsdaten des Fahrzeugs erfolgt und/oder eine weitere Kantenerkennung durchgeführt wird. Durch Kombination von erkannten Kanteninformationen mit im Bereich der erkannten Kanten gemessenen Tiefeninformationen kann der Straßenverlauf inklusive Krümmungen, Erhebungen und Senken erzeugt werden. Ein besonderer Vorteil liegt darin, dass das erfindungsgemäße Verfahren ein Modell des Straßenverlaufs bereitstellt, das ohne weitere Extraktion oder Rückberechnung von Kameraposition und Ausrichtung erzeugt werden kann. Auch eine weitergehende Perspektivenerkennung mit ihren potentiellen Fehlern kann dadurch entfallen.
In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens können weitere virtuelle 3D-Objekte bereitgestellt werden. Die Bereitstellung erfolgt in Abhängigkeit weiterer Informationsquellen von dem Fahrzeug oder von anderen Systemen, beispielsweise einem Bordcomputer des Fahrzeugs, umgebungsrelevanten Daten eines Navigationssystems, Verkehrsleitsystemen, Straßenschildern usw. Jedes der zusätzlich erzeugten virtuellen 3D-Objekte wird in einer vorteilhaften erfindungsgemäßen Ausführungsform perspektivisch und ortskorrekt an einen virtuellen Straßenverlauf angepasst und in diesen integriert, sowie überdeckungsrichtig ausgegeben - im Verhältnis zum virtuellen Straßenverlauf und den einzelnen virtuellen 3D-Objekten zueinander.
Besonders vorteilhaft lässt sich das erfindungsgemäße Verfahren in einer fahrzeugeigenen Vorrichtung integrieren. Eine solche Vorrichtung setzt zumindest zwei Kameras zur Aufzeichnung eines digitalen Bildes eines definierten realen 3D-Objektraumes voraus. Des Weiteren weist die erfindungsgemäße Vorrichtung Mittel zur grafischen Verarbeitung von derartigen Informationen auf, die auf zumindest einem Anzeigegerät darstellbar sind. Je nach Ausführungsform kommen dabei Monitore, LCD-Displays oder aber Frontsichtanzeigen zum Einsatz.
Anhand eines Ausführungsbeispiels wird die Erfindung im Folgenden näher erläutert.
Fig. 1 zeigt ein Ablaufdiagramm einer Ausführungsform des Verfahrens gemäß der Erfindung.
Fig. 1 stellt ein Ablaufdiagramm gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens dar, wie sie beispielsweise auf einem Augmented-Reality-System 100 angewendet wird, das auf einer erfindungsgemäßen Vorrichtung (nicht gezeigt) zur Ausgabe
eines digitalen Bildes eines 3D-0bjektraums abläuft. Eine solche Vorrichtung kann beispielsweise bei einem Fahrerassistenzsystem vorgesehen werden.
Ein digitales Bild eines definierten 3D-Objektraumes wird von zwei fahrzeugeigenen Kameras, einem Stereokamerasystem 1 aufgezeichnet. Dabei entspricht der reale SD- Objektraum einem Sichtkegel im Blickfeld eines Fahrers. Damit liefert das Stereokamerasystem 1 die für das Augmented Reality System 100 notwendigen Ausgangsdaten. Die Ausgangsdaten umfassen ein digitales zweidimensionales Bild - monokulares Bild - der Umgebung wobei jedem Pixel des Bildes eine Tiefeninformation zugeordnet ist. Mittels der Tiefeninformation ist eine dreidimensionale Beschreibung der aufgezeichneten Fahrzeugumgebung möglich.
In einem ersten Schritt des Verfahrens wird ein virtueller Straßenverlauf 10 erzeugt. Zur Gewinnung von Perspektiveninformationen aus dem digitalen monokularen Bild, wird auf einen Tiefenpuffer - auch Z-Puffer genannt - zurückgegriffen, der die Tiefeninformation jedes einzelnen Pixels enthält. Das Ergebnis der Gewinnung von Perspektiveninformation ist ein genährtes dreidimensionales Modell für den Verlauf der Straße und Fahrspur vor dem Fahrzeug, beispielsweise in Form eines Polygonzuges. Ein solches Modell des Straßenverlaufs lässt sich ist ohne weitere Rückberechnung von Kameraposition und Kameraausrichtung bestimmen.
Anhand einer Kantenerkennung - über die Rand- und Mittenmarkierung der Straße im monokularen Bild - kann eine Begrenzung des Straßenverlaufs errechnet werden. Dieser zusätzliche Verfahrensschritt wird aufgrund seiner hohen Verlässlichkeit dazu verwendet, den ermittelten Straßenverlauf anzupassen und ihn zusätzlich zu verbessern.
Eine weitere Erhöhung der Genauigkeit bei der Gewinnung des Straßenverlaufs kann dadurch erreicht werden, dass in einer weiteren bevorzugten Ausführungsform ein Umgebungsmodell 15 der Straße herangezogen wird. Dabei kann die Straßentopologie und - Geometrie Navigationsdaten entnommen werden oder bestimmten kartographischen Daten des Umgebungsmodells 15, die in einem Speicher des Fahrzeugs vorliegen.
In einer besonders bevorzugten Ausführungsform werden Informationen, die aus der Gewinnung des Straßenverlaufs 10 stammen, mit Daten des Umgebungsmodells 15 kombiniert. Damit wird ein sehr genaues Modell eines virtuellen Straßenverlaufs erzeugt, auf dem Krümmungen, Erhebungen und Senkungen erkannt werden können. In weiteren be-
vorzugten Ausführungsformen können solche Verfahrensschritte einzeln oder in unterschiedlicher Kombination implementiert werden, um einen virtuellen Straßenverlauf 10 hoher Genauigkeit zu erzeugen.
Um die Realitätswahrnehmung im Rahmen des Augmented Reality Systems 100 mit weiteren Informationen oder virtuellen Objekten zu erweitern, ist eine Generierung virtueller 3D-Objekte notwendig. Die virtuellen 3D-Objekte können beispielsweise Symbole wie Pfeile oder Straßenschilder sein, oder Text der eingeblendet werden soll. Die Informationsquellen können Navigationsdaten sein, Kartendaten eines Umgebungsmodells 15 oder Informationen von Verkehrs- beziehungsweise Parkleitsystemen. Auch Nachrichten, die über den Verkehrsfunk empfangen werden oder Nachrichten eines Kommunikationsgerätes, beispielsweise eines Smartphones können die Generierung von 3D-Objekten auslösen oder steuern. Des Weiteren können Informationen eines Fahrerassistenzsystemen die Grundlage für einzublendende Objekte sein, wie beispielsweise ein Sicherheitsabstand zum vorausfahrenden Fahrzeug, die Einhaltung der Fahrspur usw..
Zur besseren Darstellung bei der Ausgabe der generierten Informationen - des virtuellen Straßenverlaufs 10 und der generierten virtuellen 3D-Objekte 20 - müssen die virtuellen 3D-Objekte 20 in einem weiteren Schritt des erfindungsgemäßen Verfahrens perspektivisch und ortskorrekt angepasst werden. Bei der Generierung eines virtuellen 3D-Modells 30, werden beispielsweise Richtungspfeile, an eine Orientierung des virtuellen Straßenverlaufs angepasst und einem bestimmten Straßenabschnitt zugeordnet. Ein weiteres generiertes virtuelles 3D-Objekt, beispielsweise ein Straßenschild, würde demnach einem bestimmtem Ort am Rand des virtuellen Straßenverlaufs zugeordnet und zusätzlich perspektivisch an diesen angepasst.
Anschließend werden bei einer Bildsynthese 40 die angepassten virtuellen 3D-Objekte 30 in den virtuellen Straßenverlauf 10 des definierten realen 3D-Objektraumes integriert. Bei diesem Schritt werden den jeweiligen 3D-Objekten entsprechenden Pixeln Tiefeninformationen zugeordnet. Das nun entstandene virtuelle Bild 40 entspricht beispielsweise einem virtuellen Straßenverlauf - einem Polygonzug - in dem ein oder mehrere virtuellen 3D- Objekte angeordnet sind.
Bei dem Schritt der Bildsynthese 40 kann zusätzlich eine maßstabsgetreue Anpassung der generierten virtuellen 3D-Objekte 20 an den virtuellen Straßenverlauf 10 vorgenom-
men werden. Die Maßstabsanpassung kann des Weiteren in Abhängigkeit einer Informationspriorität in unterschiedlicher Größe erfolgen. In einer bevorzugten Ausführungsform können die 3D-Objekte auch in einer bestimmten Farbe oder farblichen Abstufung davon dargestellt werden, um bestimmte Informationsinhalte besonders hervorzuheben.
In einem letzten Verfahrensschritt wird das synthetisierte virtuelle Bild 40 oder Teile davon auf einem Anzeigegerät 50 ausgegebenen, wo eine Zusammenführung von dem digitalen Bild des definierten realen 3D-Objektraumes (realen Bild) und dem synthetisierten virtuellen Bild 40 erfolgt. Dabei wird unterschieden, ob die Zusammenführung von dem realen und dem synthetisierten virtuellen Bild 40 auf einem herkömmlichen Anzeigegerät 50, beispielsweise einem LCD/TFT-Display oder auf einem Monitor erfolgt, oder aber nur ein Teil des virtuellen Bildes 40 auf einem Anzeigefeld - vorzugsweise auf einer Frontsichtanzeige - ausgegeben wird.
Um eine überdeckungsrichtige Darstellung beim Anzeigen 50 auf dem herkömmlichen Anzeigegerät zu ermöglichen, muss anhand der Tiefenwerte des digitalen Bildes des definierten realen 3D-Objektraumes und des synthetisierten virtuellen Bildes 40 entschieden werden, ob an einer Pixelposition das Pixel des realen oder virtuellen Bildes näher am Betrachter liegt. Das aus Sicht des Betrachters ihm jeweils näher gelegene Pixel wird auf dem Anzeigegerät dargestellt. Dadurch ergibt sich eine überdeckungsrichtige Überlagerung der Bildinhalte.
In einer weiteren Ausführungsform können zur Erzeugung des Abbildes des virtuellen 3D- Objekts alternativ oder zusätzlich weitere bekannte Verfahren eingesetzt werden, beispielsweise das Rendern von Bildern, Raytracing, usw.
Bei einer Anzeige 50 auf einem teildurchsichtigen Anzeigefeld einer Frontsichtanzeige muss nur der Teil des generierten virtuellen 3D-Objektes überblendet werden, der bereits für eine Integration in den virtuellen Straßenverlauf perspektivisch und ortskorrekt ange- passt wurde, da im Anzeigefeld der Frontsichtanzeige bereits das reale Bild - im Sichtfeld des Fahrers - vorliegt. Somit entfällt in diesem Fall die Darstellung der Bildinhalte, die nicht durch den Teil des generierten virtuellen 3D-Objektes des synthetisierten virtuellen Bildes 40 verdeckt werden.
Auch in diesem Fall muss bei der Bildsynthese für jedes Pixel des angezeigten Bildes anhand des Tiefenpuffers entschieden werden, ob an der jeweiligen Pixelposition das reale oder das virtuelle Pixel näher am Betrachter liegt. Nur die Pixel des virtuellen Bildes werden angezeigt, die näher am Betrachter liegen. Liegt ein der Position auf dem Anzeigefeld der Frontsichtanzeige entsprechendes„reales" Pixel dem Betrachter näher, so bleibt das Pixel aus, das dieser Position auf dem Anzeigefeld der Frontsichtanzeige entspricht.
In Analogie zu dem zuvor beschriebenen können statt eines Stereokamerasystemes zur dreidimensionalen Aufnahme der Umgebung alternativ auch andere Systeme genutzt werden. Beispielsweise kann auch ein Kamerasystem mit nur einer Kamera verwendet werden bei dem das dreidimensionale Abbild der Umgebung durch zu unterschiedlicher Zeit und Kameraposition aufgenommene Bilder ermittelt wird. Ebenso können Systeme verwendet werden die klassische Kameras mit ToF (time-of-flight) basierten Messtechniken, Laser-Range Scannern oder vergleichbaren Systemen kombinieren.
Alternativ zur Ausgabe auf einem klassischen zweidimensionalen Display kann die Anzeige der Augmented Reality Szenerie auch auf einer stereoskopischen Anzeige erfolgen, indem für jedes Auge bzw. jede Augenposition separat ein synthetisches Bild generiert und die Bildsynthese durchgeführt wird.
Claims
1. Verfahren zur Darstellung virtueller Objekte in Fahrzeuganzeigen unter Verwendung eines von mindestens einer Kamera aufgezeichneten digitalen Bildes eines definierten realen 3D-Objektraumes,
wobei in einem 1. Schritt durch Gewinnen von Perspektiveninformation aus dem digitalen Bild des definierten realen 3D-Objektraumes ein virtueller Straßenverlauf erzeugt (10) wird und
in einem 2. Schritt ein vorbestimmtes virtuelles 3D-Objekt generiert (20) wird, dadurch gekennzeichnet, dass
in einem 3. Schritt das virtuelle 3D-Objekt (20) an der von dem virtuellen Straßenverlauf (10) des definierten realen 3D-Objektraumes perspektivisch und ortgenau ange- passt (30) wird und
in einem 4. Schritt das angepasste virtuelle 3D-Objekt in den virtuellen Straßenverlauf (10) des definierten realen 3D-Objektraumes integriert (40) wird.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
in einem weiteren Schritt des Verfahrens ein virtuelles Umgebungsmodell (15) des definierten realen 3D-Objektraumes mit dem virtuellen Straßenverlauf (10) aus dem 1. Schritt abgeglichen wird.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
das aufgezeichnete digitale Bild zusammen mit dem in den virtuellen Straßenverlauf (10) integrierten virtuellen 3D-Objekt (40) aus dem 4. Schritt des Verfahrens auf einem Anzeigegerät (50) überdeckungsrichtig ausgegeben wird.
4. Verfahren nach Anspruch 1 oder 2
dadurch gekennzeichnet, dass das in dem 4. Schritt des Verfahrens integrierte virtuelle 3D-0bjekt auf einem Anzeigefeld einer Frontsichtanzeige angezeigt wird.
5. Verfahren nach Anspruch 4
dadurch gekennzeichnet, dass
ein Anzeigeinhalt auf dem Anzeigefeld der Frontsichtanzeige dem aufgezeichneten digitalen Bild entspricht.
6. Verfahren nach einem der Ansprüche 1 bis 5,
dadurch gekennzeichnet, dass
zur Gewinnung der Perspektiveninformation (10) des digitalen Bildes jeweils ein Tiefenwert eines Pixels des digitalen Bildes verwendet wird.
7. Verfahren nach einem der Ansprüche 1 bis 6,
dadurch gekennzeichnet, dass
zum Erzeugen des virtuellen Straßenverlaufs (10) im 1. Schritt alternativ oder zusätzlich weitere Informationen (2) über Kameraposition und/oder Fahrzeugumgebung und/oder Kartendaten einfließen.
8. Verfahren nach einem der Ansprüche 2 bis 7,
dadurch gekennzeichnet, dass
ein Abgleichen des virtuellen Umgebungsmodells (15) des definierten realen SD- Objektraums mit Navigationsdaten (3) des Fahrzeugs und/oder eine Kantenerkennung (3) erfolgt.
9. Verfahren nach einem der Ansprüche 1 bis 8,
dadurch gekennzeichnet, dass
im 2. Schritt des Verfahrens mindestens ein weiteres vorbestimmtes virtuelles 3D- Objekt auf Grundlage von weiteren Informationen generiert (20) wird.
10. Vorrichtung (100) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9, welches umfasst:
mindestens eine Kamera zur Aufnahme eines digitalen Bildes eines definierten realen 3D-Objektraumes,
Mittel zur grafischen Verarbeitung von Informationen, und
zumindest ein Anzeigegerät (50) für die Ausgabe der verarbeiteten Informationen.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12769931.2A EP2766879A2 (de) | 2011-10-11 | 2012-09-28 | Verfahren zur integration von virtuellen objekten in fahrzeuganzeigen |
CN201280049961.0A CN104303211A (zh) | 2011-10-11 | 2012-09-28 | 用于在车辆显示器上整合虚拟对象的方法 |
US14/350,755 US20140285523A1 (en) | 2011-10-11 | 2012-09-28 | Method for Integrating Virtual Object into Vehicle Displays |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011115739A DE102011115739A1 (de) | 2011-10-11 | 2011-10-11 | Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen |
DE102011115739.9 | 2011-10-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
WO2013053438A2 true WO2013053438A2 (de) | 2013-04-18 |
WO2013053438A3 WO2013053438A3 (de) | 2014-10-23 |
Family
ID=47010487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2012/004071 WO2013053438A2 (de) | 2011-10-11 | 2012-09-28 | Verfahren zur integration von virtuellen objekten in fahrzeuganzeigen |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140285523A1 (de) |
EP (1) | EP2766879A2 (de) |
CN (1) | CN104303211A (de) |
DE (1) | DE102011115739A1 (de) |
WO (1) | WO2013053438A2 (de) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013016241A1 (de) | 2013-10-01 | 2015-04-02 | Daimler Ag | Verfahren und Vorrichtung zur augmentierten Darstellung |
GB2525053A (en) * | 2014-04-09 | 2015-10-14 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
CN105404441A (zh) * | 2014-09-10 | 2016-03-16 | 虚拟现实软件 | 可视化相同环境的表面数据和全景图像数据的方法 |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013206435A1 (de) * | 2013-04-11 | 2014-10-16 | Bayerische Motoren Werke Aktiengesellschaft | Visualisierungssystem und Vorrichtung zur Generierung und Anzeige eines virtuellen Abbilds einer Fahrzeugumgebung |
DE102013010010B4 (de) * | 2013-06-14 | 2022-02-10 | Audi Ag | Verfahren zum Betrieb eines Fahrerassistenzsystems zum Rangieren und/oder Parken |
DE102013016248A1 (de) | 2013-10-01 | 2014-06-26 | Daimler Ag | Verfahren und Vorrichtung zur augmentierten Darstellung mindestens einer Zusatzinformation |
DE102013016244A1 (de) | 2013-10-01 | 2015-04-02 | Daimler Ag | Verfahren und Vorrichtung zur augmentierten Darstellung |
DE102013016245A1 (de) | 2013-10-01 | 2014-06-26 | Daimler Ag | Verfahren und Vorrichtung zur Erkennung und Ausgabe von realen nicht sichtbaren Objekten einer Umgebung |
DE102013016251A1 (de) | 2013-10-01 | 2014-06-26 | Daimler Ag | Verfahren und Vorrichtung zur augmentierten Darstellung |
DE102013016246A1 (de) | 2013-10-01 | 2015-04-02 | Daimler Ag | Verfahren und Vorrichtung zur augmentierten Darstellung |
DE102013019114A1 (de) | 2013-11-15 | 2015-05-21 | Audi Ag | Verfahren und System zum Betreiben einer Anzeigeeinrichtung eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben einer Anzeigeeinrichtung |
DE102013019770A1 (de) | 2013-11-23 | 2014-06-18 | Daimler Ag | Verfahren zur Darstellung einer Umgebung eines Kraftfahrzeuges und ein Kraftfahrzeug |
DE102014203323A1 (de) * | 2014-02-25 | 2015-08-27 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung für die Bildsynthese |
DE102014003550A1 (de) | 2014-03-12 | 2014-09-18 | Daimler Ag | Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs |
KR102299487B1 (ko) * | 2014-07-17 | 2021-09-08 | 현대자동차주식회사 | 증강 현실 알림 제공 시스템 및 방법 |
TW201605247A (zh) * | 2014-07-30 | 2016-02-01 | 國立臺灣大學 | 影像處理系統及方法 |
US20160148421A1 (en) * | 2014-11-24 | 2016-05-26 | Caterpillar Inc. | Integrated Bird's Eye View with Situational Awareness |
KR102406491B1 (ko) * | 2014-12-01 | 2022-06-10 | 현대자동차주식회사 | 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
US9625270B2 (en) * | 2014-12-01 | 2017-04-18 | Thinkware Corporation | Electronic apparatus, control method thereof, computer program, and computer-readable recording medium |
DE102014018419A1 (de) | 2014-12-11 | 2016-06-16 | Daimler Ag | Verfahren zur Erzeugung eines Tiefenbildes |
DE102015007131B4 (de) | 2015-06-05 | 2018-09-06 | Audi Ag | Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem |
CN105069842A (zh) | 2015-08-03 | 2015-11-18 | 百度在线网络技术(北京)有限公司 | 道路三维模型的建模方法和装置 |
WO2017169593A1 (ja) * | 2016-03-29 | 2017-10-05 | 株式会社日立国際電気 | 監視システムおよび端末装置 |
TWI603287B (zh) * | 2016-11-11 | 2017-10-21 | 財團法人工業技術研究院 | 虛擬物件之影像合成方法與裝置 |
DE102016222746A1 (de) * | 2016-11-18 | 2018-05-24 | Conti Temic Microelectronic Gmbh | Dreidimensionales Rundumsichtsystem für ein Fahrzeug |
DE102016225066A1 (de) * | 2016-12-15 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Rundumsichtsystem für ein Fahrzeug |
US10332292B1 (en) * | 2017-01-17 | 2019-06-25 | Zoox, Inc. | Vision augmentation for supplementing a person's view |
CN108528339B (zh) * | 2017-03-01 | 2020-06-26 | 京东方科技集团股份有限公司 | 一种显示***及其显示方法和车辆 |
KR20170061640A (ko) * | 2017-04-26 | 2017-06-05 | (주)디렉션 | 원근법 대응 이미지 보정 방법 및 장치 |
CN107215276B (zh) * | 2017-06-26 | 2019-08-27 | 上汽依维柯红岩商用车有限公司 | 车辆辅助驾驶***及其控制方法 |
DE102018124798A1 (de) * | 2017-10-09 | 2019-04-11 | GM Global Technology Operations LLC | Verfahren und vorrichtung zum erzeugen und anzeigen von führungslinien |
DE102017218214A1 (de) * | 2017-10-12 | 2019-04-18 | Audi Ag | Verfahren und System zum Betreiben wenigstens einer Virtual-Reality-Brille in einem Kraftfahrzeug |
CN109935107B (zh) * | 2017-12-18 | 2023-07-14 | 姜鹏飞 | 一种提升交通通视范围的方法及装置 |
CN108492374B (zh) * | 2018-01-30 | 2022-05-27 | 青岛中兴智能交通有限公司 | 一种ar在交通指挥上的应用方法和装置 |
DE102018201769B4 (de) * | 2018-02-06 | 2023-08-24 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug |
CN109087237B (zh) * | 2018-06-29 | 2023-02-03 | 海口经济学院 | 一种虚拟头盔 |
DE102018214210A1 (de) * | 2018-08-22 | 2020-02-27 | Siemens Mobility GmbH | Visualisierungseinrichtung und Verfahren zum Visualisieren des Inneren oder Äußeren eines Fahrzeugs |
DE102019202578A1 (de) | 2019-02-26 | 2020-08-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
DE102019202581B4 (de) | 2019-02-26 | 2021-09-02 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
DE102019202588A1 (de) * | 2019-02-26 | 2020-08-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
DE102019202587A1 (de) | 2019-02-26 | 2020-08-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
US11238292B2 (en) | 2019-11-26 | 2022-02-01 | Toyota Research Institute, Inc. | Systems and methods for determining the direction of an object in an image |
US11715273B2 (en) * | 2019-12-03 | 2023-08-01 | Lg Electronics Inc. | Method for displaying AR navigation screen, and AR navigation system |
CN113298909B (zh) * | 2021-04-13 | 2023-07-25 | 网易(杭州)网络有限公司 | 虚拟道路的生成方法、装置、存储介质和处理器 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE20305278U1 (de) | 2003-04-02 | 2003-06-12 | Daimler Chrysler Ag | Vorrichtung zur Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Bildinhalten auf 2D-Anzeigevorrichtungen |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19940723A1 (de) * | 1999-08-27 | 2001-03-08 | Daimler Chrysler Ag | Verfahren zur Anzeige eines perspektivischen Bildes und Anzeigevorrichtung für mindestens einen Insassen eines Fahrzeugs |
JP3883033B2 (ja) * | 2000-08-03 | 2007-02-21 | マツダ株式会社 | 車両用表示装置 |
DE10138719A1 (de) * | 2001-08-07 | 2003-03-06 | Siemens Ag | Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen |
EP1751499B1 (de) * | 2004-06-03 | 2012-04-04 | Making Virtual Solid, L.L.C. | Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays |
DE102004048347A1 (de) * | 2004-10-01 | 2006-04-20 | Daimlerchrysler Ag | Fahrassistenzvorrichtung zur gegenüber dem Sichtfeld des Fahrers eines Kraftfahrzeugs positionsrichtigen Darstellung des weiteren Straßenverlaufs auf einem Fahrzeugdisplay |
DE102005062151B4 (de) * | 2005-12-22 | 2007-09-13 | Daimlerchrysler Ag | Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen |
MX2009007256A (es) * | 2007-01-31 | 2009-09-09 | Micromentis Inc | Aparato visualizador montado a la cabeza para sistema de perfilamiento. |
DE102008028374A1 (de) * | 2008-06-13 | 2009-12-17 | Audi Ag | Verfahren zur kombinierten Ausgabe eines Bildes und einer Lokalinformation, sowie Kraftfahrzeug hierfür |
US8231225B2 (en) * | 2008-08-08 | 2012-07-31 | Disney Enterprises, Inc. | High dynamic range scenographic image projection |
CA2749685A1 (en) * | 2008-11-13 | 2010-05-20 | Aser Rich Limited | System and method for improved vehicle safety through enhanced situation awareness of a driver of a vehicle |
US20100238161A1 (en) * | 2009-03-19 | 2010-09-23 | Kenneth Varga | Computer-aided system for 360º heads up display of safety/mission critical data |
DE102009020300A1 (de) * | 2009-05-07 | 2010-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung |
US8503762B2 (en) * | 2009-08-26 | 2013-08-06 | Jacob Ben Tzvi | Projecting location based elements over a heads up display |
CN101976460B (zh) * | 2010-10-18 | 2012-02-22 | 无锡维森智能传感技术有限公司 | 车载多目摄像机环视***的虚拟视点图像生成方法 |
-
2011
- 2011-10-11 DE DE102011115739A patent/DE102011115739A1/de not_active Withdrawn
-
2012
- 2012-09-28 US US14/350,755 patent/US20140285523A1/en not_active Abandoned
- 2012-09-28 EP EP12769931.2A patent/EP2766879A2/de not_active Withdrawn
- 2012-09-28 CN CN201280049961.0A patent/CN104303211A/zh active Pending
- 2012-09-28 WO PCT/EP2012/004071 patent/WO2013053438A2/de active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE20305278U1 (de) | 2003-04-02 | 2003-06-12 | Daimler Chrysler Ag | Vorrichtung zur Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Bildinhalten auf 2D-Anzeigevorrichtungen |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013016241A1 (de) | 2013-10-01 | 2015-04-02 | Daimler Ag | Verfahren und Vorrichtung zur augmentierten Darstellung |
GB2525053A (en) * | 2014-04-09 | 2015-10-14 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
GB2525053B (en) * | 2014-04-09 | 2018-11-21 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
US11597318B2 (en) | 2014-04-09 | 2023-03-07 | Jaguar Land Rover Limited | Apparatus and method for displaying information |
CN105404441A (zh) * | 2014-09-10 | 2016-03-16 | 虚拟现实软件 | 可视化相同环境的表面数据和全景图像数据的方法 |
US10269178B2 (en) | 2014-09-10 | 2019-04-23 | My Virtual Reality Software As | Method for visualising surface data together with panorama image data of the same surrounding |
Also Published As
Publication number | Publication date |
---|---|
DE102011115739A1 (de) | 2013-04-11 |
US20140285523A1 (en) | 2014-09-25 |
CN104303211A (zh) | 2015-01-21 |
EP2766879A2 (de) | 2014-08-20 |
WO2013053438A3 (de) | 2014-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013053438A2 (de) | Verfahren zur integration von virtuellen objekten in fahrzeuganzeigen | |
EP3055650B1 (de) | Verfahren und vorrichtung zur augmentierten darstellung | |
DE112017001545T5 (de) | Virtuelles überlagerungssystem und verfahren für verdeckte objekte | |
EP2205944B1 (de) | Verfahren und vorrichtung zur ausgabe von optischen fahrempfehlungen in einem fahrzeug | |
DE102012200731A1 (de) | Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs | |
DE102010042026B4 (de) | Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs | |
DE102014200407A1 (de) | Verfahren und Vorrichtung zum Betreiben eines Sichtfeldanzeigegeräts | |
DE102014119317A1 (de) | Verfahren zur Darstellung eines Bildüberlagerungselements in einem Bild mit 3D-Information, Fahrerassistenzsystem und Kraftfahrzeug | |
DE102014208310A1 (de) | Fahrerassistenzsystem zur Darstellung einer erweiterten Realität | |
WO2008074561A1 (de) | Verfahren zum darstellen eines kartenausschnittes in einem navigationssystem und navigationssystem | |
EP2888623B1 (de) | Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display | |
DE102010003851A1 (de) | Verfahren und Informationssystem zum Markieren eines Zielorts für ein Fahrzeug | |
EP3955046A1 (de) | Verfahren zum betrieb einer anzeigeeinrichtung in einem kraftfahrzeug | |
DE102017216775A1 (de) | Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug | |
DE102018204325A1 (de) | Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel | |
DE102013016241A1 (de) | Verfahren und Vorrichtung zur augmentierten Darstellung | |
DE102011082881A1 (de) | Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information | |
DE102012213132A1 (de) | Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen | |
DE102017209802A1 (de) | Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille | |
DE102016215704A1 (de) | Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille | |
DE112020002353T5 (de) | Anzeigevorrichtung | |
DE102013000261A1 (de) | Verfahren und Kamerasystem zum Abbilden einer Umgebung eines Kraftwagens | |
DE102015005363A1 (de) | Verfahren und Vorrichtung zur augmentierten Darstellung sowie Fahrzeug | |
DE102022205393A1 (de) | Verfahren zum Betreiben eines Informationssystems, Computerprogrammprodukt sowie Fahrzeug | |
DE102022119063A1 (de) | Verfahren und System zur Darstellung des Fahrzeugumfelds auf einer Datenbrille |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12769931 Country of ref document: EP Kind code of ref document: A2 |
|
REEP | Request for entry into the european phase |
Ref document number: 2012769931 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012769931 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14350755 Country of ref document: US |