WO2008058928A1 - Verfahren zum orten eines objekts - Google Patents

Verfahren zum orten eines objekts Download PDF

Info

Publication number
WO2008058928A1
WO2008058928A1 PCT/EP2007/062204 EP2007062204W WO2008058928A1 WO 2008058928 A1 WO2008058928 A1 WO 2008058928A1 EP 2007062204 W EP2007062204 W EP 2007062204W WO 2008058928 A1 WO2008058928 A1 WO 2008058928A1
Authority
WO
WIPO (PCT)
Prior art keywords
image features
route
navigation
vehicle
image
Prior art date
Application number
PCT/EP2007/062204
Other languages
English (en)
French (fr)
Inventor
Thomas Engelberg
Mario Mueller
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2008058928A1 publication Critical patent/WO2008058928A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G01C11/10—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken using computers to control the position of the pictures

Definitions

  • the invention relates to a method for locating an object, a device for locating an object, a computer program and a computer program product.
  • a GPS signal may be mis-scored for shading and / or multipath propagation. If the GPS signal is missing over longer distances, then larger errors accumulate in dead reckoning, which can eventually lead to incorrect route information. Especially in densely built-up areas this can lead to incorrect navigation.
  • first image features are extracted from a 3D navigation and second image features are extracted from video data. These image features are processed together. In one embodiment of this method, the image features are evaluated simultaneously. It is also possible that the image features are merged.
  • the extracted first and second image features can be associated or linked or linked, so that so-called matching, that is to say a matching, a tuning or an adaptation of the image features is possible.
  • An embodiment of the invention provides that a route of the object is determined.
  • a route of the object is determined.
  • from the video data provided image information and a representation of the route as a so-called.
  • Optically highlighted driving tube which is assigned to the route, in particular by cross-fading, contact analog and / or displayed together and thus represented.
  • an object designed as a vehicle is located.
  • a suitable route to be traveled can be determined for reaching a specific destination. Furthermore, a driver of the vehicle can be displayed the route or driving recommendation in a shared representation with the video images on a display device.
  • the invention also relates to a device for locating an object which has a processing module which is designed to jointly process image features extracted from a 3D navigation and image features extracted from video data.
  • this device has a particularly georeferenced 3D database for providing the image features of the 3D navigation and at least one camera for providing the video data.
  • the device can have a position determination module for locating the object.
  • the device has a navigation unit for calculating a route of the object.
  • the device has a display device for jointly displaying video images that are provided from the video data and a representation of the route.
  • this device cooperates with a mobile object designed as a vehicle, the device and in particular the at least one camera being designed as a component of the object and thus of the vehicle.
  • an environment of the object can be detected from the object.
  • a likewise computer program according to the invention with program code means is designed to carry out all the steps of a method according to the invention when the computer program is executed on a computer or a corresponding arithmetic unit, in particular in a device according to the invention.
  • the invention also relates to a computer program product with program code means which are stored on a computer-readable data carrier in order to carry out all the steps of a method according to the invention, when the computer program is executed on a computer or a corresponding computing unit, in particular in a device according to the invention.
  • the invention thus u. a. a device and thus a system is provided, which extracts features from the 3D database of a three-dimensional navigation and in particular image features that can be used for simultaneous location of image features from video data and thus video image data.
  • the invention can therefore be suitable for relieving the driver of the vehicle in confusing traffic situations.
  • a driving recommendation is displayed contact analogous in a video image.
  • the optical representation of the recommended route assigned to this route route as a color-coded area perspective in the image of the video camera or in a head-up display superimposed so that this colored surface comes exactly to the actual road course to cover.
  • a GPS signal and a location must in this case have an accuracy of no more than 1 m. As a rule, the path suggested by the inserted driving tube comes to coincide sufficiently well with the actual course of the road.
  • camera systems may be used which comprise at least one camera located on the vehicle and viewing a vehicle exterior, this at least one camera appropriately displaying spread image data on a display device (e.g., NightView from DC).
  • a display device e.g., NightView from DC
  • an extraction of the image features can take place offline. Accordingly, features and in particular image features can be determined in particular offline before the device is put into operation and stored together with the actual texture data in the 3D database. As a result, the processing time required to execute the method can be reduced. If, for example, no display of the 3 D data is required, storage of the texture data can be dispensed with. This considerably reduces a required amount of data.
  • Image features for providing the display may serve not only image features extracted from individual images, but also image features obtained from the evaluation of successive image pairs. Accordingly, the image features can be linked or connected to one another in an optical flow in a temporal sequence.
  • At least one 3D camera may be used instead of at least one ordinary camera which images a scene as a two-dimensional representation.
  • a depth value can be provided in addition to the gray value information for each pixel of the video image.
  • the search for correspondences can take place directly in three-dimensional space, i. A conversion of virtual scenes into a two-dimensional image and thus video image is eliminated.
  • a correspondence search becomes more robust, since ambiguities are possible in a search in the two-dimensional image, since points on the visual ray, regardless of which depth value they possess, are always imaged on the same pixel.
  • the at least one camera in particular a video camera, can be inside or outside the vehicle.
  • the 3 D texture data database displays a virtual but realistic 3D view of the street scene. These data including the textures are used for the location.
  • Figure 1 shows a schematic representation of an embodiment of a device according to the invention.
  • Figure 2 shows a schematic representation of an embodiment of a video image in which a contact analogue superimposed driving recommendation is shown.
  • the illustrated schematically in Figure 1 embodiment of the device 2 according to the invention comprises at least one camera 4, which is mounted on a vehicle, a georeferenced 3D database 6, a first module 8 for extracting image characteristics of the 3D database 6, a second module 10 for Extraction of image features of the camera 4. Furthermore, a processing module 12 is provided for associating the extracted image features and thus for matching these image features extracted in the first and second modules 8, 10 and a position determination module 14 for 3D location of the vehicle. This 3D location is based on associated data provided by the processing module 12.
  • the determination of the position and thus the 3D location is supported by GPS data which is provided to a receiving module 16 of the device 2 by a satellite and which are suitable for initialization. In the case of missing 3D data, e.g. in undeveloped areas, GPS data is used for 3D location.
  • the position determination module 14 is provided with a first sensor 18 for detecting
  • the position determination module 14 has a prediction module 24.
  • a position of the vehicle determined by the position determination module 14 is used by a navigation unit 26 to calculate a route of the vehicle.
  • Route calculation requires additional data stored in a 2D data base 28 for conventional digital maps.
  • This 2D database 28 includes lanes as connections between certain nodes, road classes, one-way streets, etc.
  • the data to be displayed which in the present embodiment comprise navigation instructions and a route tube associated with the route, on a display device 30, as a screen or head-up display is formed, displayed.
  • the 3D database 6 stores 3D models of buildings, bridges and other artificial structures. These 3D models also include texture data, which is photographic data of objects such as house fronts, and so forth. From the 3D models and the texture data, artificial views of a scene can be generated for the display. Furthermore, 3D models of road intersections and other road structures, e.g. a roundabout, be filed.
  • the 3D model of an intersection is parameterized by a number, width, and the angles of the intersecting roads as well as the coordinates of a reference point and the number of lanes in each intersecting road.
  • texture data from the intersection e.g. Stop lines, turn-off arrows, signs, with the appropriate coordinates stored.
  • GPS data or from a previous calculation step is determined, an artificial view and thus an artificial image of the scene is generated.
  • Image features are extracted from the artificial image. This can be, for example, edges and therefore lines with strong gray scale gradients, corners, closed contours or generally geometric objects.
  • the same image features are generated from a video image of the real scene captured by the at least one camera 4.
  • the image features found in the artificial image are associated with those from the real scene in the processing module 12, so that so-called matching takes place.
  • To speed up the search for correspondences for example, at different resolution levels of the images, starting at a low resolution, be performed.
  • the world position of the image features in the artificial scene is known since the models originate from the georeferenced 3D database.
  • the outer orientation of the camera 4 and thus the position and orientation of the vehicle are determined with a spatial backward cut known from geodesy, provided the points do not lie on one Straight line and an inner orientation of the camera 4, ie image main points and a camera constant, is known.
  • the 3 D coordinates and the rotation angles with respect to the three coordinate axes of the camera 4 are determined according to known calculation rules. From a known installation position of the camera 4 relative to the vehicle, the position and orientation of the vehicle is thus derived. If more than the minimum number of three points is found, then one can
  • the steering angle and the turning rate of the vehicle which are detected via the sensors 18, 20, 22, the route and thus a path is determined, on which the vehicle continues to move becomes.
  • the location data obtained in this way again serve as an initial value for the calculation of the artificial view of the scene.
  • the position relative to the intersection is now determined with this positioning, which is improved compared to the pure GPS data.
  • the model of the intersection stored in the 3D database 6 and the additional 2D data from the 2D database 28, the u. a. Representations of different types of road comprises, is determined by the navigation unit 26, a precise course of the recommended for departure route with the necessary lane changes.
  • the driving recommendation can now be superimposed on the video image on the display device 30 in the right perspective and contact-analogous manner.
  • FIG. 32 An embodiment of such a video picture 32 is shown in FIG.
  • a scene of a road is shown, the contact analogue a driving recommendation 34, a so-called. Driving tube, color overlaid.
  • this driving recommendation 34 is graphically shown to the driver of the vehicle via the display device 30 located in the vehicle, along which route he can travel to reach a desired destination.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Orten eines Objekts, bei dem erste Bildmerkmale aus einer 3D-Navigation und zweite Bildmerkmale aus Videodaten extrahiert werden, und bei dem diese Bildmerkmale gemeinsam verarbeitet werden.

Description

Beschreibung
Titel
Verfahren zum Orten eines Objekts
Die Erfindung betrifft ein Verfahren zum Orten eines Objekts, eine Einrichtung zum Orten eines Objekts, ein Computerprogramm und ein Computerprogrammprodukt.
Stand der Technik
Systeme zur räumlichen Darstellung von Kartendaten in Fotoqualität, durch die eine 3 D- Navigation unterstützt werden kann, sind bekannt. Des weiteren werden zur Ortung eines Fahrzeugs gängige Verfahren wie Koppelnavigation C.dead reckoning") mittels GPS-Signalen und einer Fahrzeugsensorik, wobei Geschwindigkeit, Lenkwinkel, usw. berücksichtigt werden, eingesetzt.
In zu durchfahrenden Bereichen mit hoher Bebauung kann für ein GPS-Signals wegen Abschattungen und/oder Mehrwegeausbreitung es bei der Auswertung zu Fehlortungen kommen. Fehlt das GPS-Signal über längere Strecken, dann akkumulieren sich in der Koppelnavigation größere Fehler auf, was schließlich zu falschen Routeninformationen führen kann. Insbesondere in dicht bebauten Gebieten kann dies zu einer fehlerhaften Navigation führen.
Offenbarung der Erfindung
Bei dem erfindungsgemäßen Verfahren zum Orten eines Objekts werden erste Bildmerkmale aus einer 3D-Navigation und zweite Bildmerkmale aus Videodaten extrahiert. Diese Bildmerkmale werden gemeinsam verarbeitet. In einer Ausgestaltung dieses Verfahrens werden die Bildmerkmale gleichzeitig ausgewertet. Es ist zudem möglich, dass die Bildmerkmale fusioniert werden.
Somit ist eine dreidimensionale Ortung des Objekts möglich. Die extrahierten ersten und zweiten Bildmerkmale können assoziiert bzw. verbunden oder verknüpft werden, so dass ein sog. Matching, also ein Abgleich, eine Abstimmung oder eine Anpassung der Bildmerkmale möglich ist.
Ein Ausführungsbeispiel der Erfindung sieht vor, dass eine Route des Objekts be- stimmt wird. Dabei können aus den Videodaten bereitgestellte Bildinformationen und eine Darstellung der Route als ein sog. optisch hervorgehobener Fahrschlauch, der der Route zugeordnet ist, insbesondere durch Überblendung, kontaktanalog und/oder gemeinsam angezeigt und somit dargestellt werden.
In einer weiteren Ausgestaltung wird ein als Fahrzeug ausgebildetes Objekt geortet.
Demzufolge kann über das Verfahren zur Realisierung einer Navigation eine geeignete, abzufahrende Route zum Erreichen eines bestimmten Ziels bestimmt werden. Des weiteren kann einem Fahrer des Fahrzeugs die Route oder Fahrempfehlung in gemeinsamer Darstellung mit den Videobildern auf einer Anzeigeeinrichtung angezeigt werden.
Die Erfindung betrifft außerdem eine Einrichtung zum Orten eines Objekts, die ein Verarbeitungsmodul aufweist, das dazu ausgebildet ist, aus einer 3D-Navigation extrahierte Bildmerkmale sowie aus Videodaten extrahierte Bildmerkmale gemeinsam zu verar- beiten.
Diese Einrichtung weist in Ausgestaltung eine insbesondere georeferenzierte 3D- Datenbasis zur Bereitstellung der Bildmerkmale der 3D-Navigation und mindestens eine Kamera zur Bereitstellung der Videodaten auf. Zudem kann die Einrichtung ein Po- sitionsbestimmungsmodul zum Orten des Objekts aufweisen. In weiterer Ausgestaltung ist vorgesehen, dass die Einrichtung eine Navigationseinheit zum Berechnen einer Route des Objekts aufweist. Es kann ebenfalls vorgesehen sein, dass die Einrichtung eine Anzeigeeinrichtung zum gemeinsamen Anzeigen von Videobildern, die aus den Videodaten bereitgestellt werden, und einer Darstellung der Route aufweist. Diese Einrichtung wirkt in Ausgestaltung mit einem als Fahrzeug ausgebildeten, beweglichen Objekt zusammen, wobei die Einrichtung und insbesondere die mindestens eine Kamera als eine Komponente des Objekts und somit des Fahrzeugs ausgebildet ist. Somit kann mit der mindestens einen Kamera ein Umfeld des Objekts von dem Objekt aus erfasst werden. Bei einer Nutzung einer Ausführungsform der Einrichtung und somit bei einer möglichen Anwendung des Verfahrens ist vorgesehen, dass das als Fahrzeug ausgebildete Objekt geortet wird.
Ein ebenfalls erfindungsgemäßes Computerprogramm mit Programmcodemitteln ist dazu ausgebildet, alle Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere in einer erfindungsgemäßen Einrichtung, ausgeführt wird.
Die Erfindung betrifft zudem ein Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um alle Schritte eines erfindungsgemäßen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere in einer erfindungsgemäßen Einrichtung, ausgeführt wird.
Mit der Erfindung wird somit u. a. eine Einrichtung und somit ein System bereitgestellt, die aus der 3D-Datenbasis einer dreidimensionalen Navigation Merkmale und insbesondere Bildmerkmale extrahiert, die bei gleichzeitiger Auswertung von Bildmerkmalen aus Videodaten und somit von Videobilddaten für die Ortung genutzt werden können.
Es ist mit der Erfindung in einer Ausgestaltung bspw. möglich, die 3D-Datenbasis der dreidimensionalen Navigation so zu nutzen, dass insbesondere in dicht bebauten Gebieten jederzeit eine ausreichend genaue Ortung gewährleistet ist.
Außerdem ist mit dem Verfahren bei einer Anwendung unabhängig von der Verfügbarkeit eines GPS-Signals eine exakte Ortung des Objekts oder einer bewegbaren Vorrichtung und insbesondere eines Fahrzeugs möglich. Demzufolge kann einem Fahrer des Fahrzeugs eine fehlerfreie Navigation mit präzisen Hinweisen für die abzufahrende Route bzw. eine Fahrempfehlung bereitgestellt werden. - A -
In einer Ausführungsform bietet sich die Möglichkeit an, eine kontaktanaloge Einblendung von Objekten, Fahrempfehlungen, Hinweisen etc. in ein Videobild oder Head-up- Display durch gleichzeitige Auswertung der Bildmerkmale von 3D- Kartendaten aus der 3D- Navigation und der Bildmerkmale aus den Videodaten bereitzustellen. Die Erfindung kann demnach dazu geeignet sein, den Fahrer des Fahrzeugs in unübersichtlichen Verkehrssituationen zu entlasten.
Es ist somit in weiterer Ausgestaltung möglich, auch auf Basis des GPS-Signals und einer aktuellen digitalen Karte eine Möglichkeit zu realisieren, dass eine Fahrempfehlung kontaktanalog in ein Videobild eingeblendet wird. Dabei wird zur optischen Darstellung der empfohlenen Route ein dieser Route zugeordneter Fahrschlauch als farblich markierte Fläche perspektivisch in das Bild der Videokamera oder in ein Head-up Display eingeblendet, so dass diese eingefärbte Fläche exakt mit dem tatsächlichen Fahrbahnverlauf zur Deckung kommt. Ein GPS-Signal und eine Ortung müssen in diesem Fall dafür eine Genauigkeit von höchstens 1 m besitzen. In der Regel kommt der durch den eingeblendeten Fahrschlauch vorgeschlagene Weg hinreichend gut mit dem tatsächlichen Straßenverlauf zur Deckung.
Bei der erfindungsgemäßen Anordnung können in einer Ausführungsform Kamerasysteme verwendet werden, die mindestens eine an dem Fahrzeug angeordnete Kamera umfassen und einen Fahrzeug-Außenraum betrachten, diese mindestens eine Kamera stellt in geeigneter Weise aufbreitete Bilddaten auf einem Anzeigegerät dar (z.B. NightView von DC).
Bei einer Variante der Erfindung kann eine Extraktion der Bildmerkmale offline erfolgen. Merkmale und insbesondere Bildmerkmale können demnach schon vor Inbetriebnahme der Einrichtung insbesondere offline ermittelt und zusammen mit den eigentlichen Texturdaten in der 3D-Datenbasis abgespeichert werden. Dadurch kann die zur Ausführung des Verfahrens benötigte Verarbeitungszeit gesenkt werden. Wird bspw. keine Anzeige der 3 D- Daten benötigt, so kann auf eine Speicherung der Texturdaten verzichtet werden. Dadurch wird eine benötigte Datenmenge erheblich reduziert. AIs Bildmerkmale zur Bereitstellung der Anzeige können nicht nur Bildmerkmale dienen, die aus Einzelbildern extrahiert werden, sondern auch Bildmerkmale, die aus der Auswertung von aufeinanderfolgenden Bildpaaren ermittelt werden. Demnach können die Bildmerkmale in einem optischen Fluss in einer zeitlichen Abfolge miteinander ver- knüpft oder verbunden sein.
In der Anordnung kann anstelle mindestens einer gewöhnlichen Kamera, die eine Szene als zweidimensionale Darstellung abbildet, mindestens eine 3D- Kamera verwendet werden. Hierdurch kann neben der Grauwertinformation zu jedem Pixel des Videobilds noch ein Tiefenwert geliefert werden. Die Suche nach Korrespondenzen kann direkt im dreidimensionalen Raum stattfinden, d.h. eine Umrechnung von virtuellen Szenen in ein zweidimensionales Bild und somit Videobild entfällt. Außerdem wird eine Korrespondenzsuche robuster, zumal bei einer Suche im zweidimensionalen Bild Mehrdeutigkeiten möglich sind, da Punkte auf dem Sehstrahl, unabhängig davon, welchen Tie- fenwert sie besitzen, immer auf demselben Bildpunkt abgebildet werden.
Die mindestens eine Kamera, insbesondere Videokamera kann innerhalb oder außerhalb des Fahrzeugs sein. Durch die 3 D- Datenbank mit Texturdaten wird eine virtuelle aber realitätsnahe 3D-Ansicht der Straßenszene angezeigt. Diese Daten inkl. der Tex- turen werden für die Ortung benutzt.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Kurze Beschreibung der Zeichnungen
Figur 1 zeigt in schematisch Darstellung eine Ausführungsform einer erfindungsgemäßen Einrichtung. Figur 2 zeigt in schematischer Darstellung eine Ausführungsform eines Videobilds, in dem eine kontaktanalog überlagerte Fahrempfehlung abgebildet ist.
Ausführungsformen der Erfindung
Die Erfindung ist anhand von Ausführungsformen in den Zeichnungen schematisch dargestellt und wird im folgenden unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
Die in Figur 1 schematisch dargestellte Ausführungsform der erfindungsgemäßen Einrichtung 2 umfasst mindestens eine Kamera 4, die an einem Fahrzeug montiert ist, eine georeferenzierte 3D-Datenbasis 6, ein erstes Modul 8 zur Extraktion von Bildmerkmalen der 3D-Datenbasis 6, ein zweites Modul 10 zur Extraktion von Bildmerkmalen der Kamera 4 auf. Des weiteren ist ein Verarbeitungsmodul 12 zum Assoziieren der extrahierten Bildmerkmale und somit zum Abgleichen dieser im ersten und zweiten Modul 8, 10 extrahierten Bildmerkmale sowie ein Positionsbestimmungsmodul 14 zu einer 3D-Ortung des Fahrzeugs vorgesehen. Diese 3D-Ortung erfolgt auf Grundlage assoziierter Daten, die von dem Verarbeitungsmodul 12 bereitgestellt werden.
Unterstützt wird die Bestimmung der Position und somit die 3D-Ortung durch GPS- Daten, die einem Empfangsmodul 16 der Einrichtung 2 von einem Satelliten bereitgestellt werden und die zur Initialisierung geeignet sind. Im Falle fehlender 3D-Daten, z.B. in unbebauten Gebieten, werden GPS-Daten zur 3D-Ortung verwendet. Außerdem ist das Positionsbestimmungsmodul 14 mit einem ersten Sensor 18 zum Erfassen von
Raddrehzahlen des Fahrzeugs, einem zweiten Sensor 20 zum Erfassen von Lenkwinkeln des Fahrzeugs und einem dritten Sensor 22 zum Erfassen von Drehraten des Fahrzeugs verbunden. Des weiteren weist das Positionsbestimmungsmodul 14 ein Prädiktionsmodul 24 auf.
Eine von dem Positionsbestimmungsmodul 14 bestimmte Position des Fahrzeugs wird von einer Navigationseinheit 26 zum Berechnen einer Route des Fahrzeugs genutzt. Für eine Routenberechnung werden zusätzliche Daten benötigt, die in einer 2D- Datenbasis 28 für herkömmliche digitale Karten abgelegt sind. Diese 2D-Datenbasis 28 umfasst Fahrbahnverläufe als Verbindungen zwischen bestimmten Knotenpunkten, Straßenklassen, Einbahnstraßen, usw. Schließlich werden die darzustellenden Daten, die in der vorliegenden Ausführungsform Navigationshinweise und einen der Route zugeordneten Fahrschlauch umfassen, auf einer Anzeigeeinrichtung 30, die als BiId- schirm oder Head-up-Display ausgebildet ist, angezeigt.
In der 3D-Datenbasis 6 sind 3D-Modelle von Gebäuden, Brücken und anderen künstlichen Strukturen abgelegt. Diese 3D-Modellen umfassen weiterhin Texturdaten, wobei es sich um photographische Daten von Objekten, wie bspw. Häuserfronten usw., han- delt. Aus den 3D-Modellen und den Texturdaten können für die Anzeige künstliche Ansichten einer Szene generiert werden. Weiterhin können 3D-Modelle von Straßenkreuzungen und anderen Straßenstrukturen, z.B. einem Kreisverkehr, abgelegt sein.
In dieser Ausführungsform wird das 3D-Modell einer Kreuzung durch eine Anzahl, Brei- te und die Winkel der einmündenden Straßen sowie die Koordinaten eines Referenzpunktes und der Anzahl der Fahrspuren in jeder einmündenden Straße parametrisiert. Gleichzeitig können auch Texturdaten von der Kreuzung, z.B. Haltelinien, Abbiegepfeile, Schilder, mit den entsprechenden Koordinaten abgelegt sein.
Aus einer initialen Schätzung der Position und Orientierung des Fahrzeugs, die aus
GPS-Daten oder aus einem vorhergegangenen Berechnungsschritt ermittelt wird, wird eine künstliche Ansicht und somit ein künstliches Bild der Szene erzeugt. Aus dem künstlichen Bild werden nun Bildmerkmale extrahiert. Das können z.B. Kanten und demnach Linien mit starken Grauwertgradienten, Ecken, geschlossene Konturen oder allgemein geometrische Objekte sein. Dieselben Bildmerkmale werden aus einem von der mindestens einen Kamera 4 aufgenommenen Videobild der realen Szene generiert. Schließlich werden die im künstlichen Bild gefundenen Bildmerkmale mit denen aus der realen Szene in dem Verarbeitungsmodul 12 assoziiert, so dass ein sog. Mat- ching erfolgt. Zur Beschleunigung kann die Suche nach Korrespondenzen z.B. auf ver- schiedenen Auflösungsstufen der Bilder, beginnend bei einer niedrigen Auflösung, durchgeführt werden. Die Weltposition der Bildmerkmale in der künstlichen Szene ist bekannt, da die Modelle aus der georeferenzierten 3D-Datenbasis stammen. Werden mindestens drei Punkte und somit drei 2D-Bildkoordinaten im Videobild der Kamera 4 wieder gefunden, so werden mit einem aus der Geodäsie bekannten räumlichen Rückwärtschnitt die äußere Orientierung der Kamera 4 und mithin die Position und Orientierung des Fahrzeugs bestimmt, sofern die Punkte nicht auf einer Geraden liegen und eine innere Orientierung der Kamera 4, d. h. Bildhauptpunkte und eine Kamerakonstante, bekannt ist. Aus diesen drei 2D-Bildkoordinaten werden nach bekannten Rechenvorschriften die 3 D- Koordinaten und die Drehwinkel bzgl. der drei Koordinatenachsen der Kamera 4 bestimmt. Aus einer bekannten Einbaulage der Kamera 4 relativ zum Fahrzeug wird somit auch die Position und Orientierung des Fahrzeugs abge- leitet. Werden mehr als die Mindestanzahl von drei Punkten gefunden, so kann ein
Fehler im Ortungsergebnis durch Ausgleichsrechnung verringert und eine Fehlzuordnung eliminiert werden.
Mit Hilfe der Geschwindigkeit, die aus den Raddrehzahlen abgeleitet wird, dem Lenk- winkel und der Drehraten des Fahrzeugs, die über die Sensoren 18, 20, 22 erfasst werden, wird die Route und somit ein Pfad bestimmt, auf dem sich das Fahrzeug weiter bewegen wird. Damit wird die Position und Orientierung des Fahrzeugs zum nächsten Bildzeitpunkt der Kamera 4, z.B. mit t = 40 ms bei einer Bildwiederholrate von 25 Hz, in dem Prädiktionsmodul 24 geschätzt. Die so gewonnen Ortungsdaten dienen wieder als Initialwert für die Berechnung der künstlichen Ansicht der Szene.
In der Nähe einer Kreuzung wird nun mit dieser gegenüber den reinen GPS-Daten verbesserten Ortung die Lage relativ zur Kreuzung bestimmt. Unter Berücksichtigung des in der 3D-Datenbasis 6 abgelegten Modells der Kreuzung und der zusätzlichen 2D- Daten aus der 2D-Datenbasis 28, die u. a. Darstellungen unterschiedlicher Straßentypen umfasst, wird durch die Navigationseinheit 26 ein genauer Verlauf der zum Abfahren empfohlenen Route mit den dabei nötigen Spurwechseln bestimmt. Mit Hilfe der zuvor bestimmten Orientierungsparameter der Kamera 4 kann nun die Fahrempfehlung perspektivisch richtig und kontaktanalog dem auf der Anzeigeeinrichtung 30 dem Vi- deobild überlagert werden.
Eine Ausführungsform eines derartigen Videobilds 32 ist in Figur 2 dargestellt. Auf dem Videobild 32 ist eine Szene einer Straße gezeigt, der kontaktanalog eine Fahrempfehlung 34, ein sog. Fahrschlauch, farblich überlagert ist. Anhand dieser Fahrempfehlung 34 wird dem Fahrer des Fahrzeugs über die in dem Fahrzeug angeordnete Anzeigeeinrichtung 30 graphisch gezeigt, entlang welcher Route er zum Erreichen eines gewünschten Ziels fahren kann.

Claims

Ansprüche
1. Verfahren zum Orten eines Objekts, bei dem erste Bildmerkmale aus einer SD- Navigation und zweite Bildmerkmale aus Videodaten extrahiert werden, und bei dem diese Bildmerkmale gemeinsam verarbeitet werden.
2. Verfahren nach Anspruch 1, bei dem die Bildmerkmale gleichzeitig ausgewertet werden.
3. Verfahren nach Anspruch 1 oder 2, bei dem die Bildmerkmale fusioniert werden.
4. Verfahren nach einem der voranstehenden Ansprüche, bei dem eine Route des Objekts bestimmt wird.
5. Verfahren nach Anspruch 4, bei dem aus den bereitgestellten Videodaten Video- bilder und eine Darstellung der Route, gemeinsam angezeigt werden.
6. Verfahren nach einem der voranstehenden Ansprüche, bei dem ein Fahrzeug geortet wird.
7. Einrichtung zum Orten eines Objekts, die ein Verarbeitungsmodul (12) aufweist, das dazu ausgebildet ist, aus einer 3D-Navigation extrahierte Bildmerkmale sowie aus Videodaten extrahierte Bildmerkmale gemeinsam zu verarbeiten.
8. Einrichtung nach Anspruch 7, die eine 3D-Datenbasis (6) zur Bereitstellung der Bildmerkmale der 3 D- Navigation und mindestens eine Kamera (4) zur Bereitstellung der Videodaten aufweist.
9. Einrichtung nach Anspruch 7 oder 8, die ein Positionsbestimmungsmodul (14) zum Orten des Objekts aufweist.
10. Einrichtung nach einem der Ansprüche 7 bis 9, die eine Navigationseinheit (26) zum Berechnen einer Route des Objekts aufweist.
11. Einrichtung nach Anspruch 10, die eine Anzeigeeinrichtung (30) zum gemeinsamen Anzeigen von Videobildern, die aus den Videodaten bereitgestellt werden, und einer Darstellung der Route aufweist.
12. Computerprogramm mit Programmcodemitteln, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 6 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere in einer Einrichtung nach einem der Ansprüche 7 bis 11, ausgeführt wird.
13. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computer- lesbaren Datenträger gespeichert sind, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 6 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit, insbesondere in einer Einrichtung nach einem der Ansprüche 7 bis 11, ausgeführt wird.
PCT/EP2007/062204 2006-11-17 2007-11-12 Verfahren zum orten eines objekts WO2008058928A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE200610054323 DE102006054323A1 (de) 2006-11-17 2006-11-17 Verfahren zum Orten eines Objekts
DE102006054323.8 2006-11-17

Publications (1)

Publication Number Publication Date
WO2008058928A1 true WO2008058928A1 (de) 2008-05-22

Family

ID=38928039

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/062204 WO2008058928A1 (de) 2006-11-17 2007-11-12 Verfahren zum orten eines objekts

Country Status (2)

Country Link
DE (1) DE102006054323A1 (de)
WO (1) WO2008058928A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011006347B4 (de) 2011-03-29 2023-02-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von grafischen Fahrhinweisen
US9443429B2 (en) 2012-01-24 2016-09-13 GM Global Technology Operations LLC Optimum gaze location on full windscreen display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1283406A2 (de) * 2001-08-01 2003-02-12 Siemens Aktiengesellschaft Bildverarbeitungsvorrichtung für ein Fahrzeug und Betriebsverfahren
WO2003017226A2 (de) * 2001-08-07 2003-02-27 Siemens Aktiengesellschaft Verfahren und vorrichtung zur darstellung von fahrhinwiesen in auto-navigationssystemen
EP1586861A1 (de) * 2004-04-15 2005-10-19 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Fahrerinformationen
WO2006037402A1 (de) * 2004-10-01 2006-04-13 Daimlerchrysler Ag Fahrassistenzvorrichtung zur gegenüber dem sichtfeld des fahrers eines kraftfahrzeugs positionsrichtigen darstellung des weiteren strassenverlaufs auf einem fahrzeugdisplay

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1283406A2 (de) * 2001-08-01 2003-02-12 Siemens Aktiengesellschaft Bildverarbeitungsvorrichtung für ein Fahrzeug und Betriebsverfahren
WO2003017226A2 (de) * 2001-08-07 2003-02-27 Siemens Aktiengesellschaft Verfahren und vorrichtung zur darstellung von fahrhinwiesen in auto-navigationssystemen
EP1586861A1 (de) * 2004-04-15 2005-10-19 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Fahrerinformationen
WO2006037402A1 (de) * 2004-10-01 2006-04-13 Daimlerchrysler Ag Fahrassistenzvorrichtung zur gegenüber dem sichtfeld des fahrers eines kraftfahrzeugs positionsrichtigen darstellung des weiteren strassenverlaufs auf einem fahrzeugdisplay

Also Published As

Publication number Publication date
DE102006054323A1 (de) 2008-05-21

Similar Documents

Publication Publication Date Title
DE102010042063B4 (de) Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
DE112008003424B4 (de) Navigationsgerät, das Videobilder einer Kamera verwendet
EP3765324B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
DE112019007451T5 (de) Hochpräzises Verfahren sowie Gerät zur Fahrzeugpositionierung in mehreren Szenen, und fahrzeugmontiertes Terminal
DE112017003916T5 (de) Head-Up-Display-Vorrichtung, Anzeigesteuerverfahren und Steuerprogramm
DE102011084993A1 (de) Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem
DE202005021607U1 (de) Navigationsvorrichtung mit Kamerainformation
DE102012200731A1 (de) Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
DE102014200407A1 (de) Verfahren und Vorrichtung zum Betreiben eines Sichtfeldanzeigegeräts
DE112018004519T5 (de) Anzeigevorrichtung eines überlagerten Bildes und Computerprogramm
DE102021204765A1 (de) Rendern von Augmented-Reality mit Verdeckung
WO2019042778A1 (de) Augmented-reality-brille, verfahren zum bestimmen einer pose einer augmented-reality-brille, zur nutzung der augmented-reality-brille oder des verfahrens geeignetes kraftfahrzeug
WO2021110412A1 (de) Anzeigeverfahren zur darstellung eines umgebungsmodells eines fahrzeugs, computerprogramm, steuergerät und fahrzeug
EP3749541B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug
DE102010062464A1 (de) Verfahren und Vorrichtung zur Darstellung eines Abschnitts einer Umgebung
DE10137582A1 (de) Bildverarbeitungsvorrichtung für ein Fahrzeug
WO2008058928A1 (de) Verfahren zum orten eines objekts
DE102011084596A1 (de) Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung
WO2008138670A1 (de) Verfahren zur anzeige von videobildern und videosystem
DE102010042314A1 (de) Verfahren zur Ortsbestimmung mit einem Navigationssystem und Navigationssystem hierzu
DE102019201134B4 (de) Verfahren, Computerprogramm mit Instruktionen und System zum Einmessen einer Augmented-Reality-Brille und Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug
DE102021123503A1 (de) Ermittlung einer absoluten Initialposition eines Fahrzeugs
EP4004491A1 (de) Verfahren zur lokalisierung eines fahrzeugs
DE102017000311B4 (de) Verfahren zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät sowie entsprechendes System
WO2006111470A1 (de) Verfahren zur dreidimensionalen darstellung einer digitalen strassenkarte

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07822490

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 07822490

Country of ref document: EP

Kind code of ref document: A1