DE102016000588A1 - Method for self-localization of a vehicle - Google Patents

Method for self-localization of a vehicle Download PDF

Info

Publication number
DE102016000588A1
DE102016000588A1 DE102016000588.2A DE102016000588A DE102016000588A1 DE 102016000588 A1 DE102016000588 A1 DE 102016000588A1 DE 102016000588 A DE102016000588 A DE 102016000588A DE 102016000588 A1 DE102016000588 A1 DE 102016000588A1
Authority
DE
Germany
Prior art keywords
vehicle
image features
images
database
depot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016000588.2A
Other languages
German (de)
Inventor
Martin Moser
Fridtjof Stein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102016000588.2A priority Critical patent/DE102016000588A1/en
Publication of DE102016000588A1 publication Critical patent/DE102016000588A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Selbstlokalisation eines Fahrzeugs (1), wobei zeitlich aufeinanderfolgend Bilder (P) erfasst werden und eine aktuelle Position des Fahrzeugs (1) anhand von Korrespondenzen (K1 bis K4) von Bildmerkmalen aktuell erfasster Bilder (P) mit in einer Datenbank (6) hinterlegten Referenz-Bildmerkmalen und diesen zugeordneten Positionsdaten (POS) ermittelt wird. Erfindungsgemäß ist in der Datenbank (6) für einen autonom mittels des Fahrzeugs (1) anfahrbare Stationen (S1 bis S4) umfassenden Betriebshof (D) ein Trajektorienetz (N1 bis N4) mit Weichen (W1 bis W3) und Fahrtrichtungswechselpunkten (X1 bis X7) hinterlegt und die Bilder (P) werden mittels einer an dem Fahrzeug (1) angeordneten und zumindest einen in einer Umgebung des Fahrzeugs (1) befindlichen Bodenbereich (B1) erfassenden Kamera (2) erfasst, wobei anhand von Korrespondenzen (K1 bis K4) zwischen den Bildmerkmalen der aktuell erfassten Bilder (P) und den hinterlegten Referenz-Bildmerkmalen und der diesen zugeordneten Positionsdaten (POS) eine Position des Fahrzeugs (1) innerhalb des Trajektorienetzes (N1 bis N4) ermittelt wird. Die Erfindung betrifft weiterhin eine Verwendung eines solchen Verfahrens zur autonomen Längs- und Quersteuerung eines Fahrzeugs (1) auf einem Betriebshof (D).The invention relates to a method for self - localization of a vehicle (1), wherein temporally successive images (P) are detected and a current position of the vehicle (1) on the basis of correspondences (K1 to K4) of image features currently detected images (P) in a Database (6) stored reference image features and this associated position data (POS) is determined. According to the invention, a trajectory network (N1 to N4) with switches (W1 to W3) and travel change points (X1 to X7) is provided in the database (6) for a depot (D) which can be approached autonomously by means of the vehicle (1). deposited and the images (P) are detected by means of a vehicle (1) arranged and at least one in an environment of the vehicle (1) located bottom region (B1) detecting camera (2), wherein on the basis of correspondences (K1 to K4) between a position of the vehicle (1) within the Trajektorienetzes (N1 to N4) is determined the image features of the currently captured images (P) and the stored reference image features and their associated position data (POS). The invention further relates to a use of such a method for autonomous longitudinal and lateral control of a vehicle (1) on a depot (D).

Description

Die Erfindung betrifft ein Verfahren zur Selbstlokalisation eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a method for self-localization of a vehicle according to the preamble of claim 1.

Die Erfindung betrifft weiterhin eine Verwendung eines solchen Verfahrens.The invention further relates to a use of such a method.

Aus der DE 10 2013 003 117 A1 ist ein Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs bekannt, wobei die Umgebung mittels zumindest einer Bilderfassungseinheit, beispielsweise einer am Fahrzeug angeordneten Kamera, erfasst wird und mittels der Bilderfassungseinheit erfasste Bilder analysiert werden. Dabei werden Bildmerkmale der Bilder, beispielsweise Fahrbahnmarkierungen und -beschriftungen, mit in einer Datenbank hinterlegten Vergleichsmerkmalen und/oder ermittelte Anordnungen von Bildmerkmalen zueinander mit Anordnungen hinterlegter Vergleichsmerkmale verglichen, wobei bei einer Übereinstimmung von Bildmerkmalen mit den Vergleichsmerkmalen und/oder von Anordnungen von Bildmerkmalen mit Anordnungen von Vergleichsmerkmalen eine Position des Fahrzeugs aus zu den Vergleichsmerkmalen und/oder Anordnungen von Vergleichsmerkmalen hinterlegten Positionsdaten ermittelt werden bzw. wird. Als Bildmerkmale und Vergleichsmerkmale werden durch Merkmalssignaturen beschriebene pixelbasierte Bereiche in den Bildern verwendet.From the DE 10 2013 003 117 A1 For example, a method for self-localization of a vehicle and for detection of objects in an environment of the vehicle is known, wherein the environment is detected by means of at least one image capture unit, for example a camera arranged on the vehicle, and images captured by the image capture unit are analyzed. In this case, image features of the images, for example lane markings and inscriptions, compared with stored in a database comparison features and / or determined arrangements of image characteristics to each other with arrangements deposited comparison features, with a match of image features with the comparison features and / or arrangements of image features with arrangements of comparison features a position of the vehicle from the comparison features and / or arrangements of comparison features deposited position data is or will be determined. As image features and comparison features, pixel-based regions described by feature signatures are used in the images.

Weiterhin ist aus der DE 103 22 765 A1 ein automatisierter Speditionshof für autonom fahrbare Verkehrsmittel bekannt. Der Speditionshof umfasst eine Abgabestation, die zur Übergabe eines von einem Fahrzeugführer manuell zur Abgabestation überführten Verkehrsmittels an den Speditionshof dient und bei der Fahrzeugdaten an einen Kontrollrechner des Speditionshofs übermittelt werden und von der aus das Verkehrsmittel autonom zur nächsten Station überführt wird. Weiterhin umfasst der Speditionshof eine Entladestation, die zum Entladen des dahin überführten Verkehrsmittels in Abhängigkeit der Fahrzeugdaten dient und von der aus das Verkehrsmittel autonom zur nächsten Station überführt wird. Zusätzlich umfasst der Speditionshof eine Wartungsstation, die zur Wartung des dahin überführten Verkehrsmittels in Abhängigkeit der Fahrzeugdaten dient und von der aus das Verkehrsmittel autonom zur nächsten Station überführt wird. Ferner ist eine Beladestation zum Beladen des dahin überführten Verkehrsmittels in Abhängigkeit der Fahrzeugdaten vorgesehen. Von der Beladestation aus wird das Verkehrsmittel autonom zur nächsten Station überführt. Weiterhin umfasst der Speditionshof eine Abholstation, die zur Übergabe des dahin überführten Verkehrsmittels an den Fahrzeugführer in Abhängigkeit der Fahrzeugdaten dient und von der aus das Verkehrsmittel vom Fahrzeugführer manuell weggefahren wird.Furthermore, from the DE 103 22 765 A1 an automated freight yard for autonomous mobile transport known. The Freight Forwarder comprises a delivery station which serves to hand over a means of transport manually transferred by a driver to the delivery station to the freight yard and in which vehicle data is transmitted to a control computer of the freight yard and from which the means of transport is autonomously transferred to the next station. Furthermore, the freight forwarding yard comprises an unloading station which serves for unloading the means of transport transferred thereto as a function of the vehicle data and from which the means of transport is autonomously transferred to the next station. In addition, the freight yard includes a maintenance station, which serves for the maintenance of the means of transport transferred thereto as a function of the vehicle data and from which the means of transport is autonomously transferred to the next station. Furthermore, a loading station is provided for loading the transport means transferred thereto as a function of the vehicle data. From the loading station, the means of transport is autonomously transferred to the next station. Furthermore, the freight yard includes a pick-up station, which serves for the transfer of the then transferred means of transport to the driver in dependence of the vehicle data and from which the means of transport is manually driven away by the driver.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Selbstlokalisation eines Fahrzeugs und eine Verwendung eines solchen Verfahrens anzugeben.The invention is based on the object to provide a comparison with the prior art improved method for self-localization of a vehicle and a use of such a method.

Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Verwendung durch die im Anspruch 4 angegebenen Merkmale gelöst.With regard to the method, the object is achieved by the features specified in claim 1 and in terms of the use by the features specified in claim 4.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

In dem Verfahren zur Selbstlokalisation eines Fahrzeugs werden zeitlich aufeinanderfolgend Bilder erfasst und es wird eine aktuelle Position des Fahrzeugs anhand von Korrespondenzen von Bildmerkmalen aktuell erfasster Bilder mit in einer Datenbank hinterlegten Referenz-Bildmerkmalen und diesen zugeordneten Positionsdaten ermittelt.In the method for self-localization of a vehicle, temporally successive images are acquired and a current position of the vehicle is determined on the basis of correspondences of image features of currently acquired images with reference image features stored in a database and associated position data.

Erfindungsgemäß ist in der Datenbank für einen autonom mittels des Fahrzeugs anfahrbare Stationen umfassenden Betriebshof ein Trajektorienetz mit Weichen und Fahrtrichtungswechselpunkten hinterlegt und die Bilder werden mittels einer an dem Fahrzeug angeordneten und zumindest einen in einer Umgebung des Fahrzeugs befindlichen Bodenbereich erfassenden Kamera erfasst, wobei anhand von Korrespondenzen zwischen den Bildmerkmalen der aktuell erfassten Bilder und den hinterlegten Referenz-Bildmerkmalen und der diesen zugeordneten Positionsdaten eine Position des Fahrzeug innerhalb des Trajektorienetzes ermittelt wird.According to the invention, a trajectory network with switches and change of direction points is stored in the database for a station that can be approached autonomously by means of the vehicle, and the images are recorded by means of a camera arranged on the vehicle and detecting at least one camera located in a surrounding area of the vehicle, with the aid of correspondences a position of the vehicle within the trajectory network is determined between the image features of the currently acquired images and the stored reference image features and their associated position data.

Das Verfahren ermöglicht mit besonders geringem Aufwand eine autonome Fahrt und autonome Rangierprozesse von Fahrzeugen auf Betriebshöfen, wodurch Personal zur Bewegung des Fahrzeugs nicht erforderlich ist. Hierdurch wird beispielsweise ermöglicht, dass Kraftfahrer während einer Be- und Entladung ihres Fahrzeugs eine Fahrpause einlegen.The method allows with very little effort autonomous driving and autonomous maneuvering of vehicles in depots, which personnel for moving the vehicle is not required. In this way, for example, allows drivers during a loading and unloading their vehicle to take a break.

Zur Realisierung des Verfahrens, insbesondere zur Erfassung der Bilder, ist in vorteilhafter Weise bereits eine am Fahrzeug verbaute und für weitere Funktionen verwendete Kamera, beispielsweise eine Front-, Seiten- oder Rückfahrkamera, verwendbar. Hierdurch können eine Mehrfachverwendung oder Multifunktionalität einer solchen Kamera und daraus folgend ein besonders geringer Material- und Kostenaufwand erzielt werden.For the realization of the method, in particular for capturing the images, advantageously already a camera installed on the vehicle and used for other functions, such as a front, side or rear view camera, used. As a result, a multiple use or multi-functionality of such a camera and consequently a particularly low material and cost can be achieved.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert. Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 schematisch eine perspektivische Ansicht eines Fahrzeugs, 1 schematically a perspective view of a vehicle,

2 schematisch ein Blockschaltbild eines ersten Ausführungsbeispiels einer Vorrichtung zur Selbstlokalisation und zum autonomen Fahrbetrieb eines Fahrzeugs, 2 1 is a schematic block diagram of a first exemplary embodiment of a device for self-localization and for the autonomous driving operation of a vehicle.

3 schematisch ein Blockschaltbild eines zweiten Ausführungsbeispiels einer Vorrichtung zur Selbstlokalisation und zum autonomen Fahrbetrieb eines Fahrzeugs, 3 2 is a schematic block diagram of a second exemplary embodiment of a device for self-localization and for the autonomous driving operation of a vehicle.

4 schematisch ein Blockschaltbild eines zweiten Ausführungsbeispiels einer Vorrichtung zur Selbstlokalisation und zum autonomen Fahrbetrieb eines Fahrzeugs, 4 2 is a schematic block diagram of a second exemplary embodiment of a device for self-localization and for the autonomous driving operation of a vehicle.

5 schematisch eine Draufsicht auf einen Betriebshof, 5 schematically a plan view of a depot,

6 schematisch ein Fahrzeug und eine Datenbank während einer Einlernfahrt, 6 schematically a vehicle and a database during a Einlernfahrt,

7 schematisch ein Fahrzeug und eine Datenbank während einer ersten Fahrt, 7 schematically a vehicle and a database during a first trip,

8 schematisch ein Fahrzeug und eine Datenbank während einer zweiten Fahrt und 8th schematically a vehicle and a database during a second trip and

9 schematisch erfasste Korrespondenzen zwischen Bildmerkmalen und hinterlegten Referenz-Bildmerkmalen. 9 schematically recorded correspondences between image features and stored reference image features.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

In 1 ist in einer perspektivischen Heckansicht ein Fahrzeug 1 dargestellt, wobei das Fahrzeug 1 zur Ausführung eines autonomen Fahrbetriebs ausgebildet ist. Das Fahrzeug 1 umfasst eine am Fahrzeugheck angeordnete und im Wesentlichen nach unten zu einem Boden B ausgerichtete Kamera 2 mit einem Erfassungsbereich E, welche beispielsweise eine so genannte Rückfahrkamera ist. Der Erfassungsbereich E ist dabei derart ausgebildet, dass dieser zumindest einen hinter dem Fahrzeug 1 befindlichen Bodenbereich B1 abdeckt.In 1 is a vehicle in a perspective rear view 1 shown, the vehicle 1 is designed to carry out an autonomous driving operation. The vehicle 1 comprises a camera arranged at the rear of the vehicle and directed substantially downwards to a floor B. 2 with a detection area E, which is for example a so-called reversing camera. The detection area E is designed such that this at least one behind the vehicle 1 covering the floor area B1.

Alternativ zu der Ausbildung der Kamera 2 als Rückfahrkamera ist diese in nicht näher dargestellten Ausführungsbeispielen als eine Front- oder Seitenkamera mit einem Erfassungsbereich E ausgebildet, welcher zumindest einen vor oder seitlich neben dem Fahrzeug 1 befindlichen Bodenbereich B1 abdeckt. Auch können mehrere Kameras 2 mit unterschiedlichen Erfassungsbereichen E vorgesehen sein.Alternatively to the training of the camera 2 As a rear view camera this is not shown in detail as a front or side camera with a detection range E formed, which at least one before or laterally next to the vehicle 1 covering the floor area B1. Also, you can have multiple cameras 2 be provided with different detection areas E.

2 zeigt ein mögliches erstes Ausführungsbeispiel einer Vorrichtung 3 zur Selbstlokalisation und zum autonomen Fahrbetrieb des Fahrzeugs 1. 2 shows a possible first embodiment of a device 3 for self-localization and autonomous driving of the vehicle 1 ,

Die Vorrichtung 3 umfasst die Kamera 2, mittels welcher zeitlich aufeinanderfolgend Bilder P erfasst werden. Die Bilder P werden an eine innerhalb des Fahrzeugs 1 angeordnete Anzeigeeinheit 4 zu einer Überwachung einer hinter dem Fahrzeug 1 befindlichen Umgebung übermittelt.The device 3 includes the camera 2 , by means of which temporally successive images P are detected. The pictures P are sent to one inside the vehicle 1 arranged display unit 4 to a monitoring one behind the vehicle 1 transmitted environment.

Weiterhin werden die Bilder P an eine Recheneinheit 5 übermittelt, mittels welcher eine aktuelle Position des Fahrzeugs 1 innerhalb eines in 5 näher dargestellten Betriebshofs D anhand von in 9 näher dargestellten Korrespondenzen K1 bis K4 von Bildmerkmalen der aktuell erfassten Bilder P mit in einer Datenbank 6 hinterlegten Referenz-Bildmerkmalen von Referenzbildern RP und diesen zugeordneten Positionsdaten POS ermittelt wird.Furthermore, the images P to a computing unit 5 transmitted, by means of which a current position of the vehicle 1 within an in 5 illustrated depot D based on in 9 Correspondences shown K1 to K4 of image features of the currently captured images P in a database 6 stored reference image features of reference images RP and this associated position data POS is determined.

Dabei ist in der Datenbank 6 für den zumindest einen Betriebshof D eine Topografie in Form eines Trajektorienetzes N1 hinterlegt, wobei anhand der Korrespondenzen K1 bis K4 zwischen den Bildmerkmalen und den Referenz-Bildmerkmalen und der diesen zugeordneten Positionsdaten POS die Position des Fahrzeugs 1 innerhalb des Trajektorienetzes N1 ermittelt wird.It is in the database 6 for the at least one depot D, a topography in the form of a trajectory network N1 is deposited, with reference to the correspondences K1 to K4 between the image features and the reference image features and their associated position data POS, the position of the vehicle 1 within the trajectory network N1.

In Abhängigkeit der ermittelten Position und einer Zielposition des Fahrzeugs 1 im Trajektorienetz N1 werden mittels der Recheneinheit 5 Steuerinformationen I erzeugt und an eine Steuereinheit 7 übermittelt. Mittels der Steuereinheit 7 werden Aktoren 8 bis 11 zur Ansteuerung eines Antriebs, einer Bremse, einer Lenkung und/oder eines Getriebes des Fahrzeugs 1 derart angesteuert, dass das Fahrzeug 1 autonom auf dem Betriebshof D zu zumindest einem Zielort bewegt wird.Depending on the determined position and a target position of the vehicle 1 in the trajectory network N1 be by means of the arithmetic unit 5 Control information I generated and to a control unit 7 transmitted. By means of the control unit 7 become actors 8th to 11 for controlling a drive, a brake, a steering and / or a transmission of the vehicle 1 so controlled that the vehicle 1 is moved autonomously on the depot D to at least one destination.

In 3 ist ein mögliches zweites Ausführungsbeispiel einer Vorrichtung 3 zur Selbstlokalisation und zum autonomen Fahrbetrieb des Fahrzeugs 1 dargestellt.In 3 is a possible second embodiment of a device 3 for self-localization and autonomous driving of the vehicle 1 shown.

Im Unterschied zu dem in 2 dargestellten ersten Ausführungsbeispiel der Vorrichtung 3 sind in der Datenbank 6 oder in mehreren Datenbanken 6 mehrere Trajektorienetze N1 bis N4 hinterlegt. Eine Übertragung der zum jeweiligen Trajektorienetz N1 bis N4 zugehörigen Referenz-Bildmerkmale und Positionsdaten POS der Referenzbilder RP an die Recheneinheit 5 erfolgt anhand einer mittels einer Positionsbestimmungseinheit 12 ermittelten Position des Fahrzeugs 1, beispielsweise einer mittels eines globalen Satellitennavigationssystems ermittelten GPS-Position des Fahrzeugs 1.Unlike the in 2 illustrated first embodiment of the device 3 are in the database 6 or in multiple databases 6 several trajectory networks N1 to N4 deposited. A transmission of the respective trajectory network N1 to N4 associated reference image features and position data POS of the reference images RP to the computing unit 5 takes place by means of a position determination unit 12 determined position of the vehicle 1 for example, a GPS position of the vehicle determined by a global navigation satellite system 1 ,

4 zeigt ein mögliches drittes Ausführungsbeispiel einer Vorrichtung 3 zur Selbstlokalisation und zum autonomen Fahrbetrieb des Fahrzeugs 1. 4 shows a possible third embodiment of a device 3 for self-localization and autonomous driving of the vehicle 1 ,

Im Unterschied zu dem in 3 dargestellten ersten Ausführungsbeispiel der Vorrichtung 3 sind in der Datenbank 6 oder in mehreren Datenbanken 6 mehrere Trajektorienetze N1 bis N4 hinterlegt. Dabei ist die Datenbank 6 mit dem jeweiligen Trajektorienetz N1 bis N4 auf einem mobilen Speichermedium, insbesondere einer so genannten Speicherkarte oder einem Speicherstick, hinterlegt. Zur Durchführung des autonomen Fahrbetriebs des Fahrzeugs 1 wird das Speichermedium mit einer im oder am Fahrzeug 1 befindlichen Schnittstelle 13 gekoppelt und auf dem Speichermedium gespeicherte Daten werden von der Recheneinheit 5 ausgelesen.Unlike the in 3 illustrated first embodiment of the device 3 are in the database 6 or in multiple databases 6 several trajectory networks N1 to N4 deposited. Here is the database 6 with the respective Trajektorienetz N1 to N4 on a mobile storage medium, in particular a so-called memory card or a memory stick deposited. To carry out the autonomous driving operation of the vehicle 1 is the storage medium with a in or on the vehicle 1 located interface 13 coupled and stored on the storage medium data are from the arithmetic unit 5 read.

In 5 ist in einer Draufsicht ein Betriebshof D mit einem Trajektorienetz N1 dargestellt. Der Betriebshof D umfasst mehrere mittels des Fahrzeugs 1 autonom anfahrbare Stationen S1 bis S4. Dabei umfasst die Station S1 im dargestellten Ausführungsbeispiel mehrere Parkplätze. Die Station S2 ist im dargestellten Ausführungsbeispiel eine Entladestation zur Entladung des Fahrzeugs 1 und die Station S3 eine Beladestation zur Beladung des Fahrzeugs 1. Die Station S4 ist eine so genannte Dropoff-/Pickup-Station, an welcher das Fahrzeug 1 von seinem Nutzer zum autonomen Fahrbetrieb an den Betriebshof D bzw. in dessen Trajektorienetz N1 übergeben wird.In 5 a depot D with a trajectory N1 is shown in a plan view. The depot D comprises several by means of the vehicle 1 autonomously approachable stations S1 to S4. In the illustrated embodiment, the station S1 comprises several parking spaces. The station S2 is in the illustrated embodiment, an unloading station for discharging the vehicle 1 and the station S3, a loading station for loading the vehicle 1 , The station S4 is a so-called drop-off / pickup station on which the vehicle 1 is handed over by its user for autonomous driving to the depot D or in its trajectory N1.

Das Trajektorienetz N1 umfasst mehrere virtuelle Weichen W1 bis W3 und Fahrtrichtungswechselpunkte X1 bis X7, welche Knotenpunkte und/oder Endpunkte an oder zwischen Trajektorieabschnitten des Trajektorienetzes N1 bilden. Das Trajektorienetz N1 bildet somit ein virtuelles Gleisnetz mit mehreren Gleisen, welche sich überschneiden können. Auf diesem Gleisnetz ist ein autonomer Fahrbetrieb des Fahrzeugs 1 anhand der ermittelten Position desselben innerhalb des Gleisnetzes, d. h. Trajektorienetzes N1, möglich.The trajectory network N1 comprises a plurality of virtual points W1 to W3 and direction change points X1 to X7, which form nodes and / or end points at or between trajectory sections of the trajectory network N1. The trajectory N1 thus forms a virtual track network with multiple tracks, which can overlap. On this rail network is an autonomous driving operation of the vehicle 1 based on the determined position of the same within the rail network, ie Trajektorienetzes N1 possible.

Zur Ermittlung einer aktuellen Position des Fahrzeugs 1 anhand der Bildmerkmale und Referenz-Bildmerkmale ist eine ausreichende Beleuchtung des Betriebshofes D durch das Fahrzeug 1 selbst und/oder betriebshofeigene Beleuchtungsvorrichtungen erforderlich.To determine a current position of the vehicle 1 Based on the image features and reference image features is sufficient illumination of the depot D by the vehicle 1 self and / or factory lighting devices required.

Weiterhin ist es erforderlich, dass der Boden B des Betriebshofes D eine möglichst zufällige und unterscheidbare Bodenstruktur und/oder Bodenoberfläche aufweist, damit charakteristische Bildmerkmale erfassbar sind. Hierzu sind in einer möglichen Ausgestaltung auf einer Bodenoberfläche beständige und mittels Kamera 2 erfassbare zufällige Muster und/oder Markierungen aufgebracht.Furthermore, it is necessary for the floor B of the depot D to have as random and distinguishable a floor structure and / or floor surface as possible, so that characteristic image features can be detected. For this purpose, in a possible embodiment on a soil surface resistant and by means of camera 2 detectable random patterns and / or markings applied.

Im Folgenden wird ein mögliches Ausführungsbeispiel eines Ablaufs von einer Abgabe des Fahrzeugs 1 an dem Betriebshof D bis zu dessen Abholung beschrieben: Zunächst wird das Fahrzeug 1 an der Station S3 vom Fahrer abgegeben. Anschließend erfolgt eine Auslösung des autonomen Fahrbetriebs, beispielsweise per Smartphone. Das Trajektorienetz N1 ist entweder innerhalb des Fahrzeugs 1 in der Datenbank 6 hinterlegt oder wird an der Station S3 drahtlos oder mittels eines Speichermediums an das Fahrzeug 1 übertragen. Anschließend erfolgt die autonome Fahrt des Fahrzeugs 1 zu zumindest einer der Stationen S1, S2, S4 und nach erfolgter Durchführung der vorgesehenen Tätigkeiten, wie beispielsweise Beladen, Entladen, Waschen, Tanken o. ä., erfolgt eine autonome Rückfahrt des Fahrzeugs 1 zur Station S3 zu dessen Abholung.In the following, one possible embodiment of a procedure of a delivery of the vehicle 1 described at the depot D until its pickup: First, the vehicle 1 delivered by the driver at the station S3. Subsequently, a release of the autonomous driving operation, for example by smartphone. The trajectory network N1 is either inside the vehicle 1 in the database 6 deposited or is at the station S3 wirelessly or by means of a storage medium to the vehicle 1 transfer. Subsequently, the autonomous drive of the vehicle takes place 1 to at least one of the stations S1, S2, S4 and after completion of the intended activities, such as loading, unloading, washing, refueling o. Ä., An autonomous return trip of the vehicle takes place 1 to station S3 to pick it up.

6 zeigt in einer Draufsicht ein Fahrzeug 1 und eine Datenbank 6 während einer Einlernfahrt des Fahrzeugs 1. Während dieser Einlernfahrt wird das Fahrzeug 1 manuell von einer Startposition POS1 zu einer Zielposition POS2 auf dem Betriebshof D gesteuert, wobei mittels der Kamera 2 fortlaufend und zeitlich aufeinanderfolgend Bilder P im Erfassungsbereich E erfasst werden, wobei die Zeitabstände zwischen den einzelnen Bilderfassungen derart gewählt sind, dass sich die Erfassungsbereiche E und somit die Bilder P überlappen. Diese Bilder P werden an die Datenbank 6 übermittelt und als Referenzbilder RP gespeichert. Somit ist das Einlernen einer Trajektorie im jeweiligen Trajektorienetz N1 bis N4 durch eine Einlernfahrt möglich. 6 shows a vehicle in a plan view 1 and a database 6 during a learning run of the vehicle 1 , During this Einlernfahrt the vehicle 1 controlled manually from a start position POS1 to a destination position POS2 on the depot D, wherein by means of the camera 2 consecutively and temporally successively images P are detected in the detection area E, wherein the time intervals between the individual image frames are selected such that the detection areas E and thus the images P overlap. These images P will be sent to the database 6 transmitted and stored as reference images RP. Thus, it is possible to learn a trajectory in the respective trajectory network N1 to N4 by means of a training run.

Solche Einlernfahrten und ein autonomer Fahrbetrieb des Fahrzeugs 1 sind dabei für einstückige oder mehrstückige Betriebshöfe D bzw. Betriebshöfe D mit einer Etage oder mehreren Etagen möglich.Such Einlernfahrten and autonomous driving of the vehicle 1 are possible for one-piece or multi-piece depots D or depots D with one or more floors.

Finden während der Einlernfahrt Mehrfachüberfahrungen gleicher Positionen statt, so werden die erfassten Bilder P als Referenzbilder RP für parallele Mehrfachtrajektorien oder Mehrfachgleise als Alternativen hinterlegt.If multiple passes of the same positions take place during the teach-in drive, the captured images P are stored as reference images RP for parallel multiple trajectories or multiple tracks as alternatives.

Mittels eines solchen Einlernvorgangs ist es in einfacher Weise möglich, auch zusätzliche Trajektorieabschnitte oder Gleisabschnitte nachträglich in ein Trajektorienetz N1 bis N4 aufzunehmen. Somit wird beispielsweise ermöglicht, temporäre oder dauerhafte Modifikationen am Betriebshof D und somit an dessen Trajektorienetz N1 bis N4 zu berücksichtigen.By means of such a learning process, it is possible in a simple manner to include additional trajectory sections or track sections subsequently in a trajectory network N1 to N4. Thus, for example, it is possible to take into account temporary or permanent modifications to the depot D and thus to its trajectory network N1 to N4.

In 7 sind das Fahrzeug 1 und die Datenbank 6 gemäß 6 während einer ersten Fahrt dargestellt, wobei sich das Fahrzeug 1 weit abseits der während der Einlernfahrt überfahrenen zwischen der Startposition POS1 und Zielposition POS2 befindlichen Trajektorie befindet. Hierbei werden von der Recheneinheit 5 keine Korrespondenzen K1 bis K4 zwischen den aktuell erfassten Bildmerkmalen und den in den Referenzbildern RP enthaltenen Referenz-Bildmerkmalen erfasst. In 7 are the vehicle 1 and the database 6 according to 6 shown during a first trip, with the vehicle 1 far away from the trajectory traversed during the teach-in drive between the starting position POS1 and the target position POS2. Here are of the arithmetic unit 5 detects no correspondences K1 to K4 between the currently acquired image features and the reference image features contained in the reference images RP.

8 zeigt das Fahrzeug 1 und die Datenbank 6 gemäß 6 während einer zweiten Fahrt dargestellt, wobei sich das Fahrzeug 1 auf oder nahe der während der Einlernfahrt überfahrenen zwischen der Startposition POS1 und Zielposition POS2 befindlichen Trajektorie befindet. Hierbei werden von der Recheneinheit 5 gemäß 9 Korrespondenzen K1 bis K4 zwischen den aktuell erfassten Bildmerkmalen und den in den Referenzbildern RP enthaltenen Referenz-Bildmerkmalen erfasst. Anhand der zugehörigen hinterlegten Positionsdaten POS erfolgt die Selbstlokalisation eines Fahrzeugs 1 und der autonome Fahrbetrieb bis zum Erreichen der Zielposition POS2. 8th shows the vehicle 1 and the database 6 according to 6 shown during a second trip, with the vehicle 1 is located on or near the trajectory traversed during the teach-in drive between the start position POS1 and the target position POS2. Here are of the arithmetic unit 5 according to 9 Correspondences K1 to K4 detected between the currently detected image features and the reference images contained in the reference image RP features. The self-localization of a vehicle takes place on the basis of the associated stored position data POS 1 and the autonomous driving operation until reaching the target position POS2.

In 9 sind ein hinterlegtes Referenzbild RP und ein aktuell erfasstes Bild P sowie erfasste Korrespondenzen K1 bis K4 zwischen Bildmerkmalen und hinterlegten Referenz-Bildmerkmalen dargestellt. Anhand einer Translation und/oder Rotation zwischen den korrespondierenden Bildmerkmalen und Referenz-Bildmerkmalen sowie daraus folgend der gelernten Position und einer aktuellen Position des Fahrzeugs 1 erfolgt dessen Lokalisierung innerhalb des Betriebshofes D.In 9 are a stored reference image RP and a currently acquired image P and detected correspondences shown K1 to K4 between image features and stored reference image features. Based on a translation and / or rotation between the corresponding image features and reference image features, and consequently the learned position and a current position of the vehicle 1 its location takes place within the depot D.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
22
Kameracamera
33
Vorrichtungcontraption
44
Anzeigeeinheitdisplay unit
55
Recheneinheitcomputer unit
66
DatenbankDatabase
77
Steuereinheitcontrol unit
8 bis 118 to 11
Aktoractuator
1212
PositionsbestimmungseinheitPosition Determination Entity
1313
Schnittstelleinterface
BB
Bodenground
B1B1
Bodenbereichfloor area
DD
Betriebshofdepot
Ee
Erfassungsbereichdetection range
II
Steuerinformationtax information
K1 bis K4K1 to K4
KorrespondenzCorrespondence
N1 bis N4N1 to N4
TrajektorienetzTrajektorienetz
PP
Bildimage
POSPOS
Positionsdatenposition data
POS1POS1
Startpositionstarting position
POS2POS2
Zielpositiontarget position
RPRP
Referenzbildreference image
S1 bis S4S1 to S4
Stationstation
W1 bis W3W1 to W3
Weicheswitch
X1 bis X7X1 to X7
FahrtrichtungswechselpunktDirection change point

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102013003117 A1 [0003] DE 102013003117 A1 [0003]
  • DE 10322765 A1 [0004] DE 10322765 A1 [0004]

Claims (4)

Verfahren zur Selbstlokalisation eines Fahrzeugs (1), – wobei zeitlich aufeinanderfolgend Bilder (P) erfasst werden und – eine aktuelle Position des Fahrzeugs (1) anhand von Korrespondenzen (K1 bis K4) von Bildmerkmalen aktuell erfasster Bilder (P) mit in einer Datenbank (6) hinterlegten Referenz-Bildmerkmalen und diesen zugeordneten Positionsdaten (POS) ermittelt wird, dadurch gekennzeichnet, dass – in der Datenbank (6) für einen autonom mittels des Fahrzeugs (1) anfahrbare Stationen (S1 bis S4) umfassenden Betriebshof (D) ein Trajektorienetz (N1 bis N4) mit Weichen (W1 bis W3) und Fahrtrichtungswechselpunkten (X1 bis X7) hinterlegt ist und – die Bilder (P) mittels einer an dem Fahrzeug (1) angeordneten und zumindest einen in einer Umgebung des Fahrzeugs (1) befindlichen Bodenbereich (B1) erfassenden Kamera (2) erfasst werden, – wobei anhand von Korrespondenzen (K1 bis K4) zwischen den Bildmerkmalen der aktuell erfassten Bilder (P) und den hinterlegten Referenz-Bildmerkmalen und der diesen zugeordneten Positionsdaten (POS) eine Position des Fahrzeugs (1) innerhalb des Trajektorienetzes (N1 bis N4) ermittelt wird.Method for self-localization of a vehicle ( 1 ), Wherein temporally successive images (P) are detected and - a current position of the vehicle ( 1 ) on the basis of correspondences (K1 to K4) of image features of currently acquired images (P) in a database ( 6 ) stored reference image features and these associated position data (POS) is determined, characterized in that - in the database ( 6 ) for autonomous use of the vehicle ( 1 ) traversable stations (S1 to S4) comprehensive depot (D) a Trajektorienetz (N1 to N4) with points (W1 to W3) and reversing points (X1 to X7) is deposited and - the images (P) by means of a vehicle ( 1 ) and at least one in an environment of the vehicle ( 1 ) located in the bottom area (B1) detecting camera ( 2 ) are detected on the basis of correspondences (K1 to K4) between the image features of the currently captured images (P) and the stored reference image features and their associated position data (POS) a position of the vehicle ( 1 ) within the trajectory network (N1 to N4). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Kamera (2) eine Rückfahrkamera verwendet wird.Method according to claim 1, characterized in that as camera ( 2 ) a rear view camera is used. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Bildmerkmale auf einer Bodenoberfläche vorhandene, zumindest in einem vorgegebenen Zeitraum zumindest im Wesentlichen beständige und mittels der Kamera (2) erfassbare Muster und/oder Markierungen verwendet werden.A method according to claim 1 or 2, characterized in that as image features on a soil surface existing, at least substantially for a predetermined period of time resistant and by means of the camera ( 2 ) detectable patterns and / or markings are used. Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche zur autonomen Längs- und Quersteuerung eines Fahrzeugs (1) auf einem Betriebshof (D).Use of a method according to one of the preceding claims for the autonomous longitudinal and lateral control of a vehicle ( 1 ) on a depot (D).
DE102016000588.2A 2016-01-21 2016-01-21 Method for self-localization of a vehicle Withdrawn DE102016000588A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016000588.2A DE102016000588A1 (en) 2016-01-21 2016-01-21 Method for self-localization of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016000588.2A DE102016000588A1 (en) 2016-01-21 2016-01-21 Method for self-localization of a vehicle

Publications (1)

Publication Number Publication Date
DE102016000588A1 true DE102016000588A1 (en) 2016-07-21

Family

ID=56293872

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016000588.2A Withdrawn DE102016000588A1 (en) 2016-01-21 2016-01-21 Method for self-localization of a vehicle

Country Status (1)

Country Link
DE (1) DE102016000588A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017009967A1 (en) 2017-10-26 2018-03-29 Daimler Ag sensor module
DE102018001865A1 (en) 2018-03-08 2018-09-20 Daimler Ag Method and device for transmitting sensor data between a tractor and at least one trailing trailer
DE102018205142A1 (en) 2018-04-05 2019-10-10 Audi Ag Method for detecting a current position of a motor vehicle, device for carrying out the method and motor vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10322765A1 (en) 2003-05-19 2005-01-05 Daimlerchrysler Ag Automated freight yard
DE102013003117A1 (en) 2013-02-25 2013-08-29 Daimler Ag Method for self localization of vehicle and for detecting objects in surrounding of passenger car, involves determining position of vehicle from position data when image characteristics coincide with comparison characteristics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10322765A1 (en) 2003-05-19 2005-01-05 Daimlerchrysler Ag Automated freight yard
DE102013003117A1 (en) 2013-02-25 2013-08-29 Daimler Ag Method for self localization of vehicle and for detecting objects in surrounding of passenger car, involves determining position of vehicle from position data when image characteristics coincide with comparison characteristics

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017009967A1 (en) 2017-10-26 2018-03-29 Daimler Ag sensor module
DE102018001865A1 (en) 2018-03-08 2018-09-20 Daimler Ag Method and device for transmitting sensor data between a tractor and at least one trailing trailer
DE102018205142A1 (en) 2018-04-05 2019-10-10 Audi Ag Method for detecting a current position of a motor vehicle, device for carrying out the method and motor vehicle

Similar Documents

Publication Publication Date Title
EP3181422B1 (en) Method and system for automatically guiding a follow vehicle with a scout vehicle
DE102013207899A1 (en) Automated guided vehicle, system with a computer and a driverless transport vehicle, method for planning a virtual lane and method for operating a driverless transport vehicle
DE102015201209A1 (en) Valet parking method and valet parking system
EP3268826A1 (en) Guiding of a motor vehicle in a parking lot
DE102017123848A1 (en) Automatic parking of a vehicle in a parking lot
DE102015203016A1 (en) Method and device for optical self-localization of a motor vehicle in an environment
DE102016222259A1 (en) Method and system for providing data for a first and second trajectory
DE102013207895A1 (en) Driverless transport vehicle, system with a computer and a driverless transport vehicle, method for operating a driverless transport vehicle
DE102016124065A1 (en) Method for the autonomous maneuvering of a motor vehicle on a parking area with determination of a driving tube on the basis of a digital map, infrastructure device, driver assistance systems, motor vehicle and communication system
DE102015004923A1 (en) Method for self-localization of a vehicle
DE102018216110A1 (en) Method and device for providing an environment image of an environment of a mobile device and motor vehicle with such a device
DE102017118651A1 (en) Method and system for collision avoidance of a vehicle
DE102013011824A1 (en) Method for determining and updating a debit card in a parking area
DE102016000588A1 (en) Method for self-localization of a vehicle
DE102015011467A1 (en) Method of creating a digital map of a parking space
DE102016012345A1 (en) Method for recognizing objects
EP3274979A1 (en) Method for recognizing movements of objects in a vehicle parking area
WO2017036639A1 (en) Method and device for operating multiple consecutively parked motor vehicles
DE102015014614A1 (en) Method for carrying out an autonomous drive of a vehicle
DE102017220291A1 (en) Method for automatically guiding a vehicle along a virtual rail system
DE102017217827A1 (en) Parking vehicle and method for transporting and parking a vehicle
DE102017118741A1 (en) A method for operating a motor vehicle in an environment with limited access to a navigation satellite system, driver assistance system and motor vehicle
DE102020201785A1 (en) Marker to define the movement trajectory of a vehicle
WO2018059735A1 (en) Method for the self-location of a vehicle
DE102017124661A1 (en) A method for assisting a user of a motor vehicle when parking in a parking lot, corresponding computer program product, corresponding driver assistance device and corresponding motor vehicle

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee