DE102022130010A1 - METHOD FOR LOCALIZING A VEHICLE - Google Patents

METHOD FOR LOCALIZING A VEHICLE Download PDF

Info

Publication number
DE102022130010A1
DE102022130010A1 DE102022130010.2A DE102022130010A DE102022130010A1 DE 102022130010 A1 DE102022130010 A1 DE 102022130010A1 DE 102022130010 A DE102022130010 A DE 102022130010A DE 102022130010 A1 DE102022130010 A1 DE 102022130010A1
Authority
DE
Germany
Prior art keywords
features
img
vehicle
assigned
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022130010.2A
Other languages
German (de)
Inventor
Stefanie Prinzhausen
Cedric Langer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102022130010.2A priority Critical patent/DE102022130010A1/en
Priority to PCT/EP2023/081097 priority patent/WO2024104851A1/en
Publication of DE102022130010A1 publication Critical patent/DE102022130010A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zur Lokalisierung eines Fahrzeugs (100) entlang einer Trajektorie (TR), aufweisend:a) Aufnehmen eines Ist-Bildes (IMGIST) einer Umgebung (200) des Fahrzeugs (100);b) Vergleichen des aufgenommenen Bildes (IMGIST) mit einer Anzahl von Referenzbildern (IMGR1- IMGR3), umfassend:Erkennen einer Anzahl Merkmale (M1, M2) in dem Ist-Bild (IMGIST) und den Referenzbildern (IMGR1- IMGR3);Klassifizieren der Anzahl Merkmale (M1, M2) in zumindest einem von dem Ist-Bild (IMGIST) und den Referenzbildern (IMGR1- IMGR3);Ermitteln einer Anzahl mit der Anzahl Merkmale (M1, M2) in zumindest einem von dem Ist-Bild (IMGIST) und den Referenzbildern (IMGR1- IMGR3) übereinstimmender Merkmale (M1', M2') in dem jeweils anderen von dem zumindest einem von dem Ist-Bild (IMGIST) und den Referenzbildern (IMGR1- IMGR3);Bewerten der Anzahl überstimmender Merkmale (M1', M2') in Abhängigkeit der Klassifizierung; undc) Lokalisieren des Fahrzeugs (100) entlang der Trajektorie (TR) in Abhängigkeit des Vergleichs gemäß Schritt b).Method for localizing a vehicle (100) along a trajectory (TR), comprising:a) recording an actual image (IMGIST) of an environment (200) of the vehicle (100);b) comparing the recorded image (IMGIST) with a number of reference images (IMGR1- IMGR3), comprising:detecting a number of features (M1, M2) in the actual image (IMGIST) and the reference images (IMGR1- IMGR3);classifying the number of features (M1, M2) in at least one of the actual image (IMGIST) and the reference images (IMGR1- IMGR3);determining a number of features (M1', M2') that match the number of features (M1, M2) in at least one of the actual image (IMGIST) and the reference images (IMGR1- IMGR3) in the other of the at least one of the actual image (IMGIST) and the reference images (IMGR1- IMGR3);Evaluating the number of matching features (M1', M2') depending on the classification; andc) locating the vehicle (100) along the trajectory (TR) depending on the comparison according to step b).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Lokalisieren eines Fahrzeugs, ein Computerprogrammprodukt, ein Steuergerät und ein Fahrzeug.The present invention relates to a method for locating a vehicle, a computer program product, a control device and a vehicle.

Bei Parkvorgängen, insbesondere beim Einparken in Lücken oder Garagen, die nur wenig breiter als das Fahrzeug selbst sind, kommt es zu Situationen, in denen ein Fahrer des Fahrzeugs das Fahrzeug nicht mehr verlassen kann, da sich eine Fahrzeugtür auf Grund des fehlenden Platzes nicht mehr öffnen lässt. Ein autonomes oder semi-autonom einparkendes Fahrzeug kann dazu beitragen, dieses Problem zu verhindern.When parking, especially when parking in spaces or garages that are only slightly wider than the vehicle itself, situations arise in which a driver of the vehicle can no longer leave the vehicle because a vehicle door can no longer be opened due to a lack of space. An autonomous or semi-autonomous parking vehicle can help prevent this problem.

Fahrerassistenzsysteme und semi-autonome beziehungsweise autonome Fahrzeuge, die Einparkvorgänge, insbesondere bei geringen Geschwindigkeiten, durchführen, sind beispielsweise aus der DE 10 2020 132 433 A1 bekannt. Dabei wird eine Trajektorie, die den Weg von einer Startposition in eine Endposition beschreibt, in einem Trainingsmodus angelernt, wobei dabei zumindest ein Referenzbild einer Umgebung des Fahrzeugs einer Referenzposition entlang der Trajektorie zugeordnet wird. Bei einem semi-autonomen beziehungsweise autonomen Nachfahren der angelernten Trajektorie werden Objekte auf einem aktuellen aufgenommenen Bild mit Objekten in den Referenzbildern verglichen und so die aktuelle Position des Fahrzeugs ermittelt.Driver assistance systems and semi-autonomous or autonomous vehicles that perform parking maneuvers, especially at low speeds, are, for example, EN 10 2020 132 433 A1 known. A trajectory that describes the path from a starting position to an end position is learned in a training mode, whereby at least one reference image of the vehicle's surroundings is assigned to a reference position along the trajectory. In a semi-autonomous or autonomous tracing of the learned trajectory, objects in a currently recorded image are compared with objects in the reference images and the current position of the vehicle is determined in this way.

Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, die Lokalisierung des Fahrzeugs entlang der Trajektorie zu verbessern.Against this background, an object of the present invention is to improve the localization of the vehicle along the trajectory.

Gemäß einem ersten Aspekt wird ein Verfahren zur Lokalisierung eines Fahrzeugs entlang einer Trajektorie bereitgestellt. Das Verfahren weist die Folgenden Schritte auf:

  1. a) Aufnehmen eines Ist-Bildes einer Umgebung des Fahrzeugs;
  2. b) Vergleichen des aufgenommenen Bildes mit einer Anzahl von Referenzbildern, umfassend:
    • Erkennen einer Anzahl Merkmale in dem Ist-Bild und den Referenzbildern;
    • Klassifizieren der Anzahl Merkmale in zumindest einem von dem Ist-Bild und den Referenzbildern;
    • Ermitteln einer Anzahl mit der Anzahl Merkmale in zumindest einem von dem Ist-Bild und den Referenzbildern übereinstimmender Merkmale in dem jeweils anderen von dem zumindest einem von dem Ist-Bild und den Referenzbildern;
    • Bewerten der Anzahl übereinstimmender Merkmale in Abhängigkeit der Klassifizierung; und
  3. c) Lokalisieren des Fahrzeugs entlang der Trajektorie in Abhängigkeit des Vergleichs gemäß Schritt b).
According to a first aspect, a method for locating a vehicle along a trajectory is provided. The method comprises the following steps:
  1. a) Taking an actual image of the vehicle’s surroundings;
  2. b) comparing the captured image with a number of reference images, comprising:
    • Detecting a number of features in the actual image and the reference images;
    • classifying the number of features in at least one of the actual image and the reference images;
    • Determining a number of features in the other of the at least one of the actual image and the reference images that match the number of features in at least one of the actual image and the reference images;
    • Evaluating the number of matching features depending on the classification; and
  3. c) Localizing the vehicle along the trajectory depending on the comparison according to step b).

Das Verfahren hat den Vorteil, dass ein Fahrzeug in Abhängigkeit einer klassifizierten Anzahl Merkmale lokalisiert wird. Damit kann die Lokalisierung eines Fahrzeugs entlang einer Trajektorie verbessert durchgeführt werden. Dies ist besonders vorteilhaft für die Lokalisierung des Fahrzeugs in einer unstetigen Umgebung.The method has the advantage that a vehicle is localized depending on a classified number of features. This improves the localization of a vehicle along a trajectory. This is particularly advantageous for localizing the vehicle in an unsteady environment.

Ein autonomes oder semi-autonomes Betreiben des Fahrzeugs, beispielsweise zum Einparken, kann dadurch verbessert werden.Autonomous or semi-autonomous operation of the vehicle, for example for parking, can be improved in this way.

Das Fahrzeug ist zum Beispiel ein Kraftfahrzeug, wie beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen.The vehicle is, for example, a motor vehicle, such as a passenger car or a truck.

Der Vergleich des Ist-Bildes mit einer Anzahl von Referenzbildern, wobei die Anzahl von Referenzbildern zumindest zwei beträgt, umfasst ein Erkennen einer Anzahl Merkmale in dem Ist-Bild und den Referenzbildern, wobei die Anzahl erkannter Merkmale zumindest eins beträgt. Ein Merkmal kann dabei beispielsweise ein Objekt sein, oder aber auch ein Teil eines Objekts.The comparison of the actual image with a number of reference images, the number of reference images being at least two, includes recognizing a number of features in the actual image and the reference images, the number of recognized features being at least one. A feature can be an object, for example, or a part of an object.

Die Anzahl der Referenzbilder beträgt zumindest zwei, wobei die Anzahl der Referenzbilder von der Trajektorie abhängt. Beispielsweise weist eine komplexe Trajektorie, die Kurven und Hindernisse umfasst, eine größere Anzahl Referenzbilder auf als eine Trajektorie, bei der ausschließlich geradeaus gefahren wird. Bei der komplexen Trajektorie muss die Lokalisierung des Fahrzeugs in einer engeren Taktung überprüft werden, um ein exaktes Ab- beziehungsweise Nachfahren der Trajektorie abzusichern, weshalb eine größere Anzahl an Referenzbildern notwendig ist als bei der ausschließlich geraden Trajektorie.The number of reference images is at least two, whereby the number of reference images depends on the trajectory. For example, a complex trajectory that includes curves and obstacles has a larger number of reference images than a trajectory that only drives straight ahead. With the complex trajectory, the location of the vehicle must be checked more frequently to ensure that the trajectory is followed precisely, which is why a larger number of reference images are necessary than with the only straight trajectory.

Die Klassifizierung der Anzahl Merkmale kann beispielsweise anhand einer Objekterkennung durchgeführt werden, wobei die Objekterkennung als neuronales Netz ausgebildet sein kann. Die Klassifizierung kann dabei in dem Ist-Bild und/oder in den Referenzbildern durchgeführt werden.The classification of the number of features can be carried out, for example, using object recognition, whereby the object recognition can be designed as a neural network. The classification can be carried out in the actual image and/or in the reference images.

Beim Ermitteln einer Anzahl übereinstimmender Merkmale kann die Anzahl der Merkmale in dem Ist-Bild mit der Anzahl der Merkmale in den Referenzbildern verglichen werden. Es kann auch die Anzahl der Merkmale in den Referenzbildern mit der Anzahl der Merkmale in dem Ist-Bild verglichen werden.When determining a number of matching features, the number of features in the actual image can be compared with the number of features in the reference images. The number of features in the reference images can also be compared with the number of features in the actual image.

Gemäß einer Ausführungsform erfolgt das Klassifizieren der Anzahl Merkmale in Abhängigkeit davon, mit welcher Wahrscheinlichkeit sich das jeweilige Merkmal der Anzahl Merkmale in einem vordefinierten Zeitraum verändert.According to one embodiment, the number of features is classified depending on the probability with which the respective feature of the number of features changes in a predefined period of time.

In anderen Worten beschreibt die Klassifizierung des jeweiligen Merkmals damit eine zeitliche Beständigkeit des Merkmals. Ein vordefinierter Zeitraum kann beispielsweise ein Jahr, ein Monat, eine Stunde, eine Sekunde und/oder ein Vielfaches davon sein.In other words, the classification of the respective feature describes the temporal stability of the feature. A predefined period of time can be, for example, a year, a month, an hour, a second and/or a multiple thereof.

Gemäß einer Ausführungsform bezieht sich die Veränderung in dem vordefinierten Zeitraum auf einen Ort und/oder eine Gestalt und/oder Farbe des jeweiligen Merkmals der Anzahl Merkmale.According to one embodiment, the change in the predefined period of time relates to a location and/or a shape and/or color of the respective feature of the number of features.

Demgemäß wird das jeweilige Merkmal der Anzahl Merkmale danach klassifiziert mit welcher Wahrscheinlichkeit es in dem vordefinierten Zeitraum seinen Ort und/oder seine Gestalt und/oder seine Farbe verändert beziehungsweise verändern wird.Accordingly, each feature of the number of features is classified according to the probability with which it changes or will change its location and/or shape and/or color within the predefined period of time.

Gemäß einer weiteren Ausführungsform ordnet das Klassifizieren der Anzahl Merkmale das jeweilige Merkmal der Anzahl Merkmale einer von zumindest einer ersten und einer zweiten Klasse zu, wobei sich Merkmale in der ersten Klasse im gleichen vordefinierten Zeitraum in Bezug auf ihren Ort und/oder ihre Gestalt und/oder Farbe mit einer höheren Wahrscheinlichkeit verändern als Merkmale in der zweiten Klasse.According to a further embodiment, classifying the number of features assigns the respective feature of the number of features to one of at least a first and a second class, wherein features in the first class change with a higher probability in relation to their location and/or shape and/or color in the same predefined period of time than features in the second class.

Demgemäß werden die Anzahl Merkmale zumindest in zwei Klassen unterteilt, die sich dadurch unterscheiden, wie groß die Wahrscheinlichkeit ist, dass sie sich im gleichen vordefinierten Zeitraum verändern.Accordingly, the number of features is divided into at least two classes, which differ in how likely they are to change within the same predefined period of time.

Demnach umfasst eine Klasse eine Anzahl Merkmale, deren Wahrscheinlichkeiten, dass sich die Anzahl Merkmale in einem vordefinierten Zeitraum verändern, ähnlich ist.Accordingly, a class comprises a number of characteristics whose probabilities that the number of characteristics changes in a predefined period of time are similar.

Gemäß einer Ausführungsform wird dem jeweiligen Merkmal der Anzahl Merkmale in Abhängigkeit der Klassifizierung eine Unsicherheit zugeordnet und das Ermitteln der übereinstimmenden Anzahl Merkmale erfolgt in Abhängigkeit der Unsicherheit.According to one embodiment, an uncertainty is assigned to the respective feature of the number of features depending on the classification and the determination of the matching number of features is carried out depending on the uncertainty.

Die Übereinstimmung der Anzahl Merkmale wird in Abhängigkeit der Unsicherheit bestimmt. Die Zuordnung einer Unsicherheit ermöglicht es, eine Übereinstimmung auch dann zu ermitteln, wenn das Merkmal in dem Ist-Bild und dem Referenzbild nicht identisch abgebildet ist. Beispielsweise kann sich das Merkmal in dem Ist-Bild relativ zu dem Merkmal in dem Referenzbild bewegen, wie zum Beispiel ein Baum im Wind, und ist immer noch das gleiche Merkmal, allerdings mit einer anderen Position. Durch die Zuordnung einer Unsicherheit kann eine Übereinstimmung der Merkmale jedoch geeignet bestimmt werden.The agreement of the number of features is determined depending on the uncertainty. The assignment of an uncertainty makes it possible to determine an agreement even if the feature is not shown identically in the actual image and the reference image. For example, the feature in the actual image can move relative to the feature in the reference image, such as a tree in the wind, and is still the same feature, but in a different position. By assigning an uncertainty, however, a match between the features can be appropriately determined.

Die Zuordnung der Unsicherheit erfolgt in Abhängigkeit der Klassifizierung, demnach in Abhängigkeit davon, wie groß die Wahrscheinlichkeit ist, dass sich das Merkmal in einem vordefinierten Zeitraum verändert. Einem Merkmal mit einer geringen Wahrscheinlichkeit sich zu verändern, wird demnach eine geringe Unsicherheit zugeordnet. Einem Merkmal mit einer hohen Wahrscheinlichkeit sich zu verändern, ist eine große Unsicherheit zugeordnet.The uncertainty is assigned depending on the classification, i.e. depending on how high the probability is that the characteristic will change in a predefined period of time. A characteristic with a low probability of changing is therefore assigned a low uncertainty. A characteristic with a high probability of changing is assigned a high uncertainty.

Gemäß einer Ausführungsform definiert die Unsicherheit ein Toleranzfenster in Bezug auf die Position, Gestalt und/oder Farbe eines, mehrerer oder eines jeweiligen der Anzahl Merkmale und bei dem Ermitteln der übereinstimmenden Anzahl Merkmale wird eine Übereinstimmung festgestellt, wenn die Position, Gestalt und/oder Farbe eines, mehrerer oder eines jeweiligen der Anzahl Merkmale innerhalb des Toleranzfensters liegt.According to one embodiment, the uncertainty defines a tolerance window with respect to the position, shape and/or color of one, several or a respective one of the number of features, and in determining the matching number of features, a match is determined if the position, shape and/or color of one, several or a respective one of the number of features is within the tolerance window.

Die zugeordnete Unsicherheit wird als Toleranzfenster verstanden, innerhalb dessen eine Übereinstimmung der Anzahl Merkmale in dem Ist-Bild und dem Referenzbild bestimmt wird. Ein Toleranzfenster kann beispielsweise ein Toleranzfenster bezüglich der Position sein. Ein Toleranzfenster kann jedoch auch ein Toleranzfenster in Bezug auf die Farbe eines Merkmals sein. Dies bedeutet beispielsweise, dass ein Merkmal in dem Ist-Bild, das eine andere Farbe hat als in dem Referenzbild, die innerhalb des Toleranzfensters liegt, eine Übereinstimmung mit dem Referenzbild aufweist. Das Toleranzfenster kann auch ein Toleranzfenster in Bezug auf die Gestalt eines Merkmals sein. Demgemäß wird eine Übereinstimmung zwischen dem Merkmal in dem Ist-Bild und dem Merkmal in dem Referenzbild festgestellt, wenn die Gestalt des Merkmals innerhalb des Toleranzfensters bezüglich der Gestalt liegt.The associated uncertainty is understood as a tolerance window within which a match between the number of features in the actual image and the reference image is determined. A tolerance window can, for example, be a tolerance window with respect to position. However, a tolerance window can also be a tolerance window with respect to the color of a feature. This means, for example, that a feature in the actual image that has a different color than in the reference image that lies within the tolerance window has a match with the reference image. The tolerance window can also be a tolerance window with respect to the shape of a feature. Accordingly, a match is determined between the feature in the actual image and the feature in the reference image if the shape of the feature lies within the tolerance window with respect to the shape.

Die Verwendung des Toleranzfensters gemäß der obigen Ausführungsform hat den Vorteil, dass auch Merkmale, deren Wahrscheinlichkeit sich in einem vordefinierten Zeitraum zu verändern nicht Null ist, bei der Lokalisierung des Fahrzeugs verwendet werden können, da auch nach einer Veränderung innerhalb des Toleranzfensters (Position, Farbe und/oder Gestalt) eine Übereinstimmung festgestellt werden kann.The use of the tolerance window according to the above embodiment has the advantage that even features whose probability of changing in a predefined period of time is not zero can be used in locating the vehicle, since a match can be determined even after a change within the tolerance window (position, color and/or shape).

Gemäß einer Ausführungsform wird einem ersten und zweiten Merkmal der Anzahl Merkmale in Abhängigkeit der Klassifizierung eine unterschiedliche Gewichtung zugeordnet, wobei das Bewerten der Anzahl übereinstimmender Merkmale in Abhängigkeit der Gewichtung erfolgt.According to one embodiment, a first and a second feature of the number of features are assigned a different weighting depending on the classification, wherein the evaluation the number of matching features depending on the weighting.

Die Gewichtung in Abhängigkeit der Klassifizierung trägt zu einer Bewertung der Anzahl übereinstimmender Merkmale bei, wobei die Bewertung beispielsweise die Summe der Gewichtungen der übereinstimmenden Merkmale ist. Demgemäß trägt ein übereinstimmendes Merkmal mit einer höheren Gewichtung stärker zur Bewertung bei als ein Merkmal mit einer geringeren Gewichtung.The weighting depending on the classification contributes to an assessment of the number of matching features, where the assessment is, for example, the sum of the weights of the matching features. Accordingly, a matching feature with a higher weighting contributes more to the assessment than a feature with a lower weighting.

Das Zuordnen einer Gewichtung in Abhängigkeit der Klassifizierung bedeutet, dass ein Merkmal, dessen Wahrscheinlichkeit sich zu verändern geringer ist, eine höhere Gewichtung zugeordnet wird als einem Merkmal, dessen Wahrscheinlichkeit sich zu verändern größer ist. Demnach trägt das Merkmal, dessen Wahrscheinlichkeit sich zu verändern geringer ist, stärker zu der Bewertung der Anzahl übereinstimmender Merkmale bei.Assigning a weight depending on the classification means that a feature that is less likely to change is assigned a higher weight than a feature that is more likely to change. Therefore, the feature that is less likely to change contributes more to the assessment of the number of matching features.

Gemäß einer Ausführungsform umfasst das Klassifizieren der Anzahl Merkmale:

  • Zuordnen des jeweiligen Merkmals der Anzahl Merkmale zu einer ersten, zweiten und/oder dritten Klasse, wobei:
    • die erste Klasse Gebäude, Straßenschilder und/oder Hausnummern,
    • die zweite Klasse Vegetation, und/oder
    • die dritte Klasse Personen, Tiere, Fahrzeuge, Wolken und/oder Schatten umfasst.
According to one embodiment, classifying the number of features comprises:
  • Assigning the respective feature of the number of features to a first, second and/or third class, where:
    • the first class buildings, street signs and/or house numbers,
    • the second class vegetation, and/or
    • the third class includes persons, animals, vehicles, clouds and/or shadows.

Das jeweilige Merkmal der Anzahl Merkmale wird zu einer von beispielsweise drei Klassen zugeordnet. Eine Klasse beschreibt dabei Objekte, die bezüglich einer Veränderung in einem vorbestimmten Zeitraum ähnliche Wahrscheinlichkeiten aufweisen. Die erste Klasse umfasst dabei Gebäude, Straßenschilder und/oder Hausnummern, die sich in einem vorbestimmten Zeitraum mit einer sehr geringen Wahrscheinlichkeit ändern.The respective feature of the number of features is assigned to one of, for example, three classes. A class describes objects that have similar probabilities of changing in a predetermined period of time. The first class includes buildings, street signs and/or house numbers that change with a very low probability in a predetermined period of time.

Die Merkmale Straßenschild und Hausnummer, die der ersten Klasse zugeordnet sind, werden dabei nicht nur anhand ihrer Form und Beschaffenheit als solches klassifiziert, sondern das Merkmal umfasst hierbei insbesondere eine Abfolge von Buchstaben und/oder Zahlen, die in ihrer Gesamtheit und/oder alleinstehend als Merkmal aufzufassen sind.The features street sign and house number, which are assigned to the first class, are not only classified as such on the basis of their shape and nature, but the feature includes in particular a sequence of letters and/or numbers, which are to be understood as a feature in their entirety and/or on their own.

Die zweite Klasse umfasst Vegetation. Unter Vegetation wird eine Gesamtheit der Pflanzenformation verstanden, die Bäume, Sträucher und dergleichen umfasst. Bei diesen wird angenommen, dass sich auf einer Zeitskala von Sekunden eine Position ändern kann, beispielsweise aufgrund des Winds, und auf einer Zeitskala von Monaten kann sich sowohl die Gestalt der Vegetation, beispielsweise aufgrund von Blattverlust ändern, als auch die Farbe der Vegetation, beispielsweise aufgrund der Färbung der Blätter.The second class includes vegetation. Vegetation is understood to be a totality of the plant formation, which includes trees, shrubs and the like. In these cases, it is assumed that on a time scale of seconds, a position can change, for example due to the wind, and on a time scale of months, both the shape of the vegetation can change, for example due to leaf loss, and the color of the vegetation can change, for example due to the coloring of the leaves.

Die dritte Klasse umfasst Merkmale, wie Personen, Tiere, Fahrzeuge, Wolken und/oder Schatten, die in ihrer Gesamtheit ihre jeweilige Position auf einer Zeitskala von Sekunden weitaus mehr ändern können als Merkmale, die der zweiten Klasse zugeordnet sind. Zudem können Merkmale, die der dritten Klasse zugeordnet sind, ihre Gestalt ebenfalls auf einer Zeitskala von Sekunden verändern.The third class includes features such as people, animals, vehicles, clouds and/or shadows, which as a whole can change their respective position on a time scale of seconds much more than features assigned to the second class. In addition, features assigned to the third class can also change their shape on a time scale of seconds.

Gemäß einer Ausführungsform wird einem Merkmal der Anzahl Merkmale, das:

  • der ersten Klasse zugeordnet wird, eine höhere Gewichtung zugeordnet als der Anzahl Merkmale, die der zweiten und/oder einer dritten Klasse zugeordnet werden;
  • der zweiten Klasse zugeordnet wird, eine höhere Gewichtung zugeordnet als der Anzahl Merkmale, die der dritten Klasse zugeordnet werden; und/oder
  • der dritten Klasse zugeordnet wird, eine Gewichtung von Null zugeordnet.
According to one embodiment, a feature of the number of features that:
  • assigned to the first class is given a higher weighting than the number of features assigned to the second and/or a third class;
  • assigned to the second class is given a higher weighting than the number of features assigned to the third class; and/or
  • assigned to the third class is assigned a weighting of zero.

Mit anderen Worten werden Merkmale der dritten Klasse nicht bei dem Vergleich des aufgenommenen Bildes mit einer Anzahl von Referenzbildern in Schritt b) berücksichtigt. In other words, features of the third class are not taken into account when comparing the captured image with a number of reference images in step b).

Gemäß einer Ausführungsform ist die Trajektorie eine mit dem Fahrzeug aufgenommene Trajektorie und/oder die Trajektorie wird dem Fahrzeug mit Hilfe einer Datenschnittstelle zur Verfügung gestellt.According to one embodiment, the trajectory is a trajectory recorded with the vehicle and/or the trajectory is made available to the vehicle by means of a data interface.

Eine Trajektorie kann dem Fahrzeug mit Hilfe einer Datenschnittstelle, beispielswiese drahtlos, zur Verfügung gestellt werden, wenn das Fahrzeug sich in einem Bereich befindet, in welchem das Fahrzeug autonom und/oder semiautonom fahren kann, aber von diesem Bereich keine selbst aufgenommene Trajektorie zur Verfügung steht. Beispielsweise beim Befahren eines Parkplatzes, eines Parkhauses und/oder einer Tiefgarage.A trajectory can be made available to the vehicle using a data interface, for example wirelessly, if the vehicle is in an area in which the vehicle can drive autonomously and/or semi-autonomously, but no recorded trajectory is available for this area. For example, when driving into a parking lot, a multi-storey car park and/or an underground car park.

Gemäß einer Ausführungsform ist jeweils zumindest ein Referenzbild einer Referenzposition entlang der Trajektorie zugeordnet und/oder ist das Ist-Bild ein durch eine fahrzeugeigene Kamera aufgenommenes Bild und/oder ein aus mithilfe von fahrzeugeigenen Sensoren erfassten Sensordaten erstelltes Bild.According to one embodiment, at least one reference image is assigned to a reference position along the trajectory and/or the actual image is an image recorded by a vehicle's own camera and/or an image created from sensor data acquired using vehicle-specific sensors.

Demgemäß kann eine Trajektorie als eine Abfolge von Referenzpositionen und/oder Referenzbildern aufgefasst werden. Einer Referenzposition ist zumindest ein Referenzbild zugeordnet, wobei ein Referenzbild genau einer Referenzposition zugeordnet ist.Accordingly, a trajectory can be understood as a sequence of reference positions and/or reference images. A reference position is at least one reference image is assigned, whereby a reference image is assigned exactly to one reference position.

Das Ist-Bild ist demnach ein Kamerabild der Umgebung des Fahrzeugs, das mit einer fahrzeugeignen Kamera aufgenommen wird. Das Ist-Bild kann allerdings auch ein Bild der Umgebung des Fahrzeugs sein, das aus Sensordaten, die mit fahrzeugeigenen Sensoren erfasst werden, erstellt wird. Daher kann das Ist-Bild beispielsweise auch mit Ultraschallsensoren, LiDAR Sensoren und/oder Radarsensoren aufgenommen werden.The actual image is therefore a camera image of the vehicle's surroundings that is recorded with the vehicle's own camera. However, the actual image can also be an image of the vehicle's surroundings that is created from sensor data recorded with the vehicle's own sensors. Therefore, the actual image can also be recorded with ultrasonic sensors, LiDAR sensors and/or radar sensors, for example.

Gemäß einer Ausführungsform führt das Fahrzeug die Schritte a) - c) in einem Parkassistenz-, Rückfahrassistenz,- und/oder Parkdienst-Modus aus.According to one embodiment, the vehicle performs steps a) - c) in a parking assistance, reversing assistance, and/or parking service mode.

In dem Parkassistenzmodus wird die Trajektorie in einem Trainingsmodus, der ein Abfahren der Trajektorie und eine Aufnahme von Referenzbildern der Umgebung des Fahrzeugs umfasst, angelernt und in einem Nachfahrmodus wird zumindest ein Abschnitt der Trajektorie semi-autonom und/oder autonom nachgefahren.In the parking assistance mode, the trajectory is learned in a training mode, which includes driving the trajectory and taking reference images of the vehicle's surroundings, and in a follow-up mode, at least a section of the trajectory is followed semi-autonomously and/or autonomously.

In dem Rückfahrassistenzmodus wird die Trajektorie in einem Trainingsmodus, der ein Abfahren der Trajektorie und eine Aufnahme von Referenzbildern der Umgebung des Fahrzeugs umfasst, angelernt und in einem Nachfahrmodus wird zumindest ein Abschnitt der Trajektorie, die in dem ersten Modus angelernte wurde, in einer umgekehrten Abfolge semiautonom und/oder autonom nachgefahren.In the reversing assistance mode, the trajectory is learned in a training mode, which includes driving the trajectory and taking reference images of the surroundings of the vehicle, and in a follow-up mode, at least a section of the trajectory that was learned in the first mode is followed semi-autonomously and/or autonomously in a reverse sequence.

In dem Parkdienst-Modus (engl. Valet-Parking) wird die Trajektorie dem Fahrzeug beispielsweise drahtlos über ein Netzwerk zur Verfügung gestellt und zumindest ein Abschnitt der zur Verfügung gestellten Trajektorie wird semi-autonom und/oder autonom ab- beziehungsweise nachgefahren.In the valet parking mode, the trajectory is made available to the vehicle, for example wirelessly via a network, and at least a section of the trajectory provided is followed semi-autonomously and/or autonomously.

Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt bereitgestellt, das Befehle umfasst, welche bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren nach einem ersten Aspekt auszuführen.According to a second aspect, a computer program product is provided which comprises instructions which, when the program is executed by a computer, cause the computer to carry out the method described above according to a first aspect.

Ein Computerprogrammprodukt nach dem zweiten Aspekt kann beispielsweise auf einem computerlesbaren Speichermedium, wie beispielsweise einer Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.A computer program product according to the second aspect can be provided or delivered, for example, on a computer-readable storage medium, such as a memory card, USB stick, CD-ROM, DVD, or in the form of a downloadable file from a server in a network. This can be done, for example, in a wireless communication network by transmitting a corresponding file with the computer program product or the computer program means.

Gemäß einem dritten Aspekt wird ein Steuergerät für ein Fahrzeug bereitgestellt. Das Steuergerät für ein Fahrzeug umfasst eine Prozessor-Einheit, eine Empfangs-Einheit zum Empfangen von Ist-Bildern, und eine Speicher-Einheit, auf welcher Mittel zur Ausführung des vorstehend beschriebenen Verfahrens nach dem ersten Aspekt abgespeichert sind.According to a third aspect, a control device for a vehicle is provided. The control device for a vehicle comprises a processor unit, a receiving unit for receiving actual images, and a memory unit on which means for carrying out the method described above according to the first aspect are stored.

Die jeweilige Einheit, beispielsweise die Prozessor-Einheit, kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuervorrichtung und/oder einer Motorsteuervorrichtung, ausgebildet sein.The respective unit, for example the processor unit, can be implemented in hardware and/or software. In a hardware implementation, the respective unit can be designed as a computer or as a microprocessor, for example. In a software implementation, the respective unit can be designed as a computer program product, as a function, as a routine, as an algorithm, as part of a program code or as an executable object. Furthermore, each of the units mentioned here can also be designed as part of a higher-level control system of the vehicle, such as a central electronic control device and/or an engine control device.

Das Steuergerät (beispielsweise in Form deszentralen Fahrzeugsteuergeräts bzw. electronic control unit - „ECU“) ist insbesondere dazu eingerichtet, das vorstehend beschriebene Computerprogrammprodukt zur Lokalisierung eines Fahrzeugs abzuarbeiten, beispielsweise auf der Prozessor-Einheit des Steuergeräts. Weiterhin umfasst das Steuergerät eine Empfangs-Einheit, die dazu dient, die Ist-Bilder zu empfangen. Der Empfang der Ist-Bilder durch die Empfangs-Einheit kann drahtgebunden und/oder drahtlos erfolgen.The control unit (for example in the form of the central vehicle control unit or electronic control unit - "ECU") is set up in particular to process the computer program product described above for locating a vehicle, for example on the processor unit of the control unit. The control unit also includes a receiving unit that serves to receive the actual images. The actual images can be received by the receiving unit in a wired and/or wireless manner.

Gemäß einem vierten Aspekt wird ein Fahrzeug, das zumindest einen Sensor zum Erfassen von Ist-Bildern aufweist, und mit einem Steuergerät nach einem dritten Aspekt bereitgestellt.According to a fourth aspect, a vehicle is provided which has at least one sensor for capturing actual images and with a control device according to a third aspect.

Ein Sensor zum Erfassen von Ist-Bildern kann dabei beispielsweise eine Kamera sein, die mittig an einer Front des Fahrzeugs angebracht ist (sog. Frontkamera), oder eine Satellitenkamera. Es können auch mehrere Kameras vorgesehen sein, die so an dem Fahrzeug angebracht sind, dass sie die Fahrzeugumgebung insgesamt aufnehmen können.A sensor for capturing actual images can be, for example, a camera that is mounted centrally on the front of the vehicle (so-called front camera) or a satellite camera. Several cameras can also be provided that are mounted on the vehicle in such a way that they can record the vehicle's surroundings as a whole.

Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.Further possible implementations of the invention also include combinations of features or embodiments described above or below with respect to the embodiments that are not explicitly mentioned. The person skilled in the art will also recognize individual aspects as improvements or Add additions to the respective basic form of the invention.

Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.

  • 1 zeigt eine Aufsicht auf ein Fahrzeug;
  • 2 zeigt ein Beispiel einer Trajektorie, Referenzpositionen und Referenzbilder;
  • 3 zeigt ein Ist-Bild einer Umgebung eines Fahrzeugs, mit einer Unsicherheit; und
  • 4 zeigt ein Flussdiagramm eines Ausführungsbeispiels für ein Verfahren zur Lokalisierung eines Fahrzeugs.
Further advantageous embodiments and aspects of the invention are the subject of the dependent claims and the embodiments of the invention described below. The invention is explained in more detail below using preferred embodiments with reference to the attached figures.
  • 1 shows a top view of a vehicle;
  • 2 shows an example of a trajectory, reference positions and reference images;
  • 3 shows an actual image of a vehicle’s environment, with an uncertainty; and
  • 4 shows a flow chart of an embodiment of a method for locating a vehicle.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.In the figures, identical or functionally equivalent elements have been given the same reference numerals unless otherwise stated.

1 zeigt eine schematische Ansicht eines Fahrzeugs 100 aus einer Draufsicht. Das Fahrzeug 100 ist in einer Umgebung 200 angeordnet ist. Das Fahrzeug 100 weist ein Steuergerät 110 auf. An dem Fahrzeug 100 ist eine Kamera 120 angeordnet. Die Kamera 120 ist so an dem Fahrzeug 100 angeordnet, dass sie ein Bild IMGIST (siehe 2b)) von der vor dem Fahrzeug liegenden Umgebung 200, aus einer mittigen Position des Fahrzeugs 100, aufnehmen kann. 1 shows a schematic view of a vehicle 100 from a top view. The vehicle 100 is arranged in an environment 200. The vehicle 100 has a control unit 110. A camera 120 is arranged on the vehicle 100. The camera 120 is arranged on the vehicle 100 in such a way that it takes an image IMG IST (see 2 B) ) of the environment 200 in front of the vehicle, from a central position of the vehicle 100.

Eine in 2a) dargestellte Trajektorie TR wurde mit dem Fahrzeug 100 in der Konfiguration aus 1 aufgenommen, beziehungsweise angelernt. Das bedeutet, dass ein Fahrer des Fahrzeugs 100 die in 2a) dargestellte Trajektorie TR in einem Trainingsmodus manuell abgefahren hat, das Fahrzeug 100 währenddessen an mehreren Referenzpositionen R1 - R3 jeweils zumindest ein Referenzbild IMGR1 - IMGR3 aufgenommen hat und die den Referenzpositionen R1 - R3 zugeordneten Referenzbilder IMGR1 - IMGR3 abgespeichert hat.One in 2a) The trajectory TR shown was measured with the vehicle 100 in the configuration of 1 This means that a driver of vehicle 100 has to learn the 2a) has manually driven along the trajectory TR shown in a training mode, the vehicle 100 has meanwhile recorded at least one reference image IMG R1 - IMG R3 at a plurality of reference positions R1 - R3 and has stored the reference images IMG R1 - IMG R3 assigned to the reference positions R1 - R3.

In 2a) ist die Trajektorie TR beispielhaft mit drei Referenzpositionen R1, R2 und R3 dargestellt. Eine Trajektorie TR kann auch mehr als drei Referenzpositionen R1 - R3 umfassen, jedoch umfasst eine Trajektorie TR zumindest einen Start- und einen Endpunkt, also zumindest zwei Referenzpositionen. In 2a) ist das Fahrzeug 100 beispielhaft an einer aktuellen Position POS dargestellt.In 2a) The trajectory TR is shown as an example with three reference positions R1, R2 and R3. A trajectory TR can also include more than three reference positions R1 - R3, but a trajectory TR includes at least one start and one end point, i.e. at least two reference positions. In 2a) the vehicle 100 is shown as an example at a current position POS.

2b) zeigt drei Referenzbilder IMGR1, IMGR2, IMGR3 und ein aus einer aktuellen Position POS des Fahrzeugs 100 aufgenommenes Ist-Bild IMGIST der Umgebung 200 des Fahrzeugs 100. Die Bilder IMGR1 - IMGR3, IMGIST wurden beispielsweise mit der Kamera 120 des Fahrzeugs 100 (siehe 1) aufgenommen. In diesem Beispiel zeigt IMGR1 einen Baum M1', IMGR2 zeigt einen Baum M1' und ein Haus M2', und IMGR3 zeigt ein Haus M2'. 2 B) shows three reference images IMG R1 , IMG R2 , IMG R3 and an actual image IMG IST of the surroundings 200 of the vehicle 100 taken from a current position POS of the vehicle 100. The images IMG R1 - IMG R3 , IMG IST were taken, for example, with the camera 120 of the vehicle 100 (see 1 ). In this example, IMG R1 shows a tree M1', IMG R2 shows a tree M1' and a house M2', and IMG R3 shows a house M2'.

4 zeigt ein Flussdiagramm eines Ausführungsbeispiels für ein Verfahren zum Lokalisieren des Fahrzeugs 100 entlang der Trajektorie TR. Das in 4 dargestellte Verfahren mit den Schritten S1 - S3 wird anhand von 2 und 3 näher erläutert. Das Fahrzeug 100 fährt nun autonom beziehungsweise semi-autonom die aufgenommene Trajektorie TR ab beziehungsweise nach, wobei die aktuelle Position POS des Fahrzeugs 100 überprüft werden muss, und daraufhin gegebenenfalls eine Korrektur, beispielsweise eines Lenkwinkels, von dem Steuergerät 110 ausgeführt werden muss, um ein korrektes Nachfahren der angelernten Trajektorie TR sicherzustellen. 4 shows a flow chart of an embodiment of a method for locating the vehicle 100 along the trajectory TR. The 4 The method shown with the steps S1 - S3 is explained using 2 and 3 explained in more detail. The vehicle 100 now drives autonomously or semi-autonomously along or follows the recorded trajectory TR, whereby the current position POS of the vehicle 100 must be checked and then, if necessary, a correction, for example of a steering angle, must be carried out by the control unit 110 in order to ensure correct following of the learned trajectory TR.

Schritt S1 des in 4 dargestellten Verfahrens umfasst das Aufnehmen eines Ist-Bildes IMGIST der Umgebung 200 des Fahrzeugs 100 in einer aktuellen Position POS des Fahrzeugs 100.Step S1 of the 4 The method shown comprises taking an actual image IMG IST of the environment 200 of the vehicle 100 in a current position POS of the vehicle 100.

Schritt S2 des Verfahrens umfasst einen Vergleich des aufgenommenen Ist-Bildes IMGIST mit der Anzahl von Referenzbildern IMGR1 - IMGR3.Step S2 of the method comprises a comparison of the recorded actual image IMG IST with the number of reference images IMG R1 - IMG R3 .

Zunächst wird dabei eine Anzahl Merkmale M1, M2 in dem Ist-Bild IMGIST erkannt, wie in 2b) dargestellt.First, a number of features M1, M2 are recognized in the actual image IMG IST , as shown in 2 B) shown.

Anschließend wird die erkannte Anzahl Merkmale M1, M2 klassifiziert. Zunächst werden die Merkmale M1, M2 mit einer Objekterkennung erkannt. In dem Ist-Bild IMGIST in 2b) ist, entsprechend der Objekterkennung, das Merkmal M1 ein Baum und Merkmal M2 ist ein Haus.The detected number of features M1, M2 is then classified. First, the features M1, M2 are detected using object recognition. In the actual image IMG IST in 2 B) According to object recognition, feature M1 is a tree and feature M2 is a house.

Die Klassifizierung erfolgt anschließend in Abhängigkeit der Wahrscheinlichkeit, mit der sich der Baum M1 und das Haus M2 sich in einem vordefinierten Zeitraum verändern. Betrachtet man hier einen kurzen Zeitraum (beispielsweise Sekunden), so kann man annehmen, dass die Wahrscheinlichkeit, dass das Haus M2 seinen Ort, seine Farbe oder seine Gestalt verändert Null ist, während der Baum M1 in diesem Zeitraum zumindest seinen Ort, beispielsweise durch den Einfluss von Wind, verändern kann. Betrachtet man einen längeren Zeitraum (beispielsweise mehrere Monate), ist die Wahrscheinlichkeit, dass sich das Haus M2 verändert immer noch nahe Null, während die Wahrscheinlichkeit, dass sich der Baum M1 verändert, weiter ansteigt, da dieser im jahreszeitlichen Verlauf seine Farbe ändern kann und/oder seine Blätter verlieren kann, also seine Gestalt verändert.The classification is then carried out depending on the probability with which the tree M1 and the house M2 change in a predefined period of time. If we consider a short period of time (for example seconds), we can assume that the probability that the house M2 changes its location, color or shape is zero, while the tree M1 can at least change its location during this period, for example due to the influence of wind. If we consider a longer period of time (for example several months), the probability that the house M2 changes is still close to zero, while the probability that the tree M1 changes continues to increase, since it can change its color and/or lose its leaves over the course of the seasons, i.e. change its shape.

Der Baum M1 wird einer zweiten Klasse zugeordnet, wobei die zweite Klasse Merkmale enthält, die der Vegetation zugeordnet sind. Das Haus M2 wird einer ersten Klasse zugeordnet, wobei die erste Klasse Merkmale enthält, die Gebäuden, Straßenschildern und/oder Hausnummern zugeordnet sind.The tree M1 is assigned to a second class, where the second class contains features associated with vegetation. The house M2 is assigned to a first class, where the first class contains features associated with buildings, street signs and/or house numbers.

In diesem Ausführungsbeispiel sind keine Merkmale gezeigt, die einer dritten Klasse zugeordnet sind. Die dritte Klasse enthält Merkmale, die Personen, Tieren, Fahrzeugen, Wolken und/oder Schatten zugeordnet sind. Diesen Merkmalen ist eine Gewichtung von Null zugeordnet, weshalb sie bei der Lokalisierung des Fahrzeugs 100 entlang der Trajektorie TR nicht berücksichtigt werden.In this embodiment, no features are shown that are assigned to a third class. The third class contains features that are assigned to people, animals, vehicles, clouds and/or shadows. These features are assigned a weighting of zero, which is why they are not taken into account when locating the vehicle 100 along the trajectory TR.

In Abhängigkeit der Klassifizierung, also der Zuordnung eines Merkmals M1, M2 zu einer Klasse, wird dem Merkmal M1, M2 eine Gewichtung zugeordnet. Einem Merkmal M1, M2, das eine höhere Wahrscheinlichkeit hat, sich in dem vordefinierten Zeitraum zu verändern, wird eine geringere Gewichtung zugeordnet als einem Merkmal mit einer geringeren Wahrscheinlichkeit. Demnach hat der Baum M1, der der zweiten Klasse zugeordnet ist, eine geringere Gewichtung als das Haus M2, das der ersten Klasse zugeordnet ist.Depending on the classification, i.e. the assignment of a feature M1, M2 to a class, the feature M1, M2 is assigned a weighting. A feature M1, M2 that has a higher probability of changing in the predefined period is assigned a lower weighting than a feature with a lower probability. Accordingly, the tree M1, which is assigned to the second class, has a lower weighting than the house M2, which is assigned to the first class.

Zusätzlich oder alternativ zu der in Abhängigkeit der Klassifizierung des Merkmals M1, M2 zugeordneten Gewichtung wird dem Merkmal M1, M2 in Abhängigkeit der Klassifizierung eine Unsicherheit zugeordnet. Die Unsicherheit kann hier als Toleranzfernster T (siehe 3) aufgefasst werden. 3 zeigt das Ist-Bild IMGIST*, wobei dem Merkmal M1, also dem Baum M1, der der zweiten Klasse zugeordnet ist, eine Unsicherheit M1* zugeordnet ist. Die hier eingezeichnete Unsicherheit M1 * ergibt mit dem Baum M1 das Toleranzfenster T. Das gezeigte Toleranzfenster T beschreibt in diesem Fall ein Toleranzfenster T bezüglich der Position, da der Baum M1 sich beispielsweise im Wind bewegen kann, und sich dann innerhalb des Toleranzfensters T befindet. Dem Baum ist zusätzlich zu dem Toleranzfenster T bezüglich der Position beispielsweise ein Toleranzfenster T bezüglich der Farbe zugeordnet, da sich die Blätter verfärben können und/oder ein Toleranzfester T bezüglich der Gestalt zugeordnet, da der Baum die Blätter verlieren kann.In addition or as an alternative to the weighting assigned depending on the classification of the feature M1, M2, an uncertainty is assigned to the feature M1, M2 depending on the classification. The uncertainty can be defined as the tolerance distance T (see 3 ) should be understood as a 3 shows the actual image IMG IST *, where an uncertainty M1* is assigned to feature M1, i.e. tree M1, which is assigned to the second class. The uncertainty M1 * shown here results in tolerance window T with tree M1. In this case, the tolerance window T shown describes a tolerance window T with regard to position, since tree M1 can, for example, move in the wind and is then within tolerance window T. In addition to the tolerance window T with regard to position, the tree is assigned a tolerance window T with regard to color, for example, since the leaves can change color, and/or a tolerance window T with regard to shape, since the tree can lose its leaves.

Die Zuordnung des Toleranzfensters T bezüglich der Farbe und/oder bezüglich der Gestalt, ermöglicht es, beispielsweise den Baum M1 zu erkennen, auch wenn dessen Blätter eine andere Farbe aufweisen als in dem Referenzbild IMGR1 - IMGR3 dargestellt und/oder wenn der Baum M1 keine Blätter mehr aufweist, anders als in dem Referenzbild IMGR1 - IMGR3 dargestellt.The assignment of the tolerance window T with respect to the color and/or with respect to the shape makes it possible, for example, to recognize the tree M1 even if its leaves have a different color than shown in the reference image IMG R1 - IMG R3 and/or if the tree M1 no longer has any leaves, different to those shown in the reference image IMG R1 - IMG R3 .

Dem Haus M2 ist beispielsweise keine Unsicherheit zugeordnet, da das Haus M2 der ersten Klasse zugeordnet ist und damit die Wahrscheinlichkeit, dass sich das Haus verändert nahe Null ist.For example, no uncertainty is associated with house M2 because house M2 is assigned to the first class and thus the probability that the house changes is close to zero.

Im Folgenden wird beschrieben, wie eine Anzahl mit der Anzahl Merkmale M1, M2 in dem Ist-Bild IMGIST übereinstimmender Merkmale M1', M2' in den Referenzbildern IMGR1 - IMGR3 in Abhängigkeit der Klassifizierung ermittelt wird.The following describes how a number of features M1', M2' in the reference images IMG R1 - IMG R3 that match the number of features M1, M2 in the actual image IMG IST is determined depending on the classification.

Das von dem Fahrzeug 100 in der aktuellen Position POS aufgenommene Ist-Bild IMGIST* (siehe 3), wobei den Merkmale M1 und M2 dem in Abhängigkeit der Klassifizierung eine Gewichtung und eine Unsicherheit M1 * zugeordnet ist, wird mit den Referenzbildern IMGR1 - IMGR3 verglichen, wobei die Anzahl der übereinstimmenden Merkmale M1', M2' ermittelt wird. Die Zahlenwerte in dem folgenden Vergleich sind als Ausführungsbeispiel zu verstehen und können auch andere Werte annehmen.The actual image IMG IST * taken by the vehicle 100 in the current position POS (see 3 ), where the features M1 and M2 are assigned a weighting and an uncertainty M1 * depending on the classification, is compared with the reference images IMG R1 - IMG R3 , whereby the number of matching features M1', M2' is determined. The numerical values in the following comparison are to be understood as an example and can also assume other values.

Das Ist-Bild IMGIST* und das Referenzbild IMGR1 haben ein übereinstimmendes Merkmal M1', wobei insbesondere die Position des Merkmals M1 übereinstimmt. In diesem Vergleich mit dem Referenzbild IMGR1 wird dem Merkmal M1 dadurch ein Positionsübereinstimmungsgrad von 1 zugeordnet, da die Position des Merkmals M1, M1' in dem Referenzbild IMGR1 und dem Ist-Bild IMGIST* übereinstimmt. Da der Baum M1 der zweiten Klasse zugeordnet ist, ist ihm eine Gewichtung von 0,5 zugeordnet. Das Haus M2 wird in dem Referenzbild IMGR1 nicht erkannt, daher wird ihm ein Positionsübereinstimmungsgrad von Null zugeordnet. Eine Bewertung der Übereinstimmung des Ist-Bildes IMGIST* und des Referenzbildes IMGR1 - IMGR3 ergibt sich beispielsweise allgemein aus einer Summe der jeweiligen Produkte des jeweiligen Positionsübereinstimmungsgrads mit der Gewichtung der einzelnen Merkmale M1, M2. Für den Vergleich des Ist-Bildes IMGIST* mit dem Referenzbild IMGR1 ergibt sich eine Bewertung der Übereinstimmung von 0,5.The actual image IMG IST * and the reference image IMG R1 have a matching feature M1', whereby in particular the position of the feature M1 matches. In this comparison with the reference image IMG R1, the feature M1 is assigned a positional match level of 1 because the position of the feature M1, M1' in the reference image IMG R1 and the actual image IMG IST * matches. Since the tree M1 is assigned to the second class, it is assigned a weighting of 0.5. The house M2 is not recognized in the reference image IMG R1 , so it is assigned a positional match level of zero. An assessment of the match between the actual image IMG IST * and the reference image IMG R1 - IMG R3 is generally obtained, for example, from a sum of the respective products of the respective positional match level with the weighting of the individual features M1, M2. The comparison of the actual image IMG IST * with the reference image IMG R1 results in a match rating of 0.5.

Das Ist-Bild IMGIST* und das Referenzbild IMGR3 haben ein übereinstimmendes Merkmal M2', allerdings stimmt die Position des Merkmals M2, M2' in dem Referenzbild IMGR3 und dem Ist-Bild IMGIST* nicht überein. Dem Merkmal M2 wird eine Positionsübereinstimmungsgrad von beispielsweise 0,4 zugeordnet. Da das Merkmal M2 der ersten Klasse zugeordnet ist, hat es eine Gewichtung von 1. Das Merkmal M1 ist hier nicht zu erkennen, daher wird dem Merkmal M1 ein Positionsübereinstimmungsgrad von 0 zugeordnet. Nach der oben angeführten beispielhaften Berechnung der Bewertung der Übereinstimmung, ergibt sich für den Vergleich des Ist-Bildes IMGIST* und des Referenzbilds IMGR2 eine Bewertung der Übereinstimmung von 0,4.The actual image IMG IST * and the reference image IMG R3 have a matching feature M2', but the position of the feature M2, M2' in the reference image IMG R3 and the actual image IMG IST * does not match. The feature M2 is assigned a positional match level of 0.4, for example. Since the feature M2 is assigned to the first class, it has a weighting of 1. The feature M1 cannot be recognized here, so the feature M1 is assigned a positional match level of 0. According to the example calculation of the match rating given above, the comparison of the actual image IMG IST * and the reference image IMG R2 results in a match rating of 0.4.

Das Ist-Bild IMGIST* und das Referenzbild IMGR2 haben zwei übereinstimmende Merkmale M1', M2', wobei die Position des Merkmals M1, M1' auf dem Ist-Bild IMGIST* und dem Referenzbild IMGR2 innerhalb des Toleranzfensters T übereinstimmt. Dem Merkmal M1 wird daher ein Positionsübereinstimmungsgrad von 0,7 zugeordnet. Das Merkmal M2 befindet sich auf dem Ist-Bild IMGIST* und auf dem Referenzbild IMGR2 an der gleichen Position, daher wird dem Merkmal M2 ein Positionsübereinstimmungsgrad von 1 zugeordnet. Wie schon bei dem Vergleich mit den Referenzbildern IMGR1 und IMGR3 ist dem Merkmal M1 eine Gewichtung von 0,5 zugeordnet, und dem Merkmal M2 ist eine Gewichtung von 1 zugeordnet. Insgesamt ergibt sich damit eine Bewertung der Übereinstimmung des Ist-Bildes IMGIST* mit dem Referenzbild IMGR2 zu 1,35.The actual image IMG IST * and the reference image IMG R2 have two matching features M1', M2', whereby the position of the feature M1, M1' on the actual image IMG IST * and the reference image IMG R2 matches within the tolerance window T. The feature M1 is therefore assigned a position match level of 0.7. The feature M2 is in the same position on the actual image IMG IST * and on the reference image IMG R2 , so the feature M2 is assigned a position match level of 1. As with the comparison with the reference images IMG R1 and IMG R3, the feature M1 is assigned a weighting of 0.5 and the feature M2 is assigned a weighting of 1. Overall, this results in an assessment of the match between the actual image IMG IST * and the reference image IMG R2 of 1.35.

In Schritt S3 des Verfahrens, das in 4 als Flussdiagramm dargestellt ist, wird das Fahrzeug 100 entlang der Trajektorie TR in Abhängigkeit des Vergleichs gemäß Schritt S2 lokalisiert.In step S3 of the method described in 4 As shown as a flow chart, the vehicle 100 is localized along the trajectory TR depending on the comparison according to step S2.

Da das Ergebnis des Schritts S2 ein Übereinstimmen des Ist-Bildes IMGIST* und des Referenzbildes IMGR2 liefert, da hier die Bewertung der Übereinstimmung des Referenzbildes IMGR2 und des Ist-Bildes IMGIST* am größten ist (1,35), wird das Fahrzeug 100 lokalisiert, in dem ihm die dem Referenzbild IMGR2 zugeordnete Referenzposition R2 zugeordnet wird.Since the result of step S2 provides a match between the actual image IMG IST * and the reference image IMG R2 , since here the evaluation of the match between the reference image IMG R2 and the actual image IMG IST * is the greatest (1.35), the vehicle 100 is localized by assigning it the reference position R2 assigned to the reference image IMG R2 .

Während dem semi-autonomen und/oder autonomen Ab- beziehungsweise Nachfahren der Trajektorie TR überprüft das Steuergerät 110 fortlaufend die Position POS des Fahrzeugs 100 auf Basis von empfangenen Ist-Bildern IMGIST der Umgebung 200 des Fahrzeugs 100 in der jeweiligen aktuellen Position POS. Das Steuergerät 110 führt beispielsweise Lenkkorrekturen oder dergleichen aus.During the semi-autonomous and/or autonomous travel along or following the trajectory TR, the control unit 110 continuously checks the position POS of the vehicle 100 on the basis of received actual images IMG IST of the environment 200 of the vehicle 100 in the respective current position POS. The control unit 110 carries out steering corrections or the like, for example.

Das Steuergerät 110 des Fahrzeugs 100 ist dazu eingerichtet eine angelernte Trajektorie TR in einer korrekten Reihenfolge R1 bis R3 abzufahren und/oder in einer umgekehrten Reihenfolge R3 bis R1 abzufahren.The control unit 110 of the vehicle 100 is configured to travel a learned trajectory TR in a correct sequence R1 to R3 and/or in a reverse sequence R3 to R1.

Das Steuergerät 110 umfasst eine Prozessor-Einheit, die dazu eingerichtet ist, das anhand der 2 bis 4 beschriebene Verfahren auszuführen. Der Prozessor kann eine oder mehrere Einheiten umfassen, wie beispielsweise eine Empfangs-Einheit und eine Speicher-Einheit. Die jeweilige Einheit kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit beispielsweise als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.The control unit 110 comprises a processor unit which is configured to 2 until 4 to carry out the method described. The processor can comprise one or more units, such as a receiving unit and a memory unit. The respective unit can be implemented in hardware and/or software. In a hardware implementation, the respective unit can be designed as a computer or as a microprocessor, for example. In a software implementation, the respective unit can be designed as a computer program product, as a function, as a routine, as an algorithm, as part of a program code or as an executable object, for example.

Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.Although the present invention has been described using exemplary embodiments, it can be modified in many ways.

BEZUGSZEICHENLISTELIST OF REFERENCE SYMBOLS

100100
Fahrzeugvehicle
110110
SteuergerätControl unit
120120
Kameracamera
200200
UmgebungVicinity
IMGISTIMGIST
Ist-BildActual picture
IMGIST*IMGIST*
Ist-Bild nach KlassifizierungActual picture after classification
POSPOS
aktuelle Positionactual position
TRTR
TrajektorieTrajectory
TT
ToleranzfensterTolerance window
M1M1
Merkmal, Baumfeature, tree
M1*M1*
Unsicherheituncertainty
M2M2
Merkmal, Hausfeature, house
M1'M1'
übereinstimmendes Merkmal, Baummatching feature, tree
M2'M2'
übereinstimmendes Merkmal, Hausmatching feature, house
IMGR1 - IMGR3IMGR1 - IMGR3
ReferenzbilderReference images
R1 - R3R1 - R3
ReferenzpositionReference position
S1 - S3S1 - S3
VerfahrensschritteProcess steps

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102020132433 A1 [0003]DE 102020132433 A1 [0003]

Claims (15)

Verfahren zur Lokalisierung eines Fahrzeugs (100) entlang einer Trajektorie (TR), aufweisend: a) Aufnehmen eines Ist-Bildes (IMGIST) einer Umgebung (200) des Fahrzeugs (100); b) Vergleichen des aufgenommenen Bildes (IMGIST) mit einer Anzahl von Referenzbildern (IMGR1 - IMGR3), umfassend: Erkennen einer Anzahl Merkmale (M1, M2) in dem Ist-Bild (IMGIST) und den Referenzbildern (IMGR1 - IMGR3); Klassifizieren der Anzahl Merkmale (M1, M2) in zumindest einem von dem Ist-Bild (IMGIST) und den Referenzbildern (IMGR1 - IMGR3); Ermitteln einer Anzahl mit der Anzahl Merkmale (M1, M2) in zumindest einem von dem Ist-Bild (IMGIST) und den Referenzbildern (IMGR1 - IMGR3) übereinstimmender Merkmale (M1', M2') in dem jeweils anderen von dem zumindest einem von dem Ist-Bild (IMGIST) und den Referenzbildern (IMGR1 - IMGR3); und Bewerten der Anzahl übereinstimmender Merkmale (M1', M2') in Abhängigkeit der Klassifizierung; und c) Lokalisieren des Fahrzeugs (100) entlang der Trajektorie (TR) in Abhängigkeit des Vergleichs gemäß Schritt b).Method for localizing a vehicle (100) along a trajectory (TR), comprising: a) recording an actual image (IMG IST ) of an environment (200) of the vehicle (100); b) comparing the recorded image (IMG IST ) with a number of reference images (IMG R1 - IMG R3 ), comprising: recognizing a number of features (M1, M2) in the actual image (IMG IST ) and the reference images (IMG R1 - IMG R3 ); classifying the number of features (M1, M2) in at least one of the actual image (IMG IST ) and the reference images (IMG R1 - IMG R3 ); Determining a number of features (M1', M2') in the other of the at least one of the actual image (IMG IST ) and the reference images (IMG R1 - IMG R3 ) that match the number of features (M1, M2) in at least one of the actual image (IMG IST ) and the reference images (IMG R1 - IMG R3 ); and evaluating the number of matching features (M1', M2') depending on the classification; and c) locating the vehicle (100) along the trajectory (TR) depending on the comparison according to step b). Verfahren nach Anspruch 1, wobei das Klassifizieren der Anzahl Merkmale (M1, M2) in Abhängigkeit davon erfolgt, mit welcher Wahrscheinlichkeit sich das jeweilige Merkmal (M1, M2) der Anzahl Merkmale (M1, M2) in einem vordefinierten Zeitraum verändert.Procedure according to Claim 1 , whereby the classification of the number of characteristics (M1, M2) is carried out depending on the probability with which the respective characteristic (M1, M2) of the number of characteristics (M1, M2) changes in a predefined period of time. Verfahren nach Anspruch 2, wobei sich die Veränderung in dem vordefinierten Zeitraum auf einen Ort und/oder eine Gestalt und/oder Farbe des jeweiligen Merkmals (M1, M2) der Anzahl Merkmale (M1, M2) bezieht.Procedure according to Claim 2 , wherein the change in the predefined period of time relates to a location and/or a shape and/or color of the respective feature (M1, M2) of the number of features (M1, M2). Verfahren nach einem der vorhergehenden Ansprüche, wobei das Klassifizieren der Anzahl Merkmale (M1, M2) das jeweilige Merkmal (M1, M2) der Anzahl Merkmale (M1, M2) einer von zumindest einer ersten und einer zweiten Klasse zuordnet, wobei sich Merkmale (M1, M2) in der ersten Klasse im gleichen vordefinierten Zeitraum in Bezug auf ihren Ort und/oder ihre Gestalt und/oder Farbe mit einer geringeren Wahrscheinlichkeit verändern als Merkmale (M1, M2) in der zweiten Klasse.Method according to one of the preceding claims, wherein the classifying of the number of features (M1, M2) assigns the respective feature (M1, M2) of the number of features (M1, M2) to one of at least a first and a second class, wherein features (M1, M2) in the first class change in the same predefined period of time with respect to their location and/or shape and/or color with a lower probability than features (M1, M2) in the second class. Verfahren nach einem der vorhergehenden Ansprüche, wobei dem jeweiligen Merkmal (M1, M2) der Anzahl Merkmale (M1, M2) in Abhängigkeit der Klassifizierung eine Unsicherheit (M1 *) zugeordnet wird und das Ermitteln der übereinstimmenden Anzahl Merkmale (M1', M2') in Abhängigkeit der Unsicherheit (M1 *) erfolgt.Method according to one of the preceding claims, wherein the respective feature (M1, M2) of the number of features (M1, M2) is assigned an uncertainty (M1 *) depending on the classification and the determination of the corresponding number of features (M1', M2') takes place depending on the uncertainty (M1 *). Verfahren nach Anspruch 5, wobei die Unsicherheit (M1 *) ein Toleranzfenster (T) in Bezug auf die Position, Gestalt und/oder Farbe eines, mehrerer oder eines jeweiligen der Anzahl Merkmale (M1, M2) definiert und bei dem Ermitteln der übereinstimmenden Anzahl Merkmale (M1', M2') eine Übereinstimmung festgestellt wird, wenn die Position, Gestalt und/oder Farbe eines, mehrerer oder eines jeweiligen der übereinstimmenden Anzahl Merkmale (M1', M2') innerhalb des Toleranzfensters (T) liegt.Procedure according to Claim 5 , wherein the uncertainty (M1 *) defines a tolerance window (T) with respect to the position, shape and/or color of one, several or a respective one of the number of features (M1, M2) and when determining the matching number of features (M1', M2') a match is established if the position, shape and/or color of one, several or a respective one of the matching number of features (M1', M2') lies within the tolerance window (T). Verfahren nach einem der vorhergehenden Ansprüche, wobei einem ersten und zweiten Merkmal (M1, M2) der Anzahl Merkmale (M1, M2) in Abhängigkeit der Klassifizierung eine unterschiedliche Gewichtung zugeordnet wird, wobei das Bewerten der Anzahl übereinstimmender Merkmale (M1', M2') in Abhängigkeit der Gewichtung erfolgt.Method according to one of the preceding claims, wherein a first and second feature (M1, M2) of the number of features (M1, M2) are assigned a different weighting depending on the classification, wherein the evaluation of the number of matching features (M1', M2') takes place depending on the weighting. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Klassifizieren der Anzahl Merkmale (M1, M2) umfasst: Zuordnen des jeweiligen Merkmals (M1, M2) der Anzahl Merkmale (M1, M2) zu einer ersten, zweiten und/oder dritten Klasse, wobei: die erste Klasse Gebäude, Straßenschilder und/oder Hausnummern, die zweite Klasse Vegetation, und/oder die dritte Klasse Personen, Tiere, Fahrzeuge, Wolken und/oder Schatten umfasst.Method according to one of the preceding claims, wherein classifying the number of features (M1, M2) comprises: assigning the respective feature (M1, M2) of the number of features (M1, M2) to a first, second and/or third class, wherein: the first class comprises buildings, street signs and/or house numbers, the second class comprises vegetation, and/or the third class comprises people, animals, vehicles, clouds and/or shadows. Verfahren nach Anspruch 8, wobei einem Merkmal (M1, M2) der Anzahl Merkmale (M1, M2), das: der ersten Klasse zugeordnet wird, eine höhere Gewichtung zugeordnet wird als der Anzahl Merkmale (M1, M2), die der zweiten und/oder der dritten Klasse zugeordnet werden; der zweiten Klasse zugeordnet wird, eine höhere Gewichtung zugeordnet wird als der Anzahl Merkmale (M1, M2), die der dritten Klasse zugeordnet werden, und eine geringere Gewichtung zugeordnet wird als der Anzahl Merkmale (M1, M2), die der ersten Klasse zugeordnet werden; und/oder der dritten Klasse zugeordnet wird, eine Gewichtung von Null zugeordnet wird.Procedure according to Claim 8 , wherein a feature (M1, M2) of the number of features (M1, M2) that: is assigned to the first class is assigned a higher weighting than the number of features (M1, M2) that are assigned to the second and/or the third class; is assigned to the second class is assigned a higher weighting than the number of features (M1, M2) that are assigned to the third class, and is assigned a lower weighting than the number of features (M1, M2) that are assigned to the first class; and/or is assigned to the third class is assigned a weighting of zero. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Trajektorie (TR) eine mit dem Fahrzeug aufgenommene Trajektorie (TR) ist und/oder die Trajektorie (TR) dem Fahrzeug (100) mit Hilfe einer Datenschnittstelle zur Verfügung gestellt wird.Method according to one of the preceding claims, wherein the trajectory (TR) is a trajectory (TR) recorded with the vehicle and/or the trajectory (TR) is made available to the vehicle (100) by means of a data interface. Verfahren nach einem der vorhergehenden Ansprüche, wobei jeweils zumindest ein Referenzbild (IMGR1 - IMGR3) einer Referenzposition (R1 - R3) entlang der Trajektorie (TR) zugeordnet ist und/oder wobei das Ist-Bild (IMGIST) ein durch eine fahrzeugeigene Kamera (120) aufgenommenes Bild ist und/oder ein aus mithilfe von fahrzeugeigenen Sensoren erfassten Sensordaten erstelltes Bild ist.Method according to one of the preceding claims, wherein at least one reference image (IMG R1 - IMG R3 ) is assigned to a reference position (R1 - R3) along the trajectory (TR) and/or wherein the actual image (IMG IST ) is an image recorded by a vehicle-mounted camera (120) and/or an image created from sensor data collected using the vehicle's own sensors. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeug (100) die Schritte a) - c) in einem Parkassistenz-, Rückfahrassistenz,- und/oder Parkdienst-Modus ausführt.Method according to one of the preceding claims, wherein the vehicle (100) carries out steps a) - c) in a parking assistance, reversing assistance and/or parking service mode. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1-12 auszuführen.Computer program product comprising instructions which, when executed by a computer, cause the computer to carry out the method according to one of the Claims 1 - 12 to execute. Steuergerät (110) für ein Fahrzeug (100), aufweisend: eine Prozessor-Einheit; eine Empfangs-Einheit zum Empfangen von Ist-Bildern; eine Speicher-Einheit, auf welcher Mittel zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 12 abgespeichert sind.Control device (110) for a vehicle (100), comprising: a processor unit; a receiving unit for receiving actual images; a memory unit on which means for carrying out the method according to one of the Claims 1 until 12 are stored. Fahrzeug (100), aufweisend: zumindest einen Sensor (120) zum Erfassen von Ist-Bildern (IMGIST); und ein Steuergerät (110) nach Anspruch 14.Vehicle (100), comprising: at least one sensor (120) for capturing actual images (IMG IST ); and a control unit (110) according to Claim 14 .
DE102022130010.2A 2022-11-14 2022-11-14 METHOD FOR LOCALIZING A VEHICLE Pending DE102022130010A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022130010.2A DE102022130010A1 (en) 2022-11-14 2022-11-14 METHOD FOR LOCALIZING A VEHICLE
PCT/EP2023/081097 WO2024104851A1 (en) 2022-11-14 2023-11-08 Method for locating a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022130010.2A DE102022130010A1 (en) 2022-11-14 2022-11-14 METHOD FOR LOCALIZING A VEHICLE

Publications (1)

Publication Number Publication Date
DE102022130010A1 true DE102022130010A1 (en) 2024-05-16

Family

ID=88834114

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022130010.2A Pending DE102022130010A1 (en) 2022-11-14 2022-11-14 METHOD FOR LOCALIZING A VEHICLE

Country Status (2)

Country Link
DE (1) DE102022130010A1 (en)
WO (1) WO2024104851A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014209678A1 (en) 2014-05-21 2015-11-26 Robert Bosch Gmbh Method and device for determining a vehicle position of a vehicle relative to a reference position
DE102014224601A1 (en) 2014-12-02 2016-06-02 Robert Bosch Gmbh Device and method for operating a parking space
DE102016223144A1 (en) 2016-11-23 2018-05-24 Robert Bosch Gmbh Method and system for detecting a raised object located within a parking lot
DE102018114963A1 (en) 2018-06-21 2019-12-24 Connaught Electronics Ltd. Relocation process of a vehicle using different 3D clouds
DE102019220048A1 (en) 2018-12-31 2020-07-02 Robert Bosch Gmbh AUTONOMOUSLY GUIDING A VEHICLE TO A DESIRED PARKING POSITION SELECTED WITH A REMOTE DEVICE
DE102020132433A1 (en) 2020-12-07 2022-06-09 Valeo Schalter Und Sensoren Gmbh METHOD OF OPERATING A PARKING ASSISTANCE SYSTEM, COMPUTER PROGRAM PRODUCT, PARKING ASSISTANCE SYSTEM AND VEHICLE

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014209678A1 (en) 2014-05-21 2015-11-26 Robert Bosch Gmbh Method and device for determining a vehicle position of a vehicle relative to a reference position
DE102014224601A1 (en) 2014-12-02 2016-06-02 Robert Bosch Gmbh Device and method for operating a parking space
DE102016223144A1 (en) 2016-11-23 2018-05-24 Robert Bosch Gmbh Method and system for detecting a raised object located within a parking lot
DE102018114963A1 (en) 2018-06-21 2019-12-24 Connaught Electronics Ltd. Relocation process of a vehicle using different 3D clouds
DE102019220048A1 (en) 2018-12-31 2020-07-02 Robert Bosch Gmbh AUTONOMOUSLY GUIDING A VEHICLE TO A DESIRED PARKING POSITION SELECTED WITH A REMOTE DEVICE
DE102020132433A1 (en) 2020-12-07 2022-06-09 Valeo Schalter Und Sensoren Gmbh METHOD OF OPERATING A PARKING ASSISTANCE SYSTEM, COMPUTER PROGRAM PRODUCT, PARKING ASSISTANCE SYSTEM AND VEHICLE

Also Published As

Publication number Publication date
WO2024104851A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
EP3204279B1 (en) Method for operating an automatically driven, driverless motor vehicle and monitoring system
WO2021043507A1 (en) Lateral control of a vehicle by means of environment data detected from other vehicles
DE102017130488A1 (en) A method for classifying parking spaces in a surrounding area of a vehicle with a neural network
DE102016003424B4 (en) Method and device for recognizing traffic signs
DE102016210534A1 (en) Method for classifying an environment of a vehicle
EP3627386A1 (en) Method and device for providing an image of the vicinity of a mobile device and motor vehicle comprising such a device
EP3828758A1 (en) Object classification method, object classification circuit, motor vehicle
DE102018116036A1 (en) Training a deep convolutional neural network for individual routes
EP3393875B1 (en) Method for the improved detection of objects by a driver assistance system
DE102021128041A1 (en) IMPROVEMENT OF A VEHICLE NEURAL NETWORK
EP3644239A1 (en) Device and method for abstracting a dataset
DE102019103368A1 (en) DETECTION BY FUSION OF MULTIPLE SENSORS
DE102021004426A1 (en) Method for training an autonomous driving function
DE102021003567A1 (en) Process for the recognition of object relationships and attributions from sensor data
DE102017215844A1 (en) Method for operating a vehicle
DE102017203983A1 (en) Method for operating a motor vehicle during a maneuvering operation
DE102017207441A1 (en) Method for checking a digital environment map for a driver assistance system of a motor vehicle, computing device, driver assistance system and motor vehicle
DE102020203707A1 (en) Plausibility check of the output of neural classifier networks
DE102019129737A1 (en) Method for classifying an environment of a vehicle
DE102022130010A1 (en) METHOD FOR LOCALIZING A VEHICLE
DE102022212343A1 (en) AUTONOMOUS DRIVING SYSTEM
DE102015225415A1 (en) Method and apparatus for classifying a parking space detected by a distance-based detection method to validity
DE19601831A1 (en) Identifying relevant objects for distance regulation of motor vehicle
DE102021202334A1 (en) FILTERING OPERATIONAL SCENARIOS WHEN OPERATING A VEHICLE
DE102020001309A1 (en) Method for operating an electronic computing device for a motor vehicle, as well as an electronic computing device

Legal Events

Date Code Title Description
R163 Identified publications notified