EP3440431A1 - Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs in einer umgebung mittels landmarken - Google Patents

Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs in einer umgebung mittels landmarken

Info

Publication number
EP3440431A1
EP3440431A1 EP17703416.2A EP17703416A EP3440431A1 EP 3440431 A1 EP3440431 A1 EP 3440431A1 EP 17703416 A EP17703416 A EP 17703416A EP 3440431 A1 EP3440431 A1 EP 3440431A1
Authority
EP
European Patent Office
Prior art keywords
landmarks
vehicle
pose
determining
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP17703416.2A
Other languages
English (en)
French (fr)
Inventor
Jan Rohde
Holger Mielenz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3440431A1 publication Critical patent/EP3440431A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for determining a pose of an at least partially automated moving vehicle in an environment by means of landmarks, wherein the vehicle is moved in the environment and whereby a sequence of localization scenarios is generated, and wherein landmark data for
  • Vehicle control system are processed digitally.
  • Pose is understood in the field of technology as the spatial position of an object, namely the position and orientation of an object in two-dimensional space or in three-dimensional space.
  • the method for determining the pose of the vehicle is based at least additionally on landmarks in the surroundings of the vehicle, wherein a pose base can represent GPS data, for example.
  • position data of the vehicle can be enriched based on GPS data with data generated from the recognition of landmarks.
  • orientation for example, the direction of travel of the vehicle can be largely determined by landmarks.
  • Determining a pose of the vehicle based on landmarks is greater than the accuracy of the determination with GPS data.
  • vehicle control system essentially encompasses all of them Components that are necessary to capture the pose, the evaluation of the data and finally the control of the vehicle.
  • DE 10 2014 206 901 A1 discloses a method for
  • Situation recognition is based, on the one hand, on an environment detection by means of environment sensors, comprising ultrasound, laser, radar, infrared sensors, capacitive sensors, LIDAR sensors and / or video image acquisition.
  • environment sensors comprising ultrasound, laser, radar, infrared sensors, capacitive sensors, LIDAR sensors and / or video image acquisition.
  • the situation detection is based on the movement of the vehicle in traffic on the detection of objects outside the vehicle, wherein
  • Whistleblower are relevant, which indicate a specific situation. These can be, for example, optical markers, objects or
  • DE 10 2010 042 063 A1 describes a video-based registration of landmarks, and the landmark data is coupled with GPS or Galileo data for both coarse and more accurate fine positioning of the vehicle.
  • the position determination device is to
  • Vehicle and additionally or alternatively landmark-based perform.
  • vehicle control systems are provided, and in the vehicle control system, the data on the
  • Landmarks for determining the pose of the vehicle digitally processed.
  • localization yields hereinafter referred to as localization scenario
  • a much less accurate localization may be sufficient.
  • data is generated for processing in the vehicle control system that is unnecessary for reliably guiding an at least partially automated vehicle.
  • data volumes are generated which load the system unnecessarily and excessively bind a data memory of the system with regard to available resources.
  • Number of landmarks would allow a significant reduction in the required computing power.
  • the object of the invention is the development of a method for determining a pose of at least one partially automated moving vehicle, wherein the method should be designed such that the necessary computing power and the amount of data to be processed is reduced.
  • the semi-automated moving vehicle should be able to be guided safely unchanged.
  • the invention includes the technical teaching that the amount of
  • Landmark data is increased or decreased depending on the localization scenarios as needed.
  • the advantage of the invention lies in an overall smaller amount of data for determining a pose of a vehicle driving at least partially automated, wherein the data volume for processing in the
  • Vehicle control system is reduced, also a data volume to be transmitted is reduced, which is exchanged, for example, with a back-end server.
  • Determination of the pose is generated and that a reduced amount of landmark data is generated by a smaller detail content for the determination of the pose. Also, the method according to the invention results in an increased number of landmarks being used to process a larger number of landmarks for the determination of the pose, and that a smaller number of landmarks are used for a smaller number of landmarks
  • Landmarks for the determination of the pose is processed.
  • the narrowing of the landmark data can be achieved, for example, by selecting from a set of available landmarks for determining the pose those landmarks that altogether enable, with a minimum number, a sufficient determination of the pose of the vehicle.
  • a data memory is provided, in particular as
  • environments are provided by means of the data memory, in which information about landmarks are present, wherein the map is divided into areas that represent respective localization scenarios.
  • Landmarks may be, for example, traffic signs, traffic lights, lampposts, curbs or lane markings.
  • Other landmarks are nearby objects, such as houses, where landmarks are generally selected from immobile objects.
  • the map is divided into areas that reflect the scene context, such as the scene context "Crossing without
  • the scene context can be retrieved via a coarse, GPS-based global pose through the highly automated vehicle system.
  • the method provides that an odometry error model and / or a generic expression is activated, in particular for determining an odometry offset when starting an automated journey with the partially automated vehicle.
  • an odometry error model and / or a generic expression is activated, in particular for determining an odometry offset when starting an automated journey with the partially automated vehicle.
  • Activation of an odometry error model or a corresponding generic characteristic achieves that the vehicle can be started for the determination of the odometry offset with the start of the highly automated vehicle system, and at a corresponding time the data evaluation takes place added over the landmarks, if appropriate
  • the orientation of the vehicle on the basis of landmarks serves to correct the error influence in order to enable highly automated driving of the vehicle, especially in the urban environment.
  • Landmarks so that a smaller number of landmarks to be captured and processed is sufficient.
  • the localization accuracy is set to an accuracy that can be achieved by the landmarks that can be observed from the stand, taking into account the on-board sensor technology.
  • Localization accuracy is based on a statistical method.
  • Localization accuracy can be selected, or GPS coordinates are used as a rough position estimate. From the starting point of the trip, error propagation with respect to localization accuracy is developed by adding to the initial uncertainty the errors resulting from the application of the odometry error model. Reached the
  • Total error a certain threshold, which depends on the currently driven scenario, then the on-board sensor landmarks of a certain distribution and number searched.
  • the on-board sensor landmarks of a certain distribution and number searched In this case, according to the invention, only so many landmarks are searched for, as required by the localization scenario.
  • the number and the distribution of landmarks on the localization accuracy to be achieved depends and is selected by the inventive method accordingly.
  • the amount of possible landmarks and their vehicle relative position are known from the map loaded from the datastore.
  • the detected landmarks are registered with the landmarks from the map using a matching algorithm. Again, the location accuracy is checked with the algorithm mentioned above, and the odometry error is reset.
  • those landmarks are selected that are possibly around the vehicle are arranged distributed.
  • by the triangulation method is thus by means of an already small number of landmarks one
  • the invention is further directed to a vehicle control system for carrying out the method of determining the pose of an at least partially automated vehicle in an environment by landmarks, wherein the vehicle is movable in the environment and wherein a sequence of location scenarios is generated, and wherein the landmark data is for determination the pose of the vehicle by means of the vehicle control system are digitally processable.
  • a vehicle control system for carrying out the method of determining the pose of an at least partially automated vehicle in an environment by landmarks, wherein the vehicle is movable in the environment and wherein a sequence of location scenarios is generated, and wherein the landmark data is for determination the pose of the vehicle by means of the vehicle control system are digitally processable.
  • Vehicle control system designed so that the length of
  • Landmark data is increased or decreased depending on the localization scenarios as needed.
  • FIG. 1 shows a localization scenario of a vehicle on a vehicle
  • FIG. 2 shows the localization scenario according to FIG. 1, with only two
  • Figure 3 is a localization scenario in the traffic with hidden
  • Figure 4 is a schematic view of a vehicle with a
  • Figures 1 and 2 show an example of a locating scenario for determining a pose of a semi-automated moving vehicle 1 in an environment by landmarks 10.
  • the locating scenario A represents the vehicle 1 at a road intersection, and by way of example three
  • Landmarks 10 shown of which all landmarks 10 are detected.
  • the influence of measurement errors on the localization accuracy is improved by triangulation. If only two landmarks 10 are detected, as shown in FIG. 2, then a pose accuracy 30b which is lower than the localization accuracy 30a according to FIG. 1 in which three landmarks 10 are detected, and the limitation to the pose accuracy 30a is determined Triangulation achieved. This also reduces the risk of obscuring all landmarks 10 by other road users.
  • the example of Figures 1 and 2 shows that the influence of measurement errors on the
  • Triangulation localization accuracy is improved, and there is a reduced risk of obscuring all landmarks 10 by other road users, for example by trucks on an adjacent lane.
  • FIG. 3 shows an example of a vehicle 1 to which another vehicle 1 is accommodating.
  • two landmarks 10 are obscured, and by the possible distributed detection of other landmarks 10 may be a
  • the number of landmarks 10 per time segment that is to say depending on the localization scenario, can also be used for localization in the case of the highest localization accuracy requirements. In scenarios with low demands on the
  • FIG. 4 shows, by way of example, a vehicle 1 with a vehicle control system 100 comprising a data memory 20 and a landmark sensor 40.
  • the landmark sensor 40 serves to detect the landmarks 10 and forms, for example, a radar scanner, a LIDAR scanner or the like.
  • the invention is not limited in its execution to the above-mentioned preferred embodiment. Rather, a number of variants is conceivable, which makes use of the illustrated solution even with fundamentally different types of use. All from the

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs (1) in einer Umgebung mittels Landmarken (10), wobei das Fahrzeug (1) in der Umgebung bewegt wird und wodurch eine Abfolge von Lokalisierungsszenarien erzeugt wird, und wobei Landmarkendaten zur Bestimmung der Pose des Fahrzeugs (1) wenigstens von einem Fahrzeugsteuerungssystem (100) digital verarbeitet werden. Erfindungsgemäß wird die Menge der Landmarkendaten in Abhängigkeit der Lokalisierungsszenarien bedarfsabhängig vergrößert oder verkleinert.

Description

Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs in einer Umgebung mittels Landmarken Beschreibung
Die Erfindung betrifft ein Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs in einer Umgebung mittels Landmarken, wobei das Fahrzeug in der Umgebung bewegt wird und wodurch eine Abfolge von Lokalisierungsszenarien erzeugt wird, und wobei Landmarkendaten zur
Bestimmung der Pose des Fahrzeugs wenigstens von einem
Fahrzeugsteuerungssystem digital verarbeitet werden.
Stand der Technik
Unter Pose wird im Technikbereich die räumliche Lage eines Objekts, nämlich die Position und die Orientierung eines Objektes im zweidimensionalen Raum oder im dreidimensionalen Raum verstanden. Das Verfahren zur Bestimmung der Pose des Fahrzeuges beruht dabei wenigstens zusätzlich auf Landmarken in der Umgebung des Fahrzeuges, wobei eine Posenbasis beispielsweise GPS-Daten darstellen können. Dabei können Posendaten des Fahrzeugs basierend auf GPS-Daten angereichert werden mit Daten, die aus der Erkennung von Landmarken generiert werden. Insbesondere die Ausrichtung, beispielsweise die Fahrtrichtung des Fahrzeuges kann mit Hilfe von Landmarken weitestgehend bestimmt werden. Die Genauigkeit der
Bestimmung einer Pose des Fahrzeuges basierend auf Landmarken ist dabei größer als die Genauigkeit der Bestimmung mit GPS-Daten. Bei teilautomatisiert fahrenden Fahrzeugen, insbesondere bei zukünftig vollautomatisiert fahrenden Fahrzeugen ist dabei die reine GPS-Navigation zur Führung des Fahrzeuges nicht mehr ausreichend, und es müssen Systeme Anwendung finden, die die unmittelbare Umgebung des Fahrzeuges erfassen und insbesondere unter Erkennung von Landmarken die Führung des Fahrzeuges vornehmen. Der Begriff des Fahrzeugsteuerungssystems umfasst dabei im Wesentlichen alle Komponenten, die zur Erfassung der Pose, der Auswertung der Daten und schließlich der Steuerung des Fahrzeuges notwendig sind.
Beispielsweise offenbart die DE 10 2014 206 901 AI ein Verfahren zur
Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden
Fahrzeuges in einer zu be- oder durchfahrenden Umgebung. Die
Situationserkennung beruht dabei zum einen auf einer Umfelderfassung mittels Umfeldsensorik, umfassend Ultraschall-, Laser-, Radar-, Infrarotsensoren, kapazitive Sensoren, LIDAR-Sensoren und/oder eine Videobilderfassung. Dabei soll die Situationserkennung bei der Bewegung des Fahrzeuges im Verkehr auf der Detektion von Objekten außerhalb des Fahrzeuges beruhen, wobei
Hinweisgeber relevant sind, welche auf eine bestimmte Situation hinweisen. Diese können beispielsweise optische Markierungen, Objekte oder
Begrenzungen sein. Zusätzlich oder alternativ können zur Verbesserung der Genauigkeit der Situationserkennung weitere Technologien zur Lokalisierung eingesetzt werden, so können Geodäten mittels eines GPS-Systems oder digitale Karten mit Landmarken in Kombination mit einer Odometrie ermittelt werden. Alternative Technologien für eine spurgenaue Lokalisierung sind die sogenannte„Tightly coupled GNSS/INS", kooperative GNSS (Global Navigation Satellite System) beziehungsweise Triangulationsverfahren mit zwei
Referenzsendern.
Die DE 10 2010 042 063 AI beschreibt eine videobasierte Erfassung von Landmarken, und die Landmarkendaten werden gekoppelt mit GPS- oder Galileo-Daten zur sowohl groben als auch genaueren Feinpositionsbestimmung des Fahrzeuges. Dafür ist die Positionsbestimmungseinrichtung dazu
ausgebildet, um eine Egolokalisierung basierend auf der Position des
Fahrzeuges und zusätzlich oder alternativ landmarkenbasiert durchzuführen. Zur Steuerung des Fahrzeugs sind schließlich Fahrzeugsteuerungssysteme vorgesehen, und in dem Fahrzeugsteuerungssystem werden die Daten über die
Landmarken zur Bestimmung der Pose des Fahrzeuges digital verarbeitet.
Insbesondere zur Lokalisierung eines hochautomatisierten Fahrzeuges in einem Urbanen Umfeld werden häufig metrische Karten eingesetzt. Diese erlauben, je nach Detailgehalt und Genauigkeit der darin enthaltenen Umfeldinformationen, eine sehr präzise Lokalisierung. Ansätze hierfür sind weitgehend
gleichbleibende, szenariounabhängige Lokalisierungserfassungen, insbesondere über Landmarken. Dabei sind Ansätze bekannt, die eine gleichbleibende Lokalisierungsgenauigkeit von durchschnittlich beispielsweise etwa 0,1 m ermöglichen. Die Genauigkeit von 0,1 m ist für das hochautomatisierte Fahren im Urbanen Umfeld hinreichend. Abhängig vom Szenario, das sich für die
Lokalisierung ergibt, im Folgenden als Lokalisierungsszenario bezeichnet, kann jedoch eine deutlich ungenauere Lokalisierung hinreichend sein. Folglich werden Daten zur Verarbeitung im Fahrzeugsteuerungssystem erzeugt, die für ein zuverlässiges Führen eines wenigstens teilautomatisiert fahrenden Fahrzeugs überflüssig sind. Insbesondere dann, wenn über das Fahrzeugsteuerungssystem auch noch mit einem Back-End Daten ausgetauscht werden müssen, werden Datenmengen erzeugt, die das System unnötig belasten und hinsichtlich bereitstehender Ressourcen einen Datenspeicher des Systems übermäßig binden.
Um die erforderlichen Ressourcen hinsichtlich Rechenaufwand und
Datenspeicherung effizient zu nutzen, sind Ansätze bekannt, die für die
Erstellung einer Karte des Umfeldes und der anschließenden Lokalisierung in dieser Karte einen minimalen Datenaufwand ermöglichen. Der Rechenaufwand eines solchen Algorithmus hängt dabei quadratisch mit der Anzahl der in der Karte enthaltenen Landmarken zusammen. Eine Reduzierung der
Landmarkenanzahl würde dabei eine erhebliche Reduzierung der benötigten Rechenleistung ermöglichen.
Weiterhin sind sogenannte Offline-Algorithmen zur Auswahl der Position künstlicher Landmarken bekannt. Aufgrund der hohen Rechenkomplexität eines solchen Ansatzes eignet sich dieser nicht für eine Landmarkenauswahl zur Laufzeit im Fahrzeug. Im Gegensatz zur Notwendigkeit eines teilautomatisiert fahrenden Fahrzeuges ist hierfür zudem die bevorstehende Trajektorie für das Fahrzeug notwendig und als bekannt vorausgesetzt, sodass ein Fahrzeug beispielsweise mit variablen Fahrzielen mit einem solchen Ansatz nicht spontan geführt werden kann. Offenbarung der Erfindung
Aufgabe der Erfindung ist die Weiterbildung eines Verfahrens zur Bestimmung einer Pose wenigstens eines teilautomatisiert fahrenden Fahrzeuges, wobei das Verfahren derart ausgebildet sein soll, dass die notwendige Rechenleistung und die zu verarbeitende Datenmenge reduziert wird. Dabei soll das teilautomatisiert fahrende Fahrzeug unverändert sicher geführt werden können.
Diese Aufgabe wird ausgehend von einem Verfahren gemäß dem Oberbegriff des Anspruches 1 und ausgehend von einem Fahrzeugsteuerungssystem gemäß Anspruch 10 mit den jeweils kennzeichnenden Merkmalen gelöst.
Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
Die Erfindung schließt die technische Lehre ein, dass die Menge der
Landmarkendaten in Abhängigkeit der Lokalisierungsszenarien bedarfsabhängig vergrößert oder verkleinert wird.
Der Vorteil der Erfindung liegt in einem insgesamt kleineren Datenaufkommen zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeuges, wobei das Datenaufkommen zur Verarbeitung in dem
Fahrzeugsteuerungssystem verringert wird, ferner wird ein zu übertragendes Datenvolumen verringert, das beispielsweise mit einem Backend-Server ausgetauscht wird.
Die bedarfsabhängige Anpassung der erfassten Menge an Landmarkendaten in Abhängigkeit der Lokalisierungsszenarien führt dazu, dass eine vergrößerte Menge der Landmarkendaten durch einen größeren Detailgehalt für die
Bestimmung der Pose erzeugt wird und dass eine verringerte Menge der Landmarkendaten durch einen kleineren Detailgehalt für die Bestimmung der Pose erzeugt wird. Auch führt das erfindungsgemäße Verfahren dazu, dass bei einer vergrößerten Menge der Landmarkendaten eine größere Anzahl von Landmarken für die Bestimmung der Pose verarbeitet wird und dass bei einer verkleinerten Menge der Landmarkendaten eine kleinere Anzahl von
Landmarken für die Bestimmung der Pose verarbeitet wird. Die Verkleinerung der Landmarkendaten kann beispielsweise dadurch erzielt werden, dass aus einer Menge von verfügbaren Landmarken zur Bestimmung der Pose solche Landmarken ausgewählt werden, die insgesamt mit einer minimalen Anzahl eine hinreichende Bestimmung der Pose des Fahrzeuges ermöglichen.
Mit weiterem Vorteil ist ein Datenspeicher vorgesehen, insbesondere als
Bestandteil des Fahrzeugsteuerungssystems, wobei nur die bedarfsabhängige Menge der Landmarkendaten in Abhängigkeit des Lokalisierungsszenarios im Datenspeicher abgespeichert und/oder aus dem Datenspeicher abgerufen wird.
Beispielsweise kann eine zwei-dimensionale Karte der zu befahrenden
Umgebung insbesondere mittels des Datenspeichers bereitgestellt werden, in der Informationen über Landmarken vorhanden sind, wobei die Karte in Bereiche unterteilt ist, die jeweilige Lokalisierungsszenarien repräsentieren. Landmarken können beispielsweise Verkehrsschilder, Lichtsignalanlagen, Laternenmaste, Bordsteine oder Fahrbahnmarkierungen sein. Weitere Landmarken sind Objekte in der Umgebung wie beispielsweise Häuser, wobei im Allgemeinen Landmarken aus immobilen Objekten ausgewählt werden.
Die Karte wird in Bereiche unterteilt, die den Szenen-Kontext wiedergeben, sodass zum Beispiel der Szenen -Kontext„Kreuzung ohne
Fahrbahnmarkierungen" aus dem Datenspeicher entnommen werden kann. Auf diese Weise kann der Szenen-Kontext über eine grobe, GPS-basierte globale Pose durch das hochautomatisierte Fahrzeugsystem abgerufen werden.
Mit weiterem Vorteil sieht das Verfahren vor, dass ein Odometrie-Fehlermodell und/oder eine generische Ausprägung aktiviert wird, insbesondere zur Ermittlung eines Odometrie-Offsets beim Start einer automatisierten Fahrt mit dem teilautomatisiert fahrenden Fahrzeug. Mit anderen Worten wird bei einer
Aktivierung eines Odometrie-Fehlermodells oder einer entsprechenden generischen Ausprägung erreicht, dass für die Ermittlung des Odometrie-Offsets mit dem Start des hochautomatisierten Fahrzeugsystems das Fahrzeug gestartet werden kann, und zu einem entsprechenden Zeitpunkt wird die Datenauswertung über die Landmarken hinzugefügt, wenn sich eine entsprechende
Fehleranhäufung ergeben hat. Das Orientieren des Fahrzeuges auf Grundlage von Landmarken dient dabei zur Korrektur des Fehlereinflusses, um eine hochautomatisierte Fahrt des Fahrzeuges insbesondere im Urbanen Umfeld zu ermöglichen.
Mit weiterem Vorteil wird ein Triangulationsverfahren zwischen mehreren
Landmarken angewendet, sodass eine geringere Anzahl von zu erfassenden und zu verarbeitenden Landmarken ausreichend ist.
Zum Starten des Führungssystems zur Führung des Fahrzeuges ist vorgesehen, dass am Anfang die Lokalisierungsgenauigkeit auf eine Genauigkeit gesetzt wird, die durch die aus dem Stand beobachtbaren Landmarken unter Berücksichtigung der On-Board-Sensorik erzielt werden kann. Die Bestimmung der
Lokalisierungsgenauigkeit erfolgt auf Basis eines statistischen Verfahrens.
Sollten beim Systemstart keine Landmarken sichtbar sein, kann entweder die zuletzt bestimmte Positionierung mit der dazugehörigen
Lokalisierungsgenauigkeit gewählt werden, oder es werden GPS-Koordinaten als grobe Positionsschätzung verwendet. Ausgehend von dem Startpunkt der Fahrt wird die Fehlerfortpflanzung bezüglich der Lokalisierungsgenauigkeit entwickelt, indem der Anfangsunsicherheit die Fehler hinzugerechnet werden, die sich aus der Anwendung des Odometrie-Fehlermodells ergeben. Erreicht der
Gesamtfehler einen bestimmten Schwellwert, der von dem aktuell durchfahrenen Szenario abhängt, dann werden mit der On-Board-Sensorik Landmarken einer bestimmten Verteilung und Anzahl gesucht. Dabei werden erfindungsgemäß nur so viele Landmarken gesucht, wie in Abhängigkeit des Lokalisierungsszenarios erforderlich ist. Somit ist die Anzahl und die Verteilung der Landmarken von der zu erreichenden Lokalisierungsgenauigkeit abhängig und wird durch das erfindungsgemäße Verfahren entsprechend ausgewählt. Die Menge möglicher Landmarken und deren fahrzeugrelative Position sind aus der Karte bekannt, die aus dem Datenspeicher geladen wird. Die detektierten Landmarken werden anhand eines Matching-Algorithmus mit den Landmarken aus der Karte registriert. Erneut wird die Lokalisierungsgenauigkeit mit dem oben erwähnten Algorithmus überprüft und der Odometriefehler zurückgesetzt. Insbesondere werden solche Landmarken ausgewählt, die möglichst um das Fahrzeug herum verteilt angeordnet sind. Insbesondere durch das Triangulationsverfahren ist damit mittels einer bereits geringen Anzahl von Landmarken eine
vergleichsweise hohe Lokalisierungsgenauigkeit erzielbar.
Die Erfindung richtet sich weiterhin auf ein Fahrzeugsteuerungssystem zur Ausführung des Verfahrens zur Bestimmung der Pose eines wenigstens teilautomatisiert fahrenden Fahrzeuges in einer Umgebung mittels Landmarken, wobei das Fahrzeug in der Umgebung bewegbar ist und wobei eine Abfolge von Lokalisierungsszenarien erzeugt wird, und wobei die Landmarkendaten zur Bestimmung der Pose des Fahrzeuges mittels des Fahrzeugsteuerungssystems digital verarbeitbar sind. Erfindungsgemäß ist dabei das
Fahrzeugsteuerungssystem so ausgebildet, dass die Länge der
Landmarkendaten in Abhängigkeit der Lokalisierungsszenarien bedarfsabhängig vergrößert oder verkleinert wird. Die weiteren Merkmale und zugehörigen Vorteile des erfindungsgemäßen Verfahrens finden für das
Fahrzeugsteuerungssystem entsprechend Anwendung.
BEVORZUGTES AUSFÜ HRUNGSBEISPI EL DER ERFIN DUNG
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung anhand der Figuren näher dargestellt. Es zeigt:
Figur 1 ein Lokalisierungsszenario eines Fahrzeuges an einer
Straßenkreuzung, wobei drei Landmarken erfasst werden,
Figur 2 das Lokalisierungsszenario gemäß Figur 1, wobei lediglich zwei
Landmarken erfasst werden,
Figur 3 ein Lokalisierungsszenario im Straßenverkehr mit verdeckten
Landmarken, und
Figur 4 eine schematische Ansicht eines Fahrzeuges mit einem
erfindungsgemäßen Fahrzeugsteuerungssystem. Die Figuren 1 und 2 zeigen ein Beispiel eines Lokalisierungsszenarios zur Bestimmung einer Pose eines teilautomatisiert fahrenden Fahrzeuges 1 in einer Umgebung mittels Landmarken 10. Das Lokalisierungsszenario A stellt das Fahrzeug 1 an einer Straßenkreuzung dar, und beispielhaft sind drei
Landmarken 10 gezeigt, von denen sämtliche Landmarken 10 erfasst werden. Der Einfluss von Messfehlern auf die Lokalisierungsgenauigkeit wird dabei durch eine Triangulation verbessert. Werden, wie in Figur 2 dargestellt, nur zwei Landmarken 10 erfasst, so stellt sich eine Posengenauigkeit 30b ein, die geringer ist als die Lokalisierungsgenauigkeit 30a gemäß Figur 1, in der drei Landmarken 10 erfasst werden, und die Begrenzung auf die Posengenauigkeit 30a wird durch Triangulation erzielt. Dadurch verringert sich auch die Gefahr der Verdeckung sämtlicher Landmarken 10 durch andere Verkehrsteilnehmer. Weiterhin zeigt das Beispiel der Figuren 1 und 2, dass der Einfluss von Messfehlern auf die
Lokalisierungsgenauigkeit durch Triangulation verbessert wird, und es entsteht eine verringerte Gefahr der Verdeckung sämtlicher Landmarken 10 durch andere Verkehrsteilnehmer, beispielsweise durch LKW auf einer benachbarten Fahrspur.
Hierzu zeigt Figur 3 ein Beispiel eines Fahrzeuges 1, dem ein weiteres Fahrzeug 1 entgegenkommt. Dadurch werden zwei Landmarken 10 verdeckt, und durch die möglichst verteilte Erfassung weiterer Landmarken 10 kann eine
hinreichende Lokalisierung trotz der Verdeckung der beiden Landmarken 10 durch das weitere Fahrzeug 1 erzielt werden.
Ab einer Anzahl von zehn Landmarken 10 tritt in der Regel keine signifikante Verbesserung der Lokalisierungsgenauigkeit durch die Verwendung von noch weiteren Landmarken 10 mehr ein. Der Rechenaufwand zur Lösung des
Lokalisierungsproblems weist, wie oben dargestellt, eine starke Abhängigkeit von der Landmarkenanzahl auf. Auf Grundlage dieses Sachverhalts sollten im
Hinblick auf eine Absenkung des Rechenaufwandes die Anzahl der Landmarken 10 pro Zeitabschnitt, also abhängig vom Lokalisierungsszenario, auch im Falle höchster Anforderungen an die Lokalisierungsgenauigkeit zur Lokalisierung verwendet werden. In Szenarien mit geringen Anforderungen an die
Lokalisierungsgenauigkeit kann die Zahl entsprechend niedriger gewählt werden. Unter Berücksichtigung möglicher Fehlerdetektionen und Verdeckungen werden geringfügig mehr als die theoretisch nötigen Landmarken 10 verwendet. Figur 4 zeigt beispielhaft ein Fahrzeug 1 mit einem Fahrzeugsteuerungssystem 100, umfassend einen Datenspeicher 20 und einen Landmarkensensor 40. Der Landmarkensensor 40 dient dabei zur Erfassung der Landmarken 10 und bildet beispielsweise einen Radar-, einen LIDAR-Scanner oder dergleichen aus.
Die Erfindung beschränkt sich in ihrer Ausführung nicht auf das vorstehend angegebene bevorzugte Ausführungsbeispiel. Vielmehr ist eine Anzahl von Varianten denkbar, welche von der dargestellten Lösung auch bei grundsätzlich anders gearteten Ausführungen Gebrauch macht. Sämtliche aus den
Ansprüchen, der Beschreibung oder den Zeichnungen hervorgehenden
Merkmale und/oder Vorteile, einschließlich konstruktiven Einzelheiten, räumliche Anordnungen und Verfahrensschritte, können sowohl für sich als auch in den verschiedensten Kombinationen erfindungswesentlich sein.

Claims

Ansprüche
1. Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs (1) in einer Umgebung mittels Landmarken (10), wobei das Fahrzeug (1) in der Umgebung bewegt wird und wodurch eine Abfolge von Lokalisierungsszenarien (A) erzeugt wird, und wobei Landmarkendaten zur Bestimmung der Pose des Fahrzeugs (1) wenigstens von einem
Fahrzeugsteuerungssystem (100) digital verarbeitet werden, dadurch gekennzeichnet, dass die Menge der Landmarkendaten in Abhängigkeit der Lokalisierungsszenarien bedarfsabhängig vergrößert oder verkleinert wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine
vergrößerte Menge der Landmarkendaten durch einen größeren Detailgehalt für die Bestimmung der Pose erzeugt wird und dass eine verringerte Menge der Landmarkendaten durch einen kleineren Detailgehalt für die Bestimmung der Pose erzeugt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass bei einer vergrößerten Menge der Landmarkendaten eine größere Anzahl von
Landmarken (10) für die Bestimmung der Pose verarbeitet wird und dass bei einer verkleinerten Menge der Landmarkendaten eine kleinere Anzahl von Landmarken (10) für die Bestimmung der Pose verarbeitet wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass aus einer Menge an verfügbaren Landmarken (10) zur Bestimmung der Pose solche Landmarken (10) ausgewählt werden, die insgesamt mit einer minimalen Anzahl eine hinreichende Bestimmung der Pose des Fahrzeugs (1) ermöglichen.
5. Verfahren nach einem der vorgenannten Ansprüche, dadurch
gekennzeichnet, dass ein Datenspeicher (20) vorgesehen ist, wobei nur die bedarfsabhängige Menge der Landmarkendaten in Abhängigkeit der Lokalisierungsszenarien (A) im Datenspeicher (20) abgespeichert und/oder aus dem Datenspeicher (20) abgerufen wird.
Verfahren nach einem der vorgenannten Ansprüche, dadurch
gekennzeichnet, dass eine wenigstens 2-dimensionale Karte der zu befahrenden Umgebung insbesondere mittels des Datenspeichers (20) bereitgesellt wird, in der Informationen über Landmarken (10) vorhanden sind, wobei die Karte in Bereiche unterteilt ist, die jeweilige
Lokalisierungsszenarien (A) repräsentieren.
Verfahren nach einem der vorgenannten Ansprüche, dadurch
gekennzeichnet, dass ein Odometrie-Fehlermodell und/oder eine generische Ausprägung aktiviert wird, insbesondere zur Ermittlung eines Odometrie- Offsets beim Start einer automatisierten Fahrt mit dem teilautomatisiert fahrenden Fahrzeug (1).
Verfahren nach einem der vorgenannten Ansprüche, dadurch
gekennzeichnet, dass ein Triangulationsverfahren zwischen mehreren Landmarken (10) angewendet wird, sodass eine geringere Anzahl von zu erfassenden und zu verarbeitenden Landmarken (10) ausreichend ist.
9. Verfahren nach einem der vorgenannten Ansprüche, dadurch
gekennzeichnet, dass solche Landmarken (10) ausgewählt werden, die möglichst um das Fahrzeug (1) herum verteilt angeordnet sind.
10. Fahrzeugsteuerungssystem (100) zur Ausführung des Verfahrens nach
einem der Ansprüche 1 bis 9.
EP17703416.2A 2016-04-08 2017-02-06 Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs in einer umgebung mittels landmarken Ceased EP3440431A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016205870.3A DE102016205870A1 (de) 2016-04-08 2016-04-08 Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs in einer Umgebung mittels Landmarken
PCT/EP2017/052486 WO2017174229A1 (de) 2016-04-08 2017-02-06 Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs in einer umgebung mittels landmarken

Publications (1)

Publication Number Publication Date
EP3440431A1 true EP3440431A1 (de) 2019-02-13

Family

ID=57965951

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17703416.2A Ceased EP3440431A1 (de) 2016-04-08 2017-02-06 Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs in einer umgebung mittels landmarken

Country Status (6)

Country Link
US (1) US10876842B2 (de)
EP (1) EP3440431A1 (de)
JP (1) JP2019513996A (de)
CN (1) CN108885113A (de)
DE (1) DE102016205870A1 (de)
WO (1) WO2017174229A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017008071B4 (de) * 2017-09-22 2023-07-20 Continental Automotive Technologies GmbH Verfahren und System zur globalen Lokalisierung
CN108445503B (zh) * 2018-03-12 2021-09-14 吉林大学 基于激光雷达与高精度地图融合的无人驾驶路径规划算法
DE102018208182A1 (de) * 2018-05-24 2019-11-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ausführen wenigstens einer sicherheitssteigernden Maßnahme für ein Fahrzeug
DE102018221178A1 (de) 2018-12-06 2020-06-10 Robert Bosch Gmbh Lokalisierungssystem
DE102019205994A1 (de) 2019-04-26 2020-10-29 Robert Bosch Gmbh Verfahren zum Ausbilden einer Lokalisierungsschicht einer digitalen Lokalisierungskarte zum automatisierten Fahren
DE102019119095B4 (de) * 2019-07-15 2024-06-13 Man Truck & Bus Se Verfahren und Kommunikationssystem zur Unterstützung einer wenigstens teilweise automatischen Fahrzeugsteuerung
DE102019119482A1 (de) * 2019-07-18 2021-01-21 Valeo Schalter Und Sensoren Gmbh Verfahren zur Lokalisierung eines Ego-Fahrzeugs
FR3100884B1 (fr) * 2019-09-17 2021-10-22 Safran Electronics & Defense Procédé et système de positionnement de véhicule mettant en œuvre un dispositif de capture d’image
CN115629386B (zh) * 2022-12-21 2023-04-11 广州森弘信息科技有限公司 一种用于自动泊车的高精度定位***及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3571962B2 (ja) 1999-05-28 2004-09-29 日本電信電話株式会社 位置検出方法
US7191056B2 (en) * 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP4903426B2 (ja) * 2005-11-30 2012-03-28 アイシン・エィ・ダブリュ株式会社 画像認識装置及び方法、並びに自車位置認識装置及び方法
AU2009211435A1 (en) * 2008-02-04 2009-08-13 Tele Atlas B.V. Method for map matching with sensor detected objects
DE102008057139A1 (de) 2008-04-25 2009-11-12 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur rechnergestützten Auswahl von Landmarken aus einer räumlichen Umgebung zur Lokalisation eines mobilen Objekts und entsprechendes Computerprogrammprodukt
JP5116555B2 (ja) 2008-04-25 2013-01-09 三菱電機株式会社 位置標定装置、位置標定システム、標定サーバ装置および位置標定方法
NO20082337L (no) * 2008-05-22 2009-11-23 Modulprodukter As Fremgangsmate til fremstilling av veikart og bruk av samme, samt system for veikart
DE102010042063B4 (de) 2010-10-06 2021-10-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
US8862395B2 (en) 2011-01-31 2014-10-14 Raytheon Company Coded marker navigation system and method
PL2490092T3 (pl) * 2011-02-16 2014-02-28 Siemens Ag Sposób niezależnej lokalizacji niemającego kierowcy, zmotoryzowanego pojazdu
US9395188B2 (en) * 2011-12-01 2016-07-19 Maxlinear, Inc. Method and system for location determination and navigation using structural visual information
US9037411B2 (en) * 2012-05-11 2015-05-19 Honeywell International Inc. Systems and methods for landmark selection for navigation
JP2014066635A (ja) 2012-09-26 2014-04-17 Toyota Motor Corp 自車位置校正装置および自車位置校正方法
DE102014201824A1 (de) 2014-02-03 2015-08-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs
DE102014002821A1 (de) 2014-02-26 2015-08-27 Audi Ag Verfahren und ein System zum Lokalisieren einer mobilen Einrichtung
JP6280409B2 (ja) * 2014-03-25 2018-02-14 株式会社日立製作所 自車位置修正方法、ランドマークデータ更新方法、車載機、サーバおよび自車位置データ修正システム
DE102014206901A1 (de) 2014-04-10 2015-10-15 Robert Bosch Gmbh Benutzerinterface zur Auswahl und Aktivierung einer Unterstützung in Manöversituationen
DE102015011358A1 (de) 2015-08-29 2016-03-17 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs

Also Published As

Publication number Publication date
CN108885113A (zh) 2018-11-23
US20190101398A1 (en) 2019-04-04
DE102016205870A1 (de) 2017-10-12
JP2019513996A (ja) 2019-05-30
WO2017174229A1 (de) 2017-10-12
US10876842B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
EP3440431A1 (de) Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs in einer umgebung mittels landmarken
DE102017206847B4 (de) Verfahren zum automatischen Erstellen und Aktualisieren eines Datensatzes für ein autonomes Fahrzeug
EP3577420B1 (de) Verfahren und vorrichtung zur aktualisierung einer digitalen karte
EP3292423B1 (de) Diagnoseverfahren für einen sichtsensor eines fahrzeugs und fahrzeug mit einem sichtsensor
WO2017178190A1 (de) Verfahren und system zum bestimmen einer globalen position einer ersten landmarke
DE102015210015A1 (de) Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs
EP2769373A1 (de) Übernahme von daten aus bilddatenbasierenden kartendiensten in ein assistenzsystem
WO2016020347A1 (de) Verfahren zum erkennen eines objekts in einem umgebungsbereich eines kraftfahrzeugs mittels eines ultraschallsensors, fahrerassistenzsystem sowie kraftfahrzeug
DE102016213817B4 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
DE102016003261A1 (de) Verfahren zur Selbstlokalisierung eines Fahrzeugs in einer Fahrzeugumgebung
WO2017202570A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn
EP2963631A1 (de) Verfahren zum ermitteln eines parkplatzes aus einer anzahl von messpunkten
DE102016011366A1 (de) Verfahren zur Positionsbestimmung eines Fahrzeugs
DE102015224694A1 (de) Verfahren und Vorrichtung zur Bereitstellung der Fahrzeugnavigationsinformation im Bereich einer Hochstraße
EP3440433B1 (de) Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs mittels speziell ausgewählter und von einem backend- server übertragener landmarken
DE102017008569A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug unter Verwendung einer vektorbasierten und einer gitterbassierten Umgebungskarte sowie Fahrerassistenzsystem
DE102021111325A1 (de) Verfahren und Assistenzeinrichtung zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs und Kraftfahrzeug
DE102018216165A1 (de) Vorrichtung und verfahren zur ortung eines fahrzeuges
DE102019132967A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Fahrspur-Hypothese
EP4148386A1 (de) Ermittlung einer absoluten initialposition eines fahrzeugs
DE102013001867A1 (de) Verfahren zur Ermittlung einer Fahrzeugorientierung und/oder einer korrigierten Fahrzeugposition eines Kraftfahrzeugs und Kraftfahrzeug
WO2014198548A1 (de) Verfahren und system zum auffinden einer oder mehrerer personen durch ein fahrzeug
WO2018095669A1 (de) Verfahren und vorrichtung zum bestimmen einer genauen position eines fahrzeugs anhand von radarsignaturen der fahrzeugumgebung
DE102010042314A1 (de) Verfahren zur Ortsbestimmung mit einem Navigationssystem und Navigationssystem hierzu
DE102018129556A1 (de) Verfahren zum wenigstens teilautonomen Fahren eines Fahrzeugs im Rahmen eines Parkvorgangs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20181108

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20191107

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ROBERT BOSCH GMBH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20200606