WO2023147921A1 - Verfahren zum betrieb eines zumindest teilautomatisiert steuerbaren fahrzeugs - Google Patents

Verfahren zum betrieb eines zumindest teilautomatisiert steuerbaren fahrzeugs Download PDF

Info

Publication number
WO2023147921A1
WO2023147921A1 PCT/EP2022/085497 EP2022085497W WO2023147921A1 WO 2023147921 A1 WO2023147921 A1 WO 2023147921A1 EP 2022085497 W EP2022085497 W EP 2022085497W WO 2023147921 A1 WO2023147921 A1 WO 2023147921A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
entity
entities
road map
digital
Prior art date
Application number
PCT/EP2022/085497
Other languages
English (en)
French (fr)
Inventor
Mario Aleksic
Peter Hurt
Maximilian Harr
Michael Henzler
Michael Mink
Thomas Monninger
Anja Severin
Alexander Bracht
Roland Ortloff
Original Assignee
Mercedes-Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes-Benz Group AG filed Critical Mercedes-Benz Group AG
Publication of WO2023147921A1 publication Critical patent/WO2023147921A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Definitions

  • Method for operating a vehicle that can be controlled at least partially automatically
  • the invention relates to a method for operating an at least partially automatically controllable vehicle of the type defined in more detail in the preamble of claim 1 and to a vehicle which is operated in accordance with the method according to the invention.
  • map data For the operation of at least partially automatically controllable vehicles, in particular autonomously controllable vehicles, high-resolution, accurate and up-to-date map data are required, which are read in by a computing unit of the vehicle to determine control commands.
  • map data form a digital copy of the real world, which enables the processing unit to track the exact course of a road to be traveled with the vehicle and to observe applicable traffic regulations.
  • Information about traffic lights, traffic signs, lane courses, lane markings and the like is also stored in such a map.
  • the computing unit can thus adapt the driving behavior of the vehicle to a particular traffic situation and thereby enable safe operation.
  • a so-called highway pilot enables, for example, automated longitudinal and/or lateral guidance when driving on a highway. If the applicable speed limit is reduced, for example in the area of a construction site, the motorway pilot can detect a corresponding traffic sign and reduce the vehicle's speed. In the urban area, however, the adaptation of the at least partially automated vehicle control is much more demanding.
  • a fully or highly automated or autonomous vehicle must navigate independently and autonomously through intersections, give way or allow pedestrians to pass at pedestrian crossings. To do this, it is not only necessary to record individual objects relevant to traffic regulation, hereinafter referred to as entities, but also to establish relationships between them. While the entities can be detected by a vehicle's optical environment monitoring system, the question arises for the vehicle as to how it should relate the individual detected entities to one another.
  • An example of a relationship between several entities is, for example, the connection between a halt or stop line in front of a traffic light or a give way sign.
  • a relationship between several entities is, for example, the connection between a halt or stop line in front of a traffic light or a give way sign.
  • DE 10 2021 001 096 A1 discloses a method for operating a vehicle which enables at least partially automated control of the vehicle using information from a digital road map.
  • the relationships between the objects are also stored in the digital road map. This puts the vehicle in a position to distinguish which stop line applies to which traffic sign or light signal system when approaching an intersection.
  • the process reaches its limits if the relationships between the objects that the vehicle can detect and that are stored in the digital road map do not correspond to reality.
  • a system for generating and/or updating a digital model of a digital map is known from DE 10 2017 217 297 A1. With the help of the system it is possible to update the information stored in the digital map of the objects detectable by the vehicle. However, only changes to the objects that can be detected by the vehicle are recognized and saved. Relationships between the detectable objects cannot be taken into account.
  • a method for operating an automated vehicle is known from DE 10 2019211 071 A1, in which provision is made for currently valid right-of-way rules to be determined based on a digital map and depending on the evaluation of an environment sensor system, in order to keep the right-of-way rules up to date and to respond to short-term changes e.g. to react due to construction sites, road closures etc.
  • a method for providing map data is known from DE 10 2018 009 716 A1, with provision being made for disruptive map changes, for example from changes in priority rules, lane changes, etc., to be taken into account.
  • a method is known from DE 10 2020 104 899 A1, in which it is provided that maps of the environment in different versions are received at different points in time and that changes in the maps of the environment that affect the traffic regulations are recognized.
  • the present invention is based on the object of specifying an improved method for operating a vehicle that can be controlled at least partially automatically, with the aid of which particularly reliable operation of the vehicle is made possible.
  • this object is achieved by a method for operating a vehicle that can be controlled at least partially automatically, having the features of claim 1 .
  • Advantageous refinements and developments as well as a vehicle for carrying out the method result from the dependent claims.
  • the area sensor system of the vehicle can include sensors of different types, such as mono or stereo cameras, LIDARs, radar sensors, ultrasonic sensors or the like.
  • sensors of different types such as mono or stereo cameras, LIDARs, radar sensors, ultrasonic sensors or the like.
  • the vehicle is able to monitor its environment and to recognize static and dynamic objects in the environment.
  • Sensor data generated by the environment sensors evaluated by a computing unit.
  • control commands for at least partially automated control of the vehicle can be derived.
  • the observable entities can be divided into controlling and controlled objects.
  • the controlled objects include, for example, traffic lights and traffic signs, and the controlled objects include pedestrian crossings and stop lines.
  • the observable entities also include the course of the road and road markings. Individual observable entities can depend on each other through semantic relationships. For example, the information sign for a pedestrian crossing applies to the corresponding zebra crossing applied to the roadway.
  • a stop line in the area of a traffic light or a give way or stop sign.
  • a marked line is missing (e.g. due to wear and tear on the road).
  • a virtual stop line is inserted into the map, the position of which is derived, for example, from the observation of other vehicles.
  • a vehicle does not "know" itself which stop line applies to which traffic sign or which signal system.
  • Corresponding semantic relationships are programmed into the digital road map in the form of information. Accordingly, the digital road map is stored in a physical storage medium of the vehicle's processing unit. According to the invention, the digital road map is supplemented by the dependency graphs.
  • the vehicle While the vehicle is in operation, it monitors its surroundings. Observable entities recognized by the vehicle with the help of the environment sensors are then compared with their corresponding counterparts on the digital road map. This allows differences to be determined. If, for example, a traffic light is replaced by a stop sign in the area of an intersection, the vehicle needs information about which stop line now applies to the stop sign, so that the vehicle can stop correctly in front of the stop sign. To do this, the corresponding dependency graph of the changed entity is run through. The processing unit then sets the semantic relationships between the changed entity and the entities dependent on the changed entity in relation to the difference found. Applied to the example, the computing unit thus determines that the traffic light is replaced by a stop sign was made, which means that the stop line previously valid for the traffic light must now apply to the stop sign.
  • the vehicle has to use different driving strategies. If the light signal is green, the vehicle can safely cross the stop line. If the light signal is red, the vehicle must stop in front of the stop line. In the case of a yellow light signal, the vehicle must decide whether it should cross the stop line or whether it must stop in front of the stop line. Since there is now a stop sign next to the stop line instead of a traffic light, the vehicle must come to a standstill in front of the stop line.
  • the method according to the invention thus enables safe and reliable operation of vehicles that can be controlled at least partially automatically, even in particularly confusing traffic situations, such as driving through an intersection with a large number of different lanes and a correspondingly large number of traffic signals and traffic signs. Even if the observable entities found at the intersection deviate from the entities stored in the digital road map, the vehicle is able to correctly record the dependencies through the semantic relationships of the entities to one another.
  • An advantageous development of the method provides that the vehicle, evaluating sensor data generated by the surroundings sensors, checks its current driving situation to determine whether the at least one changed semantic relationship is relevant to the at least partially automated mode of operation of the vehicle, whereupon a computing unit of the vehicle issues control commands for adjustment of the operation of the vehicle if this is the case.
  • the vehicle can therefore not only adapt the information stored in the digital road map, but also, as already mentioned, adapt its driving behavior in accordance with the applicable traffic regulations.
  • At least one of the following differences between a recognized entity and its digital counterpart is determined: - the recognized entity has no counterpart in the digital road map;
  • the dependency graph can contain certain default relationships and dependencies.
  • the dependency graph can provide that the vehicle, when recognizing a new traffic sign or a new traffic signal system, should search for new stop lines, for example, and then assign them to the corresponding traffic signal system or traffic sign.
  • a recognized entity can also change compared to the version of the entity stored in the digital road map.
  • a stop sign can be replaced by a give way sign, or a stop line can be moved ten meters forward to clear a newly built junction.
  • a further advantageous embodiment of the method also provides that priority rules are defined by the semantic relationships between observable entities and the vehicle adapts its behavior to changed priority rules if a changed semantic relationship in the digital road map is relevant to a current driving situation of the vehicle.
  • Observing applicable right-of-way rules is particularly relevant for the safe operation of vehicles that can be controlled at least partially automatically. There is a risk of an accident if you ignore the right of way. This is to be avoided. The circumstances encountered in reality do not agree with those in the If the conditions stored on the digital road map match, there is a general risk that the vehicle will not behave in accordance with the applicable traffic regulations.
  • it is reliably possible to detect and correctly assess a driving situation encountered by the vehicle. In this way, correct dependencies between observable entities can be determined via corresponding semantic relationships of the entities to one another, and thus changed right-of-way rules can also be recognized particularly reliably. This improves road safety.
  • the vehicle adapts its at least partially automated mode of operation if the vehicle cannot assign a recognized entity to any digital counterpart.
  • a confidence threshold can be defined, which must be exceeded in order for recognized entities to be associated with their digital counterparts.
  • a traffic sign may be covered with snow in winter or a lane marking may not be correctly detected due to fog.
  • the vehicle can be controlled "conservatively" in such a case. This means that the vehicle behaves with extra caution. For example, if the vehicle is traveling in a left-turn lane into an intersection where a green arrow applies, the vehicle may not have properly recognized the green arrow. In this case, the vehicle then drives particularly slowly compared to normal operation, for example, and may stop briefly in the middle of the intersection in order to identify potential oncoming traffic that the vehicle would supposedly have to let pass before it turns left.
  • the algorithms used by the computing unit to determine control commands can also be adapted.
  • threshold values used by algorithms can also be adjusted in order to increase the detection sensitivity of objects. If necessary, a traffic sign hidden behind a waft of fog can still be correctly recognized.
  • the provision of at least one at least partially automated driving function is terminated and/or the vehicle is brought to a standstill according to a predefined emergency pattern.
  • a predefined emergency pattern This allows the risk of an accident to be reduced in a particularly reliable manner. If the vehicle is no longer able to maintain at least partially automated ferry operations without guaranteeing protection against an accident, a driver must take control of the vehicle in this case.
  • the vehicle can also be brought to a standstill automatically.
  • predefined stopping maneuvers can be stored in the computing unit and carried out by the vehicle.
  • Such an emergency maneuver can, for example, provide for driving along a specific trajectory with the selection of predetermined speeds and accelerations in order to bring the vehicle to a standstill, for example, at the road wheel.
  • Optical and/or visual warning devices of the vehicle such as a direction indicator and/or a horn, can also be actuated.
  • the vehicle searches for other changed entities in the area surrounding the recognized changed entity if a difference is found between a recognized entity and its digital counterpart.
  • the vehicle increases its detection sensitivity for surrounding objects in the area of the recognized changed entity. This ensures even safer and more reliable operation of the vehicle.
  • the vehicle is preferably controlled autonomously. In the case of an autonomously controlled vehicle, there is generally no provision for a person driving the vehicle to intervene in the control of the vehicle. Accordingly, an autonomously controlled vehicle must be able to correctly assess traffic situations at any time. This is reliably ensured with the aid of the method according to the invention.
  • a copy of the digital road map is managed by a vehicle-external central processing unit, with the vehicle transmitting the change in the at least one semantic relationship to the central processing unit.
  • a central processing unit such as a cloud server.
  • the corresponding set of digital road maps can then be transmitted from the central processing unit to a large number of vehicles. If individual vehicles now detect changes in the road network, the vehicles can report the changes to the central processing unit, which then distributes the changes to the other vehicles.
  • the environment sensor system and the computing unit are set up according to the invention to carry out a method described above.
  • the vehicle can be any vehicle such as a car, truck, van, bus or the like.
  • various sensors can be used as environment sensors, such as a mono or stereo camera, a LIDAR, a radar sensor and/or one or more ultrasonic sensors.
  • the functionalities provided by the computing unit include the evaluation of the sensor data provided by the surroundings sensors, the provision of the digital road map and the corresponding information as well as the evaluation of the information and the generation of at least partially automated control commands for the vehicle.
  • a processing unit can be a central on-board computer, a control unit of a vehicle subsystem, a telematics unit or the like.
  • FIG. 1 shows a schematic plan view of a section of a digital road map
  • FIG. 2 shows a schematic top view of a vehicle according to the invention, which drives on the section of the digital road map shown in FIG. 1;
  • FIG. 1 shows a plan view of a T-junction 6.
  • Information is stored in a digital road map, which includes properties of entities 2 that can be observed with an environment sensor system 4 of a vehicle 1 shown in FIG.
  • the observable entities 2 are several stop lines 9, traffic lights 10 and a pedestrian crossing 8.
  • the vehicle 1 according to the invention can be controlled at least partially automatically, with the vehicle 1 control commands being determined by a computing unit 5 shown in FIG. 2, taking into account the information stored in the digital road map.
  • the vehicle 1 “knows” that when it arrives at the T-junction 6 it has to stop in front of one of the stop lines 9 depending on a light signal from a corresponding traffic light system 10 and which stop line 9 exactly for this purpose is relevant.
  • the digital road map into the vehicle 1, i.e. into the processing unit 5, and the arrival of the vehicle 1 at the T-junction 6, there was a structural change in the T-junction 6.
  • one of the traffic lights 10 is replaced by a stop sign.
  • the recognition of changes in observable entities 2 is possible in a comparatively simple manner with the aid of the environment sensor system 4 of the vehicle 1 .
  • FIG. 3 shows the difference recognized by the processing unit 5 by comparing the information stored in the digital road map with the evaluation of the environmental information recorded by the surroundings sensors 4 .
  • This difference includes the changed entity 2 in the form of the traffic sign 16 and the stop line 9 originally assigned to the traffic signal system 10 .
  • the processing unit 5 then assigns the stop line 9 to the traffic sign 16 .
  • FIG. 4 shows a schematic of a dependency graph 3 traversed by the processing unit 5 for assigning the stop line 9 to the traffic sign 16.
  • Sensor data generated by the surroundings sensor system 4 are included in the dependency graph 3 as an input variable.
  • An upper section 7 of the dependency graph 3 symbolizes the observable entities 2. These include, for example, pedestrian crossings 8, stop lines 9, traffic signals 10, traffic signs 16, lanes 11, lane types 12, object types 13 and posts 14.
  • Pedestrian crossings 8 count and stop line 9 to controlled objects 15 and traffic signals 10 as well as traffic signs 16 to controlled objects 17.
  • a lower section 18 of the dependency graph 3 symbolizes the semantic relationships between observable entities 2.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs (1) unter Berücksichtigung von in einer digitalen Straßenkarte gespeicherten Informationen, wobei die Informationen Eigenschaften von mit einer Umfeldsensorik (4) des Fahrzeugs (1) observierbaren Entitäten (2) und semantischen Beziehungen zwischen den observierbaren Entitäten (2) umfassen, gekennzeichnet durch die folgenden Verfahrensschritte: - Einbringen von Abhängigkeitsgraphen (3) zusammen mit der digitalen Straßenkarte in das Fahrzeug (1); - Observieren des Fahrzeugumfelds mit der Umfeldsensorik (4); - Erkennen von oberservierbaren Entitäten (2) im Fahrzeugumfeld und Vergleich der erkannten Entitäten (2) mit ihren entsprechenden Pendants in der digitalen Straßenkarte; - Wenn ein Unterschied zwischen einer erkannten Entität (2) und ihrem digitalen Pendant festgestellt wird: - Durchlaufen des für die geänderte Entität (2) geltenden Abhängigkeitsgraphen (3); - Wenn der Unterschied einen Einfluss auf wenigstens eine semantische Beziehung zwischen der geänderten Entität (2) und einer abhängigen Entität (2) hat: Aktualisieren der entsprechenden in der digitalen Straßenkarte gespeicherten semantischen Beziehung zur Berücksichtigung des Einflusses.

Description

Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs
Die Erfindung betrifft ein Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug, welches gemäß des erfindungsgemäßen Verfahrens betrieben wird.
Für den Betrieb zumindest teilautomatisiert steuerbarer Fahrzeuge, insbesondere autonom steuerbarer Fahrzeuge, werden hochaufgelöste, genaue und aktuelle Kartendaten benötigt, welche von einer Recheneinheit des Fahrzeugs zur Ermittlung von Steuerungsbefehlen eingelesen werden. Solche Kartendaten bilden eine digitale Kopie der realen Welt ab, was es der Recheneinheit ermöglicht, den genauen Straßenverlauf einer mit dem Fahrzeug zu befahrenden Straße nachzuverfolgen und dabei geltende Verkehrsregeln zu beachten. So werden in einer solchen Karte auch Informationen über Lichtsignalanlagen, Verkehrszeichen, Fahrspurverläufe, Fahrbahnmarkierungen und dergleichen gespeichert. Somit kann die Recheneinheit das Fahrverhalten des Fahrzeugs an eine jeweilige Verkehrssituation anpassen und hierdurch einen sicheren Betrieb ermöglichen.
In der Realität kommt es jedoch täglich zu Änderungen im Straßennetz. So werden einzelne Streckenabschnitte umgebaut oder aber das Befahren einer Umleitung aufgrund eines Unfalls ist vonnöten. In einem solchen Fall muss dann gegebenenfalls eine fahrzeugführende Person einer temporären Fahrspurmarkierung bzw. einer temporären Beschilderung folgen. Dies ist insbesondere für automatisiert bzw. autonom steuerbare Fahrzeuge eine Herausforderung, da solche geänderten Kartendaten frühzeitig erkannt werden müssen.
Je nach Fahrsituation können Fahrzeuge mehr oder weniger gut dazu in der Lage sein, angemessen auf Änderungen im Straßennetz zu reagieren. Ein sogenannter Autobahnpilot ermöglicht beispielsweise eine automatisierte Fahrzeuglängs- und/oder - querführung beim Befahren einer Autobahn. Kommt es zu einer Reduktion des geltenden Tempolimits, beispielsweise im Bereich einer Baustelle, so kann der Autobahnpilot ein entsprechendes Verkehrszeichen erfassen und die Fortbewegungsgeschwindigkeit des Fahrzeugs reduzieren. Im urbanen Bereich fällt das Anpassen der zumindest teilautomatisierten Fahrzeugsteuerung hingegen wesentlich anspruchsvoller aus. So muss ein voll- oder hochautomatisiertes bzw. autonomes Fahrzeug selbstständig und eigenverantwortlich über Kreuzungen navigieren, Vorfahrt gewähren oder Fußgänger an Fußgängerüberwegen passieren lassen. Hierzu ist es nicht nur erforderlich, einzelne für die Regelung des Verkehrs relevante Objekte, im Folgenden Entitäten bezeichnet, zu erfassen, sondern auch noch Beziehungen zwischen diesen herzustellen. Während die Entitäten von einem optischen Umgebungsüberwachungssystem eines Fahrzeugs erfasst werden können, stellt sich dabei für das Fahrzeug die Frage, wie es die einzelnen erkannten Entitäten zueinander in Beziehung setzen soll.
Ein Beispiel für eine Beziehung zwischen mehreren Entitäten ist beispielsweise der Zusammenhang zwischen einer Halte- oder Stopplinie vor einer Ampel bzw. einem Vorfahrt-gewähren-Schild. Insbesondere wenn mehrere solcher Objekte im Bereich einer Kreuzung nahe zueinander angeordnet sind, kann es für das Fahrzeug schwierig sein, eine korrekte Zuordnung von Haltelinien zu Verkehrszeichen bzw. Ampel vorzunehmen.
Aus der DE 10 2021 001 096 A1 ist ein Verfahren zum Betrieb eines Fahrzeugs bekannt, welches eine zumindest teilautomatisierte Steuerung des Fahrzeugs mit Hilfe von Informationen aus einer digitalen Straßenkarte ermöglicht. Dabei werden neben Eigenschaften von mit Hilfe einer Fahrzeugsensorik detektierbaren Objekten auch die Beziehungen der Objekte zueinander in der digitalen Straßenkarte gespeichert. Hierdurch wird das Fahrzeug dazu in die Lage versetzt, beim Annähern an eine Kreuzung zu unterscheiden, welche Haltelinie für welches Verkehrszeichen bzw. Lichtsignalanlage gilt. Das Verfahren stößt jedoch an Grenzen, wenn die in der digitalen Straßenkarte gespeicherten Zusammenhänge zwischen den vom Fahrzeug erkennbaren Objekten nicht mit der Realität übereinstimmen.
Aus der DE 10 2017 217 297 A1 ist ein System zur Erzeugung und/oder Aktualisierung eines digitalen Modells einer digitalen Karte bekannt. Mit Hilfe des Systems ist es möglich, die in der digitalen Karte gespeicherten Informationen der vom Fahrzeug erfassbaren Objekte zu aktualisieren. Dabei werden jedoch nur Änderungen an den vom Fahrzeug erfassbaren Objekten erkannt und gespeichert. Zusammenhänge zwischen den erfassbaren Objekten können nicht berücksichtigt werden.
Aus der DE 10 2019211 071 A1 ist ein Verfahren zum Betreiben eines automatisierten Fahrzeugs bekannt, wobei vorgesehen ist, aktuell gültige Vorfahrtsregelungen abhängig von einer digitalen Karte und abhängig von der Auswertung einer Umfeldsensorik zu bestimmen, um so die Vorfahrtsregelung hochaktuell zu halten und auf kurzfristige Änderungen bspw. wegen Baustellen, Straßensperrungen etc. zu reagieren.
Aus der DE 10 2018 009 716 A1 ist ein Verfahren zur Bereitstellung von Kartendaten bekannt, wobei vorgesehen ist, disruptive Kartenänderungen, bspw. aus der Änderung von Vorfahrtsregeln, Fahrstreifenänderungen usw., zu berücksichtigen.
Aus der DE 10 2020 104 899 A1 ist ein Verfahren bekannt, bei dem vorgesehen ist, verschieden versionierte Umgebungskarten zu verschiedenen Zeitpunkten entgegen zu nehmen und bei Änderungen in den Umgebungskarten, die die Verkehrsregelungen betreffen, diese Änderungen zu erkennen.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs anzugeben, mit dessen Hilfe ein besonders zuverlässiger Betrieb des Fahrzeugs ermöglicht wird.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug zur Durchführung des Verfahrens ergeben sich aus den hiervon abhängigen Ansprüchen.
Bei einem Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs unter Berücksichtigung von in einer digitalen Straßenkarte gespeicherten Informationen, wobei die Informationen Eigenschaften von mit einer Umfeldsensorik des Fahrzeugs oberservierbaren Entitäten und semantischen Beziehungen zwischen den observierten Entitäten umfassen, werden erfindungsgemäß die folgenden Verfahrensschritte ausgeführt:
- Einbringen von Abhängigkeitsgraphen zusammen mit der digitalen Straßenkarte in das Fahrzeug, wobei ein Abhängigkeitsgraph die Abhängigkeit zwischen observierbaren Entitäten und ihren jeweiligen semantischen Beziehungen zueinander beschreibt;
- Observieren des Fahrzeugumfelds mit der Umfeldsensorik;
- Erkennen von oberservierbaren Entitäten im Fahrzeugumfeld und Vergleich der erkannten Entitäten mit ihren entsprechenden Pendants in der digitalen Straßenkarte;
- Wenn ein Unterschied zwischen einer erkannten Entität und ihrem digitalen Pendant festgestellt wird: Durchlaufen des für die geänderte Entität geltenden Abhängigkeitsgraphen und in Relation stellen der semantischen Beziehungen zwischen der geänderten Entität und den von der geänderten Entität abhängigen Entitäten zum festgestellten Unterschied;
- Wenn der Unterschied einen Einfluss auf wenigstens eine semantische Beziehung zwischen der geänderten Entität und einer abhängigen Entität hat: Aktualisieren der entsprechenden in der digitalen Straßenkarte gespeicherten semantischen Beziehung zur Berücksichtigung des Einflusses.
Mit Hilfe des erfindungsgemäßen Verfahrens ist es somit möglich, die in der digitalen Straßenkarte gespeicherten semantischen Beziehungen zwischen oberservierbaren Entitäten während des Betriebs des Fahrzeugs zu aktualisieren, sodass das Verhalten des Fahrzeugs an eine jeweilige aktuelle Verkehrssituation abgepasst werden kann, um geltende Straßenverkehrsvorschriften angemessen zu berücksichtigen. Das Fahrzeug verhält sich somit regelkonform, was das Risiko von Unfällen reduziert. Somit ist eine besonders zuverlässige und sichere Betriebsweise des zumindest teilautomatisiert steuerbaren Fahrzeugs möglich.
Die Umfeldsensorik des Fahrzeugs kann Sensoren unterschiedlichen Typs umfassen wie beispielsweise Mono- oder Stereo kam eras, LIDARe, Radarsensoren, Ultraschallsensoren oder dergleichen. Mit Hilfe der Umfeldsensorik ist das Fahrzeug dazu in der Lage seine Umgebung zu überwachen und statische und dynamische Umgebungsobjekte zu erkennen. Von der Umfeldsensorik erzeugte Sensordaten werden dabei von einer Recheneinheit ausgewertet. Hierdurch lassen sich Steuerungsbefehle zum zumindest teilautomatisierten Steuern des Fahrzeugs ableiten.
Die observierbaren Entitäten lassen sich in kontrollierende und kontrollierte Objekte unterteilen. Zu den kontrollierenden Objekten zählen beispielsweise Lichtsignalanlagen und Verkehrszeichen und zu den kontrollierten Objekten Fußgängerüberwege und Haltelinien. Zu den observierbaren Entitäten zählen zudem der Fahrbahnverlauf sowie Fahrbahnmarkierungen. Einzelne observierbare Entitäten können dabei durch semantische Beziehungen voneinander abhängen. So gilt beispielsweise das Hinweisschild für einen Fußgängerüberweg für den entsprechenden auf der Fahrbahn aufgebrachten Zebrastreifen.
Im Bereich einer Ampel oder einem Vorfahrt-gewähren- bzw. Stopp-Schild findet sich auch immer eine Haltelinie. In seltenen Fällen fehlt eine markierte Linie (z.B. durch Abnutzung der Fahrbahn). Dort wird eine virtuelle Haltelinie in die Karte eingefügt, deren Position z.B. aus der Beobachtung anderer Fahrzeuge abgeleitet wird. Ein Fahrzeug „weiß“ von sich aus dabei nicht, welche Haltelinie für welches Verkehrszeichen oder welche Signalanlage gilt. Entsprechende semantische Beziehungen werden hierzu in Form der Informationen in die digitale Straßenkarte einprogrammiert. Entsprechend wird die digitale Straßenkarte in einem physischen Speichermedium der Recheneinheit des Fahrzeugs abgelegt. Erfindungsgemäß wird die digitale Straßenkarte dabei durch die Abhängigkeitsgraphen ergänzt.
Während dem Betrieb des Fahrzeugs überwacht dieses seine Umgebung. Vom Fahrzeug mit Hilfe der Umfeldsensorik erkannte observierbare Entitäten werden dann mit ihren entsprechenden Pendants in der digitalen Straßenkarte verglichen. Hierdurch lassen sich Unterschiede ermitteln. Wird beispielsweise im Bereich einer Kreuzung eine Ampel durch ein Stoppschild ersetzt, so benötigt das Fahrzeug eine Information darüber, welche Haltelinie nun für das Stoppschild gilt, damit das Fahrzeug korrekt vor dem Stoppschild anhalten kann. Hierzu wird der entsprechende Abhängigkeitsgraph der geänderten Entität durchlaufen. Die Recheneinheit setzt dann die semantischen Beziehungen zwischen der geänderten Entität und den von der geänderten Entität abhängigen Entitäten in Relation zum festgestellten Unterschied. Angewendet auf das Beispiel stellt somit die Recheneinheit fest, dass die Ampel durch ein Stoppschild ersetzt wurde, wodurch die vormals für die Ampel gültige Haltelinie nun für das Stoppschild gelten muss.
In Abhängigkeit eines von der Ampel ausgegebenen Lichtsignals muss das Fahrzeug verschiedene Fahrstrategien anwenden. Bei einem grünen Lichtsignal kann das Fahrzeug gefahrlos über die Haltelinie fahren. Bei einem roten Lichtsignal muss das Fahrzeug vor der Haltelinie anhalten. Bei einem gelben Lichtsignal muss das Fahrzeug entscheiden, ob es die Haltelinie überfahren soll oder vor der Haltelinie anhalten muss. Da nun anstelle einer Ampel ein Stoppschild neben der Haltelinie angeordnet ist, muss das Fahrzeug in jedem Falle vor der Haltelinie zum Stehen kommen.
Das erfindungsgemäße Verfahren ermöglicht somit einen sicheren und zuverlässigen Betrieb zumindest teilautomatisiert steuerbarer Fahrzeuge, auch in besonders unübersichtlichen Verkehrssituationen, wie das Befahren einer Kreuzung mit einer Vielzahl verschiedener Fahrspuren und einer entsprechend hohen Anzahl an Lichtsignalanlagen und Verkehrszeichen. Auch wenn die an der Kreuzung angefundenen observierbaren Entitäten zu den in der digitalen Straßenkarte abgespeicherten Entitäten abweichen, ist das Fahrzeug dazu in der Lage, die Abhängigkeiten durch die semantischen Beziehungen der Entitäten zueinander korrekt zu erfassen.
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das Fahrzeug unter Auswertung von der Umfeldsensorik generierter Sensordaten seine aktuelle Fahrsituation dahingehend überprüft, ob die wenigstens eine geänderte semantische Beziehung eine Relevanz für die zumindest teilautomatisierte Betriebsweise des Fahrzeugs aufweist, woraufhin eine Recheneinheit des Fahrzeugs Steuerungsbefehle zum Anpassen der Betriebsweise des Fahrzeugs ausgibt, wenn dies der Fall ist. Das Fahrzeug kann also nicht nur die in der digitalen Straßenarte gespeicherten Informationen anpassen, sondern, wie bereits erwähnt, sein Fahrverhalten in Übereinkunft der geltenden Verkehrsregeln anpassen.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird zumindest einer der folgenden Unterschiede zwischen einer erkannten Entität und ihrem digitalen Pendant festgestellt: - die erkannte Entität weist kein Pendant in der digitalen Straßenkarte auf;
- für eine in der digitalen Straßenkarte gespeicherte Entität wird keine Entität im Fahrzeugumfeld erkannt; oder
- eine Bedeutung und/oder Aufstellort der erkannten Entität hat sich gegenüber ihrem digitalen Pendant geändert.
Wird für eine erkannte Entität kein Pendant in der digitalen Straßenkarte gefunden, so bedeutet dies, dass die erkannte Entität neu in das Straßennetz integriert wurde. Für neue Entitäten kann der Abhängigkeitsgraph bestimmte Standardbeziehungen und Abhängigkeiten enthalten. So kann der Abhängigkeitsgraph beispielsweise vorsehen, dass das Fahrzeug beim Erkennen eines neuen Verkehrszeichens oder einer neuen Lichtsignalanlage beispielsweise nach neuen Haltelinien suchen soll und diese dann der entsprechenden Lichtsignalanlage oder Verkehrszeichen zuordnet.
Wird hingegen für eine in der digitalen Straßenkarte gespeicherte Entität keine passende Entität im Umfeld des Fahrzeugs erkannt, so bedeutet dies, dass die Entität aus dem Straßennetz entfernt wurde. Handelt es sich bei der Entität beispielsweise um ein Hinweiszeichen für einen Fußgängerüberweg, so können die entsprechend dem Fußgängerüberweg zugeordneten Fahrbahnmarkierungen für ungültig erklärt werden.
Es kann sich jedoch auch die Bedeutung und/oder der Aufstellort einer erkannten Entität gegenüber der in der digitalen Straßenkarte gespeicherten Version der Entität ändern. Beispielsweise kann ein Stoppschild durch ein Vorfahrt-gewähren-Schild ersetzt werden oder eine Haltelinie zehn Meter nach vorne verlegt werden, um eine neugebaute Einmündung freizumachen.
Eine weitere vorteilhafte Ausgestaltung des Verfahrens sieht ferner vor, dass durch die semantischen Beziehungen zwischen observierbaren Entitäten Vorfahrtsregeln definiert werden und das Fahrzeug sein Verhalten an geänderte Vorfahrtsregeln anpasst, wenn eine in der digitalen Straßenkarte geänderte semantische Beziehung für eine aktuelle Fahrsituation des Fahrzeugs relevant ist. Das Beachten geltender Vorfahrtsregeln ist für den sicheren Betrieb zumindest teilautomatisiert steuerbarer Fahrzeuge besonders relevant. So droht beim Missachten der Vorfahrt ein Unfall. Dies gilt es zu vermeiden. Stimmen die in der Realität angetroffenen Gegebenheiten nicht mit denen in der digitalen Straßenkarte gespeicherten Gegebenheiten überein, so besteht generell das Risiko, dass sich das Fahrzeug nicht in Übereinkunft mit den geltenden Verkehrsregeln verhält. Mit Hilfe des erfindungsgemäßen Verfahrens ist es jedoch zuverlässig möglich, eine vom Fahrzeug angetroffene Fahrsituation zu erfassen und korrekt einzuschätzen. So lassen sich korrekte Abhängigkeiten zwischen observierbaren Entitäten über entsprechende semantische Beziehungen der Entitäten zueinander feststellen und somit besonders zuverlässig auch geänderte Vorfahrtsregeln erkennen. Dies verbessert die Sicherheit im Straßenverkehr.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens passt das Fahrzeug seine zumindest teilautomatisierte Betriebsweise an, wenn das Fahrzeug eine erkannte Entität keinem digitalen Pendant zuordnen kann. Generell besteht das Risiko, dass keine zuverlässige Zuordnung zwischen erkannten Entitäten und ihren jeweiligen digitalen Pendants aufgefunden werden kann. Beispielsweise kann ein Konfidenzschwellwert definiert werden, welcher überschritten werden muss, damit eine Zuordnung zwischen erkannten Entitäten und ihren digitalen Pendants vorgenommen wird. Mit steigender Anzahl observierbarer Entitäten in einem räumlichen Gebiet steigt auch das Risiko, dass eine oder mehrere observierbare Entitäten nicht korrekt einander zugeordnet werden können. Dies ist insbesondere der Fall, wenn einzelne observierbare Entitäten vom Fahrzeug, sprich von der Umfeldsensorik und der die von der Umfeldsensorik erzeugten Sensordaten auswertenden Recheneinheit, nicht richtig erkannt werden können. So kann beispielsweise ein Verkehrszeichen im Winter von Schnee bedeckt sein oder eine Fahrbahnmarkierung aufgrund von Nebel nicht korrekt erfasst werden. Zur Gewährleistung eines sicheren Betriebs des Fahrzeugs kann das Fahrzeug in einem solchen Fall „konservativ“ gesteuert werden. Dies bedeutet, dass sich das Fahrzeug besonders vorsichtig verhält. Fährt das Fahrzeug beispielsweise auf einer Linksabbiegespur in eine Kreuzung hinein, für die ein grüner Pfeil gilt, so könnte das Fahrzeug den grünen Pfeil nicht richtig erkannt haben. In diesem Falle fährt dann das Fahrzeug gegenüber einer normalen Betriebsweise beispielsweise besonders langsam und hält gegebenenfalls in der Mitte der Kreuzung kurz an, um potenziellen Gegenverkehr zu ermitteln, welchen das Fahrzeug vermeintlich passieren lassen müsste, bevor es links abbiegt. Auch können die von der Recheneinheit zur Bestimmung von Steuerbefehlen eingesetzten Algorithmen angepasst werden. Beispielsweise können aufwändigere und damit rechenintensivere Algorithmen zum Ableiten von Steuerungsbefehlen und/oder zur Auswertung von Sensordaten eingesetzt werden. Dies erhöht die Auslastung der Recheneinheit, ermöglich jedoch gegebenenfalls Entitäten korrekt zu erkennen und somit eine Zuordnung zu ihrem jeweiligen digitalen Pendant vorzunehmen. So können beispielsweise auch von Algorithmen verwendete Schwellwerte wie ein Kontrast-, Färb- und/oder Helligkeitsschwellwert zur Analyse der Sensordaten angepasst werden, um eine Detektionsempfindlichkeit von Objekten zu erhöhen. So kann gegebenenfalls doch noch ein hinter einer Nebelschwade verborgenes Verkehrszeichen korrekt erkannt werden.
Bevorzugt wird, wenn das Fahrzeug eine erkannte Entität keinem digitalen Pendant zuordnen kann, die Bereitstellung wenigstens einer zumindest teilautomatisierten Fahrfunktion beendet und/oder das Fahrzeug gemäß eines vordefinierten Notfallmusters zum Stillstand gebracht. Hierdurch lässt sich das Risiko vor einem Unfall besonders zuverlässig reduzieren. Ist das Fahrzeug nicht mehr dazu in der Lage, einen zumindest teilautomatisierten Fährbetrieb ohne Gewährleistung des Schutzes vor einem Unfall aufrechtzuerhalten, so muss in diesem Falle eine fahrzeugführende Person die Kontrolle über das Fahrzeug übernehmen. Alternativ kann das Fahrzeug auch automatisiert zum Stillstand gebracht werden. Hierzu können in der Recheneinheit vordefinierte Anhaltemanöver eingespeichert und vom Fahrzeug vollzogen werden. Ein solches Notfallmanöver kann beispielsweise das Befahren einer bestimmten Trajektorie unter der Wahl vorgegebener Geschwindigkeiten und Beschleunigungen vorsehen, um das Fahrzeug beispielsweise am Fahrbahnrad zum Stehen zu bringen. Dabei können auch optische und/oder visuelle Warneinrichtungen des Fahrzeugs wie eine Fahrtrichtungsanzeige und/oder eine Hupe betätigt werden.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens sucht das Fahrzeug nach weiteren geänderten Entitäten im Umfeld der erkannten geänderten Entität, wenn ein Unterschied zwischen einer erkannten Entität und ihrem digitalen Pendant festgestellt wird. So steigert das Fahrzeug beispielsweise seine Detektionsempfindlichkeit von Umgebungsobjekten im Bereich der erkannten geänderten Entität. Dies sorgt für einen noch sichereren und zuverlässigeren Betrieb des Fahrzeugs. Bevorzugt wird das Fahrzeug autonom gesteuert. Bei einem autonom gesteuerten Fahrzeug ist es in der Regel nicht vorgesehen, dass eine fahrzeugführende Person in die Steuerung des Fahrzeugs eingreift. Entsprechend muss ein autonom gesteuertes Fahrzeug selbstständig dazu in der Lage sein, zu jeder Zeit Verkehrssituationen korrekt einzuschätzen. Dies wird mit Hilfe des erfindungsgemäßen Verfahrens zuverlässig gewährleistet.
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird eine Kopie der digitalen Straßenkarte von einer fahrzeugexternen zentralen Recheneinheit verwaltet, wobei das Fahrzeug die Änderung der wenigstens einen semantischen Beziehung an die zentrale Recheneinheit übermittelt. Ein Vorteil des erfindungsgemäßen Verfahrens liegt darin, dass Fahrzeuge selbstständig geänderte Verkehrssituationen erkennen können. Die Fahrzeuge sind somit nicht von einer zentralen Recheneinheit, beispielsweise einem Cloudserver, abhängig. Es ist jedoch möglich, dass auf der zentralen Recheneinheit der entsprechende digitale Straßenkartensatz verwaltet wird. Die digitale Straßenkarte kann dann von der zentralen Recheneinheit aus an eine Vielzahl an Fahrzeugen übermittelt werden. Detektieren nun einzelne Fahrzeuge Änderungen im Straßennetz, so können die Fahrzeuge die Änderungen der zentralen Recheneinheit mitteilen, woraufhin diese die Änderungen an die weiteren Fahrzeuge verteilt. Dies ermöglicht eine Anpassung der in den einzelnen Fahrzeugen vorgehaltenen digitalen Straßenkarte, bevor die jeweiligen Fahrzeuge die Straßenabschnitte erreichen, an denen Änderungen vorliegen. Hierdurch lässt sich das Risiko senken, dass einzelne Fahrzeuge gegebenenfalls einzelne Änderungen im Straßennetz übersehen. Generell ist es dabei auch denkbar, dass eine Mindestanzahl an Fahrzeugen ein und dieselbe Änderung feststellen und der zentralen Recheneinheit melden müssen, bevor die zentrale Recheneinheit die Änderung in die digitale Straßenkarte einbaut. Registriert beispielsweise ein Fahrzeug fälschlicherweise eine Änderung einer observierbaren Entität, so lässt sich hierdurch das Implementieren der fehlerhaften Änderung in die zentral verwaltete digitale Straßenkarte verhindern.
Bei einem Fahrzeug mit einer Umfeldsensorik und einer Recheneinheit sind erfindungsgemäß die Umfeldsensorik und die Recheneinheit zur Durchführung eines im vorigen beschriebenen Verfahrens eingerichtet. Bei dem Fahrzeug kann es sich um ein beliebiges Fahrzeug wie einen Pkw, Lkw, Transporter, Bus oder dergleichen handeln. Wie bereits erwähnt können verschiedene Sensoren als Umfeldsensorik eingesetzt werden, wie beispielsweise eine Mono- oder Stereokamera, ein LIDAR, ein Radarsensor und/oder eine oder mehrere Ultraschallsensoren. Die von der Recheneinheit bereitgestellten Funktionalitäten umfassen das Auswerten der von der Umfeldsensorik bereitgestellten Sensordaten, das Vorhalten der digitalen Straßenkarte und den entsprechenden Informationen sowie das Auswerten der Informationen und das Erzeugen zumindest teilautomatisierter Steuerbefehle für das Fahrzeug. Die einzelnen Funktionen der Recheneinheit können dabei von einer separaten Recheneinheit bereitgestellt werden oder auf verschiedene Recheneinheiten des Fahrzeugs verteilt sein. Bei einer Recheneinheit kann es sich um einen zentralen Bordcomputer, ein Steuergerät eines Fahrzeuguntersystems, eine Telematikeinheit oder dergleichen handeln.
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
Dabei zeigen:
Fig. 1 eine schematisierte Draufsicht auf einen Ausschnitt einer digitalen Straßenkarte;
Fig. 2 eine schematisierte Draufsicht auf ein erfindungsgemäßes Fahrzeug, welches den in Figur 1 gezeigten Ausschnitt der digitalen Straßenkarte befährt;
Fig. 3 eine schematisierte Darstellung eines Unterschieds der in der digitalen Straßenkarte gespeicherten Informationen zur Realität; und
Fig. 4 eine schematisierte Darstellung eines Abhängigkeitsgraphen.
Figur 1 zeigt eine Draufsicht auf eine T-Kreuzung 6. In einer digitalen Straßenkarte sind Informationen gespeichert, welche Eigenschaften von mit einer in Figur 2 gezeigten Umfeldsensorik 4 eines Fahrzeugs 1 observierbaren Entitäten 2 und semantische Beziehungen zwischen den oberservierten Entitäten 2 umfassen. In Figur 1 handelt es sich bei den observierbaren Entitäten 2 um mehrere Haltelinien 9, Lichtsignalanlagen 10 und einen Fußgängerüberweg 8. Das erfindungsgemäße Fahrzeug 1 ist zumindest teilautomatisiert steuerbar, wobei von einer in Figur 2 gezeigten Recheneinheit 5 das Fahrzeugs 1 Steuerungsbefehle unter Berücksichtigung der in der digitalen Straßenkarte gespeicherten Informationen ermittelt werden. Mit anderen Worten „weiß“ das Fahrzeug 1 somit dank der in der digitalen Straßenkarte gespeicherten Informationen, dass es beim Eintreffen an der T-Kreuzung 6 in Abhängigkeit eines Lichtsignals einer entsprechenden Lichtsignalanlage 10 vor einer der Haltelinien 9 halten muss sowie welche Haltelinie 9 hierfür genau relevant ist. Zwischen dem Einbringen der digitalen Straßenkarte in das Fahrzeug 1 , sprich in die Recheneinheit 5, und dem Eintreffen des Fahrzeugs 1 an der T-Kreuzung 6 kam es zu einer baulichen Änderung der T-Kreuzung 6. So wurde, wie durch deinen Vergleich von Figur 1 mit Figur 2 ersichtlich wird, eine der Lichtsignalanlagen 10 durch ein Stoppschild ersetzt. Das Erkennen von Änderungen von observierbaren Entitäten 2 ist mit Hilfe der Umfeldsensorik 4 des Fahrzeugs 1 vergleichsweise einfach möglich. Es ist dabei jedoch eine Herausforderung, die durch die semantischen Beziehungen beschriebenen Abhängigkeiten der observierbaren Entitäten 2 zueinander korrekt zu erfassen. Diese Abhängigkeiten sind in Figur 1 durch gestrichelte Pfeile zwischen den Haltelinien 9 sowie den Lichtsignalanlagen 10 angedeutet. So muss das Fahrzeug 1 eine Doppeldeutigkeit lösen und klären, welche der Haltelinien 9 nun für das Stoppschild gilt.
Figur 3 zeigt den von der Recheneinheit 5 durch einen Vergleich der in der digitalen Straßenkarte gespeicherten Informationen mit durch Auswertung der von der Umfeldsensorik 4 erfassten Umgebungsinformationen erkannten Unterschied. Dieser Unterschied umfasst die geänderte Entität 2 in Form des Verkehrszeichens 16 sowie die ursprünglich der Lichtsignalanlage 10 zugeordneten Haltelinie 9. Die Recheneinheit 5 ordnet daraufhin die Haltlinie 9 dem Verkehrszeichen 16 zu.
Figur 4 zeigt schematisiert einen von der Recheneinheit 5 zum Zuordnen der Haltelinie 9 zum Verkehrszeichen 16 durchlaufenen Abhängigkeitsgraph 3. Als Eingangsgröße gehen von der Umfeldsensorik 4 erzeugte Sensordaten in den Abhängigkeitsgraph 3 ein. Ein oberer Abschnitt 7 des Abhängigkeitsgraphen 3 symbolisiert dabei die observierbaren Entitäten 2. Hierzu zählen beispielsweise Fußgängerüberwege 8, Haltelinien 9, Lichtsignalanlagen 10, Verkehrszeichen 16, Fahrbahnverläufe 11 , Fahrbahntypen 12, Objekttypen 13 und Pfosten 14. Dabei zählen Fußgängerüberwege 8 und Haltelinie 9 zu kontrollierten Objekten 15 und Lichtsignalanlagen 10 sowie Verkehrszeichen 16 zu kontrollierenden Objekten 17.
Ein unterer Abschnitt 18 des Abhängigkeitsgraphen 3 symbolisiert die semantischen Beziehungen zwischen observierbaren Entitäten 2. So bestehen Beziehungen zwischen den kontrollierenden Objekten 17 und den kontrollierten Objekten 15 in Form von Kontrollbeziehungen 19, zwischen den Fahrbahnverläufen 11 und den Fahrbahntypen 12 in Form von Fahrbahntypographiebeziehungen 20 sowie Beziehungen zwischen den kontrollierten Objekten 15, den kontrollierenden Objekten 17, den Fahrbahnverläufen 11 und den Fahrbahntypen 12 in Form von Vorfahrtsregeln 21.

Claims

Patentansprüche Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs (1) unter Berücksichtigung von in einer digitalen Straßenkarte gespeicherten Informationen, wobei die Informationen Eigenschaften von mit einer Umfeldsensorik (4) des Fahrzeugs (1) observierbaren Entitäten (2) und semantischen Beziehungen zwischen den observierbaren Entitäten (2) umfassen, gekennzeichnet durch die folgenden Verfahrensschritte:
- Einbringen von Abhängigkeitsgraphen (3) zusammen mit der digitalen Straßenkarte in das Fahrzeug (1), wobei ein Abhängigkeitsgraph (3) die Abhängigkeit zwischen observierbaren Entitäten (2) und ihren jeweiligen semantischen Beziehungen zueinander beschreibt;
- Observieren des Fahrzeugumfelds mit der Umfeldsensorik (4);
- Erkennen von oberservierbaren Entitäten (2) im Fahrzeugumfeld und Vergleich der erkannten Entitäten (2) mit ihren entsprechenden Pendants in der digitalen Straßenkarte;
- Wenn ein Unterschied zwischen einer erkannten Entität (2) und ihrem digitalen Pendant festgestellt wird:
- Durchlaufen des für die geänderte Entität (2) geltenden Abhängigkeitsgraphen (3) und in Relation stellen der semantischen Beziehungen zwischen der geänderten Entität (2) und den von der geänderten Entität (2) abhängigen Entitäten (2) zum festgestellten Unterschied;
- Wenn der Unterschied einen Einfluss auf wenigstens eine semantische Beziehung zwischen der geänderten Entität (2) und einer abhängigen Entität (2) hat: Aktualisieren der entsprechenden in der digitalen Straßenkarte gespeicherten semantischen Beziehung zur Berücksichtigung des Einflusses. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Fahrzeug (1) unter Auswertung von der Umfeldsensorik (4) generierter Sensordaten seine aktuelle Fahrsituation dahingehend überprüft, ob die wenigstens eine geänderte semantische Beziehung eine Relevanz für die zumindest teilautomatisierte Betriebsweise des Fahrzeugs (1) aufweist, woraufhin eine Recheneinheit (5) des Fahrzeugs (1) Steuerungsbefehle zum Anpassen der Betriebsweise des Fahrzeugs (1) ausgibt, wenn dies der Fall ist. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zumindest einer der folgenden Unterschiede zwischen einer erkannten Entität (2) und ihrem digitalen Pendant festgestellt wird:
- die erkannte Entität (2) weist kein Pendant in der digitalen Straßenkarte auf;
- für eine in der digitalen Straßenkarte gespeicherte Entität (2) wird keine Entität im Fahrzeugumfeld erkannt; oder
- eine Bedeutung und/oder Aufstellort der erkannten Entität (2) hat sich gegenüber ihrem digitalen Pendant geändert. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass durch die semantischen Beziehungen zwischen observierbaren Entitäten (2) Vorfahrtsregeln definiert werden und das Fahrzeug (1) sein Verhalten an geänderte Vorfahrtsregeln anpasst, wenn eine in der digitalen Straßenkarte geänderte semantische Beziehung für eine aktuelle Fahrsituation des Fahrzeugs (1) relevant ist. Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass das Fahrzeug (1) seine zumindest teilautomatisierte Betriebsweise anpasst, wenn das Fahrzeug (1) eine erkannte Entität (2) keinem digitalen Pendant zuordnen kann. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Bereitstellung wenigstens einer zumindest teilautomatisierten Fahrfunktion beendet wird und/oder das Fahrzeug (1) gemäß eines vordefinierten Notfallmusters zum Stillstand gebracht wird. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass wenn ein Unterschied zwischen einer erkannten Entität (2) und ihrem digitalen Pendant festgestellt wird, das Fahrzeug (1) nach weiteren geänderten Entitäten (2) im Umfeld der erkannten geänderten Entität (2) sucht. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Fahrzeug (1) autonom gesteuert wird. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass eine Kopie der digitalen Straßenkarte von einer fahrzeugexternen zentralen Recheneinheit verwaltet wird und das Fahrzeug (1) die Änderung der wenigstens einen semantischen Beziehung an die zentrale Recheneinheit übermittelt. Fahrzeug (1) mit einer Umfeldsensorik (4) und einer Recheneinheit (5), dadurch gekennzeichnet, dass die Umfeldsensorik (4) und die Recheneinheit (5) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9 eingerichtet sind.
PCT/EP2022/085497 2022-02-01 2022-12-13 Verfahren zum betrieb eines zumindest teilautomatisiert steuerbaren fahrzeugs WO2023147921A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022000390.2A DE102022000390B3 (de) 2022-02-01 2022-02-01 Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs
DE102022000390.2 2022-02-01

Publications (1)

Publication Number Publication Date
WO2023147921A1 true WO2023147921A1 (de) 2023-08-10

Family

ID=84766933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/085497 WO2023147921A1 (de) 2022-02-01 2022-12-13 Verfahren zum betrieb eines zumindest teilautomatisiert steuerbaren fahrzeugs

Country Status (2)

Country Link
DE (1) DE102022000390B3 (de)
WO (1) WO2023147921A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017217297A1 (de) 2017-09-28 2019-03-28 Continental Automotive Gmbh System zur Erzeugung und/oder Aktualisierung eines digitalen Modells einer digitalen Karte
DE102018009716A1 (de) 2018-12-12 2020-06-18 Daimler Ag Verfahren zur Bereitstellung von Kartendaten einer digitalen Karte und einer Fahrtroute
DE102019211071A1 (de) 2019-07-25 2021-01-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines automatisierten Fahrzeugs
DE102021001096A1 (de) 2021-03-02 2021-05-20 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges
DE102020104899A1 (de) 2020-02-25 2021-08-26 Bayerische Motoren Werke Aktiengesellschaft Informieren eines Fahrers eines Kraftfahrzeugs
US20210404841A1 (en) * 2020-06-30 2021-12-30 Lyft, Inc. Systems and methods for inferring information about stationary elements based on semantic relationships

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017217297A1 (de) 2017-09-28 2019-03-28 Continental Automotive Gmbh System zur Erzeugung und/oder Aktualisierung eines digitalen Modells einer digitalen Karte
DE102018009716A1 (de) 2018-12-12 2020-06-18 Daimler Ag Verfahren zur Bereitstellung von Kartendaten einer digitalen Karte und einer Fahrtroute
DE102019211071A1 (de) 2019-07-25 2021-01-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines automatisierten Fahrzeugs
DE102020104899A1 (de) 2020-02-25 2021-08-26 Bayerische Motoren Werke Aktiengesellschaft Informieren eines Fahrers eines Kraftfahrzeugs
US20210404841A1 (en) * 2020-06-30 2021-12-30 Lyft, Inc. Systems and methods for inferring information about stationary elements based on semantic relationships
DE102021001096A1 (de) 2021-03-02 2021-05-20 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges

Also Published As

Publication number Publication date
DE102022000390B3 (de) 2023-02-09

Similar Documents

Publication Publication Date Title
EP3160813B1 (de) Verfahren zur erstellung eines umfeldmodells eines fahrzeugs
EP2583263B1 (de) Verfahren zur fusion eines verkehrszeichenerkennungssystems und eines spurerkennungssystems eines kraftfahrzeugs
EP2149132B1 (de) Verfahren und vorrichtung zur erkennung von verkehrsrelevanten informationen
EP1503354B1 (de) Generierung von Verkehrshinweisen durch die Interpretation von Verkehrszeichenszenarien und Navigationsinformation in einem Fahrzeug
DE102017009435B4 (de) Evaluation von Komponenten automatischer Fahrfunktionen und Fahrbahnerkennung auf unterschiedlichen Verarbeitungsstufen
DE102016007899B4 (de) Verfahren zum Betreiben einer Einrichtung zur Verkehrssituationsanalyse, Kraftfahrzeug und Datenverarbeitungseinrichtung
DE102013004271A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
EP2842117B1 (de) Verfahren zur darstellung einer fahrzeugumgebung
EP3063732B1 (de) Situationsanalyse für ein fahrerassistenzsystem
EP3373268A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems für ein fahrzeug auf einer strasse und fahrerassistenzsystem
DE102008041679A1 (de) Vorrichtung und Verfahren zur erinnerungsbasierten Umfelderkennung
DE102013219023A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Fahrzeugs beim Spurwechsel
DE102010052129A1 (de) Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
DE102020117340A1 (de) Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren, Vorrichtung zur Durchführung des Verfahrens, Fahrzeug sowie entsprechend ausgelegtes Computerprogramm
DE102007007540A1 (de) Fahrstreifenkontrollierte Erkennung von Fahrzeugen beim Spurenwechsel
WO2018188846A1 (de) Fahrerassistenzsystem für ein fahrzeug
DE102014214507A1 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
DE102014214505A1 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
DE102021123270B3 (de) Verfahren und Steuerschaltung zum Überprüfen, ob ein aktuell aktiver Fahrmodus innerhalb seiner ODD betrieben wird, sowie System und Backend-Server
DE102021207181B3 (de) Verfahren zur automatischen Erkennung einer Rechts-Vor-Links-Situation und Kraftfahrzeug
DE102022000390B3 (de) Verfahren zum Betrieb eines zumindest teilautomatisiert steuerbaren Fahrzeugs
DE102021119871B4 (de) Verfahren und Prozessorschaltung zum Betreiben einer automatisierten Fahrfunktion mit Objektklassifikator in einem Kraftfahrzeug, sowie Kraftfahrzeug
DE102014011851B4 (de) Konzept zur Erkennung einer Falschfahrt
DE102021120043A1 (de) Verfahren und Steuerschaltung zum Überwachen einer Zulässigkeitsbedingung für einen automatisierten Fahrmodus eines Kraftfahrzeugs sowie Kraftfahrzeug mit der Steuerschaltung
DE102021206694A1 (de) Verfahren zum Durchführen eines Spurwechsels auf einem Verzögerungsstreifen mittels eines Assistenzsystems, Computerprogrammprodukt sowie Assistenzsystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22835011

Country of ref document: EP

Kind code of ref document: A1