EP3824247A1 - Verfahren und system zum bestimmen einer position eines fahrzeugs - Google Patents

Verfahren und system zum bestimmen einer position eines fahrzeugs

Info

Publication number
EP3824247A1
EP3824247A1 EP19749243.2A EP19749243A EP3824247A1 EP 3824247 A1 EP3824247 A1 EP 3824247A1 EP 19749243 A EP19749243 A EP 19749243A EP 3824247 A1 EP3824247 A1 EP 3824247A1
Authority
EP
European Patent Office
Prior art keywords
data
landmark
vehicle
factor graph
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19749243.2A
Other languages
English (en)
French (fr)
Inventor
Daniel WILBERS
Christian MERFELS
Bernd Rech
Thilo Schaper
Niklas KOCH
Stefan Jürgens
David Perdomo Lopez
Constanze HUNGAR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MAN Truck and Bus SE
Volkswagen AG
Original Assignee
MAN Truck and Bus SE
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MAN Truck and Bus SE, Volkswagen AG filed Critical MAN Truck and Bus SE
Publication of EP3824247A1 publication Critical patent/EP3824247A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the present invention relates to a method and a system for determining a position of a vehicle.
  • GNSS global navigation satellite systems
  • GPS global positioning system
  • DE 10 2013 208 521 A1 describes a method for the collective learning of a highly precise digital street model.
  • a route is traveled several times and trajectory and perception data are recorded.
  • the trajectories are associated and an information graph is formed and optimized, whereby optimal trajectory points are determined.
  • Based on the perception data a highly precise street model is created on this basis.
  • DE 10 2016 205 193 A1 describes a method for marginalizing a Poznan graph, in which graphs that get larger and larger over time are reduced. Optimization is carried out to obtain an estimated position. Then a node of the graph is marked and removed. For this purpose, a fixed node is determined, for example a position that has not been changed by the optimization.
  • a local lane arrangement is recorded relative to the vehicle. Based on a geometric similarity of this recorded lane arrangement
  • the pose can be updated using the specified map material.
  • An arrangement and a method for sensor fusion are proposed in DE 10 2014 209 340 A1.
  • a factor graph is generated on the basis of received sensor data and a fused sensor signal is generated using an interference machine.
  • a maximum travel length is determined as a function of the accuracy of detection for the odometry data.
  • the present invention is based on the object of providing a method and a system of the type mentioned at the outset which enable position determination with high accuracy and with efficient use of the resources available in a vehicle.
  • provisional position data of the vehicle and environmental data are recorded.
  • Landmark measurement data for detected landmarks in an environment of the vehicle are determined on the basis of the environmental data.
  • Map data is acquired, the map data comprising prior landmark data.
  • a factor graph is determined, the factor graph comprising vehicle position nodes that represent preliminary vehicle position data and landmark position nodes that represent landmark position data.
  • the factor graph is optimized, with optimized vehicle position data being determined. The position is determined on the basis of the optimized vehicle position data. This can then be output.
  • the determination of the position or pose becomes one
  • a factor graph is determined and used to create a
  • a relationship between the accuracy of the localization and the required computing time can also be adapted and, if necessary, adapted according to the specific situation or configuration of the vehicle. This can be done in particular by taking into account a suitable number of measurements from the past and / or by setting a length of the trajectory that is used for localization. The use of a sliding window and the consideration of a large number of positions along a trajectory is discussed in more detail below.
  • the method also relates to a map-relative localization, so that the specification of the global coordinates in the map data used is less critical than, for example, with known RTK-GPS methods (real-time kinematic).
  • the creation of the maps is therefore less complex and less expensive.
  • Such a map-relative localization can be used in particular for automated driving functions, it also being possible to load further information from other parts of the map if required. If, however, the map is correctly globally referenced, a global localization can be carried out directly on the basis of the map-relative localization according to the invention, ie correct data about the position or the pose are generated in a global coordinate system.
  • map data with a smaller file size are required, so that advantages in the use of storage space and possibly bandwidth when reloading data are achieved. Furthermore, the Computing time can be shortened. Maps with semantic objects and landmarks can also be checked and serviced particularly easily, as the corresponding ones
  • Landmarks can be easily found and checked.
  • an abstraction layer is used between the raw sensor data and the localization step, and different sensors can be used to detect landmarks. In this way, sensors can be exchanged and changed more easily, for example when changing between different ones
  • maps with landmarks can be created particularly easily by third-party providers who do not need to know exactly which raw sensor data is available in the vehicle.
  • known methods typically assume that features and characteristics are specified in the way they are observed, for example, with a specific camera or a specific type of radar sensor.
  • the relevant input data are displayed in a factor graph, this is optimized and an optimized vehicle position can then be read out.
  • the optimization method of the invention also leads to the fact that the
  • Input prior existing landmark data can also be optimized. This means that, depending on the data collected, these sizes can also be adjusted so that reality is as accurate and accurate as possible.
  • optimization methods are usually more precise than simple filter methods, which have to allow greater noise in the system in order to deliver non-divergent results. Optimization methods like the one used here are deterministic, which is not the case with a Monte Carlo method like the particle filter.
  • non-deterministic methods are fundamentally critically evaluated in questions of functional safety and it therefore seems unlikely that they can form the basis for highly automated driving functions.
  • non-deterministic methods provide poorly reproducible results because they depend on
  • positions can be specified in any coordinate systems in a manner known per se. In particular is a global one
  • Coordinate system is provided or a relative coordinate system, for example relative to the vehicle or another reference point.
  • a coordinate system can be specified within a certain area, for example in a parking lot, in a parking garage or on a private site.
  • the term “position” should be broadly defined and in particular also include poses. In addition to the position within a coordinate system, these also indicate an orientation, in particular a two-dimensional or three-dimensional orientation relative to the coordinate system. Poses are of particular importance for applications in the field of automotive technology, since they usually also dictate a direction of movement of the vehicle.
  • Position data therefore include information on the position, possibly also in a broader sense information on the pose of the vehicle and / or on a state of motion of the vehicle. This information can relate to a current or earlier point in time, in particular also a series of successive points in time.
  • the position data are recorded or made available in a manner known per se.
  • the recorded provisional position data comprise a global position estimate and a local position estimate.
  • local and global describes the coordinate system in particular: local pose and landmark factors are described in the vehicle coordinate system, while global pose and landmark factors are described in a global (world coordinate system).
  • a global position estimate can be made, for example, using a global
  • Navigation satellite system such as GPS can be determined.
  • the result of a corresponding GPS measurement can include information about a position and / or a pose of the vehicle.
  • Other methods known per se can alternatively or additionally be used.
  • a global position estimate can be used in particular for initialization.
  • a local position estimate can be determined, for example, using odometry methods, for example by means of tire odometry, visual odometry or other methods known per se, such as LIDAR scan / Wafc / 7 / ' n or inertial navigation.
  • odometry methods for example by means of tire odometry, visual odometry or other methods known per se, such as LIDAR scan / Wafc / 7 / ' n or inertial navigation.
  • the acquisition of the environmental data is also carried out in a manner known per se, in particular in such a way that the data provides information about landmarks and other features in one
  • Environment of the vehicle can be determined, in particular information about the relative positions of landmarks relative to the vehicle.
  • the environmental data are recorded using a camera, a laser sensor and / or a radar sensor.
  • a laser sensor or a radar sensor.
  • an ultrasonic sensor or an infrared camera can be used alternatively or additionally.
  • further known detector modules or sensors of the vehicle can be used or data can be received from an external source or detection device. As a result, sensors can advantageously be used which are already widespread and inexpensively available in many modern vehicles.
  • the position and environment data can be recorded in particular for a large number of times and / or positions during the movement of the vehicle.
  • the movement of the vehicle along a trajectory that is, along a specific path as a function of time, can be tracked.
  • the method according to the invention is card-based, which means that it requires that
  • Map data is present that includes prior landmark data. With similar known localization methods, this data is neglected, which is disadvantageous for the
  • the card data can be on
  • a storage unit of the vehicle such as can be included in a navigation system.
  • they can be accessed and accessed from an external facility can be received, for example via a computer network such as the Internet or from a local service, for example a server, which provides the card data for a parking lot or an operating site.
  • a transmission through a network of vehicles can be provided.
  • the map data can be recorded in particular when driving through a specific geographical area, for example by providing it when the vehicle is on a specific section of a road, a parking lot or a
  • the acquisition is carried out in particular on the basis of an initial global position estimate, for example using GPS.
  • the card data can also be recorded on the instruction of a user, for example when manually calling up updated map data.
  • the prior landmark data included in the map data are treated in particular as global landmark factors. They include information about landmarks in a geographic area, in particular their position, orientation and / or other features that can be used for their identification and localization.
  • “Landmarks” in the sense of the invention are, in a broad sense, features in a geographical environment to which at least one position can be assigned.
  • Landmarks can be, for example, road markings and strips, posts, piles and pillars, signs, corners, edges and surfaces of buildings, elements of vegetation, artificial landmarks such as barcodes or other features.
  • landmark data are determined on the basis of the surrounding data. Landmarks are detected and for the detected ones
  • Landmarks are determined further information, such as their position, orientation, characteristics, certain characteristics such as color, length, radius or other.
  • the parameters used here depend, in particular, on the type of landmark: for example, a start and an end position can be assigned to a road marking, which gives a length and direction, and also, if appropriate, a thickness, color, shape and / or pattern.
  • the environmental data can be evaluated for further landmarks and other types of landmarks.
  • semantic landmarks are assumed, which are based on the
  • Environment data can be recognized and classified as objects.
  • a Landmarks not only a pattern recognizable in the surrounding data, but a type of landmark is recognized, to which certain properties can be assigned.
  • the raw data are not evaluated directly, for example on the basis of a pattern recognition in the data recorded by a laser scanner, but a landmark is recognized as an object that belongs to a certain category of landmarks and has certain, clearly defined properties that are associated with different methods can be measured.
  • One advantage of this procedure is that the information stored in a map about such semantic landmarks can be checked for correctness particularly easily, in particular also manually. It is also possible to use map data with prior landmark data from any source, making it particularly high
  • the factor graph determined in the method consists of a set of nodes and edges, which represent factors here.
  • the nodes comprise estimated values that are to be determined, in particular vehicle poses at specific times and landmarks with their corresponding poses. Vehicle poses are parameterized as points in one
  • landmark nodes (two-dimensional: x, y, theta; three-dimensional: x, y, z, roll, pitch, yaw angle).
  • a global coordinate system is provided.
  • the parameterization of landmark nodes differs depending on the landmark type, whereby landmarks are divided into classes of different geometries. Landmarks whose position can be represented by a point, such as posts, are parameterized as a point (two-dimensional: x, y; three-dimensional: x, y, z) in a coordinate system. For other types of landmarks, at least one position is also provided as a parameter, possibly together with other parameters.
  • a factor can be connected to any number of nodes.
  • the factors are connected to only one node (unary factors) or they connect two nodes in pairs (binary factors).
  • unary factors describe a prior, i.e. information that is already known, about the linked estimate. Are in the process
  • Global pose factors are connected to a node that represents a vehicle pose and describe the (mathematical) prior about which position or pose this node corresponds to, which is the estimated value for the vehicle pose at the node.
  • This unary factor is formed by a GPS measurement and assigned to a vehicle pose. In the resulting optimization problem, the boundary condition is that the estimate should remain close to the GPS measurement.
  • Landmark node that represents the parameters of a landmark to be estimated. In the method, they are formed directly from the prior landmark data included in the map data. They are then assigned to a landmark node and linked to it. With the resulting optimization problem, this results in the boundary condition that the estimate should be close to the prior landmark data.
  • association of landmark measurement data carried out wherein associated landmark measurement data are determined depending on a specific point in time.
  • associated landmark measurement data are determined depending on a specific point in time.
  • several repeated observations of the same landmark are identified in the method. This advantageously makes it possible to reduce the scope of the optimization problem to be solved arithmetically and to solve it more efficiently by repeating
  • the results obtained can also be compared with the prior information in order to check the correctness and consistency of the prior information.
  • Landmark measurement data can be associated with the map data, in particular the prior landmark data. This can be done at any time step for which the method is carried out. As a result, registered landmarks can be assigned to landmarks included in the map data, and incorrect assignments can be corrected if necessary, even retrospectively for a previous time step. The subsequent checking of an assignment or the subsequent correction of an incorrect assignment is made possible in particular by the fact that the assignment can be repeated as a separate method step for each point in time of the landmark data recorded.
  • the method can also include a history of assignments between local landmark factors, which are determined on the basis of the landmark measurement data, and map landmarks, determined from the prior landmark data. For example, it counts how often a local landmark is assigned to a map landmark. If this number of matches of the mappings reaches or exceeds a threshold, this hypothesis is assumed to be valid. This makes it possible to avoid incorrect assignments.
  • association hypotheses can be compared, for example for several points in time for which the method is carried out, and incorrect or defective associations can be prevented or corrected. The association can also be subsequently corrected. Landmarks detected locally by the vehicle and determined on the basis of the prior landmark data can thus be associated with particular certainty.
  • a local landmark which was determined on the basis of the landmark measurement data and to which no map landmark could be assigned on the basis of the prior landmark data, can subsequently be a probable map landmark for the
  • Time of the acquisition of the landmark measurement data can be assigned. Furthermore, incorrect assignments or associations with a too low probability can subsequently be identified on the basis of the history.
  • the acquisition of the environmental data and the position data always takes place synchronously with one another and exactly at the point in time for which a position is to be estimated.
  • Different methods can therefore be used in order to be able to use the measurements for a specific point in time:
  • the time offset can be ignored, in particular if the times are very short or if it is known that the movement of the vehicle is so slow that there is no relevant shift in position for the time offset.
  • the position data in particular data of an odometry method, can be used to extrapolate the displacement of the position during the time offset from the movement sequence or to interpolate between two points in time.
  • the factor graph is determined for points in time that are regular
  • Factor graph completely redesigned. As a result, a movement of the vehicle along a trajectory can advantageously be tracked.
  • the regular intervals can relate to fixed time intervals.
  • the factor graph can be generated at regular spatial distances or it can be a minimum spatial distance
  • Condition for the creation of a new factor graph can be provided. Before the Determining a new factor graph can also be checked whether there is data from a particular input source or from several input sources. In particular, at the times when the factor graph is newly determined, new estimates for the position, that is to say new position nodes, are generated.
  • map measurement data and prior landmark data are assigned and the vehicle position data and landmark position data of the factor graph are determined on the basis of the assignment.
  • the assignment is made locally in particular.
  • the assignment can be based on the information stored on the landmarks
  • a local proximity between a detected landmark and the predefined estimated position is used for the assignment, that is to say that a detected landmark is assigned to a landmark within the map data on the basis of the landmark measurement data, that of the respective one
  • Position estimate corresponds as closely as possible.
  • Landmark position node of the factor graph determines optimized landmark position data. This advantageously also optimizes the positions of the landmarks when optimizing the factor graph.
  • the method can be used to improve the prior landmark data given by the map data on the basis of measurements.
  • quality data is generated and output on the basis of the prior landmark data and the optimized landmark position data.
  • the quality data can include information as to whether and to what extent the landmarks actually detected differ from the information that is provided with the map data.
  • the map data is updated on the basis of the quality data.
  • the method is repeated iteratively for a plurality of points in time and a trajectory of positions is output, with a later factor graph each representing one is assigned later, is determined on the basis of an earlier factor graph which is assigned to an earlier time.
  • the factor graph is marginalized in such a way that the later factor graph does not reach a predetermined maximum size
  • the method is carried out at regular time intervals. This advantageously allows a trajectory of the vehicle to be traced.
  • the maximum size of the factor graph can be defined in a manner known per se, in particular as the number of nodes and edges and / or on the basis of a complexity measure which quantifies the computation effort required to solve the optimization problem.
  • a “sliding window” which defines a fixed time window based on a current point in time. For example, all the data of the factor graph can always be taken into account for a specific time interval before the current time. Older data can be completely ignored, especially if the time interval is long and the older data is therefore out of date. Weighting can also be carried out depending on the age of the data, with older data in particular being weighted less strongly. In addition, the data from earlier times
  • the method involves a completely new optimization of the factor graph for each time step.
  • older estimates are typically not improved in conventional methods, since errors in the estimate are continued at earlier points in time.
  • the method therefore advantageously optimizes the estimates at any point in time instead of being dependent on the results of past estimates.
  • the factor graph comprises landmark position nodes and prior landmark data, which can be represented in particular by global landmark factors.
  • the landmark position nodes are often removed by marginalization. Marginalizing the
  • the system according to the invention for determining a position of a vehicle comprises a detection unit for detecting preliminary position data of the vehicle and
  • a processing unit for determining landmark measurement data for detected landmarks in an environment of the vehicle based on the environment data and an interface for receiving map data, the map data comprising prior landmark data. It also includes an arithmetic unit that is set up to determine a factor graph, the factor graph comprising vehicle position nodes that represent preliminary vehicle position data and landmark position nodes that represent landmark position data. It is also set up to optimize the factor graph, determining optimized vehicle position data, and determining and outputting the position on the basis of the optimized vehicle position data.
  • the system according to the invention is particularly designed to implement the method according to the invention described above.
  • the system thus has the same advantages as the method according to the invention.
  • the interface for receiving card data can be designed in different ways known per se.
  • an interface to a computer network such as the Internet
  • a local service such as a local server
  • the vehicle can comprise a storage unit or a storage unit of an external device can be used, in particular data from a navigation device being accessible.
  • the detection unit comprises a camera, an ultrasound sensor, a laser sensor and / or a radar sensor.
  • sensors and sensor types can be used.
  • sensors which are widely used and available in many vehicles are advantageously used, the system not being limited to these sensors.
  • Figure 1 shows a vehicle with an embodiment of the invention
  • FIG. 2A shows an exemplary embodiment of the factor graph according to the invention
  • Figure 2B shows an embodiment of a situation on a road with the
  • FIG. 3 shows an embodiment of the method according to the invention.
  • a vehicle 1 comprises a detection unit 2, which is coupled to a control unit 8.
  • the detection unit 2 comprises a plurality of detection and not shown
  • Sensor modules including modules for determining the position using GPS (global positioning system) and using odometry, in particular by detecting the wheel speed and the steering angle of the vehicle 1. It also includes a laser scanner and a camera for detecting the surroundings of the vehicle 1.
  • the control unit 8 comprises one
  • the vehicle 1 also includes drive and steering means 7, which are designed in a manner known per se and allow longitudinal and / or lateral control of the vehicle 1.
  • the vehicle 1 further comprises an interface 6, which is coupled to the control unit 8 and can establish a separable, wireless data connection to an external server 10 in a manner known per se.
  • the factor graph comprises nodes and edges, the edges being referred to as factors in the exemplary embodiment.
  • unary and binary factors are provided, which are connected to one or two nodes.
  • the nodes are shown as circles in FIG. 2A, the factors are represented by rectangles and linear connections to the nodes.
  • the nodes p 0 to p 6 represent (vehicle) pose nodes, that is to say the poses (positions and orientations) of the vehicle 1 at specific times.
  • the method essentially serves to specify and optimize estimates for these pose nodes, in particular using a global coordinate system.
  • the nodes l 0 and h represent landmark nodes, that is, poses of different landmarks.
  • the local pose factors o 0 to o 5 represent odometry factors. They therefore depend on the data of an odometry device measured by the detection unit 3, which during the movement from one pose to another data on the movement,
  • approximately o 0 represents the change in the pose of the vehicle 1 between the pose nodes p 0 and pi.
  • the global pose factors a 0 and ai represent prior information about a vehicle pose, the exemplary embodiment here providing for a global position determination by means of the GPS module of the detection unit 3.
  • the local landmark factors g 0 to g 3 represent observations of a landmark from a vehicle pose to a landmark. That is, while the vehicle 1 is in a certain pose, it detects its surroundings with at least the landmarks by means of the detection unit 3. The measurements go into the local landmark factors g 0 to g 3 and allow the determination of a relative position of the landmarks relative to the vehicle 1. In the example shown, the landmark belonging to the landmark position node l 0 was detected from the vehicle positions pi and p 3 , the landmark at h from p 3 and p 5 .
  • the global landmark factors m 0 and mi represent prior landmark data.
  • these are comprised of map data, in particular absolute positions, orientations and further parameters of different landmarks.
  • FIG. 2B there is a vehicle 24 on a road 21 on which road markings 22 are attached and guide posts 23 are arranged on the edge thereof.
  • the vehicle 24 detects its surroundings by means of a detection unit 3, which in the Is essentially designed as shown in Figure 1 for the embodiment of the system according to the invention. Dashed lines indicate that some of the guide posts 23 are detected by the vehicle 24, in particular their positions relative to the position of the vehicle 24 being detected.
  • the data on the map 30 together with the detections of the vehicle 24 flow into a factor graph which it Essentially as shown in FIG. 2A, the pose of the vehicle 24 at certain times is represented by the pose nodes p 0 to p 6 , the global pose factors a 0 and ai represent GPS measurements at certain times and the local pose factors o 0 to o 5 correspond to a movement of the vehicle 24 between two times in each case.
  • the positions of the landmarks 23 are represented by the landmark nodes l 0 and h, global landmark factors m 0 and mi represent prior landmark data as included in the map 30, and the local landmark factors g 0 to g 3 represent observations of landmarks 23.
  • Embodiments of the factor graph and a situation on a street with the associated map section are possible.
  • the map data can be provided by the navigation system 5 or a storage system, for example. These input data can be made available in different ways, in particular by means of the detection unit 2 and via the interface 6 of the vehicle 1.
  • the input data are buffered in further steps S21, S22, S23, S24, that is, a memory is provided which collects and makes available input data at least until it is processed.
  • the input data include provisional position data, which in the exemplary embodiment is carried out using an odometry method and as global position estimates, in particular using GPS, be recorded.
  • Global position estimates are buffered in step S21, and odometry data are buffered in step S22.
  • Processing unit 3 initially detected landmarks in a manner known per se.
  • semantic landmarks are determined, that is to say the landmarks are assigned to specific types and parameters for the individual landmarks are determined.
  • the determined parameters include at least one position, possibly further properties of the detected landmark, such as a length or other extent, a radius, a geometric shape or a start and end point.
  • the landmark detection is buffered in step S23.
  • the map data acquired at the beginning include, in particular, a map with prior landmark data, that is to say information about landmarks in the map
  • the map data can be fully loaded at the beginning, reloaded in sections, or from a backend or other vehicles,
  • step S24 The map data, in particular a landmark map, is buffered in step S24.
  • the buffering S21, S22, S23, S24 of the input data also takes place concurrently during a cycle, in particular in order to be able to provide data for pose determination at later times.
  • the graph structure is started and then the graph optimization. Finally, the final pose estimate is extracted from the graph by optimization.
  • the times at which the vehicle pose is to be estimated are first determined. This is done in the embodiment in a fixed time interval, but could also happen, for example, by a spatial minimum distance that the vehicle travels between two estimates. Another possibility is to link these times to the existence of the data of one or more input sources. At these times, Poznan nodes, in particular vehicle position nodes, are then inserted in the graph and a new one can be created
  • a step S41 global pose factors a 0 , ai are calculated using the global pose estimates that are present in the buffer. These must fit in time with the pose nodes previously created. Since in general the global post estimates are not recorded at the point in time for which the factor graph is to be determined, the global post estimates must be postponed using a suitable strategy. In the exemplary embodiment, a nearest neighbor strategy is used for this, in which the next point in time is selected. This works well in cases when the time difference between Poznan nodes p 0 to p 6 is small, about only a few milliseconds.
  • An alternative strategy is to interpolate between two global position estimates in the buffer in order to obtain a new estimate that fits in time to a pose node p 0 to p 6 .
  • Another strategy is to determine the shift in global posture estimates using odometry. This works well when odometry makes small mistakes for short sections. After determining the global pose factors a 0 , ai, these are inserted into the graph and connected to the corresponding pose nodes p 0 to p 6 .
  • a step S42 the odometry data are processed in the buffer.
  • the times of the input data that is to say the odometry measurements detected by the detection unit 2 generally do not match the times of the pose nodes Po to p 6 .
  • interpolation and closest neighbor processes can be used.
  • the odometry measurements are preferably chained to one another by the distance traveled between any points in time
  • the corresponding local pose factors o o to o 5 are inserted in the factor graph.
  • the local pose factors o o to o 5 each link two vehicle poses p o to p 6 .
  • Either the pose nodes p 0 to p 6 that are closest in time to the measurement or two always successive pose nodes p 0 to p 6 are preferably linked.
  • the landmark detections buffered in step S23 are also processed in a similar manner. The landmarks are first brought together in a local association step S31. This step S31 does two things: First, the detections are projected onto the time stamp of the closest Poznan node p 0 to p 6 .
  • the data from the odometry buffer can be used for this purpose.
  • optimized pose nodes p 0 to p 6 can be used to determine the movement and to carry out an interpolation or extrapolation. If there is no data in the factor graph at the time the method is carried out, a movement model of the vehicle can be used to extrapolate the movement at a desired point in time.
  • step S31 hypotheses are made as to which of the detected landmarks which are stored in the buffer relate to the same physical object in the vicinity of the
  • Vehicle 1 belong.
  • the same landmark can be detected several times by the same detector or by different sensors. This can be done, for example, using a nearest neighbor strategy, with threshold values for excessive distances leading to rejection of the hypothesis.
  • Another option is to use special descriptors of the
  • Embodiment found a clear solution, it is accepted as a hypothesis. If there are several possible candidates, the hypothesis formation appears to be too uncertain and the hypothesis is therefore not accepted.
  • step S31 thus delivers a set of local landmark factors g 0 to g 3 , which are now used directly in a step S43 to determine the factor graph.
  • step S32 for a card assignment.
  • the local landmark factors g 0 to g 3 are compared with the map included in the map data and hypotheses are generated which of the local ones
  • Landmark factors g 0 to g 3 agree with which map landmark, that is to say a landmark comprised by the prior landmark data.
  • step S32 it is thus determined which subset of the map landmarks corresponds to which subset of the local landmark factors g 0 to g 3 .
  • the execution of this step S32 can be made more difficult by the fact that map landmarks are missing and / or by incorrect detections of the detector are present, in which case no association can be found in each case.
  • step S32 is a set of associations between local landmark factors g 0 to g 3 and map landmarks. These are then processed in a further step S33 for the time comparison.
  • step S33 of the time comparison a history is formed about the assignments between local landmark factors g 0 to g 3 and map landmarks.
  • this includes the number of times the hypothesis was generated that a specific local landmark factor factor g 0 to g 3 can be assigned to a specific map landmark.
  • This hypothesis is only assumed to be valid after a minimum number of matches, so that incorrect detections can be avoided.
  • hypotheses for data association are validated over a longer period of time, and short-term bad associations can also be prevented and corrected. In this way, a more stable assignment is achieved between landmarks recorded locally by the vehicle and present on the map.
  • Map landmarks are formed in a step S44 global landmark factors m 0 , mi. These are then built into the factor graph. In particular, they indicate at which position a particular landmark is expected.
  • step S50 the factor graph with the information is one
  • the function graph has normally become larger in normal operation.
  • a sliding window is provided in the exemplary embodiment, that is to say a time window that shifts with each time step. If through If such a shift of information in the function graph falls out of the time window, the function graph must be trimmed accordingly, for which different methods can be used:
  • the oldest nodes and factors are removed outside the time window.
  • the nodes and factors of the factor graph that have the least information content can be removed.
  • a first option is to simply delete nodes and factors. This is of low complexity and can be sufficient for a large factor graph.
  • Another option preferred in the exemplary embodiment is the marginalization of information. For this the
  • the factor graph is optimized, whereby known algorithms for graph optimization can be used.
  • This optimization provides a determination of the node values, which represent all factors in the best possible way. All pose nodes Po to p 6 and landmark nodes l o , h are thus determined so that the conditions of the factors m o , mi, g o to g 3 , o o to o 5 , a o , ai are as good as possible be respected.
  • the pose nodes p o to p 6 are of interest, those on the graph head are the most recent vehicle poses
  • step S70 the most recently determined vehicle pose is usually output. For other applications, it may be of interest to alternatively or additionally output older pose nodes in this step S70, for example in order to carry out calculations for the past.
  • a trajectory that is driven can be relevant for other applications, that is to say a train that is bordered by the vehicle and that can also be output.
  • the determined landmark positions l 0 , h, which can also be output in this step S70, can be relevant for yet other applications.
  • an initial pose is determined by means of GPS measurement or on the basis of comparable data.
  • the factor graph can be built up beforehand, but optimizing it does not bring any meaningful results for most applications, especially if the assignment to the map landmarks is not achieved can.
  • a fixed position can be used, which is set, for example, ex works or from a parking space for company vehicles, or which can be configured in a configurable manner, for example a position in a garage for private individuals.
  • the procedure is independent of GPS measurements and the initial pose can be determined particularly easily.
  • Additional landmarks can also be integrated in the method if they can be represented geometrically and an error function can be specified for them. This can be implemented for common landmarks using methods known per se, for example for posts, road markings, manhole covers, house surfaces, house edges,
  • Tunnel entrances traffic signs, traffic lights, roundabout centers, drains, curbs and similar landmarks.
  • the global landmark factors m 0 , mi determined in the method serve in particular as prior landmark data, that is to say as predetermined from the outside of the method
  • the landmark nodes l 0 , h of the factor graph can also be marginalized in order to achieve a smaller state vector, which means a reduced memory consumption and a shorter execution time in the construction and optimization of the factor graph.
  • losses in accuracy may have to be weighed in favor of speed.
  • no estimated landmark positions are obtained on the basis of the landmark nodes l 0 , h, while the preferred landmark data can also be evaluated in preferred exemplary embodiments of the method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Position eines Fahrzeugs (1), bei dem vorläufige Positionsdaten des Fahrzeugs (1) und Umgebungsdaten erfasst werden; anhand der Umgebungsdaten Landmarken-Messdaten für detektierte Landmarken in einer Umgebung des Fahrzeugs (1) bestimmt werden; und Kartendaten erfasst werden, wobei die Kartendaten Prior-Landmarkendaten umfassen. Es wird ein Faktorgraph bestimmt, wobei der Faktorgraph Fahrzeugpositionsknoten (p0, p1, p2, p3, p4, p5, p6), die vorläufige Fahrzeug-Positionsdaten repräsentieren, und Landmarkenpositionsknoten (l0, l1), die Landmarken-Positionsdaten repräsentieren, umfasst; und es wird eine Optimierung des Faktorgraphen durchgeführt, wobei optimierte Fahrzeug-Positionsdaten bestimmt werden. Anhand der optimierten Fahrzeug-Positionsdaten wird die Position bestimmt. Die Erfindung betrifft ferner ein Systemzum Bestimmen einer Position eines Fahrzeugs (1), umfassend eine Erfassungseinheit (2), eine Verarbeitungseinheit (3), eine Schnittstelle (6) und eine Recheneinheit (4). Dabei ist die Recheneinheit (4) dazu eingerichtet, das erfindungsgemäße Verfahren auszuführen.

Description

Beschreibung
Verfahren und System zum Bestimmen einer Position eines Fahrzeugs
Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Bestimmen einer Position eines Fahrzeugs.
Viele automatische Fahrfunktionen in modernen Fahrzeugen setzen eine genaue Schätzung der aktuellen Fahrzeugpose voraus. Für dieses Problem der Lokalisierung wurden in der Vergangenheit verschiedene Ansätze entwickelt, darunter etwa die Positionsbestimmung mittels globaler Navigationssatellitensysteme ( global navigation satellite System ; GNSS), etwa das globale Positionsbestimmungssystem GPS (global positioning System). Die Genauigkeit derartiger Systeme ist aber typischerweise nicht ausreichend zur Verwendung in automatischen Fahrfunktionen. Alternative Systeme erfordern jedoch häufig einen übermäßig hohen
Rechenaufwand und daher - bei der in Fahrzeugen typischerweise zur Verfügung stehenden Rechenleistung - zu lange Rechenzeiten für die Steuerung in Echtzeit.
In der DE 10 2013 208 521 A1 wird ein Verfahren zum kollektiven Erlernen eines hochgenauen digitalen Straßenmodells beschrieben. Dabei wird eine Strecke mehrfach befahren und es werden Trajektorien- und Perzeptionsdaten erfasst. Die Trajektorien werden assoziiert und ein Informationsgraph wird gebildet und optimiert, wobei optimale Trajektorien punkte ermittelt werden. Anhand der Perzeptionsdaten wird auf dieser Basis ein hochgenaues Straßenmodell erstellt.
In der DE 10 2016 205 193 A1 wird ein Verfahren zum Marginalisieren eines Posen-Graphen beschrieben, bei dem mit der Zeit immer größer werdende Graphen reduziert werden. Es wird eine Optimierung durchgeführt, um eine geschätzte Position zu erhalten. Anschließend wird ein Knoten des Graphen markiert und entfernt. Dazu wird ein Fixknoten bestimmt, beispielsweise eine durch die Optimierung nicht veränderte Position.
Bei dem in der DE 10 2015 214 338 A1 beschriebenen Verfahren zur Bestimmung einer Pose eines Fahrzeugs wird eine lokale Fahrstreifenanordnung relativ zu dem Fahrzeug erfasst. Anhand einer geometrischen Ähnlichkeit dieser erfassten Fahrstreifenanordnung zu
vorgegebenem Kartenmaterial kann die Pose aktualisiert werden. In der DE 10 2014 209 340 A1 werden eine Anordnung und ein Verfahren zur Sensorfusion vorgeschlagen. Dabei wird anhand von empfangenen Sensordaten ein Faktorgraph generiert und mittels einer Interferenzmaschine wird ein fusioniertes Sensorsignal erzeugt.
Bei dem in der DE 10 2015 218 041 A1 vorgeschlagenen Verfahren zur Bereitstellung von Daten für eine Geometriekarte werden Odometriedaten und gegebenenfalls weitere
Informationen wie Landmarken verwendet. In Abhängigkeit von der Erfassungsgenauigkeit für die Odometriedaten wird eine maximale Fahrlänge bestimmt.
Bei dem in der US 2017/0004379 A1 beschriebenen Verfahren schließlich werden anhand von Bildern einer Fahrzeugkamera Schlüsselpunkte erfasst und es werden entsprechende Posen bestimmt. Anhand dieser Posen wird die Bewegung eines Fahrzeugs bestimmt.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und ein System der eingangs genannten Art bereitzustellen, die eine Positionsbestimmung mit hoher Genauigkeit und unter effizienter Nutzung der in einem Fahrzeug zur Verfügung stehenden Ressourcen ermöglichen.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und ein System mit den Merkmalen des Anspruchs 9 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
Bei dem erfindungsgemäßen Verfahren werden vorläufige Positionsdaten des Fahrzeugs und Umgebungsdaten erfasst. Anhand der Umgebungsdaten werden Landmarken-Messdaten für detektierte Landmarken in einer Umgebung des Fahrzeugs bestimmt. Es werden Kartendaten erfasst, wobei die Kartendaten Prior-Landmarkendaten umfassen. Es wird ein Faktorgraph bestimmt, wobei der Faktorgraph Fahrzeugpositionsknoten, die vorläufige Fahrzeug- Positionsdaten repräsentieren, und Landmarkenpositionsknoten, die Landmarken- Positionsdaten repräsentieren, umfasst. Es wird eine Optimierung des Faktorgraphen durchgeführt, wobei optimierte Fahrzeug-Positionsdaten bestimmt werden. Anhand der optimierten Fahrzeug-Positionsdaten wird die Position bestimmt. Diese kann dann ausgegeben werden.
Gemäß der Erfindung wird die Bestimmung der Position beziehungsweise Pose eines
Fahrzeugs als ein Optimierungsproblem behandelt. Durch die erfindungsgemäße Anwendung von Faktorgraphen wird vorteilhafterweise eine besondere intuitive und anschauliche Beschreibung des der Optimierung zugrunde liegenden Problems erreicht, welches insbesondere ein Gleichungssystem repräsentiert. Durch Optimieren des Faktorgraphen wird das dadurch repräsentierte Optimierungsproblem gelöst, wobei diese Lösung besonders effizient darstellbar und lösbar ist.
Bei dem Verfahren wird ein Faktorgraph bestimmt und dazu verwendet, ein
Optimierungsproblem mit der Methode der kleinsten Quadrate mit nichtlinearen
Modellfunktionen (nonlinear least squares) darzustellen. Alternativ oder ergänzend kann ein solches Optimierungsproblem direkt dargestellt werden. Der Faktorgraph wird dazu genutzt, das Problem in einer besonders übersichtlichen und einfachen Form darzustellen, die eine einfache und sichere Wartung und gegebenenfalls Fehlersuche erlaubt. Ferner sind so besonders gute Anpassungen für eine schnelle und effiziente Verarbeitung durch einen Rechner möglich.
Bei dem Verfahren kann ferner ein Verhältnis zwischen der Genauigkeit der Lokalisierung und der benötigten Rechenzeit angepasst und gegebenenfalls gemäß der konkreten Situation oder Konfiguration des Fahrzeugs angepasst werden. Dies kann insbesondere dadurch erfolgen, dass eine geeignete Zahl von Messungen aus der Vergangenheit berücksichtigt wird und/oder dass eine Länge der Trajektorie einstellbar ist, die zur Lokalisierung genutzt wird. Auf die Verwendung eines„sliding window“ und die Berücksichtigung einer Vielzahl von Positionen entlang einer Trajektorie wird unten näher eingegangen.
Das Verfahren betrifft zudem eine kartenrelative Lokalisierung, sodass die Angabe der globalen Koordinaten in den verwendeten Kartendaten weniger kritisch ist als etwa bei bekannten RTK- GPS-Verfahren ( real-time kinematic). Die Erstellung der Karten ist daher weniger aufwendig und kostengünstiger. Eine solche kartenrelative Lokalisierung kann insbesondere für automatisierte Fahrfunktionen verwendet werden, wobei bei Bedarf auch weitere Informationen aus anderen Teilen der Karte geladen werden können. Sofern die Karte jedoch global korrekt referenziert ist, kann anhand der kartenrelativen Lokalisierung gemäß der Erfindung direkt eine globale Lokalisierung durchgeführt werden, das heißt, es werden korrekte Daten über die Position beziehungsweise die Pose in einem globalen Koordinatensystem erzeugt.
Im Vergleich zur weiteren Verfahren gemäß dem Stand der Technik, bei denen die von
Sensoren erfassten Rohdaten verwendet werden, insbesondere ohne eine Detektion von semantischen Landmarken in der Umgebung des Fahrzeugs, werden Kartendaten mit geringerer Dateigröße benötigt, sodass Vorteile bei der Nutzung von Speicherplatz und gegebenenfalls Bandbreite beim Nachladen von Daten erreicht werden. Ferner kann die Rechenzeit verkürzt werden. Karten mit semantischen Objekten und Landmarken können außerdem besonders einfach überprüft und gewartet werden, da die entsprechenden
Landmarken leicht gefunden und überprüft werden können.
Bei der Nutzung von Landmarken wird eine Abstraktionsschicht zwischen den Sensor- Rohdaten und dem Lokalisierungsschritt verwendet und es können unterschiedliche Sensoren benutzt werden, um Landmarken zu detektieren. Auf diese Weise können Sensoren leichter ausgetauscht und verändert werden, etwa beim Übergang zwischen verschiedenen
Produktgenerationen. Außerdem können Karten mit Landmarken besonders einfach durch Drittanbieter erstellt werden, die dazu nicht genau wissen müssen, welche Sensor-Rohdaten im Fahrzeug vorliegen. Dagegen setzen bekannte Verfahren typischerweise voraus, dass Features und Merkmale so vorgegeben werden, wie sie zum Beispiel mit einer bestimmten Kamera oder einem bestimmten Typ von Radarsensor beobachtet werden.
Bei dem Verfahren werden die relevanten Eingangsdaten in einem Faktorgraphen abgebildet, dieser wird optimiert und anschließend kann eine optimierte Fahrzeugposition ausgelesen werden. Das Optimierungsverfahren der Erfindung führt ferner dazu, dass die als
Eingangsgrößen vorhandenen Prior-Landmarkendaten ebenfalls optimiert werden. Das heißt, auch diese Größen können je nach den erfassten Daten so angepasst werden, dass die Wirklichkeit möglichst zutreffend und genau abgebildet wird.
Die Verwendung eines Optimierungsverfahrens hat gegenüber bekannten Partikelfilterverfahren oder EKF (extended Kalman filter) mehrere Vorteile: Optimierungsverfahren sind üblicherweise genauer als einfache Filterverfahren, die ein größeres Rauschen im System zulassen müssen, um nicht divergierende Ergebnisse zu liefern. Optimierungsverfahren wie das hier verwendete sind die deterministisch, was bei einem Monte-Carlo-Verfahren wie dem Partikelfilter nicht der Fall ist. Nicht-deterministische Verfahren werden jedoch grundsätzlich in Fragen der funktionalen Sicherheit kritisch bewertet und es scheint daher unwahrscheinlich, dass sie die Grundlage für hochautomatisierte Fahrfunktionen bilden können. Nicht-deterministische Verfahren liefern zudem schlecht reproduzierbare Ergebnisse, da sie abhängig von
Zufallsgrößen sind. Dies erschwert ihre Wartung und gegebenenfalls das Auffinden von Fehlern. Ferner sind die Ergebnisse nicht-deterministischer Verfahren nicht immer identisch, das heißt, bei gleichen Eingangsgrößen kann die Qualität der bestimmten Position schwanken. Bei einem Optimierungsverfahren können dagegen bereits im Vorhinein abhängig von seinen Eingangsgrößen Grenzen dafür angegeben werden, wie gut das Verfahren funktionieren wird. Bei dem Verfahren gemäß der Erfindung können Positionen auf an sich bekannte Weise in beliebigen Koordinatensystemen angegeben werden. Insbesondere ist ein globales
Koordinatensystem vorgesehen oder ein relatives Koordinatensystem, beispielsweise relativ zu dem Fahrzeug oder einem anderen Referenzpunkt. Zum Beispiel kann innerhalb eines bestimmten Gebiets ein Koordinatensystem vorgegeben werden, beispielsweise auf einem Parkplatz, in einem Parkhaus oder auf einem Privatgelände.
Der Begriff„Position“ soll gemäß der Erfindung breit definiert sein und insbesondere auch Posen umfassen. Diese geben neben der Position innerhalb eines Koordinatensystems auch eine Orientierung an, insbesondere eine zwei-oder dreidimensionale Orientierung relativ zu dem Koordinatensystem. Bei Anwendungen im Bereich der Automobiltechnik sind Posen von besonderer Bedeutung, da durch diese üblicherweise auch eine Bewegungsrichtung des Fahrzeugs vorgegeben ist.
Positionsdaten umfassen daher Informationen zu der Position, gegebenenfalls auch im weiteren Sinne Informationen zur Pose des Fahrzeugs und/oder zu einem Bewegungszustand des Fahrzeugs. Diese Informationen können einen aktuellen oder früheren Zeitpunkt betreffen, insbesondere auch eine Reihe von aufeinanderfolgenden Zeitpunkten. Die Positionsdaten werden dabei auf an sich bekannte Weise erfasst beziehungsweise bereitgestellt.
Bei einer Ausbildung des erfindungsgemäßen Verfahrens umfassen die erfassten vorläufigen Positionsdaten eine globale Positionsschätzung und eine lokale Positionsschätzung. Dadurch können vorteilhafterweise unterschiedliche Aspekte der Positionsbestimmung berücksichtigt werden.
Die Terminologie„lokal“ und„global“ beschreibt dabei insbesondere das Koordinatensystem: Lokale Posen- und Landmarken-Faktoren sind im Fahrzeugkoordinatensystem beschrieben, während globale Posen- bzw. Landmarken-Faktoren in einem globalen (Welt- Koordinatensystem beschrieben werden.
Eine globale Positionsschätzung kann beispielsweise mittels eines globalen
Navigationssatellitensystems wie GPS ermittelt werden. Das Ergebnis einer entsprechenden GPS-Messung kann Informationen über eine Position und/oder eine Pose des Fahrzeugs umfassen. Andere an sich bekannte Verfahren können alternativ oder zusätzlich verwendet werden. Bei der Optimierung des Faktorgraphen wird diese vorläufige Information zur
Fahrzeugposition so berücksichtigt, dass die zu bestimmende Fahrzeugpose nahe an dieser GPS-Messung liegen soll, wobei diese Vorgabe jedoch aufgrund weiterer Faktoren im Graphen im Allgemeinen nur annähernd erfüllt wird. Es handelt sich also um einen Prior-Wert, der bereits zu Beginn des Verfahrens bekannt ist und der Optimierung zugrunde gelegt wird. Eine globale Positionsschätzung kann insbesondere zur Initialisierung verwendet werden.
Eine lokale Positionsschätzung kann beispielsweise anhand von Odometrieverfahren ermittelt werden, beispielsweise mittels Reifenodometrie, visueller Odometrie oder anderer an sich bekannter Verfahren, etwa LIDAR-Scan-/Wafc/7/'n oder Trägheitsnavigation. Insbesondere wird dabei für ein Koordinatensystem relativ zum Fahrzeug eine Verschiebung detektiert und quantifiziert, wodurch die Eigenbewegung gemessen werden kann.
Auch die Erfassung der Umgebungsdaten erfolgt auf an sich bekannte Weise, insbesondere so, dass durch die Daten Informationen über Landmarken und weitere Merkmale in einer
Umgebung des Fahrzeugs ermittelt werden können, insbesondere Informationen über die relativen Positionen von Landmarken relativ zum Fahrzeug.
Bei einer weiteren Ausbildung des Verfahrens werden die Umgebungsdaten anhand einer Kamera, eines Lasersensors und/oder eines Radarsensors erfasst. Gegebenenfalls kann alternativ oder zusätzlich ein Ultraschallsensor oder eine Infrarotkamera verwendet werden. Ferner können weitere an sich bekannte Detektormodule oder Sensoren des Fahrzeugs verwendet werden oder es können Daten von einer externen Quelle oder Erfassungseinrichtung empfangen werden. Dadurch können vorteilhafterweise Sensor benutzt werden, die bereits weit verbreitet und in vielen modernen Fahrzeugen kostengünstig verfügbar sind.
Die Positions- und Umgebungsdaten können insbesondere für eine Vielzahl von Zeitpunkten und/oder Positionen während der Bewegung des Fahrzeugs erfasst werden. In diesem Fall kann die Bewegung des Fahrzeugs entlang einer Trajektorie, das heißt entlang eines bestimmten Pfades in Abhängigkeit von der Zeit, verfolgt werden.
Das erfindungsgemäße Verfahren ist kartenbasiert, das heißt, es setzt voraus, dass
Kartendaten vorhanden sind, die Prior-Landmarkendaten umfassen. Bei ähnlichen bekannten Lokalisierungsverfahren werden diese Daten vernachlässigt, was zu Nachteilen bei der
Genauigkeit der Lokalisierungsergebnisse führen kann. Die Kartendaten können auf
unterschiedliche Weise erfasst werden. Beispielsweise können sie von einer Speichereinheit des Fahrzeugs bereitgestellt werden, wie sie etwa von einem Navigationssystem umfasst sein kann. Sie können alternativ oder zusätzlich von einer externen Einrichtung abgerufen und empfangen werden, etwa über ein Computernetzwerk wie das Internet oder von einem lokalen Dienst, etwa einem Server, der die Kartendaten für einen Parkplatz oder ein Betriebsgelände bereitstellt. Ferner kann eine Übertragung durch ein Netzwerk von Fahrzeugen vorgesehen sein. Die Kartendaten können dabei insbesondere beim Befahren eines bestimmten geografischen Bereich erfasst werden, beispielsweise indem sie bereitgestellt werden, wenn das Fahrzeug auf einen bestimmten Abschnitt einer Straße, einen Parkplatz oder ein
Betriebsgelände einfährt. Die Erfassung erfolgt dabei insbesondere ausgehend von einer initialen globalen Positionsschätzung, etwa mittels GPS. Das Erfassen der Kartendaten kann ferner auf Anweisung eines Nutzers erfolgen, etwa beim manuellen Abrufen aktualisierter Kartendaten.
Die von den Kartendaten umfassten Prior-Landmarkendaten werden insbesondere als globale Landmarkenfaktoren behandelt. Sie umfassen Informationen über Landmarken in einem geografischen Bereich, insbesondere deren Position, Orientierung und/oder weitere Merkmale, die zu ihrer Identifizierung und Lokalisierung verwendet werden können.
Als„Landmarken“ im Sinne der Erfindung gelten in einem weiten Sinne Merkmale in einer geografischen Umgebung, denen zumindest eine Position zugeordnet werden kann.
Insbesondere werden solche Merkmale als Landmarken verstanden, die als Muster mittels eines Mustererkennungsverfahrens erfasst, identifiziert und ausgewertet werden können. Landmarken können beispielsweise Fahrbahnmarkierungen und -streifen, Pfosten, Pfähle und Pfeiler, Schilder, Ecken, Kanten und Flächen von Bauwerken, Elemente einer Vegetation, künstliche Landmarken wie Barcodes oder andere Merkmale sein.
Bei dem erfindungsgemäßen Verfahren werden anhand der Umgebungsdaten Landmarken- Messdaten bestimmt. Dabei werden Landmarken detektiert und für die detektierten
Landmarken werden weitere Informationen bestimmt, etwa ihre Position, Orientierung, Ausprägungen bestimmte Merkmalen wie Farbe, Länge, Radius oder andere. Die hierbei verwendeten Parameter hängen insbesondere vom Typ der Landmarke ab: Beispielsweise kann einer Fahrbahnmarkierung eine Anfangs- und eine Endposition zugeordnet werden, woraus sich eine Länge und Richtung gibt, ferner gegebenenfalls eine Dicke, Farbe, Form und/oder Musterung. In ähnlicher Weise können die Umgebungsdaten für weitere Landmarken und andere Typen von Landmarken ausgewertet werden.
Insbesondere wird von semantischen Landmarken ausgegangen, die anhand der
Umgebungsdaten als Objekte erkannt und klassifiziert werden. In diesem Fall repräsentiert eine Landmarken nicht nur ein in den Umgebungsdaten erkennbares Muster, sondern es wird ein Landmarkentyp erkannt, dem bestimmte Eigenschaften zugeordnet werden können. In diesem Fall werden also nicht die Rohdaten direkt ausgewertet, etwa anhand einer Mustererkennung in den durch einen Laserscanner erfassten Daten, sondern es wird eine Landmarke als Objekt erkannt, das zu einer bestimmten Kategorie von Landmarken gehört und bestimmte, klar definierte Eigenschaften aufweist, die mit verschiedenen Verfahren gemessen werden können. Ein Vorteil dieses Vorgehens ist, dass die in einer Karte gespeicherten Informationen über solche semantischen Landmarken besonders einfach, insbesondere auch manuell, auf ihre Korrektheit überprüft werden können. Außerdem ist es möglich, Kartendaten mit Prior- Landmarkendaten aus beliebigen Quellen zu verwenden, sodass eine besonders hohe
Flexibilität erreicht wird. Dadurch, dass die semantische Beschreibung unabhängig von der konkreten Fahrzeugsensorik ist, lässt sich eine solche Karte flexibel auf verschiedensten Fahrzeugen einsetzen und die Prior-Landmarkendaten können unabhängig von der verwendeten Sensorik ausgewertet werden.
Der bei dem Verfahren bestimmte Faktorgraph besteht aus einer Menge von Knoten und Kanten, die hier Faktoren darstellen. Hierbei umfassen die Knoten Schätzgrößen, die bestimmt werden sollen, insbesondere Fahrzeugposen zu bestimmten Zeitpunkten sowie Landmarken mit ihren entsprechenden Posen. Fahrzeugposen sind parametriert als Punkte in einem
Koordinatensystem sowie als Orientierung innerhalb des Koordinatensystems
(zweidimensional: x,y,theta; dreidimensional: x, y, z, roll-, pitch-, yaw-Winkel). Insbesondere ist dabei ein globales Koordinatensystem vorgesehen. Die Parametrierung von Landmarkenknoten unterscheidet sich je nach Landmarkentyp, wobei Landmarken in Klassen von verschiedenen Geometrien eingeteilt werden. Landmarken, deren Position sich durch einen Punkt darstellen lässt, etwa Pfosten, sind als Punkt (zweidimensional: x,y; dreidimensional: x, y, z) in einem Koordinatensystem parametriert. Für weitere Landmarkentypen ist ebenfalls zumindest eine Position als Parameter vorgesehen, gegebenenfalls zusammen mit weiteren Parametern.
Die Kanten beziehungsweise Faktoren verbinden die Knoten. Ein Faktor kann mit beliebig vielen Knoten verbunden sein. Insbesondere sind die Faktoren lediglich mit einem Knoten verbunden (unäre Faktoren) oder sie verbinden paarweise zwei Knoten miteinander (binäre Faktoren). Unäre Faktoren beschreiben mathematisch einen Prior, das heißt eine bereits vorbekannte Information, über die verknüpfte Schätzgröße. Bei dem Verfahren sind
insbesondere zwei unäre Faktoren von zentraler Bedeutung: Sogenannte globale Posen- Faktoren und globale Landmarken-Faktoren. Globale Posen-Faktoren sind mit einem Knoten verbunden, der eine Fahrzeugpose repräsentiert, und beschreiben den (mathematischen) Prior darüber, welcher Position beziehungsweise Pose dieser Knoten entspricht, was also der Schätzwert für die Fahrzeugpose bei dem Knoten ist. Dieser unäre Faktor wird etwa von einer GPS-Messung gebildet und einer Fahrzeugpose zugeordnet. Bei dem resultierenden Optimierungsproblem ist dadurch als Randbedingung vorgegeben, dass die Schätzung nah an der GPS-Messung bleiben soll.
Globale Landmarken-Faktoren beschreiben auf ähnliche Weise einen Prior über einen
Landmarken-Knoten, der die zu schätzenden Parameter einer Landmarke repräsentiert. Sie werden bei dem Verfahren direkt aus den von den Kartendaten umfassten Prior- Landmarkendaten gebildet. Anschließend werden sie einem Landmarken-Knoten zugeordnet und mit diesem verknüpft. Daraus ergibt sich bei dem resultierenden Optimierungsproblem die Randbedingung, dass die Schätzung nahe an den Prior-Landmarkendaten sein soll.
Bei einer Weiterbildung des Verfahrens wird beim Bestimmen des Faktorgraphen eine
Assoziierung von Landmarken-Messdaten durchgeführt, wobei assoziierte Landmarken- Messdaten in Abhängigkeit von einem bestimmten Zeitpunkt bestimmt werden. Insbesondere werden bei dem Verfahren mehrere, wiederholte Beobachtungen der gleichen Landmarke identifiziert. Dies erlaubt es vorteilhafterweise, den Umfang des rechnerisch zu lösenden Optimierungsproblems zu reduzieren und effizienter zu lösen, indem wiederholte
Beobachtungen der gleichen Landmarke assoziiert werden. Anschließend an die Lösung des Optimierungsproblems können zudem die erhaltenen Ergebnisse mit den Prior-Informationen verglichen werden, um die Korrektheit und Konsistenz der Prior-Informationen zu prüfen.
Es können Landmarken-Messdaten zu den Kartendaten, insbesondere den Prior- Landmarkendaten, assoziiert werden. Dies kann bei jedem Zeitschritt erfolgen, für den das Verfahren ausgeführt wird. Dadurch kann eine Zuordnung von erfassten Landmarken zu von den Kartendaten umfassten Landmarken erfolgen und falsche Zuordnungen können gegebenenfalls korrigiert werden, auch nachträglich für einen vorausgegangenen Zeitschritt. Das nachträgliche Überprüfen einer Zuordnung beziehungsweise das nachträgliche Korrigieren einer fehlerhaften Zuordnung wird insbesondere dadurch ermöglicht, dass die Zuordnung als eigener Verfahrensschritt für jeden Zeitpunkt der erfassten Landmarkendaten wiederholt werden kann.
Bei dem Verfahren kann ferner eine Historie über Zuordnungen zwischen lokalen Landmarken- Faktoren, die anhand der Landmarken-Messdaten bestimmt werden, und Kartenlandmarken, die anhand der Prior-Landmarkendaten bestimmt werden, gebildet werden. Dabei wird beispielsweise gezählt, wie häufig eine lokale Landmarken einer Kartenlandmarke zugeordnet wird. Wenn diese Anzahl von Übereinstimmungen der Zuordnungen einen Schwellenwert erreicht oder überschreitet, wird diese Hypothese als gültig angenommen. Dies erlaubt das Vermeiden von fehlerhaften Zuordnungen. Mehrere Hypothesen zur Assoziierung können miteinander verglichen werden, etwa für mehrere Zeitpunkte, für die das Verfahren ausgeführt wird, und fehlerhafte oder mangelhafte Assoziierungen können verhindert oder korrigiert werden. Dabei kann auch eine nachträgliche Korrektur der Assoziierung erfolgen. Lokal vom Fahrzeug erfasste und anhand der Prior-Landmarkendaten bestimmte Landmarken können so besonders sicher assoziiert werden.
Anhand der Historie kann auch eine lokale Landmarke, die anhand der Landmarken-Messdaten bestimmt wurde und der keine Kartenlandmarke anhand des Prior-Landmarkendaten zugeordnet werden konnte, nachträglich eine wahrscheinliche Kartenlandmarke für den
Zeitpunkt der Erfassung der Landmarken-Messdaten zugeordnet werden. Ferner können anhand der Historie nachträglich falsche Zuordnungen oder Assoziierungen mit einer zu niedrigen Wahrscheinlichkeit erkannt werden.
Bei dem Verfahren kann im Allgemeinen nicht davon ausgegangen werden, dass die Erfassung der Umgebungsdaten und der Positionsdaten stets synchron miteinander und genau zu dem Zeitpunkt erfolgt, für den eine Position geschätzt werden soll. Es können daher unterschiedliche Verfahren genutzt werden, um die Messungen für einen bestimmten Zeitpunkt verwenden zu können: Der zeitliche Versatz kann ignoriert werden, insbesondere wenn es sich um sehr kurze Zeiten handelt oder wenn bekannt ist, dass die Bewegung des Fahrzeugs so langsam ist, dass sich für den zeitlichen Versatz keine relevante Verschiebung der Position ergibt. Alternativ können die Positionsdaten, insbesondere Daten eines Odometrieverfahrens, genutzt werden, um die Verschiebung der Position während des zeitlichen Versatzes aus dem Bewegungsablauf zu extrapolieren oder zwischen zwei Zeitpunkten zu interpolieren.
Bei einer Ausbildung wird der Faktorgraph für Zeitpunkte bestimmt, die in regelmäßigen
Intervallen aufeinanderfolgen. Insbesondere wird dabei für jeden dieser Zeitpunkt der
Faktorgraphen vollständig neu bestimmt. Dadurch kann vorteilhafterweise eine Bewegung des Fahrzeugs entlang einer Trajektorie nachverfolgt werden. Die regelmäßigen Intervalle können sich dabei auf feste zeitliche Abstände beziehen. Ferner kann der Faktorgraph in regelmäßigen räumlichen Abständen erzeugt werden oder es kann ein räumlicher Mindestabstand als
Bedingung für die Erzeugung eines neuen Faktorgraphen vorgesehen sein. Vor dem Bestimmen eines neuen Faktorgraphen kann ferner geprüft werden, ob Daten einer bestimmten oder mehrerer Eingangsquellen vorliegen. Insbesondere werden zu den Zeitpunkten, an denen der Faktorgraphen neu bestimmt wird, neue Schätzungen für die Position, das heißt neue Positionsknoten, erzeugt.
Bei einer weiteren Ausbildung wird eine Zuordnung von Landkarten-Messdaten und Prior- Landmarkendaten durchgeführt und die Fahrzeug-Positionsdaten und Landmarken- Positionsdaten des Faktorgraphen werden anhand der Zuordnung bestimmt. Die Zuordnung wird insbesondere lokal vorgenommen. Dadurch werden vorteilhafterweise zusammengehörige Detektionen von Landmarken und von den Kartendaten umfasste Informationen über die Landmarken identifiziert.
Die Zuordnung kann anhand der über die Landmarken gespeicherten Informationen
beziehungsweise dieser detektierten Parameter erfolgen. Insbesondere wird eine örtliche Nähe zwischen einer detektierten Landmarke und der vorgegebenen geschätzten Position für die Zuordnung verwendet, das heißt, eine detektierte Landmarke wird anhand der Landmarken- Messdaten einer Landmarke innerhalb der Kartendaten zugeordnet, die der jeweiligen
Positionsschätzung möglichst genau entspricht.
Bei einer Weiterbildung werden bei der Optimierung des Faktorgraphen für die
Landmarkenpositionsknoten des Faktorgraphen optimierte Landmarken-Positionsdaten bestimmt. Dadurch werden vorteilhafterweise bei der Optimierung des Faktorgraphen auch die Positionen der Landmarken optimiert. Das Verfahren kann dazu genutzt werden, die von den Kartendaten vorgegebenen Prior-Landmarkendaten anhand von Messungen zu verbessern.
Insbesondere kann vorgesehen sein, dass anhand der Prior-Landmarkendaten und der optimierten Landmarken-Positionsdaten Qualitätsdaten erzeugt und ausgegeben werden. Dies erlaubt vorteilhafterweise eine Überprüfung der Qualität einer Detektion von Landmarken oder einer Qualität von Kartendaten. Beispielsweise können die Qualitätsdaten Informationen darüber umfassen, ob und in welchem Maße die tatsächlich detektierten Landmarken von den Informationen abweichen, die mit den Kartendaten bereitgestellt werden. Insbesondere kann vorgesehen sein, dass anhand der Qualitätsdaten eine Aktualisierung der Kartendaten vorgenommen wird.
Bei einer Ausbildung wird das Verfahren iterativ für mehrere Zeitpunkte wiederholt und es wird eine Trajektorie von Positionen ausgegeben, wobei jeweils ein späterer Faktorgraph, der einem späteren Zeitpunkt zugeordnet ist, anhand eines früheren Faktorgraphen, der einem früheren Zeitpunkt zugeordnet ist, bestimmt wird. Dabei wird eine Marginalisierung des Faktorgraphen so durchgeführt, dass der spätere Faktorgraph eine vorgegebene Maximalgröße nicht
überschreitet. Insbesondere wird das Verfahren in regelmäßigen Zeitintervallen durchgeführt. Dadurch kann vorteilhafterweise eine Trajektorie des Fahrzeugs verfolgt werden.
Die Maximalgröße des Faktorgraphen kann dabei auf an sich bekannte Weise definiert sein, insbesondere als Anzahl von Knoten und Kanten und/oder anhand eines Komplexitätsmaßes, das den zur Lösung des Optimierungsproblems notwendigen Rechenaufwand quantifiziert.
Dabei ist vorgesehen, dass ein„sliding window“ verwendet wird, das ein festes Zeitfenster ausgehend von einem aktuellen Zeitpunkt definiert. Beispielsweise können stets sämtliche Daten des Faktorgraphen für ein bestimmtes Zeitintervall vor dem aktuellen Zeitpunkt berücksichtigt werden. Ältere Daten können dabei vollständig ignoriert werden, insbesondere wenn das Zeitintervall lang ist und die älteren Daten daher veraltet sind. Ferner kann eine Gewichtung je nach Alter der Daten vorgenommen werden, wobei insbesondere ältere Daten weniger stark gewichtet werden. Zudem können die Daten früherer Zeitpunkte
zusammengefasst werden, beispielsweise zu einem einzelnen Schätzwert für einen Parameter für einen zurückliegenden Zeitraum, während jüngere Daten als Einzelmessungen
berücksichtigt werden.
Insbesondere erfolgt bei dem Verfahren für jeden Zeitschritt eine vollständig neue Optimierung des Faktorgraphen. Dagegen werden ältere Schätzungen bei herkömmlichen Verfahren typischerweise nicht verbessert, da Fehler der Schätzung zu früheren Zeitpunkten weiter fortgeschrieben werden. Bei dem Verfahren werden also vorteilhafterweise zu jedem Zeitpunkt die Schätzungen neu optimiert, statt von den Ergebnissen vergangener Schätzungen abhängig zu sein.
Bei dem Verfahren gemäß der Erfindung umfasst der Faktorgraph Landmarkenpositionsknoten sowie Prior-Landmarkendaten, die insbesondere durch globale Landmarken-Faktoren repräsentiert sein können. In Verfahren gemäß dem Stand der Technik werden häufig die Landmarkenpositionsknoten durch Marginalisieren entfernt. Das Marginalisieren der
Landmarkenpositionsknoten kann in diesem Fall zu Fehlern führen, die durch die Approximation entstehen (Marginalisierungsfehler). Diese Art von Fehler wird bei dem Verfahren gemäß der Erfindung vermieden. Bei dem erfindungsgemäßen Verfahren werden nämlich
vorteilhafterweise verbesserte Informationen über die Landmarken-Positionen erhalten. Diese können genutzt werden um die Struktur des Faktorgraphen über die Zeit auf Sinnhaftigkeit und innere Konsistenz zu überprüfen. Gegebenenfalls kann auch eine Kartenqualität bewertet werden.
Das erfindungsgemäße System zum Bestimmen einer Position eines Fahrzeugs umfasst eine Erfassungseinheit zum Erfassen von vorläufigen Positionsdaten des Fahrzeugs und
Umgebungsdaten, eine Verarbeitungseinheit zum Bestimmen von Landmarken-Messdaten für detektierte Landmarken in einer Umgebung des Fahrzeugs anhand der Umgebungsdaten sowie eine Schnittstelle zum Empfangen von Kartendaten, wobei die Kartendaten Prior- Landmarkendaten umfassen. Es umfasst ferner eine Recheneinheit, die dazu eingerichtet ist, einen Faktorgraphen zu bestimmen, wobei der Faktorgraph Fahrzeugpositionsknoten, die vorläufige Fahrzeug-Positionsdaten repräsentieren, und Landmarkenpositionsknoten, die Landmarken-Positionsdaten repräsentieren, umfasst. Sie ist ferner dazu eingerichtet, eine Optimierung des Faktorgraphen durchzuführen, wobei optimierte Fahrzeug-Positionsdaten bestimmt werden, und anhand der optimierten Fahrzeug-Positionsdaten die Position zu bestimmen und auszugeben.
Das erfindungsgemäße System ist insbesondere ausgebildet, das vorstehend beschriebene erfindungsgemäße Verfahren zu implementieren. Das System weist somit dieselben Vorteile auf wie das erfindungsgemäße Verfahren.
Die Schnittstelle zum Empfangen von Kartendaten kann auf unterschiedliche, an sich bekannte Weisen ausgebildet sein. Zum Beispiel kann eine Schnittstelle zu einem Computernetzwerk verwendet werden, etwa dem Internet oder einem lokalen Dienst, etwa einem lokalen Server zur Bereitstellung von Kartendaten für eine bestimmte Umgebung. Alternativ oder zusätzlich kann das Fahrzeug eine Speichereinheit umfassen öder es kann eine Speichereinheit eines externen Geräts verwendet werden, wobei insbesondere auf Daten eines Navigationsgeräts zugegriffen werden kann.
Bei einer Ausbildung des erfindungsgemäßen Systems umfasst die Erfassungseinheit eine Kamera, einen Ultraschallsensor, einen Lasersensor und/oder einen Radarsensor. Alternativ oder zusätzlich können weitere Sensoren und Sensortypen verwendet werden. Dadurch werden vorteilhafterweise weit verbreitete und in vielen Fahrzeugen verfügbare Sensoren genutzt, wobei das System nicht auf diese Sensoren beschränkt ist. Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den Zeichnungen erläutert.
Figur 1 zeigt ein Fahrzeug mit einem Ausführungsbeispiel des erfindungsgemäßen
Systems,
Figur 2A zeigt ein Ausführungsbeispiel des erfindungsgemäßen Faktorgraphen,
Figur 2B zeigt ein Ausführungsbeispiel einer Situation auf einer Straße mit dem
dazugehörigen Kartenausschnitt und
Figur 3 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
Mit Bezug zu Figur 1 wird Ausführungsbeispiel des erfindungsgemäßen Systems erläutert.
Ein Fahrzeug 1 umfasst eine Erfassungseinheit 2, die mit einer Steuereinheit 8 gekoppelt ist. Die Erfassungseinheit 2 umfasst mehrere nicht näher dargestellte Detektions- und
Sensormodule, darunter Module zur Positionsbestimmung mittels GPS (global positioning System) sowie mittels Odometrie, insbesondere durch Erfassung der Raddrehzahl und des Lenkwinkels des Fahrzeugs 1. Sie umfasst ferner einen Laserscanner und eine Kamera zur Erfassung der Umgebung des Fahrzeugs 1. Die Steuereinheit 8 umfasst eine
Verarbeitungseinheit 3, eine Recheneinheit 4 und ein Navigationssystem 5. Alternativ oder zusätzlich zu dem Navigationssystem 5 kann eine Schnittstelle zu einem Speichersystem des Fahrzeugs 1 oder zu einem externen Speichersystem vorgesehen sein. Das Fahrzeug 1 umfasst zudem Antriebs- und Lenkmittel 7, die auf an sich bekannte Weise ausgebildet sind und eine Längs- und/oder Quersteuerung des Fahrzeugs 1 erlauben. Das Fahrzeug 1 umfasst ferner eine Schnittstelle 6, die mit der Steuereinheit 8 gekoppelt ist und auf an sich bekannte Weise eine trennbare, drahtlose datentechnische Verbindung zu einem externen Server 10 hersteilen kann.
Mit Bezug zu den Figuren 2A und 2B wird ein Ausführungsbeispiel des erfindungsgemäßen Faktorgraphen erläutert. Dabei wird von dem oben mit Bezug zu Figur 1 erläuterten
Ausführungsbeispiel des erfindungsgemäßen Systems ausgegangen.
Der Faktorgraph umfasst Knoten und Kanten, wobei die Kanten in dem Ausführungsbeispiel als Faktoren bezeichnet werden. Hierbei sind unäre und binäre Faktoren vorgesehen, die mit einem beziehungsweise mit zwei Knoten verbunden sind. In Figur 2 A sind die Knoten als Kreise dargestellt, die Faktoren sind durch Rechtecke und linienförmige Verbindungen zu den Knoten dargestellt. Die Knoten p0 bis p6 repräsentieren (Fahrzeug-)Posen-Knoten, das heißt die Posen (Positionen und Ausrichtungen) des Fahrzeugs 1 zu bestimmten Zeitpunkten. Bei dem Ausführungsbeispiel dient das Verfahren im Wesentlichen dazu, Schätzungen für diese Posen-Knoten anzugeben und zu optimieren, wobei insbesondere ein globales Koordinatensystem verwendet wird.
Die Knoten l0 und h repräsentieren Landmarken-Knoten, das heißt Posen verschiedener Landmarken.
Die lokalen Posen-Faktoren o0 bis o5 repräsentieren Odometrie-Faktoren. Sie hängen also von den durch die Erfassungseinheit 3 gemessenen Daten einer Odometrie-Einrichtung zusammen, die während der Bewegung von einer Pose zur anderen Daten über die Bewegung,
insbesondere Geschwindigkeit und Lenkwinkel, erfasst und aufzeichnet. Bei dem Beispiel repräsentiert etwa o0 die Änderung der Pose des Fahrzeugs 1 zwischen den Posen-Knoten p0 und pi.
Die globalen Posenfaktoren a0 und ai repräsentieren Prior-Informationen über jeweils eine Fahrzeugpose, wobei das Ausführungsbeispiel hier eine globale Positionsbestimmung mittels des GPS-Moduls der Erfassungseinheit 3 vorsieht.
Die lokalen Landmarken-Faktoren g0 bis g3 repräsentieren Beobachtungen einer Landmarke von einer Fahrzeug-Pose aus zu einer Landmarke. Das heißt, während das Fahrzeug 1 eine bestimmte Pose einnimmt, erfasst es mittels der Erfassungseinheit 3 seiner Umgebung mit zumindest den Landmarken. Die Messungen gehen in die lokalen Landmarken-Faktoren g0 bis g3 ein und erlauben die Bestimmung einer relativen Position der Landmarken relativ zum Fahrzeug 1. Im dargestellten Beispiel wurde die zum Landmarkenpositionsknoten l0 gehörige Landmarke von den Fahrzeugpositionen p-i und p3 aus detektiert, die Landmarke zu h von p3 und p5 aus.
Die globalen Landmarken-Faktoren m0 und m-i repräsentieren Prior-Landmarkendaten. Bei dem Ausführungsbeispiel sind diese von Kartendaten umfasst, insbesondere handelt es sich um absolute Positionen, Orientierungen und weitere Parameter verschiedener Landmarken.
Bei dem in Figur 2B dargestellten Fall befindet sich ein Fahrzeug 24 auf einer Straße 21 , auf welcher Fahrbahnmarkierungen 22 angebracht und an deren Rand Leitpfosten 23 angeordnet sind. Das Fahrzeug 24 erfasst seine Umgebung mittels einer Erfassungseinheit 3, die im Wesentlichen so ausgebildet ist, wie in Figur 1 für das Ausführungsbeispiel des erfindungsgemäßen Systems dargestellt. Durch gestrichelte Linien ist angedeutet, dass einige der Leitpfosten 23 durch das Fahrzeug 24 erfasst werden, wobei insbesondere ihre Positionen relativ zur Position des Fahrzeugs 24 erfasst werden.
Dargestellt ist ferner ein Ausschnitt einer Karte 30 mit der Kartendarstellung einer Straße 31 , einer Fahrbahnmarkierung 32 und Leitpfosten 33. Bei der Positionsbestimmung gemäß dem erfindungsgemäßen Verfahren fließen die Daten der Karte 30 zusammen mit den Detektionen des Fahrzeugs 24 in einen Faktorgraphen ein, der er im Wesentlichen wie in Figur 2A dargestellt gebildet wird: Die Pose des Fahrzeugs 24 zu bestimmten Zeitpunkten wird durch die Posen-Knoten p0 bis p6 repräsentiert, die globalen Posenfaktoren a0 und ai repräsentieren GPS-Messungen zu bestimmten Zeitpunkten und die lokalen Posen-Faktoren o0 bis o5 entsprechen einer Bewegung des Fahrzeugs 24 zwischen jeweils zwei Zeitpunkten. Die Positionen der Landmarken 23 sind durch den Landmarken-Knoten l0 und h repräsentiert, globale Landmarken-Faktoren m0 und m-i repräsentieren Prior-Landmarkendaten, wie sie von der Karte 30 umfasst sind, und die lokalen Landmarken-Faktoren g0 bis g3 repräsentieren Beobachtungen der Landmarken 23.
Mit Bezug zu Figur 3 wird ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens erläutert. Dabei wird von dem oben mit Bezug zu Figur 1 dargestellten Ausführungsbeispiel des erfindungsgemäßen Systems und von den in den Figuren 2A und 2B dargestellten
Ausführungsbeispielen des Faktorgraphen und einer Situation auf einer Straße mit den dazugehörigen Kartenausschnitt ausgegangen.
In einem ersten Schritt S10 werden vorläufige Positionsdaten des Fahrzeugs und
Umgebungsdaten sowie Kartendaten erfasst. Die Kartendaten können beispielsweise von dem Navigationssystem 5 oder einem Speichersystem bereitgestellt werden. Diese Eingangsdaten können auf unterschiedliche Weise zur Verfügung gestellt werden, insbesondere mittels der Erfassungseinheit 2 und über die Schnittstelle 6 des Fahrzeugs 1.
Die Eingangsdaten werden in weiteren Schritten S21 , S22, S23, S24 gepuffert, das heißt, es ist ein Speicher vorgesehen, der Eingangsdaten zumindest bis zu ihrer Verarbeitung sammelt und zur Verfügung stellt.
Zu den Eingangsdaten zählen vorläufige Positionsdaten, die bei dem Ausführungsbeispiel mittels Odometrieverfahren und als globale Posenschätzungen, insbesondere mittels GPS, erfasst werden. Im Schritt S21 werden globale Posenschätzungen, im Schritt S22 werden Odometriedaten gepuffert.
Anhand der durch die Erfassungseinheit 2 erfassten Umgebungsdaten ermittelt die
Verarbeitungseinheit 3 zunächst detektierte Landmarken auf an sich bekannte Weise.
Insbesondere werden dabei semantische Landmarken bestimmt, das heißt, die Landmarken werden bestimmten Typen zugeordnet und es werden Parameter für die einzelnen Landmarken bestimmt. Die bestimmten Parameter umfassen zumindest eine Position, gegebenenfalls weitere Eigenschaften der detektierten Landmarke, etwa eine Länge oder andere Ausdehnung, einen Radius, eine geometrische Form oder einen Anfangs- und Endpunkt. Die Pufferung der Landmarkendetektionen erfolgt im Schritt S23.
Die zu Beginn erfassten Kartendaten umfassen insbesondere eine Karte mit Prior- Landmarkendaten, das heißt Informationen über Landmarken in dem von der Karte
abgedeckten Bereich. Die Kartendaten können hierbei zu Beginn vollständig geladen, abschnittsweise nachgeladen, oder von einem Backend oder anderen Fahrzeugen,
insbesondere mittels Fahrzeug-zu-Fahrzeug-Kommunikation ( vehicle-to-vehicle/v2v ) bereitgestellt werden. Die Pufferung der Kartendaten, insbesondere einer Landmarkenkarte, erfolgt im Schritt S24.
Für die verschiedenen zu Beginn erfassten Eingangsdaten kann es mehrere Quellen geben, bei dem Ausführungsbeispiel ist jedoch für jeden Typ zumindest eine Quelle vorgesehen.
Insbesondere werden mehrere Module zur Erfassung von Positionsdaten berücksichtigt und damit große Teile der Eigenschaften einer Ortungsfusion in das Verfahren integriert. Wenn nachfolgend von jeweils einer Quelle pro Eingangsdatentyp die Rede ist, so wird davon ausgegangen, dass bei mehreren Quellen die jeweiligen Verfahrensschritte pro Quelle separat ausgeführt werden.
Die Pufferung S21 , S22, S23, S24 der Eingangsdaten erfolgt auch während eines Zyklus nebenläufig, insbesondere um Daten zur Posen Bestimmung bei späteren Zeitpunkten bereitstellen zu können. Zu bestimmten Zeitpunkten werden zunächst der Graphenaufbau und anschließend die Graphenoptimierung angestoßen. Zuletzt wird durch Optimierung die finale Posenschätzung aus dem Graphen extrahiert.
Um einen Faktorgraphen bestimmen zu können, werden zunächst die Zeitpunkte bestimmt, zu denen die Fahrzeugpose geschätzt werden soll. Dies geschieht bei dem Ausführungsbeispiel in einem festen zeitlichen Abstand, könnte aber auch beispielsweise durch einen räumlichen Mindestabstand geschehen, den das Fahrzeug zwischen zwei Schätzungen zurücklegt. Eine weitere Möglichkeit ist es, diese Zeitpunkte an das Vorhandensein der Daten einer oder mehrerer Eingangsquellen zu knüpfen. Zu diesen Zeitpunkten werden dann Posen-Knoten, insbesondere Fahrzeugpositionsknoten, im Graphen eingefügt und es kann eine neue
Posenschätzung erfolgen.
Anschließend werden in einem Schritt S41 mittels der globalen Posenschätzungen, die im Puffer vorliegen, globale Posen-Faktoren a0, ai berechnet. Diese müssen zeitlich zu den zuvor erstellten Posen-Knoten passen. Da im Allgemeinen die globalen Posenschätzungen nicht zu dem Zeitpunkt erfasst werden, für den der Faktorgraph bestimmt werden soll, müssen mittels einer geeigneten Strategie die globalen Posenschätzungen zeitlich verschoben werden. Bei dem Ausführungsbeispiel wird dazu eine Nearest-Neighbor-Strategie verwendet, bei welcher der zeitlich nächste Zeitpunkt gewählt wird. Dies funktioniert in den Fällen gut, wenn die zeitliche Differenz zwischen Posen-Knoten p0 bis p6 gering ist, etwa nur wenige Millisekunden. Eine Alternative Strategie ist das Interpolieren zwischen zwei globalen Posenschätzungen im Puffer um eine neue Schätzung zu erhalten, die zeitlich zu einem Posen-Knoten p0 bis p6 passt. Eine weitere Strategie besteht darin, die Verschiebung der globalen Posenschätzungen mittels Odometrie zu bestimmen. Dies funktioniert dann gut, wenn die Odometrie für kurze Abschnitte geringe Fehler macht. Nach Bestimmung der globalen Posen-Faktoren a0, ai werden diese in den Graphen eingefügt und mit den entsprechenden Posen-Knoten p0 bis p6 verbunden.
In einem Schritt S42 werden die Odometrie-Daten im Puffer abgearbeitet. Auch hier gibt es das Problem, dass die Zeitpunkte der Eingangsdaten, das heißt der von der Erfassungseinheit 2 erfassten Odometrie-Messungen, im Allgemeinen nicht zu den Zeitpunkten der Posen-Knoten Po bis p6 passen. Auch hier kommen Interpolations- und Nearest Neighbor-V erfahren infrage. Bei dem Ausführungsbeispiel werden bevorzugt die Odometrie-Messungen miteinander verkettet, um die zwischen beliebigen Zeitpunkten zurückgelegte Strecke im
Fahrzeugkoordinatensystem zu erhalten, was letztlich einer Interpolation ähnlich ist. Für kurze Zeitspannen kann alternativ oder zusätzlich eine Extrapolation der Daten vorgesehen sein. Anhand der so verarbeiteten Odometrie-Daten werden die entsprechenden lokalen Posen- Faktoren oo bis o5 im Faktorgraphen eingefügt. Insbesondere verknüpfen die lokalen Posen- Faktoren oo bis o5 jeweils zwei Fahrzeugposen po bis p6. Bevorzugt werden entweder die Posen-Knoten p0 bis p6 verknüpft, die der Messung zeitlich am nächsten sind, oder immer zwei zeitlich aufeinanderfolgende Posen-Knoten p0 bis p6. Auch die im Schritt S23 gepufferten Landmarken-Detektionen werden in ähnlicher Weise verarbeitet. Dabei werden die Landmarken zunächst in einem lokalen Assoziationsschritt S31 zusammengeführt. Dieser Schritt S31 leistet zwei Dinge: Zum einen werden die Detektionen zeitlich auf den Zeitstempel des nächstgelegenen Posen-Knoten p0 bis p6 projiziert. Zu diesem Zweck können beispielsweise die Daten aus dem Odometrie-Puffer verwendet werden.
Alternativ oder zusätzlich können in einem vorhergehenden Verfahrenszyklus optimierte Posen- Knoten p0 bis p6 verwendet werden, um die Bewegung zu bestimmen und eine Interpolation oder Extrapolation durchzuführen. Falls zum Zeitpunkt der Durchführung des Verfahrens noch keine Daten im Faktorgraphen existieren, kann ein Bewegungsmodell des Fahrzeugs verwendet werden, um die Bewegung zu einem gewünschten Zeitpunkt zu extrapolieren.
Ferner werden im Schritt S31 Hypothesen aufgestellt, welche der detektierten Landmarken, die im Puffer abgelegt sind , zu dem gleichen physikalischen Objekt in der Umgebung des
Fahrzeugs 1 gehören. Beispielsweise kann die gleiche Landmarke mehrmals von dem gleichen Detektor oder von verschiedenen Sensoren erfasst werden. Dies kann etwa über eine Nearest- Neighbor-Strategie erfolgen, wobei Schwellwerte für zu große Distanzen zur Ablehnung der Hypothese führen. Eine andere Möglichkeit besteht darin, spezielle Deskriptoren der
Landmarken, insbesondere verschiedener Landmarkentypen, auszuwerten. Im Allgemeinen wird eine Distanzfunktion entworfen und geprüft, welche der anderen möglichen Landmarken sich in einer geringeren Distanz als ein Schwellwert befinden. Wenn in dem
Ausführungsbeispiel dabei eine eindeutige Lösung gefunden wird, wird diese als Hypothese akzeptiert. Falls es mehrere mögliche Kandidaten gibt, erscheint die Hypothesenbildung als zu unsicher und die Hypothese wird daher nicht akzeptiert.
Die lokale Assoziierung im Schritt S31 liefert also eine Menge an lokalen Landmarken-Faktoren g0 bis g3, die nun in einem Schritt S43 direkt zur Bestimmung des Faktorgraphen verwendet werden.
Zusätzlich dazu werden sie in einem Schritt S32 für eine Kartenzuordnung weiterverarbeitet. Dabei werden die lokalen Landmarken-Faktoren g0 bis g3 mit der von den Kartendaten umfassten Karte abgeglichen und es werden Hypothesen generiert, welche der lokalen
Landmarken-Faktoren g0 bis g3 mit welcher Kartenlandmarke, das heißt einer von den Prior- Landmarkendaten umfassten Landmarke, übereinstimmt. In diesem Schritt S32 wird also festgestellt, welche Teilmenge der Kartenlandmarken mit welcher Teilmenge der lokalen Landmarken-Faktoren g0 bis g3 korrespondiert. Die Durchführung dieses Schritts S32 kann dadurch erschwert werden, dass Kartenlandmarken fehlen und/oder dass falsche Erkennungen des Detektors vorliegen, wobei in diesem Fall jeweils keine Assoziierung gefunden werden kann.
Es wird ähnlich vorgegangen wie oben für den Fall beschrieben, bei dem Hypothesen gebildet werden, um mehrere Detektionen der gleichen detektierten Landmarke zuzuordnen. Das Ergebnis dieses Schrittes S32 ist eine Menge an Zuordnungen zwischen lokalen Landmarken- Faktoren g0 bis g3 und Kartenlandmarken. Diese werden nun in einem weiteren Schritt S33 zum den zeitlichen Abgleich weiterverarbeitet.
Im Schritt S33 des zeitlichen Abgleichs wird eine Historie über die Zuordnungen zwischen lokalen Landmarken- Faktoren g0 bis g3 und Kartenlandmarken gebildet. Bei dem
Ausführungsbeispiel wird hierzu gezählt, wie häufig die Hypothese generiert wurde, dass ein bestimmter lokaler Landmarken-Faktor Faktor g0 bis g3 einer bestimmten Kartenlandmarke zuzuordnen ist. Erst nach einer Mindestanzahl von Übereinstimmungen wird diese Hypothese dann als gültig angenommen, sodass Fehldetektionen vermieden werden können. Bei dem zeitlichen Abgleichungsschritt S33 werden Hypothesen zur Datenassoziierung über einen längeren Zeitraum validiert, wobei auch kurzzeitige schlechte Assoziierungen verhindert und korrigiert werden können. Dadurch erhalten wird eine stabilere Zuordnungen zwischen lokal vom Fahrzeug erfassten und in der Karte vorhandenen Landmarken erreicht.
Es kann ferner Vorkommen, dass ein lokaler Landmarken-Faktor g0 bis g3 im aktuellen Schritt keiner Kartenlandmarke zugeordnet werden kann. In diesem Fall kann die Historie dazu dienen, dennoch anhand des historischen Wissens zu bestimmen, welche Zuordnung wahrscheinlich ist beziehungsweise zum Detektionszeitpunkt wahrscheinlich war. Außerdem können hier falsche Zuordnungen festgestellt werden, die nicht im Einklang mit der Historie stehen.
Anhand der Zuordnungen zwischen lokalen Landmarken-Faktoren g0 bis g3 und den
Kartenlandmarken werden in einem Schritt S44 globale Landmarken-Faktoren m0, m-i gebildet. Diese werden anschließend in den Faktorgraphen eingebaut. Sie geben insbesondere an, an welcher Position eine bestimmte Landmarke erwartet wird.
Zum Zeitpunkt des Schrittes S50 wird der Faktorgraph mit den Informationen eines
vorhergehenden und mit zusätzlichen Informationen des aktuellen Zeitschritts aufgebaut.
Dadurch ist der Funktionsgraph im Normalbetrieb normalerweise größer geworden. Um eine übermäßige Vergrößerung zu vermeiden, ist bei dem Ausführungsbeispiel ein Sliding Window vorgesehen, das heißt ein Zeitfenster, das sich mit jeden Zeitschritt verschiebt. Wenn durch eine solche Verschiebung Informationen in den Funktionsgraphen aus dem Zeitfenster herausfallen, muss der Funktionsgraph entsprechend beschnitten werden, wofür verschiedene Verfahren verwendet werden können:
Bei dem Ausführungsbeispiel werden dazu die ältesten Knoten und Faktoren außerhalb des Zeitfensters entfernt. Alternativ dazu können nur die Knoten und Faktoren des Faktorgraphen entfernt werden, die den geringsten Informationsgehalt aufweisen. Bei beiden Strategien ist zu bedenken, wie das„Entfernen“ am besten umgesetzt werden soll. Eine erste Möglichkeit ist das einfache Löschen von Knoten und Faktoren. Dies hat eine niedrige Komplexität und kann bei einem großen Faktorgraphen ausreichend sein. Eine weitere, bei dem Ausführungsbeispiel bevorzugte Möglichkeit ist das Marginalisieren von Informationen. Hierfür wird die dem
Faktorgraphen zugrundeliegende Systemmatrix des Optimierungsproblems mit dem Schur- Komplement marginalisiert. Dieses Verfahren ist an sich bekannt, etwa aus dem
wissenschaftlichen Artikel„Information-theoretic compression of pose graphs for laser-based SLAM“, H. Kretzschmar und C. Stachniss, International Journal of Robotics Research, 2012,
Bd. 31 , S. 1219-1230.
Im nächsten Schritt S60 wird der Faktorgraph optimiert, wobei an sich bekannte Algorithmen zur Graphenoptimierung verwendet werden können. Diese Optimierung liefert eine Bestimmung der Knotenwerte, die alle Faktoren bestmöglich repräsentieren. Es werden also alle Posen-Knoten Po bis p6 und Landmarken-Knoten lo, h so bestimmt, dass die Bedingungen der Faktoren mo, m-i, go bis g3, oo bis o5, ao, ai möglichst gut eingehalten werden. Insbesondere sind nun die Posen- Knoten po bis p6 von Interesse, die am Graphenkopf die jüngsten Fahrzeugposen
repräsentieren. Im Schritt S70 wird üblicherweise die jüngste ermittelte Fahrzeugpose ausgegeben. Für andere Anwendungen kann es von Interesse sein, in diesem Schritt S70 alternativ oder zusätzlich ältere Posen-Knoten ausgegeben, etwa um Berechnungen für die Vergangenheit durchzuführen. Für andere Anwendungen kann eine gefahrene Trajektorie relevant sein, das heißt eine vom Fahrzeug grenzbefahrene Bahn, die ebenfalls ausgegeben werden kann. Für wiederum andere Anwendungen können die ermittelten Landmarken- Positionen l0, h von Relevanz sein, die in diesem Schritt S70 ebenfalls ausgegeben werden können.
Bei dem oben beschriebenen Ausführungsbeispiel wird eine initiale Pose mittels GPS- Messung oder anhand vergleichbarer Daten bestimmt. Vorher kann der Faktorgraph zwar aufgebaut werden, seine Optimierung bringt aber für die meisten Anwendungsfälle keine sinnvollen Resultate, insbesondere wenn die Zuordnung zu den Kartenlandmarken nicht erreicht werden kann. In diesem Fall kann alternativ vorgesehen sein, dass die letzte Fahrzeugpose bei Abstellen des Motors gespeichert und zur Initialisierung genutzt wird. Als weitere Alternative kann eine festgelegte Position genutzt werden, die beispielsweise ab Werk oder ab einem Parkplatz bei Unternehmensfahrzeugen eingestellt ist, oder die konfigurierbar vorgegeben werden kann, etwa eine Position in einer Garage bei Privatpersonen. Das Verfahren ist in diesem Fall unabhängig von GPS-Messungen und die initiale Pose kann besonders einfach bestimmt werden.
Bei dem Verfahren können zudem weitere Landmarken integriert werden, falls sie entsprechend geometrisch repräsentiert werden können und eine Fehlerfunktion für sie angegeben werden kann. Dies kann für gängige Landmarken mit an sich bekannten Verfahren umgesetzt werden, etwa für Pfosten, Fahrbahnmarkierungen, Kanaldeckel, Häuserflächen, Häuserkanten,
Tunneleinfahrten, Verkehrsschilder, Ampeln, Kreisverkehr-Mittelpunkte, Abflüsse, Bordsteine und ähnliche Landmarken.
Die bei dem Verfahren bestimmten globalen Landmarken-Faktoren m0, m-i dienen insbesondere als Prior-Landmarkendaten, das heißt als dem Verfahren von außen vorgegebene
Informationen über die Landmarken der Karte, insbesondere Informationen zu ihren Positionen. Alternativ oder zusätzlich können auch die Landmarken-Knoten l0, h des Faktorgraphen marginalisiert werden, um einen kleineren Zustandsvektor zu erreichen, was zu einem verringertem Speicherverbrauch und einer kürzerer Ausführungszeit beim Aufbau und bei der Optimierung des Faktorgraphen führt bedeutet. Dabei müssen jedoch gegebenenfalls Einbußen bei der Genauigkeit zugunsten der Geschwindigkeit abgewogen werden. Ferner werden auf diese Weise bei der Optimierung des Faktorgraphen keine geschätzten Landmarken-Positionen anhand der Landmarken-Knoten l0, h erhalten, während bei bevorzugten Ausführungsbeispielen des Verfahrens auch eine Bewertung der Prior-Landmarkendaten erfolgen kann.
Bezugszeichenliste
1 Fahrzeug
2 Erfassungseinheit
3 Verarbeitungseinheit
4 Recheneinheit
5 Navigationssystem
6 Schnittstelle
7 Antriebs- und Lenkmittel
8 Steuereinheit
10 Externer Server
21 Straße (real)
22 Fahrbahnmarkierung (real)
23 Leitpfosten (real)
24 Fahrzeug
30 Karte
31 Straße (Karte)
32 Fahrbahnmarkierung (Karte)
33 Leitpfosten (Karte)
m0, m-i globale Landmarkenfaktoren
l0, li Landmarkenpositionsknoten; Landmarkenknoten
go, gi, g2, g3 lokale Landmarkenfaktoren
Po, Pi, p2, P3, p4, PÖ, RQ Fahrzeugpositionsknoten; Posenknoten oo, Oi, o2, o3, o4, o5 lokale Posenfaktoren
ao, ai globale Posenfaktoren S10 Erfassung und Vorverarbeitung
521 Puffer für globale Posen
522 Puffer für Odometriedaten
523 Landmarken (Detektionen)
524 Landmarken (Karte)
531 lokale Assoziierung
532 Kartenzuordnung
533 zeitlicher Abgleich
541 Bestimmung von globalen Posenfaktoren
542 Bestimmung von lokalen Posenfaktoren
543 Bestimmung von lokalen Landmarkenfaktoren
544 Bestimmung von globalen Landmarkenfaktoren S50 Graphenaufbau
S60 Graphenoptimierung
S70 Ausgabe der Position

Claims

Patentansprüche
1. Verfahren zum Bestimmen einer Position eines Fahrzeugs (1 ), bei dem
vorläufige Positionsdaten des Fahrzeugs (1 ) und Umgebungsdaten erfasst werden; anhand der Umgebungsdaten Landmarken-Messdaten für detektierte Landmarken in einer Umgebung des Fahrzeugs (1 ) bestimmt werden;
Kartendaten erfasst werden, wobei die Kartendaten Prior-Landmarkendaten umfassen;
ein Faktorgraph bestimmt wird, wobei der Faktorgraph Fahrzeugpositionsknoten (p0, Pi , P2, P3, p4, PÖ, RQ), die vorläufige Fahrzeug-Positionsdaten repräsentieren, und
Landmarkenpositionsknoten (l0, h), die Landmarken-Positionsdaten repräsentieren, umfasst;
eine Optimierung des Faktorgraphen durch geführt wird, wobei optimierte Fahrzeug- Positionsdaten bestimmt werden; und
anhand der optimierten Fahrzeug-Positionsdaten die Position des Fahrzeugs (1 ) bestimmt wird.
2. Verfahren gemäß Anspruch 1 ,
dadurch gekennzeichnet, dass
die erfassten vorläufigen Positionsdaten eine globale Positionsschätzung und eine lokale Positionsschätzung umfassen.
3. Verfahren gemäß einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
beim Bestimmen des Faktorgraphen eine Assoziierung von Landmarken-Messdaten durchgeführt wird, wobei
assoziierte Landmarken-Messdaten in Abhängigkeit von einem bestimmten Zeitpunkt bestimmt werden.
4. Verfahren gemäß einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
der Faktorgraph für Zeitpunkte bestimmt wird, die in regelmäßigen Intervallen aufeinanderfolgen.
5. Verfahren gemäß einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
eine Zuordnung von Landmarken-Messdaten und Prior-Landmarkendaten durch geführt wird und
die Fahrzeug-Positionsdaten und Landmarken-Positionsdaten des Faktorgraphen anhand der Zuordnung bestimmt werden.
6. Verfahren gemäß einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
bei der Optimierung des Faktorgraphen für die Landmarkenpositionsknoten des Faktorgraphen optimierte Landmarken-Positionsdaten bestimmt werden.
7. Verfahren gemäß Anspruch 6,
dadurch gekennzeichnet, dass
anhand der Prior-Landmarkendaten und der optimierten Landmarken- Positionsdaten Qualitätsdaten erzeugt und ausgegeben werden.
8. Verfahren gemäß einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
das Verfahren iterativ für mehrere Zeitpunkte wiederholt wird und eine Trajektorie von Positionen ausgegeben wird; wobei
jeweils ein späterer Faktorgraph, der einem späteren Zeitpunkt zugeordnet ist, anhand eines früheren Faktorgraphen, der einem früheren Zeitpunkt zugeordnet ist, bestimmt wird; wobei
eine Marginalisierung des Faktorgraphen so durchgeführt wird, dass der spätere Faktorgraph eine vorgegebene Maximalgröße nicht überschreitet.
9. System zum Bestimmen einer Position eines Fahrzeugs (1 ), umfassend
eine Erfassungseinheit (2) zum Erfassen von vorläufigen Positionsdaten des Fahrzeugs (1 ) und von Umgebungsdaten;
eine Verarbeitungseinheit (3) zum Bestimmen von Landmarken-Messdaten für detektierte Landmarken in einer Umgebung des Fahrzeugs anhand der Umgebungsdaten; eine Schnittstelle (6) zum Empfangen von Kartendaten, wobei die Kartendaten Prior-Landmarkendaten umfassen; und
eine Recheneinheit (4), die dazu eingerichtet ist: einen Faktorgraphen zu bestimmen, wobei der Faktorgraph Fahrzeugpositionsknoten (p0, ri, p2, p3, p4, Ps, RQ), die vorläufige Fahrzeug- Positionsdaten repräsentieren, und Landmarkenpositionsknoten (l0, h), die Landmarken-Positionsdaten repräsentieren, umfasst;
eine Optimierung des Faktorgraphen durchzuführen, wobei optimierte Fahrzeug-Positionsdaten bestimmt werden, und
anhand der optimierten Fahrzeug-Positionsdaten die Position zu bestimmen und auszugeben.
10. System gemäß Anspruch 9,
dadurch gekennzeichnet, dass
die Erfassungseinheit (2) eine Kamera, einen Ultraschallsensor, einen Lasersensor und/oder einen Radarsensor umfasst.
EP19749243.2A 2018-07-20 2019-07-18 Verfahren und system zum bestimmen einer position eines fahrzeugs Pending EP3824247A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018117660.0A DE102018117660A1 (de) 2018-07-20 2018-07-20 Verfahren und system zum bestimmen einer position eines fahrzeugs
PCT/EP2019/069442 WO2020016385A1 (de) 2018-07-20 2019-07-18 Verfahren und system zum bestimmen einer position eines fahrzeugs

Publications (1)

Publication Number Publication Date
EP3824247A1 true EP3824247A1 (de) 2021-05-26

Family

ID=67539439

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19749243.2A Pending EP3824247A1 (de) 2018-07-20 2019-07-18 Verfahren und system zum bestimmen einer position eines fahrzeugs

Country Status (4)

Country Link
EP (1) EP3824247A1 (de)
CN (1) CN113330279A (de)
DE (1) DE102018117660A1 (de)
WO (1) WO2020016385A1 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019119000B4 (de) * 2019-07-12 2022-02-10 Bayerische Motoren Werke Aktiengesellschaft Bestimmen einer Fahrspurbegrenzung
DE102019123538A1 (de) * 2019-09-03 2021-03-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung einer Trajektorie eines Fahrzeugs
DE102019216722A1 (de) * 2019-10-30 2021-05-06 Zf Friedrichshafen Ag Verfahren zum Lokalisieren eines Fahrzeugs in einer digitalen Karte
DE102020115718A1 (de) 2020-06-15 2021-12-16 Man Truck & Bus Se Verfahren zur Bestimmung einer Nutzungsart eines Landmarkenmusters für eine Eigenlokalisierung eines Fahrzeugs, sowie elektronisches Eigenlokalisierungssystem für ein Fahrzeug
CN112595330B (zh) * 2020-11-13 2021-10-15 禾多科技（北京）有限公司 车辆定位方法、装置、电子设备和计算机可读介质
CN112577496B (zh) * 2020-11-25 2024-03-26 哈尔滨工程大学 一种基于自适应选权的多源融合定位方法
DE102021117744A1 (de) 2021-07-09 2023-01-12 Cariad Se Selbstlokalisierung eines Fahrzeugs basierend auf einer initialen Pose
DE102022103856A1 (de) * 2022-02-18 2023-08-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Erkennung eines Problems bei der Ermittlung eines Fahrpfades
WO2023198090A1 (en) * 2022-04-14 2023-10-19 The Hong Kong Polytechnic University 3d vision aided gnss real-time kinematic positioning for autonomous systems in urban canyons
CN115183778A (zh) * 2022-07-01 2022-10-14 北京斯年智驾科技有限公司 一种基于码头石墩的建图方法、装置、设备以及介质
DE102022207829A1 (de) 2022-07-29 2024-02-01 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Hinzufügen eines oder mehrerer Ankerpunkte zu einer Karte einer Umgebung

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO20082337L (no) * 2008-05-22 2009-11-23 Modulprodukter As Fremgangsmate til fremstilling av veikart og bruk av samme, samt system for veikart
DE102013208521B4 (de) 2013-05-08 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Kollektives Erlernen eines hochgenauen Straßenmodells
DE102014209340A1 (de) 2014-05-16 2015-11-19 Siemens Aktiengesellschaft Anordnung und Verfahren zur Sensorfusion
US9558424B2 (en) 2015-06-30 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. On-road stereo visual odometry without explicit pose determinations
DE102015214338A1 (de) 2015-07-29 2017-02-02 Volkswagen Aktiengesellschaft Bestimmung einer Anordnungsinformation für ein Fahrzeug
JP6776513B2 (ja) * 2015-08-19 2020-10-28 ソニー株式会社 車両制御装置と車両制御方法と情報処理装置および交通情報提供システム
DE102015218041A1 (de) 2015-09-21 2017-03-23 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Bereitstellung von Daten für eine Geometriekarte für ein autonomes oder automatisiertes Fahren eines Fahrzeugs
DE102016205193A1 (de) 2016-03-30 2017-10-05 Volkswagen Aktiengesellschaft Marginalisieren eines Posen-Graphen
US10083606B2 (en) * 2016-08-22 2018-09-25 Allstate Insurance Company Glare detection systems and methods for automated vehicular control
EP3526626A4 (de) * 2016-10-11 2020-05-27 Kaarta, Inc. Laserscanner mit online-eigenbewegungsschätzung in echtzeit
US20180161986A1 (en) * 2016-12-12 2018-06-14 The Charles Stark Draper Laboratory, Inc. System and method for semantic simultaneous localization and mapping of static and dynamic objects

Also Published As

Publication number Publication date
WO2020016385A1 (de) 2020-01-23
CN113330279A (zh) 2021-08-31
DE102018117660A1 (de) 2020-01-23

Similar Documents

Publication Publication Date Title
EP3824247A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
EP3491417B1 (de) Verfahren und system zum erfassen von landmarken in einem verkehrsumfeld einer mobilen einheit
EP3695244B1 (de) Verfahren und vorrichtung zum erzeugen eines inversen sensormodells und verfahren zum erkennen von hindernissen
EP3814720B1 (de) Lokalisierungssystem und verfahren zum betreiben desselben
DE102016214030A1 (de) Verfahren und System zum Erfassen eines Verkehrsumfeldes einer mobilen Einheit
EP3490862B1 (de) Verfahren und vorrichtung zum ermitteln eines fahrbahnmodells für ein fahrzeugumfeld
DE102016214470B4 (de) Verfahren und System zum Erfassen eines Verkehrsumfeldes einer mobilen Einheit
EP3380810B1 (de) Verfahren, vorrichtung, kartenverwaltungseinrichtung und system zum punktgenauen lokalisieren eines kraftfahrzeugs in einem umfeld
DE102016214028A1 (de) Verfahren und System zum Bestimmen einer Position einer mobilen Einheit
DE102017105086A1 (de) Aktualisieren einer Landmarkenkarte
DE102015203016A1 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102018203583B4 (de) Verfahren, Fahrerassistenzsystem sowie Kraftfahrzeug zur Prädiktion einer Position oder einer Trajektorie mittels eines graphbasierten Umgebungsmodells
DE102020200843A1 (de) Lokalisierung mit neuronalen Netz basierend auf Bildregistrierung von Sensordaten und Kartendaten
DE102018133441A1 (de) Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
DE102020118629B4 (de) Computerimplementiertes Verfahren zum Bestimmen der Validität einer geschätzten Position eines Fahrzeugs
EP3440433B1 (de) Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs mittels speziell ausgewählter und von einem backend- server übertragener landmarken
DE102017108107A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs
DE102021111325A1 (de) Verfahren und Assistenzeinrichtung zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs und Kraftfahrzeug
DE102019104974A1 (de) Verfahren sowie System zum Bestimmen eines Fahrmanövers
DE102021114724A1 (de) Verbesserter fahrzeugbetrieb
DE102021214763A1 (de) Verfahren und Steuervorrichtung zum Steuern eines automatisierten Fahrzeugs
DE102021124736A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Positions-Hypothese
DE102021103153A1 (de) System und verfahren zur ende-zu-ende-vorhersage der spurerkennungsunsicherheit
EP3671125B1 (de) Positionsbestimmungssystem und verfahren zum betreiben eines positionsbestimmungssystems für eine mobile einheit
DE102018210712A1 (de) System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210118

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: HUNGAR, CONSTANZE

Inventor name: PERDOMO LOPEZ, DAVID

Inventor name: JUERGENS, STEFAN

Inventor name: KOCH, NIKLAS

Inventor name: SCHAPER, THILO

Inventor name: RECH, BERND

Inventor name: MERFELS, CHRISTIAN

Inventor name: WILBERS, DANIEL

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220321