WO2019120392A1 - Verfahren und vorrichtung zur fusion von messungen aus unterschiedlichen informationsquellen - Google Patents
Verfahren und vorrichtung zur fusion von messungen aus unterschiedlichen informationsquellen Download PDFInfo
- Publication number
- WO2019120392A1 WO2019120392A1 PCT/DE2018/200111 DE2018200111W WO2019120392A1 WO 2019120392 A1 WO2019120392 A1 WO 2019120392A1 DE 2018200111 W DE2018200111 W DE 2018200111W WO 2019120392 A1 WO2019120392 A1 WO 2019120392A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- parameter
- measurements
- measurement
- filter vector
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Definitions
- the invention relates to a method and a device for the fusion of measurements from different sources of information and can be used in particular in driver assistance systems or driving tool control systems automated driving vehicles for the fusion of environmental sensor data.
- DE 10 2009 006 113 A1 shows a sensor fusion with dynamic objects, in which sensor-specific objects are generated from the measurements before the fusion, to which a likelihood of existence is assigned.
- a common occupancy map is created, in which the measurement of the individual sensors are fused to an occupancy probability for a card cell.
- sensors e.g. a stereo oarra and a radar sensor specified.
- DE 10 2013 205 245 A1 shows a vehicle reference speed determination method.
- Vehicle dynamics speed, acceleration
- the sensor parameters to be determined can enter the measurement equations nonlinearly and thus are not to be described as additive parameters on the object status (or poorly, since not constant).
- the parameters of the information sources used can be derived from measurements of at least one sensor
- several information sources can be derived from measurements of a sensor, eg by different evaluation methods of the sensor measurement data Determine the distance of objects by disparity, width / height in the image, bottom edge, or structure-by-motion based information from a stereo camera's classifier detectors.
- Standard methods for linking unknown non-linear parameters into the filtering are based on an extension of the filter state with the unknown parameters.
- One aspect of the invention is to combine the tracking of objects with the estimation of nonlinear parameters entering the measurement equations without extending the filter state.
- Kalman filter for camera-based object tracking.
- it is intended to use several sources of information (disparity, width / height, bottom edge) for the robust tracking of individual objects.
- One starting point of the solution is that measurements of different information sources are related to one another via parameter-dependent measurement equations.
- the unknown parameters can be estimated directly from the measurements and need not be estimated against the filtered object state.
- the above relationship is often independent of the object state. This allows the optimal estimation of the unknown parameters from the given measurements with a corresponding estimation method.
- the parameter estimation problem can be extended in such a way that an estimation of all parameters can be achieved by violating the constancy assumption of some parameters to be estimated.
- the process steps performed in a time step for an object tracking filter are: 1) Prediction of the filter condition
- a method according to the invention for merging measurements from different information sources comprising one or more surrounding detection sensors of an ego vehicle) in conjunction with a filtering of a filter vector provides that
- the measurements of at least one individual information source are mapped nonlinearly to the respective measured variable, whereby at least one of these mappings depends on at least one indefinite parameter
- the value to be determined of the at least one indeterminate parameter is estimated from the measurements of the various sources of information
- the filter vector is not needed to estimate the at least one particular parameter.
- the filtering of the filter vector and the estimation of the parameter (s) are performed "independently of each other.”
- the at least one indeterminate parameter is estimated parallel to the filtering of the filter vector.
- Vorzugseise the filtering of the filter vector is a temporal filtering, for example by means of a Kalman filter.
- the filter vector is not used to update the estimate of the at least one indefinite parameter.
- the measured variables are preferably derived by means of various measuring or evaluation methods of an environment detection sensor, in particular a forward looking vehicle camera.
- the measured quantities are derived from measurements of different environment detection sensors or different environment detection sensor types as information sources.
- one of the measurements which is determined by means of a reference measurement method (as information source), supplies a reference measurement variable that does not depend on a first unknown parameter, but on which at least one measurement variable depends on another measurement.
- the reference measurement method may preferably depend on a second independent parameter, wherein for the second independent parameter pending parameter is given a parameter value.
- the second parameter for an object is constant in time (eg fixed vehicle width).
- the second parameter can be meaningfully limited (width of any vehicle or height above the road level of any vehicle.)
- An average parameter value can be specified for the second parameter of the given second parameter compared to the actual value of this parameter can have different effects. The effects depend on the measurement equation.With camera-based object tracking, wrong width assumption is not serious, because it leads to wrong distance estimates, but with consistently wrong velocities that the quotient of both, from which a braking time is derived, is not disturbed.
- the method is preferably used for object tracking (or for tracking objects).
- the quantity derived from the measurements is preferably the distance between the ego vehicle and an object vehicle.
- a first information source may be that a first evaluation of an image of a vehicle camera of the ego vehicle via a determination of the width of the ob jekt vehicle in the image of the vehicle camera, assuming a predetermined mean width for vehicles as cor respond Schlierende width of the object Vehicle, a first measure of the distance between the ego and the object vehicle.
- a first indefinite parameter may be the actual width of the object vehicle.
- the filter vector may include other quantities, such as the relative velocity of the two vehicles.
- a second information source consists in that a second evaluation of the image of the vehicle camera of the ego vehicle via a measurement of the vertical position of the lower edge of the vehicle in the image of the driving camera provides a second measurement of the distance between the ego and object vehicle ,
- a second indefinite parameter is the true height of the camera above the road level (below the object vehicle).
- the location of the road surface in the case of the object vehicle is preferably defined by the underside of a bounding box, or described by the position of the vehicle lower edge of the object vehicle in the image of the vehicle camera.
- a reference measurement of the distance from a disparity measurement or from a radar or lidar sensor of the ego vehicle is provided as information source.
- the invention further relates to an apparatus configured to merge measurements from different information sources in conjunction with a filtering of a filter vector.
- the measurements relate to the same information to be determined and the filter vector contains at least one measured variable derived from the respective measurement with regard to the information to be determined.
- the measurements of at least one individual information source are mapped nonlinearly to the respective measured variable and at least one of these mappings depends on at least one indefinite parameter.
- the filter vector can in particular describe a state.
- the result of the filtering provides in particular the fusion result for the State. In other words, the filtering corresponds to an estimation method.
- the value of the at least one indeterminate parameter to be determined is estimated from the measurements of the various sources of information.
- the filter vector is not needed to estimate the at least one particular parameter.
- the at least one indeterminate parameter is estimated by relating the measurands from the different sources of information to each other.
- the device may comprise a microcontroller or processor, a Digital Signal Processor (DSP), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array) and the like, as well as software for carrying out the corresponding method steps.
- DSP Digital Signal Processor
- ASIC Application Specific Integrated Circuit
- FPGA Field Programmable Gate Array
- the present invention may thus be implemented in digital electronic circuits, computer hardware, firmware or software.
- x E a filter vector that is measured sequentially over M different types of measurement methods.
- the relationship between measurement and state vector is given by parameter-dependent bijective maps of a subspace V m of the state space into the respective measurement space h m (-, p m ): M d ⁇ > V m M. dm
- TTC time to collision
- a more robust approach to parameter determination would be to minimize a function such as after p and x. Be and the minimizers of / * (PS), then x ⁇ is a filter vector independent estimate of the filter vector exclusively from data of a single point in time. Using the filter vector instead and minimizing it only after the parameter vector would interfere with the parameter estimation if the model mapped in the filter is violated, thereby increasing filter latency.
- the parallel estimation of a parameter vector and temporal filtering of a state vector can be understood as a generalization or extension of the method described in Chapter 16.3.3 "The Optimal Dynamic Estimation Estimator" of the Bar-Shalom Handbook
- the method presented there is limited to parallel estimation
- the method described here broadens this to non-linear parameters in the measurement equations, and the method presented here can also be used if the problem of estimating a filter and a parameter vector is underestimated as is the case in monocamer-based object tracking.
- measurements are typically given as classifier detections. These de-tections are, for example, bounding boxes, ie rectangular image areas that describe the position and size of a detected object.
- the distance from the bottom edge measurement can be determined by a set of radiation equations
- t z is the height of the camera above the road, / the focal length of the camera, p y, m is the measured vertical position of the lower edge, and g is the vertical center of the image, which is the image line corresponding to the horizon in a flat world.
- the values of p ⁇ and p ⁇ are generally unknown and must be estimated, ie neither of the two measurements (nor their combination) can be used to derive the exact distance of the observed object - the position of the object is only up to a parameter error known.
- the fact that both measurements describe the same object gives a secondary condition to the allowed parameters. If, for example, a parameter is assumed to be given, one obtains a value for the second parameter by equating, as in Equation 2, independently of the actual filter state.
- the measurement maps are defined with parameters as
- the parameter p b is an object constant. Assuming the camera orientation with respect to the road and the road as known, is also a p t Obj ekt- / Klassifikatorkonstante that which is described by the Boxunterkante the displacement of the structure found by the classifier describes to the road plane. If equations 8 and 9 are linked as given in Equation 2, one obtains the relationship between the measurements p yn , and the parameters p t , p b , from which the parameters can be estimated as described above.
- FIG. 1 a shows an object recognition in a vehicle camera image
- FIG. 1 b the determination of relevant image sizes for estimating the distance between the vehicle camera and a recognized object
- FIG. 2 is a schematic representation of a filter update for object tracking without estimating parameters
- 3 shows a schematic representation of a filter update for the object tracking with parameter estimation
- 4 shows an observed object together with operating points of two information sources and the position uncertainty of the work points
- FIG. 7 schematically shows a fusion device that receives results of measurements from various information sources and outputs a fusion result.
- Fig. 1 a is schematically seen a black and white image 12, which was taken by a monocular camera front of a not presented Darge ego vehicle.
- the digital image 12 is supplied to image processing, which in particular performs recognition of vehicles as objects in the image 12.
- This recognition includes a classifier that, based on previously learned examples, assigns objects to objects in the image.
- the central object 16 in the image 12 is recognized as outgoing vehicle.
- the boundary of the object or vehicle 16 in the image 12 is symbolized by a "bounding box" 18.
- the image processing also determines the vertical image position of the horizon line 14 in the image 12.
- Results of the image processing are shown in the schematic representation of FIG. 1 b: the image 12 is represented by the rectangular frame, the horizon line 14 as a dashed line, the bounding box 18 as an approximately quadratic rectangle.
- the width the bounding box 18 corresponds to the width of the vehicle 16 in the image 12.
- the vertical position of the lower edge (bottom line 20) of the bounding box 18 is shown as a dotted line.
- the vertical image distance Ap yrn :
- FIG. 2 schematically illustrates a situation in which an object 26, represented as a rectangle, is located at a specific x-position 28.
- the object 26 is, for example, a vehicle.
- the ego vehicle in which a forward looking mono camera is installed is not shown in FIG. From image recordings of the monocamera of the ego vehicle, however, the object vehicle 26 can be detected by means of image processing methods.
- the position of the object vehicle 26 or the distance in the x direction of the object vehicle 26 to the ego vehicle can be determined or measured as described above by means of two image processing methods.
- the measured values resulting from the two image processing methods are temporally filtered by means of a Kalman filter.
- the current operating value of the position determination or distance measurement is the lower operating point 22 this distance measured depends on the actual width of the vehicle as an unknown parameter.
- the object vehicle 26 could be a narrow vehicle having an actual width of, for example, 1.50 meters, or a transporter having an actual width of at least 2 meters.
- the measurements of the distance from the determination of the height of the Obj ekte vehicle lower edge in the image 12 yield as the current estimated value of the distance measurement the upper operating point 21. This measurement is not on the actual width of ob jekt vehicle 26 dependent, but of other conditions, so that there is also a measurement uncertainty with regard to the actual distance x.
- the two different evaluation methods of the camera images thus represent two different sources of information (I 1, I 2) with respect to the same size of interest (position or distance in the x direction).
- filter innovation In a filtering process, e.g. using a Kalman filter, the change in the estimated position is predicted for a subsequent measurement and then the predicted position is updated based on the subsequently measured value, which is referred to as filter innovation.
- the position value of the filter vector ie the current estimated value for the actual distance in the x direction, is represented by the square 28 in FIG. 2.
- the filter vector is the result of the temporal filtering of the two measured values leading to the operating points 21 and 22.
- the innovation 32 of the first measuring method also points downward and the innovation 31 of the second measuring method points upward.
- the expected value of the respective filter innovation 31 or 32 is not equal to zero. For the new estimate, however, both innovations 31 and 32 largely cancel each other out.
- unknown parameters e.g. the width of the vehicle object 26 is not estimated or otherwise considered.
- one source of information I 1 or I 2
- mutual cancellation will no longer take place.
- the estimated kinematic and position 28 of the object 26 are disturbed by the failure of the information source (I 1 or I 2).
- a measured value fails, eg because the lower edge of the Object vehicle 26 can not be located in the image 12, the filter vector will make a jump during the subsequent filter update.
- the estimated distance in the x-direction changes abruptly, resulting in an incorrect velocity estimate of the object vehicle 26 in the x-direction. This can sometimes lead to a faulty collision warning or even a falsely automated carried out braking intervention of the ego vehicle.
- FIG. 3 schematically illustrates a filter update for object tracking with an estimate of an unknown parameter.
- the lower operating point 22 serves as a reference value for the measurement of the upper operating point 21.
- the measurement that leads to the lower operating point 22 does not depend on the unknown parameter.
- An example of such a reference measurement is e.g. the distance measurement of a radar sensor of the ego vehicle.
- the width of the object vehicle 26 does not matter. The width can not be determined by the reference measurement with the Ra darsensor.
- the lower operating point 22 is applied to the filter vector 28 by a Figure d2 shown. Since the spatial offset is constant over time and determinable, this map d2 is independent of the estimation of the width of the object vehicle 26.
- Equation 5 describes the relationship between measured image width and distance x. Equation 9 indicates the measurement map with the parameter p b . Since the value of the reference measurement plus the relevant sensor offset is assumed to be the actual distance x, the parameter can now be estimated directly from the measurement results in the context of the filtering method.
- the operating points of the information sources I 1 and I 2 are mapped to each other via the estimated parameters or to the object position 28.
- the parameters can be estimated.
- FIG. 4 shows an observed object 26 together with the operating points 21 and 22 of two information sources I 1 and I 2.
- the ellipses 41 and 42 around the operating points 21 and 22 sketch the position uncertainty of the operating points due to the uncertainty of the parameters in the measuring equations.
- the position uncertainty 42 (dotted ellipse) at the lower operating point 22 is very large, in this position uncertainty 42 the uncertainty due to the unknown parameter is contained.
- the position uncertainty 41 (solid line ellipse) at the upper operating point 21 is not so large.
- the camera-based object tracking e.g. derive the time-to-collision (TTC) sharply from an obj ect condition with wrong position and matching wrong speed.
- TTC time-to-collision
- the uncertainties known from the parameter estimation can then be applied.
- Another application example is a common object tracking with different sensors such. B. Radar, camera or lidar.
- the parameters to be estimated are the precise temporal and possibly spatial offset of the sensors to each other and the above-mentioned free parameters in the camera-based distance determination.
- FIG. 6 schematically shows the sequence of an iteration step of the filtering.
- step S10 the filter vector for the current iteration step, in which at least one new measurement takes place, is predicted based on the previous filter vector and the previous parameter value (s).
- At least one information source provides a new measurement 1, usually several or all available sources of information deliver new measurements 2 to m.
- an update of the filter vector in step S20 and, secondly, an update of the parameter (s) is performed in step S30.
- the latter is carried out independently of the filter vector, since the update of the at least one parameter takes place only on the basis of the new measurements 1 to, if necessary, m.
- the update of the parameter (s) in Step S30 may therefore be parallel or serial to step S20.
- the parameter (s) updated by the update and the updated filter vector form the starting point for the subsequent iteration step (symbolized by the dashed arrows in FIG. 6) in which at least one new measurement takes place.
- a fusion device 70 is shown in a very simplified manner, the data with respect to measurements of multiple information sources in I 1 to I m receives.
- the received data is processed by a processing unit of the fusion device such that a filter vector and at least one unknown parameter affecting a measurement of at least one information source are iteratively estimated.
- Components of the filter vector or the entire filter vector is output by an output component of the fusion device to a further component 100 of a driver assistance system or of a vehicle control system, in particular of a vehicle driving automatically.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Fusion von Messungen aus verschiedenen Informationsquellen (I 1, I 2, … I m) in Verbindungmit einer Filterung eines Filtervektors, wobei die Informationsquellen (I 1, I 2, … I m) einen oder mehrere Umfelderfassungssensor(en) eines Ego-Fahrzeugs umfassen, wobei jeweils mindestens eine aus den Messungen abgeleitete Messgröße im Filtervektor enthalten ist, wobei die Messungen mindestens einer einzelnen Informationsquelle (I 1; I 2; … I m) nichtlinear auf die jeweilige Messgröße abgebildet werden, wobei mindestens eine dieser Abbildungen von mindestens einem unbestimmten Parameter abhängt, wobei der zu bestimmende Wert desmindestens einen unbestimmten Parameters aus den Messungen der verschiedenen Informationsquellen(I 1, I 2, … I m) geschätzt wirdund wobei der Filtervektor zur Schätzung des mindestens einen unbestimmten Parameters nicht benötigt wird.
Description
Verfahren und Vorrichtung zur Fusion von Messungen aus unterschiedlichen Informationsquellen
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Fusion von Messungen aus unterschiedlichen Informationsquellen und kann insbesondere bei Fahrerassistenzsystemen bzw. Fahr zeugsteuerungssystemen automatisiert fahrender Fahrzeuge zur Fusion von Umfeldsensordaten verwendet werden.
DE 10 2009 006 113 Al zeigt eine Sensorfusion mit dynamischen Objekten, bei der aus den Messungen vor der Fusion sensor spezifische Objekte erzeugt werden, denen eine Existenzwahr scheinlichkeit zugeordnet wird. Zusätzlich wird eine gemeinsame Belegungskarte erstellt, in der die Messung der einzelnen Sensoren zu einer Belegungswahrscheinlichkeit für eine Kar tenzelle fusioniert sind. Als Sensoren sind z.B. eine Stere okamera und ein Radarsensor angegeben.
DE 10 2013 205 245 Al zeigt ein Fahrzeugreferenzgeschwindig- keitsbestimmungsverfahren . Die Fahrzeugdynamik (Geschwindig keit, Beschleunigung) wird anhand von Messungen der Reifen drehzahl, Motor- und Bremsmomenten sowie Beschleunigungs sensoren geschätzt. Dazu werden u.a. auch Reibwerte und Schlüpfe der Räder geschätzt.
Die Fusion mehrerer Sensoren zur Verfolgung von Objekten ist ein vieldiskutiertes Problem. Insbesondere zur Kombination mehrerer Radarsensoren mit Schätzung der relativen Positionen der Sensoren gibt es eine Vielzahl von Veröffentlichungen. In der Regel beschränken sich Veröffentlichungen zu diesem Thema auf die Modellierung des Sensorversatzes über unbekannte und zu er mittelnde Parameter, die additiv mit Zustandsgrößen verbunden sind. So wird beispielsweise die unbekannte Position eines
Radarsensors als unbekannter additiver Versatz auf die Position des verfolgten Objektes beschrieben.
Es ist eine Aufgabe der Erfindung, eine Lösung anzugeben, wie Messungen aus unterschiedlichen Informationsquellen unter Berücksichtigung mindestens eines unbekannten Parameters sinnvoll und zuverlässig fusioniert werden können.
Ein Ausgangspunkt bei der Lösung sind die folgenden Überlegungen:
Bei einer schlechten Schätzung unbekannter Parameter werden Informationen nicht optimal verarbeitet, was sich in einer geringen Präzision eines Filterzustands ausdrückt. Insbesondere kann die Kinematik und Position des verfolgten Objektes gestört sein. Auch die Robustheit der Obj ektkinematik gegenüber Ausfall einzelner Informationsquellen kann deutlich reduziert sein.
Im Allgemeinen können die zu ermittelnden Sensorparameter nichtlinear in die Messgleichungen eingehen und sind somit nicht (oder schlecht, da nicht konstant) als additive Parameter auf dem Objektstatus zu beschreiben.
Noch allgemeiner können die Parameter der verwendeten Infor mationsquellen (eine zutreffendere englische Bezeichnung wäre „cues") aus Messungen mindestens eines Sensors abgeleitet werden. Insbesondere können mehrere Informationsquellen aus Messungen eines Sensors abgeleitet werden können, z.B. durch unterschiedliche Auswertungsverfahren der Sensormessdaten. Z.B. lässt sich aus den Klassifikatordetektionen einer Stereokamera die Entfernung von Objekten über die Disparität, die Breite/Höhe im Bild, die Unterkante oder über structure-from-motion basierte Informationen bestimmen.
Standardverfahren zur Verknüpfung von unbekannten nicht linear in die Filterung eingehenden Parametern basieren auf einer Erweiterung des Filterzustandes mit den unbekannten Parametern.
Beispiele werden in folgenden Veröffentlichungen gezeigt:
Tracking with Multisensor Out-of-Sequence Measurements with Residual Biases, Shuo Zhang et al . , JOURNAL OF ADVANCES IN INFORMATION FUSION Vol . 6, No. 1, Juni 2011, S. 3-23.
A Practical Blas Estimation Algorithm for Multisen
sor-Multitarget Tracking, Ehsan Taghavi et al . IEEE Transactions on Aerospace and Electronics Systems 2016, abgerufen am
13.12.2017 unter https://arxiv.org/pdf/1603.03449
Dual Kalman Filtering Methods for Nonlinear Prediction ,
Smoothing, and Estimation, Wan, Nelson Advances in neural Information processing Systems, 1997, S. 793-799.
Kapitel 16.3.1 bis 16.3.3 (Multisensor Dynamic Blas Estimation with Local Tracks) des Buchs: Tracking and Data Fusion - A Handbook of Algorithms, Bar-Shalom et al . , YBS Publishing, 2011, ISBN: 978-0964-8312-78.
Die Erweiterung des Filterzustands um die unbekannten Parameter führt in der Regel zu einer Unterbestimmung des Schätzproblems. Dies hat zur Folge, dass sich zum einen die Einschwingzeit des Filters verlängert und zum anderen der Filter träger wird, da immer ein Teil der Innovation in die Parameter abfließt. Insbesondere wenn das zu Grunde liegende Modell deutlich verletzt ist (z.B. bremst ein mit konstanter Geschwindigkeit voraus fahrendes Fahrzeug abrupt, wobei im Filter eine Beschleunigung von 0 angenommen ist) , wird Innovation in die zusätzlichen Parameter abfließen. Dies verlangsamt zum einen das Anpassen des
Modelles (z.B. der Beschleunigung auf den Wert des bremsenden Fahrzeuges) und zum anderen stört dies die angelernten zu sätzlichen Parameter.
Ein Aspekt der Erfindung besteht darin, das Verfolgen von Objekten mit dem Schätzen von nichtlinear in die Messgleichungen eingehenden Parametern zu verbinden, ohne den Filterzustand zu erweitern .
Ein weiterer Aspekt betrifft eine Weiterentwicklung eines Kalman-Filters zur kamerabasierten Objektverfolgung. Insbe sondere sollen hierbei mehrere Informationsquellen (Disparität, Breite/Höhe, Unterkante) zum robusten Verfolgen einzelner Objekte verwendet werden.
Ein Ansatzpunkt der Lösung besteht darin, dass Messungen verschiedener Informationsquellen über parameterabhängige Messgleichungen miteinander in Beziehung stehen. Damit können die unbekannten Parameter direkt aus den Messungen geschätzt werden und müssen nicht gegen den gefilterten Obj ektzustand geschätzt werden. In der kamerabasierten Objektverfolgung ist die oben genannte Beziehung oft unabhängig vom Obj ektzustand . Dies erlaubt das optimale Schätzen der unbekannten Parameter aus den gegebenen Messungen mit einem entsprechenden Schätzver fahren .
Wenn im Allgemeineren die Informationsquellen abhängig vom Obj ektzustand Zusammenhängen, lässt sich das Parameter schätzproblem so erweitern, dass über die Verletzung der Konstantheitsannahme einiger zu schätzender Parameter eine Schätzung aller Parameter erreicht werden kann.
Die in einem Zeitschritt für ein Filter zur Objektverfolgung durchgeführten Prozessschritte sind:
1) Prädiktion des Filterzustandes
2) Aktualisierung des Filterzustandes mit den gegebenen
Messungen
3) Aktualisierung der Parameterschätzung mit den gegebenen Messungen ( ohne Verwendung des Filterzustandes )
Vorteile :
Durch das Schätzen der freien Parameter in den Messgleichungen gibt es gegenüber einem System ohne Parameterschätzung folgende Vorteile :
1) Robustere Objektverfolgung
2) Präzisere Objektverfolgung
3) Artefaktfreie Obj ektverfolgung (bzgl. der durch Verwendung falscher Parameter entstehender Artefakte)
Ein erfindungsgemäßes Verfahren zur Fusion von Messungen aus verschiedenen Informationsquellen (umfassend einen oder mehrere Umfelderfassungssensore (en) eines Ego-Fahrzeugs) in Verbindung mit einer Filterung eines Filtervektors sieht vor, dass
jeweils mindestens eine aus den Messungen abgeleitete Messgröße im Filtervektor enthalten ist,
die Messungen mindestens einer einzelnen Informations quelle nichtlinear auf die jeweilige Messgröße abgebildet werden, wobei mindestens eine dieser Abbildungen von mindestens einem unbestimmten Parameter abhängt,
der zu bestimmende Wert des mindestens einen unbestimmten Parameters aus den Messungen der verschiedenen Informations quellen geschätzt wird und
der Filtervektor zur Schätzung des mindestens einen un bestimmten Parameters nicht benötigt wird.
Mit letzterem ist gemeint, dass die Filterung des Filtervektors und die Schätzung des bzw. der Parameter (s) „unabhängig von einander" durchgeführt werden. Mit anderen Worten wird der
mindestens eine unbestimmte Parameter parallel zur Filterung des Filtervektors geschätzt.
Vorzugseise die Filterung des Filtervektors eine zeitliche Filterung ist, beispielsweise mittels eines Kalman-Filters.
Bevorzugt werden in einem Zeitschritt der Filterung folgende Schritte durchgeführt:
- Prädiktion des Filtervektors
- Aktualisierung des Filtervektors durch neue Messungen, und
- Aktualisierung der Schätzung des mindestens einen unbestimmten Parameters durch die neuen Messungen.
Beim drittgenannten Schritt wird vorzugsweise der Filtervektor nicht zur Aktualisierung der Schätzung des mindestens einen unbestimmten Parameters verwendet.
Bevorzugt werden die Messgrößen abgeleitet mittels verschiedener Mess- bzw. Auswertungsverfahren eines Umfelderfassungssensors, insbesondere einer vorwärtsblickenden Fahrzeugkamera.
Alternativ oder kumulativ werden die Messgrößen aus Messungen unterschiedlicher Umfelderfassungssensoren oder verschiedener Umfelderfassungssensortypen als Informationsquellen abgelei tet .
Vorzugsweise liefert eine der Messungen, die mittels eines Referenzmessverfahrens (als Informationsquelle) bestimmt wird, eine Referenzmessgröße, die nicht von einem ersten unbekannten Parameter abhängt, von dem aber mindestens eine Messgröße einer anderen Messung abhängt.
Das Referenzmessverfahren kann bevorzugt von einem zweiten unabhängigen Parameter abhängen, wobei für den zweiten unab-
hängigen Parameter ein Parameterwert vorgegeben wird. Bei spielsweise gilt, dass der zweite Parameter für ein Objekt zeitlich konstant ist (z.B. feste Fahrzeugbreite). Vorteilhaft kann der zweite Parameter sinnvoll eingegrenzt werden (Breite eines beliebigen Fahrzeugs oder Höhe über der Fahrbahnebene eines beliebigen Fahrzeugs . Es kann ein mittlerer Parameterwert für den zweiten Parameter vorgegeben werden. Ausgehend von dem vor gegebenen zweiten Parameter kann der erste Parameter geschätzt werden. Ein Fehler des vorgegebenen zweiten Parameters gegenüber dem tatsächlichen Wert dieses Parameters kann unterschiedliche Auswirkungen haben. Die Auswirkungen hängen von der Mess gleichung ab. Bei der kamerabasierten Objektverfolgung ist eine falsche Breitenannahme nicht gravierend, denn sie führt zwar zu falschen Entfernungsschätzungen, aber mit konsistent falschen Geschwindigkeiten, so dass der Quotient aus beiden, aus dem ein Bremszeitpunkt abgeleitet wird, nicht gestört ist.
Bevorzugt wird das Verfahren zur Objektverfolgung (bzw. zum Tracking von Objekten) eingesetzt.
Die aus den Messungen abgeleitete Größe ist vorzugsweise die Entfernung zwischen dem Ego-Fahrzeug und einem Objekt-Fahrzeug. Eine erste Informationsquelle kann darin bestehen, dass eine erste Auswertung von einem Bild einer Fahrzeugkamera des Ego-Fahrzeugs über eine Bestimmung der Breite des Ob jekt-Fahrzeugs im Bild der Fahrzeugkamera, unter der Annahme einer vorgegebenen mittleren Breite für Fahrzeuge als kor respondierende Breite des Objekt-Fahrzeugs, eine erste Messgröße der Entfernung zwischen Ego- und Objekt-Fahrzeug liefert. Ein erster unbestimmter Parameter kann die tatsächliche Breite des Objekt-Fahrzeugs sein. Der Filtervektor kann weitere Größen, wie z.B. die Relativgeschwindigkeit der beiden Fahrzeugs enthalten.
In einer bevorzugten Weiterbildung besteht eine zweite In formationsquelle darin, dass eine zweite Auswertung von dem Bild der Fahrzeugkamera des Ego-Fahrzeugs über eine Messung der vertikalen Position der Fahrzeugunterkante im Bild der Fahr zeugkamera eine zweite Messgröße der Entfernung zwischen Ego- und Objekt-Fahrzeug liefert. Ein zweiter unbestimmter Parameter ist die wahre Höhe der Kamera über der Fahrbahnebene (unter dem Objekt-Fahrzeug) . Die Lage der Fahrbahnebene beim Ob jekt-Fahrzeug wird bevorzugt durch die Unterseite eines Ob jektbegrenzungsrahmens („Bounding Box") definiert, bzw. durch die Position der Fahrzeugunterkante des Objekt-Fahrzeugs im Bild der Fahrzeugkamera beschrieben.
Vorteilhaft wird eine Referenzmessgröße der Entfernung aus einer Disparitätsmessung oder von einem Radar- oder Lidarsensor des Ego-Fahrzeugs als Informationsquelle bereitgestellt.
Die Erfindung betrifft des Weiteren eine Vorrichtung, die konfiguriert ist zur Fusion von Messungen aus verschiedenen Informationsquellen in Verbindung mit einer Filterung eines Filtervektors .
Die Messungen betreffen dieselbe zu bestimmende Information und im Filtervektor ist jeweils mindestens eine aus der jeweiligen Messung abgeleitete Messgröße bezüglich der zu bestimmenden Information enthalten.
Die Messungen mindestens einer einzelnen Informationsquelle werden nichtlinear auf die jeweilige Messgröße abgebildet und mindestens eine dieser Abbildungen hängt von mindestens einem unbestimmten Parameter ab. Beispielsweise existiert ein Modell für den Einfluss des Parameters auf die Messgröße und der Parameter geht nichtlinear in die Messgröße ein. Der Filtervektor kann insbesondere einen Zustand beschreiben. Das Ergebnis der Filterung liefert insbesondere das Fusionsergebnis für den
Zustand. Die Filterung entspricht mit anderen Worten einem Schätzverfahren .
Der zu bestimmende Wert des mindestens einen unbestimmten Parameters wird aus den Messungen der verschiedenen Informa tionsquellen geschätzt.
Der Filtervektor wird zur Schätzung des mindestens einen un bestimmten Parameters nicht benötigt. Mit anderen Worten wird der mindestens eine unbestimmte Parameter dadurch geschätzt, dass die Messgrößen aus den unterschiedlichen Informationsquellen zu einander in Beziehung gesetzt werden.
Die Vorrichtung kann insbesondere einen Mikrocontroller oder -Prozessor, einen Digital Signal Processor (DSP) , einen ASIC (Application Specific Integrated Circuit) , einen FPGA (Field Programmable Gate Array) und dergleichen mehr sowie Software zur Durchführung der entsprechenden Verfahrensschritte umfassen. Die vorliegende Erfindung kann somit in digitalen elektronischen Schaltkreisen, Computer-Hardware, Firmware oder Software im plementiert sein.
Im Folgenden wird zunächst eine mathematische Formulierung der Aufgabenstellung und des Lösungsansatzes präsentiert. Dann werden für ein konkretes Ausführungsbeispiel eine Lösung und deren Umsetzung beschrieben.
Mathematische Voraussetzungen
Sei x E= ein Filtervektor, der sequenziell über Mverschiedene Arten von Messverfahren gemessen wird. Der Zusammenhang von Messung und Zustandsvektor sei gegeben über parameterabhängige
bijektive Abbildungen von einem Unterraum Vm des Zustandsraumes in den jeweiligen Messraum hm(-,pm) : Md ^>Vm M.dm
Im Folgenden wird der Einfachheit halber ausgegangen von identischen Definitionsbereichen der Messabbildungen Vm= V, m = 1 . . . M. Eine Verallgemeinerung auf Messabbildungen mit nicht identischen Definitionsbereichen ist direkt ableitbar, solange sich mindestens zwei Messräume über die Messabbildungen auf einander abbilden lassen.
Der Zusammenhang zwischen den exakten Größen Filtervektor
und Parameter ^ und Messgröße z^ wird beschrieben durch die nichtlinearen Messabbildungen
wobei Vv den orthogonalen Projektor auf den Unterraum V be zeichnet. Der Übersichtlichkeit halber wird im Folgenden davon ausgegangen, dass V = Rd und damit Vv x = x. Mit z := (zj, .... zm)J wird der Messvektor und mit p := (pb . . .. pm)J der ent sprechende Parametervektor bezeichnet.
Mathematische Aufgabenstellung
Für Mverschiedene Messverfahren ist zum Zeitpunkt t > 1 eine Menge von Messungen {z m=1 M mit Messabbildungen 1 gegeben. Das zu lösende Problem lässt sich für den Fall, dass es eindeutig lösbar ist, formulieren als
• Finde Schätzungen xtptfür xt' , pt' initial (t = 1) und aktuali- siere diese Größen im Folgenden (t > 1), so dass xt ~ Xf bzw. pt ~
Wenn der Filter die Messverteilungen korrekt beschreibt und auch das zu messende System korrekt modelliert, kann
verstanden werden als erwartungstreue Schätzung bzgl . der zu xt geschätzten Verteilung, d.h. E^t(xt) = xj.
Es kommt vor, z.B. in der kamerabasierten Objektverfolgung, dass das Problem Schätzungen xt, pt für xJ,Pj zu finden unterbestimmt ist, so dass eine Approximation an die zu Grunde liegenden Größen xt,pt nicht angestrebt werden kann. In diesem Fall kann das zu lösende Problem formuliert werden als
•Schätze den zugehörigen Filter- sowie Parametervektor xtJ pt initial (t = 1) und aktualisiere diese Größen im folgenden (t > 1), so dass Größen von Interesse möglichst präzise aus dem geschätzten Filtervektor abgeleitet werden können.
Für kamerabasierte Objektverfolgung im Automotive Bereich eine Größe von Interesse ist z.B. die time to collision (TTC) , die für Objekte auf Kollisionskurs gegeben ist als Quotient aus Entfernung und longitudinaler Relativgeschwindigkeit. Für die praktische Anwendung in der Fahrzeugsteuerung von Interesse sind insbesondere geringe Filtereinschwingzeit und Latenz, sowie Artefaktfreiheit der abgeleiteten Größen.
Mathematische Lösung
Die Idee des Verfahrens ist nun, die unbekannten Parameter pm unabhängig vom Filtervektor durch Inbeziehungsetzen der ver schiedenen Messungen direkt zu schätzen. Dazu kann man z.B. die Messungen paarweise aufeinander abbilden: = hmh^1{zl,pl),pl) für k,m=\ ...M. (2)
Bei diesem Vorgehen müssen nicht alle Paarungen ausgewertet werden, sondern es kann eine Referenzmessung definiert werden, deren Parameter als bekannt angenommen wird und bezüglich der alle übrigen Parameter geschätzt werden. Der Parameter der Referenzmessung wird initial aus der Menge gegebener Messungen unter Verwendung von Annahmen über den Parametervektor ge schätzt .
Ein robusteres Vorgehen zur Parameterbestimmung wäre z.B. die Minimierung eines Funktionais wie
nach p und x. Seien
und
die Minimierer von /*(P.S), dann ist x† eine filtervektorunabhängige Schätzung des Filtervektors ausschließlich aus Daten eines einzigen Zeitpunktes. Die Verwendung des Filtervektors stattdessen und Minimierung nur nach dem Parametervektor würde die Parameterschätzung stören, wenn das im Filter abgebildete Modell verletzt ist und damit die Filterlatenz erhöhen.
Das parallele Schätzen eines Parametervektors und zeitliche Filtern eines Zustandsvektors kann als Verallgemeinerung bzw. Erweiterung des in Kapitel 16.3.3 „The Optimal Dynamic Bias Estimator" des Handbuchs von Bar-Shalom beschriebenen Verfahrens verstanden werden. Das dort vorgestellte Verfahren beschränkt sich auf das parallele Schätzen von Parametern, die linear an einen Kalman-Filtervektor gekoppelt sind. Das hier beschriebene Verfahren verallgemeinert dies auf nichtlinear in Messglei chungen eingehende Parameter. Außerdem lässt sich das hier vorgestellte Verfahren auch verwenden, wenn das Problem einen Filter- sowie einen Parametervektor zu schätzen unterbestimmt ist, wie es in der monokamerabasierten Objektverfolgung der Fall ist .
Ausführungsbeispiel: Kamerabasierte Objektverfolgung
In der kamerabasierten Objektverfolgung sind Messungen typi scherweise als Klassifikatordetektionen gegeben. Diese De tektionen sind z.B. Bildboxen (englisch: bounding boxes) , also rechteckige Bildbereiche, die die Position und Größe eines detektierten Objektes beschreiben. Der das Objekt beschreibende Zustand x = (x, y, vx, vy , ax, ay ) T , der über die Zeit gefiltert wird, enthält die horizontalen Komponenten von Position (x, y), Ge schwindigkeit (vx, vy ) und Beschleunigung (ax, ay) . Unter den An nahmen, dass die Straße flach verläuft, die Kamera parallel zur Straße ausgerichtet ist und dass die Unterkante der Bildbox den Teil des Objektes beschreibt, der sich auf der Straße befindet, kann die Entfernung aus der Unterkantenmessung über eine Strahlensatzgleichung bestimmt werden
Dabei sind tz die Höhe der Kamera über der Straße, /die Brennweite der Kamera, py,m die gemessene vertikale Position der Unterkante und g das vertikale Bildzentrum, das ist die Bildzeile, die in einer flachen Welt dem Horizont entspricht.
Ein zweiter Weg, wie aus einem Rechteck im Bild eine Entfernung abgeleitet werden kann, ist gegeben über eine Größenannahme des beobachteten Objektes. Wenn das beobachtete Objekt z.B. ein Auto beschreibt so kann aus der Annahme dass die Rückseite eines in gleicher Richtung vorausfahrenden Autos gesehen wird und diese in Deutschland üblicherweise eine Breite von ca. bw := l .75m haben, aus der Breite des Rechtecks im Bild, welches das Auto beschreibt, eine Entfernung abgeleitet werden:
wobei Dri,», die gemessene Bildbreite bezeichnet.
Nun sind nicht alle Autos gleich breit, die Straße ist nicht exakt flach, Objekte befinden sich nicht immer auf der Straße und die Klassifikatordetektion beschreibt nicht immer den Teil des Objektes, der sich auf der Straße befindet. Deshalb wird im Allgemeinen die Entfernung, die über die oben genannten Messabbildungen gemäß Gleichungen 4 und 5 bestimmt wird, nicht übereinstimmen. D.h. im Allgemeinen gilt
Die Modellfehler können beschrieben werden durch unbekannte Parameter - so ist die wahre Breite des detektierten Objektes gegeben als z.B. b^ = ' Pwbw und die wahre Höhe der Kamera über dem Punkt, der durch die Boxunterkante beschrieben wird, ist gegeben als z.B.
. Die Werte von p^ und p^ sind im Allgemeinen nicht bekannt und müssen geschätzt werden, d.h. aus keiner der beiden Messungen (und auch nicht aus deren Kombination) lässt sich die exakte Entfernung des beobachteten Objektes ableiten - die Position des Objektes ist nur bis auf einen Parameterfehler bekannt. Dass beide Messungen dasselbe Objekt beschreiben, liefert allerdings eine Nebenbedingung an die erlaubten Pa rameter. Wird z.B. ein Parameter als gegeben angenommen, erhält man durch Gleichsetzen wie in Gleichung 2 einen Wert für den zweiten Parameter - unabhängig vom eigentlichen Filterzustand .
Ausgehend von den Gleichungen 4 und 5 werden die Messabbildungen mit Parametern definiert als
Da die Breite von Autos konstant ist, ist der Parameter pb eine Obj ektkonstante . Wenn man die Kameraorientierung bezüglich der Straße und den Straßenverlauf als bekannt annimmt, ist auch pt eine Obj ekt-/Klassifikatorkonstante, die den Versatz der vom Klassifikator gefundenen Struktur die durch die Boxunterkante beschrieben wird zur Straßenebene beschreibt. Werden Gleichungen 8 und 9 wie in Gleichung 2 angegeben verknüpft, erhält man den Zusammenhang zwischen den Messungen py n,
und den Parametern pt, pb, aus dem sich wie zuvor beschrieben die Parameter schätzen lassen .
Um die mathematische Formulierung für dieses Ausführungsbeispiel und weitere Aspekte von Verfahren und Vorrichtung zu veran schaulichen, werden im Folgenden unter Bezugnahme auf Figuren einzelne Zusammenhänge näher erläutert.
Hierbei zeigen:
Fig. 1 a eine Objekterkennung in einem Fahrzeugkamerabild und Fig. 1 b die Bestimmung relevanter Bildgrößen zur Schätzung der Entfernung zwischen der Fahrzeugkamera und einem erkanntem Objekt ;
Fig. 2 eine schematische Repräsentation eines Filterupdates für eine Objektverfolgung ohne Schätzung von Parametern;
Fig. 3 eine schematische Repräsentation eines Filterupdates für die Objektverfolgung mit Parameterschätzung;
Fig. 4 ein beobachtetes Objekt zusammen mit Arbeitspunkten zweier Informationsquellen und der Positionsunsicherheit der Ar- beitspunkte ;
Fig. 5 ein beobachtetes Objekt zusammen mit einer geschätzten Objektposition, der filterbedingten Positionsunsicherheit und der Positionsunsicherheit auf Grund der Parameter;
Fig. 6 schematisch den Ablauf eines Iterationsschrittes der Filterung;
Fig. 7 schematisch eine Fusionsvorrichtung, die Ergebnisse von Messungen aus verschiedenen Informationsquellen empfängt und ein Fusionsergebnis ausgibt.
In Fig. 1 a ist schematisch ein schwarzweißes Bild 12 zu sehen, welches von einer monokularen Frontkamera eines nicht darge stellten Ego-Fahrzeugs aufgenommen wurde. Das digitale Bild 12 wird einer Bildverarbeitung zugeführt, welche insbesondere eine Erkennung von Fahrzeugen als Objekten im Bild 12 durchführt. Diese Erkennung umfasst einen Klassifikator, der aufgrund zuvor gelernter Beispiele, Objekte im Bild Klassen zuordnet. Auf diese Weise wird das zentrale Objekt 16 im Bild 12 wird als vo rausfahrendes Fahrzeug erkannt. Die Begrenzung des Objekts bzw. Fahrzeugs 16 im Bild 12 wird durch eine „Bounding Box" 18 symbolisiert. Die Bildverarbeitung bestimmt zudem die vertikale Bildposition der Horizontlinie 14 im Bild 12.
In der schematischen Darstellung der Fig. 1 b sind Ergebnisse der Bildverarbeitung dargestellt: das Bild 12 ist durch den rechteckigen Rahmen repräsentiert, die Horizontlinie 14 als gestrichelte Linie, die Bounding Box 18 als annähernd quad ratisches Rechteck. Die Breite
der Bounding Box 18 (ho rizontaler Doppelpfeil) entspricht der Breite des Fahrzeugs 16 im Bild 12. Die vertikale Position der Unterkante (Bodenlinie 20) der Bounding Box 18 ist als gepunktete Linie dargestellt. Der
vertikale Bildabstand Apyrn := |Vy,m ~ cy (siehe Gleichung 4) zwischen Horizont- 14 und Bodenlinie 20 ist durch den vertikalen Doppelpfeil illustriert.
In Fig. 2 ist eine Situation schematisch dargestellt, in der sich ein Objekt 26, dargestellt als Rechteck, an einer bestimmten x-Position 28 befindet. Das Objekt 26 ist beispielsweise ein Fahrzeug. Das Ego-Fahrzeug, in dem eine vorwärtsblickende Monokamera installiert ist, ist in Fig. 2 nicht dargestellt. Aus Bildaufnahmen der Monokamera des Ego-Fahrzeugs ist jedoch das Objekt-Fahrzeug 26 mittels Bildverarbeitungsmethoden detek- tierbar. Die Position des Objekt-Fahrzeugs 26 oder der Abstand in x-Richtung des Objekt-Fahrzeugs 26 zum Ego-Fahrzeug kann wie zuvor beschrieben mittels zweier Bildverarbeitungsmethoden bestimmt bzw. gemessen werden.
Zur Erhöhung der Genauigkeit werden die Messwerte, die sich aus den zwei Bildverarbeitungsmethoden ergeben zeitlich gefiltert, mittels eines Kalman-Filters.
Aus den Messungen des Abstands x über eine Bestimmung der Breite NPx,m des Fahrzeug-Objekts 26 im Bild 12 unter der Annahme einer mittleren Fahrzeugbreite von 1,75m ergibt sich als aktueller Schätzwert der Positionsbestimmung bzw. Abstandsmessung der untere Arbeitspunkt 22. Der auf diese Weise gemessene Abstand hängt von der tatsächlichen Breite des Fahrzeugs als unbekanntem Parameter ab. Das Objekt-Fahrzeug 26 könnte ein schmales Fahrzeug mit einer tatsächlichen Breite von z.B. 1,50m sein oder ein Transporter mit einer tatsächlichen Breite von mindestens 2m. Die Messungen des Abstands aus der Bestimmung der Höhe der Obj ekte-Fahrzeugunterkante im Bild 12 ergeben als aktuellen Schätzwert der Abstandsmessung den oberen Arbeitspunkt 21. Diese Messung ist nicht von der tatsächlichen Breite des Ob jekt-Fahrzeugs 26 abhängig, jedoch von anderen Bedingungen, so
dass auch hier eine Messunsicherheit bezüglich des tatsächlichen Abstands x vorliegt.
Die beiden verschiedenen Auswertungsverfahren der Kamerabilder stellen also zwei unterschiedliche Informationsquellen (I 1, I 2) bezüglich derselben Größe von Interesse ( Position bzw . Abstand in x-Richtung) dar.
Bei einem Filterverfahren, z.B. unter Verwendung eines Kal man-Filters, wird die Änderung der geschätzten Position für eine nachfolgende Messung prädiziert und dann die prädizierte Po sition anhand des nachfolgend gemessenen Werts aktualisiert, was als Filterinnovation bezeichnet wird.
Der Positionswert des Filtervektors, also der aktuelle Schätzwert für den tatsächlichen Abstand in x-Richtung ist durch das Quadrat 28 in Fig. 2 dargestellt. Der Filtervektor ist das Ergebnis der zeitlichen Filterung der beiden Messwerte, die zu den Arbeitspunkten 21 und 22 führen.
Da die Messwerte der beiden Messverfahren unterhalb bzw. oberhalb des aktuellen Schätzwerts (Filtervektors) 28 liegen, weist die Innovation 32 des ersten Messverfahrens ebenfalls nach unten und die Innovation 31 des zweiten Messverfahrens nach oben. Der Erwartungswert der jeweiligen Filterinnovation 31 bzw. 32 ist ungleich Null. Für den neuen Schätzwert, heben sich jedoch beide Innovationen 31 und 32 weitgehend auf.
Bei dem in Fig. 2 dargestellten Filterupdate werden unbekannte Parameter, z.B. die Breite des Fahrzeug-Objekts 26 nicht ge schätzt oder anderweitig berücksichtigt.
Das Objekt 26, dessen tatsächliche Position 28 sich zwischen beiden Arbeitspunkten 21 und 22 befindet, wird stabil verfolgt, solange sich die jeweiligen Innovationen 31 und 32 gegenseitig aufheben. Fällt jedoch eine Informationsquelle (I 1 oder I 2) aus, findet keine gegenseitige Aufhebung mehr statt. Die geschätzte Kinematik und Position 28 des Objekts 26 werden durch den Ausfall der Informationsquelle (I 1 oder I 2) gestört. Wenn zu einem Zeitpunkt ein Messwert ausfällt, z.B. weil die Unterkante des
Objekt-Fahrzeugs 26 im Bild 12 nicht lokalisiert werden kann, wird der Filtervektor beim nachfolgenden Filterupdate einen Sprung machen. Der geschätzte Abstand in x-Richtung ändert sich sprunghaft, was zu einer falschen Geschwindigkeitsschätzung des Objekt-Fahrzeugs 26 in x-Richtung führt. Dies kann mitunter zu einer fehlerhaften Kollisionswarnung oder sogar einem fälschlicherweise automatisiert durchgeführten Bremseingriff des Ego-Fahrzeugs führen.
In Fig. 3 ist ein Filterupdate für eine Objektverfolgung mit einer Schätzung eines unbekannten Parameters schematisch dargestellt. Hierbei dient der untere Arbeitspunkt 22 als Referenzwert für die Messung des oberen Arbeitspunkts 21. Die Messung, die zumunteren Arbeitspunkt 22 führt, hängt nicht von dem unbekannten Parameter ab. Ein Beispiel für eine solche Referenzmessung ist z.B. die Abstandsmessung eines Radarsensors des Ego-Fahrzeugs. Für dieses Messverfahren spielt die Breite des Objekt-Fahrzeugs 26 keine Rolle. Die Breite kann durch die Referenzmessung mit dem Ra darsensor nicht bestimmt werden.
Da die Messung des Radarsensors nicht den Abstand zwischen der Kamera des Ego-Fahrzeugs und dem Objekt-Fahrzeug 26 ergibt, da es einen räumlichen Versatz zwischen Radar- und Kamerasensor im Ego-Fahrzeug gibt, wird der untere Arbeitspunkt 22 auf den Filtervektor 28 durch eine Abbildung d2 abgebildet. Da der räumliche Versatz zeitlich konstant und ermittelbar ist, ist diese Abbildung d2 unabhängig von der Schätzung der Breite des Objekt-Fahrzeugs 26.
Wie der obere Arbeitspunkt 21 auf den unteren Arbeitspunkt 22 durch eine weitere Abbildung dl abgebildet werden kann, ist dagegen nicht bekannt, denn hier spielt die tatsächliche Breite des Objekt-Fahrzeugs 26 eine Rolle. Diese ist jedoch unbekannt. Zur Schätzung der tatsächlichen Fahrzeugbreite, wird nun initial die mittlere Breite von 1,75m angenommen. Gleichung 5 beschreibt den Zusammenhang zwischen gemessener Bildbreite und Entfernung
x. Gleichung 9 gibt die Messabbildung mit dem Parameter pb an. Da als tatsächliche Entfernung x der Wert aus der Referenzmessung zuzüglich dem relevanten Sensorversatz angenommen wird, kann nun der Parameter im Rahmen des Filterverfahrens direkt aus den Messergebnissen geschätzt werden.
Die Arbeitspunkte der Informationsquellen I 1 und I 2 werden über die geschätzten Parameter aufeinander bzw. auf die Objektpo sition 28 abgebildet.
Der Erwartungswert der Innovationen 41 und 42 ist nun Null. Insbesondere werden bei Ausfall einer Informationsquelle (I 1 oder I 2) die Position und Kinematik des Objektes nicht gestört, wie dies bei Fig. 2 der Fall ist.
Sofern kein Radarsensor vorgesehen ist, sondern als Informa tionsquellen I 1 und I 2 die beiden Auswertungen der Kameradaten vorgenommen werden, hängen beide Messergebnisse bzw. Ar beitspunkte von unterschiedlichen Parametern ab (s. Gleichungen 4 und 5 bzw. 8 und 9) .
Auch in diesem Fall können die Parameter geschätzt werden.
In Fig. 4 ist ein beobachtetes Objekt 26 zusammen mit den Arbeitspunkten 21 und 22 zweier Informationsquellen I 1 und I 2 zu sehen. Die Ellipsen 41 und 42 um die Arbeitspunkte 21 und 22 skizzieren die Positionsunsicherheit der Arbeitspunkte auf Grund der Unsicherheit der Parameter in den Messgleichungen. Die Positionsunsicherheit 42 (gepunktet dargestellte Ellipse) beim unteren Arbeitspunkt 22 ist sehr groß, in dieser Positi onsunsicherheit 42 ist die Unsicherheit aufgrund des unbekannten Parameters enthalten. Die Positionsunsicherheit 41 (Ellipse mit durchgezogener Linie) beim oberen Arbeitspunkt 21 ist nicht so groß .
In Fig. 5 ist eine geschätzte Objektposition 28 eines Objekts 26 skizziert zusammen mit der filterbedingten Positionsunsi-
cherheit 55 (Ellipse mit durchgezogener Linie) und der Posi tionsunsicherheit auf Grund der Parameter 50 (gestrichelte Ellipse) . Die Separation der Filterunsicherheit von der Pa rameterunsicherheit erlaubt das vergleichsweise scharfe Ab leiten von parameterunabhängigen Größen aus dem Filterzustand .
In der kamerabasierten Objektverfolgung lässt sich z.B. die time-to-collision (TTC) scharf aus einem Obj ekt zustand mit falscher Position und dazu passender falscher Geschwindigkeit ableiten. Zur Berechnung der Positionsunsicherheit können dann die aus der Parameterschätzung bekannten Unsicherheiten her angezogen werden.
Ein weiteres Anwendungsbeispiel ist eine gemeinsame Objekt verfolgung mit verschiedenen Sensoren wie z . B . Radar, Kamera oder Lidar. Dabei sind unter den zu schätzenden Parametern der präzise zeitliche und gegebenenfalls räumliche Versatz der Sensoren zueinander und die bereits oben genannten freien Parameter bei der kamerabasierten Entfernungsbestimmung.
In Fig. 6 ist schematisch der Ablauf eines Iterationsschrittes der Filterung dargestellt.
In Schritt S10 wird basierend auf dem bisherigen Filtervektor und dem oder den bisherigen Parameterwerten der Filtervektor für den aktuellen Iterationsschritt, in dem mindestens eine neue Messung erfolgt, prädiziert. Mindestens eine Informationsquelle liefert eine Neue Messung 1, in der Regel liefern mehrere oder sämtliche verfügbaren Informationsquellen Neue Messungen 2 bis m. Anhand der aktuellen Ergebnisse dieser Messungen wird zum einen ein Update des Filtervektors in Schritt S20 und zum anderen ein Update des oder der Parameter (s) in Schritt S30 vorgenommen. Letzteres wird unabhängig vom Filtervektor durchgeführt, da das Update des mindestens einen Parameters nur auf Grundlage der Neuen Messungen 1 bis ggfs, m erfolgt. Das Update des oder der Parameter (s) in
Schritt S30 kann also parallel oder seriell zu Schritt S20 erfolgen. Der bzw. die durch das Update aktualisierten Parameter und der aktualisierte Filtervektor bilden den Ausganspunkt für den nachfolgenden Iterationsschritt (symbolisiert durch die gestrichelten Pfeile in Fig. 6), in dem erneut mindestens eine neue Messung erfolgt.
In Fig. 7 ist ganz vereinfacht eine Fusionsvorrichtung 70 dargestellt, die Daten bezüglich Messungen von mehreren In formationsquellen I 1 bis I m empfängt. Die empfangenen Daten werden von einer prozessierenden Einheit der Fusionsvorrichtung derart verarbeitet, dass ein Filtervektor und mindestens ein unbekannter Parameter, der eine Messung mindestens einer In formationsquelle beeinflusst, iterativ geschätzt werden. Be standteile des Filtervektors oder der gesamte Filtervektor wird von eine Ausgabekomponente der Fusionsvorrichtung ausgegeben an eine weitere Komponente 100 eines Fahrerassistenzsystems oder eines Fahrzeugsteuerungssystems, insbesondere eines automa tisiert fahrenden Fahrzeugs.
Claims
1. Verfahren zur Fusion von Messungen aus verschiedenen In formationsquellen (I 1, I 2, ... I m) in Verbindung mit einer
Filterung eines Filtervektors, wobei die Informationsquellen (I
1. 12, ...Im) einen oder mehrere Umfelderfassungssensor (en) eines Ego-Fahrzeugs umfassen,
wobei jeweils mindestens eine aus den Messungen abgeleitete Messgröße im Filtervektor enthalten ist,
wobei die Messungen mindestens einer einzelnen Informa tionsquelle (I 1; I 2; ... I m) nichtlinear auf die jeweilige Messgröße abgebildet werden, wobei mindestens eine dieser Abbildungen von mindestens einem unbestimmten Parameter abhängt, wobei der zu bestimmende Wert des mindestens einen un bestimmten Parameters aus den Messungen der verschiedenen Informationsquellen (I 1, I 2, ... I m) geschätzt wird und
wobei der Filtervektor zur Schätzung des mindestens einen unbestimmten Parameters nicht benötigt wird.
2. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren zur Verfolgung eines Objekts (16; 26) im Umfeld des Ego-Fahrzeugs eingesetzt wird.
3. Verfahren nach Anspruch 2, wobei die aus den Messungen abgeleitete Größe die Entfernung zwischen dem Ego-Fahrzeug und einem Objekt-Fahrzeug (26) ist, wobei eine erste Informati onsquelle (I 1) darin besteht, dass eine erste Auswertung von einem Bild (12) einer Fahrzeugkamera des Ego-Fahrzeugs über eine Bestimmung der Breite des Objekt-Fahrzeugs (26) im Bild (12) der Fahrzeugkamera, unter der Annahme einer vorgegebenen mittleren Breite für Fahrzeuge als korrespondierender Breite des Ob jekt-Fahrzeugs (26), eine erste Messgröße der Entfernung zwischen Ego- und Objekt-Fahrzeug liefert, wobei ein erster
unbestimmter Parameter die tatsächliche Breite des Ob jekt-Fahrzeugs (26) ist.
4. Verfahren nach Anspruch 3, wobei eine zweite Informati onsquelle darin besteht, dass eine zweite Auswertung von dem Bild (12) der Fahrzeugkamera des Ego-Fahrzeugs über eine Messung der vertikalen Position der Fahrzeugunterkante des Objekt-Fahrzeugs (26) im Bild (12) der Fahrzeugkamera eine zweite Messgröße der Entfernung zwischen Ego- und Obj ekt-Fahrzeug (26) liefert, wobei ein zweiter unbestimmter Parameter die wahre Höhe der Kamera über der Fahrbahnebene ist.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Filterung des Filtervektors eine zeitliche Filterung ist.
6. Verfahren nach Anspruch 5, wobei in einem Zeitschrift der Filterung folgende Schritte durchgeführt werden:
- Prädiktion des Filtervektors (S10)
- Aktualisierung des Filtervektors durch mindestens eine neue Messung (S20), und
- Aktualisierung der Schätzung des mindestens einen unbestimmten Parameters durch die mindestens eine neue Messung (S30) .
7. Verfahren nach Anspruch 6, wobei beim dritten Schritt (S30) der Filtervektor nicht zur Aktualisierung der Schätzung des mindestens einen unbestimmten Parameters verwendet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Messgrößen abgeleitet werden mittels verschiedener Mess- bzw. Auswertungsverfahren eines Umfelderfassungssensors.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Messgrößen aus Messungen unterschiedlicher Umfelderfassungs-
sensoren oder verschiedener Umfelderfassungssensortypen als Informationsquellen (I 1, I 2, ... I m) abgeleitet werden.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine der Messungen, die mittels eines Referenzmessverfahrens bestimmt wird, eine Referenzmessgröße liefert, die nicht von einem ersten unbekannten Parameter abhängt, von dem mindestens eine Messgröße einer anderen Messung abhängt.
11. Verfahren nach Anspruch 10, wobei das Referenzmessverfahren von einem zweiten unabhängigen Parameter abhängt, wobei für den zweiten unabhängigen Parameter ein Parameterwert vorgegeben wird .
12. Vorrichtung, die konfiguriert ist zur Fusion von Messungen aus verschiedenen Informationsquellen (I 1, I 2, ... I m) in
Verbindung mit einer Filterung eines Filtervektors, wobei die Informationsquellen (I 1, I 2, ... I m) einen oder mehrere Um felderfassungssensor (en) eines Ego-Fahrzeugs umfassen, wobei die Messungen dieselbe zu bestimmende Information betreffen und im Filtervektor jeweils mindestens eine aus der jeweiligen Messung abgeleitete Messgröße bezüglich der zu bestimmenden Information enthalten ist,
wobei die Messungen mindestens einer einzelnen Informa tionsquelle (I 1; I 2; ... I m) nichtlinear auf die jeweilige Messgröße abgebildet werden, wobei mindestens eine dieser Abbildungen von mindestens einem unbestimmten Parameter abhängt, wobei der zu bestimmende Wert des mindestens einen un bestimmten Parameters aus den Messungen der verschiedenen Informationsquellen (I 1, I 2, ... I m) geschätzt wird und
wobei der Filtervektor zur Schätzung des mindestens einen unbestimmten Parameters nicht benötigt wird.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/770,713 US11521027B2 (en) | 2017-12-20 | 2018-12-07 | Method and device for fusion of measurements from different information sources |
DE112018005565.5T DE112018005565A5 (de) | 2017-12-20 | 2018-12-07 | Verfahren und Vorrichtung zur Fusion von Messungen aus unterschiedlichen Informationsquellen |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017223325.7 | 2017-12-20 | ||
DE102017223325.7A DE102017223325A1 (de) | 2017-12-20 | 2017-12-20 | Verfahren und Vorrichtung zur Fusion von Messungen aus unterschiedlichen Informationsquellen |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019120392A1 true WO2019120392A1 (de) | 2019-06-27 |
Family
ID=64901264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/DE2018/200111 WO2019120392A1 (de) | 2017-12-20 | 2018-12-07 | Verfahren und vorrichtung zur fusion von messungen aus unterschiedlichen informationsquellen |
Country Status (3)
Country | Link |
---|---|
US (1) | US11521027B2 (de) |
DE (2) | DE102017223325A1 (de) |
WO (1) | WO2019120392A1 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210000006A1 (en) * | 2019-07-02 | 2021-01-07 | Bear Flag Robotics, Inc. | Agricultural Lane Following |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11954179B2 (en) * | 2020-09-11 | 2024-04-09 | Inceptio Hongkong Limited | Resolving out of sequence data in sensor tracking |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009006113A1 (de) | 2008-03-03 | 2009-09-10 | Volkswagen Ag | Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten |
DE102013205245A1 (de) | 2013-03-25 | 2014-09-25 | Continental Teves Ag & Co. Ohg | Fahrzeugreferenzgeschwindigkeitsbestimmungsverfahren und Fahrzeugsteuergerät mit einem solchen Verfahren |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7881497B2 (en) * | 2007-03-08 | 2011-02-01 | Honeywell International Inc. | Vision based navigation and guidance system |
US7917332B2 (en) * | 2007-11-12 | 2011-03-29 | Bae Systems Plc | Sensor control |
US7719461B1 (en) * | 2008-08-05 | 2010-05-18 | Lockheed Martin Corporation | Track fusion by optimal reduced state estimation in multi-sensor environment with limited-bandwidth communication path |
DE102012023746A1 (de) * | 2012-12-04 | 2014-06-05 | Connaught Electronics Ltd. | Verfahren zum Verfolgen eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs durch Fusion von Bilddaten mit anderen Sensordaten, Fahrerassistenzeinrichtung und Kraftfahrzeug |
DE102013213067B4 (de) * | 2013-07-04 | 2018-09-20 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Bestimmung mindestens einer Zustandsgröße einer Eigenposition eines Fahrzeugs |
EP3057061B1 (de) * | 2015-02-16 | 2017-08-30 | Application Solutions (Electronics and Vision) Limited | Verfahren und Vorrichtung zur Schätzung von Kraftfahrzeugeigenbewegung aus Surround-Blickbildern |
-
2017
- 2017-12-20 DE DE102017223325.7A patent/DE102017223325A1/de not_active Withdrawn
-
2018
- 2018-12-07 DE DE112018005565.5T patent/DE112018005565A5/de active Pending
- 2018-12-07 WO PCT/DE2018/200111 patent/WO2019120392A1/de active Application Filing
- 2018-12-07 US US16/770,713 patent/US11521027B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009006113A1 (de) | 2008-03-03 | 2009-09-10 | Volkswagen Ag | Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten |
DE102013205245A1 (de) | 2013-03-25 | 2014-09-25 | Continental Teves Ag & Co. Ohg | Fahrzeugreferenzgeschwindigkeitsbestimmungsverfahren und Fahrzeugsteuergerät mit einem solchen Verfahren |
Non-Patent Citations (6)
Title |
---|
BAR-SHALOM ET AL.: "Tracking and Data Fusion - A Handbook of Algorithms", 2011, YBS PUBLISHING, article "Multisensor Dynamic Bias Estimation with Local Tracks) des Buchs" |
EHSAN TAGHAVI ET AL.: "A Practical Bias Estimation Algorithm for Multisensor-Multitarget Tracking", IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONICS SYSTEMS, 2016, Retrieved from the Internet <URL:https://arxiv.org/pdf/1603.03449> |
HA-RYONG SONG ET AL: "Target localization using RGB-D camera and LiDAR sensor fusion for relative navigation", 2014 CACS INTERNATIONAL AUTOMATIC CONTROL CONFERENCE (CACS 2014), 1 November 2014 (2014-11-01), pages 144 - 149, XP055565918, ISBN: 978-1-4799-4584-9, DOI: 10.1109/CACS.2014.7097178 * |
SHUO ZHANG ET AL.: "Tracking with Multisensor Out-of-Sequence Measurements with Residual Biases", JOURNAL OF ADVANCES IN INFORMATION FUSION, vol. 6, no. 1, June 2011 (2011-06-01), pages 3 - 23 |
WAN: "Dual Kaiman Filtering Methods for Nonlinear Prediction, Smoothing, and Estimation", NELSON ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, 1997, pages 793 - 799, XP008087113 |
X. LIN ET AL: "Exact multisensor dynamic bias estimation with local tracks", INFORMATION FUSION, 2003. PROCEEDINGS OF THE SIXTH INTERNATIONAL CONFERENCE OF, 1 January 2003 (2003-01-01), pages 159 - 167, XP055565242, ISBN: 978-0-9721844-4-1, DOI: 10.1109/ICIF.2003.177441 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210000006A1 (en) * | 2019-07-02 | 2021-01-07 | Bear Flag Robotics, Inc. | Agricultural Lane Following |
US11778934B2 (en) * | 2019-07-02 | 2023-10-10 | Bear Flag Robotics, Inc. | Agricultural lane following |
Also Published As
Publication number | Publication date |
---|---|
US20210166087A1 (en) | 2021-06-03 |
DE112018005565A5 (de) | 2020-07-16 |
DE102017223325A1 (de) | 2019-06-27 |
US11521027B2 (en) | 2022-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102018116111B4 (de) | Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung | |
DE102016102283B4 (de) | Kartendatenbearbeitungsvorrichtung für ein Fahrzeug | |
DE102014209137B4 (de) | Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs | |
DE112014002019B4 (de) | Kurvenformmodelliereinrichtung, Fahrzeuginformationsverarbeitungssystem, Kurvenformmodellierverfahren und Kurvenformmodellierprogramm | |
EP3298541A1 (de) | Verfahren zur schätzung von fahrstreifen | |
EP3329216A1 (de) | Bestimmung einer anordnungsinformation für ein fahrzeug | |
DE102013107861A1 (de) | Tracking von Strassen-Fahrzeugen mit Sensoren unterschiedlicher Ausführungsarten | |
EP2140287A1 (de) | Fahrerassistenzsystem und verfahren zur objektplausibilisierung | |
EP2189349A2 (de) | Verfahren und Vorrichtung zur Kompensation eines Rollwinkels | |
EP3782117A1 (de) | Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur verarbeitung von sensordaten | |
DE112014003818T5 (de) | Objektschätzvorrichtung und Objektschätzverfahren | |
EP2562681B1 (de) | Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem | |
DE102012203909A1 (de) | Filterverfahren und Filtervorrichtung für Sensordaten | |
DE102020203756A1 (de) | Autobahnausfahrt-erfassung und linienspiegelung zur fahrzeugtrajektorien-bestimmung | |
DE102020200911B3 (de) | Verfahren zum Erkennen von Objekten in einer Umgebung eines Fahrzeugs | |
DE102012211391A1 (de) | Verfahren und System zur Informationsnutzung | |
EP1634241B1 (de) | Verfahren und vorrichtung zur objektbestimmung in fahrerassistenzsystemen für kraftfahrzeuge | |
DE102007049706A1 (de) | Verfahren zur Schätzung der Relativbewegung von Video-Objekten und Fahrerassistenzsystem für Kraftfahrzeuge | |
DE102020206659A1 (de) | Multi-hypothesen-objektverfologung für automatisierte fahrsysteme | |
DE102018123393A1 (de) | Erkennung von Parkflächen | |
WO2019120392A1 (de) | Verfahren und vorrichtung zur fusion von messungen aus unterschiedlichen informationsquellen | |
DE102016211730A1 (de) | Verfahren zur Vorhersage eines Fahrbahnverlaufs einer Fahrbahn | |
DE102012023746A1 (de) | Verfahren zum Verfolgen eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs durch Fusion von Bilddaten mit anderen Sensordaten, Fahrerassistenzeinrichtung und Kraftfahrzeug | |
DE102017108107A1 (de) | Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs | |
DE102008042631B4 (de) | Verfahren und Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18826937 Country of ref document: EP Kind code of ref document: A1 |
|
REG | Reference to national code |
Ref country code: DE Ref legal event code: R225 Ref document number: 112018005565 Country of ref document: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18826937 Country of ref document: EP Kind code of ref document: A1 |