WO2014094766A1 - Verfahren zur bestimmung eines fahrbahnzustands aus umfeldsensordaten - Google Patents

Verfahren zur bestimmung eines fahrbahnzustands aus umfeldsensordaten Download PDF

Info

Publication number
WO2014094766A1
WO2014094766A1 PCT/DE2013/200339 DE2013200339W WO2014094766A1 WO 2014094766 A1 WO2014094766 A1 WO 2014094766A1 DE 2013200339 W DE2013200339 W DE 2013200339W WO 2014094766 A1 WO2014094766 A1 WO 2014094766A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
friction
coefficient
road condition
road
Prior art date
Application number
PCT/DE2013/200339
Other languages
English (en)
French (fr)
Inventor
Bernd Hartmann
Original Assignee
Continental Teves Ag & Co. Ohg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves Ag & Co. Ohg filed Critical Continental Teves Ag & Co. Ohg
Priority to DE112013006175.9T priority Critical patent/DE112013006175A5/de
Priority to US14/424,148 priority patent/US9676331B2/en
Publication of WO2014094766A1 publication Critical patent/WO2014094766A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/068—Road friction coefficient
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/28—Wheel speed

Definitions

  • the invention relates to a method and a device for determining a road condition
  • Environment sensor data in particular from camera data.
  • the determination or determination of the coefficient of friction acting between the tire and the road surface or the detection of the road condition (eg dry, wet, snow-covered and icy) from which the friction coefficient group derives is an important prerequisite for supporting the driver in his driving task and avoid such serious accidents or mitigate their consequences.
  • the assessment of the road conditions is up to the driver, who directs his driving style on it.
  • Vehicle control systems such as ESC (Electronic Stability Control) or TCS (Traction Control System) or ABS (Anti-lock Braking System) help him to stabilize the vehicle in the border area so that it can more easily comply with its driving task in extreme situations.
  • EP 792 228 B1 shows a system for driving stability control for ESP (Electronic Stability Program) / ESC controls, with which a friction value can be determined in special situations. If at least one wheel takes advantage of the coefficient of friction, z. B. when driving on a smooth surface, the vehicle brake control can determine the coefficient of friction from the rotational behavior of the wheels and the ESP / ESC acceleration sensors.
  • ESP Electronic Stability Program
  • DE 102 56 726 A1 shows a method for generating a signal as a function of the road surface using a reflection signal sensor such as a radar or an optical sensor. As a result, a forward-looking detection of the road condition in a motor vehicle is made possible.
  • DE 10 2004 018 088 A1 shows a tramway recognition system with a temperature sensor, an ultrasound sensor and a camera. The road data obtained from the sensors are filtered, compared with reference data to determine the trafficability of the roadway, the road surface (eg concrete, asphalt, dirt, grass, sand or gravel) and their condition (eg dry, icy, snowy, wet ) can be classified.
  • the road surface eg concrete, asphalt, dirt, grass, sand or gravel
  • their condition eg dry, icy, snowy, wet
  • DE 10 2004 047 914 A1 shows a method for estimating the road condition in which data from a plurality of different sensors, e.g. Camera, infrared sensor, rain sensor or microphone are merged to arrive at a classification of the road condition, which can be assigned a friction value.
  • sensors e.g. Camera, infrared sensor, rain sensor or microphone
  • AI shows a determination of a frictional connection with a few sensors, are analyzed in the torsional vibrations of a wheel of a vehicle and on the basis of this analysis, a coefficient of friction, estimated, is.
  • DE 10 2009 041 566 A1 shows a method for determining a road friction coefficient ⁇ , in which a first constantly updated coefficient of friction value and a second friction coefficient value updated only depending on the situation are linked to form a common friction estimate value.
  • WO 2011/007015 A1 shows a laser-based method for friction coefficient classification in motor vehicles. Signals from a lidar or CV sensor that are placed on the road surface. are judged, are evaluated for this purpose and then, in particular based on the amplitude of the measured road surface, a coefficient of friction assigned. For example, it may be estimated that snow, asphalt, or ice forms the road surface.
  • WO 2012/110030 A2 shows a method and a device for friction coefficient estimation by means of a 3D camera, e.g. a stereo camera.
  • the 3D camera captures at least one image of the surroundings of the vehicle. From the image data of the 3D camera, a height profile of the road surface is created in the entire vehicle apron. From the altitude profile, the expected local coefficient of friction of the road surface in the vehicle apron is estimated.
  • the automatic detection of road condition information is a key element on the way to autonomous driving in the future.
  • the coefficient of friction information determined according to the prior art is generally not valid for any roadway sections. While direct measuring systems can measure very accurately, they are not able to work proactively. Good examples are vehicle control systems such as ESC, ABS and TCS, which determine the coefficient of friction on the tire virtually directly in the footprint (or in the footprint) of the tire via the slip and run-in behavior on the tire. Even optical sensors, for example, in the near-infrared are technology-specific only very conditionally able to provide information sufficiently anticipatory, since the angle to the roadway may not be arbitrarily pointed. Both systems and incidentally also the wheel speed analysis have in common that they can determine the road condition only locally.
  • a method for determining a road condition from environmental sensor data provides for a fusion of data from at least one device (or a sensor) that is on the vehicle and / or in particular on or immediately before at least one vehicle wheel or tire Measures local friction value or road condition information determined, with data from a camera or a vehicle ahead of the track detecting vehicle environment sensor with greater range.
  • the locally measured road condition or coefficient of friction or the local road condition information can be assigned to individual image areas of a camera image taking into account odometry and time information and for support and / or plausibility checking in a prospective and spatially resolved friction coefficient estimation or road condition determination using camera data taken into account.
  • a trajectory or trajectory of the vehicle can be determined or, in combination with the environmental sensor system, a future trajectory can also be predicted or predicted.
  • a limited road section which is initially detected only by the camera and whose road condition or coefficient of friction is estimated from camera images, can be subsequently measured while driving when it is run over by the locally measuring sensor.
  • this measured coefficient of friction, or this determined roadway condition information it is now possible to set ahead roadway sections. in which image evaluation produces similar or identical results to the original limited lane section (in previous camera images).
  • the coefficient of friction also frictional coefficient, adhesion coefficient, coefficient of adhesion or coefficient of friction indicates which force can be transmitted maximally between a road surface and a vehicle tire (for example in the tangential direction) and is thus an essential measure for the road condition.
  • tire properties are required to fully determine the coefficient of friction. For an estimate of the coefficient of friction, e.g. From camera image data, only road condition information is typically taken into account, since in general no tire properties can be determined from camera image data.
  • locally determining the coefficient of friction or roadway determining systems such as ESC (including ABS / TCS) or a wheel torsional vibration analysis (both based on the wheel speed signal) and / or optical sensors (eg infrared / laser sensors) for determining the road surface or road surface Measurement of the local coefficient of friction with the camera / video sensor system so that the discrete measurement points of the locally measuring device can be tracked on the basis of odometry and time information, eg based on the vehicle movement in the camera image, and thus for support and plausibility the camera algorithms the individual image areas (or lane sections) are well assigned.
  • ESC including ABS / TCS
  • a wheel torsional vibration analysis both based on the wheel speed signal
  • optical sensors eg infrared / laser sensors
  • the method according to the invention for determining the road condition ensures a very precise, high-resolution and, above all, forward-looking determination of the spatially resolved road condition or coefficient of friction.
  • the method according to the invention proves to be particularly adaptable, since the actually measured local friction values or determined local roadway information make the method largely resistant to interference during camera detection due to the assignment to the current camera image data.
  • the safety systems of the vehicle can be prepared in a predictive and situational manner for road conditions or the driver can be informed or warned.
  • the image evaluation takes an assignment of a locally measured coefficient of friction to a roadway section in at least one camera image, if the consideration of odometry and time information shows that the road condition / coefficient of friction of this roadway section has been subsequently measured locally.
  • a roadway section can be determined from the camera image, in particular by segmentation, the segmentation preferably providing segments with a comparable roadway state. From the odometry and time information can be determined which road section has been run over from a camera image subsequently and which local coefficient of friction measured or
  • the image analysis provides a classification of individual lane sections in camera images based on certain characteristics.
  • the specific features may in particular be assigned to predetermined road conditions.
  • the determined road condition eg dry, wet, snowy, icy
  • a subsequently locally measured coefficient of friction or locally determined road condition can now be assigned a class of roadway sections (in which the same roadway condition had been determined from the camera image). This provides a predictive friction coefficient estimation for all road sections that are assigned to this class.
  • the camera image in the road plane is subdivided into a two-dimensional grid and the at least one measured local friction value or road condition is assigned to at least one cell of the grid network.
  • a representation of the road surface imaged by the camera may be used to scale the distances on the road surface, e.g. from a bird's eye view.
  • the grid lines of the grid would in one direction (horizontal or vertical) each having a fixed distance from each other.
  • a grid could be placed over the camera image to reflect the perspective distortion of the vehicle environment (and lane) through the camera.
  • the content of each grid cell could each correspond to an equal section of the roadway in real intervals.
  • the number of cells into which the grid network is subdivided depends on the homogeneity of the roadway or the road surface, in particular in the camera image. If the road surface in the camera image appears largely homogeneous, fewer grid cells can be used than with an inhomogeneous road surface. Different road surfaces, puddles, snow surfaces, leaves can be the cause of inhomogeneous road surfaces, where the coefficient of friction can change very quickly with the road condition.
  • the number of cells into which the grid is subdivided depends on the current driving situation and / or its criticality.
  • a higher number of cells can be used for an even more precise spatially resolved road condition / friction estimation from the camera image.
  • the brake control for an emergency braking maneuver will be optimized taking into account local road condition / friction value changes.
  • the number of cells into which the grid is divided may depend on the available computing power available for image analysis. Under certain circumstances, the number of cells can be reduced to 1, but as a rule a plurality of cells is to be provided for the grid, in order to enable a spatial resolution,
  • the result of the evaluation of the camera data is taken into account taking into account the road condition associated with the camera image.
  • Friction measurement data then applied predictively on a subsequently captured camera image.
  • the assignment is preferably based on cells with the same or similar characteristics with respect to the road condition.
  • individual cells belonging to a common class to be assigned a roadway condition or coefficient of friction which has been confirmed or made plausible from a locally measured coefficient of friction or a locally determined roadway condition.
  • a driving route is calculated from a predicted movement trajectory of the vehicle, by means of which the positions of the individual locally measuring sensors and the wheels of the vehicle can be assigned predictably in front of the vehicle lane sections in the camera image, thus in particular individual cells of a lattice network.
  • Thexsstraj ektorien the vehicle can be predicted in a conventional manner from vehicle sensor and / or environment sensor data (camera, radar, lidar, etc.).
  • individual lane sections or grid cells are assigned a class probability. For example, you can specify that a cell is 80% class 1, 20% another class. As a result, it is also possible to take into account the fact that within a cell actually different quality ranges can exist. For example, 60% of a cell's contents can be wet, while 40% are dry.
  • a monocular camera is used as the camera sensor.
  • Monocameras are established as driver assistance cameras and cheaper than stereo cameras.
  • a stereo camera is used as the camera sensor.
  • a stereo camera offers a spatial resolution to the image data compared to a mono camera. Depending on the requirement, both or only one of the two images can be evaluated for road condition or friction coefficient estimation.
  • an optical sensor is used as the local measuring device or sensor exclusively or in addition to others.
  • the optical sensor is preferably directed to the road surface and can determine the three-dimensional shape of the road surface locally, from which the road condition can be derived or a coefficient of friction can be estimated.
  • ultrasound or radar sensors can also be used as such local measuring devices. They can determine the three-dimensional shape of the road surface locally.
  • At least one measuring device which measures and / or derives friction coefficients from the rotational speed signals of a vehicle wheel (R1-R4) is used as the locally measuring device exclusively or in addition to further ones.
  • tire slip and tire vibration can be analyzed, from which a classification of the friction coefficient can be made.
  • Such an analysis of the vibration behavior of the tire, from which an excitation spectrum is determined by the road surface, which correlates with the coefficient of friction, can e.g. DE 10 2008 047 750 AI be removed.
  • ABS / ESC / TCS systems which can measure or derive maximum coefficients of friction from the rotational speed signals of individual vehicle wheels by analyzing slippage, can also be used as such a measuring device.
  • the invention further relates to a device for determining a road condition.
  • the device comprises a camera, at least one device which is designed to measure a local coefficient of friction or to determine a local roadway condition, and a camera data evaluation device.
  • the latter is designed to take into account the locally measured coefficient of friction / road condition in the camera data evaluation.
  • the camera data evaluation device is designed to determine the locally measured coefficient of friction or roadway condition, taking account of odometry and time information of individual image areas Assign a camera image and to be able to account for support and / or plausibility in a forward-looking and spatially resolved friction coefficient estimation or road condition determination based on camera data.
  • FIG. 1 shows a camera image of a vehicle environment ahead
  • FIG. 2 is a bird's-eye view representation of the scene represented by the camera image
  • FIG. 3 shows a subdivision of a section of the representation into cells by means of a lattice network in which individual 2 ⁇ 1 JL ⁇ kl3.ssi f i s iö ii t. sincin. u.rid
  • FIG. 4 shows a vehicle with locally measuring sensors in a grid in which individual cells are classified.
  • FIG. 1 shows a camera image of a vehicle environment ahead, as it has been taken by a front camera of a moving vehicle.
  • camera-based driver assistance functions can be realized, eg Lane Departure Warning (LDW), Lane Keeping Assistance / System (LKA / LKS), Traffic Sign Recognition (TSR), Automatic High Beam Control (IHC) , Intelligent Headlamp Control), a collision warning (FCW, Forward Collision Warning), a precipitation detection, an automatic longitudinal control (ACC, Adaptive Cruise Control), a parking assistance, automatic emergency brake or emergency steering systems (EBA, Emergency Brake Assist, or ESA, Emergency Steering Assist).
  • LDW Lane Departure Warning
  • LKA / LKS Lane Keeping Assistance / System
  • TSR Traffic Sign Recognition
  • IHC Automatic High Beam Control
  • FCW Forward Collision Warning
  • FCW Forward Collision Warning
  • precipitation detection an automatic longitudinal control
  • ACC Automatic Cruise Control
  • EBA Emergency Brake Assist
  • ESA Emergency Steering As
  • the camera image shows a roadway (1) whose surface is largely homogeneous. Lane markings can be seen on the surface: a solid sideline marking the left and right ends of the lane and centerline segments (3) of the broken or dashed center lane mark.
  • the roadway (1) could be made of asphalt or concrete. On the roadway (1) a puddle (2) can be seen.
  • FIG. 2 shows a bird's-eye view of a representation of the scene represented by the camera image in FIG. 1.
  • This representation can be determined from the camera image, with a monocamera preferably imaging properties of the camera (4), the built-in geometry of the camera in the vehicle (5), the actual vehicle height (due to the Tire / Chassis Control), pitch, yaw and / or roll angle. It can be assumed that the road surface is flat.
  • the representation can be determined directly on the basis of the acquired 3D image data, whereby further aspects can also be taken into account here.
  • the representation is essentially characterized in that distances correspond to actual distances.
  • the center strip segments shown are also arranged equidistantly on the real roadway.
  • the roadway (1), the puddle (2) and the centerline segments are
  • the local Reibwertmess devices of the vehicle (5) which can measure locally - ie substantially below the vehicle - the road condition and / or the coefficient of friction between the tire and the road surface (1).
  • Such devices may be optical sensors (6) which are directed onto the road surface (1), in particular infrared sensors, laser sensors, or devices such as ESC, which locally determine the available friction coefficient at the wheels or derive a coefficient of friction from an analysis of a wheel speed signal ,
  • Fig. 3 shows how a grid (G) is placed over a part of the representation of Fig. 2. This divides the representation into individual cells.
  • individual grid cells can be assigned individual classes that contain information about the roadway condition or the coefficient of friction.
  • the cells are assigned to class Kl, in which dry asphalt forms the roadway.
  • the cells in which wet asphalt occurs are assigned to class K2.
  • Cells in which a different background occurs can be assigned to the class Kn.
  • a simple classification consists, for example, in a division of the road sections into the four classes dry asphalt (Kl), wet asphalt (K2), snow and ice.
  • Kl dry asphalt
  • K2 wet asphalt
  • K3 wet asphalt
  • n classes K1 to Kn may be provided, e.g. different pavement materials (asphalt, concrete, sand, gravel, etc.) and different levels of condensation (e.g., dry, wet, snow, ice).
  • a residual class may also be provided for lane sections that can not be assigned to any of the remaining (predefined) classes.
  • the number of grid cells or the size of a single cell of the grid (G) can be varied. If the road surface in the camera image appears largely homogeneous, as is the case here in the region of the roadway (1) outside the puddle (2), fewer grid cells can be used than with an overall inhomogeneous roadway surface or in the area of the puddle (2). Different road surfaces, puddles (2), snow surfaces, leaves can be the cause of inhomogeneous road surfaces where the coefficient of friction can change very quickly. In critical driving situations, a higher number of cells can also be used for an even more precise spatially resolved road condition / friction coefficient estimation from the camera image. As a result, for example, the brake control for an emergency braking maneuver can be optimized taking into account local friction value changes. Finally, the number of cells of the grid (G) can be governed by the available computing power available for image analysis.
  • an image evaluation by means of image processing algorithms first of all results in a classification of the individual cells on the basis of specific features. This results in class values (Kl to Kn) for the cells in front of the vehicle.
  • FIG. 4 for example, there is a roadway situation which is comparable to that shown in FIGS. 2 and 3.
  • Most cells are class Kl, while a 2x2 block of cells is assigned to class K2.
  • these classes K1, K2,. Average values, empirical values, etc.
  • the dry roadway (1) could be made of grippy or smooth asphalt.
  • the puddle (2) could be shallow or deep, made of water or oil etc.
  • the illustrated vehicle (5) has an optical sensor (6) and four measuring devices which derive or measure coefficients of friction from the rotational speed signals of one of the four vehicle wheels (R1-R4) as local sensors. These local sensors measure a current road condition / friction value, which can each be assigned to the cell of the grid (G) within which the local sensor measures the road condition / coefficient of friction. In Fig. 4, these are the cells in which the optical sensor (6) measures and in which a respective wheel (R1-R4) is in contact with the carriageway (1).
  • the link between the classes Kl to Kn and the local measured values is done via odometry and time data.
  • the classification based on the camera data can now odometriegeOrient fused when crossing the vehicle with the results of the local sensors with the results of the camera classification in the respective cells v / earth.
  • the cell in which the optical sensor (6) measures the road condition / coefficient of friction was assigned to class K1 (dry asphalt).
  • this class can for the first time be assigned a coefficient of friction or road condition, or a previously estimated road condition / coefficient of friction for this class (K1) can be plausibility checked, corrected or validated as a merged road condition / friction value (K1).
  • a measurement for class K2 (Wet Asphalt) can be obtained in the cell containing the front-right vehicle wheel (R2) by the measuring device from the speed signal of the front-right vehicle wheel (R2).
  • Friction value derives or measures and from a fused friction coefficient or road condition (K2) is determined for the class K2.
  • the assignment of this cell to the class K2 had already taken place in a previously recorded camera image. And based on the odometry and time data, it is determined if and when the local sensors measure in the range of these classified cells.
  • the fusion results thus obtained are then in turn applied predictively to the currently forward-looking camera image and assigned here to the corresponding classes of the individual cells.
  • the optical sensor (6) and the individual wheels (R1-R4) of the vehicle (5) predictively assign the cells lying ahead of the vehicle with their characteristics precisely.
  • the optical sensor (6) in two lines assigned to the class K2, in the near future the optical sensor (6) will be able to measure the road condition / friction value and thus a fused friction coefficient (K2) will be available for the class 2 namely, in the third and fourth cell on the right of the cell with the optical sensor (6).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren bzw. eine Vorrichtung zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten. Zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten ist eine Fusion von Daten aus mindestens einer Vorrichtung, die einen lokalen Fahrbahnzustand oder Reibwert misst, mit Daten einer Kamera (4) zur Erfassung einer vorausliegenden Fahrbahn (1) vorgesehen. Dazu können bei der Auswertung der Kamerabilddaten der lokal gemessene Fahrbahnzustand bzw. Reibwert unter Berücksichtigung von Odometrie- und Zeitinformationen einzelnen Bildbereichen eines Kamerabilds zugeordnet und zur Unterstützung und/oder Plausibilisierung bei einer vorausschauenden und ortsaufgelösten Reibwertschätzung bzw. Fahrbahnzustandsermittlung anhand von Kameradaten berücksichtigt werden.

Description

Umfeldsenso duten
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung eines Fahrbahnzustands aus
Umfeldsensordaten, insbesondere aus Kameradaten.
Die Erfassung oder Bestimmung des zwischen Reifen und Fahrbahn wirkenden Reibwerts bzw. die Erfassung des Fahrbahnzustands (z.B. trocken, nass, schneebedeckt und vereist), aus dem sich die Reibwertgruppe ableiten iässt, ist eine wichtige Voraussetzung, um den Fahrer in seiner Fahraufgabe zu unterstützen und so schwere Unfälle zu vermeiden oder deren Folgen abzuschwächen. Allgemein obliegt die Einschätzung der Straßenverhältnisse dem Fahrer, der seine Fahrweise darauf ausrichtet. Fahrzeugregelsysteme wie ESC (Electronic Stability Control) / TCS (Traction Control System) oder ABS (Antiblockiersystem) helfen ihm, das Fahrzeug im Grenzbereich zu stabilisieren, um so seiner Fahraufgabe in Extremsituationen leichter entsprechen zu können.
Mit steigendem Automatisierungsgrad der Fahrerassistenz - bis hin zum hochautomatisierten bzw. autonomen Fahren - steigt, die Bedeutung von Informationen zum Fahrbahnzustand beziehungsweise zum Reibwert kontinuierlich an. Typische Anwendungsfälle für die Fahrbahnzustands - /ReibwertInformationen sind
Fahrerinformation
Fahrerwarnung Festlegung der Eingriffszeitpunkte für Brems- und Lenkeingriffee bei Fahrrerassistenzsystemen und
Anpassung von Fahrzeugsteuerungsfunktionen wie Bremse, Lenkung .
Die Unfallvermeidung gewinnt bei Fahrerassistenzsystemen zunehmend an Bedeutung. Notbrems- oder seit neuestem auch Notausweichsysteme leisten einen wichtigen Beitrag. Ihre Wirkung hängt jedoch entscheidend vom Reibwert des Untergrundes ab. Nässe, Schnee und Eis erniedrigen den zur Verfügung stehenden Reibwert zwischen Reifen und Fahrbahn gegenüber dem auf einer trockenen Fahrbahn zur Verfügung stehenden erheblich.
EP 792 228 Bl zeigt ein System zur Fahrstabilitätsregelung für ESP- (Electronic Stability Program) / ESC-Regelungen, mit dem in speziellen Situationen ein Reibwert ermittelt werden kann. Wenn mindestens ein Rad den Reibwert ausnutzt, z. B. beim Fahren auf einem glatten Untergrund, kann die Fahrzeugbremsenregelung den Reibwert aus dem Drehverhalten der Räder und den ESP/ESC-Beschleunigungssensoren bestimmen .
DE 102 56 726 AI zeigt ein Verfahren zur Generierung eines Signals in Abhängigkeit von der Fahrbahnbeschaffenheit unter Verwendung eines Reflexionssignalsensors wie z.B. eines Radar- oder eines optischen Sensor. Dadurch wird eine vorausschauende Erfassung des Fahrbahnzustands in einem Kraftfahrzeug ermöglicht. DE 10 2004 018 088 AI zeigt ein Fahrbahnerkennungssystem mit einem Temperatursensor, einem Ultraschallsensor und einer Kamera. Die aus den Sensoren erhaltenen Fahrbahndaten werden gefiltert, mit Referenzdaten verglichen, um die Befahrbarkeit der Fahrbahn zu ermitteln, wobei die Fahrbahnoberfläche (z.B. Beton, Asphalt, Schmutz, Gras, Sand oder Kies) und deren Zustand (z.B. trocken, vereist, verschneit, nass) klassifiziert werden kann.
DE 10 2004 047 914 AI zeigt eine Methode zur Einschätzung des Fahrbahnzustands, bei der Daten aus mehreren unterschiedlichen Sensoren, z.B. Kamera, Infrarotsensor, Regensensor bzw. Mikrofon fusioniert werden, um zu einer Klassifikation des Fahrbahnzustands zu gelangen, der ein Reibungswert zugeordnet werden kann.
DE 10 2008 047 750 AI zeigt eine Bestimmung eines Kraftschlusses mit wenigen Sensoren, bei der Drehschwingungen eines Rads eines Fahrzeugs analysiert werden und auf Basis dieser Analyse ein Reibbeiwert, abgeschätzt, wird.
DE 10 2009 041 566 AI zeigt ein Verfahren zur Ermittlung eines Fahrbahnreibwerts μ, bei dem eine erste ständig aktualisierte Reibwertkenngröße und eine zweite lediglich situationsbedingt aktualisierte Reibwertgröße zu einem gemeinsamen Reibschätzwert verknüpft v/erden.
WO 2011/007015 AI zeigt ein laserbasiertes Verfahren zur Reibwertklassifikation in Kraftfahrzeugen. Signale eines Lidar- bzw. CV-Sensors, die auf die Fahrbahnoberfläche ge- richtet sind, werden hierzu ausgewertet und anschließend wird insbesondere anhand der Amplitude der vermessenen Fahrbahnoberfläche ein Reibwert, zugeordnet. Es kann beispielsweise geschätzt v/erden, Gb Schnee, Asphalt oder Eis die Fahrbahnoberfläche bilden.
WO 2012/110030 A2 zeigt ein Verfahren und eine Vorrichtung zur Reibwertschätzung mittels einer 3D- Kamera, z.B. einer Stereokamera. Mit der 3D- Kamera wird mindestens ein Bild von der Umgebung des Fahrzeugs aufgenommen. Aus den Bilddaten der 3D-Kamera wird im gesamten Fahrzeugvorfeld ein Höhenprofil der Straßenoberfläche erstellt. Aus dem Höhen- profii wird der zu erwartende lokale Reibwert der Straßenoberfläche im Fahrzeugvorfeld geschätzt.
Die automatische Erfassung der Fahrbahnzustandsinformatio- nen ist ein Schlüsselelement auf dem Weg zum autonomen Fahren in der Zukunft .
Die bekannten Verfahren weisen jedoch Nachteile auf. Einerseits ist die Verfügbarkeit der Informationen sehr eingeschränkt, (ESC) , anderseits sind die Sensoren und Algorithmen noch nicht hinreichend präzise (Kamera, IR- Sensoren, Radar) oder die Robustheit des Systems reicht für Sicherheitssysteme bei Weitem nicht aus (Raddrehschwingungsanaly- se, Stereokamera) .
Ansatzpunkt der erfindungsgemäßen Lösung sind folgende Überlegungen: die nach dem Stand der Technik ermittelten Reibwertinformationen sind i.d.R. nicht für beliebige Fahrbahnabschnitte gültig. Während direkt messende Systeme zwar sehr genau messen können, ist es ihnen aber nicht möglich, vorausschauend zu arbeiten. Gutes Beispiel sind Fahrzeugregelsysteme wie ESC, ABS bzw. TCS, die ja quasi direkt in der Aufstandsflache (bzw. im Footprint) des Reifens über das Schlupf- und Einlaufverhalten am Reifen den Reibwert bestimmen. Auch optische Sensoren z.B. im Nahinfrarot sind technologiespezifisch nur sehr bedingt in der Lage Informationen ausreichend vorausschauend zu liefern, da der Winkel zur Fahrbahn nicht beliebig spitz werden darf. Beiden Systemen und im Übrigen auch der Raddrehzahlanalyse ist gemein, dass sie den Fahrbahnzustand nur lokal bestimmen können.
Andere Systeme, wie insbesondere Kamera-/Videosysteme, können den Fahrbahnzustand nur indirekt, z.B. durch eine Klassifikation bestimmen, und sind deshalb verfahrensbedingt weniger präzise als direkt messende Systeme. Systeme mit einem Erfassungsbereich mit einer Tiefe von einigen bis mehreren Metern (z.B. Im-20m, 2m- 100m, 5m-200m je nach Kameraauslegung) und mit einer Breite, die ausreichend zur Erkennung der Fahrbahnoberfläche ist, sind aber aufgrund ihrer eigentlichen Anwendung als Umgebungssensor bzw. Frontkamera zur flächendeckenden Fahrbahnvorausschau besonders gut geeignet .
Ein erfindungsgemäßes Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten sieht eine Fusion von Daten aus mindestens einer Vorrichtung (bzw. eines Sensors) , die am Fahrzeug und/oder insbesondere am oder unmittelbar vor mindestens einem Fahrzeugrad bzw. -reifen einen lokalen Reibwert misst bzw. Fahrbahnzustandsinformationen ermittelt, mit Daten einer Kamera bzw. eines die vorausliegende Fahrbahn erfassenden Fahrzeugumgebungssensors mit größerer Reichweite. Dazu kann bei der Auswertung der Kamerabilddaten der lokal gemessene Fahrbahnzustand respektive Reibwert bzw. die lokale Fahrbahnzustandsinformation unter Berücksichtigung von Odometrie- und Zeitinformationen einzelnen Bildbereichen eines Kamerabilds zugeordnet und zur Unterstützung und/oder Plausibilisierung bei einer vorausschauenden und ortsaufgelösten Reibwertschätzung oder Fahr- bahnzustandsermittlung anhand von Kameradaten berücksichtigt v/erden.
Unter Odometrieinformationen werden hierbei Informationen verstanden, die eine Bewegung des Fahrzeugs charakterisieren und insbesondere Fahrzeugsensorikdaten wie Messgrößen eines Fahrwerks, eines Antriebsstrangs, einer Lenkung sowie Messgrößen einer Navigationsvorrichtung des Fahrzeugs umfassen. Zusammen mit den Zeitinformationen ist somit eine zurückgelegte Bewegung bzw. Trajektorie des Fahrzeugs ermittelbar oder in Kombination mit der Umfeldsensorik auch eine zukünftige Trajektorie vorhersagbar bzw. prädizierbar .
Insbesondere kann während der Fahrt ein begrenzter Fahrbahnabschnitt, der zunächst nur von der Kamera erfasst und dessen Fahrbahnzustand bzw. Reibwert aus Kamerabildern geschätzt wird, nachträglich gemessen werden, wenn er vom lokal messenden Sensor überfahren wird. Mit diesem gemessenen Reibwert, bzw. dieser ermittelten Fahrbahnzustandsinformation können nun vorausliegende Fahrbahnabschnitte einge- schätzt werden, bei denen eine Bildauswertung zu ähnlichen oder identischen Ergebnissen führt wie beim ursprünglichen begrenzten Fahrbahnabschnitt, (in vorherigen Kamerabildern) .
Der Reibwert, auch Reibbeiwert, Kraftschlussbeiwert , (Haft-) Reibungszahl oder Reibungskoeffizient gibt an, welche Kraft zwischen einer Fahrbahnoberfläche und einem Fahrzeugreifen (z.B. in Tangentialrichtung) maximal übertragen werden kann und ist somit ein wesentliches Maß für den Fahrbahnzustand. Neben dem Fahrbahnzustand sind Eigenschaften des Reifens zu einer vollständigen Bestimmung des Reibwerts erforderlich. Für eine Schätzung des Reibwerts z.B. aus Kamerabilddaten werden typischerweise nur Fahrbahnzu- standsinformationen berücksichtigt, da im Allgemeinen aus Kamerabilddaten keine Reifeneigenschaften ermittelt werden können .
Mit anderen Worten v/erden lokal den Reibwert bzw. Fahrbahnzustand bestimmende Systeme wie ESC (inkl. ABS/TCS) oder eine Raddrehschwingungsanalyse (beide auf Basis des Raddrehzahlsignals) und/oder optische Sensoren (z.B. Infrarot- /Lasersensoren) zur Bestimmung der Fahrbahnoberfläche bzw. Messung des lokalen Reibwerts mit der Kamera/Videosensorik zur flächendeckenden Vorausschau derart fusioniert, dass die diskreten Messpunkte der lokal messenden Vorrichtung auf Basis von Odometrie- und Zeitinformationen, also z.B. auf Basis der Fahrzeugbewegung im Kamerabild, verfolgt werden können und somit zur Unterstützung und Plausibilisierung der Kameraalgorithmen den einzelnen Bildbereichen (bzw. Fahrbahnabschnitten) gut zuzuordnen sind. Das erfindungsgemäße Verfahren zur Bestimmung des Fahrbahnzustands gewährleistet eine sehr präzise, hochauflösende und vor allem vorausschauende Ermittlung des ortsaufgelösten Fahrbahnzustands bzw. Reibwerts. Gegenüber vorbestimmten Klassifikationsmethoden einer Fahrbahnzustands - /Reibwertschätzung aus Kamerabilddaten allein erweist sich das erfindungsgemäße Verfahren als besonders anpassungsfähig, da die tatsächlich gemessenen lokalen Reibwerte bzw. ermittelten lokalen Fahrbahninformationen aufgrund der Zuordnung zu den aktuellen Kamerabilddaten das Verfahren weitgehend resistent gegenüber Störeinflüssen bei der Kameraerfassung machen. Dadurch können die Sicherheitssysteme des Fahrzeugs prädiktiv und situativ auf Fahrbahnzustände vorbereitet oder der Fahrer informiert bzw. gewarnt werden.
In einer vorteilhaften Ausführungsform nimmt die Bildauswertung eine Zuordnung von einem lokal gemessenen Reibwert zu einem Fahrbahnabschnitt in mindestens einem Kamerabild vor, wenn die Berücksichtigung von Odometrie- und Zeitinformationen ergibt, dass der Fahrbahnzustand/Reibwert dieses Fahrbahnabschnitts nachträglich lokal gemessen worden ist. Ein Fahrbahnabschnitt kann aus dem Kamerabild insbesondere durch eine Segmentierung ermittelt werden, wobei die Segmentierung vorzugsweise Segmente mit einem vergleichbaren Fahrbahnzustand liefert. Aus den Odometrie- und Zeitinformationen kann ermittelt werden, welcher Fahrbahnabschnitt aus einem Kamerabild nachträglich überfahren worden ist und welcher lokale Reibwert dabei gemessen bzw.
welcher lokale Fahrbahnzustand dabei ermittelt wurde. Bevorzugt sieht die Bildauswertung eine Klassifikation einzelner Fahrbahnabschnitte in Kamerabildern anhand bestimmter Merkmale vor. Die bestimmten Merkmale können insbesondere vorgegebenen Fahrbahnzuständen zugeordnet sein. Der ermittelte Fahrbahnzustand (z.B. trocken, nass, schneebedeckt, vereist) ist ein Indikator für den verfügbaren Reibwert, zwischen Reifen und Fahrbahn. Einem nachträglich lokal gemessenen Reibwert bzw. lokal ermittelten Fahrbahnzustand kann nun eine Klasse an Fahrbahnabschnitten (in denen derselbe Fahrbahnzustand aus dem Kamerabild ermittelt worden war) zugeordnet -werden. Dadurch gelingt eine vorausschauende Reibwertschätzung für alle Fahrbahnabschnitte, die dieser Klasse zugeordnet sind.
Gemäß einer vorteilhaften Ausführungsform wird das Kamerabild in der Fahrbahnebene in ein zweidimensionales Gitternetz unterteilt und der mindestens eine gemessene lokale Reibwert bzw. Fahrbahnzustand mindestens einer Zelle des Gitternetzes zugeordnet.
Dazu kann eine Repräsentation der durch von der Kamera abgebildeten Fahrbahnoberfläche ersteilt werden, die Abstände auf der Fahrbahnoberfläche maßstäblich wiedergibt, z.B. aus der Vogelperspektive darstellt. Hierbei würden die Gitterlinien des Gitternetzes in einer Richtung (horizontal oder vertikal) jeweils einen festen Abstand zueinander aufweisen .
Alternativ könnte dazu ein Gitter über das Kamerabild gelegt, werden, das die perspektivische Verzerrung der Fahrzeugumgebung (und Fahrbahn) durch die Kamera 'widerspiegelt. Dadurch könnte der Inhalt einer jeden Gitterzelle jeweils einem gleich großen Abschnitt der Fahrbahn in realen Abständen entsprechen.
Bevorzugt richtet sich die Anzahl der Zellen, in die das Gitternetz unterteilt wird, nach der Homogenität der Fahrbahn bzw, der Fahrbahnoberfläche insbesondere im Kamerabild. Erscheint die Fahrbahnoberfläche im Kamerabild weitgehend homogen, können weniger Gitterzellen verwendet werden als bei einer inhomogenen Fahrbahnoberfläche. Unterschiedliche Fahrbahnbeläge, Pfützen, Schneeflächen, Laub können Ursache für inhomogene Fahrbahnoberflächen sein, bei denen mit dem Fahrbahnzustand der Reibwert sehr schnell wechse1n kann .
Vorteilhaft richtet sich die Anzahl der Zellen, in die das Gitternetz unterteilt wird, nach der aktuellen Fahrsituation und/oder deren Kritikalität . In kritischen Fahrsituationen kann eine höhere Anzahl von Zellen zu einer noch präziseren ortsaufgelösten Fahrbahnzustands- /ReibwertSchätzung aus dem Kamerabild eingesetzt werden. Dadurch kann z.B. die Bremsensteuerung für ein Notbremsmanöver unter Berücksichtigung von lokalen Fahrbahnzustands- /Reibwertänderungen optimiert werden.
Des Weiteren kann sich die Anzahl der Zellen, in die das Gitternetz unterteilt wird, nach der verfügbaren Rechenleistung richten, die zur Bildauswertung zur Verfügung steht . Unter Umständen kann die Anzahl der Zellen auf 1 reduziert werden, in aller Regel ist jedoch eine Mehrzahl von Zellen für das Gitternetz vorzusehen, um eine Ortsauflösung zu ermöglichen ,
Gemäß einer bevorzugten Ausführungsform wird das Ergebnis der Auswertung der Kameradaten unter Berücksichtigung der dem Kamerabild zugeordneten Fahrbahnzustands-
/Reibwertmessdaten anschließend prädiktiv auf ein nachfol- gend erfasstes Kamerabild angewendet. Die Zuordnung erfolgt bevorzugt anhand von Zellen mit gleichen oder ähnlichen Merkmalen bezüglich des Fahrbahnzustands. Insbesondere kann dabei einzelnen Zellen, die einer gemeinsamen Klasse angehören, ein Fahrbahnzustand bzw. Reibwert zugeordnet werden, die aus einem lokal gemessenen Reibwert bzw. einem lokal ermittelten Fahrbahnzustand bestätigt oder plausibilisiert wurde .
Vorteilhaft wird aus einer prädizierten Bewegungstraj ekto- rie des Fahrzeugs ein Fahrschlauch berechnet, mittels dem sich die Positionen der einzelnen lokal messenden Sensoren und der Räder des Fahrzeugs prädiktiv vor dem Fahrzeug liegenden Fahrbahnabschnitten im Kamerabild, also insbesondere einzelnen Zellen eines Gitternetzes, zuordnen lassen. Die Bewegungstraj ektorien des Fahrzeugs können in an sich bekannter Weise aus Fahrzeugsensor- und/oder Umfeldsensordaten (Kamera, Radar, Lidar etc.) prädiziert werden . Vorteilhaft werden einzelne Fahrbahnabschnitte bzw. Gitterzellen mit einer Klassenwahrscheinlichkeit belegt. Beispielsweise kann angegeben werden, dass eine Zelle zu 80% Klasse 1 zuzuordnen ist, zu 20% einer anderen Klasse. Dadurch kann auch der Tatsache Rechnung getragen v/erden, dass innerhalb einer Zelle tatsächlich unterschiedliche Beschaffenheitsbereiche vorliegen können. Z.B. können 60% eines Zelleninhalts eine nasse Fahrbahn darstellen, -während 40% trocken sind.
Bevorzugt wird als Kamerasensor eine monokulare Kamera verwendet. Monokameras sind als Fahrerassistenzkameras etabliert und preisgünstiger als Stereokameras.
Gemäß einer vorteilhaften Ausführungsform wird als Kamerasensor eine Stereokamera verwendet. Eine Stereokamera bietet gegenüber einer Monokamera eine räumliche Auflösung zu den Bilddaten. Je nach Anforderung können beide oder nur eines der beiden Bilder zur Fahrbahnzustands- bzw. Reibwertschätzung ausgewertet werden.
In einer bevorzugten Ausgestaltung wird als lokal messende Vorrichtung bzw. Sensor exklusiv oder zusätzlich zu weiteren ein optischer Sensor verwendet. Der optische Sensor ist bevorzugt auf die Fahrbahnoberfläche gerichtet und kann die dreidimensionale Form der Fahrbahnoberfläche lokal ermitteln, woraus der Fahrbahnzustand abgeleitet bzw. ein Reibwert geschätzt werden kann.
Alternativ können auch Ultraschall- oder Radarsensoren als derartige lokale Messvorrichtungen verwendet werden, solan- ge sie die dreidimensionale Form der Fahrbahnoberfläche lokal ermitteln können.
In einer besonders vorteilhaften Ausführungsform wird als lokal messende Vorrichtung exklusiv oder zusätzlich zu weiteren mindestens eine Messvorrichtung verwendet, die aus den Drehzahlsignalen eines Fahrzeugrads (R1-R4) Reibwerte misst und/oder ableitet. Aus dem Raddrehzahlsignal können Reifenschlupf und Reifenschwingung analysiert werden, woraus eine Klassifikation des Reibwerts vorgenommen werden kann. Eine derartige Analyse des Schwingungsverhaltens des Reifens, aus dem ein Anregungsspektrum durch die Fahrbahn ermittelt wird, welches mit dem Reibwert korreliert, kann z.B. DE 10 2008 047 750 AI entnommen werden.
Auch ABS/ESC/TCS-Systeme, die aus den Drehzahlsignalen einzelner Fahrzeugräder durch eine Analyse von Schlupfeinlaufen maximale Reibwerte messen bzw. ableiten können, können als derartige Messvorrichtung verwendet werden.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Bestimmung eines Fahrbahnzustands. Die Vorrichtung umfasst eine Kamera, mindestens eine Vorrichtung, die dazu ausgebildet ist, einen lokalen Reibwert zu messen bzw. einen lokalen Fahrbahnzustand zu ermitteln, und eine Kameradaten- auswertungsvorrichtung . Letztere ist dazu ausgebildet, den lokal gemessenen Reibwert/Fahrbahnzustand bei der Kameradatenauswertung zu berücksichtigen. Die Kameradatenauswer- tungsvorrichtung ist dazu ausgebildet, den lokal gemessenen Reibwert, bzw. Fahrbahnzustand unter Berücksichtigung von Odometrie- und Zeitinformationen einzelnen Bildbereichen eines Kamerabilds zuzuordnen und zur Unterstützung und/oder Plausibilisierung bei einer vorausschauenden und ortsaufgelösten Reibwertschätzung oder Fahrbahnzustandsermittlung anhand von Kameradaten berücksichtigen zu können.
Im Folgenden wird die Erfindung anhand von Figuren und Aus- führungsbeispielen näher erläutert.
Es zeigen:
Fig. 1 ein Kamerabild einer vorausliegenden Fahrzeugumgebung ;
Fig. 2 eine Repräsentation der durch das Kamerabild wiedergegeben Szene aus der Vogelperspektive;
Fig. 3 eine Unterteilung eines Ausschnitts der Repräsentation in Zellen mittels eines Gitternetzes, in dem einzelne 2Θ1 JL ΘΏ kl3.ssi f i s iö ii t. siincl . u.rid
Fig. 4 ein Fahrzeug mit lokal messenden Sensoren in einem Gitternetz, in dem einzelne Zellen klassifiziert sind.
Fig. 1 zeigt beispielhaft ein Kamerabild einer vorausliegenden Fahrzeugumgebung, -wie es von einer Frontkamera eines fahrenden Fahrzeugs aufgenommen worden ist. Aus demselben Bild können kamerabasierte Fahrerassistenzfunktionen realisiert werden, z.B. eine Spurverlassenswarnung (LDW, Lane Departure Warning) , eine Spurhalteunterstützung (LKA/LKS, Lane Keeping Assistance/System) , eine Verkehrszeichenerkennung (TSR, Traf fic Sign Recognition) , eine automatische Fernlichtsteuerung (IHC, Intelligent Headlamp Control) , eine Kollisionswarnung (FCW, Forward Collision Warning) , eine Niederschlagserkennung, eine automatische Längsregelung (ACC, Adaptive Cruise Control) , eine Einparkunterstützung, automatische Notbrems- oder Notlenksysteme (EBA, Emergency Brake Assist, oder ESA, Emergency Steering Assist) .
Das Kamerabild zeigt eine Fahrbahn (1) , deren Oberfläche weitgehend homogen ist. Auf der Oberfläche sind Fahrspurmarkierungen zu erkennen: jeweils eine durchgezogenen Seitenlinie, die das linke und rechte Ende der Fahrbahn markieren sowie Mittelliniensegmente (3) der unterbrochenen bzw. gestrichelten mittleren Fahrbahnmarkierung. Die Fahrbahn (1) könnte aus Asphalt oder Beton gebildet sein. Auf der Fahrbahn (1) ist eine Pfütze (2) zu erkennen.
Fig. 2 zeigt eine Repräsentation der durch das Kamerabild in Fig. 1 wiedergegebenen Szene aus einer Vogelperspektive betrachtet. Diese Repräsentation kann aus dem Kamerabild ermittelt werden, wobei bei einer Monokamera vorzugsweise Abbildungseigenschaften der Kamera (4) , die Einbaugeometrie der Kamera im Fahrzeug (5) , der tatsächlichen Fahrzeughöhe (aufgrund der Reifenstands-/Fahrwerksteuerung) , Nick-, Gier- und/oder Rollwinkel berücksichtigt -werden. Es kann die Annahme getroffen werden, dass die Fahrbahnoberfläche eben ist.
Bei einer Stereokamera ist die Repräsentation aufgrund der erfassten 3D-Bilddaten unmittelbar ermittelbar, wobei auch hierbei weitere Aspekte berücksichtigt, werden können.
Die Repräsentation ist im Wesentlichen dadurch gekennzeichnet, dass dort Abstände tatsächlichen Abständen entsprechen. So sind die gezeigten Mittelstreifensegmente auch auf der realen Fahrbahn äquidistant angeordnet. Auf der in Fig. 2 dargestellten Repräsentation sind die Fahrbahn (1) , die Pfütze (2) und die Mittelliniensegmente
(3) der Fahrbahnmarkierung zu erkennen, die bereits im Kamerabild (Fig. 1) enthalten sind. Zusätzlich ist in der Repräsentation ein Fahrzeug (5) mit einer Kamera (4) enthalten, wobei mit der Kamera (4) das Bild aus Fig. 1 aufgenommen worden ist. Der gestrichelte Pfeil gibt die prädizierte Trajektorie (T) des Fahrzeugs (5) an. Bei dieser Geradeausfahrt kann der zurückgelegte Weg s entlang der Trajektorie
(T) im Falle einer gleichförmigen Bewegung mit der Geschwindigkeit v unter Berücksichtigung der Information über die Zeit t bestimmt werden aus s = vt , Auf diese Weise kann unter Berücksichtigung der Odometrie- und Zeitinformationen bestimmt werden, wann z.B. das linke Vorderrad des Fahrzeugs (5) die Pfütze (2) erreichen wird.
Nicht dargestellt sind in diese Repräsentation die lokalen Reibwertmess orrichtungen des Fahrzeugs (5) , die lokal - also im Wesentlichen unter dem Fahrzeug - den Fahrbahnzustand und/oder den Reibwert zwischen Reifen und Fahrbahnoberfläche (1) messen können. Derartige Vorrichtungen können optische Sensoren (6) sein, die auf die Fahrbahnoberfläche (1) gerichtet sind, insbesondere Infrarot- Gder Lasersensoren, oder Vorrichtungen wie ESC, die lokal an den Rädern den verfügbaren Reibwert ermitteln oder die aus einer Analyse eines Raddrehzahlsignals einen Reibwert ableiten .
Fig. 3 zeigt wie ein Gitter (G) über einen Teil der Repräsentation aus Fig. 2 gelegt wird. Dadurch wird die Repräsentation in einzelne Zellen unterteilt. Durch eine Klassi- fikation können einzelnen Gitterzellen einzelne Klassen zugeordnet v/erden, die eine Information über den Fahrbahnzustand bzw. den Reibwert beinhalten. Im vorliegenden Beispiel sind die Zellen der Klasse Kl zugeordnet, in denen trockener Asphalt die Fahrbahn bildet. Die Zellen, in denen nasser Asphalt vorkommt, sind der Klasse K2 zugeordnet. Zellen, in denen ein anderer Untergrund vorkommt, können der Klasse Kn zugeordnet, werden.
Eine simple Klassifikation besteht zum Beispiel in einer Einteilung der Fahrbahnabschnitte in die vier Klassen trockener Asphalt (Kl), nasser Asphalt (K2) , Schnee und Eis. Allgemeiner können n Klassen Kl bis Kn vorgesehen werden, die z.B. unterschiedlichen Fahrbahnmaterialien (Asphalt, Beton, Sand, Kies, etc.) und verschiedenen Kondensatzuständen (z.B. trocken, nass, Schnee, Eis) Rechnung tragen können. Unter den n Klassen kann auch eine Restklasse vorgesehen sein für Fahrbahnabschnitte, die keiner der übrigen (vorgegebenen) Klassen zugeordnet werden können .
Die Anzahl an Gitterzellen bzw. die Größe einer einzelnen Zelle des Gitters (G) kann variiert werden. Wenn die Fahrbahnoberfläche im Kamerabild weitgehend homogen erscheint, wie es hier im Bereich der Fahrbahn (1) außerhalb der Pfütze (2) der Fall ist, können weniger Gitterzellen verwendet werden als bei einer insgesamt inhomogenen Fahrbahnoberfläche oder im Bereich der Pfütze (2) . Unterschiedliche Fahrbahnbeläge, Pfützen (2) , Schneeflächen, Laub können Ursache für inhomogene Fahrbahnoberflächen sein, bei denen der Reibwert, sehr schnell wechseln kann. In kritischen Fahrsituationen kann ebenso eine höhere Anzahl von Zellen zu einer noch präziseren ortsaufgelösten Fahrbahnzustands -/Reibwertschätzung aus dem Kamerabild eingesetzt werden. Dadurch kann z.B. die Bremsensteuerung für ein Notbremsmanöver unter Berücksichtigung von lokalen Reibwertänderungen optimiert werden. Schließlich kann sich die Anzahl der Zellen des Gitters (G) nach der verfügbaren Rechenleistung richten, die zur Bildauswertung zur Verfügung steht .
Fig. 4 zeigt eine gitterbasierte Zuordnung von lokalen Reibwertmessdaten zu klassifizierten Fahrbahnabschnitten bzw. Gitterzeilen.
Wie anhand von Fig. 3 erläutert, erfolgt durch eine Bildauswertung mittels Bildverarbeitungsalgorithmen zunächst eine Klassifikation der einzelnen Zellen anhand bestimmter Merkmale. Daraus ergeben sich Klassenwerte (Kl bis Kn) für die vor dem Fahrzeug liegenden Zellen.
In Fig. 4 liegt beispielsweise eine Fahrbahnsituation vor, die der in Fig. 2 und 3 dargestellten vergleichbar ist. Die meisten Zellen sind der Klasse Kl zugeordnet, während ein 2x2 Block von Zellen der Klasse K2 zugeordnet ist. Während also der Kameraauswertung und Klassifikation die Information entnommen werden kann, dass eine Pfütze bzw. ein zusammenhängender nasser Bereich (2) auf ansonsten trockener Fahrbahn (1) vorausliegt, kann diesen Klassen (Kl, K2 , ...) nicht ohne weiteres Wissen (Durchschnittswerte, Erfahrungswerte etc.) ein tatsächlicher Fahrbahnzustand/Reibwert zugeordnet, werden. Die trockene Fahrbahn (1) könnte aus griffigem oder glattem Asphalt gebildet sein. Die Pfütze (2) könnte flach oder tief sein, aus Wasser oder aus öl gebildet etc .
Diese Ungewissheit kann durch eine Messung des Fahrbahnzustands/Reibwerts mittels eines lokalen Sensors des Fahrzeugs (5) ausgeräumt werden. Das dargestellte Fahrzeug (5) verfügt über einen optischen Sensor (6) und vier Messvorrichtungen, die aus den Drehzahlsignalen jeweils eines der vier Fahrzeugräder (R1-R4) Reibwerte ableiteten bzw. messen als lokale Sensoren. Diese lokalen Sensoren messen einen aktuellen Fahrbahnzustand/Reibwert, der jeweils der Zelle des Gitters (G) zugeordnet werden kann, innerhalb welcher der lokale Sensor den Fahrbahnzustand/Reibwert, misst. In Fig. 4 sind das die Zellen, in denen der optische Sensor (6) misst und in denen jeweils ein Rad (R1-R4) mit der Fahrbahn (1) in Kontakt ist.
Die Verknüpfung zwischen den Klassen Kl bis Kn und den lokalen Messwerten erfolgt über Odometrie- und Zeitdaten. Die Klasseneinteilung auf Basis der Kameradaten kann nun odometriegestützt bei Überfahrt des Fahrzeugs mit den Ergebnissen der lokalen Sensoren mit, den Ergebnissen der Kameraklassifikation in den jeweiligen Zellen fusioniert v/erden. In Fig. 4 war z.B. die Zelle, in der der optische Sensor (6) den Fahrbahnzustand/Reibwert misst der Klasse Kl (trockener Asphalt) zugeordnet. Aufgrund des Messwerts kann dieser Klasse erstmals ein Reibwert bzw. Fahrbahnzustand zugeordnet v/erden oder ein vorab geschätzter Fahrbahnzustand/Reibwert für diese Klasse (Kl) kann als fusionierter Fahrbahnzustand/Reibwert (Kl ) plausibilisiert , korrigiert oder validiert v/erden. In den Zellen links des linken (R3) und rechten (R4) Hinterrads war bereits bei der Überfahrt ein entsprechender fusionierter Reibwert bzw. Fahrbahnzustand (Kl) ermittelt worden.
In gleicher Weise kann ein Messwert für die Klasse K2 (nasser Asphalt) erhalten werden in der Zelle, in der sich das vordere rechte Fahrzeugrad (R2) befindet, indem die Mess- vorrichtung aus dem Drehzahlsignal des vorderen rechten Fahrzeugrads (R2) den Fahrbahnzustand/Reibwert, ableitet bzw. misst und daraus ein fusionierter Reibwert bzw. Fahrbahnzustand (K2) für die Klasse K2 bestimmt wird. Die Zuordnung dieser Zelle zur Klasse K2 war bereits in einem zuvor aufgenommenen Kamerabild erfolgt. Und aufgrund der Odometrie- und Zeitdaten wird ermittelt, ob und wann die lokalen Sensoren im Bereich dieser klassifizierten Zellen messen .
Die so gewonnenen Fusionsergebnisse werden anschließend wiederum prädiktiv auf das aktuell vorausschauende Kamerabild angewendet und hier den entsprechenden Klassen der einzelnen Zellen zugeordnet.
Alternativ ist es möglich, aus der prädizierten Bewegungs- trajektorie (T) des Fahrzeugs (5) den zukünftigen Fahrschlauch zu berechnen. Auch dies ist, in Fig. 4 dargestellt. Ausgehend vom aktuellen Kamerabild lässt sich z.B. abschätzen, dass der optische Sensor (6) den Fahrbahnzustand/Reibwert in den Zellen messen können wird, durch die die gestrichelte Trajektorie (T) verläuft. Wann das der Fall sein wird, lässt sich aus den Odometrie- und Zeitdaten bestimmen. Bei einer gleichförmigen Bewegung mit einer konstanten Winkelgeschwindigkeit ω entlang einer Kreisbahn mit Radius r bestimmt sich der während einer Zeit t zurückgelegte Weg s zu s = rwfc. Damit lassen sich die Positionen , 1
des optischen Sensors (6) und der einzelnen Räder (R1-R4) des Fahrzeugs (5) prädiktiv den vor dem Fahrzeug liegenden Zellen mit ihren Merkmalen präzise zuordnen. So ist zu erkennen, dass in zwei Zeilen, die der Klasse K2 zugeordnet sind, in nächster Zeit der optische Sensor (6) den Fahrbahnzustand/Reibwert messen können wird und somit ein fusi- onierter Reibwert ( K2 ) für die Klasse 2 verfügbar sein wird: nämlich in der dritten und vierten Zelle rechts der Zelle mit dem optischen Sensor (6) .
Bezugs eichenliste
1 Fahrbahn bzw. Fahrbahnoberfläche
2 Pfütze
3 Mittelliniensegment
4 Kamera
5 Fahrzeug
6 Optischer Sensor zur lokalen Fahrbahnzustandsbestim- mung
(Bewegungs-) Traj ektorie
Gitter bzw. Gitternetz
Kl Klasse 1
Klasse 2
Kn Klasse n
Kl fusionierte Reibwertschätzung für Klasse 1
K2 fusionierte Reibwertschätzung für Klasse 2
Rl linkes Vorderrad
R2 rechtes Vorderrad
R3 linkes Hinterrad
R4 rechtes Hinterrad

Claims

Patentansprüche
1. Verfahren zur Bestimmung eines Fahrbahnzustands aus Kameradaten, wobei Daten aus mindestens einer Vorrichtung, die einen lokalen Fahrbahnzustand oder Reibwert misst, mit Daten einer Kamera (4) fusioniert werden, dadurch gekennzeichnet, dass
bei der Auswertung der Kameradaten der lokal gemessene Fahrbahnzustand oder Reibwert unter Berücksichtigung von Odometrie- und Zeitinformationen einzelnen Bildbereichen eines Kamerabilds zugeordnet und zur Unterstützung und/oder Plausibilisierung bei einer vorausschauenden und ortsaufgelösten Reibwertschätzung oder Fahrbahnzustandsermittlung anhand von Kameradaten berücksichtigt werden kann.
2. Verfahren nach Anspruch 1, wobei
die Bildauswertung eine Zuordnung des lokal gemessenen Fahrbahnzustands oder Reibwerts zu mindestens einem Fahrbahnabschnitt in einem Kamerabild vornimmt, wenn die Berücksichtigung von Odometrie- und Zeitinformationen ergibt, dass der Fahrbahnzustand oderReibwert dieses Fahrbahnabschnitts nachträglich lokal gemessen worden ist,
3. Verfahren nach Anspruch 1 oder 2, wobei die Bildauswertung eine Klassifikation (Kl, K2 , Kn) einzelner Bildbereiche oder Fahrbahnabschnitte in einem Kamerabild anhand bestimmter Merkmale vorsieht.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Kamerabild in der Fahrbahnebene in ein zweidimensionales Gitternetz (G) unterteilt wird und der mindestens eine lokal gemessene Fahrbahnzustand oder Reibwert einer Zelle des Gitternetzes (G) zugeordnet wird .
5. Verfahren nach Anspruch 4, wobei sich die Anzahl der Zeilen, in die das Gitternetz (G) unterteilt wird, nach der Homogenität der Fahrbahn (1) richtet.
6. Verfahren nach Anspruch 4 oder 5, wobei sich die Anzahl der Zellen, in die das Gitternetz (G) unterteilt wird, nach der aktuellen Fahrsituation und/oder deren Kritikalität richtet.
7. Verfahren nach einem der Ansprüche 4 bis 6, wobei sich die Anzahl der Zellen, in die das Gitternetz (G) unterteilt wird, nach der für das Verfahren verfügbaren Rechenleistung richtet.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Ergebnis der Auswertung der Kameradaten unter Berücksichtigung des dem Kamerabild zugeordneten lokal gemessenen Fahrbahnzustands oder Reibwerts anschließend prädiktiv auf ein nachfolgend erfasstes Kamerabild angewendet wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei aus einer prädizierten Bewegungstraj ektorie (T) des Fahrzeugs (5) ein Fahrschlauch berechnet wird, mittels dem sich die Positionen der einzelnen Räder (R1-R4) des Fahrzeugs (5) und/oder eines lokal messenden Sensors prädiktiv Fahrbahnabschnitten im Kamerabild zuordnen lassen, die vor dem Fahrzeug liegen.
Verfahren nach einem der Ansprüche 3 bis 9, wobei einem Bildbereich oder Fahrbahnabschnitt Wahrscheinlichkeitswerte zugeordnet werden, die angeben, mit welcher Wahrscheinlichkeit der Bildbereich oder Fahrbahnabschnitt einer ersten Klasse und mindestens einer zweiten Klasse zuzuordnen ist.
Verfahren nach einem der vorhergehenden Ansprü che, wobei als Kamera (4) eine Monokamera verwendet wird .
12. Verfahren nach einem der Ansprüche 1 bis 10, wobei als Kamera (4) eine Stereokamera verwendet wird.
13. Verfahren nach einem der vorhergehenden Ansprüche, wobei als lokal messende Vorrichtung ein Sensor oder ein optischer Sensor (6) verwendet wird, der die dreidimensionale Form der Fahrbahnoberfläche lokal er-
Verfahren nach einem der vorhergehenden Ansprüche, wobei als lokal messende Vorrichtung mindestens eine Messvorrichtung verwendet wird, die aus den Dreh zahlsignalen eines Fahrzeugrads (R1-R4) einen lokalen Reibwert misst und/oder ableitet.
Vorrichtung zur Bestimmung eines Fahrbahnzustands umfassend eine Kamera (4) , mindestens eine Vorrichtung, die dazu ausgebildet ist, einen lokalen Fahrbahnzustand oder Reibwert zu messen, und eine Kamera- datenauswertungsvorrichtung, die dazu ausgebildet, ist, den lokal gemessenen Fahrbahnzustand oder Reibwert bei der Kameradatenauswertung zu berücksichtigen,
dadurch gekennzeichnet, dass
die Kameradatenauswertungsvorrichtung ferner dazu ausgebildet ist, den lokal gemessenen Fahrbahnzustand oder Reibwert unter Berücksichtigung von Odometrie- und Zeitinformationen einzelnen Bildbereichen eines Kamerabilds zuzuordnen und zur Unterstützung und/oder Plausibilisierung bei einer vorausschauenden und ortsaufgelösten Reibwertschätzung oder Fahrbahnzustandser- mittlung anhand von Kameradaten berücksichtigen zu können .
PCT/DE2013/200339 2012-12-20 2013-12-09 Verfahren zur bestimmung eines fahrbahnzustands aus umfeldsensordaten WO2014094766A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112013006175.9T DE112013006175A5 (de) 2012-12-20 2013-12-09 Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
US14/424,148 US9676331B2 (en) 2012-12-20 2013-12-09 Method for determining a state of a pavement from surroundings sensor data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012112724.7A DE102012112724A1 (de) 2012-12-20 2012-12-20 Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
DE102012112724.7 2012-12-20

Publications (1)

Publication Number Publication Date
WO2014094766A1 true WO2014094766A1 (de) 2014-06-26

Family

ID=49999655

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2013/200339 WO2014094766A1 (de) 2012-12-20 2013-12-09 Verfahren zur bestimmung eines fahrbahnzustands aus umfeldsensordaten

Country Status (3)

Country Link
US (1) US9676331B2 (de)
DE (2) DE102012112724A1 (de)
WO (1) WO2014094766A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016032638A1 (en) * 2014-08-28 2016-03-03 Robert Bosch Gmbh Adaptive electronic stability control
WO2016120092A1 (de) * 2015-01-29 2016-08-04 Robert Bosch Gmbh Verfahren zum betrieb einer reibwertdatenbank und reibwertdatenbank
DE102016217637A1 (de) 2016-09-15 2018-03-15 Volkswagen Aktiengesellschaft Odometrie-Verfahren zum Ermitteln einer Position eines Kraftfahrzeugs, Steuervorrichtung und Kraftfahrzeug

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012112725A1 (de) * 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102013101639A1 (de) 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
DE102013222634B4 (de) * 2013-11-07 2019-05-16 Volkswagen Aktiengesellschaft Verfahren zur Prognostizierung eines Fahrbahn-Reibungsbeiwerts sowie Verfahren zum Betrieb eines Kraftfahrzeugs
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
CA3067160A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6673766B2 (ja) * 2016-06-30 2020-03-25 株式会社ブリヂストン 路面状態判別方法
US10082795B2 (en) * 2016-08-24 2018-09-25 GM Global Technology Operations LLC Vision-based on-board real-time estimation of water film thickness
EP3299993A1 (de) * 2016-09-22 2018-03-28 OmniKlima AB Verfahren und anordnung zur bestimmung des zustands eines strassenbelags
US10275662B1 (en) * 2016-09-30 2019-04-30 Zoox, Inc. Estimating friction based on image data
DE102016220651A1 (de) 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
KR20180061686A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 자율 주행 경로 생성 방법 및 그 장치
US10078334B2 (en) * 2016-12-07 2018-09-18 Delphi Technologies, Inc. Vision sensing compensation
DE102016225352B4 (de) * 2016-12-16 2018-10-04 Volkswagen Aktiengesellschaft Verfahren zum Schätzen eines Reibwerts einer Fahrbahn mittels eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
US10261515B2 (en) * 2017-01-24 2019-04-16 Wipro Limited System and method for controlling navigation of a vehicle
US10106168B2 (en) 2017-02-27 2018-10-23 GM Global Technology Operations LLC Methods and systems for proactively estimating road surface friction coefficient
CN110832281A (zh) * 2017-06-20 2020-02-21 尼拉动力公司 道路状况监测
US20200174490A1 (en) * 2017-07-27 2020-06-04 Waymo Llc Neural networks for vehicle trajectory planning
DE102017214030A1 (de) * 2017-08-11 2019-02-14 Robert Bosch Gmbh Verfahren zum Bestimmen eines Reibwerts für einen Kontakt zwischen einem Reifen eines Fahrzeugs und einer Fahrbahn und Verfahren zum Steuern einer Fahrzeugfunktion eines Fahrzeugs
US10773725B1 (en) 2017-08-25 2020-09-15 Apple Inc. Tire-road friction estimation and mapping
US11541893B2 (en) * 2017-09-26 2023-01-03 Nira Dynamics Ab Friction estimation
DE102017124944A1 (de) * 2017-10-25 2019-04-25 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzvorrichtung zum Anzeigen einer Umgebung eines Kraftfahrzeugs mit einer abgespeicherten Bodentextur
JP6863476B2 (ja) 2017-12-07 2021-04-21 日産自動車株式会社 路面状態判定方法及び路面状態判定装置
US10489923B2 (en) * 2017-12-13 2019-11-26 Vaisala, Inc. Estimating conditions from observations of one instrument based on training from observations of another instrument
US10706294B2 (en) * 2018-05-03 2020-07-07 Volvo Car Corporation Methods and systems for generating and using a road friction estimate based on camera image signal processing
US11124193B2 (en) 2018-05-03 2021-09-21 Volvo Car Corporation System and method for providing vehicle safety distance and speed alerts under slippery road conditions
CN108960060A (zh) * 2018-06-01 2018-12-07 东南大学 一种无人驾驶车辆路面纹理识别***及方法
DE102018212629A1 (de) * 2018-07-27 2020-01-30 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung von Fahrbahnzuständen
DE102018212630A1 (de) * 2018-07-27 2020-01-30 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands
DE102018216809A1 (de) * 2018-09-28 2020-04-02 Robert Bosch Gmbh Verfahren, Vorrichtung und Sensorsystem zur Umfelderfassung für ein Fahrzeug
DE102018124866A1 (de) 2018-10-09 2020-04-09 Schaeffler Technologies AG & Co. KG Verfahren zur Ermittlung eines Fahrbahnzustandes und Fahrzeug mit mindestens zwei radselektiven Lenkungsaktuatoren
KR102529918B1 (ko) * 2018-10-16 2023-05-08 현대자동차주식회사 차량 물튐 현상 대응 장치, 그를 포함한 시스템 및 그 방법
DE102018217791A1 (de) * 2018-10-17 2020-05-07 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Anpassen eines Abstands zwischen einem Ego-Fahrzeug und einem vorausfahrenden Fahrzeug
US11845310B2 (en) 2018-10-18 2023-12-19 Ford Global Technologies, Llc Systems and methods for tire warmup and vehicle launch optimization
DE102018220576A1 (de) * 2018-11-29 2020-06-04 Robert Bosch Gmbh Verfahren und Steuergerät zum Bestimmen eines Reibwertpotentials eines Fahrbahnbelags
DE102018221594B4 (de) * 2018-12-13 2023-08-03 Audi Ag Verfahren und Vorrichtung zur Glätteerkennung für ein Fahrzeug sowie Kraftfahrzeug
DE102019105649A1 (de) * 2019-03-06 2020-09-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Ermitteln des Reibwerts zwischen mindestens einem Reifen und einer Fahrbahn eines Neigefahrzeugs, Steuervorrichtung und Neigefahrzeug
KR102669246B1 (ko) 2019-04-05 2024-05-29 볼보 트럭 코퍼레이션 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법 및 제어 유닛
CN114008408A (zh) * 2019-04-23 2022-02-01 谷歌有限责任公司 生成表面地图以改进导航
DE102019114904A1 (de) * 2019-06-04 2020-12-10 Valeo Schalter Und Sensoren Gmbh Vorausschauende Erkennung einer Fahrbahnbeschaffenheit mittels eines Laserscanners und einer Kameraeinheit
CN113015887A (zh) * 2019-10-15 2021-06-22 谷歌有限责任公司 基于天气和路面类型的导航方向
DE102020103917A1 (de) 2020-02-14 2021-08-19 HELLA GmbH & Co. KGaA Verfahren zur Bestimmung des Reibwertes einer mit einem Fahrzeug befahrenen Fahrbahnoberfläche
US11472414B2 (en) 2020-03-26 2022-10-18 Intel Corporation Safety system for a vehicle
DE102020205340A1 (de) 2020-04-28 2021-10-28 Zf Friedrichshafen Ag Umfelderfassung für ein Off-Road Fahrzeug
KR20220057674A (ko) * 2020-10-29 2022-05-09 주식회사 만도 차량 제어 장치 및 방법과, 차량 시스템
DE102020214620A1 (de) * 2020-11-20 2022-05-25 Zf Friedrichshafen Ag Auswerteeinrichtung, Computerprogramm und computerimplementiertes Verfahren zum Trainieren eines neuronalen Netzes zur Reibwertbestimmung
DE102021101788A1 (de) 2021-01-27 2022-07-28 Zf Cv Systems Global Gmbh Verfahren zum ortsaufgelösten Ermitteln einer Oberflächeneigenschaft eines Untergrundes, Verarbeitungseinheit und Fahrzeug
FR3124469B1 (fr) * 2021-06-25 2023-11-24 Renault Sas Procede d’optimisation du contrôle dynamique du châssis d’un vehicule
CN114781498B (zh) * 2022-04-06 2023-09-01 欧亚高科数字技术有限公司 基于人工智能的道路塌陷监测方法及***
CN117664962B (zh) * 2023-11-17 2024-05-28 暨南大学 单摩擦轮滑滚状态的光学测算模型与评估方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0412791A2 (de) * 1989-08-10 1991-02-13 LUCAS INDUSTRIES public limited company Überwachung und Vorhersage von Fahrzeug/Strassen-Bedingungen
EP0792228B1 (de) 1994-11-25 2000-08-09 Continental Teves AG & Co. oHG System zur fahrstabilitätsregelung
EP1201521A1 (de) * 2000-10-26 2002-05-02 Fuji Jukogyo Kabushiki Kaisha Gerät zur Abschätzung von Strassenreibwerten für Fahrzeuge
DE10256726A1 (de) 2002-12-05 2004-06-24 Conti Temic Microelectronic Gmbh Verfahren zur fahrbahnabhängigen Signalgenerierung in einem Kraftfahrzeug
DE102004018088A1 (de) 2003-04-09 2005-02-10 Continental Teves, Inc., Auburn Hills Fahrbahnerkennungssystem
DE102004047914A1 (de) 2004-09-29 2006-03-30 A.D.C. Automotive Distance Control Systems Gmbh Methode zur Einschätzung des Fahrbahnzustands
DE102008047750A1 (de) 2007-09-18 2009-05-07 Continental Teves Ag & Co. Ohg Bestimmung eines Kraftschlusses mit wenigen Sensoren
WO2011007015A1 (de) 2009-07-17 2011-01-20 Continental Teves Ag & Co. Ohg Laserbasiertes verfahren zur reibwertklassifikation in kraftfahrzeugen
DE102009041566A1 (de) 2009-09-15 2011-03-24 Continental Teves Ag & Co. Ohg Verfahren zur Klassifizierung des Fahrbahnreibwerts
WO2012110030A2 (de) 2011-02-14 2012-08-23 Conti Temic Microelectronic Gmbh Reibwertschätzung mittels einer 3d-kamera

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH072448B2 (ja) * 1986-01-13 1995-01-18 アイシン・エィ・ダブリュ株式会社 ４輪駆動の制御装置
JPH0735522A (ja) 1993-07-23 1995-02-07 Nippon Doro Kodan レーザーを利用した舗装路面横断プロフィル測定方法
US5774821A (en) 1994-11-25 1998-06-30 Itt Automotive Europe Gmbh System for driving stability control
JPH08263784A (ja) 1995-03-23 1996-10-11 Honda Motor Co Ltd 道路状況認識装置
EP0827127B1 (de) 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Lokales Positionierungsgerät und Verfahren dafür
DE19856510C2 (de) 1998-02-20 2002-10-24 Cegelec Anlagen Und Automatisi Verfahren und System zur Ermittlung von Unebenheiten und Schadstellen in der Oberfläche einer Verkehrsfläche
DE19854964A1 (de) * 1998-11-29 2000-06-08 Martin Spies Sensor zur Fahrbahnbeurteilung
JP2001334921A (ja) 2000-05-30 2001-12-04 Fuji Heavy Ind Ltd 車両の路面摩擦係数推定装置
JP3539722B2 (ja) * 2000-11-16 2004-07-07 富士重工業株式会社 車両の路面摩擦係数推定装置
DE10060333A1 (de) 2000-12-04 2002-06-13 Daimler Chrysler Ag Vorrichtung zur Erkennung einer während des Fahrbetriebes eines Fahrzeuges auftretenden Aquaplaninggefahr
DE10155488A1 (de) 2001-11-13 2003-05-28 Wilhelm Caspary Verfahren zur Erfassung der Oberfläche einer Fahrbahn
US6636258B2 (en) 2001-10-19 2003-10-21 Ford Global Technologies, Llc 360° vision system for a vehicle
US7203579B2 (en) 2001-12-21 2007-04-10 Kabushiki Kaisha Bridgestone Method and apparatus for estimating road surface state and tire running state, ABS and vehicle control using the same
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
JP4046059B2 (ja) * 2002-11-08 2008-02-13 株式会社豊田中央研究所 路面状態推定装置
US7417738B2 (en) * 2004-01-27 2008-08-26 Tradewind Scientific Ltd. Determining surface properties of a roadway or runway from a moving vehicle
JP4453382B2 (ja) 2004-02-10 2010-04-21 トヨタ自動車株式会社 車両の走行制御装置
JP4185545B2 (ja) * 2004-03-29 2008-11-26 パイオニア株式会社 道路景観解析装置及び方法
DE102004016288B3 (de) 2004-04-02 2005-08-18 Daimlerchrysler Ag Verfahren zur Bestimmung eines Reibwerts
DE102004019337A1 (de) 2004-04-21 2005-11-17 Siemens Ag Assistenzsystem für Kraftfahrzeuge
DE102004055069B4 (de) 2004-07-15 2007-02-15 Daimlerchrysler Ag Mehrdimensionale Fahrbahnvermessung
DE102004048637A1 (de) 2004-10-04 2006-04-06 Daimlerchrysler Ag 3D-Fahrbahnmessung mit redundanten Messdaten
DE102006012289A1 (de) 2006-03-17 2007-09-20 Man Nutzfahrzeuge Ag Verfahren zur vorausschauenden Erkennung der Reibwertänderung eines Straßenbelags
US8306747B1 (en) 2007-01-19 2012-11-06 Starodub, Inc. Travel way measurement system
EP2048476B1 (de) 2007-10-08 2013-12-11 Delphi Technologies, Inc. Fahrerunterstützungsverfahren
DE102009033219A1 (de) 2009-01-23 2010-07-29 Daimler Ag Verfahren zur Ermittlung eines Fahrzeug vorausliegenden Straßenprofils einer Fahrspur
JP5172764B2 (ja) 2009-03-30 2013-03-27 本田技研工業株式会社 路面摩擦係数推定装置
US8395529B2 (en) 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
KR101089650B1 (ko) 2009-09-23 2011-12-06 삼성전기주식회사 차량 속도 제어 장치 및 방법
JP5325765B2 (ja) 2009-12-28 2013-10-23 日立オートモティブシステムズ株式会社 路肩検出装置及び路肩検出装置を用いた車両
DE102010011093A1 (de) 2010-03-11 2011-09-15 Daimler Ag Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung
DE102010013339A1 (de) 2010-03-30 2011-01-05 Daimler Ag Vorrichtung und Verfahren zur Steuerung eines Motorlagers für ein Fahrzeug
DE102010045162A1 (de) 2010-09-11 2012-03-15 Volkswagen Ag Schlaglochassistent mit Umfeldwahrnehmung
JP2012066785A (ja) 2010-09-27 2012-04-05 Fuji Heavy Ind Ltd 車両の統合制御装置
DE102010063017A1 (de) 2010-12-14 2012-06-14 Robert Bosch Gmbh Verfahren in einem Fahrerassistenzsystem zur Erkennung von Nässe auf einer Fahrbahn
DE102011011755A1 (de) 2011-02-18 2012-08-23 Conti Temic Microelectronic Gmbh Halbleiterschaltkreis und Verfahren in einem Sicherheitskonzept zum Einsatz in einem Kraftfahrzeug
WO2012117057A1 (de) * 2011-03-01 2012-09-07 Continental Teves Ag & Co. Ohg Sicherheitsvorrichtung für ein kraftfahrzeug und verfahren zum betrieb eines kraftfahrzeugs
EP2683586A1 (de) * 2011-03-09 2014-01-15 Continental Teves AG & Co. oHG Sicherheitsvorrichtung für ein kraftfahrzeug und verfahren zum betrieb eines kraftfahrzeugs
DE102011100907A1 (de) 2011-05-09 2012-01-12 Daimler Ag Vorrichtung und Verfahren zur Ermittlung eines Fahrbahnzustands
WO2013009697A1 (en) 2011-07-08 2013-01-17 Bendix Commercial Vehicle Systems Llc Image-based vehicle detection and distance measuring method and apparatus
DE102011081362A1 (de) 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung eines Oberflächenzustands einer von einem Fahrzeug befahrenen oder zu befahrenden Fahrbahn
DE102012101085A1 (de) 2012-02-10 2013-08-14 Conti Temic Microelectronic Gmbh Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera
DE102012024874B4 (de) 2012-12-19 2014-07-10 Audi Ag Verfahren und Vorrichtung zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche
DE102012112725A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102013101639A1 (de) 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
US9187099B2 (en) 2013-10-17 2015-11-17 Richard M. Powers Systems and methods for predicting weather performance for a vehicle
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
US9434388B2 (en) 2014-10-31 2016-09-06 GM Global Technology Operations LLC Surface estimation for vehicles

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0412791A2 (de) * 1989-08-10 1991-02-13 LUCAS INDUSTRIES public limited company Überwachung und Vorhersage von Fahrzeug/Strassen-Bedingungen
EP0792228B1 (de) 1994-11-25 2000-08-09 Continental Teves AG & Co. oHG System zur fahrstabilitätsregelung
EP1201521A1 (de) * 2000-10-26 2002-05-02 Fuji Jukogyo Kabushiki Kaisha Gerät zur Abschätzung von Strassenreibwerten für Fahrzeuge
DE10256726A1 (de) 2002-12-05 2004-06-24 Conti Temic Microelectronic Gmbh Verfahren zur fahrbahnabhängigen Signalgenerierung in einem Kraftfahrzeug
DE102004018088A1 (de) 2003-04-09 2005-02-10 Continental Teves, Inc., Auburn Hills Fahrbahnerkennungssystem
DE102004047914A1 (de) 2004-09-29 2006-03-30 A.D.C. Automotive Distance Control Systems Gmbh Methode zur Einschätzung des Fahrbahnzustands
DE102008047750A1 (de) 2007-09-18 2009-05-07 Continental Teves Ag & Co. Ohg Bestimmung eines Kraftschlusses mit wenigen Sensoren
WO2011007015A1 (de) 2009-07-17 2011-01-20 Continental Teves Ag & Co. Ohg Laserbasiertes verfahren zur reibwertklassifikation in kraftfahrzeugen
DE102009041566A1 (de) 2009-09-15 2011-03-24 Continental Teves Ag & Co. Ohg Verfahren zur Klassifizierung des Fahrbahnreibwerts
WO2012110030A2 (de) 2011-02-14 2012-08-23 Conti Temic Microelectronic Gmbh Reibwertschätzung mittels einer 3d-kamera

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016032638A1 (en) * 2014-08-28 2016-03-03 Robert Bosch Gmbh Adaptive electronic stability control
US9387851B2 (en) 2014-08-28 2016-07-12 Robert Bosch Gmbh Adaptive electronic stability control
EP3186125B1 (de) * 2014-08-28 2024-06-05 Robert Bosch GmbH Adaptive elektronische stabilitätssteuerung
WO2016120092A1 (de) * 2015-01-29 2016-08-04 Robert Bosch Gmbh Verfahren zum betrieb einer reibwertdatenbank und reibwertdatenbank
DE102016217637A1 (de) 2016-09-15 2018-03-15 Volkswagen Aktiengesellschaft Odometrie-Verfahren zum Ermitteln einer Position eines Kraftfahrzeugs, Steuervorrichtung und Kraftfahrzeug
CN107826168A (zh) * 2016-09-15 2018-03-23 大众汽车有限公司 用于求取机动车的位置的测距方法、控制设备和机动车
US10466064B2 (en) 2016-09-15 2019-11-05 Volkswagen Ag Odometry method for determining a position of a motor vehicle, control device and motor vehicle
CN107826168B (zh) * 2016-09-15 2020-04-28 大众汽车有限公司 用于求取机动车的位置的测距方法、控制设备和机动车

Also Published As

Publication number Publication date
DE102012112724A1 (de) 2014-06-26
DE112013006175A5 (de) 2015-09-10
US20150224925A1 (en) 2015-08-13
US9676331B2 (en) 2017-06-13

Similar Documents

Publication Publication Date Title
WO2014094766A1 (de) Verfahren zur bestimmung eines fahrbahnzustands aus umfeldsensordaten
DE102009006335B4 (de) Verfahren zur Unterstützung des Fahrers eines Kraftfahrzeugs
EP2507112B1 (de) Verfahren zur bestimmung einer trajektorie eines fahrzeugs
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
DE102013101639A1 (de) Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
WO2014094767A1 (de) Reibwertschätzung aus kamera- und raddrehzahldaten
WO2014095019A1 (de) Verfahren und vorrichtung zum prädikativen ermitteln eines parameterwertes einer von einem fahrzeug befahrbaren oberfläche
DE102006038018A1 (de) Verfahren und Vorrichtung zur Fahrerassistenz durch Erzeugung von Spurinformationen zur Unterstützung oder zum Ersatz von Spurinformationen einer videobasierten Spurinformationseinrichtung
DE102013223367A1 (de) Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
EP3094530A1 (de) Verfahren und system zum schätzen eines fahrspurverlaufs
EP0915350A2 (de) Vorrichtung zur Ermittlung fahrspurverlaufsindikativer Daten
DE102006036921A1 (de) Verfahren zum Stabilisieren eines Kraftfahrzeugs und Fahrdynamikregelsystem
DE102010050167A1 (de) Verfahren und Vorrichtung zur Bestimmung eines plausiblen Fahrstreifens zur Führung eines Fahrzeugs sowie Kraftwagen
DE102019206875B3 (de) Erkennen einer Bankettfahrt eines Kraftfahrzeugs
DE102012107885A1 (de) Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE102008020007A1 (de) Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug mit einer Fahrspurerkennung
DE102014207541A1 (de) Fahrbahnmarkierungsbezogene Fahrassistenz
EP2982572A2 (de) Verfahren zum unterstützen eines fahrers eines kraftfahrzeugs beim ausparken, fahrerassistenzsystem und kraftfahrzeug
DE102008025773A1 (de) Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts
EP2964503B1 (de) Schätzung der zukünftigen geschwindigkeit und/oder entfernung eines fahrzeugs von einem referenzpunkt und schätzung der zukünftigen beschleunigung
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
WO2014090247A1 (de) Videobasierte erkennung von hindernissen auf einer fahrbahn
DE102014223259B4 (de) Verfahren zum Schätzen des Fahrstreifenverlaufs einer Fahrbahn
DE102012018471A1 (de) Verfahren zur Erkennung einer Begrenzung eines Fahrbahnrandes für ein Fahrzeug
DE102015015023A1 (de) Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13823930

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14424148

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1120130061759

Country of ref document: DE

Ref document number: 112013006175

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112013006175

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13823930

Country of ref document: EP

Kind code of ref document: A1