WO2012171739A2 - Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs - Google Patents

Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs Download PDF

Info

Publication number
WO2012171739A2
WO2012171739A2 PCT/EP2012/059033 EP2012059033W WO2012171739A2 WO 2012171739 A2 WO2012171739 A2 WO 2012171739A2 EP 2012059033 W EP2012059033 W EP 2012059033W WO 2012171739 A2 WO2012171739 A2 WO 2012171739A2
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
light
determining
feature
additional
Prior art date
Application number
PCT/EP2012/059033
Other languages
English (en)
French (fr)
Other versions
WO2012171739A3 (de
Inventor
Petko Faber
Gregor Schwarzenberg
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN201280078252.5A priority Critical patent/CN105593875B/zh
Priority to JP2014515114A priority patent/JP5851597B2/ja
Priority to US14/126,885 priority patent/US9946937B2/en
Priority to EP12722129.9A priority patent/EP2721554A2/de
Publication of WO2012171739A2 publication Critical patent/WO2012171739A2/de
Publication of WO2012171739A3 publication Critical patent/WO2012171739A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Definitions

  • the present invention relates to a method for detecting a weather condition in an environment of a vehicle, to a control unit for detecting a weather condition in an environment of a vehicle and to a corresponding computer program product.
  • DE 10 2007 062 258 A1 describes an optical rain sensor device for a motor vehicle.
  • the present invention proposes a method for detecting a weather condition in an environment of a vehicle, a control device for detecting a weather condition in an environment of a vehicle and a corresponding computer program product according to the main claims.
  • Advantageous embodiments emerge from the respective subclaims and the following description.
  • previ- rige vehicles can detect precipitation with, for example, a rain sensor and adjust functions of the vehicle.
  • Active vehicle safety systems such as ABS and ESP can only respond to weather-related changes to the road if the vehicle is already losing its grip. Therefore, these systems can only react. For a predictive driving is always the driver responsible.
  • the invention is based on the recognition that in the dark a field of vision of a driver of a vehicle has different characteristics when different weather conditions such as rain, snow, fog, whirling dust or dry weather prevail.
  • different weather conditions such as rain, snow, fog, whirling dust or dry weather prevail.
  • Image information to be mapped when the driver's field of view is illuminated by at least one headlight, the weather conditions can trigger a weather-typical, optical behavior as a characteristic feature.
  • the light can be refracted by the prevailing weather conditions and thus trigger a weather-typical refraction behavior or scattering behavior as a characteristic feature.
  • an evaluation of the characteristic features of safety-relevant systems in the vehicle can provide important parameters which can help to ensure greater safety.
  • comfort systems can alter and adjust control parameters through knowledge of the weather condition, for example to avoid misinterpreting other information.
  • optical detection systems can adapt image processing to the current weather conditions in order to improve object recognition and evaluation in different weather conditions.
  • the present invention provides a method for detecting a weather condition in an environment of a vehicle, the method comprising the steps of: Determining at least one imaging feature in image information, wherein the image information represents an image of at least a portion of the environment and the imaging feature represents a lighting effect on a reflective or self-luminous object in the region of the environment; and
  • Determining weather information for characterizing the weather condition based on a comparison between the mapping feature and at least one expected value.
  • an atmospheric phenomenon can be understood.
  • a weather condition such as fog, rain, fallen rain, snowfall, fallen snow, or even lack thereof may be.
  • the weather condition may be a consequence of an atmospheric phenomenon.
  • wind, dust or sand can stir and blow.
  • An environment of a vehicle may be an environment within sight of the vehicle.
  • the environment may be an area in front of the vehicle that can be illuminated directly or indirectly by headlights of the vehicle.
  • an imaging feature can be used to reduce a picture quality of a picture caused by at least one physical effect
  • a contour of a road sign can be blurred.
  • a lamp may have a "yard or a halo.
  • precipitation or condensed air moisture in a headlight cone can be visible as an imaging feature.
  • water crystals or water droplets can throw back incoming light to a high degree in the direction of the headlights.
  • Image information can be understood to mean an image file, for example a raster graphic.
  • a raster graphic rasterformig arranged pixels can each represent a pixel.
  • a pixel may have a brightness value and / or a color value.
  • a light effect for example, a refraction or a light diffraction or a light reflection or a light scattering on an object and / or a beam path from the headlight and to the object and / or a beam path from the object to an objective
  • a reflective or self-luminous object for example, a reflector, a street sign, a lantern, a headlight, a
  • Weather information may be information resulting from the current weather condition.
  • the weather information may be information about a visibility or a road condition.
  • An expected value may be taken to mean a stored value that has been recorded, for example, in the past as a past image feature in a similar object and weather conditions. The expected value may thus be a brightness distribution, a shape, an extension or an arrangement of a region of the image or a combination thereof. By a comparison, a largest match can be found and the weather condition associated with the selected expectation value can be provided as weather information.
  • the light effect may represent at least one light-dark gradient, and in the
  • a scattering characteristic and / or a refractive index of the light-dark gradient can be determined from the imaging feature, wherein the scattering characteristic represents a light scatter in an image area around the reflective or self-illuminating object, and the refractive index converts a refraction of light in the image area represents the reflective or self-luminous object.
  • the scattering characteristic value and / or the refractive index value can be compared with at least one expected value for the scattering characteristic value and / or the refractive index value.
  • a bright-dark gradient can be understood to mean a brightness gradient from one bright point to a neighboring darker point.
  • a light-dark gradient between a white pixel to a black pixel is large. Between a gray pixel and a dark gray pixel, the light-dark gradient is small. For example, drops of water in the air may break light. Thus, the light-dark gradient at an edge between, for example, a light source and a dark background becomes smaller than in clear air. From a driver's view of the vehicle, e.g. Vehicle headlight of another vehicle in fog a so-called halo. The halo gets darker and darker. Therefore, the light-dark gradient is small here. For example, a scattering characteristic may represent a size of the halo. The denser the fog, the bigger the
  • a halo can also be displayed on a retro- reflective object, such as a reflector can be arranged.
  • a refractive index may represent a decomposition of the light in the halo into spectral components.
  • a large refractive index may indicate ice crystals in the air.
  • An expected value for the scattering characteristic may be a stored empirical value which represents a measure of a particular scatter.
  • An expectation value for the refractive index may be a stored empirical value representing a measure of a particular refraction.
  • the light effect may also represent at least one characteristic of a light spot, which is caused at least by a light beam emitted by a headlight of the vehicle.
  • a position of the light spot can be determined from the imaging feature, and in the step of determining further the position can be compared with an expected value for the position.
  • a spot of light can be understood to mean a region of high brightness that can be caused by a beam of a spotlight.
  • the light spot can image a contour of a light beam from the headlight.
  • the light spot can be projected onto a street.
  • light spots can also "float” in front of the vehicle as a result of a reflection of particles.
  • a “floating" light spot can have a different shape than a projected light spot.
  • the "floating" light spot may be perceived at a position other than the projected light spot, a characteristic may represent a shape and location of the light spot, for example, a position may reflect whether the light spot is projected on the street and the street Particles may be, for example, dust, water droplets or ice crystals
  • An expectation value for the position may be an empirical value representing an expected position of the light spot in a given weather condition In particular, fog can be detected particularly easily and safely.
  • a height and a height may be further determined
  • Width of the light spot can be determined, the height being an apparent vertical Extension of the light spot represents and the width represents an apparent horizontal extension of the light spot. Further, in the step of determining, the height may be compared with an expectation value for the height and the width compared with an expectation value for the width. Under a height and a width of the light spot, an apparent dimension of the
  • the height and / or width may represent a countable number of pixels in an alignment along and / or across the vehicle.
  • An expectation value for the height and / or the width may be an empirical value representing an expected height and / or width of the light spot in a given weather condition.
  • the light effect may represent at least one ground brightness
  • a light distribution of the ground brightness may be determined.
  • the light distribution may be compared with an expected value for the light distribution. Under a floor brightness one of the
  • Vehicle can be understood from perceptible brightness of the road.
  • a light distribution can represent a perceptible distribution of light and dark spots on the street. For example, only a small part of the emitted light can be reflected back to the vehicle when the road is wet. A remnant of the emitted light may be reflected off the vehicle under total reflection from the wet roadway. For example, in the case of snow-covered roads, a large part of the emitted light can be diffusely reflected back to the vehicle over a large area. On dry roads a medium part of the emitted light can be reflected back to the vehicle.
  • the relationships may be reversed, since in the case of rain, the light reflected away from the oncoming vehicle may strike the own vehicle as total reflection, corresponding to a direct headlight beam. In snow, the light can be diffusely reflected over a large area.
  • An expected value for the light distribution can be an experience value representing an expected light distribution of the ground brightness in a certain weather condition. This can be a road condition in front of the vehicle are recorded as a particularly safety-relevant parameter, and corrective interventions of safety and comfort systems are adapted, and the driver of the vehicle is alerted.
  • the present invention the
  • a lateral brightness value of the brightness can be determined from the imaging feature and, in the step of determining, the side area brightness value can also be compared with an expected value for the side area brightness value.
  • a ground-level side area can be understood as a lane of the road adjacent to one's own traffic lane.
  • a ground-level side area can be understood as a side strip of the street or a banquet of the street.
  • the near-bottom side region may have, for example, soiling.
  • a page range brightness value may represent a brightness reflected from the page area. As a result, it can be detected, for example, whether the roadway is dirty or snow-covered in addition to the own lane.
  • An expectation value for the side-panel brightness value may be an empirical value representing an expected side-range brightness value of the near-side-brightness in a given weather condition.
  • a further imaging feature in the image information can be determined, and the further imaging feature representing a further light effect on another reflective or self-illuminating object in the part of the environment.
  • the weather information may be determined based on a further comparison between the further mapping feature and at least one further expected value.
  • an additional imaging feature may be determined, wherein the additional image information represents an additional image of at least the portion of the environment at an additional time, and the additional imaging feature provides an additional lighting effect represents the additional time at the reflecting or self-illuminating object in the part of the environment.
  • the weather information may further be determined based on an additional comparison between the additional mapping feature and the expected value or at least one additional expected value, wherein the weather information is further determined based on a change between the comparison and the additional comparison.
  • the present invention provides a control device for detecting a weather condition in an environment of a vehicle, wherein the control device has a device for determining an imaging feature in image information, wherein the image information represents an image of at least part of the environment and the imaging feature a light effect on a reflective or self-luminous object in the part of the environment. Furthermore, the control device has a device for determining weather information for characterizing the weather condition based on a comparison between the imaging feature and at least one expected value. Also by this embodiment of the invention in the form of a control device, the object underlying the invention can be achieved quickly and efficiently.
  • a control device can be understood as meaning an electrical device which processes sensor signals and outputs control signals in dependence thereon.
  • the control unit may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains various functions of the control unit.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces can be software modules which are present, for example, on a microcontroller in addition to other software modules.
  • a computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above if the program is on a computer corresponding to a computer is also of advantage Device is running.
  • FIG. 1 is an illustration of a vehicle having a control unit for detecting a weather condition in an environment of a vehicle according to an exemplary embodiment of the present invention
  • FIG. 2 is a flow chart of a method for detecting a weather condition in an environment of a vehicle according to an embodiment of the present invention
  • Fig. 3 to Fig. 10 representations of image information of a road in darkness and various weather conditions; and a diagram of a change of an imaging feature in a plurality of image information of a road in darkness and different weather conditions.
  • the same or similar reference numerals are used for the elements shown in the various figures and similar acting, wherein a repeated description of these elements is omitted.
  • the control unit 100 has a device 102 for determining an imaging feature in image information, and a device 104 for determining weather information for characterizing the weather condition.
  • the vehicle 106 has a
  • the vehicle 106 Surrounding detection device 108, as well as a vehicle control 1 10 on. Furthermore, the vehicle 106 has two headlights 1 12 for illuminating a part of the environment in front of the vehicle 106.
  • the surroundings detection device 108 is designed to detect at least the part of the surroundings illuminated by the headlights 1 12.
  • the surroundings sensing device 108 may also detect a larger area in front of the vehicle 106.
  • the environment detection device 108 generates the image information and makes it available to other devices in the vehicle 106.
  • the controller 100 is configured to receive the image information.
  • the device 102 is designed to determine at least one imaging feature in the image information.
  • an imaging feature may be a characteristic light distribution or a characteristic light effect on an object illuminated by the headlights 1 12 or a self-illuminating object, such as another headlight. For example, snow, rain, dust or fog light from the headlights 1 12 to
  • Object act In this case, weather conditions in the direct light path between the reflector and the surroundings detection device 108 can scatter, break or damp the light, for example. As a result, an image of the reflector degenerate, so distorted or blurred.
  • another light source for example a street lamp or a headlight of an oncoming vehicle, illuminates the surroundings in front of the vehicle 106.
  • Weather conditions cause light effects that do not correspond to an expected environment of the vehicle 106. For example, when the road is dry, an environment around the other light source would be only moderately illuminated. Snow or fog change a light distribution of the other light source. Snow reflects incoming light almost completely but diffusely, so that the environment around the other light source appears brighter.
  • the control unit 100 determines such light effects as a mapping feature, and compares this imaging feature in the device 104 with at least one expected value.
  • An expected value represents optical features of a light effect associated with a weather condition.
  • weather information that characterizes the weather condition can be assigned to the imaging feature in the device 104. Due to the weather information, the vehicle controller 1 can change 10 vehicle parameters to respond to the current weather condition. In this embodiment, the vehicle controller 1 10 changes parameters for a vehicle drive 1 14. For example, a maximum drive torque for the wheels 1 14 can be determined according to a road condition.
  • FIG. 2 shows a flow chart of a method for detecting a weather condition in an environment of a vehicle according to an embodiment of the present invention.
  • the method may be performed on a controller 100 as shown in FIG.
  • the method comprises a step 202 of determining at least one imaging feature in one
  • Image information and a step 204 of determining weather information for characterizing the weather condition are identical to Image information and a step 204 of determining weather information for characterizing the weather condition.
  • an imaging feature in image information is determined.
  • the image information represents an image of at least part of the environment of the image
  • the imaging feature represents a lighting effect on a reflective or self-luminous object in the part of the environment.
  • the image information can be received, for example, from a camera.
  • the camera can be attached to the vehicle and capture an environment in front of the vehicle.
  • the imaging feature may be part of the image information.
  • Weather conditions change a beam path from an object to the camera, an image of the object may have a different shape than without the weather conditions. This can be particularly noticeable when a bright ray of light penetrates the "weather”. Then particles, like
  • Image of the object can be blurred. Another effect may occur when weather conditions such as snow or rain make the environment in front of the vehicle highly reflective. Then light, which would not normally reach the camera directly, can be reflected onto the camera and dazzle the camera. As a result, for example, subareas of the image information can be overexposed and lose a large part of its contained information.
  • Such exemplary optical effects may be determined as an imaging feature in step 202.
  • the mapping feature is compared to at least one expectation value.
  • the expected value may be an image of the imaging feature under a similar weather condition.
  • a corresponding weather information can be assigned to the imaging feature.
  • the weather information can characterize the current weather condition.
  • a vehicle controller can preemptively adapt control parameters to the current weather condition.
  • the mapping feature may be a variety of expected values are compared. Each of the expected values may represent a different weather condition and each be associated with a different weather information.
  • Figures 3 to 10 show camera images of various weather conditions
  • the camera images show a driver's field of vision in front of a vehicle.
  • the driver's field of view is illuminated by headlights of the vehicle.
  • different reflecting or emitting light objects are represented. Therefore, a detection of weather conditions at night on the basis of self-luminous and reflective objects is described here.
  • Estimation of the currently prevailing weather condition is based on a determination of characteristic features for both reflective and self-luminous light objects.
  • This can e.g. Headlamps and lights of foreign traffic, reflectors illuminated by their own headlights, as well as an illuminated area of the street directly in front of the vehicle.
  • the characteristics of these light objects such as maximum brightness, gray scale gradient, color,
  • Gradient curve, and the like have defined characteristics under normal weather conditions. These characteristics can be described as feature areas. If the weather conditions deviate from "normal” or if the weather conditions change, for example due to rainfall, a fog bank, dirty roadway, etc., the change is reflected in the changed feature areas. This change of the various feature areas gives a direct indication of the concrete weather condition.
  • an image with fog e.g. have a large, flat gradient curve and can be comparatively dark.
  • rain can contain long-drawn object shapes and a z. cause a strong gradient
  • an image with rain can have an irregular brightness curve.
  • Snow at the roadside can e.g. are depicted as many small bright objects. Reflecting facets of ice crystals can "glitter" snow, with widely varying gradient features, and lack of color information due to the white color of snow.
  • Snow, dust or the like on the road can, for example, be apparent or virtual cause large opaque objects right in front of your own vehicle. In this case, irregular gradient features can occur.
  • analysis of feature changes for a plurality or all objects in an image is advantageous. As a result, it can be detected, for example, whether a windshield wiper is currently being moved through the image and obscuring a part of the image information.
  • Another variant for increasing the robustness is not only to carry out the analysis of the weather conditions per image, but to carry out the analysis of the characteristic curves or feature changes over several images.
  • Detected objects can be assigned to tracks. These can be analyzed over several pictures. This means, for example, when an object was first detected and what is the characteristic course over the time or the way back.
  • Fig. 3 shows an image of a driver's field of view in dry weather.
  • the driver's field of view is partially illuminated by light from headlights of a vehicle.
  • a straight course of a road 300, each with a directional lane is so far in front of the vehicle to detect until the light is no longer sufficient
  • Road 300 includes reflective pavement markers 302, 304 on a dark pavement and vanes 306, 308.
  • a right-hand edge of the road has a continuous side mark 302.
  • a middle of the road has a broken center mark 304.
  • a right side area of the road 300 is overgrown with vegetation and has black and white bollards 306 with elongate reflectors. Furthermore, the right side area has reflective street signs 310.
  • a left side region of the road 300 has black and white guide posts 306, each with two point reflectors. Furthermore, the left side region has a side guardrail 308. On the road 300, a lower bright-dark boundary of a light cone of the headlights can be seen in a vicinity in front of the vehicle.
  • the directional lane on which the vehicle is located is brightly lit.
  • An intensity of the illumination decreases with increasing distance from the vehicle.
  • the right side area is also brightly lit from the bright-dark border. Again, the intensity of the illumination decreases with increasing distance from the vehicle.
  • the other directional lane is only partially bright.
  • the picture shows a characteristic of dry weather light spot 312 in front of the vehicle.
  • the reflective objects 302, 304, 306, 310 in the image are recognizable up to a long distance in front of the vehicle. In the approach presented here, brightly illuminated partial regions 312 and reflective objects 302, 304, 306,
  • a sharp light-dark transition on imaged reflective objects 302, 304, 306, 310 is characteristic of dry weather.
  • no imaging features are available, as described with reference to the following figures.
  • This weathering condition can be detected, for example, by checking whether the light spot 312 is located in a defined area in front of the vehicle and whether very bright image areas have a very sharp transition to adjacent dark image areas.
  • Fig. 4 shows an image of a driver's field of view in wet weather. As in FIG. 3, the driver's field of vision is partially illuminated by light from headlights of a to-car vehicle. The road 300 runs in front of the ego vehicle in a left turn.
  • a traffic island with a traffic sign 310 "prescribed pass by on the right" and a pedestrian crossing (crosswalk) are arranged transversely to the road 300.
  • the road 300 has on the carriageway and in the right side area, as well as in a middle area reflecting objects 304, 306 310.
  • the road 300 is wet, therefore, the road surface only slightly throws the light of the headlights back to the vehicle, and no light spot is seen in front of the vehicle as shown in Fig. 3.
  • the road 300 is only through the reflective objects 304, 306, 310 and the
  • the self-luminous objects 402 represent two headlights 402 of an oncoming vehicle.
  • the self-luminous objects 402 are shown as two equally large and spaced approximately the same height from each other arranged very bright image areas.
  • the oncoming vehicle is not recognizable.
  • the light of the two headlights 402 is on windshield wiper streaks on one
  • Windscreen of the ego vehicle strewn. This shows the self-luminous Objects 402 so-called lightsabers 406 on.
  • a right roadside 408 of the road 300 is snow-covered and reflects a portion of the light from the headlights back to the ego vehicle. Due to a missing light spot in front of the ego vehicle and the imaging features "reflective surfaces" 404 below self-luminous objects 402, of self-luminous objects
  • Fig. 5 shows another image of a driver's field of view in wet weather.
  • the driver's field of view is partially illuminated by light from headlights of an ego vehicle.
  • the road 300 is wet. Therefore, the road surface throws the light of the headlights only to a small extent back to the vehicle. There is no light spot in front of it
  • Egohus as shown in Fig. 3, recognizable.
  • the road 300 is recognizable only by the reflective objects 302, 304, 306, 310.
  • On the directional road ahead of the ego vehicle a preceding vehicle is shown.
  • Two taillights 502 of the preceding vehicle are recognizable as bright light points 502.
  • Emitted light of the taillights 502 is scattered on windshield wiper streaks on a windshield of the ego vehicle.
  • the bright spots of light 502 have so-called lightsabers 406.
  • On the other directional lane two very bright self-luminous objects 402 are shown.
  • the self-luminous objects 402 represent two front headlights 402 of an oncoming vehicle.
  • the light of the two headlights 402 is also scattered on the windshield wiper streaks on a windshield of the ego vehicle.
  • the self-luminous objects 402 also have lightsabers 406.
  • a right roadside 408 of the road 300 is snow-covered and reflects a portion of the light of the headlights back to the diffuser
  • FIG. 3 is a street 300 in front of a courtesy vehicle illuminated by headlights of the ego vehicle.
  • the road 300 has a broken center mark 304.
  • a right roadside 408 is snow-covered, throwing back diffused light from the headlights of the ego vehicle.
  • Fig. 6 water droplets or ultrafine ice crystals in the air in front of the ego vehicle are illuminated by the headlights and reflect a part of the light of the headlights back to the ego vehicle.
  • the headlight cones 602 of the headlights of the ego vehicle can be seen. Due to a brightness of the light appearance of the headlight cone 602, the light spot on the
  • the Halo 702 has a larger one Brightness on, as the headlights cones 602.
  • the amount of reflected light is not large enough to cause a halo 702.
  • Fig. 8 are on the other directional roadway of the road 300 two bright
  • the bright spots 102 represent two headlights 402 of an oncoming vehicle. Even the light rays of the headlights 402, which are directed directly to the ego vehicle are broken and scattered by the floating ice and / or water particles. Therefore, the bright spots 102 are also each surrounded by a halo 702.
  • the fog is lighter than in FIG. 6 and FIG. 7. Therefore, the headlight cones 602 are less embossed, and the headlights of the companion vehicle generate the light spot 312 on the road surface.
  • To the right of the road 300 is shown a traffic sign that does not throw back enough light to the ego to have a halo.
  • the method presented herein may determine weather information "fog” and generate weather “prospective visibility” by comparing the actual light spot 312 with an expected light spot 312.
  • a vehicle controller of the ego vehicle may adjust parameters, such as a light distribution in front of the vehicle, to the actual weather conditions. As a result, an intrinsic view of the driver of the ego vehicle can be improved.
  • FIGS. 9 and 10 show a driver's field of view with snow-covered road 300 and snowfall.
  • the street 300 is illuminated in front of the ego vehicle and reflects light from the headlights of the ego vehicle over a large area diffusely back to the ego vehicle.
  • snow is piled up and reflects more light back to the ego vehicle than the snow track due to a better angle of light from the headlights of the ego vehicle.
  • the headlights of the ego vehicle illuminate individual snowflakes 902 in the air in front of the vehicle.
  • the snowflakes 902 appear in the picture as bright white dots.
  • the ego vehicle is another vehicle opposite.
  • the headlights 402 of the other vehicle illuminate the snow track in front of the other vehicle very bright. Therefore, this part of the driver's field of view is overexposed in Figure 10 and appears as an amorphous white area 1002. Due to the characteristic distribution of light on the road 300 in front of the vehicle on a snowy road or also because of the overexposed surface 1002 in front of the oncoming vehicle, the method presented here can determine weather information "snow on the road". By evaluating a number of snowflakes 902 in the spotlight, it is possible to deduce a density of the snowfall, and thus a weather information "probable visibility".
  • FIG. 11 shows by way of example results of a modified feature space for a light spot in front of the vehicle in three different weather situations. Shown are an arrangement 1 102 of the light spot in a clear atmosphere sphere, an arrangement 1 104 of the light spot in light fog and an arrangement 1 106 of the light spot in fog. On the abscissa, a width of the light spot in a camera image is plotted, on the ordinate, a height of the light spot in the camera image is plotted. Depending on the weather situation, the light spot has a different position, shape and extent.
  • the beam of the headlights hits the road surface. Due to road bumps, the measured height, as well as the measured width of the light spot has a fluctuation range. Since the road surface reflects only light in the center of the headlight beam with high intensity back to the vehicle, the light spot appears narrow. In light fog, particles in the air in front of the vehicle are already illuminated by the beam of the headlights and make it visible. Depending on the density of the fog, the light spot appears at different heights in front of the vehicle. Since the fog also reflects light of lesser intensity from side areas of the headlight beam, the light spot appears wider in light fog than the light spot in a clear atmosphere.
  • the width of the light spot in light fog is subject to a large fluctuation range.
  • fog only a small part of the light hits the road. Much of the light is already reflected by the particles in the air, causing the light spot to float high in front of the vehicle. Because the fog also reflects very weak light back to the vehicle and thus Even parts of the light beam are visible, which cause no light spot on the road in a clear atmosphere, the light spot appears very wide.
  • a weather information "fog density" can be determined by the method presented here.

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Atmospheric Sciences (AREA)
  • Environmental Sciences (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs (106), wobei das Verfahren einen Schritt des Ermittelns zumindest eines Abbildungsmerkmals in einer Bildinformation aufweist, wobei die Bildinformation ein Abbild zumindest eines Teils des Umfelds repräsentiert und das Abbildungsmerkmal einen Lichteffekt an einem reflektierenden oder selbstleuchtenden Objekt in dem Teil des Umfelds repräsentiert. Weiterhin umfasst das Verfahren einen Schritt des Bestimmens einer Wetterinformation zur Charakterisierung der Wetterbedingung basierend auf einem Vergleich zwischen dem Abbildungsmerkmal und zumindest einem Erwartungswert.

Description

Beschreibung
Titel
Verfahren und Steuergerät zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs
Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs, auf ein Steuergerät zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs sowie auf ein entsprechendes Computerprogrammprodukt.
Für kamerabasierte Hard- und Softwaresysteme in einem Fahrzeug ist es von Interesse, die aktuell herrschenden Wetterbedingungen wie z.B. Regen, Schnee, nasse Fahrbahn, Nebel, Gischt, Staub etc. zu kennen.
Dazu beschreibt die DE 10 2007 062 258 A1 eine optische Regensensorvorrichtung für ein Kraftfahrzeug.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs, ein Steuergerät zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs sowie ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Wetterbedingungen im Umfeld eines Fahrzeugs, insbesondere auf einer Straße vor dem Fahrzeug können ein Fahrverhalten des Fahrzeugs, sowie eine Erkennungsreichweite für einen Fahrer des Fahrzeugs nachhaltig beeinflussen. Bishe- rige Fahrzeuge können Niederschlag mit beispielsweise einem Regensensor erfassen und Funktionen des Fahrzeugs anpassen. Andere Wetterbedingungen muss der Fahrer erkennen und entsprechend reagieren. Bei Dunkelheit, wenn der Fahrer situationsbedingt bereits an seine Sensorischen Grenzen stößt, ist ei- ne rechtzeitige Erkennung von Wetterbedingungen problematisch. Aktive Sicherheitssysteme im Fahrzeug, wie ABS und ESP können erst auf wetterbedingte Veränderungen der Straße reagieren, wenn das Fahrzeug bereits im Begriff ist, eine Bodenhaftung zu verlieren. Deshalb können diese Systeme lediglich reagieren. Für ein vorausschauendes Fahren ist immer der Fahrer verantwortlich.
Die Erfindung basiert auf der Erkenntnis, dass bei Dunkelheit ein Sichtfeld eines Fahrers eines Fahrzeugs unterschiedliche charakteristische Merkmale aufweist, wenn unterschiedliche Wetterbedingungen, wie beispielsweise Regen, Schnee, Nebel, aufgewirbelter Staub oder trockenes Wetter vorherrschen. Durch eine Bil- derfassung des Fahrersichtfelds können die charakteristischen Merkmale in einer
Bildinformation abgebildet werden. Insbesondere wenn das Fahrersichtfeld von zumindest einem Scheinwerfer ausgeleuchtet ist, können die Wetterbedingungen ein wettertypisches, optisches Verhalten als charakteristisches Merkmal auslösen. Bei Objekten mit einem hohen Reflexionsgrad oder an einer Lichtquelle kann durch die herrschenden Wetterbedingungen das Licht gebrochen werden, und so ein wettertypisches Brechungsverhalten oder Streuungsverhalten als charakteristisches Merkmal auslösen.
Vorteilhafterweise kann eine Auswertung der charakteristischen Merkmale sicherheitsrelevanten Systemen im Fahrzeug wichtige Parameter zur Verfügung stellen, die dazu beitragen können, für eine höhere Sicherheit zu sorgen. Ebenso können Komfortsysteme durch eine Kenntnis der Wetterbedingung Steuerparameter verändern und anpassen, um beispielsweise eine Fehlinterpretation von anderen Informationen zu vermeiden. Weiterhin können optische Erfassungssys- teme eine Bildverarbeitung an die aktuellen Wetterbedingungen anpassen, um eine Objekterkennung und Auswertung bei unterschiedlichen Wetterbedingungen zu verbessern.
Die vorliegende Erfindung schafft ein Verfahren zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs, wobei das Verfahren die folgenden Schritte aufweist: Ermitteln zumindest eines Abbildungsmerkmals in einer Bildinformation, wobei die Bildinformation ein Abbild zumindest eines Bereichs des Umfelds repräsentiert und das Abbildungsmerkmal einen Lichteffekt an einem reflektierenden oder selbstleuchtenden Objekt in dem Bereich des Umfelds repräsentiert; und
Bestimmen einer Wetterinformation zur Charakterisierung der Wetterbedingung basierend auf einem Vergleich zwischen dem Abbildungsmerkmal und zumindest einem Erwartungswert.
Unter einer Wetterbedingung kann ein atmosphärisches Phänomen verstanden werden. Beispielsweise kann eine Wetterbedingung, wie Nebel, Regen, gefallener Regen, Schneefall, gefallener Schnee, oder auch ein Fehlen davon sein. Ebenso kann die Wetterbedingung eine Folge eines atmosphärischen Phäno- mens sein. Beispielsweise kann Wind, Staub oder Sand aufwirbeln und Verblasen. Ein Umfeld eines Fahrzeugs kann eine Umgebung in Sichtweite des Fahrzeugs sein. Insbesondere kann das Umfeld ein Bereich vor dem Fahrzeug sein, der direkt oder indirekt von Scheinwerfern des Fahrzeugs ausleuchtbar ist. Unter einem Abbildungsmerkmal kann beispielsweise eine durch zumindest einen phy- sikalischen Effekt hervorgerufene Herabsetzung einer Abbildungsqualität eines
Objekts verstanden werden. Beispielsweise kann eine Kontur eines Verkehrsschilds verschwommen abgebildet sein. Oder eine Lampe kann einen„Hof oder eine Halo aufweisen. Ebenso kann als Abbildungsmerkmal beispielsweise Niederschlag oder kondensierte Luftfeuchte in einem Scheinwerferkegel sichtbar sein. Dann können Wasserkristalle oder Wassertropen einfallendes Licht in einem hohen Maß in Richtung Scheinwerfer zurückwerfen. Unter einer Bildinformation kann eine Bilddatei, beispielsweise eine Rastergrafik verstanden werden. In einer Rastergrafik können rasterformig angeordnete Pixel jeweils einen Bildpunkt repräsentieren. Ein Bildpunkt kann einen Helligkeitswert und/oder einen Farbwert aufweisen. Unter einem Lichteffekt kann beispielsweise eine Lichtbrechung oder eine Lichtbeugung oder eine Lichtreflexion oder eine Lichtstreuung an einem Objekt und/oder einem Strahlengang von dem Scheinwerfer und zu dem Objekt und/oder einem Strahlengang von dem Objekt zu einem Objektiv verstanden werden. Unter einem reflektierenden oder selbstleuchtenden Objekt kann bei- spielsweise ein Reflektor, ein Straßenschild, eine Laterne, ein Scheinwerfer, ein
Eiskristall, eine Schneeflocke ein Wassertropfen, ein Staubkorn, eine Eisfläche, eine Wasserfläche, u.Ä. verstanden werden. Eine Wetterinformation kann eine, aus der aktuellen Wetterbedingung resultierende Information sein. Beispielsweise kann die Wetterinformation eine Information über eine Sichtweite oder über einen Straßenzustand sein. Unter einem Erwartungswert kann ein hinterlegter Wert verstanden werden, der beispielsweise in der Vergangenheit als vergangenes Abbildungsmerkmal bei einem ähnlichen Objekt und ähnlichen Wetterbedingungen aufgezeichnet worden ist. Der Erwartungswert kann somit eine Helligkeitsverteilung, eine Form, eine Ausdehnung oder eine Anordnung eines Bereichs des Abbildes oder eine Kombination davon sein. Durch einen Vergleich kann eine größte Übereinstimmung gefunden werden und die, dem ausgewählten Erwartungswert zugeordnete Wetterbedingung als Wetterinformation bereitgestellt werden.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann der Lichteffekt zumindest einen Hell-Dunkel-Gradienten repräsentieren, und im
Schritt des Ermitteins kann aus dem Abbildungsmerkmal ein Streuungskennwert und/oder ein Brechungskennwert des Hell-Dunkel-Gradienten ermittelt werden, wobei der Streuungskennwert eine Lichtstreuung in einem Bildbereich um das reflektierende oder selbstleuchtende Objekt repräsentiert, und der Brechungs- kennwert eine Lichtbrechung in dem Bildbereich um das reflektierende oder selbstleuchtende Objekt repräsentiert. Im Schritt des Bestimmens kann ferner der Streuungskennwert und/oder der Brechungskennwert mit zumindest einem Erwartungswert für den Streuungskennwert und/oder den Brechungskennwert verglichen werden. Unter einem Hell-Dunkel-Gradienten kann ein Helligkeitsge- fälle von einem hellen Punkt zu einem benachbarten dunkleren Punkt verstanden werden. Zum Beispiel ist ein Hell-Dunkel Gradient zwischen einem weißen Pixel zu einem schwarzen Pixel groß. Zwischen einem grauen Pixel und einem dunkelgrauen Pixel ist der Hell-Dunkel-Gradient klein. Beispielsweise können Wassertropfen in Luft Licht brechen. Damit wird der Hell-Dunkel-Gradient an einem Rand zwischen beispielsweise einer Lichtquelle und einem dunklen Hintergrund kleiner, als bei klarer Luft. Aus einer Fahrersicht des Fahrzeugs weisen so z.B. Fahrzeugscheinwerfer eines anderen Fahrzeugs bei Nebel eine sogenannte Halo auf. Die Halo wird vom Scheinwerfer weg zunehmend dunkler. Daher ist hier der Hell-Dunkel-Gradient klein. Ein Streuungskennwert kann beispielsweise eine Größe der Halo repräsentieren. Je dichter der Nebel ist, umso größer kann die
Halo sein. Eine Halo kann ebenso an einem vom Fahrzeug angeleuchteten retro- reflektierenden Objekt, wie einem Reflektor angeordnet sein. Ein Brechungskennwert kann beispielsweise eine Zerlegung des Lichts in der Halo in spektrale Anteile repräsentieren. Ein großer Brechungskennwert kann beispielsweise auf Eiskristalle in der Luft hinweisen. Ein Erwartungswert für den Streuungskennwert kann ein hinterlegter Erfahrungswert sein, der ein Maß für eine bestimmte Streuung repräsentiert. Ein Erwartungswert für den Brechungskennwert kann ein hinterlegter Erfahrungswert sein, der ein Maß für eine bestimmte Brechung repräsentiert. Dadurch kann besonders auf größere Entfernung vor dem Fahrzeug eine Wetterbedingung erkannt werden, und so bereits präventiv Maßnahmen ein- geleitet werden.
Ferner kann auch der Lichteffekt zumindest eine Charakteristik eines Lichtflecks repräsentieren, der zumindest von einem, von einem Scheinwerfer des Fahrzeugs abgegebenen Lichtbündel hervorgerufen wird. Im Schritt des Ermitteins kann aus dem Abbildungsmerkmal eine Position des Lichtflecks ermittelt werden, und im Schritt des Bestimmens ferner die Position mit einem Erwartungswert für die Position verglichen werden. Unter einem Lichtfleck kann ein Bereich hoher Helligkeit verstanden werden, den ein Strahl eines Scheinwerfers hervorrufen kann. Beispielsweise kann der Lichtfleck eine Kontur eines Lichtbündels aus dem Scheinwerfer abbilden. Der Lichtfleck kann auf eine Straße projiziert sein. Der
Lichtfleck kann aber auch durch eine Reflektion an Partikeln vor dem Fahrzeug „schweben". Ein„schwebender" Lichtfleck kann eine andere Form aufweisen, als ein projizierter Lichtfleck. Ebenso kann der„schwebende" Lichtfleck an einer anderen Position wahrgenommen werden, als der projizierte Lichtfleck. Eine Cha- rakteristik kann eine Form und Lage des Lichtflecks repräsentieren. Eine Position kann beispielsweise wiedergeben, ob der Lichtfleck auf der Straße projiziert ist und die Straße das Licht zurückwirft, oder ein großer Teil des Lichts bereits durch Partikel reflektiert wird. Partikel können beispielsweise Staub, Wassertröpfchen oder Eiskristalle sein. Ein Erwartungswert für die Position kann ein Erfahrungs- wert sein, der eine erwartete Position des Lichtflecks bei einer bestimmten Wetterbedingung repräsentiert. Dadurch kann insbesondere Nebel besonders einfach und sicher erkannt werden.
Entsprechend einer weiteren Ausführungsform der vorliegenden Erfindung kann im Schritt des Ermitteins aus dem Abbildungsmerkmal ferner eine Höhe und eine
Breite des Lichtflecks ermittelt werden, wobei die Höhe eine scheinbare vertikale Ausdehnung des Lichtflecks repräsentiert und die Breite eine scheinbare horizontale Ausdehnung des Lichtflecks repräsentiert. Im Schritt des Bestimmens kann ferner die Höhe mit einem Erwartungswert für die Höhe verglichen werden und die Breite mit einem Erwartungswert für die Breite verglichen werden. Unter einer Höhe und einer Breite des Lichtflecks kann eine scheinbare Abmessung des
Lichtflecks verstanden werden. Beispielsweise kann die Höhe und/oder die Breite eine zählbare Anzahl von Pixeln in einer Ausrichtung längs und/oder quer zum Fahrzeug repräsentieren. Ein Erwartungswert für die Höhe und/oder die Breite kann ein Erfahrungswert sein, der eine erwartete Höhe und/oder Breite des Licht- flecks bei einer bestimmten Wetterbedingung repräsentiert. Durch eine Vermessung des Leuchtflecks kann besonders einfach zwischen verschiedenen Wetterbedingungen unterschieden werden, da der Leuchtfleck relativ zum Fahrzeug seine Position nur in Abhängigkeit von den Wetterbedingungen ändert, da die Scheinwerfer fest am Fahrzeug befestigt sind.
In einer weiteren Ausführungsform kann der Lichteffekt zumindest eine Bodenhelligkeit repräsentieren, und im Schritt des Ermitteins aus dem Abbildungsmerkmal eine Lichtverteilung der Bodenhelligkeit ermittelt werden. Im Schritt des Bestimmens kann ferner die Lichtverteilung mit einem Erwartungswert für die Lichtverteilung verglichen werden. Unter einer Bodenhelligkeit kann eine vom
Fahrzeug aus wahrnehmbare Helligkeit der Straße verstanden werden. Eine Lichtverteilung kann eine wahrnehmbare Verteilung von hellen und dunklen Stellen auf der Straße repräsentieren. Beispielsweise kann bei nasser Fahrbahn nur ein geringer Teil des ausgesandten Lichts zurück zum Fahrzeug reflektiert wer- den. Ein Rest des ausgesandten Lichts kann unter Totalreflexion gerichtet von der nassen Fahrbahn vom Fahrzeug weg reflektiert werden. Bei schneebedeckter Fahrbahn kann beispielsweise großflächig ein großer Teil des ausgesandten Lichts diffus zurück zum Fahrzeug reflektiert werden. Bei trockener Fahrbahn kann ein mittlerer Teil des ausgesandten Lichts zurück zum Fahrzeug reflektiert werden. Bei einem entgegenkommenden Fahrzeug können die Zusammenhänge umgekehrt sein, da bei Regen das vom entgegenkommenden Fahrzeug wegreflektierte Licht als Totalreflexion, entsprechend einem direkten Scheinwerferstrahl auf das eigene Fahrzeug treffen kann. Bei Schnee kann das Licht großflächig diffus reflektiert werden. Ein Erwartungswert für die Lichtverteilung kann ein Erfah- rungswert sein, der eine erwartete Lichtverteilung der Bodenhelligkeit bei einer bestimmten Wetterbedingung repräsentiert. Dadurch kann ein Straßenzustand vor dem Fahrzeug als ein besonders sicherheitsrelevanter Parameter erfasst werden, und korrigierende Eingriffe von Sicherheits- und Komfortsystemen an- gepasst werden, und der Fahrer des Fahrzeugs aufmerksam gemacht werden. In einer zusätzlichen Ausführungsform der vorliegenden Erfindung kann der
Lichteffekt zumindest eine Helligkeit in einem bodennahen Seitenbereich repräsentieren, wobei der Seitenbereich außerhalb eines von Scheinwerfern des Fahrzeugs direkt angeleuchteten Bereichs, seitlich des Fahrzeugs angeordnet ist. Im Schritt des Ermitteins kann aus dem Abbildungsmerkmal ein Seitenbe- reichshelligkeitswert der Helligkeit ermittelt werden, und im Schritt des Bestimmens ferner der Seitenbereichshelligkeitswert mit einem Erwartungswert für den Seitenbereichshelligkeitswert verglichen werden. Unter einem bodennahen Seitenbereich kann beispielsweise ein, dem eigenen Fahrstreifen benachbarter Fahrstreifen der Straße verstanden werden. Ebenso kann unter einem bodenna- hen Seitenbereich ein Seitenstreifen der Straße oder ein Bankett der Straße verstanden werden. Der bodennahe Seitenbereich kann beispielsweise Verschmutzungen aufweisen. Ebenso kann der bodennahe Seitenbereich beispielsweise aufgehäuften Schnee aufweisen. Ein Seitenbereichshelligkeitswert kann eine vom Seitenbereich zurückgeworfene Helligkeit repräsentieren. Dadurch kann beispielsweise erkannt werden, ob neben dem eigenen Fahrstreifen die Fahrbahn verschmutzt oder schneebedeckt ist. Ein Erwartungswert für den Seitenbereichshelligkeitswert kann ein Erfahrungswert sein, der einen erwarteten Seitenbereichshelligkeitswert der Helligkeit im bodennahen Seitenbereich bei einer bestimmten Wetterbedingung repräsentiert.
Ferner kann gemäß einer weiteren Ausführungsform im Schritt des Ermitteins ein weiteres Abbildungsmerkmal in der Bildinformation ermittelt werden, und das weitere Abbildungsmerkmal einen weiteren Lichteffekt an einem weiteren reflektierenden oder selbstleuchtenden Objekt in dem Teil des Umfelds repräsentieren. Im Schritt des Bestimmens kann die Wetterinformation basierend auf einem weiteren Vergleich zwischen dem weiteren Abbildungsmerkmal und zumindest einem weiteren Erwartungswert bestimmt werden. Durch eine Auswertung eines weiteren reflektierenden oder selbstleuchtenden Objekts kann eine vorherrschende Wetterbedingung mit einer höheren Sicherheit bestimmt werden. Durch eine Überwachung von vielen Objekten, insbesondere weiter entfernten Objekten kann eine vorausschauende Wettererfassung erreicht werden. Dadurch kann eine Fahrzeugsicherheit entscheidend verbessert werden.
Entsprechend einer weiteren Ausführungsform der vorliegenden Erfindung kann in einem zusätzlichen Schritt des Ermitteins aus einer zusätzlichen Bildinformation ein zusätzliches Abbildungsmerkmal ermittelt werden, wobei die zusätzliche Bildinformation ein zusätzliches Abbild zumindest des Teils des Umfelds zu einem zusätzlichen Zeitpunkt repräsentiert, und das zusätzliche Abbildungsmerkmal einen zusätzlichen Lichteffekt zu dem zusätzlichen Zeitpunkt an dem reflek- tierenden oder selbstleuchtenden Objekt in dem Teil des Umfelds repräsentiert.
Im Schritt des Bestimmens kann die Wetterinformation ferner basierend auf einem zusätzlichen Vergleich zwischen dem zusätzlichen Abbildungsmerkmal und dem Erwartungswert oder zumindest einem zusätzlichen Erwartungswert bestimmt werden, wobei die Wetterinformation ferner basierend auf einer Verände- rung zwischen dem Vergleich und dem zusätzlichen Vergleich bestimmt wird.
Durch eine Verfolgung des reflektierenden oder selbstleuchtenden Objekts über mehrere Zeitpunkte hinweg kann eine fortlaufende Überwachung von Veränderungen erreicht werden. Dadurch ist es möglich dynamische Prozesse zu überwachen. Beispielsweise kann eine Überwachung eines entgegenkommenden Fahrzeugs über mehrere Zeitpunkte Aufschluss über die Straße geben, die von eigenen Scheinwerfern noch nicht ausleuchtbar ist.
Weiterhin schafft die vorliegende Erfindung ein Steuergerät zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs, wobei das Steuergerät eine Einrichtung zum Ermitteln eines Abbildungsmerkmals in einer Bildinformation aufweist, wobei die Bildinformation ein Abbild zumindest eines Teils des Umfelds repräsentiert und das Abbildungsmerkmal einen Lichteffekt an einem reflektierenden oder selbstleuchtenden Objekt in dem Teil des Umfelds repräsentiert. Weiterhin weist das Steuergerät eine Einrichtung zum Bestimmen einer Wetterin- formation zur Charakterisierung der Wetterbedingung basierend auf einem Vergleich zwischen dem Abbildungsmerkmal und zumindest einem Erwartungswert auf. Auch durch diese Ausführungsvariante der Erfindung in Form eines Steuergeräts kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. Unter einem Steuergerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Das Steuergerät kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die bei- spielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem, einem Computer entsprechenden Gerät ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
Fig. 1 eine Darstellung eines Fahrzeugs mit einem Steuergerät zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2 ein Ablaufdiagramm eines Verfahrens zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 3 bis Fig. 10 Darstellungen von Bildinformationen einer Straße bei Dunkelheit und verschiedenen Wetterbedingungen; und ein Diagramm einer Veränderung eines Abbildungsmerkmals in mehreren Bildinformation einer Straße bei Dunkelheit und unterschiedlichen Wetterbedingungen. In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwen- det, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Fig. 1 zeigt eine Darstellung eines Fahrzeugs mit einem Steuergerät 100 zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Steuergerät 100 weist eine Einrichtung 102 zum Ermitteln eines Abbildungsmerkmals in einer Bildinformation, und eine Einrichtung 104 zum Bestimmen einer Wetterinformation zur Charakterisierung der Wetterbedingung auf. Das Fahrzeug 106 weist eine
Umfelderfassungseinrichtung 108, sowie eine Fahrzeugsteuerung 1 10 auf. Weiterhin weist das Fahrzeug 106 zwei Frontscheinwerfer 1 12 zum Ausleuchten ei- nes Teils des Umfelds vor dem Fahrzeug 106 auf.
Die Umfelderfassungseinrichtung 108 ist ausgebildet, um zumindest den von den Frontscheinwerfern 1 12 ausgeleuchteten Teil des Umfelds zu erfassen. Die Umfelderfassungseinrichtung 108 kann auch einen größeren Bereich vor dem Fahrzeug 106 erfassen. Die Umfelderfassungseinrichtung 108 generiert die Bildinformation und stellt sie für andere Einrichtungen im Fahrzeug 106 zur Verfügung. Das Steuergerät 100 ist ausgebildet, um die Bildinformation zu empfangen. Die Einrichtung 102 ist ausgebildet, um zumindest ein Abbildungsmerkmal in der Bildinformation zu ermitteln. Insbesondere kann ein Abbildungsmerkmal eine charakteristische Lichtverteilung oder ein charakteristischer Lichteffekt an einem von den Frontscheinwerfern 1 12 angeleuchteten Objekt oder einem selbstleuchtenden Objekt, wie ein anderer Scheinwerfer sein. So kann zum Beispiel Schnee, Regen, Staub oder Nebel Licht von den Frontscheinwerfern 1 12 zur
Umfelderfassungseinrichtung 108 zurückwerfen. Ebenso können Reflektoren, die von den Frontscheinwerfern 1 12 angestrahlt werden wie ein selbstleuchtendes
Objekt wirken. Dabei können Wetterbedingungen im direkten Lichtpfad zwischen dem Reflektor und der Umfelderfassungseinrichtung 108 das Licht beispielsweise streuen, brechen oder dämpfen. Dadurch kann ein Abbild des Reflektors entarten, also verzerrt oder unscharf abgebildet werden. Wenn eine andere Licht- quelle, beispielsweise eine Straßenlaterne oder ein Scheinwerfer eines entgegenkommenden Fahrzeugs das Umfeld vor dem Fahrzeug 106 anleuchtet, kön- nen Wetterbedingungen Lichteffekte hervorrufen, die einem erwarteten Umfeld des Fahrzeugs 106 nicht entsprechen. Beispielsweise würde bei trockener Straße eine Umgebung um die andere Lichtquelle nur mäßig erhellt werden. Schnee oder Nebel verändern eine Lichtverteilung der anderen Lichtquelle. Schnee re- flektiert einfallendes Licht fast vollständig aber diffus, so dass die Umgebung um die andere Lichtquelle heller erscheint. Nebel streut und bricht Licht, so dass ein Bereich um die andere Lichtquelle flächig zu leuchten scheint. In der Einrichtung 102 ermittelt das Steuergerät 100 solche Lichteffekte als Abbildungsmerkmal, und vergleicht dieses Abbildungsmerkmal in der Einrichtung 104 mit zumindest einem Erwartungswert. Ein Erwartungswert repräsentiert optische Merkmale eines einer Wetterbedingung zugeordneten Lichteffekts. Dadurch kann in der Einrichtung 104 dem Abbildungsmerkmal eine Wetterinformation zugeordnet werden, die die Wetterbedingung charakterisiert. Aufgrund der Wetterinformation kann die Fahrzeugsteuerung 1 10 Fahrzeugparameter verändern, um auf die ak- tuelle Wetterbedingung zu reagieren. In diesem Ausführungsbeispiel verändert die Fahrzeugsteuerung 1 10 Parameter für einen Fahrzeugantrieb 1 14. Beispielsweise kann entsprechend einer Straßenbeschaffenheit ein maximales Antriebsdrehmoment für die Räder 1 14 bestimmt werden. Für kamerabasierte Hardwaresysteme und Softwaresysteme im Fahrzeug 106 ist es von Interesse, aktuell herrschende Wetterbedingungen wie z.B. Regen, Schnee, nasse Fahrbahn, Nebel, Gischt, Staub etc. zu kennen. Während fahrdynamische Systeme wie z.B. ESP 1 10 dieses Wissen nutzen könnten, um andere Regelparameter zu verwenden, könnten videobasierte Systeme 208 dagegen bestimmte Funktionen deaktivieren oder definiert degradieren bzw. Parameter der Vorverarbeitung gezielt anpassen, um eine möglichst hohe Verfügbarkeit der Systeme zu gewährleisten. Beispielsweise kann eine Spurhaltung bei schneebedeckter Straße nicht möglich sein. Nachts ist es für kamerabasierte Softwaresysteme generell schwieriger Wetterbedingungen zu erkennen, da z.B. kein Himmel sichtbar ist, eine Sichtweite möglicherweise unter 50 m ist oder ein Straßenbelag unbekannt ist. Für den Fall, dass im Bild helle Objekte unterschiedlichster Art beispielsweise selbstleuchtende Objekte oder reflektierende Objekte vorhanden sind, können Bildmerkmale dieser Objekte darüber Aufschluss geben, welche konkreten Wetterbedingungen vorherrschen. Fig. 2 zeigt ein Ablaufdiagramm eines Verfahrens zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren kann beispielsweise auf einem Steuergerät 100 wie in Fig. 2 dargestellt ausgeführt werden. Das Verfahren weist ei- nen Schritt 202 des Ermitteins zumindest eines Abbildungsmerkmals in einer
Bildinformation und einen Schritt 204 des Bestimmens einer Wetterinformation zur Charakterisierung der Wetterbedingung auf.
Im Schritt 202 wird ein Abbildungsmerkmal in einer Bildinformation ermittelt. Die Bildinformation repräsentiert ein Abbild zumindest eines Teils des Umfelds des
Fahrzeugs. Das Abbildungsmerkmal repräsentiert einen Lichteffekt an einem reflektierenden oder selbstleuchtenden Objekt in dem Teil des Umfelds. Die Bildinformation kann beispielsweise von einer Kamera empfangen werden. Die Kamera kann an dem Fahrzeug angebracht sein und ein Umfeld vor dem Fahrzeug er- fassen. Das Abbildungsmerkmal kann ein Teil der Bildinformation sein. Wenn
Wetterbedingungen einen Strahlengang von einem Objekt zu der Kamera verändern, kann ein Abbild des Objekts eine andere Gestalt aufweisen, als ohne die Wetterbedingungen. Besonders deutlich kann dies erkennbar sein, wenn ein heller Lichtstrahl durch das "Wetter" dringt. Dann können Partikel, wie
Wassertröpfchen, Eiskristalle oder Staub optische Effekte hervorrufen, die das
Abbild des Objekts verschwimmen lassen können. Ein anderer Effekt kann auftreten, wenn die Wetterbedingungen durch beispielsweise Schnee oder Regen das Umfeld vor dem Fahrzeug stark reflektierend machen. Dann kann Licht, das normalerweise nicht die Kamera direkt erreichen würde, auf die Kamera reflek- tiert werden und die Kamera blenden. Dadurch können beispielsweise Teilbereiche der Bildinformation überbelichtet werden und einen Großteil ihrer enthaltenen Information verlieren. Solche beispielhaften optischen Effekte können im Schritt 202 als Abbildungsmerkmal ermittelt werden. Im Schritt 204 wird das Abbildungsmerkmal mit zumindest einem Erwartungswert verglichen. Der Erwartungswert kann ein Abbild des Abbildungsmerkmals bei einer ähnlichen Wetterbedingung sein. Dadurch kann dem Abbildungsmerkmal eine entsprechende Wetterinformation zugeordnet werden. Die Wetterinformation kann die aktuelle Wetterbedingung charakterisieren. Basierend auf der Wetterin- formation kann eine Fahrzeugsteuerung Steuerparameter präventiv an die aktuelle Wetterbedingung anpassen. Im Schritt 204 kann das Abbildungsmerkmal mit einer Vielzahl von Erwartungswerten verglichen werden. Jeder der Erwartungswerte kann eine unterschiedliche Wetterbedingung repräsentieren und je einer unterschiedlichen Wetterinformation zugeordnet sein. Die Figuren 3 bis 10 zeigen Kamerabilder verschiedener Wetterbedingungen bei
Nacht. Die Kamerabilder zeigen ein Fahrersichtfeld vor einem Fahrzeug. Das Fahrersichtfeld ist von Scheinwerfern des Fahrzeugs ausgeleuchtet. In den Kamerabildern sind unterschiedliche reflektierende oder emittierende Lichtobjekte repräsentiert. Daher wird hier eine Erkennung von Wetterbedingungen bei Nacht anhand von selbstleuchtenden und reflektierenden Objekten beschrieben. Eine
Schätzung der aktuell vorherrschenden Wetterbedingung basiert auf einer Bestimmung charakteristischer Merkmale für sowohl reflektierende als auch selbstleuchtende Lichtobjekte. Das können z.B. Scheinwerfer und Leuchten von Fremdverkehr sein, vom eigenen Scheinwerferlicht beleuchtete Reflektoren, so- wie auch ein erhellter Bereich der Straße direkt vor dem Fahrzeug. Die Merkmale dieser Lichtobjekte, wie maximale Helligkeit, Grauwertverlauf, Farbe,
Gradientenverlauf, und Ähnliches weisen unter normalen Wetterbedingungen definierte Charakteristiken auf. Diese Charakteristiken können als Merkmalsbereiche beschrieben werden. Weichen die Wetterbedingungen vom„NormalfaH" ab bzw. ändern sich die Witterungsbedingungen z.B. durch einsetzenden Regen, eine Nebelbank, verschmutzte Fahrbahn, etc., spiegelt sich die Änderung in veränderten Merkmalsbereichen wider. Merkmale„entarten". Diese Änderung der verschiedenen Merkmalsbereiche gibt einen direkten Hinweis auf die konkrete Wetterbedingung.
So ist für nachfolgend beispielhaft aufgeführte Wettersituationen die Auswertung bzw. Berücksichtigung von folgenden Merkmalen vorteilhaft. Dabei kann ein Bild mit Nebel z.B. einen großflächigen, flachen Gradientenverlauf aufweisen und kann vergleichsweise dunkel sein. Regen kann in einem Bild beispielsweise ent- artete, langgezogene Objektformen und einen z.T. starken Gradientenverlauf hervorrufen, ein Bild mit Regen kann einen unregelmäßigen Helligkeitsverlauf aufweisen. Schnee am Fahrbahnrand kann z.B. als viele kleine helle Objekte abgebildet werden. Durch reflektierende Facetten an Eiskristallen kann Schnee „glitzern". Dabei können stark variierende Gradientenmerkmale auftreten. Auf- grund der weißen Farbe von Schnee kann eine Farbinformationen fehlen.
Schnee, Staub oder ähnliches auf der Fahrbahn kann z.B. scheinbare oder virtu- eile große opake Objekte direkt vor dem eigenen Fahrzeug hervorrufen. Dabei können unregelmäßige Gradientenmerkmale auftreten. Generell ist es vorteilhaft, die Fläche vor dem eigenen Fahrzeug objektunabhängig genauer zu analysieren. Um die Robustheit des vorgeschlagenen Ansatzes zu verbessern, ist eine Analyse von Merkmalsänderungen für eine Vielzahl oder alle Objekte in einem Bild vorteilhaft. Dadurch kann z.B. erkannt werden, ob gerade ein Scheibenwischer durch das Bild bewegt wird und einen Teil der Bildinformationen verdeckt. Eine weitere Variante zur Erhöhung der Robustheit ist es, die Analyse der Wetterbe- dingungen nicht nur pro Bild durchzuführen, sondern die Analyse der Merkmalsverläufe bzw. Merkmalsänderungen über mehrere Bilder durchzuführen. Erkannte Objekten können Tracks zugeordnet werden. Diese können über mehrere Bilder analysiert werden. Darunter ist z.B. zu verstehen, wann ein Objekt erstmals detektiert wurde und wie ist der Merkmalsverlauf über die Zeit bzw. den zurück- gelegten Weg.
Fig. 3 zeigt ein Bild eines Fahrersichtfelds bei trockener Witterung. Das Fahrersichtfeld wird teilweise von Licht aus Scheinwerfern eines Fahrzeugs ausgeleuchtet. Ein geradliniger Verlauf einer Straße 300 mit je einer Richtungsfahrbahn ist vor dem Fahrzeug so weit zu erkennen, bis das Licht nicht mehr ausreicht die
Straße 300 auszuleuchten. Die Straße 300 weist reflektierende Fahrbahnmarkierungen 302, 304 auf einem dunklen Fahrbahnbelag und Leiteinrichtungen 306, 308 auf. Ein rechter Fahrbahnrand weist eine durchgehende Seitenmarkierung 302 auf. Eine Straßenmitte weist eine unterbrochene Mittenmarkierung 304 auf. Ein rechter Seitenbereich der Straße 300 ist mit Vegetation bewachsen und weist schwarz-weiße Leitpfosten 306 mit länglichen Reflektoren auf. Weiterhin weist der rechte Seitenbereich reflektierende Straßenschilder 310 auf. Ein linker Seitenbereich der Straße 300 weist schwarz-weiße Leitpfosten 306 mit je zwei punktförmigen Reflektoren auf. Weiterhin weist der linke Seitenbereich eine Sei- tenleitplanke 308 auf. Auf der Straße 300 ist in einem Nahbereich vor dem Fahrzeug eine untere Hell-Dunkelgrenze eines Lichtkegels der Scheinwerfer erkennbar. Ab der Hell-Dunkelgrenze ist die Richtungsfahrbahn, auf der sich das Fahrzeug befindet, hell ausgeleuchtet. Eine Intensität der Ausleuchtung nimmt mit zunehmender Entfernung von dem Fahrzeug ab. Der rechte Seitenbereich ist ebenfalls ab der Hell-Dunkelgrenze hell ausgeleuchtet. Auch hier nimmt die Intensität der Ausleuchtung mit zunehmender Entfernung von dem Fahrzeug ab. Die andere Richtungsfahrbahn ist nur partiell hell ausgeleuchtet. Das Bild zeigt einen für trockene Witterung charakteristischen Lichtfleck 312 vor dem Fahrzeug. Die reflektierenden Objekte 302, 304, 306, 310 im Bild sind bis auf eine große Entfernung vor dem Fahrzeug erkennbar. Bei dem hier vorgestellten Ansatz wer- den hell erleuchtete Teilbereiche 312 und reflektierende Objekte 302, 304, 306,
310 im Bild ausgewertet. Wie in Fig. 3 dargestellt ist ein scharfer hell-dunkel Übergang an abgebildeten reflektierenden Objekten 302, 304, 306, 310 charakteristisch für trockene Witterung. Zudem sind keine Abbildungsmerkmale vorhanden, wie sie anhand der nachfolgenden Figuren beschrieben werden. Diese Wit- terungsbedingung kann beispielsweise erkannt werden, indem überprüft wird, ob sich in einem definierten Bereich vor dem Fahrzeug der Lichtfleck 312 befindet und ob sehr helle Bildbereiche einen sehr scharfen Übergang zu benachbarten dunklen Bildbereichen aufweisen. Fig. 4 zeigt ein Bild eines Fahrersichtfelds bei nasser Witterung. Wie in Fig. 3 ist das Fahrersichtfeld teilweise durch Licht aus Scheinwerfern eines Egofahrzeugs ausgeleuchtet. Die Straße 300 verläuft vor dem Egofahrzeug in einer Linkskurve. In der Linkskurve ist eine Verkehrsinsel mit einem Verkehrszeichen 310„vorgeschriebene Vorbeifahrt rechts" und einem Fußgängerüberweg (Zebrastreifen) quer zur Straße 300 angeordnet. Ebenso weist die Straße 300 auf der Fahrbahn und im rechten Seitenbereich, sowie in einem mittleren Bereich reflektierende Objekte 304, 306, 310 auf. Die Straße 300 ist nass. Daher wirft der Fahrbahnbelag das Licht der Scheinwerfer nur in geringem Umfang zum Fahrzeug zurück. Es ist kein Lichtfleck vor dem Egofahrzeug, wie in Fig. 3 dargestellt, erkennbar. Die Straße 300 ist nur durch die reflektierenden Objekte 304, 306, 310 und den
Fußgängerüberweg erkennbar. Auf der anderen Richtungsfahrbahn sind zwei sehr helle selbstleuchtende Objekte 402 abgebildet. Die selbstleuchtenden Objekte 402 repräsentieren zwei Frontscheinwerfer 402 eines entgegenkommenden Fahrzeugs. Die selbstleuchtenden Objekte 402 sind als zwei gleich große und in etwa gleicher Höhe voneinander beabstandet angeordnet sehr helle Bildbereiche dargestellt. Das entgegenkommende Fahrzeug ist nicht erkennbar. Auf der Straße 300 vor dem entgegenkommenden Fahrzeug, unterhalb der selbstleuchtenden Objekte 402, befinden sich zwei stark reflektierende helle Flächen 404, die Licht der zwei Frontscheinwerfer 402 direkt auf das Egofahrzeug spiegeln. Das Licht der zwei Frontscheinwerfer 402 wird an Scheibenwischerschlieren auf einer
Frontscheibe des Egofahrzeugs gestreut. Dadurch weisen die selbstleuchtenden Objekte 402 so genannte Lichtschwerter 406 auf. Ein rechter Straßenrand 408 der Straße 300 ist schneebedeckt und reflektiert einen Teil des Lichts der Scheinwerfer zurück zum Egofahrzeug. Aufgrund eines fehlenden Lichtflecks vor dem Egofahrzeug und den Abbildungsmerkmalen "reflektierende Flächen" 404 unterhalb von selbstleuchtenden Objekten 402, von selbstleuchtende Objekte
402 ausgehende "Lichtschwerter" 406, sowie "vermehrte Lichtreflexionen am Straßenrand" 408 kann durch ein Verfahren gemäß einem Ausführungsbeispiel der vorliegenden Erfindung erkannt werden, dass die Straße 300 nass ist und Niederschlag die Scheibenwischerschlieren auf der Frontscheibe bewirkt. Wei- terhin kann erkannt werden, dass Schnee liegt und eventuell mit überfrierender
Nässe zu rechnen ist. Diese Wetterinformation kann in einer Fahrzeugsteuerung des Egofahrzeugs verarbeitet werden, um Parameter der Fahrzeugsteuerung auf die aktuellen Wetterbedingungen anzupassen. Fig. 5 zeigt ein weiteres Bild eines Fahrersichtfelds bei nasser Witterung. Wie in
Fig. 3 ist das Fahrersichtfeld teilweise durch Licht aus Scheinwerfern eines Egofahrzeugs ausgeleuchtet. Wie in Fig. 3 weist die Straße 300 auf der Fahrbahn und im rechten Seitenbereich reflektierende Objekte 302, 304, 306, 310 auf. Die Straße 300 ist nass. Daher wirft der Fahrbahnbelag das Licht der Scheinwerfer nur in geringem Umfang zum Fahrzeug zurück. Es ist kein Lichtfleck vor dem
Egofahrzeug, wie in Fig. 3 dargestellt, erkennbar. Die Straße 300 ist nur durch die reflektierenden Objekte 302, 304, 306, 310 erkennbar. Auf der Richtungsfahrbahn vor dem Egofahrzeug ist ein vorausfahrendes Fahrzeug abgebildet. Zwei Rückleuchten 502 des vorausfahrenden Fahrzeugs sind als helle Lichtpunk- te 502 erkennbar. Ausgestrahltes Licht der Rückleuchten 502 wird an Scheibenwischerschlieren auf einer Frontscheibe des Egofahrzeugs gestreut. Dadurch weisen die hellen Lichtpunkte 502 sogenannte Lichtschwerter 406 auf. Auf der anderen Richtungsfahrbahn sind zwei sehr helle selbstleuchtende Objekte 402 abgebildet. Die selbstleuchtenden Objekte 402 repräsentieren zwei Frontschein- werter 402 eines entgegenkommenden Fahrzeugs. Das entgegenkommende
Fahrzeug ist nicht erkennbar. Das Licht der zwei Frontscheinwerfer 402 wird an den Scheibenwischerschlieren auf einer Frontscheibe des Egofahrzeugs ebenfalls gestreut. Dadurch weisen auch die selbstleuchtenden Objekte 402 Lichtschwerter 406 auf. Ein rechter Straßenrand 408 der Straße 300 ist schneebe- deckt und reflektiert einen Teil des Lichts der Scheinwerfer diffus zurück zum
Egofahrzeug. Aufgrund eines fehlenden Lichtflecks vor dem Egofahrzeug und den Abbildungsmerkmalen "Lichtschwerter" 406, sowie "vermehrte Lichtreflexionen am Straßenrand" 408 kann durch ein Verfahren gemäß einem Ausführungsbeispiel der vorliegenden Erfindung erkannt werden, dass die Straße 300 nass ist und Niederschlag die Scheibenwischerschlieren auf der Frontscheibe bewirkt. Weiterhin kann erkannt werden, dass Schnee liegt und eventuell mit überfrierender Nässe zu rechnen ist. Diese Wetterinformation kann in einer Fahrzeugsteuerung des Egofahrzeugs verarbeitet werden, um Parameter der Fahrzeugsteuerung auf die aktuellen Wetterbedingungen anzupassen. Die Figuren 6, 7 und 8 zeigen Bilder eines Fahrersichtfelds bei Nebel. Wie in Fig.
3 ist eine Straße 300 vor einem Egofahrzeug von Scheinwerfern des Egofahrzeugs beleuchtet. Die Straße 300 weist eine unterbrochene Mittenmarkierung 304 auf. Ein rechter Straßenrand 408 ist schneebedeckt und wirft diffuses Licht der Scheinwerfer des Egofahrzeugs zurück.
In Fig. 6 werden Wassertröpfchen oder Feinste Eiskristalle in der Luft vor dem Egofahrzeug von den Scheinwerfern angestrahlt und reflektieren einen Teil des Lichts der Scheinwerfer zurück zum Egofahrzeug. Dadurch sind die Scheinwerferkegel 602 der Scheinwerfer des Egofahrzeugs erkennbar. Durch eine Hellig- keit der Lichterscheinung der Scheinwerferkegel 602 ist der Lichtfleck auf der
Fahrbahnoberfläche der Straße 300 durch die scheinbar schwebenden Scheinwerferkegel 602 überdeckt. Die Mittenmarkierung 304 ist trotz ihrer reflektierenden Eigenschaften nur unwesentlich weiter erkennbar, als der rechte Straßenrand 408. Der Nebel begrenzt eine Sichtweite. Nebel kann erkannt werden, in- dem überprüft wird, ob in einem bekannten Ausleuchtungsbereich der Scheinwerfer Scheinwerferkegel 602 in dem Abbild zu erkennen sind.
In Fig. 7 sind zusätzlich zu den Scheinwerferkegeln 602, wie sie in Fig. 6 abgebildet sind, rechts neben der Straße 300 reflektierende Verkehrszeichen 310 er- kennbar. Eine erste Gruppe von Verkehrszeichen 310 wird direkt von den
Scheinwerfern des Egofahrzeugs angestrahlt und reflektiert eine große Lichtmenge zurück zum Egofahrzeug. Daher wirken diese Verkehrszeichen 310 wie eine starke Lichtquelle, die einen Lichtstrahl auf das Egofahrzeug aussendet. Der Lichtstrahl wird von den schwebenden Wassertröpfchen oder den Eiskristallen gebrochen und gestreut. Die Verkehrszeichen 310 sind deshalb von einem leuchtenden Ring, einer Halo 702 umgeben. Die Halo 702 weist eine größere Helligkeit auf, als die Scheinwerferkegeln 602. Bei einer weiteren Gruppe von Verkehrszeichen 310, die nicht direkt angestrahlt werden ist die reflektierte Lichtmenge nicht groß genug, um einer Halo 702 hervorzurufen. In Fig. 8 sind auf der weiteren Richtungsfahrbahn der Straße 300 zwei helle
Lichtpunkte 402 abgebildet. Die hellen Lichtpunkte 102 repräsentieren zwei Frontscheinwerfer 402 eines entgegenkommenden Fahrzeugs. Auch die Lichtstrahlen der Frontscheinwerfer 402, die direkt auf das Egofahrzeug gerichtet sind werden von den schwebenden Eis- und/oder Wasserpartikeln gebrochen und gestreut. Deshalb sind die hellen Lichtpunkte 102 ebenfalls je von einer Halo 702 umgeben. Der Nebel ist lichter als in Fig. 6 und Fig. 7. Deshalb sind die Scheinwerferkegel 602 weniger aus geprägt, und die Scheinwerfer des Egofahrzeugs erzeugen den Lichtfleck 312 auf der Fahrbahnoberfläche. Rechts neben der Straße 300 ist ein Verkehrszeichen abgebildet, das nicht genug Licht zum Ego- fahrzeug zurückwirft, um einer Halo aufzuweisen.
Aufgrund der Abbildungsmerkmale Scheinwerferkegel 602 und Halo 702 kann das hier vorgestellte Verfahren eine Wetterinformation "Nebel" bestimmen und durch einen Vergleich des tatsächlichen Lichtflecks 312 mit einem erwarteten Lichtfleck 312 eine Wetterinformation "voraussichtliche Sichtweite" erzeugen.
Aufgrund dieser Wetterinformationen kann eine Fahrzeugsteuerung des Egofahrzeugs Parameter, wie beispielsweise eine Lichtverteilung vor dem Fahrzeug an die tatsächlichen Wetterbedingungen anpassen. Dadurch kann eine Eigensicht für den Fahrer des Egofahrzeugs verbessert werden.
Die Figuren des 9 und 10 zeigen ein Fahrersichtfeld bei schneebedeckter Straße 300 und Schneefall. Die Straße 300 ist vor dem Egofahrzeug weiträumig ausgeleuchtet und reflektiert Licht von den Scheinwerfern des Egofahrzeugs großflächig diffus zurück zum Egofahrzeug. Am rechten und linken Straßenrand ist Schnee aufgetürmt und reflektiert aufgrund eines besseren Lichteinfallwinkels von den Scheinwerfern des Egofahrzeugs mehr Licht zurück zum Egofahrzeug als die Schneefahrbahn.
In Fig. 9 beleuchten die Scheinwerfer des Egofahrzeugs einzelne Schneeflocken 902 in der Luft vor dem Fahrzeug. Die Schneeflocken 902 erscheinen im Bild als helle weiße Punkte. In Fig. 10 kommt dem Egofahrzeug ein anderes Fahrzeug entgegen. Die Scheinwerfer 402 des anderen Fahrzeugs beleuchten die Schneefahrbahn vor dem anderen Fahrzeug sehr hell. Deshalb ist dieser Teil des Fahrersichtfelds in Fig. 10 überbelichtet und erscheint als amorphe weiße Fläche 1002. Aufgrund der charakteristischen Lichtverteilung auf der Straße 300 vor dem Egofahrzeug bei schneebedeckter Fahrbahn oder auch aufgrund der überbelichteten Fläche 1002 vor dem entgegenkommenden Fahrzeug kann das hier vorgestellte Verfahren eine Wetterinformation "Schnee auf der Fahrbahn" bestimmen. Durch eine Auswertung einer Anzahl von Schneeflocken 902 im Scheinwerferlicht kann auf eine Dichte des Schneefalls, und damit auf eine Wet- terinformation "voraussichtliche Sichtweite" geschlossen werden.
Fig. 1 1 zeigt beispielhaft Ergebnisse eines veränderten Merkmalsraums für einen sich bei drei verschiedenen Wettersituationen vor dem Fahrzeug befindlichen Lichtfleck. Gezeigt sind eine Anordnung 1 102 des Lichtflecks bei klarer Atmo- Sphäre, eine Anordnung 1 104 des Lichtflecks bei leichtem Nebel und eine Anordnung 1 106 des Lichtflecks bei Nebel. Auf der Abszisse ist eine Breite des Lichtflecks in einem Kamerabild angetragen, auf der Ordinate ist eine Höhe des Lichtflecks im Kamerabild angetragen. Je nach Wettersituation weist der Lichtfleck eine andere Position, Form und Ausdehnung auf.
Ohne reflektierende Partikel in der Luft vor dem Fahrzeug, bei klarer Atmosphäre, trifft der Strahl der Scheinwerfer die Fahrbahnoberfläche. Aufgrund von Fahrbahnunebenheiten weist die gemessene Höhe, sowie die gemessene Breite des Lichtflecks eine Schwankungsbreite auf. Da die Fahrbahnoberfläche nur Licht im Zentrum des Scheinwerferstrahls mit hoher Intensität zum Fahrzeug zurück reflektiert, erscheint der Lichtfleck schmal. Bei leichtem Nebel werden bereits Partikel in der Luft vor dem Fahrzeug von dem Strahl der Scheinwerfer angeleuchtet und machen ihn sichtbar. Abhängig von einer Dichte des Nebels erscheint der Lichtfleck in unterschiedlichen Höhen vor dem Fahrzeug. Da der Nebel auch Licht mit geringerer Intensität, aus Seitenbereichen des Scheinwerferstrahls reflektiert, erscheint der Lichtfleck bei leichtem Nebel breiter, als der Lichtfleck bei klarer Atmosphäre. Die Breite des Lichtflecks bei leichtem Nebel unterliegt einer großen Schwankungsbreite. Bei Nebel trifft nur noch ein geringer Teil des Lichts auf die Fahrbahn. Ein Großteil des Lichts wird bereits von den Partikeln in der Luft reflektiert, und lässt den Lichtfleck hoch vor dem Fahrzeug schweben. Da der Nebel auch sehr schwaches Licht zurück zum Fahrzeug reflektiert und somit auch Teile des Lichtstrahls sichtbar sind, die bei klarer Atmosphäre keinen Lichtfleck auf der Fahrbahn hervorrufen, erscheint der Lichtfleck sehr breit. Durch eine Ausweitung der Höhe und der Breite der Lichtflecke kann durch das hier vorgestellte Verfahren beispielsweise eine Wetterinformation "Nebeldichte" bestimmt werden.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.

Claims

Ansprüche
1 . Verfahren zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs (106), wobei das Verfahren die folgenden Schritte aufweist:
Ermitteln (202) zumindest eines Abbildungsmerkmals (404, 406; 602; 702; 902; 1002) in einer Bildinformation, wobei die Bildinformation ein Abbild zumindest eines Bereichs Teils des Umfelds repräsentiert und das Abbildungsmerkmal einen Lichteffekt an einem reflektierenden oder selbstleuchtenden Objekt (302, 304, 306, 310, 312; 402, 408; 502) in dem Bereich des Umfelds repräsentiert; und
Bestimmen (204) einer Wetterinformation zur Charakterisierung der Wetterbedingung basierend auf einem Vergleich zwischen dem Abbildungsmerkmal und zumindest einem Erwartungswert.
2. Verfahren gemäß Anspruch 1 , bei dem der Lichteffekt zumindest einen Hell Dunkel-Gradienten repräsentiert, und im Schritt (202) des Ermitteins ein Streuungskennwert und/oder ein Brechungskennwert aus dem Abbildungsmerkmal (404, 406; 602; 702; 902; 1002) des Hell-Dunkel-Gradienten ermittelt wird, wobei der Streuungskennwert eine Lichtstreuung in einem Bildbereich um das reflektierende oder selbstleuchtende Objekt (302, 304, 306, 310, 312; 402, 408; 502) repräsentiert, und der Brechungskennwert eine Lichtbrechung in dem Bildbereich um das reflektierende oder selbstleuchtende Objekt (302, 304, 306, 310, 312; 402, 408; 502) repräsentiert, und im Schritt (204) des Bestimmens ferner der Streuungskennwert und/oder der Brechungskennwert mit zumindest einem Erwartungswert für den
Streuungskennwert und/oder einem Erwartungswert für den Brechungskennwert verglichen wird.
3. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem der
Lichteffekt zumindest eine Charakteristik eines Lichtflecks (312; 602) reprä- sentiert, der zumindest von einem, von einem Scheinwerfer des Fahrzeugs abgegebenen Lichtbündel hervorgerufen wird, und im Schritt (202) des Ermitteins eine Position (1 102, 1 104, 1 106) des Lichtflecks aus dem Abbildungsmerkmal (404, 406; 602; 702; 902; 1002) ermittelt wird, und im Schritt (204) des Bestimmens ferner die Position mit einem Erwartungswert für die Position verglichen wird.
Verfahren gemäß Anspruch 3, bei dem im Schritt (204) des Ermitteins aus dem Abbildungsmerkmal (404, 406; 602; 702; 902; 1002) ferner eine Höhe und eine Breite des Lichtflecks (312; 602) ermittelt wird, wobei die Höhe eine scheinbare vertikale Ausdehnung des Lichtflecks repräsentiert und die Breite eine scheinbare horizontale Ausdehnung des Lichtflecks repräsentiert, und im Schritt (204) des Bestimmens ferner die Höhe mit einem Erwartungswert für die Höhe verglichen wird und die Breite mit einem Erwartungswert für die Breite verglichen wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem der Lichteffekt zumindest eine Bodenhelligkeit repräsentiert, und im Schritt (202) des Ermitteins eine Lichtverteilung der Bodenhelligkeit aus dem Abbildungsmerkmal (404, 406; 602; 702; 902; 1002) ermittelt wird, und im Schritt (204) des Bestimmens ferner die Lichtverteilung mit einem Erwartungswert für die Lichtverteilung verglichen wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem der Lichteffekt zumindest eine Helligkeit in einem bodennahen Seitenbereich repräsentiert, wobei der Seitenbereich außerhalb eines von Scheinwerfern des Fahrzeugs direkt angeleuchteten Bereichs, seitlich des Fahrzeugs angeordnet ist, und dem im Schritt (202) des Ermitteins aus dem Abbildungsmerkmal (404, 406; 602; 702; 902; 1002) ein Seitenbereichshelligkeitswert der Helligkeit ermittelt wird, und im Schritt (204) des Bestimmens ferner der Seitenbereichshelligkeitswert mit einem Erwartungswert für den Seitenbereichshelligkeitswert verglichen wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (202) des Ermitteins ein weiteres Abbildungsmerkmal (404, 406; 602; 702; 902; 1002) in der Bildinformation ermittelt wird, und das weitere Abbildungsmerkmal einen weiteren Lichteffekt an einem weiteren reflektierenden oder selbstleuchtenden Objekt (302, 304, 306, 310, 312; 402, 408; 502) in dem Teil des Umfelds repräsentiert, und im Schritt (204) des Bestimmens die Wetterinformation basierend auf einem weiteren Vergleich zwischen dem weiteren Abbildungsmerkmal und zumindest einem weiteren Erwartungswert bestimmt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem in einem zusätzlichen Schritt (202) des Ermitteins aus einer zusätzlichen Bildinformation zumindest ein zusätzliches Abbildungsmerkmal (404, 406; 602; 702; 902; 1002) ermittelt wird, wobei die zusätzliche Bildinformation ein zusätzliches Abbild zumindest des Bereichs des Umfelds zu einem zusätzlichen Zeitpunkt repräsentiert, und das zusätzliche Abbildungsmerkmal einen zusätzlichen Lichteffekt zu dem zusätzlichen Zeitpunkt an dem reflektierenden oder selbstleuchtenden Objekt (302, 304, 306, 310, 312; 402, 408; 502) in dem Bereich des Umfelds repräsentiert, und im Schritt (204) des Bestimmens die Wetterinformation ferner basierend auf einem zusätzlichen Vergleich zwischen dem zusätzlichen Abbildungsmerkmal und zumindest einem zusätzlichen Erwartungswert bestimmt wird, wobei die Wetterinformation ferner basierend auf einer Veränderung zwischen dem Vergleich und dem zusätzlichen Vergleich bestimmt wird.
Steuergerät zur Erkennung einer Wetterbedingung in einem Umfeld eines Fahrzeugs (106), wobei das Steuergerät (100) die folgenden Merkmale aufweist: eine Einrichtung (102) zum Ermitteln eines Abbildungsmerkmals (404, 406; 602; 702; 902; 1002) in einer Bildinformation, wobei die Bildinformation ein Abbild zumindest eines Bereichs des Umfelds repräsentiert und das Abbildungsmerkmal einen Lichteffekt an einem reflektierenden oder selbstleuchtenden Objekt (302, 304, 306, 310, 312; 402, 408; 502) in dem Bereich des Umfelds repräsentiert; und eine Einrichtung (104) zum Bestimmen einer Wetterinformation zur Charakterisierung der Wetterbedingung basierend auf einem Vergleich zwischen dem Abbildungsmerkmal und zumindest einem Erwartungswert. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programm auf einem Informationssystem ausgeführt wird.
PCT/EP2012/059033 2011-06-17 2012-05-15 Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs WO2012171739A2 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201280078252.5A CN105593875B (zh) 2011-06-17 2012-05-15 用于识别车辆的周围环境中的天气状况的方法和控制设备
JP2014515114A JP5851597B2 (ja) 2011-06-17 2012-05-15 車両の周辺区域の気象条件を認識する方法および制御装置
US14/126,885 US9946937B2 (en) 2011-06-17 2012-05-15 Method and control unit for recognizing a weather condition in the surroundings of a vehicle
EP12722129.9A EP2721554A2 (de) 2011-06-17 2012-05-15 Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011077737.7 2011-06-17
DE102011077737 2011-06-17

Publications (2)

Publication Number Publication Date
WO2012171739A2 true WO2012171739A2 (de) 2012-12-20
WO2012171739A3 WO2012171739A3 (de) 2013-03-21

Family

ID=46125441

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/059033 WO2012171739A2 (de) 2011-06-17 2012-05-15 Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs

Country Status (6)

Country Link
US (1) US9946937B2 (de)
EP (1) EP2721554A2 (de)
JP (1) JP5851597B2 (de)
CN (1) CN105593875B (de)
DE (1) DE102012209810A1 (de)
WO (1) WO2012171739A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014223872A (ja) * 2013-05-16 2014-12-04 株式会社小糸製作所 リアフォグランプ制御装置及びリアフォグランプシステム

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010063017A1 (de) * 2010-12-14 2012-06-14 Robert Bosch Gmbh Verfahren in einem Fahrerassistenzsystem zur Erkennung von Nässe auf einer Fahrbahn
JP6032475B2 (ja) * 2012-07-13 2016-11-30 パナソニックＩｐマネジメント株式会社 照明装置
DE102013019138A1 (de) * 2013-11-12 2015-05-13 Application Solutions (Electronics and Vision) Ltd. Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
US9594964B2 (en) * 2014-06-12 2017-03-14 GM Global Technology Operations LLC Vision-based wet road surface detection using texture analysis
CN107110648A (zh) * 2014-11-06 2017-08-29 金泰克斯公司 用于可视范围检测的***和方法
JP6599613B2 (ja) * 2014-12-25 2019-10-30 株式会社小糸製作所 配光可変車両用灯具
US9465987B1 (en) * 2015-03-17 2016-10-11 Exelis, Inc. Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms
US10366285B2 (en) 2015-04-09 2019-07-30 Bendix Commercial Vehicle Systems Llc Method and apparatus for determining the operation of a vehicle safety system
EP3264250B1 (de) * 2016-06-27 2020-12-09 Volkswagen Aktiengesellschaft Verfahren und system zum auswählen eines betriebsmodus für ein fahrzeug
DE102016213059A1 (de) * 2016-07-18 2018-01-18 Robert Bosch Gmbh Verfahren und Steuergerät zum Verarbeiten eines zumindest einen Lichthof repräsentierenden Bildes sowie Bildaufnahmesystem
CN106686165B (zh) * 2016-12-30 2018-08-17 维沃移动通信有限公司 一种路况检测的方法及移动终端
US10197486B2 (en) * 2017-04-30 2019-02-05 Behrouz Mataei Pavement drainage evaluation system
WO2019003295A1 (ja) * 2017-06-27 2019-01-03 本田技研工業株式会社 走行制御システムおよび車両の制御方法
US20200172135A1 (en) * 2017-08-10 2020-06-04 Siemens Mobility GmbH Sensor-controlled adjustment of odometric measurement parameters to weather conditions
DE102017214729A1 (de) * 2017-08-23 2019-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position und zum Betreiben eines automatisierten Fahrzeugs
WO2019175919A1 (ja) 2018-03-12 2019-09-19 三菱電機株式会社 霧特定装置、霧特定方法及び霧特定プログラム
DE102018207803A1 (de) * 2018-05-17 2019-11-21 Bayerische Motoren Werke Aktiengesellschaft Vorausschauender Scheibenwischer
JP7070082B2 (ja) * 2018-05-18 2022-05-18 株式会社デンソー 車載カメラ
DE102018218733A1 (de) * 2018-10-31 2020-04-30 Robert Bosch Gmbh Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Strassennässeinformation eines ersten Ultraschallsensors
JP7063257B2 (ja) * 2018-12-14 2022-05-09 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
DE102020200828A1 (de) 2020-01-23 2021-07-29 Zf Friedrichshafen Ag Verfahren zum Bereitstellen einer künstlichen Intuition
DE102020112488A1 (de) 2020-05-08 2021-11-11 HELLA GmbH & Co. KGaA Vorrichtung zur Erkennung einer Wetterbedingung in einem Fahrzeugvorfeld
JP7359091B2 (ja) * 2020-07-15 2023-10-11 株式会社デンソー 画像処理装置、画像処理方法、および画像処理プログラム
EP4303850A4 (de) * 2021-03-03 2024-05-01 Nissan Motor Co., Ltd. Objekterkennungsverfahren und objekterkennungsvorrichtung
KR20220165310A (ko) * 2021-06-07 2022-12-15 현대자동차주식회사 자율 주행 제어 장치 및 그 방법
DE102022107333A1 (de) 2022-03-29 2023-10-05 HELLA GmbH & Co. KGaA Vorrichtung und Verfahren zur Erfassung eines Niederschlags
US11972613B1 (en) * 2022-10-28 2024-04-30 Zoox, Inc. Apparatus and methods for atmospheric condition detection

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007062258A1 (de) 2007-12-21 2009-06-25 Robert Bosch Gmbh Optische Regensensorvorrichtung für ein Kraftfahrzeug

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
CA2182257A1 (en) * 1995-07-28 1997-01-29 Donald Beverly Giles Method and apparatus for detecting ice and packed snow
JPH09189533A (ja) 1996-01-11 1997-07-22 Tokai Rika Co Ltd 付着物センサ及び付着物感応ワイパ
JPH10124563A (ja) * 1996-08-27 1998-05-15 Matsushita Electric Ind Co Ltd 論理回路の遅延計算方法、その遅延計算装置及び遅延ライブラリの遅延データ計算方法
JPH11278182A (ja) * 1998-03-31 1999-10-12 Nissan Motor Co Ltd 車両用霧状況検出装置
JPH11321440A (ja) 1998-05-18 1999-11-24 Koito Mfg Co Ltd 車輌用灯具装置
JP3444192B2 (ja) 1998-05-21 2003-09-08 日産自動車株式会社 撮像環境推定装置
US6873898B1 (en) * 2000-06-15 2005-03-29 Continental Teves, Inc. Vehicle control system utilizing gps data
US6920233B2 (en) * 2001-02-20 2005-07-19 Massachusetts Institute Of Technology Method and apparatus for short-term prediction of convective weather
WO2002099465A1 (en) * 2001-06-04 2002-12-12 Massachusetts Institute Of Technology Video system for monitoring and reporting weather conditions
FR2826727B1 (fr) * 2001-06-29 2004-05-28 Valeo Vision Procede et dispositif pour detecter l'etat d'humidite d'une route sur laquelle circule un vehicule
DE10222665A1 (de) * 2002-05-22 2003-12-11 Bosch Gmbh Robert Verfahren zur Konfiguration einer Getriebesteuerung für Kraftfahrzeuge
DE10303046A1 (de) 2003-01-24 2004-10-21 Daimlerchrysler Ag Verfahren und Vorrichtung zur quantitativen Abschätzung der Sichtweite in Fahrzeugen
JP4258385B2 (ja) * 2004-01-14 2009-04-30 株式会社デンソー 路面反射検出装置
JP4353127B2 (ja) 2005-04-11 2009-10-28 株式会社デンソー レインセンサ
FR2884637B1 (fr) * 2005-04-19 2007-06-29 Valeo Vision Sa Procede de detection de brouillard nocturne et systeme de mise en oeuvre de ce procede
JP4513691B2 (ja) * 2005-08-23 2010-07-28 株式会社デンソー 撮像モジュール
US7428449B2 (en) * 2006-03-14 2008-09-23 Temic Automotive Of North America, Inc. System and method for determining a workload level of a driver
JP4730267B2 (ja) * 2006-07-04 2011-07-20 株式会社デンソー 車両用視界状況判定装置
CN1921621A (zh) * 2006-09-18 2007-02-28 李博航 全景可视驾驶辅助设备
US8436902B2 (en) * 2007-08-30 2013-05-07 Valeo Schalter And Sensoren Gmbh Method and system for weather condition detection with image-based road characterization
FR2922671B1 (fr) * 2007-10-17 2010-03-12 Valeo Vision Procede de determination automatique de coefficient d'une pente sur le point d'etre abordee par un vehicule automobile et dispositif associe
DE102007057745A1 (de) 2007-11-30 2009-06-04 Robert Bosch Gmbh Steuerungsverfahren und Steuerungsvorrichtung für eine Scheibenwischvorrichtung
US8379989B2 (en) * 2008-04-01 2013-02-19 Toyota Jidosha Kabushiki Kaisha Image search apparatus and image processing apparatus
DE102008043737A1 (de) 2008-11-14 2010-05-20 Robert Bosch Gmbh Vorrichtung und Verfahren zur Detektion von Regentropfen auf einer Scheibe
DE102009011866A1 (de) 2009-03-05 2010-09-09 Volkswagen Ag Verfahren und Vorrichtung zum Bestimmen einer Sichtweite für ein Fahrzeug
CN102883925B (zh) * 2010-03-04 2016-07-06 法雷奥开关和传感器有限责任公司 在风挡玻璃上的雾和雨滴的检测方法以及驾驶辅助装置
US8791996B2 (en) * 2010-03-31 2014-07-29 Aisin Aw Co., Ltd. Image processing system and position measurement system
US8655505B2 (en) * 2011-02-18 2014-02-18 Caterpillar Inc. Worksite management system implementing remote machine reconfiguration

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007062258A1 (de) 2007-12-21 2009-06-25 Robert Bosch Gmbh Optische Regensensorvorrichtung für ein Kraftfahrzeug

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014223872A (ja) * 2013-05-16 2014-12-04 株式会社小糸製作所 リアフォグランプ制御装置及びリアフォグランプシステム

Also Published As

Publication number Publication date
JP5851597B2 (ja) 2016-02-03
US20140233805A1 (en) 2014-08-21
JP2014518412A (ja) 2014-07-28
CN105593875A (zh) 2016-05-18
DE102012209810A1 (de) 2012-12-20
CN105593875B (zh) 2020-02-07
US9946937B2 (en) 2018-04-17
EP2721554A2 (de) 2014-04-23
WO2012171739A3 (de) 2013-03-21

Similar Documents

Publication Publication Date Title
WO2012171739A2 (de) Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs
US8436902B2 (en) Method and system for weather condition detection with image-based road characterization
EP2057583B1 (de) Verfahren zur automatischen fernlichtsteuerung
CA2513683C (en) Automatic vehicle exterior light control systems
DE102005044486B4 (de) Verfahren zur Detektion des Oberflächenzustands einer Fahrbahn, sowie Detektionssystem und Fahrerassistenzsystem zur Umsetzung des Verfahrens
DE102014212032A1 (de) Verfahren zum Detektieren einer Fahrbahn und entsprechendes Detektionssystem
DE102009039179A1 (de) Scheinwerfersteuervorrichtung und Fahrzeugscheinwerfer mit Scheinwerfersteuervorrichtung
EP2062198B1 (de) Erkennung von fahrzeuglichtern mit einer kamera
DE102013226760A1 (de) Verfahren und Vorrichtung zur Erkennung von Objektreflexionen
DE102009048849A1 (de) Fahrzeugerfassungseinrichtung, Fahrzeugerfassungsprogramm und Lichtregelungseinrichtung
EP2769234A1 (de) Verfahren und vorrichtung zur ermittlung einer position eines objektes in einem umfeld eines fahrzeugs
DE102011088130A1 (de) Verfahren und Vorrichtung zur Erkennung einer Bremssituation
DE102014214097A1 (de) Verfahren und Vorrichtung zum Steuern einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
WO2013083120A1 (de) Verfahren zur auswertung von bilddaten einer fahrzeugkamera unter berücksichtigung von informationen über regen
DE102005047331A1 (de) Verfahren und Vorrichtung zur Beleuchtungssteuerung bei Straßenfahrzeugen
EP3140672B1 (de) System zur detektion von nebel direkt vor einem kraftfahrzeug
DE102011081398B4 (de) Verfahren und Vorrichtung zum Unterscheiden eines selbstleuchtenden Objekts von einem reflektierenden Objekt
JP4300274B2 (ja) 雪検知システム
KR100660561B1 (ko) 비전기반 지능형 스마트 와이퍼 시스템 및 그 제어방법
EP2748759A1 (de) Verfahren und vorrichtung zum erkennen von störobjekten in der umgebungsluft eines fahrzeugs
DE102022129415A1 (de) Verfahren zum Erfassen einer Straßenausstattungseinrichtung in einer Umgebung eines Fahrzeugs im Hinblick auf eine Ablagerung und/oder eine Abnutzung, Recheneinrichtung sowie System
DE102022204128A1 (de) Abblendlichtvorrichtung eines Fahrzeugs, Verfahren und System zum Steuern der Abblendlichtvorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12722129

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2012722129

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014515114

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14126885

Country of ref document: US