EP2718869A2 - Method and device for detecting objects in the area surrounding a vehicle - Google Patents

Method and device for detecting objects in the area surrounding a vehicle

Info

Publication number
EP2718869A2
EP2718869A2 EP12729369.4A EP12729369A EP2718869A2 EP 2718869 A2 EP2718869 A2 EP 2718869A2 EP 12729369 A EP12729369 A EP 12729369A EP 2718869 A2 EP2718869 A2 EP 2718869A2
Authority
EP
European Patent Office
Prior art keywords
image
vehicle
brightness
recognition algorithm
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP12729369.4A
Other languages
German (de)
French (fr)
Inventor
Petko Faber
Gregor Schwarzenberg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2718869A2 publication Critical patent/EP2718869A2/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/11—Linear movements of the vehicle
    • B60Q2300/112—Vehicle speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30—Indexing codes relating to the vehicle environment
    • B60Q2300/33—Driving situation
    • B60Q2300/332—Driving situation on city roads
    • B60Q2300/3321—Detection of streetlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle

Definitions

  • the present invention relates to a method for detecting objects in an environment of a vehicle, to a corresponding device and to a corresponding computer program product.
  • DE 10 2007 001 099 A1 relates to an evaluation device for a driver assistance system for a vehicle, having an input for receiving image information recorded by a camera, a first component for finding an image section containing a predetermined shape in first image information received by the camera, a second component for requesting second image information, wherein the second image information is a renewed recording of an image section found by the first component with improved contrast over the first image information. Furthermore, a third component is present for identifying a traffic sign in the second image information and an output for outputting a signal relating to a traffic sign identified by the third component.
  • the present invention provides a method for detecting objects in an environment of a vehicle, furthermore a device which uses this method and finally a corresponding computer program product according to the main claims.
  • Advantageous embodiments emerge from the respective subclaims and the following description.
  • the present invention provides a method for detecting objects in an environment of a vehicle, the method comprising the following steps:
  • Extracting an image section from the second image of the vehicle camera wherein the image section preferably represents a smaller area of the surroundings of the vehicle than the first image, wherein when extracting a position of the image section in the second image is determined on the basis of at least one parameter represents information about a drive of the vehicle and / or a position of an infrastructure element in front of the vehicle and / or is independent of a moving object, which was detected in a previous step in the image section;
  • the present invention further provides an apparatus adapted to perform the steps of the method according to the invention in corresponding devices. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
  • the present invention provides an apparatus for detecting objects in an environment of a vehicle, the apparatus comprising the steps of:
  • an interface for reading in a first image of a vehicle camera which represents the environment of the vehicle and which was taken at a first exposure time and reading a second image of the vehicle camera, which was taken after the first image and with a second exposure time, which differs from the first Exposure time is different; a unit for extracting an image section from the second image of the vehicle camera, the image section preferably representing a smaller area of the surroundings of the vehicle than the first image, wherein upon extraction a position of the image section in the second image is determined on the basis of at least one parameter representing information about a travel of the vehicle and / or a position of an infrastructure element in front of the vehicle and / or independent of a moving object detected in a previous step in the image section;
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control or information signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces may be part of a so-called system ASIC, which includes various functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces can be software modules which are present, for example, on a microcontroller in addition to other software modules.
  • a computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above if the program is installed on a computer or a device is also of advantage is performed.
  • a vehicle camera can be understood as meaning an optical sensor which converts a scene or an environment of the vehicle into a video image and makes it available to other components for further processing.
  • this optical sensor can work in several modes, each of these modes in particular by a different exposure time for receiving a
  • An image section can be understood as a partial region of an image of the vehicle camera in which a smaller part of the surroundings of the vehicle is depicted than in an image of the vehicle camera.
  • a position of this image section may be determined prior to the step of extracting, for example, a parameter that is independent of a moving object (such as a vehicle) that was detected in a frame in the previous step, or a parameter is dependent, which represents information about a drive of the vehicle.
  • the position of the image detail may also be dependent on a position of an infrastructure element in front of the vehicle, wherein an infrastructure element may be understood to mean, for example, a road construction measure such as a street lamp or a guide post.
  • such a parameter may also be independent of a moving vehicle, which was detected in a previous step in the image section.
  • Driving the vehicle represents, for example, information of a Be sensor that represents a movement of your own vehicle or a setting of controls for controlling the vehicle.
  • the information about a drive of the vehicle may be a speed of the vehicle, a steering angle which the steering wheel is taken in or a predicted or, for example, a navigation device selected, assumed road course.
  • An object that is recognized in the first image or another object that is recognized in the image section may, for example, be understood as a vehicle that is recognized in the relevant image or image section.
  • the object that is detected in the first image a structural measure or
  • a infrastructure on the roadside be (for example, a guide post or a street lamp).
  • the second object that is recognized in the image section may also be a structural measure or unit, in particular an infrastructure device on the roadway edge, for example also a guide post or a guide post
  • the second exposure time can be greater than the first exposure time, so that objects can be detected in the image section that have a lower brightness than the objects that are detected in the first image. This makes it possible to detect objects in the image section that are either further away from the vehicle with the vehicle camera and / or that emit less or differently colored light than the objects that are detected in the first image.
  • the first object recognition algorithm can be identical to the second object recognition algorithm, but executed separately. Alternatively, the first object recognition algorithm may comprise different steps of the second object recognition algorithm.
  • the first object recognition algorithm may have the same steps as the second object recognition algorithm, however, using different parameters.
  • the object recognition algorithm can be applied to the first image using a first parameter set and the object recognition algorithm under
  • the present invention is based on the recognition that images from a single camera in a vehicle can be evaluated on the one hand by corresponding object recognition algorithms and on the other hand by different ones Image regions of images taken with different exposure times can be selected.
  • tracking of an image section may be caused by parameters that are not based on moving objects or vehicles that were themselves recognized in the relevant image section at a previous point in time.
  • an area in front of the vehicle can be continuously monitored even for weakly illuminated objects, this area being of particular importance for the future position of the vehicle when driving.
  • it can be detected whether an object or a vehicle is present in the vehicle environment represented by the image detail, which is at a
  • Adjustment of the light emission in front of the vehicle should be considered, in order to avoid dazzling of a driver in this object or vehicle.
  • the present invention offers the advantage that it is now possible, by separating the evaluation of images recorded at different exposure times, by a respective object recognition algorithm, to avoid recognizing objects or vehicles in front of the vehicle during a long exposure time of an image, which are outshined by a light emission from other objects or vehicles in front of the vehicle.
  • the use of highly complex object recognition algorithms can be avoided, which recognize from an image both objects or vehicles emitting a high light intensity and objects or vehicles emitting a low light intensity.
  • a simplification of the evaluation of images of a single vehicle camera can be achieved, which operates in several (at least two) modes (in particular exposure modes) and provides correspondingly exposed images.
  • the camera installed in the vehicle and thus a single and usually already provided as standard hardware can be used to provide input signals to implement the present invention. Furthermore, a realization of an added benefit can be made possible by a technically easily realizable modification of an evaluation software and a corresponding reprogramming of evaluation units already provided in vehicles. It is favorable if, in the step of extracting, the image detail is extracted using position information, wherein the position information is responsively changed or changed information representing a travel of the vehicle. Information about a localization of the image detail in the second image and / or a size of the image detail in the second image can be understood as position information.
  • Such an embodiment of the present invention offers the advantage that image sections can be processed while the vehicle is traveling, which sections are arranged at different positions in the second image or which cover differently sized image regions of the second image. In this way, it is possible to track or better advance the image section, in particular when cornering, where objects or vehicles are present or suspect in the image section, which are relevant for cornering the vehicle for vehicle safety or illuminating an area in front of the vehicle are. For example, in a highway ride of the vehicle (or more generally in a fast ride of the vehicle), the image detail may be increased to ensure sufficient consideration of fast-moving objects or vehicles, especially at long exposure times.
  • the first object recognition algorithm can be applied to the entire first image.
  • the entire image having the shorter exposure time is processed by the first object recognition algorithm.
  • an image section of the second image is extracted, in which objects are imaged in the image of the vehicle camera, which are arranged a predetermined minimum distance in front of the vehicle.
  • the first object recognition algorithm in the step of applying, may be used to detect objects of a first type of object, and the second object recognition algorithm may be used to identify objects of a second type of object different from the first type of object.
  • the first type of object may represent headlights
  • the second type of object may represent taillights, delineators, or streetlights.
  • the first object recognition algorithm is designed to be an object in the first image using a comparison of the brightness at a position in the first image with a
  • the second object recognition algorithm can also be designed to generate an object in the second image, in particular in the image section, using a comparison of the brightness at a position in the second image, in particular in the image section
  • a Such an embodiment of the present invention offers the advantage of a particularly easily implementable discrimination or recognition of objects, wherein the common information can be used by images that were taken with different exposure times.
  • an object in the step of applying by the first object recognition algorithm, can be recognized as a pulsating light source when the brightness at the position in the first image is within a tolerance range equal to the brightness at the corresponding position in the second image, in particular in the image section is.
  • an object can also be recognized by the first object recognition algorithm as a light source emitting constant light if the brightness at the position in the first image exceeds the brightness at the corresponding position in the first image by more than a predetermined threshold value (depending on the difference of the exposure times) second image, especially in the image section, different. It is also favorable if an object is recognized as the pulsating light source by the second object recognition algorithm if the brightness at the position in the second image, in particular in the image detail, is equal to the brightness at the corresponding position in the first image within a tolerance range.
  • an object is detected as a constant light emitting light source by the second object recognition algorithm, if the brightness at the position in the second image, in particular in the image section by more than a predetermined threshold value of the brightness a corresponding position in the first picture.
  • a tolerance range around a brightness value can be understood as a brightness deviation of 10 percent.
  • Vehicle which has the following steps:
  • Such an embodiment of the present invention offers the advantage that the recognition of an object according to an embodiment described above, a regulation or control of a light emission of a
  • Headlamps of the vehicle is facilitated in a technically very simple way.
  • a dazzling of a driver of a preceding or oncoming vehicle can thereby be easily avoided or at least reduced, since the recognition of the object, in particular of a type of the object, the light emission can be adjusted accordingly by headlights of the own vehicle.
  • a structural measure such as, for example, an infrastructure device on the roadway edge such as a street lamp or a guide post can also be detected in the image detail.
  • the light emission is changed independently of an object detected by the second object recognition algorithm.
  • Fig. 1 is a block diagram of a vehicle in which an embodiment of the present invention is used; 2 shows an illustration of a scene around the vehicle and the images obtained therefrom by the vehicle camera and a selection of an image section in an image according to an exemplary embodiment of the present invention;
  • FIG. 3 shows diagrams to illustrate a determination of a light source emitting light as an object
  • FIG. 4 shows diagrams for the purpose of illustrating a determination of a pulsating light emitting light source as an object
  • Fig. 5 is a flowchart of an embodiment of the present invention
  • the pair of headlights of a nearby vehicle can be stably resolved without the image being so bright by being overshadowed by these bright headlights that darker objects and / or the object-specific structure itself can no longer be recognized. This case could be interpreted as a "blinding" of the camera due to dazzling by very bright headlights of a nearby oncoming vehicle.
  • variant b) for images with multiple exposures, each with the same routines for object detection and classification. While in variant a) compromises in terms of range and resolution at close range are required, variant b) requires a complex evaluation strategy in order to ensure optimum detection and classification of rule-relevant objects. In general, however, the requirements for an object recognition for controlling the light or the light emission by the own vehicle, especially at night and dusk, are very complex and can be achieved with these approaches only by compromise. By means of a multimodal, but at least bimodal exposure control with at least one short and one long exposed image acquisition and their evaluation, the respective borderline cases can be covered much better. For the evaluation of the images with the respective exposure times, explicitly different processing steps are provided. Fig.
  • the vehicle 100 includes a camera 110, which generates an image of a viewing area 120 of an environment 130 in front of the vehicle 100.
  • the camera 110 is designed to record images in several modes, wherein different modes have different exposure times when taking pictures in the corresponding mode. Images generated by the camera 110 are transferred to an evaluation unit 140, in which, according to the following description, an evaluation of the images or of an image section of an image takes place on objects using object recognition algorithms.
  • a lighting control unit 150 to ensure that light emission of the headlamp 160 of the vehicle 100 controlled by the lighting control unit 150 does not radiate light into the surroundings 130 of the vehicle 100 which blinds the vehicle in front or oncoming ,
  • the exposure times for the different images to be recorded by the camera should preferably be chosen such that on the one hand remote taillights at a distance of at least 400 m and on the other hand headlights at a distance of at least 800 m can be detected and also closer
  • the exposure control should be designed such that detection of taillights in the medium distance range (e.g., 100m to 300m) is covered by multiple exposure times to ensure a robust and rapid classification in this critical area under the aspect of possible glare.
  • FIG. 2 shows in the upper partial image a scene 200 which was taken by the camera 110 of FIG. 1 in the viewing area 120 of the vehicle 100. This scene
  • the scene 200 is detected, for example, in a first mode with a first shorter exposure time, from which the first image 210 shown on the left is generated and transmitted to the evaluation unit 140.
  • the scene 200 is taken in a second mode with a longer exposure time and a second image 220 is generated, which is shown at the bottom right in FIG.
  • an image detail 230 is extracted in the second image, which is transmitted to the evaluation unit 140 for processing. It is conceivable that the second image 220 itself is transmitted to the evaluation unit 140 from FIG. 1 and the image detail 230 is first extracted in the evaluation unit 140.
  • the (entire) first image on bright (close) objects 240 such as a pair of headlights of an oncoming vehicle can be detected by applying a first object recognition algorithm to the first image, which is in close proximity to the own vehicle 100, ie the vehicle 100 with the camera 1 10 is located.
  • a first object recognition algorithm to evaluate the entire first image, it can be ensured that no objects in the immediate vicinity of the vehicle are overlooked, which otherwise, if the control of the light emission were not taken into consideration, could lead to glare of a person who is driving this object or vehicle a danger to the driving safety of the own vehicle is to be feared.
  • a second object recognition algorithm is also applied to the image detail 230 of the second image 220 in the evaluation unit 140, so that objects 250 in this image detail 230 are also recognized.
  • an application of the second object recognition algorithm, which is applied to the image section can also be omitted on regions of the second image outside the image section.
  • These objects 250 to be recognized in the image section 230 can be distant (i.e., appearing darker) objects 250, which represent, for example, tail lights of vehicles driving in front of the vehicle 100.
  • the image section which represents a restricted area from the second image with the longer exposure time, thus enables the detection of distant objects, which usually appear darker towards closer objects and thus are more recognizable by the exposure with the longer exposure time, than in an image, the was recorded for evaluation of near as well as distant objects with a single exposure time.
  • the image is not taken statically from a predetermined range from the second image.
  • it is for example favorable although the area which serves as an image section is taken from the second image, further moved to the left edge of the second image. In this way it can be ensured that, for example, vehicles driving ahead or other objects on the preceding left-hand bend of the roadway can still be sufficiently recognized, since these then lie in the image detail to be evaluated.
  • This information includes, for example, the speed of the vehicle, the steering angle of the vehicle, a predicted road course, or a course of the road assumed from an evaluation of a course of streetlights or delineators (for example, by the high reflections of light that can be seen from the first image).
  • navigation data i. Data from navigation systems, model assumptions about the detection probability of different object types in certain areas of the image, etc., are used as information for shifting or changing the position of the image detail in the second image.
  • the different exposure times may further support the detection of pulsed light sources (such as street lights or LED back / front lights (50Hz 160Hz)).
  • pulsed light sources such as street lights or LED back / front lights (50Hz 160Hz)
  • An exemplary embodiment for the detection of such pulsed light sources is shown in FIGS. 3 and 4.
  • 3 shows two diagrams for detecting a measured brightness of a constantly illuminated light source with a bimodal controlled camera. 3, on the abscissa the time (in the form of continuous image numbers) and on the ordinate the measured (normalized to a value) light intensity 300 of a light source (with constant light emission) compared to a measurement 310 of the light intensity of this light source represented by the camera.
  • a constant luminous light source with a bimodal controlled camera, ie by the recording of different images in succession results in a representation in which the light source appears as a pulsating object in the image. The property of pulsation can be better recognized by comparing the brightness of an object in different exposure times.
  • the brightness or light intensity of the object in the first image is compared with a brightness or light intensity in the image detail.
  • an object should be in the first image are at a position corresponding to a position that is also in the image section of the second image, so that an evaluation of the brightness of the object with different exposure times is possible. It is also possible to evaluate the brightness or the light intensity of an object that is not in the image section, in which case the second image instead of the image section is to be used for the evaluation in this case.
  • Exposure times different brightness intensities For example, the light source in the image with the shorter exposure time has a smaller brightness value 320 than in the image with the longer exposure time, in which a greater brightness value 330 for the constantly illuminated light source occurs.
  • the measured light intensity or brightness of a constantly lit one varies
  • Light source with a bimodal controlled camera according to the different exposure times for the evaluated images.
  • a constantly illuminated light source thus forms differently for the respective illumination times.
  • the change in brightness or light intensity in evaluating images taken at different illumination time can be used as important information for the classification of self-luminous objects.
  • remote street lights can be detected with a light emission frequency of 50 to 60 Hz corresponding to the frequency of the power grid, in which the headlights of the own vehicle should not be dimmed.
  • FIG. 4 shows how a pulsed light source can be detected.
  • the brightness values of a scan of a 60 Hz pulsed light source are reproduced with a bimodal-controlled camera.
  • the time in the form of continuous image numbers
  • the measured (normalized to a value) light intensity 300 of a light source compared to a measurement 310 of the light intensity of this light source represented by the camera.
  • the times or periods of the light emission by the pulsed light source overlap with the times or periods of the scanning or exposure of the corresponding images to be evaluated by the camera.
  • the method 500 comprises a step of reading in 510 a first image of a vehicle camera, which represents the surroundings of the vehicle. Furthermore, reading of a second image of the vehicle camera taken after the first image and with a second exposure time, wherein the second exposure time differs from the first exposure time, takes place at the step of reading , Furthermore, the method 500 comprises a step of extracting 520 an image section from the second image of the vehicle camera, wherein the image section represents a smaller area of the surroundings of the vehicle than the second image, wherein when extracting a position of the image section in the second image on the basis of at least one parameter is determined, which represents information about a drive of the vehicle and / or a position of an infrastructure measure in front of the vehicle and / or which is independent of a moving object, which was detected in a previous step in the image section.
  • the method 500 includes a step of applying 530 a first object recognition algorithm to the first image to detect at least one object in the first image and applying a second object recognition algorithm to the image section to detect at least one further object in the image section.
  • an exemplary embodiment includes a "and / or" link between a first feature and a second feature, this is to be read such that the
  • Embodiment according to an embodiment both the first feature and the second feature and according to another embodiment, either only the first feature or only the second feature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The invention relates to a method (500) for detecting objects (240, 250) in the area (130) surrounding a vehicle (100). The method (500) comprises a step of importing (510) a first image (210) of a vehicle camera (110), which image represents the area (130) surrounding the vehicle (100) and which was taken with a first exposure time, and importing a second image (220) of the vehicle camera (110), which second image was taken after the first image (210) and with a second exposure time, wherein the second exposure time differs from the first exposure time. The invention further relates to a step of extracting (520) an image section (230) from the second image (220) of the vehicle camera (110), wherein the image section (230) represents a smaller region of the area (130) surrounding the vehicle (100) than the first image (210), wherein during extraction (520) a position of the image section (230) in the second image (220) is determined on the basis of at least one parameter that represents information about a journey of the vehicle and/or a position of an infrastructure measure in front of the vehicle and/or which is independent of a moving object that has been detected in the image section (230) in a previous step. Finally, the method comprises a step of applying (530) a first object detection algorithm to the first image (210) in order to detect at least one object (240) in the first image (210) and applying a second object detection algorithm to the image section (230) in order to detect at least one further object (250) in the image section (230).

Description

Beschreibung  description
Titel title
Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs  Method and device for detecting objects in an environment of a vehicle
Stand der Technik State of the art
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt. The present invention relates to a method for detecting objects in an environment of a vehicle, to a corresponding device and to a corresponding computer program product.
Um eine möglichst gute Erkennung von Objekten aus einem Bild einer Kamera eines Fahrzeugs zu erreichen, sollte eine möglichst detaillierte Auswertung von zur Verfügung stehenden Informationen erfolgen. Insbesondere bei Nacht sollte dabei jedoch berücksichtigt werden, dass es bei der Verwendung von Bildern einer Fahrzeugkamera zu Blendungen durch die„Überlichtung" durch Scheinwerfer von nahen entgegenkommenden Fahrzeugen kommen kann, die eine Information überdecken, welche von vorausfahrenden Fahrzeugen ausgesandt werden, die sich beispielsweise weiter entfernt befinden. Zur Vermeidung von sol- chen Blendungen können beispielsweise Systeme verwendet werden, die eineIn order to achieve the best possible recognition of objects from an image of a camera of a vehicle, the most detailed possible evaluation of available information should take place. In particular, at night, however, it should be taken into account that when using images of a vehicle camera, glare from the "over-clearing" of headlights may occur from nearby oncoming vehicles covering information disseminated by preceding vehicles, for example, onward For example, to avoid such glare, you can use systems that
Szene in der Fahrzeugumgebung mit ein oder mehreren Belichtungszeiten vermessen und für jedes Bild dieselbe Funktion oder jeweils nur eine Auswertungsfunktion durchführen. Die DE 10 2007 001 099 A1 betrifft eine Auswerteeinrichtung für ein Fahrerassistenzsystem für ein Fahrzeug, mit einem Eingang zum Empfangen von einer Kamera aufgenommenen Bildinformationen, einem ersten Bestandteil zum Auffinden eines eine vorgegebene Form enthaltenden Bildausschnitts in ersten von der Kamera empfangenen Bildinformationen, einem zweiten Bestandteil zum Anfor- dem von zweiten Bildinformationen, wobei die zweiten Bildinformationen einer erneuten Aufnahme eines vom ersten Bestandteil aufgefundenen Bildausschnitts mit gegenüber den ersten Bildinformationen verbessertem Kontrast entsprechen. Weiterhin sind ein dritter Bestandteil vorhanden zum Identifizieren eines Verkehrszeichens in den zweiten Bildinformationen sowie ein Ausgang zum Ausgeben eines Signals, betreffend ein vom dritten Bestandteil identifiziertes Verkehrs- zeichen. Measure scene in the vehicle environment with one or more exposure times and perform the same function or only one evaluation function for each image. DE 10 2007 001 099 A1 relates to an evaluation device for a driver assistance system for a vehicle, having an input for receiving image information recorded by a camera, a first component for finding an image section containing a predetermined shape in first image information received by the camera, a second component for requesting second image information, wherein the second image information is a renewed recording of an image section found by the first component with improved contrast over the first image information. Furthermore, a third component is present for identifying a traffic sign in the second image information and an output for outputting a signal relating to a traffic sign identified by the third component.
Offenbarung der Erfindung Disclosure of the invention
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung. Against this background, the present invention provides a method for detecting objects in an environment of a vehicle, furthermore a device which uses this method and finally a corresponding computer program product according to the main claims. Advantageous embodiments emerge from the respective subclaims and the following description.
Die vorliegende Erfindung schafft ein Verfahren zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs, wobei das Verfahren die folgenden Schritte aufweist: The present invention provides a method for detecting objects in an environment of a vehicle, the method comprising the following steps:
Einlesen eines ersten Bildes einer Fahrzeugkamera, das das Umfeld des Fahrzeugs repräsentiert und das mit einer ersten Belichtungszeit aufgenommen wurde und Einlesen eines zweiten Bildes der Fahrzeugkamera, das zu einem anderen Zeitpunkt als das erste Bild und mit einer zweiten Belichtungszeit aufgenommen wurde, die sich von der ersten Belichtungszeit unterscheidet;  Reading a first image of a vehicle camera, which represents the environment of the vehicle and which was taken with a first exposure time and reading a second image of the vehicle camera, which was taken at a time other than the first image and with a second exposure time, which differs from the first exposure time is different;
- Extrahieren eines Bildausschnittes aus dem zweiten Bild der Fahrzeugkamera, wobei der Bildausschnitt vorzugsweise einen kleineren Bereich des Umfeldes des Fahrzeugs repräsentiert, als das erste Bild, wobei beim Extrahieren eine Position des Bildausschnitts im zweiten Bild auf der Basis von zumindest einem Parameter bestimmt wird, der eine Information über eine Fahrt des Fahrzeugs und/oder eine Position eines Infrastrukturelementes vor dem Fahrzeug repräsentiert und/oder der von einem sich bewegenden Objekt unabhängig ist, das in einem vorangegangenen Schritt in dem Bildausschnitt erkannt wurde; Extracting an image section from the second image of the vehicle camera, wherein the image section preferably represents a smaller area of the surroundings of the vehicle than the first image, wherein when extracting a position of the image section in the second image is determined on the basis of at least one parameter represents information about a drive of the vehicle and / or a position of an infrastructure element in front of the vehicle and / or is independent of a moving object, which was detected in a previous step in the image section;
Anwenden eines ersten Objekterkennungsalgorithmus auf das erste Bild, um zumindest ein Objekt in dem ersten Bild zu erkennen und Anwenden eines zweiten Objekterkennungsalgorithmus auf den Bildausschnitt des zweiten Bildes, um zumindest ein weiteres Objekt in dem Bildausschnitt zu erkennen. Applying a first object recognition algorithm to the first image to recognize at least one object in the first image and applying a second object recognition algorithm on the image section of the second image to detect at least one further object in the image section.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The present invention further provides an apparatus adapted to perform the steps of the method according to the invention in corresponding devices. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
Folglich schafft die vorliegende Erfindung eine Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs, wobei die Vorrichtung die folgenden Schritte aufweist: Accordingly, the present invention provides an apparatus for detecting objects in an environment of a vehicle, the apparatus comprising the steps of:
einen Schnittstelle zum Einlesen eines ersten Bildes einer Fahrzeugkamera, das das Umfeld des Fahrzeugs repräsentiert und das mit einer ersten Belichtungszeit aufgenommen wurde und Einlesen eines zweiten Bildes der Fahrzeugkamera, das nach dem ersten Bild und mit einer zweiten Belichtungszeit aufgenommen wurde, die sich von der ersten Belichtungszeit unterscheidet; eine Einheit zum Extrahieren eines Bildausschnittes aus dem zweiten Bild der Fahrzeugkamera, wobei der Bildausschnitt vorzugsweise einen kleineren Bereich des Umfeldes des Fahrzeugs repräsentiert, als das erste Bild, wobei beim Extrahieren eine Position des Bildausschnitts im zweiten Bild auf der Basis von zumindest einem Parameter bestimmt wird, der eine Information über eine Fahrt des Fahrzeugs und/oder eine Position eines Infrastrukturelementes vor dem Fahrzeug repräsentiert und/oder der von einem sich bewegenden Objekt unabhängig ist, das in einem vorangegangenen Schritt in dem Bildausschnitt erkannt wurde;  an interface for reading in a first image of a vehicle camera, which represents the environment of the vehicle and which was taken at a first exposure time and reading a second image of the vehicle camera, which was taken after the first image and with a second exposure time, which differs from the first Exposure time is different; a unit for extracting an image section from the second image of the vehicle camera, the image section preferably representing a smaller area of the surroundings of the vehicle than the first image, wherein upon extraction a position of the image section in the second image is determined on the basis of at least one parameter representing information about a travel of the vehicle and / or a position of an infrastructure element in front of the vehicle and / or independent of a moving object detected in a previous step in the image section;
eine Einheit zum Anwenden eines ersten Objekterkennungsalgorithmus auf das erste Bild, um zumindest eine Objekt in dem ersten Bild zu erkennen und Anwenden eines zweiten Objekterkennungsalgorithmus auf den Bildausschnitt des zweiten Bildes, um zumindest ein weiteres Objekt in dem Bildausschnitt zu erkennen.  a unit for applying a first object recognition algorithm to the first image to recognize at least one object in the first image and applying a second object recognition algorithm to the image section of the second image to recognize at least one further object in the image section.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- oder Informationssignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßi- gen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei ei- ner softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control or information signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. For a hardware For example, the interfaces may be part of a so-called system ASIC, which includes various functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In the case of a software-based design, the interfaces can be software modules which are present, for example, on a microcontroller in addition to other software modules.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem Computer oder einer Vorrichtung ausgeführt wird. A computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above if the program is installed on a computer or a device is also of advantage is performed.
Unter einer Fahrzeugkamera kann ein optischer Sensor verstanden werden, der eine Szene oder ein Umfeld des Fahrzeugs in ein Videobild überführt und dieses zur weiteren Verarbeitung an andere Komponenten bereitgestellt. Dabei kann dieser optische Sensor in mehreren Modi arbeiten, wobei sich jeder dieser Modi insbesondere durch eine unterschiedliche Belichtungszeit zur Aufnahme einesA vehicle camera can be understood as meaning an optical sensor which converts a scene or an environment of the vehicle into a video image and makes it available to other components for further processing. In this case, this optical sensor can work in several modes, each of these modes in particular by a different exposure time for receiving a
Bildes in diesem Modus auszeichnet. Unter einem Bildausschnitt kann ein Teilbereich eines Bildes der Fahrzeugkamera verstanden werden, bei dem ein kleinerer Teil der Umgebung des Fahrzeugs abgebildet ist, als in einem Bild der Fahrzeugkamera. Eine Position dieses Bildausschnitts kann vor dem Schritt des Ex- trahierens festgelegt werden, beispielsweise durch einen Parameter, der von einem sich bewegenden Objekt (wie beispielsweise einem Fahrzeug) unabhängig ist, das in einem vorangegangenen Schritt in dem Bildausschnitt erkannt wurde oder das von einem Parameter abhängig ist, der Information über eine Fahrt des Fahrzeugs repräsentiert. Auch kann die Position des Bildausschnittes durch eine Position eines Infrastrukturelementes vor dem Fahrzeug abhängig sein, wobei unter einem Infrastrukturelement beispielsweise eine straßenbauliche Maßnahme wie eine Straßenlaterne oder ein Leitpfosten verstanden werden kann. Alternativ oder zusätzlich kann ein solcher Parameter auch von einem sich bewegenden Fahrzeug unabhängig sein, welches in einem vorausgegangenen Schritt in den Bildausschnitt erkannt wurde. Ein Parameter, der eine Information über eineImage in this mode. An image section can be understood as a partial region of an image of the vehicle camera in which a smaller part of the surroundings of the vehicle is depicted than in an image of the vehicle camera. A position of this image section may be determined prior to the step of extracting, for example, a parameter that is independent of a moving object (such as a vehicle) that was detected in a frame in the previous step, or a parameter is dependent, which represents information about a drive of the vehicle. The position of the image detail may also be dependent on a position of an infrastructure element in front of the vehicle, wherein an infrastructure element may be understood to mean, for example, a road construction measure such as a street lamp or a guide post. Alternatively or additionally, such a parameter may also be independent of a moving vehicle, which was detected in a previous step in the image section. A parameter that provides information about a
Fahrt des Fahrzeugs repräsentiert, kann beispielsweise eine Information eines Sensors sein, der eine Bewegung des eigenen Fahrzeugs oder eine Einstellung von Bedienungselementen zur Steuerung des Fahrzeugs repräsentiert. Beispielsweise kann die Information über eine Fahrt des Fahrzeugs eine Geschwindigkeit des Fahrzeugs, ein Lenkwinkel, den das Lenkrad eingeschlagen ist oder ein prädizitierter oder ein beispielsweise aus einem Navigationsgerät ausgelesener, angenommener Straßenverlauf sein. Unter einem Objekt, das in dem ersten Bild erkannt wird oder einem weiteren Objekt, das in dem Bildausschnitt erkannt wird, kann beispielsweise ein Fahrzeug verstanden werden, das in dem betreffenden Bild oder Bildausschnitt erkannt wird. Alternativ oder zusätzlich kann auch das Objekt, das in dem ersten Bild erkannt wird, eine bauliche Maßnahme oderDriving the vehicle represents, for example, information of a Be sensor that represents a movement of your own vehicle or a setting of controls for controlling the vehicle. By way of example, the information about a drive of the vehicle may be a speed of the vehicle, a steering angle which the steering wheel is taken in or a predicted or, for example, a navigation device selected, assumed road course. An object that is recognized in the first image or another object that is recognized in the image section may, for example, be understood as a vehicle that is recognized in the relevant image or image section. Alternatively or additionally, the object that is detected in the first image, a structural measure or
Einheit, insbesondere eine Infrastruktureinrichtung am Fahrbahnrand sein (beispielsweise ein Leitpfosten oder eine Straßenlaterne). Ebenfalls kann alternativ oder zusätzlich auch das zweite Objekt, das in dem Bildausschnitt erkannt wird, eine bauliche Maßnahme oder Einheit, insbesondere eine Infrastruktureinrich- tung am Fahrbahnrand sein, beispielsweise ebenfalls ein Leitpfosten oder eineUnit, in particular a infrastructure on the roadside be (for example, a guide post or a street lamp). Likewise, alternatively or additionally, the second object that is recognized in the image section may also be a structural measure or unit, in particular an infrastructure device on the roadway edge, for example also a guide post or a guide post
Straßenlaterne. Insbesondere kann ferner die zweite Belichtungszeit größer als die erste Belichtungszeit sein, so dass im Bildausschnitt Objekte erkannt werden können, die eine geringere Helligkeit aufweisen, als die Objekte, die im ersten Bild erkannt werden. Hierdurch wird es möglich, Objekte im Bildausschnitt zu er- kennen, die entweder weiter vom Fahrzeug mit der Fahrzeugkamera entfernt sind und/oder die weniger oder andersfarbiges Licht als die Objekte ausstrahlen, die im ersten Bild erkannt werden. Der erste Objekterkennungsalgorithmus kann dabei identisch zum zweiten Objekterkennungsalgorithmus sein, jedoch separat ausgeführt werden. Alternativ kann der erste Objekterkennungsalgorithmus un- terschiedliche Schritte des zweiten Objekterkennungsalgorithmus aufweisen.Streetlight. In particular, furthermore, the second exposure time can be greater than the first exposure time, so that objects can be detected in the image section that have a lower brightness than the objects that are detected in the first image. This makes it possible to detect objects in the image section that are either further away from the vehicle with the vehicle camera and / or that emit less or differently colored light than the objects that are detected in the first image. The first object recognition algorithm can be identical to the second object recognition algorithm, but executed separately. Alternatively, the first object recognition algorithm may comprise different steps of the second object recognition algorithm.
Auch kann der erste Objekterkennungsalgorithmus gleiche Schritte wie der zweite Objekterkennungsalgorithmus aufweisen jedoch unter Verwendung von unterschiedlichen Parametern ausgeführt werden. Dabei kann beispielsweise der Objekterkennungsalgorithmus unter Verwendung eines ersten Parametersatzes auf das erste Bild angewendet werden und der Objekterkennungsalgorithmus unterAlso, the first object recognition algorithm may have the same steps as the second object recognition algorithm, however, using different parameters. In this case, for example, the object recognition algorithm can be applied to the first image using a first parameter set and the object recognition algorithm under
Verwendung eines zweiten Parametersatzes auf den Bildausschnitt angewendet werden. Using a second parameter set to be applied to the image section.
Die vorliegende Erfindung basiert auf der Erkenntnis, dass Bilder von einer einzigen Kamera in einem Fahrzeug einerseits durch entsprechende Objekterkennungsalgorithmen ausgewertet werden können und andererseits unterschiedliche Bildregionen von mit unterschiedlichen Belichtungszeiten aufgenommenen Bildern ausgewählt werden können. Hierbei kann eine Nachführung von einem Bildausschnitt durch Parameter bedingt sein, die nicht auf sich bewegenden Objekten oder Fahrzeugen beruhen, die selbst im betreffenden Bildausschnitt zu ei- nem vorangegangenen Zeitpunkt erkannt wurden. Auf diese Weise kann insbesondere ein Bereich vor dem Fahrzeug auch auf schwach leuchtende Objekte hin kontinuierlich überwacht werden, wobei dieser Bereich für die zukünftige Position des Fahrzeugs bei der Fahrt von besonderer Bedeutung ist. Insbesondere kann erkannt werden, ob in dem Fahrzeugumfeld, der durch den Bildausschnitt repräsentiert ist, ein Objekt oder ein Fahrzeug vorhanden ist, welches bei einerThe present invention is based on the recognition that images from a single camera in a vehicle can be evaluated on the one hand by corresponding object recognition algorithms and on the other hand by different ones Image regions of images taken with different exposure times can be selected. In this case, tracking of an image section may be caused by parameters that are not based on moving objects or vehicles that were themselves recognized in the relevant image section at a previous point in time. In this way, in particular, an area in front of the vehicle can be continuously monitored even for weakly illuminated objects, this area being of particular importance for the future position of the vehicle when driving. In particular, it can be detected whether an object or a vehicle is present in the vehicle environment represented by the image detail, which is at a
Einstellung der Lichtausstrahlung vor dem Fahrzeugs berücksichtigt werden sollte, um eine Blendung eines Fahrers in diesem Objekt oder Fahrzeug zu vermeiden. Adjustment of the light emission in front of the vehicle should be considered, in order to avoid dazzling of a driver in this object or vehicle.
Die vorliegende Erfindung bietet den Vorteil, dass nun durch die Trennung der Auswertung von Bildern, die mit unterschiedlichen Belichtungszeiten aufgenommenen wurden, durch jeweils einen eigenen Objekterkennungsalgorithmus vermieden werden kann, dass bei einer langen Belichtungszeit eines Bildes Objekte oder Fahrzeuge vor dem Fahrzeug nicht erkannt werden, die durch eine Lichtaussendung von anderen Objekten oder Fahrzeugen vor dem Fahrzeug überstrahlt werden. Zugleich kann die Anwendung von hochkomplexen Objekterkennungsalgorithmen vermieden werden, die aus einem Bild sowohl Objekte bzw. Fahrzeuge, die eine hohe Lichtintensität ausstrahlen als auch Objekte bzw. Fahrzeuge, die eine niedrige Lichtintensität ausstrahlen, erkennen. Auf diese Weise lässt sich eine Vereinfachung der Auswertung von Bildern einer einzigen Fahrzeugkamera erreichen, die in mehreren (zumindest zwei) Modi (insbesondere Belichtungsmodi) arbeitet und entsprechend belichtete Bilder zur Verfügung stellt. Zugleich kann jedoch die im Fahrzeug verbaute Kamera und damit eine einzige und meist bereits schon serienmäßig vorgesehene Hardware verwendet werden, um Eingangssignale zur Realisierung der vorliegenden Erfindung zur Verfügung zu stellen. Ferner kann durch ein technisch einfach realisierbares Verändern einer Auswertungssoftware und ein entsprechendes Umprogrammieren von bereits in Fahrzeugen vorgesehene Auswerteeinheiten eine Realisierung eines Zusatznutzens ermöglicht werden. Günstig ist es, wenn im Schritt des Extrahierens der Bildausschnitt unter Verwendung einer Positionsinformation extrahiert wird, wobei die Positionsinformation ansprechend eine Information, die eine Fahrt des Fahrzeugs repräsentiert, veränderbar ist oder verändert wird. Unter einer Positionsinformation kann eine Information über eine Lokalisierung des Bildausschnitts im zweiten Bild und/oder eine Größe des Bildausschnitts in dem zweiten Bild verstanden werden. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass während der Fahrt des Fahrzeugs Bildausschnitte verarbeitet werden können, die an unterschiedlichen Positionen im zweiten Bild angeordnet sind oder die un- terschiedlich große Bildbereiche des zweiten Bildes umfassen. Auf diese Weise wird eine Nachführung oder besser ein Vorausführen des Bildausschnitts insbesondere bei einer Kurvenfahrt möglich, wobei in dem Bildausschnitt Objekte oder Fahrzeuge vorhanden sind oder zu vermuten sind, die da einer Kurvenfahrt des Fahrzeugs für die Fahrzeugsicherheit oder eine Ausleuchtung eines Bereichs vor dem Fahrzeug relevant sind. Bei einer Autobahnfahrt des Fahrzeugs (oder allgemeiner bei einer schnellen Fahrt des Fahrzeugs) kann beispielsweise der Bildausschnitt vergrößert werden, um eine ausreichende Berücksichtigung von sich schnell bewegenden Objekten oder Fahrzeugen, insbesondere bei langen Belichtungszeiten, sicherzustellen. The present invention offers the advantage that it is now possible, by separating the evaluation of images recorded at different exposure times, by a respective object recognition algorithm, to avoid recognizing objects or vehicles in front of the vehicle during a long exposure time of an image, which are outshined by a light emission from other objects or vehicles in front of the vehicle. At the same time, the use of highly complex object recognition algorithms can be avoided, which recognize from an image both objects or vehicles emitting a high light intensity and objects or vehicles emitting a low light intensity. In this way, a simplification of the evaluation of images of a single vehicle camera can be achieved, which operates in several (at least two) modes (in particular exposure modes) and provides correspondingly exposed images. At the same time, however, the camera installed in the vehicle and thus a single and usually already provided as standard hardware can be used to provide input signals to implement the present invention. Furthermore, a realization of an added benefit can be made possible by a technically easily realizable modification of an evaluation software and a corresponding reprogramming of evaluation units already provided in vehicles. It is favorable if, in the step of extracting, the image detail is extracted using position information, wherein the position information is responsively changed or changed information representing a travel of the vehicle. Information about a localization of the image detail in the second image and / or a size of the image detail in the second image can be understood as position information. Such an embodiment of the present invention offers the advantage that image sections can be processed while the vehicle is traveling, which sections are arranged at different positions in the second image or which cover differently sized image regions of the second image. In this way, it is possible to track or better advance the image section, in particular when cornering, where objects or vehicles are present or suspect in the image section, which are relevant for cornering the vehicle for vehicle safety or illuminating an area in front of the vehicle are. For example, in a highway ride of the vehicle (or more generally in a fast ride of the vehicle), the image detail may be increased to ensure sufficient consideration of fast-moving objects or vehicles, especially at long exposure times.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann im Schritt des Einlesens als das erste Bild ein Bild eingelesen wird, das eine kürzere Belichtungszeit aufweist, als das Bild, das als zweites Bild eingelesen wird. Vorteilhafterweise kann auch im Schritt des Anwendens der erste Objekterken- nungsalgorithmus auf das gesamte erste Bild angewandt werden. Insbesondere wird in einem derartigen Ausführungsbeispiel das gesamte Bild mit der kürzeren Belichtungszeit durch den ersten Objekterkennungsalgorithmus verarbeitet. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass Objekte im Nahbereich des Fahrzeugs, die sich insbesondere durch eine hohe ausgesandte Lichtintensität auszeichnen, möglichst schnell und eindeutig erkannt werden. Insbesondere solche Objekte oder Fahrzeuge im Nahbereich des Fahrzeugs erfordern erhöhte Sicherheitsvorkehrungen, um beispielsweise einen Fahrer von solchen Fahrzeugen im Nahbereich des eigenen Fahrzeugs nicht zu blenden. Würde andererseits ein Fahrer eines solchen Fahrzeugs im Nahbereich des eigenen Fahrzeugs geblendet, würde die Sicherheit des eigenen Fahrzeugs erheblich gefährdet. Günstig ist es ferner, wenn im Schritt des Extrahierens ein Bildausschnitt des zweiten Bildes extrahiert wird, in dem Objekte im Bild der Fahrzeugkamera abgebildet werden, die eine vorbestimmte Mindestentfernung vor dem Fahrzeug angeordnet sind. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass auch Objekte oder Fahrzeuge im Umfeld des Fahrzeugs erkannt werden können, die sich weiter weg von dem Fahrzeug befinden. Insbesondere wenn in diesem Bildausschnitt keine Objekte oder Fahrzeuge zu erwarten sind, von denen eine hohe Lichtaussendung oder Reflexion zu erwarten ist, kann durch eine derartige Ausführungsform der vorliegenden Erfindung sichergestellt werden, dass kein Informationsverlust von Informationen über schwächer beleuchtete oder leuchtende Objekte oder Fahrzeuge durch eine„Überblendung" durch eine Lichtaussendung von Objekten oder Fahrzeugen im Nahbereich des eigenen Fahrzeugs erfolgt. According to another embodiment of the present invention, in the reading-in step, as the first image, an image having a shorter exposure time is read in than the image read in as the second image. Advantageously, also in the step of the application, the first object recognition algorithm can be applied to the entire first image. In particular, in such an embodiment, the entire image having the shorter exposure time is processed by the first object recognition algorithm. Such an embodiment of the present invention has the advantage that objects in the vicinity of the vehicle, which are characterized in particular by a high emitted light intensity, are detected as quickly and clearly as possible. In particular, such objects or vehicles in the vicinity of the vehicle require increased safety precautions, for example, not to blind a driver of such vehicles in the vicinity of the own vehicle. On the other hand, if a driver of such a vehicle were blinded in the vicinity of his own vehicle, the safety of his own vehicle would be considerably jeopardized. It is also favorable if, in the step of extracting, an image section of the second image is extracted, in which objects are imaged in the image of the vehicle camera, which are arranged a predetermined minimum distance in front of the vehicle. Such an embodiment of the present invention has the advantage that even objects or vehicles can be detected in the vicinity of the vehicle, which are further away from the vehicle. In particular, if no objects or vehicles are to be expected in this image section, of which a high light emission or reflection is to be expected, it can be ensured by such an embodiment of the present invention that there is no loss of information about objects or vehicles with weaker lighting or glowing "Crossfade" occurs by a light emission of objects or vehicles in the vicinity of the own vehicle.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung kann im Schritt des Anwendens der erste Objekterkennungsalgorithmus zur Erkennung von Objekten eines ersten Objekttyps verwendet werden und der zweite Objekterkennungsalgorithmus zur Erkennung von Objekten eines zweiten Objekttyps verwendet werden, der sich vom ersten Objekttyp unterscheidet. Beispielsweise kann der erste Objekttyp Frontscheinwerfer repräsentieren, während der zweite Objekttyp Rücklichter, Leitpfosten oder Straßenlaternen repräsentiert. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass unterschiedliche Objekttypen aus den Bildern der Fahrzeugkamera erkannt werden können, je nachdem welche Lichtaussendungseigenschaften von dem betreffenden Objekttyp zu erwarten sind. According to another embodiment of the present invention, in the step of applying, the first object recognition algorithm may be used to detect objects of a first type of object, and the second object recognition algorithm may be used to identify objects of a second type of object different from the first type of object. For example, the first type of object may represent headlights, while the second type of object may represent taillights, delineators, or streetlights. Such an embodiment of the present invention offers the advantage that different types of objects can be recognized from the images of the vehicle camera, depending on which light emission characteristics are to be expected from the relevant object type.
Besonders vorteilhaft ist es, wenn im Schritt des Anwendens der erste Objekterkennungsalgorithmus ausgebildet ist, um ein Objekt im ersten Bild unter Verwen- dung eines Vergleichs der Helligkeit an einer Position im ersten Bild mit einerIt is particularly advantageous if, in the step of the application, the first object recognition algorithm is designed to be an object in the first image using a comparison of the brightness at a position in the first image with a
Helligkeit an einer entsprechenden Position im zweiten Bild, insbesondere im Bildausschnitt, zu erkennen. Auch kann im Schritt des Anwendens der zweite Objekterkennungsalgorithmus ausgebildet sein, um ein Objekt im zweiten Bild, insbesondere im Bildausschnitt, unter Verwendung eines Vergleichs der Hellig- keit an einer Position im zweiten Bild, insbesondere im Bildausschnitt, mit einerTo recognize brightness at a corresponding position in the second image, in particular in the image section. In the step of applying, the second object recognition algorithm can also be designed to generate an object in the second image, in particular in the image section, using a comparison of the brightness at a position in the second image, in particular in the image section
Helligkeit an einer entsprechenden Position im ersten Bild zu erkennen. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil einer technisch besonders einfach umsetzbaren Unterscheidung oder Erkennung von Objekten, wobei die gemeinsame Information von Bildern verwendet werden kann, die mit unterschiedlichen Belichtungszeiten aufgenommen wurden. To detect brightness at a corresponding position in the first image. A Such an embodiment of the present invention offers the advantage of a particularly easily implementable discrimination or recognition of objects, wherein the common information can be used by images that were taken with different exposure times.
Gemäß einer besonderen Ausführungsform der vorliegenden Erfindung kann im Schritt des Anwendens durch den ersten Objekterkennungsalgorithmus ein Objekt als pulsierende Lichtquelle erkannt werden, wenn die Helligkeit an der Position im ersten Bild innerhalb eines Toleranzbereichs gleich der Helligkeit an der entsprechenden Position im zweiten Bild, insbesondere im Bildausschnitt ist.According to a particular embodiment of the present invention, in the step of applying by the first object recognition algorithm, an object can be recognized as a pulsating light source when the brightness at the position in the first image is within a tolerance range equal to the brightness at the corresponding position in the second image, in particular in the image section is.
Ferner kann auch durch den ersten Objekterkennungsalgorithmus ein Objekt als konstant Licht aussendende Lichtquelle erkannt werden, wenn sich die Helligkeit an der Position im ersten Bild um mehr als einen vorbestimmten Schwellwert (abhängig vom Unterschied der Belichtungszeiten) von der Helligkeit an der ent- sprechenden Position im zweiten Bild, insbesondere im Bildausschnitt, unterscheidet. Günstig ist es ferner, wenn durch den zweiten Objekterkennungsalgorithmus ein Objekt als pulsierende Lichtquelle erkannt wird, wenn die Helligkeit an der Position im zweiten Bild, insbesondere im Bildausschnitt, innerhalb eines Toleranzbereichs gleich der Helligkeit an der entsprechenden Position im ersten Bild ist. Denkbar ist auch eine Ausführungsform der vorliegenden Erfindung, bei der durch den zweiten Objekterkennungsalgorithmus ein Objekt als konstant Licht aussendende Lichtquelle erkannt wird, wenn sich die Helligkeit an der Position im zweiten Bild, insbesondere im Bildausschnitt, um mehr als einen vorbestimmten Schwellwert von der Helligkeit an einer entsprechenden Position im ersten Bild unterscheidet. Unter einem Toleranzbereich um einen Helligkeitswert kann dabei beispielsweise eine Helligkeitsabweichung von 10 Prozent verstanden werden. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass unterschiedliche Arten von Objekten sehr einfach durch einen Vergleich von Helligkeiten an einander entsprechenden Positionen im zweiten Bild, insbesondere im Bildausschnitt, und ersten Bild erkannt werden können.Furthermore, an object can also be recognized by the first object recognition algorithm as a light source emitting constant light if the brightness at the position in the first image exceeds the brightness at the corresponding position in the first image by more than a predetermined threshold value (depending on the difference of the exposure times) second image, especially in the image section, different. It is also favorable if an object is recognized as the pulsating light source by the second object recognition algorithm if the brightness at the position in the second image, in particular in the image detail, is equal to the brightness at the corresponding position in the first image within a tolerance range. Also conceivable is an embodiment of the present invention in which an object is detected as a constant light emitting light source by the second object recognition algorithm, if the brightness at the position in the second image, in particular in the image section by more than a predetermined threshold value of the brightness a corresponding position in the first picture. For example, a tolerance range around a brightness value can be understood as a brightness deviation of 10 percent. Such an embodiment of the present invention offers the advantage that different types of objects can be detected very easily by comparing brightnesses at positions corresponding to one another in the second image, in particular in the image detail, and the first image.
Insbesondere kann dabei ausgenutzt werden, dass unterschiedliche Objekte wie beispielsweise Straßenlaternen eine unterschiedliche Frequenz der Lichtaussendung haben, als beispielsweise Fahrzeuglichter oder LED- Fahrzeuglichter. Durch eine derartige Ausführungsform der vorliegenden Erfindung kann somit technisch sehr einfach auf einen Typ von Objekt geschlossen werden, dass an der jeweiligen Position im ersten Bild oder dem Bildausschnitt erkannt oder vermutet wird. In particular, it can be exploited that different objects such as street lights have a different frequency of light emission, such as vehicle lights or LED vehicle lights. By such an embodiment of the present invention can thus be concluded technically very simple on a type of object that the respective position in the first image or the image section is detected or suspected.
Günstig ist es ferner, wenn gemäß einer Ausführungsform der vorliegenden Er- findung ein Verfahren zur Regelung einer Fahrbahnausleuchtung vor einemIt is also favorable if, according to an embodiment of the present invention, a method for regulating a roadway illumination ahead of a
Fahrzeug vorgesehen ist, das die folgenden Schritte aufweist: Vehicle is provided, which has the following steps:
die Schnitte eines Verfahrens wie es vorstehend beschrieben wurde; und Ansteuern eines Veränderns der Lichtausstrahlung eines Scheinwerfers des Fahrzeugs ansprechend auf zumindest ein durch den ersten Objekterken- nungsalgorithmus erkanntes Objekt und/oder ansprechend auf zumindest ein durch den zweiten Objekterkennungsalgorithmus erkanntes Objekt.  the sections of a method as described above; and controlling a change in the light emission of a headlight of the vehicle in response to at least one object detected by the first object recognition algorithm and / or in response to at least one object detected by the second object recognition algorithm.
Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass die Erkennung eines Objektes gemäß einer vorstehend beschrieben Aus- führungsform eine Regelung oder Ansteuerung einer Lichtausstrahlung einesSuch an embodiment of the present invention offers the advantage that the recognition of an object according to an embodiment described above, a regulation or control of a light emission of a
Scheinwerfers des Fahrzeugs auf technisch sehr einfache Weise erleichtert wird. Insbesondere kann hierdurch eine Blendung eines Fahrers eines vorausfahrenden oder entgegenkommenden Fahrzeugs einfach vermieden oder zumindest verringert werden, da durch die Erkennung des Objekts, insbesondere eines Typs des Objekts die Lichtaussendung durch Scheinwerfer des eigenen Fahrzeugs entsprechend angepasst werden kann. Headlamps of the vehicle is facilitated in a technically very simple way. In particular, a dazzling of a driver of a preceding or oncoming vehicle can thereby be easily avoided or at least reduced, since the recognition of the object, in particular of a type of the object, the light emission can be adjusted accordingly by headlights of the own vehicle.
Gemäß einer Ausführungsform der vorliegenden Erfindung kann auch im Bildausschnitt eine bauliche Maßnahme wie beispielsweise eine Infrastruktureinrich- tung am Fahrbahnrand wie eine Straßenlaterne oder ein Leitpfosten erkannt werden. In einer derartigen Ausführungsform der vorliegenden Erfindung kann im Schritt des Ansteuerns ferner das Verändern der Lichtausstrahlung unabhängig von einem durch den zweiten Objekterkennungsalgorithmus erkannten Objekt erfolgt. According to one embodiment of the present invention, a structural measure such as, for example, an infrastructure device on the roadway edge such as a street lamp or a guide post can also be detected in the image detail. In such an embodiment of the present invention, further, in the step of driving, the light emission is changed independently of an object detected by the second object recognition algorithm.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen: The invention will now be described by way of example with reference to the accompanying drawings. Show it:
Fig. 1 ein Blockschaltbild eines Fahrzeugs, in dem ein Ausführungsbeispiel der vorliegenden Erfindung verwendet wird; Fig. 2 eine Darstellung einer Szene um das Fahrzeug und den daraus gewonnenen Bildern durch die Fahrzeugkamera sowie einer Auswahl eines Bildausschnitts in einem Bild gemäß eines Ausführungsbeispiels der vorliegenden Erfindung; Fig. 1 is a block diagram of a vehicle in which an embodiment of the present invention is used; 2 shows an illustration of a scene around the vehicle and the images obtained therefrom by the vehicle camera and a selection of an image section in an image according to an exemplary embodiment of the present invention;
Fig. 3 Diagramme zur Veranschaulichung einer Bestimmung einer konstant Licht aussendenden Lichtquelle als Objekt; 3 shows diagrams to illustrate a determination of a light source emitting light as an object;
Fig. 4 Diagramme zur Veranschaulichung einer Bestimmung einer pulsierend Licht aussendenden Lichtquelle als Objekt; und 4 shows diagrams for the purpose of illustrating a determination of a pulsating light emitting light source as an object; and
Fig. 5 ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung Fig. 5 is a flowchart of an embodiment of the present invention
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. In the following description of preferred embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similarly acting, wherein a repeated description of these elements is omitted.
Bei der Fahrzeugdetektion bei Dunkelheit sind unterschiedlichste Anforderungen an ein Bildauswertungssystem gegeben, die sich bei einer einzelnen Belichtungszeit eines Bildes einer Kamera nur mit Kompromissen erfüllen lassen. Insbesondere sind entfernte und damit vergleichsweise dunkle Rücklichter von vorausfahrenden Fahrzeugen genauso zu erkennen, wie auch Gegenverkehr in unterschiedlichsten Entfernungen. Dies bedingt, dass einerseits das Auswertungssystem sehr sensitiv auf dunkle Objekte wie auch robust gegenüber Überstrahlung von nahem Gegenverkehr sein sollte. Diese beiden Grenzfälle lassen sich mit einer multimodalen, zumindest aber bimodalen Kameraregelung besonders vorteilhaft erfüllen: in einem Bild, das mit einer längeren Belichtungszeit aufgenommen wurde und bei dem eine zusätzliche Beschränkung der Bildauswertung auf einen speziellen Teilbereich des Bildes gewählt wird, können beispielsweise Rücklichter von weit entfernt fahrenden Fahrzeugen detektiert und klassifiziert werden. Dagegen kann auf Basis eines Bildes, das mit einer kurzen Belichtungszeit aufgenommen wurde, bei Gegenverkehr robust das Scheinwerferpaar eines nahen Fahrzeugs aufgelöst werden, ohne dass das Bild durch Überstrahlung von diesen hellen Scheinwerfern derart hell ist, dass dunklere Objekte und/oder die objekt-spezifische Struktur selbst nicht mehr erkannt werden können. Dieser Fall könnte als ein„Erblinden" der Kamera durch eine Blendung durch sehr helle Scheinwerfer eines nahen entgegenkommenden Fahrzeugs interpretiert werden. Bisherige Systeme arbeiten entweder In the case of vehicle detection in the dark, the most diverse requirements are placed on an image evaluation system, which can only be met with compromises in a single exposure time of an image of a camera. In particular, remote and thus comparatively dark taillights of vehicles in front can be seen as well as oncoming traffic in various distances. This requires that on the one hand, the evaluation system should be very sensitive to dark objects as well as robust against over-radiation of near oncoming traffic. These two limiting cases can be met particularly advantageously with a multimodal, but at least a bimodal camera control: in an image that was recorded with a longer exposure time and in which an additional restriction of the image evaluation to a specific subregion of the image is selected, for example, taillights from far remote moving vehicles are detected and classified. On the other hand, based on an image taken with a short exposure time, in oncoming traffic, the pair of headlights of a nearby vehicle can be stably resolved without the image being so bright by being overshadowed by these bright headlights that darker objects and / or the object-specific structure itself can no longer be recognized. This case could be interpreted as a "blinding" of the camera due to dazzling by very bright headlights of a nearby oncoming vehicle. Previous systems either work
a) mit einer einzigen Belichtungszeit oder a) with a single exposure time or
b) bei Bildern mit mehreren Belichtungszeiten mit jeweils denselben Routinen für die Objektdetektion und -klassifikation. Während bei Variante a) Kompromisse hinsichtlich Reichweite und Auflösungsvermögen im Nahbereich erforderlich sind, bedingt Variante b) eine komplexe Auswertestrategie, um die optimale Detektion und Klassifikation von regelrelevanten Objekten zu gewährleisten. Generell sind jedoch die Anforderungen an eine Objekterkennung zur Steuerung des Lichtes bzw. der Lichtaussendung durch das eigene Fahrzeug, speziell bei Nacht und Dämmerung, sehr komplex und können mit diesen Ansätzen nur über Kompromisse erzielt werden. Durch eine multimodale, mindestens jedoch bimodale Belichtungssteuerung mit zumindest einer kurz- und einer lang belich- teten Bildaufnahme und deren Auswertung können die jeweiligen Grenzfälle deutlich besser abgedeckt werden. Für die Auswertung der Bilder mit den jeweiligen Belichtungszeiten sind dabei explizit unterschiedliche Verarbeitungsschritte vorgesehen. Fig. 1 zeigt ein Blockschaltbild eines Fahrzeugs 100, in dem ein Ausführungsbeispiel der vorliegenden Erfindung verwendet werden kann. Das Fahrzeug 100 um- fasst eine Kamera 1 10, die ein Bild eines Sichtbereichs 120 eines Umfelds 130 vor dem Fahrzeug 100 generiert. Dabei ist die Kamera 1 10 ausgebildet, um Bilder in mehreren Modi aufzunehmen, wobei unterschiedliche Modi andere Belich- tungszeiten bei der Aufnahme von Bildern in dem entsprechenden Modus aufweist. Von der Kamera 1 10 generierten Bilder werden in eine Auswerteeinheit 140 übertragen, in die entsprechend der nachfolgenden Beschreibung eine Auswertung der Bilder bzw. eines Bildausschnitts eines Bildes auf Objekte unter Anwendung von Objekterkennungsalgorithmen erfolgt. Werden nun bestimmte Ob- jekte bestimmter Objektklassen im Sichtbereich 120 der Kamera 1 10 erkannt, wie beispielsweise Scheinwerfer von vorausfahrenden oder entgegenkommen- den Fahrzeugen, wird eine entsprechende Information an eine Beleuchtungssteuereinheit 150 gesandt, um sicherzustellen, dass eine Lichtaussendung der von der Beleuchtungssteuereinheit 150 gesteuerten Scheinwerfer 160 des Fahrzeugs 100 kein Licht in die Umgebung 130 des Fahrzeugs 100 ausstrahlen, wel- ches die vorausfahrenden oder entgegenkommenden Fahrzeug geblendet. b) for images with multiple exposures, each with the same routines for object detection and classification. While in variant a) compromises in terms of range and resolution at close range are required, variant b) requires a complex evaluation strategy in order to ensure optimum detection and classification of rule-relevant objects. In general, however, the requirements for an object recognition for controlling the light or the light emission by the own vehicle, especially at night and dusk, are very complex and can be achieved with these approaches only by compromise. By means of a multimodal, but at least bimodal exposure control with at least one short and one long exposed image acquisition and their evaluation, the respective borderline cases can be covered much better. For the evaluation of the images with the respective exposure times, explicitly different processing steps are provided. Fig. 1 shows a block diagram of a vehicle 100 in which an embodiment of the present invention may be used. The vehicle 100 includes a camera 110, which generates an image of a viewing area 120 of an environment 130 in front of the vehicle 100. In this case, the camera 110 is designed to record images in several modes, wherein different modes have different exposure times when taking pictures in the corresponding mode. Images generated by the camera 110 are transferred to an evaluation unit 140, in which, according to the following description, an evaluation of the images or of an image section of an image takes place on objects using object recognition algorithms. If certain objects of specific object classes are now detected in the field of view 120 of the camera 110, such as, for example, headlights of preceding or arriving the vehicles, corresponding information is sent to a lighting control unit 150 to ensure that light emission of the headlamp 160 of the vehicle 100 controlled by the lighting control unit 150 does not radiate light into the surroundings 130 of the vehicle 100 which blinds the vehicle in front or oncoming ,
Die Belichtungszeiten für die unterschiedlichen von der Kamera aufzunehmenden Bilder sind vorzugsweise derart zu wählen, dass einerseits entfernte Rücklichter in einer Entfernung von mindestens 400m und andererseits Scheinwerfer in einer Entfernung von mindestens 800m detektiert werden können sowie naherThe exposure times for the different images to be recorded by the camera should preferably be chosen such that on the one hand remote taillights at a distance of at least 400 m and on the other hand headlights at a distance of at least 800 m can be detected and also closer
Gegenverkehr nicht zu einer Überstrahlung des Bildes, d.h., Sättigung aller das Objekt charakterisierenden Pixel führt, was die Auflösung bzw. Detektion beider Scheinwerfer im Nahbereich erschwert. Des Weiteren sollte die Belichtungssteuerung derart ausgelegt sein, dass eine Erkennung von Rücklichtern im mittleren Entfernungsbereich (z.B. 100m bis 300m) durch mehrere Belichtungszeiten abgedeckt ist und damit eine robuste und schnelle Klassifikation in diesem, unter dem Aspekt einer möglichen Blendung kritischen Bereich, sichergestellt ist. Oncoming traffic does not lead to an over-radiation of the image, that is, saturation of all pixels characterizing the object, which makes the resolution or detection of both headlights in the vicinity difficult. Furthermore, the exposure control should be designed such that detection of taillights in the medium distance range (e.g., 100m to 300m) is covered by multiple exposure times to ensure a robust and rapid classification in this critical area under the aspect of possible glare.
Für eine effiziente Verarbeitung der jeweiligen Bilder kann z.B. für ein länger be- lichtetes Bild der Verarbeitungs- bzw. Interessensbereich (region of interest) inFor efficient processing of the respective images, e.g. for a longer-term picture the area of interest (region of interest) in
Abhängigkeit von verschiedenen zusätzlichen Informationen eingeschränkt werden Be limited depending on various additional information
Fig. 2 zeigt im oberen Teilbild eine Szene 200, die von der Kamera 1 10 aus Fig. 1 im Sichtbereich 120 des Fahrzeugs 100 aufgenommen wurde. Diese SzeneFIG. 2 shows in the upper partial image a scene 200 which was taken by the camera 110 of FIG. 1 in the viewing area 120 of the vehicle 100. This scene
200 wird beispielsweise in einem ersten Modus mit einer ersten kürzeren Belichtungszeit erfasst, woraus das links unten dargestellte erste Bild 210 generiert und an die Auswerteeinheit 140 übertragen wird. In einem folgenden Schritt wird die Szene 200 in einem zweiten Modus mit einer längeren Belichtungszeit aufge- nommen und ein zweites Bild 220 generiert, welches rechts unten in der Fig. 2 dargestellt ist. Weiterhin wird in dem zweiten Bild ein Bildausschnitt 230 extrahiert, der zur Verarbeitung an die Auswerteeinheit 140 übertragen wird. Auf ist es denkbar, dass das zweite Bild 220 selbst an die Auswerteeinheit 140 aus Fig. 1 übertragen wird und der Bildausschnitt 230 erst in der Auswerteeinheit 140 ex- trahiert wird. In der Auswerteeinheit 140 kann das (gesamte) erste Bild auf helle (nahe) Objekte 240 wie beispielsweise ein Scheinwerferpaar eines entgegenkommenden Fahrzeugs durch die Anwendung eines ersten Objekterkennungsalgorithmus auf das erste Bild erkannt werden, das sich in großer räumlicher Nähe zum eigenen Fahrzeug 100, d.h. dem Fahrzeug 100 mit der Kamera 1 10 befindet. Durch die Auswertung des gesamten ersten Bildes kann sichergestellt werden, dass keine Objekte in großer Nähe des Fahrzeugs übersehen werden, die anderenfalls bei einer Nicht-Berücksichtigung der Steuerung der Lichtausstrahlung zu einer Blendung einer Person führen könnte, die dieses Objekt oder Fahrzeug führt, so dass eine Gefährdung der Fahrtsicherheit des eigenen Fahrzeugs zu befürchten ist. 200 is detected, for example, in a first mode with a first shorter exposure time, from which the first image 210 shown on the left is generated and transmitted to the evaluation unit 140. In a following step, the scene 200 is taken in a second mode with a longer exposure time and a second image 220 is generated, which is shown at the bottom right in FIG. Furthermore, an image detail 230 is extracted in the second image, which is transmitted to the evaluation unit 140 for processing. It is conceivable that the second image 220 itself is transmitted to the evaluation unit 140 from FIG. 1 and the image detail 230 is first extracted in the evaluation unit 140. In the evaluation unit 140, the (entire) first image on bright (close) objects 240 such as a pair of headlights of an oncoming vehicle can be detected by applying a first object recognition algorithm to the first image, which is in close proximity to the own vehicle 100, ie the vehicle 100 with the camera 1 10 is located. By evaluating the entire first image, it can be ensured that no objects in the immediate vicinity of the vehicle are overlooked, which otherwise, if the control of the light emission were not taken into consideration, could lead to glare of a person who is driving this object or vehicle a danger to the driving safety of the own vehicle is to be feared.
Weiterhin wird auch in der Auswerteeinheit 140 ein zweiter Objekterkennungsalgorithmus auf den Bildausschnitt 230 des zweiten Bildes 220 angewandt, so dass auch Objekte 250 in diesem Bildausschnitt 230 erkannt werden. Beispielsweise kann dabei ferner eine Anwendung des zweiten Objekterkennungsalgorithmus, der auf den Bildausschnitt angewandt wird, auf Bereichen des zweiten Bildes außerhalb des Bildausschnittes unterbleiben. Bei diesen im Bildausschnitt 230 zu erkennenden Objekten 250 kann es sich um entfernte (d.h. dunkler erscheinende) Objekte 250 handeln, die beispielsweise Rückleuchten von vor dem Fahrzeug 100 fahrenden Fahrzeugen repräsentieren. Durch die Auswertung des Bildausschnittes 230, der günstigerweise derart gewählt werden sollte, dass keine nahen hellen Objekte 240 wie die in der linken unteren Darstellung aus Fig. 2 gezeigten Frontscheinwerfer von entgegenkommenden Fahrzeugen in der Objekterkennung des Bildausschnittes zu berücksichtigen sind, kann eine Überblendung des auszuwertenden Bildes durch diese hellen Objekte vermieden werden. Der Bildausschnitt, der einen eingeschränkten Bereich aus dem zweiten Bild mit der längeren Belichtungszeit repräsentiert, ermöglicht somit die Detektion entfernter Objekte, die gegenüber näheren Objekten meist dunkler erscheinen und somit durch die Aufnahme mit der längeren Belichtungszeit besser erkennbar sind, als in einem Bild, das zur Auswertung von nahen wie auch entfernten Objekten mit einer einzigen Belichtungszeit aufgenommen wurde. Furthermore, a second object recognition algorithm is also applied to the image detail 230 of the second image 220 in the evaluation unit 140, so that objects 250 in this image detail 230 are also recognized. For example, an application of the second object recognition algorithm, which is applied to the image section, can also be omitted on regions of the second image outside the image section. These objects 250 to be recognized in the image section 230 can be distant (i.e., appearing darker) objects 250, which represent, for example, tail lights of vehicles driving in front of the vehicle 100. By evaluating the image section 230, which should be selected favorably such that no near bright objects 240, such as the front headlights of oncoming vehicles shown in the lower left representation of FIG. 2, are to be considered in the object recognition of the image section, a cross-fading of the object to be evaluated Picture to be avoided by these bright objects. The image section, which represents a restricted area from the second image with the longer exposure time, thus enables the detection of distant objects, which usually appear darker towards closer objects and thus are more recognizable by the exposure with the longer exposure time, than in an image, the was recorded for evaluation of near as well as distant objects with a single exposure time.
Fährt nun das Fahrzeug auf einer kurvigen Straße, ist es vorteilhaft, wenn auch der Bildausschnitt nicht statisch aus einem vorbestimmten Bereich aus dem zweiten Bild entnommen wird. Insbesondere bei der Kurvenfahrt in eine Linkskurve ist es beispielsweise günstig, wenn auch derjenige Bereich, der als Bild- ausschnitt aus dem zweiten Bild entnommen wird, weiter an den linken Rand des zweiten Bildes verschoben wird. Auf diese Weise kann sichergestellt werden, dass beispielsweise vorausfahrende Fahrzeuge oder andere Objekte auf der vorausliegenden Linkskurve der Fahrbahn auch noch ausreichend erkannt werden können, da diese dann im auszuwertenden Bildausschnitt liegen. Um eine solcheNow drives the vehicle on a winding road, it is advantageous if the image is not taken statically from a predetermined range from the second image. In particular, when cornering in a left turn, it is for example favorable, although the area which serves as an image section is taken from the second image, further moved to the left edge of the second image. In this way it can be ensured that, for example, vehicles driving ahead or other objects on the preceding left-hand bend of the roadway can still be sufficiently recognized, since these then lie in the image detail to be evaluated. To such a
Veränderung der Position des Bildausschnittes in dem zweiten Bild zu ermöglichen, können unterschiedlichste Informationen verwendet werden. Zu diesen Informationen zählen beispielsweise die Geschwindigkeit des Fahrzeugs, der eingeschlagene Lenkwinkel des Fahrzeugs, ein prädizierter oder ein aus einer Aus- wertung eines Verlaufes von Straßenlaternen oder Leitpfosten (beispielsweise durch die hohen Lichtreflexionen, die aus dem ersten Bild erkannt werden können) angenommener Straßenverlauf. Ferner können auch Navigationsdaten, d.h. Daten aus Navigationssystemen, Modelannahmen über die Detektionswahr- scheinlichkeit von verschiedenen Objekttypen in bestimmten Bereichen des Bil- des, usw. als Informationen für die Verschiebung oder Veränderung der Position des Bildausschnitts im zweiten Bild verwendet werden. Changing the position of the image section in the second image to allow a variety of information can be used. This information includes, for example, the speed of the vehicle, the steering angle of the vehicle, a predicted road course, or a course of the road assumed from an evaluation of a course of streetlights or delineators (for example, by the high reflections of light that can be seen from the first image). Furthermore, navigation data, i. Data from navigation systems, model assumptions about the detection probability of different object types in certain areas of the image, etc., are used as information for shifting or changing the position of the image detail in the second image.
Die unterschiedlichen Belichtungszeiten können des Weiteren die Erkennung von gepulsten Lichtquellen (wie z.B. Straßenlaternen bzw. LED-Rück-/Frontleuchten (50Hz 160 Hz)) unterstützen. Ein Ausführungsbeispiel für die Erkennung von solchen gepulsten Lichtquellen ist in den Figuren 3 und 4 dargestellt. The different exposure times may further support the detection of pulsed light sources (such as street lights or LED back / front lights (50Hz 160Hz)). An exemplary embodiment for the detection of such pulsed light sources is shown in FIGS. 3 and 4.
Fig. 3 zeigt zwei Diagramme zur Erkennung einer gemessenen Helligkeit einer konstant leuchtenden Lichtquelle mit einer bimodal geregelten Kamera. In der oberen Darstellung aus Fig. 3 ist auf der Abszisse die Zeit (in Form von fortlaufenden Bildnummern) und auf der Ordinate die gemessene (auf einen Wert normierte) Lichtintensität 300 einer Lichtquelle (mit konstanter Lichtaussendung) gegenüber einer Messung 310 der Lichtintensität dieser Lichtquelle durch die Kamera dargestellt. Durch die Abtastung einer konstant leuchtenden Lichtquelle mit einer bimodal geregelten Kamera, d.h. durch die Aufnahme von unterschiedlichen Bildern nacheinander resultiert eine Darstellung, bei der die Lichtquelle als pulsendes Objekt in dem Bild erscheint. Die Eigenschaft des Pulsierens kann durch einen Vergleich der Helligkeit eines Objektes in verschiedenen Belichtungszeiten besser erkannt werden. Dabei wird beispielsweise die Helligkeit oder Lichtintensität des Objektes in dem ersten Bild mit einer Helligkeit oder Lichtintensität in dem Bildausschnitt verglichen. In diesem Fall sollte ein Objekt in dem ersten Bild an einer Position liegen, die einer Position entspricht, die auch im Bildausschnitt des zweiten Bildes liegt, damit eine Auswertung der Helligkeiten des Objektes mit unterschiedlichen Belichtungszeiten möglich wird. Auch kann die Helligkeit oder die Lichtintensität eines Objektes ausgewertet werden, das nicht in dem Bildausschnitt liegt, wobei dann in diesem Fall das zweite Bild statt dem Bildausschnitt für die Auswertung heranzuziehen ist. 3 shows two diagrams for detecting a measured brightness of a constantly illuminated light source with a bimodal controlled camera. 3, on the abscissa the time (in the form of continuous image numbers) and on the ordinate the measured (normalized to a value) light intensity 300 of a light source (with constant light emission) compared to a measurement 310 of the light intensity of this light source represented by the camera. By scanning a constant luminous light source with a bimodal controlled camera, ie by the recording of different images in succession results in a representation in which the light source appears as a pulsating object in the image. The property of pulsation can be better recognized by comparing the brightness of an object in different exposure times. In this case, for example, the brightness or light intensity of the object in the first image is compared with a brightness or light intensity in the image detail. In this case, an object should be in the first image are at a position corresponding to a position that is also in the image section of the second image, so that an evaluation of the brightness of the object with different exposure times is possible. It is also possible to evaluate the brightness or the light intensity of an object that is not in the image section, in which case the second image instead of the image section is to be used for the evaluation in this case.
Bei einer konstant Licht aussendenden Lichtquelle resultiert ein Helligkeitsverlauf, wie er in der Fig. 3 in der unteren Darstellung wiedergegeben ist. Dabei weist die konstant leuchtende Lichtquelle in den Bildern mit unterschiedlichenIn the case of a light source which emits light constantly, a brightness pattern results, as shown in FIG. 3 in the lower illustration. In this case, the constantly illuminated light source in the images with different
Belichtungszeiten unterschiedliche Helligkeitsintensitäten auf. Beispielsweise weist die Lichtquelle im Bild mit der kürzeren Belichtungszeit einen kleineren Helligkeitswert 320 auf, als im Bild mit der längeren Belichtungszeit, in dem ein größerer Helligkeitswert 330 für die konstant leuchtende Lichtquelle auftritt. Somit variiert die gemessene Lichtintensität oder Helligkeit einer konstant leuchtendenExposure times different brightness intensities. For example, the light source in the image with the shorter exposure time has a smaller brightness value 320 than in the image with the longer exposure time, in which a greater brightness value 330 for the constantly illuminated light source occurs. Thus, the measured light intensity or brightness of a constantly lit one varies
Lichtquelle mit einer bimodal geregelten Kamera entsprechend den unterschiedlichen Belichtungszeiten für die ausgewerteten Bilder. Eine konstant leuchtende Lichtquelle bildet sich für die jeweiligen Beleuchtungszeiten somit unterschiedlich ab. Somit kann die Veränderung der Helligkeit oder Lichtintensität bei einer Aus- wertung von Bildern, die bei unterschiedlicher Beleuchtungszeit aufgenommen wurden, als wichtige Information für die Klassifikation von selbstleuchtenden Objekten verwendet werden. Beispielsweise können auf diese Weise entfernte Straßenlaternen mit einer Lichtaussendungsfrequenz von 50 bis 60 Hz entsprechend der Frequenz des Energieversorgungsnetzes erkannt werden, bei denen die Scheinwerfer des eigenen Fahrzeugs nicht abgeblendet werden sollen. Auch können beispielsweise reflektierende Objekte erkannt werden, die durch eine Modulation der Frequenz der Lichtaussendung durch die Scheinwerfer des eigenen Fahrzeugs das entsprechend an dem Objekt reflektierte modulierte Licht erkannt werden kann. Light source with a bimodal controlled camera according to the different exposure times for the evaluated images. A constantly illuminated light source thus forms differently for the respective illumination times. Thus, the change in brightness or light intensity in evaluating images taken at different illumination time can be used as important information for the classification of self-luminous objects. For example, in this way remote street lights can be detected with a light emission frequency of 50 to 60 Hz corresponding to the frequency of the power grid, in which the headlights of the own vehicle should not be dimmed. It is also possible, for example, to detect reflective objects which, by modulating the frequency of the light emission by the headlights of the own vehicle, can detect the modulated light reflected correspondingly on the object.
Allgemein gilt, dass eine pulsierende Lichtquelle von einer unimodal geregelten Kamera nur als pulsierend wahrgenommen wird, wenn die Abtastfrequenz (z.B. 30 Bilder/Sekunde = 30 Hz) kein Vielfaches von der Pulsfrequenz der Lichtquelle ist. Mit einer 30 Hz-Kamera sieht man eine 60 Hz-Lichtquelle als konstant leuch- tend an (bei den für Dunkelheit typischen Integrationszeiten pro Bild). Bei einer bimodal geregelten Kamera kann man diese Beschränkung umgehen, wie es durch die durch die folgend beschriebene Vorgehensweise näher dargestellt ist. In general, a pulsating light source is perceived by a unimodal controlled camera only as pulsating when the sampling frequency (eg 30 frames / second = 30 Hz) is not a multiple of the pulse frequency of the light source. With a 30 Hz camera, one sees a 60 Hz light source as constantly lit (at the typical integration times per dark for darkness). At a bimodal controlled camera can overcome this limitation, as shown in more detail by the procedure described below.
In der Fig. 4 ist dargestellt, wie eine gepulste Lichtquelle erkannt werden kann. Dabei sind in der oberen Darstellung aus Fig. 4 die Helligkeitswerte einer Abtastung einer mit 60 Hz gepulsten Lichtquelle mit einer bimodal geregelten Kamera wiedergegeben. Wiederum ist auf der Abszisse die Zeit (in Form von fortlaufenden Bildnummern) und auf der Ordinate die gemessene (auf einen Wert normierte) Lichtintensität 300 einer Lichtquelle (mit gepulster Lichtaussendung) gegen- über einer Messung 310 der Lichtintensität dieser Lichtquelle durch die Kamera dargestellt. Wie aus der oberen Darstellung aus Fig. 4 ersichtlich ist, überschneiden sich die Zeitpunkte bzw. Zeiträume der Lichtaussendung durch die gepulste Lichtquelle mit den Zeitpunkten oder Zeiträumen der Abtastung bzw. Belichtung der entsprechenden auszuwertenden Bilder durch die Kamera. Aus dem unteren Diagramm der Fig. 4 ist ersichtlich, dass eine derartige Abtastung von sich überscheidenden Belichtungszeiträumen mit Lichtaussendungszeiträumen der gepulsten Lichtquelle in Helligkeitswerten 400 für die Lichtquelle in beiden Bildern resultiert, die innerhalb eines Toleranzbereichs gleich sind. Somit bildet sich eine gepulste Lichtquelle für die unterschiedlichen Belichtungszeiten in verschiedenen Bildern mit sehr ähnlichen Helligkeitswerten ab. Die Messergebnisse der Lichtintensität der Lichtquelle, die aus den Bildern mit den unterschiedlichen Belichtungszeiten gewonnen wird, verändert sich also nicht entsprechend der Belichtungszeiten der jeweiligen ausgewerteten Bilder, wodurch das Pulsieren einer solchen Lichtquelle erkannt werden kann. FIG. 4 shows how a pulsed light source can be detected. In the upper illustration of FIG. 4, the brightness values of a scan of a 60 Hz pulsed light source are reproduced with a bimodal-controlled camera. Again, on the abscissa, the time (in the form of continuous image numbers) and on the ordinate the measured (normalized to a value) light intensity 300 of a light source (with pulsed light emission) compared to a measurement 310 of the light intensity of this light source represented by the camera. As can be seen from the upper illustration of FIG. 4, the times or periods of the light emission by the pulsed light source overlap with the times or periods of the scanning or exposure of the corresponding images to be evaluated by the camera. It can be seen from the lower diagram of Figure 4 that such a scan of passing exposure periods with light emission periods of the pulsed light source results in brightness values 400 for the light source in both images being equal within a tolerance range. Thus, a pulsed light source for the different exposure times forms in different images with very similar brightness values. The measurement results of the light intensity of the light source, which is obtained from the images with the different exposure times, thus does not change according to the exposure times of the respective evaluated images, whereby the pulsation of such a light source can be detected.
Ferner bewirkt eine längere Belichtungszeit eine stabilere Ausprägung der Eigenschaften von gepulsten Lichtquellen im Bild und wodurch eine validere Farbrekonstruktion und Formanalyse des Lichtobjektes möglich ist. Die Informationen aus dem kurz belichteten Bild stellen sich dagegen kontrastreicher dar, da die Bewegungsunschärfe geringer ausfällt, was besonders vorteilhaft bei der Schätzung der Bewegung und deren Richtung ist. Furthermore, a longer exposure time results in a more stable expression of the characteristics of pulsed light sources in the image and thus a more valid color reconstruction and shape analysis of the light object is possible. On the other hand, the information from the short-exposed image presents more contrast, since the motion blur is lower, which is particularly advantageous in estimating the movement and its direction.
Fig. 5 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung als Verfahren 500 zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs. Das Verfahren 500 umfasse einen Schritt des Einlesens 510 eines ersten Bildes einer Fahrzeugkamera, das das Umfeld des Fahrzeugs repräsen- tiert und das mit einer ersten Belichtungszeit aufgenommen wurde, wobei um Schritt des Einlesens ferner ein Einlesen eines zweiten Bildes der Fahrzeugkamera erfolgt, das nach dem ersten Bild und mit einer zweiten Belichtungszeit aufgenommen wurde, wobei sich die zweite Belichtungszeit von der ersten Be- lichtungszeit unterscheidet. Weiterhin umfasst das Verfahren 500 einen Schritt des Extrahierens 520 eines Bildausschnittes aus dem zweiten Bild der Fahrzeugkamera, wobei der Bildausschnitt einen kleineren Bereich des Umfeldes des Fahrzeugs repräsentiert, als das zweite Bild, wobei beim Extrahieren eine Position des Bildausschnitts im zweiten Bild auf der Basis von zumindest einem Para- meter bestimmt wird, der eine Information über eine Fahrt des Fahrzeugs und/oder eine Position einer Infrastrukturmaßnahme vor dem Fahrzeug repräsentiert und/oder der von einem sich bewegenden Objekt unabhängig ist, das in einem vorangegangenen Schritt in dem Bildausschnitt erkannt wurde. Schließlich umfasst das Verfahren 500 einen Schritt des Anwendens 530 eines ersten Ob- jekterkennungsalgorithmus auf das erste Bild, um zumindest ein Objekt in dem ersten Bild zu erkennen und Anwenden eines zweiten Objekterkennungsalgorithmus auf den Bildausschnitt, um zumindest ein weiteres Objekt in dem Bildausschnitt zu erkennen. Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. 5 shows a flow chart of an embodiment of the present invention as a method 500 for detecting objects in an environment of a vehicle. The method 500 comprises a step of reading in 510 a first image of a vehicle camera, which represents the surroundings of the vehicle. Furthermore, reading of a second image of the vehicle camera taken after the first image and with a second exposure time, wherein the second exposure time differs from the first exposure time, takes place at the step of reading , Furthermore, the method 500 comprises a step of extracting 520 an image section from the second image of the vehicle camera, wherein the image section represents a smaller area of the surroundings of the vehicle than the second image, wherein when extracting a position of the image section in the second image on the basis of at least one parameter is determined, which represents information about a drive of the vehicle and / or a position of an infrastructure measure in front of the vehicle and / or which is independent of a moving object, which was detected in a previous step in the image section. Finally, the method 500 includes a step of applying 530 a first object recognition algorithm to the first image to detect at least one object in the first image and applying a second object recognition algorithm to the image section to detect at least one further object in the image section. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment.
Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Furthermore, method steps according to the invention can be repeated as well as carried out in a sequence other than that described.
Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass dasIf an exemplary embodiment includes a "and / or" link between a first feature and a second feature, this is to be read such that the
Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist. Embodiment according to an embodiment, both the first feature and the second feature and according to another embodiment, either only the first feature or only the second feature.

Claims

Ansprüche  claims
Verfahren (500) zur Erkennung von Objekten (240, 250) in einem Umfeld (130) eines Fahrzeugs (100), wobei das Verfahren (500) die folgenden Schritte aufweist: A method (500) of detecting objects (240, 250) in an environment (130) of a vehicle (100), the method (500) comprising the steps of:
Einlesen (510) eines ersten Bildes (210) einer Fahrzeugkamera (1 10), das das Umfeld (130) des Fahrzeugs (100) repräsentiert und das mit einer ersten Belichtungszeit aufgenommen wurde und Einlesen eines zweiten Bildes (220) der Fahrzeugkamera (1 10), das nach dem ersten Bild (210) und mit einer zweiten Belichtungszeit aufgenommen wurde, wobei sich die zweite Belichtungszeit von der ersten Belichtungszeit unterscheidet;  Reading in (510) a first image (210) of a vehicle camera (110), which represents the surroundings (130) of the vehicle (100) and which was taken at a first exposure time and reading in a second image (220) of the vehicle camera (10 ) taken after the first image (210) and at a second exposure time, the second exposure time being different from the first exposure time;
Extrahieren (520) eines Bildausschnittes (230) aus dem zweiten Bild (220) der Fahrzeugkamera (1 10), wobei der Bildausschnitt (230) einen kleineren Bereich des Umfeldes (130) des Fahrzeugs (100) repräsentiert, als das erste Bild (210), wobei beim Extrahieren (520) eine Position des Bildausschnitts (230) im zweiten Bild (220) auf der Basis von zumindest einem Parameter bestimmt wird, der eine Information über eine Fahrt des Fahrzeugs und/oder eine Position einer Infrastrukturmaßnahme vor dem Fahrzeug repräsentiert und/oder der von einem sich bewegenden Objekt unabhängig ist, das in einem vorangegangenen Schritt in dem Bildausschnitt (230) erkannt wurde;  Extracting (520) an image section (230) from the second image (220) of the vehicle camera (1 10), wherein the image section (230) represents a smaller area of the environment (130) of the vehicle (100) than the first image (210 ), wherein upon extracting (520), a position of the image section (230) in the second image (220) is determined based on at least one parameter representing information about a travel of the vehicle and / or a position of an infrastructure measure in front of the vehicle and / or which is independent of a moving object detected in a previous step in the frame (230);
Anwenden (530) eines ersten Objekterkennungsalgorithmus auf das erste Bild (210), um zumindest ein Objekt (240) in dem ersten Bild (210) zu erkennen und Anwenden eines zweiten Objekterkennungsalgorithmus auf den Bildausschnitt (230), um zumindest ein weiteres Objekt (250) in dem Bildausschnitt (230) zu erkennen.  Applying (530) a first object recognition algorithm to the first image (210) to detect at least one object (240) in the first image (210) and applying a second object recognition algorithm to the image section (230) to obtain at least one further object (250 ) in the image section (230).
2. Verfahren (500) gemäß Anspruch 1 , dadurch gekennzeichnet, dass im2. Method (500) according to claim 1, characterized in that in
Schritt des Extrahierens (520) der Bildausschnitt (230) unter Verwendung einer Positionsinformation extrahiert wird, wobei die Positionsinformation an- sprechend auf eine Information, die eine Fahrt des Fahrzeugs (100) repräsentiert, veränderbar ist oder verändert wird. Step of extracting (520) the image section (230) is extracted using position information, the position information being responsive to information representing a vehicle (100) travel that is changeable or changed.
Verfahren (500) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Einlesens (510) als das erste Bild (210) ein Bild eingelesen wird, das eine kürzere Belichtungszeit aufweist, als das Bild, das als zweites Bild (220) eingelesen wird. Method (500) according to one of the preceding claims, characterized in that in the reading-in step (510) an image having a shorter exposure time than the image (220) is read in as the first image (210). is read.
Verfahren (500) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Anwendens (530) der erste Objekterkennungsalgorithmus auf das gesamte erste Bild (210) angewandt wird. Method (500) according to one of the preceding claims, characterized in that in the step of applying (530) the first object recognition algorithm is applied to the entire first image (210).
Verfahren (500) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Extrahierens (520) ein Bildausschnitt (230) des zweiten Bildes (220) extrahiert wird, in dem Objekte (250) im Bild der Fahrzeugkamera (1 10) abgebildet werden, die eine vorbestimmte Mindestentfernung vor dem Fahrzeug (100) angeordnet sind. Method (500) according to one of the preceding claims, characterized in that in the step of extracting (520) an image detail (230) of the second image (220) is extracted, in which objects (250) are imaged in the image of the vehicle camera (110) which are arranged a predetermined minimum distance in front of the vehicle (100).
Verfahren (500) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Anwendens (530) der erste Objekterkennungsalgorithmus zur Erkennung von Objekten (240) eines ersten Objekttyps verwendet wird und der zweite Objekterkennungsalgorithmus zur Erkennung von Objekten eines zweiten Objekttyps (250) verwendet wird, der sich vom ersten Objekttyp unterscheidet. Method (500) according to one of the preceding claims, characterized in that in the step of applying (530) the first object recognition algorithm is used to detect objects (240) of a first object type and the second object recognition algorithm is used to detect objects of a second object type (250) is used, which differs from the first object type.
Verfahren (500) gemäß einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Anwendens (530) der erste Objekterkennungsalgorithmus ausgebildet ist, um ein Objekt (240) im ersten Bild (210) unter Verwendung eines Vergleichs der Helligkeit (320, 330; 400) an einer Position im ersten Bild (210) mit einer Helligkeit (320, 330; 400) an einer entsprechenden Position im zweiten Bild (220), insbesondere im Bildausschnitt (230), zu erkennen und/oder dass im Schritt des Anwendens (530) der zweite Objekterkennungsalgorithmus ausgebildet ist, um ein Objekt (250) im zweiten Bild (220), insbesondere im Bildausschnitt (230) unter Verwendung eines Vergleichs der Helligkeit (320, 330; 400) an einer Position im zweiten Bild (220), insbesondere im Bildausschnitt (230) mit einer Hellig- keit (32, 330; 400) an einer entsprechenden Position im ersten Bild (210) zu erkennen. Method (500) according to one of the preceding claims, characterized in that, in the step of applying (530), the first object recognition algorithm is adapted to image an object (240) in the first image (210) using a comparison of the brightness (320, 330; 400) at a position in the first image (210) having a brightness (320, 330, 400) at a corresponding position in the second image (220), in particular in the image section (230), and / or in the step of applying ( 530) the second object recognition algorithm is adapted to image an object (250) in the second image (220), in particular in the image section (230), using a comparison of the brightness (320, 330; 400) at a position in the second image (220), especially in the image section (230) with a bright To recognize (32, 330, 400) at a corresponding position in the first image (210).
Verfahren (500) gemäß Anspruch 7, dadurch gekennzeichnet, dass imMethod (500) according to claim 7, characterized in that in
Schritt des Anwendens (530) durch den ersten Objekterkennungsalgorithmus ein Objekt (240) als pulsierende Lichtquelle erkannt wird, wenn die Helligkeit (400) an der Position im ersten Bild (210) innerhalb eines Toleranzbereichs gleich der Helligkeit (400) an der entsprechenden Position im zweiten Bild (220), insbesondere im Bildausschnitt (230) ist und/oder dass durch den ersten Objekterkennungsalgorithmus ein Objekt (240) als konstant Licht aussendende Lichtquelle erkannt wird, wenn sich die Helligkeit (320,330) an der Position im ersten Bild (210) um mehr als einen vorbestimmten Schwellwert von der Helligkeit (320, 330) an der entsprechenden Position im zweiten Bild (220), insbesondere im Bildausschnitt (230) unterscheidet und/oder dass durch den zweiten Objekterkennungsalgorithmus ein Objekt (250) als pulsierende Lichtquelle erkannt wird, wenn die Helligkeit (400) an der Position im zweiten Bild (220), insbesondere im Bildausschnitt (230) innerhalb eines Toleranzbereichs gleich der Helligkeit (400) an der entsprechenden Position im ersten Bild (210) ist und/oder dass durch den zweiten Objekterkennungsalgorithmus ein Objekt (250) als konstant Licht aussendende Lichtquelle erkannt wird, wenn sich die Helligkeit (320, 330) an der Position im zweiten Bild (220), insbesondere im Bildausschnitt (230) um mehr als einen vorbestimmten Schwellwert von der Helligkeit (320, 330) an der entsprechenden Position im ersten Bild (210) unterscheidet. Step of applying (530), by the first object recognition algorithm, an object (240) as a pulsating light source when the brightness (400) at the position in the first image (210) is within a tolerance equal to the brightness (400) at the corresponding position in the image second image (220), in particular in the image section (230), and / or that an object (240) is recognized by the first object recognition algorithm as a light source emitting constant light when the brightness (320,330) at the position in the first image (210) differs by more than a predetermined threshold value from the brightness (320, 330) at the corresponding position in the second image (220), in particular in the image detail (230), and / or in that an object (250) is recognized as the pulsating light source by the second object recognition algorithm if the brightness (400) at the position in the second image (220), in particular in the image section (230) within a tolerance range equal to Brightness (400) at the corresponding position in the first image (210), and / or that the second object detection algorithm detects an object (250) as a constant light source when the brightness (320, 330) is at the position in the second Image (220), in particular in the image section (230) differs by more than a predetermined threshold from the brightness (320, 330) at the corresponding position in the first image (210).
Verfahren zur Regelung einer Fahrbahnausleuchtung vor einem Fahrzeug, das die folgenden Schritte aufweist: Method for controlling a roadway illumination in front of a vehicle, comprising the following steps:
die Schnitte eines Verfahrens (500) gemäß einem der vorangegangenen the sections of a method (500) according to one of the preceding
Ansprüche; und Claims; and
Ansteuern eines Veränderns der Lichtausstrahlung eines Scheinwerfers (160) des Fahrzeugs (100 ansprechend auf zumindest ein durch den ersten Objekterkennungsalgorithmus erkanntes Objekt (240) und/oder ansprechend auf zumindest ein durch den zweiten Objekterkennungsalgorithmus erkanntes Objekt (250). Driving a change in the light emission of a headlight (160) of the vehicle (100 in response to at least one object (240) detected by the first object detection algorithm and / or in response to at least one object (250) detected by the second object detection algorithm.
10. Verfahren gemäß Anspruch 9, dadurch gekennzeichnet, dass im Schritt des Ansteuerns ferner das Verändern der Lichtausstrahlung unabhängig von eine durch den zweiten oder zweiten Objekterkennungsalgorithmus erkannte Infrastruktureinrichtung am Fahrbahnrand erfolgt. 10. The method according to claim 9, characterized in that in the step of driving further, the changing of the light emission is independent of a detected by the second or second object detection algorithm infrastructure at the roadside.
1 1 . Vorrichtung (140), die Einheiten aufweist, die ausgebildet sind, um die 1 1. Device (140) comprising units adapted to move around
Schritte eines Verfahrens (500) gemäß einem der Ansprüche 1 bis 10 durchzuführen.  Steps of a method (500) according to one of claims 1 to 10 perform.
12. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens (500) nach einem der Ansprüche 1 bis 10, wenn das Programm auf einer Vorrichtung (140) ausgeführt wird. 12. A computer program product with program code for carrying out the method (500) according to one of claims 1 to 10, when the program is executed on a device (140).
EP12729369.4A 2011-06-07 2012-05-21 Method and device for detecting objects in the area surrounding a vehicle Ceased EP2718869A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011077038A DE102011077038A1 (en) 2011-06-07 2011-06-07 Method and device for detecting objects in an environment of a vehicle
PCT/EP2012/059348 WO2012168055A2 (en) 2011-06-07 2012-05-21 Method and device for detecting objects in the area surrounding a vehicle

Publications (1)

Publication Number Publication Date
EP2718869A2 true EP2718869A2 (en) 2014-04-16

Family

ID=46354158

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12729369.4A Ceased EP2718869A2 (en) 2011-06-07 2012-05-21 Method and device for detecting objects in the area surrounding a vehicle

Country Status (6)

Country Link
US (1) US10552688B2 (en)
EP (1) EP2718869A2 (en)
JP (1) JP6175430B2 (en)
CN (1) CN103782307A (en)
DE (1) DE102011077038A1 (en)
WO (1) WO2012168055A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11450026B2 (en) 2017-12-27 2022-09-20 Sony Corporation Information processing apparatus, information processing method, and mobile object

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012221159A1 (en) * 2012-11-20 2014-05-22 Robert Bosch Gmbh Method and device for detecting variable message signs
DE102013115000A1 (en) * 2013-01-07 2014-07-10 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Method for generating glare-reduced image from images captured by camera device of subject vehicle, involves generating glare-reduced image based on modified identified glaring region upon resulting high dynamic range image
EP2767924B1 (en) * 2013-02-15 2019-05-01 HELLA GmbH & Co. KGaA A method and device for recognising pulsing light sources
EP3036132B1 (en) * 2013-08-19 2019-02-27 Gentex Corporation Vehicle imaging system and method for distinguishing reflective objects from lights of another vehicle
BR112017021644B1 (en) 2015-04-08 2022-11-16 Nissan Motor Co., Ltd TRAFFIC LIGHT DETECTION DEVICE AND TRAFFIC LIGHT DETECTION METHOD
JP6558733B2 (en) * 2015-04-21 2019-08-14 パナソニックＩｐマネジメント株式会社 Driving support method, driving support device, driving control device, vehicle, and driving support program using the same
GB2538572B (en) 2015-05-18 2018-12-19 Mobileye Vision Technologies Ltd Safety system for a vehicle to detect and warn of a potential collision
DE102015219496A1 (en) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Method for determining the functionality of a driver assistance system of a vehicle, device, driver assistance system, motor vehicle
JP6327719B2 (en) * 2016-02-04 2018-05-23 株式会社Ｓｕｂａｒｕ Vehicle travel control device
US9976284B2 (en) * 2016-07-18 2018-05-22 Caterpillar Inc. Control system for headlights of a machine
US11453365B2 (en) * 2016-08-26 2022-09-27 NetraDyne, Inc. Recording video of an operator and a surrounding visual field
DE102017200607B4 (en) * 2017-01-17 2024-02-15 Robert Bosch Gmbh Method and device for detecting an object in a vehicle
KR20180097966A (en) 2017-02-24 2018-09-03 삼성전자주식회사 Image processing method for autonomous driving and apparatus thereof
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
DE102017119394A1 (en) * 2017-08-28 2019-02-28 HELLA GmbH & Co. KGaA Method for controlling at least one light module of a lighting unit of a vehicle, lighting unit, computer program product and computer-readable medium
DE102017215347A1 (en) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Method for the predictable exposure control of at least a first vehicle camera
CN108021877A (en) * 2017-11-30 2018-05-11 北京文安智能技术股份有限公司 Face identification method, apparatus and system in a kind of driving vehicle
WO2019136384A1 (en) * 2018-01-05 2019-07-11 Veoneer Us, Inc. Illumination-based object tracking within a vehicle
WO2019159764A1 (en) * 2018-02-14 2019-08-22 株式会社小糸製作所 Vehicle-mounted camera system and light for vehicles
DE102019202377A1 (en) 2018-03-09 2019-09-12 Robert Bosch Gmbh Method for encrypting vehicle failure messages
JP2019159772A (en) * 2018-03-13 2019-09-19 株式会社小糸製作所 Vehicle system
DE112018007339T5 (en) 2018-03-23 2021-01-14 Honda Motor Co., Ltd. OBJECT DETECTION DEVICE, VEHICLE AND OBJECT DETECTION METHOD
JP7331483B2 (en) * 2019-06-18 2023-08-23 株式会社アイシン Imaging control device
DE102019209152A1 (en) * 2019-06-25 2020-12-31 Robert Bosch Gmbh Method and device for the secure identification of objects in video images
CN112766026B (en) * 2019-11-05 2024-02-02 大富科技(安徽)股份有限公司 Traffic light detection method, computer storage medium, vehicle-mounted terminal and vehicle
CN110971835A (en) * 2019-12-24 2020-04-07 重庆紫光华山智安科技有限公司 Monitoring method and device based on double-phase exposure
CN113657427B (en) * 2021-06-29 2024-01-23 东风汽车集团股份有限公司 In-vehicle multi-source image fusion recognition method and device

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
JPH06274626A (en) * 1993-03-19 1994-09-30 Toyota Motor Corp Travelling vehicle detecting device
US5837994C1 (en) * 1997-04-02 2001-10-16 Gentex Corp Control system to automatically dim vehicle head lamps
US7167796B2 (en) * 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
CN1120782C (en) 2002-06-07 2003-09-10 北京龙浩亚安智能数码科技有限公司 Automatic method for indentification of number plate of vehicle
CA2494723C (en) 2002-08-21 2011-11-08 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
DE10251949A1 (en) * 2002-11-08 2004-05-19 Robert Bosch Gmbh Driving dynamics regulation method in motor vehicle, involves image sensor system generating image information from vehicle's surroundings using stereo camera
US7023454B1 (en) * 2003-07-07 2006-04-04 Knight Andrew F Method and apparatus for creating a virtual video of an object
JP4253271B2 (en) * 2003-08-11 2009-04-08 株式会社日立製作所 Image processing system and vehicle control system
JP3931891B2 (en) * 2004-07-05 2007-06-20 日産自動車株式会社 In-vehicle image processing device
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
DE102005033863A1 (en) * 2005-07-20 2007-01-25 Robert Bosch Gmbh Imaging system
JP4108706B2 (en) * 2005-10-31 2008-06-25 三菱電機株式会社 Lane departure prevention device
DE102007001099A1 (en) 2007-01-04 2008-07-10 Siemens Ag Driver assistance system for traffic sign recognition
US8017898B2 (en) * 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
JP5082776B2 (en) * 2007-10-31 2012-11-28 オムロン株式会社 Image processing device
JP4571179B2 (en) 2007-12-07 2010-10-27 パナソニック株式会社 Imaging device
FR2936194B1 (en) * 2008-09-23 2011-08-05 Valeo Vision Sas METHOD FOR ADJUSTING THE LIGHTING OF THE HEADLAMPS FOR A MOTOR VEHICLE.
EP3412511B1 (en) * 2008-10-06 2021-12-29 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems
JP2010272067A (en) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd Image processing apparatus
US8456327B2 (en) * 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
JP5644451B2 (en) * 2010-05-25 2014-12-24 株式会社リコー Image processing apparatus, image processing method, and imaging apparatus
JP6011104B2 (en) * 2012-07-24 2016-10-19 株式会社デンソー Visibility support device for vehicle
DE102012217093A1 (en) * 2012-09-21 2014-04-17 Robert Bosch Gmbh Camera system, in particular for a vehicle, and method for determining image information of a detection area

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2012168055A2 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11450026B2 (en) 2017-12-27 2022-09-20 Sony Corporation Information processing apparatus, information processing method, and mobile object

Also Published As

Publication number Publication date
CN103782307A (en) 2014-05-07
US10552688B2 (en) 2020-02-04
JP6175430B2 (en) 2017-08-02
WO2012168055A3 (en) 2013-02-14
JP2014525067A (en) 2014-09-25
DE102011077038A1 (en) 2012-12-13
US20140098997A1 (en) 2014-04-10
WO2012168055A2 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
WO2012168055A2 (en) Method and device for detecting objects in the area surrounding a vehicle
DE102014107488B4 (en) DEVICE FOR DETERMINING THE ENVIRONMENT
DE102007034657B4 (en) Image processing device
DE102011081428A1 (en) A method of determining an object class of an object from which light is emitted and / or reflected to a vehicle
EP2691917A1 (en) Method and control device for transmitting data relating to a current vehicle environment to a headlight control device of a vehicle
EP2748032B1 (en) Method and device for controlling a headlamp of a vehicle
EP2062198B1 (en) Recognition of vehicle lights by means of a camera
DE102008060949A1 (en) Method for controlling vehicle headlamps, involves dividing surrounding into multiple areas outside vehicle, and unrestricted upper beam distribution is adjusted, if no other road user is identified in areas
DE102009039179A1 (en) Headlight control device and vehicle headlight with headlight control device
DE102011006564A1 (en) Method for evaluating an image captured by a camera of a vehicle and image processing device
DE112017006833T5 (en) VEHICLE LIGHTING SYSTEM
DE102011085689A1 (en) Method and device for determining a group from at least two adjacently arranged lighting units while driving a vehicle
DE102008034166A1 (en) Method and device for Euting a suitable light distribution of the light emitted by at least one headlight of a vehicle light
EP4185488B1 (en) Method for operating an illuminating device, and motor vehicle
DE102012214637A1 (en) Method for adjusting light emitting characteristic of headlamp to illuminate environment of vehicle, involves determining luminance characteristic of headlamp based on light distribution and default value for light distribution
DE102010025349A1 (en) Method for operating a motor vehicle lighting device with automatic dimming function
DE212013000187U1 (en) System Image of an outdoor scene using an application-specific image sensor
DE102013210097A1 (en) Driver information device
EP2562685B1 (en) Method and device for classifying a light object located in front of a vehicle
DE102006004770B4 (en) Method for image-based recognition of vehicles in the vicinity of a road vehicle
DE10104734A1 (en) Car control system uses infrared images to control vehicles head-lights and other units
DE102017204836A1 (en) Method and device for detecting objects in the surroundings of a vehicle
DE102007008542B4 (en) Method and device for controlling the light output of a vehicle
EP2131308B1 (en) Method and device for classifying an object detected in at least one image of an area visualised in front of a vehicle
DE29825026U1 (en) Control system for automatically dimming vehicle head lamp - includes microprocessor to discriminate between light received from head lamps and tail lamps

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140107

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20150623

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

APBK Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNE

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ROBERT BOSCH GMBH

APAM Information on closure of appeal procedure modified

Free format text: ORIGINAL CODE: EPIDOSCNOA9E

APBB Information on closure of appeal procedure deleted

Free format text: ORIGINAL CODE: EPIDOSDNOA9E

APBT Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9E

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20210524