WO2019072570A1 - Verbesserte ansicht eines kraftfahrzeugumfelds - Google Patents

Verbesserte ansicht eines kraftfahrzeugumfelds Download PDF

Info

Publication number
WO2019072570A1
WO2019072570A1 PCT/EP2018/076161 EP2018076161W WO2019072570A1 WO 2019072570 A1 WO2019072570 A1 WO 2019072570A1 EP 2018076161 W EP2018076161 W EP 2018076161W WO 2019072570 A1 WO2019072570 A1 WO 2019072570A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motor vehicle
movement
images
environment
Prior art date
Application number
PCT/EP2018/076161
Other languages
English (en)
French (fr)
Inventor
Andrea Stupiggia
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2019072570A1 publication Critical patent/WO2019072570A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Definitions

  • the invention relates to a method, a device and a motor vehicle, each for providing an improved view of a motor vehicle environment.
  • the invention relates to the processing of images of views of the automotive environment.
  • a motor vehicle is controllable by a driver who has a front window on a view ahead of the vehicle lying environment.
  • the picture of the environment is clouded for the driver.
  • each raindrop and each snowflake obscures a part of the relevant image
  • the human visual system is adapted to perceive a moving object in certain areas of the field of view as strongly distracting. As a result, the driver is less able to visually recognize a driving or traffic situation so that driving safety can be reduced.
  • An object underlying the invention is to provide an improved view of a motor vehicle environment.
  • the invention solves these
  • a method comprises steps of capturing a first image and capturing a second image at a predetermined time interval in a predetermined environment, wherein on the first image an object in a first image area and on the second image the object in one second image area is mapped; determining a moving speed of the object based on positions of the object
  • Moving speed exceeds a predetermined threshold, and if so, determining a third image on the basis of the first and second images, the object missing on the third image; and providing the third image.
  • the object may be hidden on the third image, so that another object of the environment on the third image can be improved visually recognizable.
  • the other object may be more relevant for driving the motor vehicle because of its lower speed of movement.
  • the third image can be presented to a driver of the motor vehicle so that he can see the environment without the object. The driver can thereby be improved in the situation to be able to guide the motor vehicle safely.
  • the third image may also be archived, for example, for later viewing or analysis.
  • the third image can also be processed automatically, for example by a driving assistant, which can influence a longitudinal and / or lateral control of the motor vehicle as a function of the third image.
  • the provision of the third image may comprise replacing the image region of the first or the second image with a corresponding image region of the respective other image.
  • Corresponding image areas have generally the same positions in the images assigned to them. Image areas of the object on the first and second images are ideally disjoint, so do not overlap one another.
  • the second image area in the second image can be replaced by the corresponding image area of the first image, wherein the corresponding image area does not contain the object.
  • a third image can be determined, which does not contain the object, but otherwise corresponds to the second image and so still can represent a closed view of the environment.
  • the first image area of the first image can also be replaced by a
  • Irregularities in a transition between the replaced part and the rest of the image can hardly disturb the overall impression of the third image.
  • a series of images may also be acquired, the speed of movement being based on any one of
  • Pair of temporally spaced detected images can be determined and the replacement of an image area containing the object by means of
  • corresponding image areas of one or more other images takes place.
  • parts of the image area containing the object can be taken from other images.
  • This can also be pictures be used whose image areas on which the object is visible in each case, or their locations in the respective image, only partially different from each other.
  • the images may be captured by a camera which is moved through the environment, the threshold being based on a
  • Movement speed of the camera is determined. The faster the camera is moved, the faster appears to be moving another object that is relevant for driving the motor vehicle, such as a traffic sign, an obstacle, a lane marking or another road user. As the speed of movement increases, the threshold can also be increased so that relevant objects can always be preserved in the third image.
  • the speed of movement of the object can be determined with respect to the environment through which the camera is moved. As a result, regardless of a movement speed or movement direction of the camera, it can be determined in an improved manner whether the object is relevant or not.
  • an object moving in the same direction and speed as the camera may be judged to be relevant because of its speed with respect to the environment, for example a slow-moving other motor vehicle.
  • Such an object can be preserved in the third image, even if its speed of movement with respect to the camera is low.
  • the threshold may be determined based on a direction of movement of the object. For example, the threshold for a horizontally moving object may be higher than for a vertically moving object. For example, falling objects can be better removed from the third image.
  • the object can be part of a meteorological precipitation.
  • liquid precipitate may include rain, freezing rain, or water droplets, which object may include a raindrop or ice grain;
  • Solid precipitate may include, for example, snow, sleet, hail, snow drizzle, or ice grain, which object may particularly include a corresponding appearance of water.
  • An object covered by precipitation may follow a characteristic movement, in particular one Falling motion that can be influenced by an airflow.
  • Such objects may also be hidden by additional criteria, for example due to the uniformity of their movements, their color, shape or size.
  • Motor vehicle can by a human driver or a
  • a device comprises
  • the processing device is set up on the basis of a first image and a second image, wherein on the first image an object in a first image area and on the second image the object in a second image area is mapped; and determining a moving speed of the object at a predetermined interval with which the first and second images have been detected; to determine if the
  • Moving speed exceeds a predetermined threshold, and if that is the case, on the basis of the first and the second image to provide a third image, wherein the object is not shown on the third image.
  • the output device is set up to provide the third image and is preferably implemented optically or as a data interface.
  • the camera may be part of an environmental observation system of the motor vehicle.
  • the environment observation system can be one or more cameras in different perspectives, resolutions, focal lengths or
  • the first and / or the second image may also be provided on the basis of a plurality of cameras or another optical sensor of the environment observation system.
  • the dispenser may be one of a head-up display, an instrument cluster, and a central display device of the
  • the head-up display can mirror the third image into a perception area of a driver of the motor vehicle, so that he can perceive both the unchanged and the changed third image without changing his perspective.
  • the instrument cluster may be configured to display certain parameters of the motor vehicle, in particular a driving speed and the state of certain
  • Lighting devices of the motor vehicle A display area of the instrument cluster is usually relatively limited.
  • Display device may be arranged in a console of the motor vehicle, for example between driver and front passenger, and is preferably configured to support an additional function of the motor vehicle, for example a navigation system, an entertainment system or an air conditioning system.
  • the apparatus may include a precipitation sensor or an interface to a precipitation sensor, the apparatus being adapted to provide the third image in response to a precipitation sensor
  • Precipitation signal of the precipitation sensor to perform. If the precipitation sensor reports precipitation, the third image can be generated automatically. If the device is active, it preferably generates a series of third images that can be perceived as a moving image. A delay time between the detection of a first or second image and the provision of the third image based on this image is thereby preferably limited and may, for example, amount to no more than a few, a few tens or a few hundred milliseconds.
  • a motor vehicle comprises a device described herein.
  • the motor vehicle can be controlled in an improved manner, even if the view of an environment is disturbed by one or more rapidly moving objects.
  • FIG. 2 shows an illustration of the processing of images in the environment of a motor vehicle
  • FIG. 3 is a flow chart of a method for providing an improved image of an exterior of a motor vehicle.
  • Fig. 4 is an illustration of a recorded and a
  • FIG. 1 shows a motor vehicle 100 with a device 105 for providing an improved image of an exterior area 1 10.
  • the exterior area 110 there are one or more objects 15 and optionally one or more further objects 120. Movement directions and movement speeds of the objects 11 are each indicated by an arrow.
  • the further object 120 is assumed to be stationary as an example.
  • Some objects 120 may be relevant to controlling the motor vehicle 100, while other objects 15 may only reduce visibility or be distracting. Irrelevant objects 15 can in particular include meteorological precipitation such as rain or snow. Relevant objects 120 may include, for example, another motor vehicle, a person, a building, a road marking, a vegetation, a road sign or an obstacle. In order to be able to control motor vehicle 100 in an improved manner as a function of an image of outdoor area 110, it is proposed to provide an image of outdoor area 110 on which at least one irrelevant object 15 is not shown. By contrast, relevant objects 120 should be displayed as unchanged as possible on the image.
  • a distinction between a relevant object 120 and an irrelevant object 15 can be made on the basis of a moving speed of the object 1 1 5, 120.
  • the movement speed can be determined with respect to the environment 110 or with respect to the motor vehicle 100.
  • the speed of movement also includes a movement direction of the object 1 15, 120. If the movement speed exceeds a predetermined threshold, it can be assumed that an irrelevant object 1 1 5, otherwise it may be a relevant object 120.
  • the device 105 is mounted on board the motor vehicle 100 and may include one or more components that are already being used for other reasons or for other purposes on the motor vehicle 100.
  • Device 105 preferably comprises a camera 125 for scanning the surrounding area 110, a processing device 130, and an output device 135.
  • a precipitation sensor 140 may also be provided.
  • the camera 125 preferably operates in the visible optical spectrum and is also preferably aligned at least substantially in the direction of travel of the motor vehicle 100.
  • the processing device 130 preferably comprises and can be a programmable microcomputer or microcontroller
  • the output device 135 may in particular comprise a screen, which may be part of a combination instrument or a central display device of the motor vehicle.
  • the output device 135 is set up in particular for informing a driver of the motor vehicle 100.
  • the output device 135 comprises a head-up display, which is adapted to convert an image into an optical
  • the driver's detection area Mirroring the driver's detection area, where it can overlap or cover an optically immediately perceivable image of the environment.
  • the provided image is sent to another
  • Processing device provided, for example, a
  • the device 105 may be configured to provide an image lacking objects 15 that are part of a meteorological precipitate, such as rain or snow.
  • the signal of the precipitation sensor 140 can be evaluated.
  • the precipitation sensor 140 may be optical or operate acoustically and be adapted to detect precipitate 1 15, which is attached to a disc of the motor vehicle 100, in particular a windscreen, deposited or flows from the disc.
  • FIG. 2 shows an illustration of the processing of images in the environment 1 10 of a motor vehicle 100.
  • a time is shown, which runs from top to bottom.
  • an image 205 from the environment 110 of the motor vehicle 100 is scanned in each case, for example by means of the camera 125.
  • a time interval ⁇ t Between adjacent times t there is in each case a time interval ⁇ t, wherein the time intervals ⁇ t are preferably the same.
  • the images 205 shown in FIG. 2 are referenced with appended suffixes 1-3, the suffix corresponding in each case to the index of the time t, the detection.
  • Each image 205 is assigned an image area 210 using the same nomenclature with suffixes.
  • a first image area 201 .1 lies in the first image 205.1 and so on.
  • the object 1 15 is for ease of understanding as a square with the
  • Image area 210.3 With the same perspective of the images 205, the image regions 210 in the associated images 205 have different layers.
  • An image area 210 preferably comprises as small a section of an associated image 205 as possible and as completely as possible a predetermined object 210 which is imaged on the image 205.
  • an image area 210 may comprise all contiguous pixels ("pixels") of an image 205 associated with the object 1.
  • the image area 210 preferably has a rectangular shape but may also be shaped differently, for example round, oval or even irregular.
  • a movement speed of the object 1 15 can be determined by the quotient of the location difference of the object 15 (or the associated
  • Image area 210) in two images 205 and the time interval (the time difference) the captures of the images 205 is determined. For this determination, it may be necessary to determine the distance and / or size of the object 15. In addition, a movement of the camera 125 between
  • an image 215 may be provided which does not include object 15.
  • Image area 210 of another image 205 to be replaced the
  • Detection time is preferably in a small time interval At the detection time of the present image 205.
  • the corresponding image region 210 preferably lies in the same position in the other image 205 as the image region 210 in the image 205.
  • Curved arrows in FIG. 2 indicate possible replacements between temporally adjacent images 205. It should be noted that a replacement can be made in both temporal directions. In further embodiments, a replacement of an image region 210 from an image 205 further in time may also take place or a plurality of parts of an image region 210 may be replaced by corresponding parts of image regions 210 of a plurality of other images 205. In this case, images 205 from different temporal directions can also be used.
  • An improved image 215, which does not contain the object 15, can be generated in the present example by replacing the image region 210.2 of the second image 205.2 with the corresponding image region 210 of the first image 205.1 or of the third image 205.3.
  • the image area 210.3 of the third image 205.3, which contains the object 15, can also be replaced by the corresponding image area of the second image 205.2 (or that of the first image 205.1).
  • the image area 210.1 of the first image 205.1, which contains the object 15, can also be replaced by the corresponding image area of the second image 205.2 (or that of the third image 205.3).
  • the starting point for the improved image 215 is preferably always the latest image 205, ie the latest image 205, and the image region 210 on which the object 1 15 is to be seen is acquired from one or more as soon as possible Images 205 used. This procedure can be performed sequentially, always keeping a predetermined number of old images 205 ready to replace image regions 210 of a current image 205.
  • a series of images 205 may be provided that may represent a sequence of images, an image stream, or a video stream.
  • FIG. 3 shows a flowchart of a method 300 for providing an improved image 215 of an exterior of a motor vehicle 100 in one embodiment.
  • the method 300 may be in whole or in part on the
  • Device 105 are carried out on board the motor vehicle 100 of Figure 1.
  • a first image 205.1 is detected, and then optionally in a step 310, a first image region 210.1 can be determined, which contains the object 1 15 on the first image 205.1.
  • a second image 205.2 is detected in a step 315 and subsequently, in a step 320, a second image region 210.2 is determined which contains the object 1 15 on the second image 205.2.
  • a movement speed of the object 15 can be determined in a step 330.
  • Embodiment to a distance of the object 1 15 is estimated or measured. For this, the size of the object 1 15 can be determined
  • the movement speed can be determined with respect to the camera 125.
  • Movement speed can also be determined with respect to the environment 1 10. For this purpose, in a step 325, a movement speed of
  • Camera 125 can be determined. Both are preferred
  • the movement of the camera 125 may correspond to a movement of the motor vehicle 100, the movement of which, for example, on the basis of a
  • Driving state of the motor vehicle 100 can be determined.
  • the determined movement speed of the object 15 can be compared with a threshold value.
  • the threshold value may be predetermined as absolute or, for example, depending on a movement speed of the motor vehicle 100. In addition, the threshold be dependent on a direction of movement, a size or a distance of the object 1 15.
  • the method 300 may end in a step 340. Otherwise, in a step 345, an image 215 may be provided on which the object 15 is missing. Possible procedures for this purpose are described in more detail in particular with reference to FIG. 2 herein.
  • the particular image 215 may then be provided in a step 350.
  • the providing may be directed by means of the display device 135 to a driver of the motor vehicle 100, or via a device arranged therefor
  • FIG. 4 shows an illustration of a captured image 205 and an improved image 215.
  • a multiplicity of objects 15 are shown as snowflakes in the first image 205 by way of example.
  • the objects 15 are preferably located in the surrounding area 10 and do not adhere to the motor vehicle 100,
  • the objects 15 can have similar sizes, distances, shapes, movement speeds or directions of movement.
  • the objects 1 15 are preferably completely removed from the captured image 205.
  • the enhanced image 215 includes
  • the remaining picture elements, in particular the objects 120, may be relevant for controlling the
  • Reference numeral 100 Motor vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren (300) umfasst Schritte des Erfassens eines ersten Bildes (205.1) und des Erfassens eines zweiten Bildes (205.2) mit einem vorbestimmten Zeitabstand in einem vorbestimmten Umfeld (110), wobei auf dem ersten Bild (205.1) ein Objekt (115) in einem ersten Bildbereich (210.1) und auf dem zweiten Bild (205.2) das Objekt (115) in einem zweiten Bildbereich (210.2) abgebildet ist; des Bestimmens (330) einer Bewegungsgeschwindigkeit des Objekts (115) auf der Basis von Lagen der Bildbereiche (210) in den Bildern (205) und des Zeitabstands (Δt); des Bestimmens (335), ob die Bewegungsgeschwindigkeit einen vorbestimmten Schwellenwert übersteigt, und wenn das der Fall ist, des Bestimmens (345) eines dritten Bildes (215) auf der Basis des ersten und des zweiten Bildes (205.1, 205.2), wobei das Objekt (110) auf dem dritten Bild (215) fehlt; sowie des Bereitstellens (350) des dritten Bildes (215).

Description

Verbesserte Ansicht eines Kraftfahrzeugumfelds
Die Erfindung betrifft ein Verfahren, eine Vorrichtung und ein Kraftfahrzeug, jeweils zur Bereitstellung einer verbesserten Ansicht eines Kraftfahrzeugumfelds. Insbesondere betrifft die Erfindung die Verarbeitung von Bildern von Ansichten des Kraftfahrzeugumfelds.
Ein Kraftfahrzeug ist durch einen Fahrer steuerbar, der durch eine Frontscheibe Ausblick auf ein vor dem Kraftfahrzeug liegendes Umfeld hat. Für ein sicheres Führen des Kraftfahrzeugs ist es unerlässlich, dass der Fahrer rasch und mühelos einen realistischen Eindruck des Umfelds erhält. Bei starkem Regen oder Schneefall ist das Bild des Umfelds für den Fahrer getrübt. Einerseits verdeckt jeder Regentropfen und jede Schneeflocke einen Teil des relevanten Bildes, andererseits ist der menschliche Sehapparat dazu eingerichtet, ein sich bewegendes Objekt in bestimmten Bereichen des Sichtfelds als stark ablenkend zu empfinden. Der Fahrer kann dadurch eine Fahr- oder Verkehrssituation weniger gut optisch erkennen, sodass eine Fahrsicherheit verringert sein kann.
Eine der Erfindung zu Grunde liegende Aufgabe besteht darin, eine verbesserte Ansicht eines Kraftfahrzeugumfelds bereitzustellen. Die Erfindung löst diese
Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
Nach einem ersten Aspekt der Erfindung umfasst ein Verfahren Schritte des Erfassens eines ersten Bildes und des Erfassens eines zweiten Bildes mit einem vorbestimmten Zeitabstand in einem vorbestimmten Umfeld, wobei auf dem ersten Bild ein Objekt in einem ersten Bildbereich und auf dem zweiten Bild das Objekt in einem zweiten Bildbereich abgebildet ist; des Bestimmens einer Bewegungsgeschwindigkeit des Objekts auf der Basis von Lagen der
Bildbereiche in den Bildern und des Zeitabstands; des Bestimmens, ob die
Bewegungsgeschwindigkeit einen vorbestimmten Schwellenwert übersteigt, und wenn das der Fall ist, des Bestimmens eines dritten Bildes auf der Basis des ersten und des zweiten Bildes, wobei das Objekt auf dem dritten Bild fehlt; sowie des Bereitstellens des dritten Bildes. Das Objekt kann auf dem dritten Bild ausgeblendet sein, sodass ein anderes Objekt des Umfelds auf dem dritten Bild verbessert optisch erkennbar sein kann. Das andere Objekt kann aufgrund seiner niedrigeren Bewegungsgeschwindigkeit relevanter für das Führen des Kraftfahrzeugs sein. Das dritte Bild kann einem Fahrer des Kraftfahrzeugs dargeboten werden, sodass dieser das Umfeld ohne das Objekt sehen kann. Der Fahrer kann dadurch verbessert in die Lage versetzt werden, das Kraftfahrzeug sicher zu führen. Alternativ kann das dritte Bild auch beispielsweise für eine spätere Ansicht oder Analyse archiviert werden. Ferner kann das dritte Bild auch automatisch verarbeitet werden, beispielsweise durch einen Fahrassistenten, der in Abhängigkeit des dritten Bildes eine Längsund/oder Quersteuerung des Kraftfahrzeugs beeinflussen kann.
Das Bereitstellen des dritten Bildes kann ein Ersetzen des Bildbereichs des ersten oder des zweiten Bilds durch einen korrespondierenden Bildbereich des jeweils anderen Bildes umfassen. Zueinander korrespondierende Bildbereiche haben in den ihnen zugeordneten Bildern allgemein gleiche Lagen. Bildbereiche des Objekts auf dem ersten und dem zweiten Bild sind idealerweise disjunkt, überschneiden einander also nicht. Beispielsweise kann der zweite Bildbereich im zweiten Bild durch den korrespondierenden Bildbereich des ersten Bildes ersetzt werden, wobei der korrespondierende Bildbereich das Objekt nicht enthält. Dadurch kann ein drittes Bild bestimmt werden, welches das Objekt nicht enthält, ansonsten aber dem zweiten Bild entspricht und so trotzdem eine geschlossene Ansicht des Umfelds darstellen kann. In entsprechender Weise kann auch der erste Bildbereich des ersten Bildes durch einen
korrespondierenden Bildbereich des zweiten Bildes ersetzt werden. Kleine
Unregelmäßigkeiten an einem Übergang zwischen dem ersetzten Teil und dem restlichen Bild können den Gesamteindruck des dritten Bildes kaum stören.
In einer weiteren Ausführungsform kann auch eine Serie von Bildern erfasst werden, wobei die Bewegungsgeschwindigkeit auf der Basis eines beliebigen
Paars zeitlich beabstandet erfasster Bilder bestimmt werden kann und das Ersetzen eines Bildbereichs, welcher das Objekt enthält, mittels
korrespondierender Bildbereiche eines oder mehrerer anderer Bilder erfolgt. Anders ausgedrückt können Teile des Bildbereichs, welcher das Objekt enthält, aus anderen Bildern übernommen werden. Dadurch können auch Bilder verwendet werden, deren Bildbereiche, auf denen das Objekt jeweils sichtbar ist, bzw. deren Lagen im jeweiligen Bild, nur teilweise voneinander verschieden sind.
Die Bilder können mittels einer Kamera aufgenommen werden, die durch das Umfeld bewegt wird, wobei der Schwellenwert auf der Basis einer
Bewegungsgeschwindigkeit der Kamera bestimmt wird. Je schneller die Kamera bewegt wird, desto schneller scheint sich ein anderes Objekt zu bewegen, das für das Führen des Kraftfahrzeugs relevant ist, beispielsweise ein Verkehrsschild, ein Hindernis, eine Fahrbahnmarkierung oder ein anderer Verkehrsteilnehmer. Mit steigender Bewegungsgeschwindigkeit kann auch der Schwellenwert gesteigert werden, sodass relevante Objekte stets im dritten Bild erhalten bleiben können.
Die Bewegungsgeschwindigkeit des Objekts kann bezüglich des Umfelds bestimmt werden, durch welche die Kamera bewegt wird. Dadurch kann unabhängig von einer Bewegungsgeschwindigkeit oder Bewegungsrichtung der Kamera verbessert bestimmt werden, ob das Objekt relevant ist oder nicht.
Beispielsweise kann ein in gleicher Richtung und Geschwindigkeit wie die Kamera bewegtes Objekt aufgrund seiner Geschwindigkeit bezüglich des Umfelds als relevant beurteilt werden, beispielsweise ein langsam überholendes anderes Kraftfahrzeug. Ein solches Objekt kann im dritten Bild erhalten bleiben, auch wenn seine Bewegungsgeschwindigkeit bezüglich der Kamera gering ist.
Der Schwellenwert kann auf der Basis einer Bewegungsrichtung des Objekts bestimmt werden. Beispielsweise kann der Schwellenwert für ein sich horizontal bewegendes Objekt höher als für ein sich vertikal bewegendes Objekt sein. So können beispielsweise fallende Objekte verbessert aus dem dritten Bild entfernt werden.
Das Objekt kann Teil eines meteorologischen Niederschlags sein. Flüssiger Niederschlag kann beispielsweise Regen, Eisregen oder Wassertropfen umfassen, wobei das Objekt einen Regentropfen oder ein Eiskorn umfassen kann; fester Niederschlag kann etwa Schnee, Graupel, Hagel, Schneegriesel oder Eiskorn umfassen, wobei das Objekt insbesondere eine entsprechende Erscheinungsform von Wasser umfassen kann. Ein von Niederschlag umfasstes Objekt kann einer charakteristischen Bewegung folgen, insbesondere einer Fallbewegung, die von einer Luftströmung beeinflusst sein kann. Derartige Objekte können auch anhand zusätzlicher Kriterien ausgeblendet werden, beispielsweise aufgrund der Gleichförmigkeit ihrer Bewegungen, ihrer Farbe, Form oder Größe.
Im ersten und im zweiten Bild können jeweils eine Vielzahl Objekte abgebildet sein und das dritte Bild kann ohne die Objekte bereitgestellt werden.
Beispielsweise bei Schneefall oder starkem Regen kann so eine wesentlich verbesserte Ansicht des Umfelds im dritten Bild bereitgestellt sein. Das
Kraftfahrzeug kann durch einen menschlichen Fahrer oder eine
Steuerungsautomatik (auch bekannt als Fahrassistent) mit verbessertem
Weitblick sicherer gesteuert werden.
Nach einem zweiten Aspekt der Erfindung umfasst eine Vorrichtung
an Bord eines Kraftfahrzeugs eine Kamera zur Erfassung von Bildern eines Außenbereichs des Kraftfahrzeugs; eine Verarbeitungseinrichtung; und eine Ausgabevorrichtung. Die Verarbeitungseinrichtung ist dazu eingerichtet, auf der Basis eines ersten Bildes und eines zweiten Bildes, wobei auf dem ersten Bild ein Objekt in einem ersten Bildbereich und auf dem zweiten Bild das Objekt in einem zweiten Bildbereich abgebildet ist; und einem vorbestimmten Zeitabstand, mit dem das erste und das zweite Bild erfasst wurden, eine Bewegungsgeschwindigkeit des Objekts zu bestimmen; zu bestimmen, ob die
Bewegungsgeschwindigkeit einen vorbestimmten Schwellenwert übersteigt, und wenn das der Fall ist, auf der Basis des ersten und des zweiten Bildes ein drittes Bild bereitzustellen, wobei das Objekt auf dem dritten Bild nicht abgebildet ist. Die Ausgabevorrichtung ist zur Bereitstellung des dritten Bildes eingerichtet und bevorzugt optisch oder als Datenschnittstelle ausgeführt.
Die Kamera kann Teil eines Umfeldbeobachtungssystems des Kraftfahrzeugs sein. Das Umfeldbeobachtungssystem kann eine oder mehrere Kameras in unterschiedlichen Perspektiven, Auflösungen, Brennweiten oder
Wellenlängenbereichen umfassen. Das erste und/oder das zweite Bild können auch auf der Basis mehrerer Kameras oder eines anderen optischen Sensors des Umfeldbeobachtungssystems bereitgestellt sein. Die Ausgabevorrichtung kann insbesondere eines von einem Head-Up-Display, einem Kombiinstrument und einer zentralen Anzeigevorrichtung des
Kraftfahrzeugs umfassen. Das Head-Up-Display kann das dritte Bild in einen Wahrnehmungsbereich eines Fahrers des Kraftfahrzeugs einspiegeln, sodass dieser sowohl das unveränderte als auch das veränderte dritte Bild wahrnehmen kann, ohne seinen Blickwinkel zu verändern. Das Kombiinstrument kann dazu eingerichtet sein, bestimmte Parameter des Kraftfahrzeugs anzuzeigen, insbesondere eine Fahrgeschwindigkeit und den Zustand bestimmter
Beleuchtungseinrichtungen des Kraftfahrzeugs. Ein Darstellungsbereich des Kombiinstruments ist üblicherweise relativ beschränkt. Die zentrale
Anzeigevorrichtung kann in einer Konsole des Kraftfahrzeugs, beispielsweise zwischen Fahrer und Beifahrer, angeordnet sein und ist bevorzugt dazu eingerichtet, eine zusätzliche Funktion des Kraftfahrzeugs zu unterstützen, beispielsweise ein Navigationssystem, ein Unterhaltungssystem oder eine Klimaanlage.
Die Vorrichtung kann einen Niederschlagssensor oder eine Schnittstelle zu einem Niederschlagssensor umfassen, wobei die Vorrichtung dazu eingerichtet ist, die Bereitstellung des dritten Bildes in Abhängigkeit eines
Niederschlagssignals des Niederschlagssensors durchzuführen. Meldet der Niederschlagssensor einen Niederschlag, so kann das dritte Bild automatisch generiert werden. Ist die Vorrichtung aktiv, so generiert sie bevorzugt eine Serie von dritten Bildern, der als bewegtes Bild wahrgenommen werden kann. Eine Verzögerungszeit zwischen der Erfassung eines ersten oder zweiten Bildes und der Bereitstellung des auf diesem Bild basierenden dritten Bildes ist dabei bevorzugt begrenzt und kann beispielsweise nicht mehr als einige, einige zehn oder einige hundert Millisekunden betragen.
Nach einem dritten Aspekt der Erfindung umfasst ein Kraftfahrzeug eine hierin beschriebene Vorrichtung. Das Kraftfahrzeug kann verbessert gesteuert werden, auch wenn die Sicht auf ein Umfeld durch eines oder mehrere sich rasch bewegende Objekte gestört ist.
Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen: Fig. 1 ein Kraftfahrzeug mit einer Vorrichtung zur Bereitstellung eines verbesserten Bildes eines Au ßenbereichs;
Fig. 2 eine Veranschaulichung der Verarbeitung von Bildern im Umfeld eines Kraftfahrzeugs;
Fig. 3 ein Ablaufdiagramm eines Verfahrens zum Bereitstellen eines verbesserten Bildes eines Au ßenbereichs eines Kraftfahrzeugs; und
Fig. 4 eine Veranschaulichung eines aufgenommenen und eines
verbesserten Bildes illustriert.
Figur 1 zeigt ein Kraftfahrzeug 100 mit einer Vorrichtung 105 zur Bereitstellung eines verbesserten Bildes eines Au ßenbereichs 1 10. Im Außenbereich 1 10 befinden sich eines oder mehrere Objekte 1 15, sowie optional eines oder mehrere weitere Objekte 120. Bewegungsrichtungen und Bewegungsgeschwindigkeiten der Objekte 1 15 sind jeweils durch einen Pfeil angedeutet. Das weitere Objekt 120 wird exemplarisch als stillstehend angenommen.
Einige Objekte 120 können relevant für das Steuern des Kraftfahrzeugs 100 sein, während andere Objekte 1 15 lediglich die Sicht reduzieren oder ablenkend wirken können. Irrelevante Objekte 1 15 können insbesondere meteorologischen Niederschlag wie Regen oder Schnee umfassen. Relevante Objekte 120 können beispielsweise ein anderes Kraftfahrzeug, eine Person, eine Bebauung, eine Straßenmarkierung, eine Vegetation, ein Verkehrsschild oder ein Hindernis umfassen. Um das Kraftfahrzeug 100 verbessert in Abhängigkeit eines Bildes des Außenbereichs 1 10 steuern zu können, wird vorgeschlagen, ein Bild des Außenbereichs 1 10 bereitzustellen, auf dem zumindest ein irrelevantes Objekt 1 15 nicht dargestellt ist. Relevante Objekte 120 sollen hingegen auf dem Bild möglichst unverändert dargestellt sein.
Eine Unterscheidung zwischen einem relevanten Objekt 120 und einem irrelevanten Objekt 1 15 kann auf der Basis einer Bewegungsgeschwindigkeit des Objekts 1 1 5, 120 getroffen werden. Die Bewegungsgeschwindigkeit kann bezüglich der Umgebung 1 10 oder bezüglich des Kraftfahrzeugs 100 bestimmt werden. In einer Ausführungsform umfasst die Bewegungsgeschwindigkeit auch eine Bewegungsrichtung des Objekts 1 15, 120. Übersteigt die Bewegungsgeschwindigkeit einen vorbestimmten Schwellenwert, so kann von einem irrelevanten Objekt 1 1 5 ausgegangen werden, andernfalls kann es sich um ein relevantes Objekt 120 handeln.
Die Vorrichtung 105 ist an Bord des Kraftfahrzeugs 100 angebracht und kann eine oder mehrere Komponenten umfassen, die bereits aus anderen Gründen oder zu anderen Zwecken am Kraftfahrzeug 100 eingesetzt werden. Die
Vorrichtung 105 umfasst bevorzugt eine Kamera 125 zur Abtastung des Umfelds 1 10, eine Verarbeitungseinrichtung 130, sowie eine Ausgabevorrichtung 135.
Optional kann auch ein Niederschlagssensor 140 vorgesehen sein. Die Kamera 125 arbeitet bevorzugt im sichtbaren optischen Spektrum und ist außerdem bevorzugt zumindest im Wesentlichen in Fahrtrichtung des Kraftfahrzeugs 100 ausgerichtet. Die Verarbeitungseinrichtung 130 umfasst bevorzugt einen programmierbaren Mikrocomputer oder MikroController und kann dazu
eingerichtet sein, ein hierin beschriebenes Verfahren ganz oder teilweise auszuführen. Das Verfahren kann hierfür in Form eines
Computerprogrammprodukts mit Programmcodemitteln vorliegen.
Die Ausgabevorrichtung 135 kann insbesondere einen Bildschirm umfassen, der Teil eines Kombiinstruments oder einer zentralen Anzeigevorrichtung des Kraftfahrzeugs sein kann. Die Ausgabevorrichtung 135 ist insbesondere zur Information eines Fahrers des Kraftfahrzeugs 100 eingerichtet. In einer weiter bevorzugten Ausführungsform umfasst die Ausgabevorrichtung 135 ein Head- Up-Display, das dazu eingerichtet ist, ein Bild in einen optischen
Erfassungsbereich des Fahrers einzuspiegeln, wobei es ein optisch unmittelbar wahrnehmbares Bild des Umfelds 1 10 überlagern oder überdecken kann. In einer weiteren Ausführungsform wird das bereitgestellte Bild an eine weitere
Verarbeitungseinrichtung bereitgestellt, die beispielsweise eine
Fahrassistenzfunktion des Kraftfahrzeugs 100 realisieren kann.
Die Vorrichtung 105 kann insbesondere dazu eingerichtet sein, ein Bild bereitzustellen, auf dem Objekte 1 15 fehlen, die Teile eines meteorologischen Niederschlags sind, also beispielsweise Regen oder Schnee. Zur automatischen Aktivierung der Vorrichtung 105 kann das Signal des Niederschlagssensors 140 ausgewertet werden. Der Niederschlagssensor 140 kann beispielsweise optisch oder akustisch arbeiten und dazu eingerichtet sein, Niederschlag 1 15 zu detektieren, der an einer Scheibe des Kraftfahrzeugs 100, insbesondere einer Frontscheibe, angelagert oder abgelagert ist oder von der Scheibe abfließt.
Figur 2 zeigt eine Veranschaulichung der Verarbeitung von Bildern im Umfeld 1 10 eines Kraftfahrzeugs 100. In vertikaler Richtung ist eine Zeit dargestellt, die von oben nach unten verläuft. Zu Zeitpunkten ti , t2, und ta wird jeweils ein Bild 205 aus dem Umfeld 1 10 des Kraftfahrzeugs 100 abgetastet, beispielsweise mittels der Kamera 125. Zwischen benachbarten Zeitpunkten t liegt jeweils ein Zeitabstand At, wobei die Zeitabstände At bevorzugt gleich groß sind. Die in Figur 2 dargestellten Bilder 205 sind mit angehängten Suffixes 1 - 3 referenziert, wobei der Suffix jeweils dem Index des Zeitpunkts t, der Erfassung entspricht. Jedem Bild 205 ist ein Bildbereich 210 zugeordnet, wobei die gleiche Nomenklatur mit Suffixes verwendet wird. Ein erster Bildbereich 201 .1 liegt im ersten Bild 205.1 und so weiter.
Das Objekt 1 15 ist zur leichteren Verständlichkeit als Quadrat mit dem
Buchstaben A dargestellt, wobei sich das Objekt 1 15 über die Bilder 205.1 bis 205.3 beispielhaft diagonal von links oben nach rechts unten bewegt. Im Bild 205.1 befindet sich das Objekt 1 15 im ersten Bildbereich 210.1 , im Bild 205.2 befindet es sich im zweiten Bildbereich 210.2 und im Bild 205.3 im dritten
Bildbereich 210.3. Bei gleicher Perspektive der Bilder 205 haben die Bildbereiche 210 in den zugeordneten Bildern 205 unterschiedliche Lagen.
Ein Bildbereich 210 umfasst bevorzugt einen möglichst kleinen Ausschnitt eines zugeordneten Bildes 205 und dabei möglichst vollständig ein vorbestimmtes Objekt 210, das auf dem Bild 205 abgebildet ist. Anders ausgedrückt kann ein Bildbereich 210 alle zusammenhängenden Bildelemente („pixel") eines Bildes 205 umfassen, die dem Objekt 1 15 zugeordnet sind. Der Bildbereich 210 hat bevorzugt rechteckige Form, kann aber auch anders geformt sein, beispielsweise rund, oval oder auch unregelmäßig.
Eine Bewegungsgeschwindigkeit des Objekts 1 15 kann bestimmt werden, indem der Quotient aus Ortsdifferenz des Objekts 1 15 (oder des zugeordneten
Bildbereichs 210) in zwei Bildern 205 und des Zeitabstands (der Zeitdifferenz) der Erfassungen der Bilder 205 bestimmt wird. Für diese Bestimmung kann es erforderlich sein, die Entfernung und/oder Größe des Objekts 1 15 zu bestimmen. Außerdem kann eine Bewegung der Kamera 125 zwischen
Erfassungszeitpunkten der Bilder 205 zu berücksichtigen sein. Liegt die
Bewegungsgeschwindigkeit des Objekts 1 15 über einem vorbestimmten
Schwellenwert, so kann ein Bild 215 bereitgestellt werden, welches das Objekt 1 15 nicht umfasst. Dazu kann in einem der Bilder 205 derjenige Bildbereich 210, auf dem das Objekt 1 15 zu sehen ist, durch einen korrespondierenden
Bildbereich 210 eines anderen Bildes 205 ersetzt werden, dessen
Erfassungszeitpunkt bevorzugt in einem geringen zeitlichen Abstand At zum Erfassungszeitpunkt des vorliegenden Bilds 205 liegt. Der korrespondierende Bildbereich 210 liegt bevorzugt im anderen Bild 205 an der gleichen Stelle wie der Bildbereich 210 im Bild 205. Gebogene Pfeile in Figur 2 zeigen mögliche Ersetzungen zwischen zeitlich benachbarten Bildern 205 an. Es ist zu beachten dass eine Ersetzung in beiden zeitlichen Richtungen erfolgen kann. In weiteren Ausführungsformen kann auch eine Ersetzung eines Bildbereichs 210 aus einem zeitlich weiter entfernten Bild 205 erfolgen oder mehrere Teile eines Bildbereichs 210 können aus jeweils korrespondierenden Teilen von Bildbereichen 210 mehrerer anderer Bilder 205 ersetzt werden. Hierbei können auch Bilder 205 aus unterschiedlichen zeitlichen Richtungen verwendet werden.
Ein verbessertes Bild 215, welches das Objekt 1 15 nicht enthält, kann im vorliegenden Beispiel dadurch erzeugt werden, dass der Bildbereich 210.2 des zweiten Bildes 205.2 durch den dazu korrespondierenden Bildbereich 210 des ersten Bildes 205.1 oder des dritten Bildes 205.3 ersetzt wird. Alternativ kann auch der Bildbereich 210.3 des dritten Bildes 205.3, der das Objekt 1 15 enthält, durch den korrespondierenden Bildbereich des zweiten Bildes 205.2 (oder den des ersten Bildes 205.1 ) ersetzt werden. In noch einer Variante kann auch der Bildbereich 210.1 des ersten Bildes 205.1 , der das Objekt 1 15 enthält, durch den korrespondierenden Bildbereich des zweiten Bildes 205.2 (oder den des dritten Bildes 205.3) ersetzt werden.
Bevorzugt dient als Ausgangsbasis für das verbesserte Bild 215 stets das zeitlich letzte, also neueste Bild 205, und der Bildbereich 210, auf dem das Objekt 1 15 zu sehen ist, wird aus einem oder mehreren möglichst zeitnah zuvor erfassten Bildern 205 eingesetzt. Diese Vorgehensweise kann sequentiell durchgeführt werden, wobei stets eine vorbestimmte Anzahl alter Bilder 205 bereitgehalten werden, um Bildbereiche 210 eines aktuellen Bilds 205 zu ersetzen. So kann eine Serie von Bildern 205 bereitgestellt werden, die eine Bildersequenz, einen Bilddatenstrom oder einen Videodatenstrom repräsentieren kann.
Figur 3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum Bereitstellen eines verbesserten Bildes 215 eines Außenbereichs eines Kraftfahrzeugs 100 in einer Ausführungsform. Das Verfahren 300 kann ganz oder in Teilen auf der
Vorrichtung 105 an Bord des Kraftfahrzeugs 100 aus Figur 1 ausgeführt werden.
In einem Schritt 305 wird ein erstes Bild 205.1 erfasst und anschließend kann optional in einem Schritt 310 ein erster Bildbereich 210.1 bestimmt werden, der auf dem ersten Bild 205.1 das Objekt 1 15 enthält. Nach einem vorbestimmten Zeitabstand wird in einem Schritt 315 ein zweites Bild 205.2 erfasst und anschließend wird in einem Schritt 320 ein zweiter Bildbereich 210.2 bestimmt, der auf dem zweiten Bild 205.2 das Objekt 1 15 enthält.
Auf der Basis der Bildbereiche 210.1 und 210.2 kann in einem Schritt 330 eine Bewegungsgeschwindigkeit des Objekts 1 15 bestimmt werden. In einer
Ausführungsform wird dazu eine Entfernung des Objekts 1 15 geschätzt oder gemessen. Dazu kann die Größe des Objekts 1 15 bestimmt werden,
beispielsweise durch eine Objekterkennung. Die Bewegungsgeschwindigkeit kann bezüglich der Kamera 125 bestimmt werden. Die
Bewegungsgeschwindigkeit kann auch bezüglich der Umgebung 1 10 bestimmt werden. Dazu kann in einem Schritt 325 eine Bewegungsgeschwindigkeit der
Kamera 125 bestimmt werden. Bevorzugt werden beide
Bewegungsgeschwindigkeiten zusammen mit Bewegungsrichtungen bestimmt.
Die Bewegung der Kamera 125 kann einer Bewegung des Kraftfahrzeugs 100 entsprechen, dessen Bewegung beispielsweise auf der Basis eines
Fahrzustands des Kraftfahrzeugs 100 bestimmt werden kann.
In einem Schritt 335 kann die bestimmte Bewegungsgeschwindigkeit des Objekts 1 15 mit einem Schwellenwert verglichen werden. Der Schwellenwert kann als absolut oder beispielsweise in Abhängigkeit einer Bewegungsgeschwindigkeit des Kraftfahrzeugs 100 vorbestimmt sein. Außerdem kann der Schwellenwert von einer Bewegungsrichtung, einer Größe oder einer Entfernung des Objekts 1 15 abhängig sein.
Bewegt sich das Objekt 1 15 langsamer als vorgegeben, kann das Verfahren 300 in einem Schritt 340 enden. Andernfalls kann in einem Schritt 345 ein Bild 215 bereitgestellt werden, auf dem das Objekt 1 15 fehlt. Mögliche Vorgehensweisen hierzu sind insbesondere mit Bezug auf Figur 2 hierin noch genauer beschrieben. Das bestimmte Bild 215 kann dann in einem Schritt 350 bereitgestellt werden. Das Bereitstellen kann mittels der Anzeigevorrichtung 135 an einen Fahrer des Kraftfahrzeugs 100 gerichtet sein, oder über eine hierzu eingerichtete
Schnittstelle an eine weitere Steuer-, Speicher- oder Verarbeitungseinrichtung.
Figur 4 zeigt eine Veranschaulichung eines aufgenommenen Bildes 205 und eines verbesserten Bildes 215. Eine Vielzahl Objekte 1 15 sind im ersten Bild 205 beispielhaft als Schneeflocken dargestellt. Dabei befinden sich die Objekte 1 15 bevorzugt im Umfeld 1 10 und haften nicht am Kraftfahrzeug 100 an,
beispielsweise an einer Scheibe oder einer Kameraabdeckung. Die Objekte 1 15 können ähnliche Größen, Entfernungen, Formen, Bewegungsgeschwindigkeiten oder Bewegungsrichtungen aufweisen.
Im verbesserten Bild 215 sind die Objekte 1 15 bevorzugt vollständig aus dem aufgenommenen Bild 205 entfernt. Das verbesserte Bild 215 umfasst
idealerweise nur noch Objekte 120, deren Bewegungsgeschwindigkeiten unter dem vorbestimmten Schwellenwert liegen. Die verbleibenden Bildelemente, insbesondere die Objekte 120, können relevant für das Steuern des
Kraftfahrzeugs 100 sein.
Bezugszeichen 100 Kraftfahrzeug
105 Vorrichtung
1 10 Außenbereich
1 15 Objekt
120 weiteres Objekt
125 Kamera
130 Verarbeitungseinrichtung
135 Ausgabevorrichtung
140 Niederschlagssensor 205 Bild
205.1 erstes Bild
205.2 zweites Bild
205.3 drittes Bild
210 Bildbereich
210.1 Bildbereich des ersten Bildes
210.2 Bildbereich des zweiten Bildes
210.3 Bildbereich des dritten Bildes
215 verbessertes Bild 300 Verfahren
305 Erfassen erstes Bild
310 Bestimmen ersten Bildbereich mit Objekt
315 Erfassen zweites Bild
320 Bestimmen zweiten Bildbereich mit Objekt
325 Bestimmen Bewegungsgeschwindigkeit Kamera
330 Bestimmen Bewegungsgeschwindigkeit Objekt
335 Bewegungsgeschwindigkeit des Objekts > Schwellenwert?
340 Ende
345 Bestimmen drittes Bild
350 Bereitstellen drittes Bild

Claims

Ansprüche
Verfahren (300), mit folgenden Schritten:
- Erfassen (305) eines ersten Bildes (205.1 ) und Erfassen (310) eines
zweiten Bildes (205.2) mit einem vorbestimmten Zeitabstand (At) in einem vorbestimmten Umfeld (1 10),
- wobei auf dem ersten Bild (205.1 ) ein Objekt (1 15) in einem ersten
Bildbereich (210.1 ) und auf dem zweiten Bild (205.2) das Objekt (1 15) in einem zweiten Bildbereich (210.2) abgebildet ist;
- Bestimmen (330) einer Bewegungsgeschwindigkeit des Objekts (1 15) auf der Basis von Lagen der Bildbereiche (210) in den Bildern (205) und des Zeitabstands (At);
- Bestimmen (335), ob die Bewegungsgeschwindigkeit einen vorbestimmten Schwellenwert übersteigt, und wenn das der Fall ist,
- Bestimmen (345) eines dritten Bildes (215) auf der Basis des ersten und des zweiten Bildes (205.1 , 205.2), wobei das Objekt (1 15) auf dem dritten Bild (215) fehlt; und
- Bereitstellen (350) des dritten Bildes (215).
Verfahren (300) nach Anspruch 1 , wobei das Bereitstellen des dritten Bildes (215) ein Ersetzen des Bildbereichs (210) des ersten Bilds (205.1 ) oder des zweiten Bilds (205.2) durch einen korrespondierenden Bildbereich (210) des jeweils anderen Bildes (205) umfasst.
Verfahren (300) nach Anspruch 1 oder 2, wobei die Bilder (205) mittels einer Kamera (125) aufgenommen werden, die durch das Umfeld (1 10) bewegt wird, und wobei der Schwellenwert auf der Basis einer
Bewegungsgeschwindigkeit der Kamera (125) bestimmt wird.
Verfahren (300) nach Anspruch 3, wobei die Bewegungsgeschwindigkeit des Objekts (1 15) bezüglich des Umfelds (1 10) bestimmt wird, durch welche die Kamera (125) bewegt wird. Verfahren (300) nach einem der vorangehenden Ansprüche, wobei der Schwellenwert auf der Basis einer Bewegungsrichtung des Objekts (1 15) bestimmt wird.
Verfahren (300) nach einem der vorangehenden Ansprüche, wobei das Objekt (1 15) Teil eines meteorologischen Niederschlags ist.
Verfahren (300) nach einem der vorangehenden Ansprüche, wobei im ersten und im zweiten Bild (205.1 , 205.2) eine Vielzahl Objekte (1 15) abgebildet sind und das dritte Bild (215) ohne die Objekte (1 15) bereitgestellt wird.
Verfahren (300) nach einem der vorangehenden Ansprüche, wobei das erste und das zweite Bild (205.1 , 205.2) an Bord eines Kraftfahrzeugs (100) erfasst werden und das dritte Bild (215) einem Fahrer des Kraftfahrzeugs (100) bereitgestellt (350) wird.
Vorrichtung (105) an Bord eines Kraftfahrzeugs (100), wobei die Vorrichtung (105) folgendes umfasst:
- eine Kamera (125) zur Erfassung von Bildern eines Außenbereichs des Kraftfahrzeugs (100);
- eine Verarbeitungseinrichtung (130), die dazu eingerichtet ist:
o auf der Basis eines ersten Bildes (205.1 ) und eines zweiten Bildes
(205.2) eines vorbestimmten Umfelds (1 10),
o wobei auf dem ersten Bild (205.1 ) ein Objekt (1 15) in einem ersten
Bildbereich (210.1 ) und auf dem zweiten Bild (205.2) das Objekt
(1 1 5) in einem zweiten Bildbereich (210.2) abgebildet ist; o und einem vorbestimmten Zeitabstand (At), mit dem das erste und das zweite Bild (205.1 , 205.2) erfasst wurden,
o eine Bewegungsgeschwindigkeit des Objekts (1 15) zu bestimmen; o zu bestimmen, ob die Bewegungsgeschwindigkeit einen
vorbestimmten Schwellenwert übersteigt, und wenn das der Fall ist, o auf der Basis des ersten und des zweiten Bildes (205.1 , 205.2) ein drittes Bild (215) bereitzustellen, wobei das Objekt (1 15) auf dem dritten Bild (215) fehlt;
- eine Ausgabevorrichtung (135) zur Bereitstellung des dritten Bildes (215).
10. Vorrichtung (105) nach Anspruch 9, wobei die Kamera Teil eines
Umfeldbeobachtungssystems des Kraftfahrzeugs (100) ist.
1 1 . Vorrichtung (105) nach Anspruch 9 oder 10, wobei die Ausgabevorrichtung eines von einem Head-Up-Display, einem Kombiinstrument und einer zentralen Anzeigevorrichtung des Kraftfahrzeugs (100) umfasst.
12. Vorrichtung (105) nach einem der Ansprüche 9 bis 1 1 , ferner umfassend einen Niederschlagssensor (140), wobei die Vorrichtung (105) dazu eingerichtet ist, die Bereitstellung des dritten Bildes (215) in Abhängigkeit eines Niederschlagssignals des Niederschlagssensors (140) durchzuführen.
13. Kraftfahrzeug (100) mit einer Vorrichtung (105) nach einem der Ansprüche 9 bis 12.
PCT/EP2018/076161 2017-10-09 2018-09-26 Verbesserte ansicht eines kraftfahrzeugumfelds WO2019072570A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017217872.8 2017-10-09
DE102017217872.8A DE102017217872A1 (de) 2017-10-09 2017-10-09 Verbesserte Ansicht eines Kraftfahrzeugumfelds

Publications (1)

Publication Number Publication Date
WO2019072570A1 true WO2019072570A1 (de) 2019-04-18

Family

ID=63833970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/076161 WO2019072570A1 (de) 2017-10-09 2018-09-26 Verbesserte ansicht eines kraftfahrzeugumfelds

Country Status (2)

Country Link
DE (1) DE102017217872A1 (de)
WO (1) WO2019072570A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019133719A1 (de) * 2019-12-10 2021-06-10 Bayerische Motoren Werke Aktiengesellschaft Korrigieren eines Bilds
DE102022214289A1 (de) 2022-12-22 2024-06-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Reduktion von Bildartefakten in einer Anzeige der Umgebung eines Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7660517B2 (en) * 2005-03-16 2010-02-09 The Trustees Of Columbia University In The City Of New York Systems and methods for reducing rain effects in images
US9077869B2 (en) * 2010-11-15 2015-07-07 Indian Institute Of Technology, Kharagpur Method and apparatus for detection and removal of rain from videos using temporal and spatiotemporal properties

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GARG K ET AL: "Detection and removal of rain from videos", PROCEEDINGS OF THE 2004 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 27 JUNE-2 JULY 2004 WASHINGTON, DC, USA, IEEE, PROCEEDINGS OF THE 2004 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION IEE, vol. 1, 27 June 2004 (2004-06-27), pages 528 - 535, XP010708612, ISBN: 978-0-7695-2158-9, DOI: 10.1109/CVPR.2004.1315077 *
MATHEW ANNA ET AL: "An analytical approach on Haze and rain removal from videos", 2016 INTERNATIONAL CONFERENCE ON EMERGING TECHNOLOGICAL TRENDS (ICETT), IEEE, 21 October 2016 (2016-10-21), pages 1 - 4, XP033074743, DOI: 10.1109/ICETT.2016.7873757 *
SHAODI YOU ET AL: "Raindrop Detection and Removal from Long Range Trajectories", COMPUTER VISION -- ACCV 2014, 16 April 2015 (2015-04-16), Cham, pages 569 - 585, XP055530839, ISBN: 978-3-319-16808-1, Retrieved from the Internet <URL:https://link.springer.com/content/pdf/10.1007/978-3-319-16808-1_38.pdf> [retrieved on 20181206], DOI: 10.1007/978-3-319-16808-1_38 *

Also Published As

Publication number Publication date
DE102017217872A1 (de) 2019-04-11

Similar Documents

Publication Publication Date Title
EP1928687B1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
EP2427855B1 (de) Verfahren zur darstellung von objekten aus der umgebung eines fahrzeugs auf der anzeige einer anzeigevorrichtung
EP3394708B1 (de) Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
DE102010030044A1 (de) Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder und Fahrerunterstützungssystem hiermit
DE102005056616B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE112014000591T5 (de) Aufmerksamkeitsgrad-Erfassungsgerät und Aufmerksamkeitsgrad-Erfassungsverfahren
EP2766877A1 (de) Verfahren zur darstellung eines fahrzeugumfeldes
DE112013001424T5 (de) Objekterkennungsvorrichtung
DE102006009566A1 (de) Verfahren und Vorrichtung zur Verhinderung von Kinetose-Störungen bei Passagieren von Kraftfahrzeugen
DE102012001951A1 (de) Anzeigevorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Anzeigevorrichtung
DE102010042026B4 (de) Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
WO2013083379A1 (de) Verfahren und vorrichtung zur lokalisation einer vordefinierten parkposition
DE102007039377A1 (de) Verfahren zur automatischen Längsführung eines Kraftfahrzeugs mittels eines längsführenden Fahrerassistenzsystems mit Stop&amp;Go-Funktion
DE102009035422B4 (de) Verfahren zur geometrischen Bildtransformation
EP1327969A1 (de) Kraftfahrzeug mit Mitteln zum Erkennen eines Verkehrzeichens
DE102004034532B4 (de) Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem
WO2019072570A1 (de) Verbesserte ansicht eines kraftfahrzeugumfelds
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
EP3583488B1 (de) Automatisierte aktivierung eines sichtunterstützungssystems
EP2163429B1 (de) Verfahren zur bildgestützten Überwachung einer Fahrzeugumgebung, insbesondere einer Umgebung eines Nutzfahrzeuges
DE102014116441A1 (de) Verfahren zum Darstellen einer Sicherheitsinformation, Fahrerassistenzsystem und Kraftfahrzeug
DE102017221202B3 (de) Fahrzeugsteuersystem für autonom fahrendes Kraftfahrzeug
EP3833576B1 (de) Kameraüberwachungssystem
DE102007001738B4 (de) Verfahren und Computerprogrammprodukt zur Blickerfassung
DE102023002181B3 (de) Adaptive Filterkette zum Anzeigen eines Umfeldmodells in einem Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18785530

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18785530

Country of ref document: EP

Kind code of ref document: A1