WO2014032933A1 - Verfahren zum betreiben eines fahrzeugs - Google Patents

Verfahren zum betreiben eines fahrzeugs Download PDF

Info

Publication number
WO2014032933A1
WO2014032933A1 PCT/EP2013/066649 EP2013066649W WO2014032933A1 WO 2014032933 A1 WO2014032933 A1 WO 2014032933A1 EP 2013066649 W EP2013066649 W EP 2013066649W WO 2014032933 A1 WO2014032933 A1 WO 2014032933A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
determined
depending
vehicle
camera
Prior art date
Application number
PCT/EP2013/066649
Other languages
English (en)
French (fr)
Inventor
Steffen HÄDRICH
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2014032933A1 publication Critical patent/WO2014032933A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the invention relates to a method for operating a vehicle, which has at least one camera.
  • Modern vehicles often have a camera that is used by driver assistance systems.
  • cameras are often used for a parking aid, a lane recognition or a distance assistant.
  • a rain sensor is often installed in vehicles, which detects rain.
  • an automatic windscreen wiper control can be realized.
  • Dipped beam control installed a light sensor in vehicles.
  • the light sensor detects the brightness that hits the light sensor from the outside.
  • the object on which the invention is based, it is according to a first aspect of a method or a
  • the vehicle has at least one camera.
  • An image data set associated with an image captured by the camera is provided. Depending on that
  • a first measurement signal is determined, which is representative of the brightness of the light incident with respect to the vehicle from the outside of the vehicle.
  • a camera as a light sensor. It may be possible to dispense with a light sensor.
  • a camera can be used for a different purpose, such as
  • the light sensor can be realized with the vehicle camera, this saves
  • Measurement signal determined depending on at least one manipulated variable and / or at least one characteristic of the camera.
  • the brightness can optionally be determined more robustly and / or with less computational effort. According to a further advantageous embodiment
  • a day / night state and / or a twilight state detected depending on the first measurement signal, a day / night state and / or a twilight state detected.
  • the control signal is provided for activating a day display view or a night display view of a display device and / or for
  • the first measurement signal is filtered.
  • filtered out for example, from the headlights of an oncoming vehicle.
  • the invention is characterized by a method or by a corresponding device for operating a vehicle having at least one camera. It will be a
  • An image data set associated with an image captured by the camera is an image data set associated with an image captured by the camera.
  • a second measurement signal is determined, which is representative of a rain condition outside the
  • a camera as a rain sensor. It may be possible to dispense with a rain sensor.
  • a camera can be used for a different purpose, such as
  • the rain sensor can be realized with the vehicle camera, this saves
  • spatial frequencies of the image are determined as a function of the image data record.
  • the second measurement signal is determined.
  • a sequence of image data sets is provided.
  • the respective image data set is a respective image of a
  • respective spatial frequencies of the respective image are determined.
  • spatial frequencies of the respective image are determined.
  • each image is a characteristic value determined
  • the sharpness of the respective picture It is characteristic for the sharpness of the respective picture. Depending on the determined characteristic values of the respective images, a sharpness profile of the sequence of the images is determined. Depending on the sharpness, the second measurement signal is determined.
  • the rain condition is determined more reliably if necessary.
  • an image area is determined depending on the spatial frequencies of the respective images, in which the spatial frequencies change strength than in other image areas.
  • the respective characteristic value of the image is determined.
  • the camera is designed as a stereo camera. Depending on that
  • Image data set is determined by depth information that is characteristic of a distance of individual points of objects that are shown on the image.
  • the depth information can be used to determine the rain condition more robust and possibly with less computational effort.
  • the camera is a front camera of the vehicle. With If necessary, raindrops can be detected on the windshield of a front camera.
  • FIG. 1 shows a vehicle
  • FIG. 2 shows a first flow chart
  • a vehicle 1 (FIG. 1) has at least one camera KAM.
  • the camera KAM is designed and arranged to detect at least a portion of the surroundings of the vehicle 1.
  • the camera KAM can also be designed as a stereo camera.
  • the camera KAM is arranged, for example, at the front of the vehicle 1.
  • the vehicle 1 further has a control unit SE, which is signal-technically coupled to the camera KAM in such a way that it stores an image data record DATA and / or a sequence of
  • Image data sets DATAS from the camera KAM can receive.
  • the control unit SE has a data and program memory and also has a computing unit in which programs are executed during operation of the vehicle 1.
  • the control unit SE preferably has an output interface via which it is signal-wise coupled, for example with a display device KOM.
  • the display device KOM is for example
  • the control device is for example alternatively or additionally coupled with at least one vehicle headlight SW1 and / or a second vehicle headlight SW2 and / or further vehicle headlights signal technology.
  • the controller may activate and
  • a first program which is executed in the control unit SE, is started in a step S1 (FIG. 2), in which variables can be initialized if necessary.
  • the image data set DATA comprises Image information and / or camera information.
  • Image information includes, for example, pixel values for pixels of the image, such as color values or gray levels of the pixels.
  • the camera information has, for example, control variables and / or characteristics of the camera. You have, for example, the exposure time and / or the
  • a first measurement signal INT is determined, which is representative of the brightness of the light which occurs with respect to the vehicle 1 from the outside on the vehicle 1. So can one
  • Tunnel entrance and / or a tunnel exit and / or a day / night state and / or a twilight state are detected depending on the first measurement signal INT.
  • Image data set DATA the pixel values directly evaluated and possibly taking into account one or more control variables and / or one or more characteristics of the camera KAM, such as the exposure time, the first measurement signal INT is determined.
  • pixel values of the image which are present, for example, in the R / G / B color space can be converted into the Y / Cb / Cr color space.
  • Basic brightness values (Y) of the pixels and optionally taking into account at least one control variable and / or at least one characteristic of the camera KAM, such as the sensitivity of the sensor chip of the camera KAM and / or the exposure time, for example, then the first
  • Measurement signal INT are determined.
  • the pixel values can also be converted into another color space or directly into a gray value representing the brightness. By evaluating these converted pixel values, it may be possible, taking into account at least one control variable and / or at least one
  • Parameter such as the exposure time and / or the sensitivity of the sensor chip of the camera KAM
  • the first measurement signal INT are determined.
  • the pixel values have no color information but only gray values, depending on an evaluation of the gray values and optionally taking into account at least one control variable and / or at least one characteristic such as, for example
  • the first measurement signal is alternatively or additionally possible to determine the first measurement signal as a function of the saturation of the sensor chip of the camera KAM and of the exposure time.
  • the sensor chip of the camera KAM has a low saturation despite being long
  • the first measurement signal INT is filtered.
  • the first measurement signal INT is, for example, by means of a moving average filter and / or a
  • Low pass filter filtered Low pass filter filtered. Filtering can be used to filter faults. For example, if a vehicle with bright spotlights, this sudden change in brightness is filtered out.
  • a control signal S_SIG is provided depending on the first measurement signal INT and / or depending on the filtered first measurement signal.
  • the control signal S_SIG is provided, for example, for activating the day display view or the night display view of
  • step S9 the first program is terminated in a step Sil and can optionally be started again in step S1.
  • a sequence of image data records DATAS can be provided, wherein the respective image data record DATA is assigned to a respective image from an associated sequence of images.
  • the sequence of images can be a sequence of directly temporally successive images.
  • the sequence of pictures can also be pictures in a given temporal
  • Image data set DATA spatial frequencies FRQ of the image determined.
  • the pixel values of the image or pixel values of partial areas of the image are transformed into another color space, for example, if the pixel values are present in the R / G / B color space, in the Y / Cb / Cr color space.
  • Color transformation for example, the rows and / or the columns of the basic brightness values (Y) of the pixels are transformed into the frequency domain, for example by means of a Discrete Cosine Transform (DCT) or a Discrete Sine Transform (DST) or a Discrete
  • FFT Fourier transformation
  • the spatial frequencies FRQ appearing in the image or in the image part can be obtained
  • respective image data set DATA to which a respective image is assigned to a sequence of images, determines respective spatial frequencies FRQ of the respective image.
  • step S28 an image region is determined in step S28 in which the spatial frequencies FRQ change more than in other image regions.
  • the parameter KW is determined depending on the Orsfrequenzen FRQ of the image area. This minimizes the amount of computation required, as only one image area or a so-called "region of interest” (ROI) is considered for the calculations, for example, the area is mapped to the street in an area of the image another area the environment
  • step S29 the sharpness profile SH is dependent on those determined in step S27 and / or step S28
  • Characteristic values KW of the respective images This allows a conclusion to be drawn on a rain condition. If the sharpness drops in the sharpness progression SH, then it is probable that it rains. If the sharpness increases, so it is
  • a second measurement signal R_SIG is determined.
  • the second measurement signal R_SIG is determined, for example, as a function of the sharpness profile SH ascertained in step S29 and / or dependent on those in step S25
  • Measurement signal R_SIG can also alternatively or additionally
  • Depth information for example, from the
  • Image data set DATA determined, if the camera KAM is a stereo camera. For example, a so-called disparity map is determined from the image data set DATA.
  • the disparity map assigns a distance value to each pixel of the image that maps a point of an object.
  • the disparity card are, for example, the
  • the second measurement signal R_SIG is representative of one
  • step S33 the second program is ended and may optionally be restarted in step S21.
  • the second measurement signal R_SIG can be additionally or alternately determined depending on a detection of
  • the second measurement signal R_SIG can additionally or alternatively be determined depending on predetermined edge shapes and / or reflections. Run detected edges, for example, from vehicles ahead, not how
  • conclusions can be drawn from it on a rain condition and a rain intensity. Additionally or alternatively, reflections, for example, reflections of the sky on a wet roadway can be detected and from this conclusions about the rain condition can be determined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

Im Rahmen eines Verfahrens beziehungsweise einer korrespondierenden Vorrichtung zum Betreiben eines Fahrzeugs, dem mindestens eine Kamera zugeordnet ist, wird ein Bilddatensatz (DATA) bereitgestellt, der einem Bild zugeordnet ist, das von der Kamera erfasst wird. Abhängig von dem Bilddatensatz (DATA) wird ein erstes Messsignal (R_SIG) ermittelt, das repräsentativ ist für die Helligkeit des Lichts, das in Bezug auf das Fahrzeug von außen auf das Fahrzeug auftritt. Alternativ oder zusätzlich wird abhängig von dem Bilddatensatz (DATA) ein zweites Messsignal ermittelt, das repräsentativ ist für einen Regenzustand außerhalb des Fahrzeugs.

Description

Beschreibung
Verfahren zum Betreiben eines Fahrzeugs
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs, das mindestens eine Kamera aufweist.
Moderne Fahrzeuge weisen häufig eine Kamera auf, die von Fahrerassistenzsystemen genutzt wird. So werden zum Beispiel für eine Einparkhilfe, eine Spurerkennung oder für einen Abstandsassistenten häufig Kameras verwendet.
Zusätzlich wird in Fahrzeugen häufig ein Regensensor verbaut, welcher Regen detektiert. Mittels des Regensensors kann beispielsweise eine automatische Scheibenwischersteuerung realisiert werden.
Außerdem wird häufig zum Beispiel für eine automatische
AbblendlichtSteuerung ein Lichtsensor in Fahrzeugen verbaut. Der Lichtsensor detektiert die Helligkeit die von außen auf den Lichtsensor trifft.
Die Aufgabe, die der Erfindung zugrunde liegt, ist es gemäß einem ersten Aspekt ein Verfahren beziehungsweise eine
Vorrichtung zu schaffen zum Betreiben eines Fahrzeugs, um auf einfache Weise ein erstes Messsignal zu ermitteln, das repräsentativ ist für die Helligkeit, die in Bezug auf das Fahrzeug von außen auf das Fahrzeug auftrifft und gemäß einem zweiten Aspekt ein Verfahren beziehungsweise eine Vorrichtung zu schaffen zum Betreiben eines Fahrzeugs um auf einfache Weise ein zweites Messsignal zu ermitteln, das repräsentativ ist für einen Regenzustand außerhalb des Fahrzeugs. Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
Die Erfindung zeichnet sich gemäß einem ersten Aspekt aus durch ein Verfahren beziehungsweise durch eine
korrespondierende Vorrichtung zum Betreiben eines Fahrzeugs. Das Fahrzeug weist mindestens eine Kamera auf. Es wird ein Bilddatensatz bereitgestellt, der einem Bild zugeordnet ist, das von der Kamera erfasst wird. Abhängig von dem
Bilddatensatz wird ein erstes Messsignal ermittelt, das repräsentativ ist für die Helligkeit des Lichts, das in Bezug auf das Fahrzeug von außen auf das Fahrzeug auftrifft.
Auf diese Weise wird es ermöglicht eine Kamera zu nutzen als Lichtsensor. Es kann so auf einen Lichtsensor gegebenenfalls verzichtet werden. Darüber hinaus kann so auch eine Kamera eingesetzt werden, die für einen anderen Zweck, wie zum
Beispiel zur Spurerkennung, Fußgängerschutz oder
AbStandswarnung ohnehin vorhanden ist. Der Lichtsensor kann mit der Fahrzeugkamera realisiert werden, dies spart
gegebenenfalls Kosten und Bauraum.
Gemäß einer vorteilhaften Ausgestaltung wird das erste
Messsignal abhängig von mindestens einer Stellgröße und/oder mindestens einer Kenngröße der Kamera ermittelt.
Indem mindestens eine Stellgröße und/oder eine Kenngröße der Kamera für das Ermitteln des ersten Messsignals genutzt wird, lässt sich die Helligkeit gegebenenfalls robuster und/oder mit einem geringeren Rechenaufwand ermitteln. Gemäß einer weiteren vorteilhaften Ausgestaltung wird
abhängig von dem ersten Messsignal eine Tunneleinfahrt und/oder eine Tunnelausfahrt erkannt.
Durch eine schnelle Erkennung der Tunneleinfahrt und/oder der Tunnelausfahrt ist es beispielsweise möglich, das
Fahrzeuglicht im Tunnel einzuschalten.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird
abhängig von dem ersten Messsignal ein Tag- /Nachtzustand und/oder ein Dämmerungszustand erkannt.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird
abhängig von dem ersten Messsignal ein Steuersignal
bereitgestellt. Das Steuersignal wird bereitgestellt zum Aktivieren einer Tag-Anzeige-Ansicht oder einer Nacht- Anzeige-Ansicht einer Anzeigevorrichtung und/oder zum
Aktivieren oder Deaktivieren von mindestens einem
Fahrzeugscheinwerfer .
Durch Bereitstellen eines Steuersignals ist es ohne großen Aufwand möglich die Anzeigevorrichtung und/oder
Fahrzeugscheinwerfer zu steuern.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird das erste Messsignal gefiltert. Durch das Filtern können
Störungen des Messsignals unterdrückt werden. So kann
beispielsweise eine plötzlich auftretende Helligkeit
herausgefiltert werden, die zum Beispiel von Scheinwerfern eines entgegenkommenden Fahrzeugs erzeugt wurde.
Gemäß einem zweiten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren beziehungsweise durch eine korrespondierende Vorrichtung zum Betreiben eines Fahrzeugs, das mindestens eine Kamera aufweist. Es wird ein
Bilddatensatz bereitgestellt, der einem Bild zugeordnet ist, das von der Kamera erfasst wird. Abhängig von dem
Bilddatensatz wird ein zweites Messsignal ermittelt, das repräsentativ ist für einen Regenzustand außerhalb des
Fahrzeugs .
Auf diese Weise wird es ermöglicht eine Kamera zu nutzen als Regensensor. Es kann so auf einen Regensensor gegebenenfalls verzichtet werden. Darüber hinaus kann so auch eine Kamera eingesetzt werden, die für einen anderen Zweck, wie zum
Beispiel zur Spurerkennung, Fußgängerschutz oder
Abstandswarnung ohnehin vorhanden ist. Der Regensensor kann mit der Fahrzeugkamera realisiert werden, dies spart
gegebenenfalls Kosten und Bauraum.
Gemäß einer weiteren vorteilhaften Ausgestaltung werden abhängig von dem Bilddatensatz Ortsfrequenzen des Bildes ermittelt. Abhängig von den ermittelten Ortsfrequenzen des Bildes wird das zweite Messsignal ermittelt. Durch Auswertung der Ortsfrequenzen können mit geringem Rechenaufwand
Rückschlüsse auf den Regenzustand gezogen werden.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird eine Sequenz von Bilddatensätzen bereitgestellt. Der jeweilige Bilddatensatz ist einem jeweiligen Bild aus einer
zugeordneten Sequenz an Bildern zugeordnet. Abhängig von dem jeweiligen Bilddatensatz eines jeweiligen Bildes der Sequenz an Bildern werden jeweilige Ortsfrequenzen des jeweiligen Bildes ermittelt. Abhängig von den Ortsfrequenzen des
jeweiligen Bildes wird ein Kennwert ermittelt, der
charakteristisch ist für die Schärfe des jeweiligen Bildes. Abhängig von den ermittelten Kennwerten der jeweiligen Bilde wird ein Schärfeverlauf der Sequenz der Bilder ermittelt. Abhängig von dem Schärfeverlauf wird das zweite Messsignal ermittelt .
Durch Betrachtung des Schärfeverlaufs wird gegebenenfalls zuverlässiger der Regenzustand ermittelt.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird abhängig von den Ortsfrequenzen der jeweiligen Bilder ein Bildbereich ermittelt, in dem sich die Ortsfrequenzen stärke verändern als in anderen Bildbereichen. Abhängig von den Ortsfrequenzen des Bildbereichs wird der jeweilige Kennwert des Bildes ermittelt.
Durch die Einschränkung des Bildbereichs kann der
Rechenaufwand verringert werden.
Gemäß einer weiteren vorteilhaften Ausgestaltung ist die Kamera als Stereokamera ausgebildet. Abhängig von dem
Bilddatensatz werden Tiefeninformationen ermittelt, die charakteristisch sind für eine Entfernung von einzelnen Punkten von Objekten, die auf dem Bild abgebildet sind.
Abhängig von den Tiefeninformationen wird das zweite
Messsignal ermittelt.
Falls eine Stereokamera in dem Fahrzeug verbaut ist, können die Tiefeninformationen genutzt werden um den Regenzustand robuster und gegebenenfalls mit geringerem Rechenaufwand zu ermitteln.
Gemäß einer weiteren vorteilhaften Ausgestaltung handelt es sich bei der Kamera um eine Frontkamera des Fahrzeugs. Mit einer Frontkamera können gegebenenfalls Regentropfen auf der Windschutzscheibe detektiert werden .
Der erste Aspekt und seine Ausgestaltungen können beliebig mit dem zweiten Aspekt und dessen Ausgestaltungen kombiniert sein,
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert . Es zeigen:
Figur 1 ein Fahrzeug,
Figur 2 ein erstes Ablaufdiagramm,
Figur 3 ein zweites Ablaufdiagramm .
Elemente gleicher Konstruktion oder Funktion sind
figurenübergreifend mit den gleichen Bezugszeichen
gekennzeichnet .
Ein Fahrzeug 1 (Figur 1) weist zumindest eine Kamera KAM auf . Die Kamera KAM ist dazu ausgebildet und angeordnet, zumindest einen Teilbereich der Umgebung des Fahrzeugs 1 zu erfassen. Die Kamera KAM kann auch als Stereokamera ausgebildet sein. Die Kamera KAM ist beispielsweise an der Front des Fahrzeugs 1 angeordnet .
Das Fahrzeug 1 weist ferner eine Steuereinheit SE auf, die mit der Kamera KAM signaltechnisch derart gekoppelt ist, dass sie einen Bilddatensatz DATA und/oder eine Sequenz von
Bilddatensätzen DATAS von der Kamera KAM empfangen kann.
Die Steuereinheit SE weist einen Daten- und Programmspeicher auf und weist ferner eine Recheneinheit auf, in der Programme während des Betriebs des Fahrzeugs 1 abgearbeitet werden. Darüber hinaus weist die Steuereinheit SE bevorzugt eine Ausgabeschnittstelle auf, über die sie signaltechnisch gekoppelt ist, beispielsweise mit einer Anzeigevorrichtung KOM.
Die Anzeigevorrichtung KOM ist beispielsweise dazu
ausgebildet, eine Tag-Anzeige-Ansicht oder eine Nacht- Anzeige-Ansicht bereitzustellen.
Die Steuereinrichtung ist beispielsweise alternativ oder zusätzlich mit mindestens einem Fahrzeugscheinwerfer SW1 und/oder einer zweiten Fahrzeugscheinwerfer SW2 und/oder weiteren Fahrzeugscheinwerfern signaltechnisch gekoppelt. Zum Beispiel kann die Steuereinrichtung das Aktivieren und
Deaktivieren von Tagfahrlicht und/oder Abblendlicht und/oder Fernlicht steuern.
Ein erstes Programm, das in der Steuereinheit SE abgearbeitet wird, wird in einem Schritt Sl gestartet (Figur 2) , in dem gegebenenfalls Variablen initialisiert werden können.
In einem Schritt S3 wird der Bilddatensatz DATA
bereitgestellt, der einem Bild zugeordnet ist, das von der Kamera KAM erfasst wird. Der Bilddatensatz DATA umfasst Bildinformationen und/oder Kamerainformationen. Die
Bildinformationen umfassen beispielsweise Pixelwerte für Pixel des Bildes, wie beispielsweise Farbwerte oder Grauwerte der Pixel. Die Kamerainformationen weisen beispielsweise Steuergrößen und/oder Kenngrößen der Kamera auf. Sie weisen zum Beispiel die Belichtungszeit und/oder die
Lichtempfindlichkeit und/oder eine Blendenzahl und/oder eine Sättigung auf.
In einem Schritt S5 wird abhängig von dem Bilddatensatz DATA ein erstes Messsignal INT ermittelt, das repräsentativ ist für die Helligkeit des Lichts, das in Bezug auf das Fahrzeug 1 von außen auf das Fahrzeug 1 auftritt . So kann eine
Tunneleinfahrt und/oder eine Tunnelausfahrt und/oder ein Tag- /Nachtzustand und/oder ein Dämmerungszustand erkannt werden abhängig von dem ersten Messsignal INT.
Beispielsweise werden aus den Bildinformationen des
Bilddatensatzes DATA die Pixelwerte direkt ausgewertet und gegebenenfalls unter Berücksichtigung von einer oder mehreren Steuergrößen und/oder einer oder mehreren Kenngrößen der Kamera KAM, wie zum Beispiel der Belichtungszeit, wird das erste Messsignal INT ermittelt.
Alternativ oder zusätzlich können Pixelwerte des Bildes, die beispielsweise im R/G/B-Farbraum vorliegen, in den Y/Cb/Cr- Farbraum umgerechnet werden. Mit einer Auswertung der
Grundhelligkeitswerte (Y) der Pixel und gegebenenfalls unter Berücksichtigung von mindestens einer Steuergröße und/oder mindestens einer Kenngröße der Kamera KAM, wie zum Beispiel der Empfindlichkeit des Sensorchips der Kamera KAM und/oder der Belichtungszeit kann beispielsweise dann das erste
Messsignal INT ermittelt werden. Die Pixelwerte können auch in einen anderen Farbraum oder direkt in einen Grauwert, der die Helligkeit wiedergibt, umgerechnet werden. Durch Auswertung dieser umgerechneten Pixelwerte kann gegebenenfalls unter Berücksichtigung von mindestens einer Steuergröße und/oder mindestens einer
Kenngröße wie zum Beispiel der Belichtungszeit und/oder der Empfindlichkeit des Sensorchips der Kamera KAM
beispielsweise dann das erste Messsignal INT ermittelt werden.
Es ist alternativ auch möglich, falls die Pixelwerte keine Farbinformationen sondern nur Grauwerte aufweisen, abhängig von einer Auswertung der Grauwertere und gegebenenfalls unter Berücksichtigung von mindestens einer Steuergröße und/oder mindestens einer Kenngröße wie zum Beispiel der
Belichtungszeit und/oder der Empfindlichkeit des Sensorchips der Kamera KAM das erste Messsignal INT zu ermitteln, da der Grauwert die Helligkeit des Pixels wiedergibt.
Es ist beispielsweise alternativ oder zusätzlich möglich abhängig von der Sättigung des Sensorchips der Kamera KAM und der Belichtungszeit das erste Messsignal zu ermitteln.
Beispielsweise weist in einer dunklen Umgebung der Sensorchip der Kamera KAM eine geringe Sättigung trotz langer
Belichtungszeit auf.
In einem optionalen Schritt S7 wird das erste Messsignal INT gefiltert. Das erste Messsignal INT wird zum Beispiel mittels eines gleitenden Mittelwertfilters und/oder eines
Tiefpassfilters gefiltert. Durch das Filtern können Störungen gefiltert werden. So kann zum Beispiel, falls ein Fahrzeug mit hellen Scheinwerfen entgegenkommt, diese plötzlich auftretende Änderung der Helligkeit herausgefiltert werden.
In einem Schritt S9 wird abhängig von dem ersten Messsignal INT und/oder abhängig von dem gefilterten ersten Messsignal ein Steuersignal S_SIG bereitgestellt. Das Steuersignal S_SIG wird beispielsweise bereitgestellt zum Aktivieren der Tag- Anzeige-Ansicht oder der Nacht-Anzeige-Ansicht der
Anzeigevorrichtung KOM und/oder zum Aktiveren oder
Deaktivieren von mindestens einem Fahrzeugscheinwerfer SW1.
Nach dem Schritt S9 wird das erste Programm in einem Schritt Sil beendet und kann gegebenenfalls wieder im Schritt Sl gestartet werden.
Ein zweites Programm, das in der Steuereinheit SE
abgearbeitet wird, wird in einem Schritt S21 gestartet (Figur 3) , in dem gegebenenfalls Variablen initialisiert werden können.
In einem Schritt S23 wird der Bilddatensatz DATA
bereitgestellt, der einem Bild zugeordnet ist, das von der Kamera KAM erfasst wird. Es kann zusätzlich oder alternativ eine Sequenz von Bilddatensätzen DATAS bereitgestellt werden, wobei der jeweilige Bilddatensatz DATA einem jeweiligen Bild aus einer zugeordneten Sequenz an Bildern zugeordnet ist. Die Sequenz an Bildern kann eine Sequenz von direkt zeitlich aufeinander folgenden Bildern sein. Die Sequenz an Bildern kann aber auch Bilder in einem vorgegebenen zeitlichen
Abstand aufweisen.
In einem optionalen Schritt S25 werden abhängig von dem
Bilddatensatz DATA Ortsfrequenzen FRQ des Bildes ermittelt. Um die Ortsfrequenzen FRQ zu ermitteln werden beispielsweise die Pixelwerte des Bildes oder Pixelwerte von Teilbereichen des Bildes in einen anderen Farbraum transformiert wie beispielsweise, falls die Pixelwerte in dem R/G/B-Farbraum vorliegen, in den Y/Cb/Cr-Farbraum. Nach der
Farbtransformation werden beispielsweise die Reihen und/oder die Spalten der Grundhelligkeitswerte (Y) der Pixel in den Frequenzbereich transformiert, beispielsweise mittels einer Diskreten Kosinustransformation (DCT) oder einer Diskreten Sinustransformation (DST) oder einer Disktreten
Fouriertransformation (DFT) oder einer Schnellen
Fouriertransformation (FFT) . Die Frequenztransformation kann auch mit Pixelwerten aus jedem dem Fachmann sinnvoll
erscheinenden Farbraum durchgeführt werden, gegebenenfalls ohne Farbtransformation oder gegebenenfalls aus Grauwerten. Aus der Frequenztransformation lassen sich die in dem Bild oder in dem Bildteil auftretenden Ortsfrequenzen FRQ
entnehmen .
Aus den Ortsfrequenzen FRQ lässt sich auf die Schärfe des Bildes schließen, denn scharfe Kanten in den Reihen oder Spalten in einem Bild weisen hohe Ortsfrequenzen FRQ auf. Aus der Schärfe wiederum können Rückschlüsse auf einen
Regenzustand gezogen werden, denn je unschärfer das Bild ist, desto wahrscheinlicher ist, dass es regnet.
Je mehr hohe Ortsfrequenzen FRQ im Bild vorkommen, desto wahrscheinlicher ist, dass das Bild scharf ist. Es kann aber auch sein, dass bei einem monotonen Bild keine hohen
Ortsfrequenzen FRQ auftreten und das Bild trotzdem scharf ist, da das Bild keine oder nur wenige Kanten in den Reihen oder Spalten aufweist. Dies kann zum Beispiel der Fall sein, wenn eine Straße oder der Himmel abgebildet ist. Deshalb ist es oft sinnvoll einen Schärfeverlauf SH einer Sequenz an Bildern zu betrachten, wie in den Schritten S27 bis S29.
In dem optionalen Schritt S27 wird abhängig von dem
jeweiligen Bilddatensatz DATA, dem ein jeweiliges Bild einer Sequenz von Bildern zugeordnet ist, jeweilige Ortsfrequenzen FRQ des jeweiligen Bildes ermittelt. Abhängig von den
Ortsfrequenzen FRQ des jeweiligen Bildes wird jeweils ein Kennwert KW ermittelt, der charakteristisch ist für die
Schärfe des jeweiligen Bildes.
Abhängig von den Ortsfreqenzen FRQ des jeweiligen Bildes wird zusätzlich oder alternativ zu dem Schritt S27 in dem Schritt S28 ein Bildbereich ermittelt, in dem sich die Ortsfrequenzen FRQ stärker verändern als in anderen Bildbereichen.
Anschließend wird abhängig von den Orsfrequenzen FRQ des Bildbereichs der Kennwert KW ermittelt werden. Hiermit kann der benötigte Rechenauf and minimiert werden, da nur noch ein Bildbereich oder eine sogenannte „Region Of Interest" (ROI) für die Berechnungen betrachtet wird. So kann es zum Beispiel sein, dass in einem Bereich des Bildes die Straße abgebildet ist und in einem anderen Bereich die Umgebung. Für die
Betrachtung der Schärfe kann es nun nützlich sein die Straße nicht mit zu betrachten, so wird dieser Bildbereich für die Berechnung des Kennwerts KW beispielsweise nicht
berücksichtigt .
In dem Schritt S29 wird der Schärfeverlauf SH abhängig von den in dem Schritt S27 und/oder Schritt S28 ermittelten
Kennwerten KW der jeweiligen Bilder ermittelt. So lässt sich ein Rückschluss auf einen Regenzustand ermitteln. Fällt die Schärfe in dem Schärfeverlauf SH ab, so ist es wahrscheinlich dass es regnet. Nimmt die Schärfe zu, so ist es
wahrscheinlich, dass der Regen nachlässt.
In einem Schritt S31 wird ein zweites Messsignal R_SIG ermittelt. Das zweite Messsignal R_SIG wird beispielsweise abhängig von dem im Schritt S29 ermittelten Schärfeverlauf SH ermittelt und/oder abhängig von den im Schritt S25
ermittelten Ortsfrequenzen FRQ des Bildes. Das zweite
Messsignal R_SIG kann auch alternativ oder zusätzlich
ermittelt werden aus Tiefeninformationen, die
charakteristisch sind für die Entfernung von Punkten von Objekten, die auf dem Bild abgebildet sind. Die
Tiefeninformationen werden beispielsweise aus dem
Bilddatensatz DATA ermittelt, falls es sich bei der Kamera KAM um eine Stereokamera handelt. So wird beispielsweise aus dem Bilddatensatz DATA eine sogenannte Disparitätenkarte ermittelt. Die Disparitätskarte weist jedem Pixel des Bildes, der einen Punkt eines Objekts abbildet, einen Entfernungswert zu. Auf der Disparitätenkarte sind beispielsweise die
Regentropfen auf der Windschutzscheibe als Störungen
identifizierbar. Nicht nur der Zustand ob es regnet ist so ermittelbar, sonder auch die Intensität, zum Beispiel indem die Regentropfen gezählt werden.
Das zweite Messsignal R_SIG ist repräsentativ für einen
Regenzustand außerhalb des Fahrzeugs 1. So kann abhängig von dem zweiten Messsignal R_SIG ermittelt werden ob es regnet, zusätzlich oder alternativ kann aber auch die Intensität des Regens ermittelt werden. Es kann alternativ zu einem
Regensensor eine schon im Fahrzeug 1 verbaute Kamera KAM dazu genutzt werden Regen zu detektieren um beispielsweise
Scheibenwischer des Fahrzeugs 1 zu steuern. In einem Schritt S33 wird das zweite Programm beendet und kann gegebenenfalls in dem Schritt S21 wieder neu gestartet werden.
Das zweite Messsignal R_SIG lässt sich zusätzlich oder alternati ermitteln abhängig von einem Erkennen von
Lichtquellen. Werden die Lichtquellen verzerrt auf dem Bild dargestellt, oder ist ihre Uniform!tat gestört, so können daraus Rückschlüsse auf einen Regenzustand und eine
Regenintensität gewonnen werden.
Das zweite Messsignal R_SIG lässt sich zusätzlich oder alternativ ermitteln abhängig von vorgegebenen Kantenformen und/oder Reflexionen. Verl ufen detektierte Kanten, zum Beispiel von vorausfahrenden Fahrzeugen, nicht wie
vorgegeben, können daraus Rückschlüsse auf einen Regenzustand und eine Regenintensität gewonnen werden . Zusätzlich oder alternativ können Reflexionen zum Beispiel Reflexionen des Himmels auf einer nassen Fahrbahn detektiert werden und daraus Rückschlüsse auf den Regenzustand ermittelt werden.
Bezugszeichenliste :
1 Fahrzeug
SE Steuereinheit
KOM Anzeigevorrichtung
KAM Kamera
SW1, SW2 Fahrzeugscheinwerfer
DATA Bilddatensatz
DATAS Sequenz von Bilddatensätzen
INT erstes Messsignal
S_SIG Steuersignal
R_SIG zweites Messsignal
SH Schärfeverlauf
FRQ Ortsfrequenz
KW Kennwert

Claims

Patentansprüche
1. Verfahren zum Betreiben eines Fahrzeugs (1), das
mindestens eine Kamera (KAM) aufweist, bei dem
- ein Bilddatensatz (DATA) bereitgestellt wird, der einem Bild zugeordnet ist, das von der Kamera (KAM) erfasst wird und
- abhängig von dem Bilddatensatz (DATA) ein erstes Messsignal (INT) ermittelt wird, das repräsentativ ist für die
Helligkeit des Lichts, das in Bezug auf das Fahrzeug (1) von außen auf das Fahrzeug (1) auftrifft.
2. Verfahren nach Anspruch 1, bei dem das erste Messsignal (INT) abhängig von mindestens einer Steuergröße und/oder mindestens einer Kenngröße der Kamera (KAM) ermittelt wird.
3. Verfahren nach Anspruch 1 oder 2, bei dem eine
Tunneleinfahrt und/oder eine Tunnelausfahrt erkannt wird abhängig von dem ersten Messsignal (INT) .
4. Verfahren nach einem der vorstehenden Ansprüche, bei dem ein Tag-/Nachtzustand und/oder ein Dämmerungszustand erkannt wird abhängig von dem ersten Messsignal (INT) .
5. Verfahren nach einem der vorstehenden Ansprüche, bei dem abhängig von dem ersten Messsignal (INT) ein Steuersignal S_SIG bereitgestellt wird und zwar zum Aktivieren einer Tag- Anzeige-Ansicht oder einer Nacht-Anzeige-Ansicht einer
Anzeigevorrichtung (KOM) und/oder zum Aktivieren oder
Deaktivieren von mindestens einem Fahrzeugscheinwerfer (S 1) .
6. Verfahren nach einem der vorstehenden Ansprüche, wobei das erste Messsignal (INT) gefiltert wird.
7.Verfahren zum Betreiben eines Fahrzeugs (1), das mindestens eine Kamera (KAM) aufweist, bei dem - ein Bilddatensatz (DATA) bereitgestellt wird, der einem Bild zugeordnet ist, das von der Kamera (KAM) erfasst wird und
- abhängig von dem Bilddatensatz (DATA) ein zweites
Messsignal (R_SIG) ermittelt wird, das repräsentativ ist für einen Regenzustand außerhalb des Fahrzeugs (1) .
8. Verfahren nach Anspruch 7 , bei dem abhängig von dem
Bilddatensatz (DATA) Ortsfrequenzen (FRQ) des Bildes
ermittelt werden und abhängig von den ermittelten
Ortsfrequenzen (FRQ) des Bildes das zweite Messsignal (R_SIG) ermittelt wird.
9. Verfahren nach Anspruch 7 oder 8 , bei dem
- eine Sequenz von Bildatensätzen (DATAS) bereitgestellt wird, wobei der jeweilige Bilddatensatz (DATA) einem
jeweiligen Bild aus einer zugeordneten Sequenz an Bildern zugeordnet ist,
- abhängig von dem jeweiligen Bilddatensatz (DATA) eines jeweiligen Bildes der Sequenz an Bildern jeweilige
Ortsfrequenzen (FRQ) des jeweiligen Bildes ermittelt werden,
- abhängig von den Ortsfrequenzen (FRQ) des jeweiligen Bildes jeweils ein Kennwert (KW) ermittelt wird, der
charakteristisch ist für die Schärfe des jeweiligen Bildes,
- ein Schärfeverlauf (SH) der Sequenz der Bilder abhängig von den ermittelten Kennwerten (KW) der jeweiligen Bilder
ermittelt wird und
- das zweite Messsignal (R_SIG) abhängig von dem
Schärfeverlauf ermittelt wird.
10. Verfahren nach Anspruch 9, bei dem abhängig von den
Ortsfrequenzen (FRQ) der jeweiligen Bilder ein Bildbereich ermittelt wird in dem sich die Ortsfrequenzen (FRQ) stärker verändern als in anderen Bildbereichen und abhängig von den Ortsfrequenzen (FRQ) des Bildbereichs der jeweilige Kennwert des Bildes ermittelt wird.
11. Verfahren nach Anspruch 7-10, bei dem
- die Kamera (KAM) als Stereokamera ausgebildet ist,
- abhängig von dem Bilddatensatz (DATA) Tiefeninformationen ermittelt werden, die charakteristisch sind für die
Entfernung von Punkten von Objekten, die auf dem Bild
abgebildet sind und
- abhängig von den Tiefeninformationen das zweite Messsignal (R_SIG) ermittelt wird.
12. Verfahren nach einem der vorstehenden Ansprüche, wobei die Kamera (KAM) eine Frontkamera des Fahrzeugs (1) ist.
13. Vorrichtung zum Betreiben eines Fahrzeugs (1), wobei die Vorrichtung dazu ausgebildet ist ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.
PCT/EP2013/066649 2012-08-29 2013-08-08 Verfahren zum betreiben eines fahrzeugs WO2014032933A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012215287.3A DE102012215287A1 (de) 2012-08-29 2012-08-29 Verfahren zum Betreiben eines Fahrzeugs
DE102012215287.3 2012-08-29

Publications (1)

Publication Number Publication Date
WO2014032933A1 true WO2014032933A1 (de) 2014-03-06

Family

ID=48918442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/066649 WO2014032933A1 (de) 2012-08-29 2013-08-08 Verfahren zum betreiben eines fahrzeugs

Country Status (2)

Country Link
DE (1) DE102012215287A1 (de)
WO (1) WO2014032933A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016177372A1 (de) * 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld
CN107845263A (zh) * 2017-10-14 2018-03-27 浙江瑞丰信息科技有限公司 一种应用于停车场的物联网管理平台
US10049284B2 (en) 2016-04-11 2018-08-14 Ford Global Technologies Vision-based rain detection using deep learning
US10427645B2 (en) 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
WO2006024247A1 (de) * 2004-09-03 2006-03-09 Adc Automotive Distance Control Systems Gmbh Verfahren zur detektion von niederschlag auf einer scheibe
EP2293588A1 (de) * 2009-08-31 2011-03-09 Robert Bosch GmbH Verfahren zur Verwendung einer Stereovisionskameraanordnung
DE102010002312A1 (de) * 2010-02-24 2011-08-25 Robert Bosch GmbH, 70469 Verfahren und Vorrichtung zur Analyse eines Bildes einer Bilderfassungseinrichtung für ein Fahrzeug

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
GB0216483D0 (en) * 2002-07-16 2002-08-21 Trw Ltd Vehicle window cleaning apparatus and method
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
JP5272042B2 (ja) * 2011-05-12 2013-08-28 富士重工業株式会社 環境認識装置および環境認識方法
DE102011056051A1 (de) * 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
WO2006024247A1 (de) * 2004-09-03 2006-03-09 Adc Automotive Distance Control Systems Gmbh Verfahren zur detektion von niederschlag auf einer scheibe
EP2293588A1 (de) * 2009-08-31 2011-03-09 Robert Bosch GmbH Verfahren zur Verwendung einer Stereovisionskameraanordnung
DE102010002312A1 (de) * 2010-02-24 2011-08-25 Robert Bosch GmbH, 70469 Verfahren und Vorrichtung zur Analyse eines Bildes einer Bilderfassungseinrichtung für ein Fahrzeug

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016177372A1 (de) * 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld
US10049284B2 (en) 2016-04-11 2018-08-14 Ford Global Technologies Vision-based rain detection using deep learning
US10427645B2 (en) 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method
CN107845263A (zh) * 2017-10-14 2018-03-27 浙江瑞丰信息科技有限公司 一种应用于停车场的物联网管理平台

Also Published As

Publication number Publication date
DE102012215287A1 (de) 2014-05-28

Similar Documents

Publication Publication Date Title
DE102016216118B4 (de) Objekterkennungsvorrichtung und Fleckerkennungsverfahren
WO2015048954A1 (de) Verfahren und vorrichtung zur erkennung von verkehrszeichen
DE112014000896T5 (de) Vorrichtung zum Unterdrücken einer Abweichung von einer Spurgrenzlinie
WO2012171834A2 (de) Verfahren und vorrichtung zur detektion einer sichtbeeinträchtigung einer scheibe
DE102008001679A1 (de) Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug
WO2017103096A1 (de) Verfahren zum identifizieren eines objektes in einem umgebungsbereich eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102019115459A1 (de) Verfahren und vorrichtung zur bewertung einer fahrbahnoberfläche für kraftfahrzeuge
DE102012221563A1 (de) Funktionsdiagnose und validierung eines fahrzeugbasierten bildgebungssystems
WO2014032933A1 (de) Verfahren zum betreiben eines fahrzeugs
DE112013004876T5 (de) Fahrzeugnavigationssystem und Bildaufnahmeeinrichtung für ein Fahrzeug
DE102009011866A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Sichtweite für ein Fahrzeug
AT518940B1 (de) Verfahren und Vorrichtung zum Messen eines Abstands zwischen einem ersten Fahrzeug und einem zweiten, dem ersten Fahrzeug unmittelbar vorausfahrenden, Fahrzeug
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102015007794A1 (de) Verfahren und Vorrichtung zur Erfassung von Feuchtigkeit und/oder einer Verschmutzung auf einer Außenseite einer Abdeckung eines Bildsensors
DE102011076795A1 (de) Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera und Verfahren zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs
DE102017211887A1 (de) Verfahren und Vorrichtung zum Lokalisieren und automatisierten Betreiben eines Fahrzeugs
EP2415020A1 (de) Verfahren und vorrichtung zur fahrspurerkennung
EP2539851B1 (de) Verfahren und vorrichtung zur analyse eines bildes einer bilderfassungseinrichtung für ein fahrzeug
DE102011083745B4 (de) Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung
WO2012119627A1 (de) Verfahren und vorrichtung zur ermittlung von wasser auf einer fahrzeugscheibe
DE102015007678A1 (de) Fahrzeug sowie Verfahren und Vorrichtung zur Selbstlokalisation eines Fahrzeugs
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102021005387A1 (de) Verfahren zur Ausgabe einer Warnung bei einer in einem Sichtfeld einer Umgebungskamera eines Fahrzeugs erkannten Blockage und Fahrzeug
EP4264565A1 (de) Korrektur von bildern einer kamera bei regen, lichteinfall und verschmutzung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13745699

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13745699

Country of ref document: EP

Kind code of ref document: A1