DE10104734A1 - Car control system uses infrared images to control vehicles head-lights and other units - Google Patents

Car control system uses infrared images to control vehicles head-lights and other units

Info

Publication number
DE10104734A1
DE10104734A1 DE10104734A DE10104734A DE10104734A1 DE 10104734 A1 DE10104734 A1 DE 10104734A1 DE 10104734 A DE10104734 A DE 10104734A DE 10104734 A DE10104734 A DE 10104734A DE 10104734 A1 DE10104734 A1 DE 10104734A1
Authority
DE
Germany
Prior art keywords
lighting
image data
image
scene
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10104734A
Other languages
German (de)
Inventor
Michael Holz
Edgar Weidel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE10104734A priority Critical patent/DE10104734A1/en
Publication of DE10104734A1 publication Critical patent/DE10104734A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/95—Lidar systems specially adapted for specific applications for meteorological use
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

A car control system uses infrared images from a camera with illumination of the scene and image processing to control the headlights, infrared illumination and windscreen wipers.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung gemäß den Oberbegriffen der Patenansprüche 1 und 12.The invention relates to a method and a device according to the preambles of Claims 1 and 12.

Zur Erhöhung der Verkehrssicherheit werden zunehmend Systeme in Betracht gezogen, welche die Sicht eines Fahrzeugführers verbessern. Beispielsweise ist es denkbar, wie in DE 40 07 646 beschrieben, bei Nacht das Fahrzeugumfeld mittels einer Infrarot- Beleuchtung zu bestrahlen um sodann die Bilddaten einer infrarot-empfindlichen Kamera dem Fahrzeuglenker zu präsentieren. Für ein solches System ist es angezeigt die zu präsentierende Szene möglichst optimal auszuleuchten.Systems are increasingly being considered to increase traffic safety, which improve the driver’s vision. For example, it is conceivable how in DE 40 07 646, the vehicle surroundings at night by means of an infrared Illuminate lighting and then the image data of an infrared sensitive Present the camera to the driver. It is appropriate for such a system to optimally illuminate the scene to be presented.

Zur optimalen Ausleuchtung des Fahrbahnbereichs mittels der Frontscheinwerfer eines Fahrzeugs, ist aus DE 197 13 884 ein Verfahren zur Regulierung von Leuchtweite und Leuchtrichtung bekannt. Hierbei sammeln Sensoren Informationen über das Fahrzeug und sein Umfeld und passen aufgrund dieser Informationen die aktuelle Einstellung der Scheinwerfer an. Hierbei wird aus den Sensorinformationen der Verlauf der Fahrbahn prädiziert und Kurven, Steigungen oder Gefälle erkannt. For optimal illumination of the road area using the front headlights Vehicle, from DE 197 13 884 is a method for regulating the headlight range and Direction of light known. Here, sensors collect information about the vehicle and his environment and, based on this information, adapt the current attitude of the Headlights on. The sensor information changes to the course of the road predicted and detected curves, inclines or descents.  

Zur generellen Ermittlung der Lichtverhältnisse in Front eines Fahrzeuges ist aus WO 99/ 17954 ein Verfahren bekannt, bei welchem eine Sensoreinheit den Bereich in Fahrtrichtung vor dem Fahrzeug abtastet. Auf diese Weise kann sodann auf sowohl auf die allgemeinen Lichtverhältnisse als auch auf die Lichtverhältnisse in Fahrtrichtung geschlossen werden. In Abhängigkeit davon läßt sich auf direkte Weise eine automatische helligkeits-abhängige Beleuchtungssteuerung (Ein/Aus), zum Beispiel im Bereich von Tunneleinfahrten, realisieren.For general determination of the lighting conditions in the front of a vehicle is off WO 99/17954 discloses a method in which a sensor unit covers the area in Scans direction of travel in front of the vehicle. This way you can then click on both the general lighting conditions as well as the lighting conditions in the direction of travel getting closed. Depending on this, one can be directly automatic brightness-dependent lighting control (on / off), for example in the Realize the area of tunnel entrances.

Zur Bestimmung einer optimalen Beleuchtungsintensität eines Kraftfahrzeugs, insbesondere zur Verminderung der Eigenblendung, wird in DE 40 40 175 vorgeschlagen, vom Kraftfahrzeug aus einen Testlichtstrahl auszusenden und in Abhängigkeit der Intensität des reflektierten Lichtsignals die Beleuchtung einzustellen. Um auch Erkenntnis über die vorherrschenden Sichtverhältnisse, beispielsweise in Nebelbänken, zu gewinnen wird vorgeschlagen infrarotes Licht für den Testlichtstrahl zu verwenden.To determine an optimal lighting intensity of a motor vehicle, DE 40 40 175 in particular to reduce self-glare proposed to emit a test light beam from the motor vehicle and in Adjust the lighting depending on the intensity of the reflected light signal. To also gain knowledge about the prevailing visibility, for example in Fog banks, it is proposed to gain infrared light for the test light beam use.

Ein weiteres System zur Steuerung eines Fahrzeugscheinwerfers und zur Erkennung von Wetterbedingungen ist aus WO 97/35743 bekannt. Durch die Analyse der Verteilung des von einer Leuchtquelle ausgehenden Lichts wird dabei auf den Zustand der Atmosphäre vor dem Fahrzeug geschlossen. Im speziellen soll Niederschlag von Regen und Schnee auf der Windschutzscheibe durch Bestimmung der Beleuchtungsdifferenz benachbarter Pixel erkannt wird.Another system for controlling a vehicle headlight and for recognizing Weather conditions are known from WO 97/35743. By analyzing the distribution of the light coming from a light source is based on the state of the Closed atmosphere in front of the vehicle. In particular, precipitation of rain is said and snow on the windshield by determining the difference in lighting neighboring pixels is recognized.

Die aus dem Stand der Technik bekannten Systeme zur Beleuchtungssteuerung auf Grundlage von Bilddaten arbeiten mit Kamerasystemen, deren Empfindlichkeit im Bereich des sichtbaren Lichts liegen. Bei Nacht und schlechter Sicht, also in den Situationen, in welchem eine Beleuchtungssteuerung am sinnvollsten eingesetzt werden kann, sind diese Kamerasysteme bezüglich der Ausleuchtung der Straßenszene vor dem Fahrzeug allein auf das Licht der Frontscheinwerfer angewiesen.The lighting control systems known from the prior art The basis of image data work with camera systems whose sensitivity in the Range of visible light. At night and with poor visibility, i.e. in the Situations in which lighting control is most useful can, these camera systems are in relation to the illumination of the street scene in front of the Vehicle relies solely on the light from the headlights.

Aufgabe der Erfindung ist es ein Verfahren und eine Vorrichtung gemäß den Oberbegriffen der Patentansprüche 1 und 12 zu finden, welche eine verbesserte Bildauswertung und somit verbesserte Steuerung von technischen Einrichtungen ermöglicht. The object of the invention is a method and an apparatus according to the Find preambles of claims 1 and 12, which is an improved Image evaluation and thus improved control of technical facilities allows.  

Die Aufgabe wird durch ein Verfahren und eine Vorrichtung mit den Merkmalen der Patentansprüche 1 und 12 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind durch die untergeordneten Patentansprüche beschrieben.The object is achieved by a method and a device with the features of Claims 1 and 12 solved. Advantageous refinements and developments the invention are described by the subordinate claims.

In besonders vorteilhafter Weise werden bei dem erfindungsgemäßen Verfahren zur Steuerung technischer Einrichtungen in einem Kraftfahrzeug auf Grundlage der Auswertung von Bilddaten eines Bildaufnahmesystems, welches eine aufzunehmende Szene mittels Beleuchtungsmitteln bestrahlt, die Bilddaten des Bildaufnahmesystems mit mindestens einer Infrarot-Kamera gewonnen. Dies hat gegenüber den aus dem Stand der Technik bekannten Verfahren zum einen den Vorteil der weitgehenden Unabhängigkeit von Tageslichtschwankungen (Tag, Dämmerung und Nacht) und Wetterlagen (Sonnenschein, Regen, Schneefall) und bietet zum einen die Möglichkeit eine Straßenszene mittels aktiver Infrarot-Beleuchtung auch in der Situation, dass Fahrzeuge entgegenkommen noch sinnvoll auszuleuchten, da nicht abgeblendet werden muss. Ein diesbezügliches System ist in der nachveröffentlichten Schrift DE 100 02 069 beschrieben. Durch diese weitgehende Unabhängigkeit der Bilddaten von äußeren Einflüssen und die Möglichkeit einer gleichmäßigen Ausleuchtung ist es in gewinnbringender Weise möglich die Komplexität des zur Auswertung der Bilddaten verwendeten Algorithmen zu reduzieren und somit Rechenaufwand und Rechengeschwindigkeit zu optimieren.In a particularly advantageous manner, in the method according to the invention Control of technical facilities in a motor vehicle based on the Evaluation of image data of an image recording system, which one to be recorded Illuminated scene by means of lighting, the image data of the image recording system obtained with at least one infrared camera. This has compared to that from the Methods known in the prior art have the advantage of extensive Independence from daylight fluctuations (day, twilight and night) and Weather conditions (sunshine, rain, snowfall) and on the one hand offers the possibility a street scene using active infrared lighting even in the situation that Appropriate vehicles still illuminate sensibly, since they are not dimmed got to. A system in this regard is in the subsequently published document DE 100 02 069 described. This extensive independence of the image data from external Influences and the possibility of uniform illumination is in profitably the complexity of the evaluation of the image data possible algorithms used and thus reduce computing effort and Optimize computing speed.

Nachfolgend soll die Erfindung anhand der Beschreibung vorteilhafter Ausgestaltungen und Weiterbildungen detailliert beschrieben werden.In the following, the invention will be described based on the description of advantageous configurations and further training are described in detail.

Fig. 1 zeigt eine typisches Bild einer Verkehrsszene wie es von dem erfindungsgemäßen Bilderfassungssystem aufgenommen wird. Fig. 1 shows a typical image of a traffic scene as it is received by the inventive imaging system.

Durch die für Verkehrsteilnehmer nicht sichtbare und somit nicht blendende Wirkung einer infraroten Beleuchtung des Fahrzeugumfelds ist es in vorteilhafter Weise möglich, zur Gewinnung der zu analysierenden Bilddaten die Beleuchtungsmittel des Bildaufnahmesystems mit maximaler Intensität zu betreiben. Dieses Vorgehen weist neben dem Vorteil der maximalen Ausleuchtung auch den Vorzug auf, daß die Beleuchtungsstärke für die Messung fix definiert und somit die Informationen der einzelnen Bilder direkt miteinander ins Verhältnis gesetzt werden kann. Due to the fact that it is not visible and therefore not dazzling for road users infrared illumination of the vehicle surroundings is advantageously possible to obtain the image data to be analyzed, the lighting means of the Operate image acquisition system with maximum intensity. This approach points in addition to the advantage of maximum illumination also the advantage that the Illuminance for the measurement fixedly defined and thus the information of the individual images can be directly related to each other.  

Es ist gleichwohl auch denkbar, in erfinderischer Weise das Bildaufnahmesystem sowohl als Steuersystem für technische Einrichtungen als auch zur Sichtverbesserung für den Fahrzeugführer heranzuziehen, wobei die Bilddaten dem Fahrzeugführer mittels einer Anzeigeeinheit dargestellt werden. In diesem Fall ist die Beleuchtungsintensität im allgemeinen in ihrer Intensität variabel zu gestalten, da für eine kontrastreiche, übersichtliche Bilddarstellung die Beleuchtungsintensität der jeweils vorherrschenden Umgebungssituation angepaßt werden muß. Beispielsweise sollte bei Nebel die Beleuchtung nach unten auf die Straße gerichtet werden, damit aufgrund der starken Rückstreuung keine Eigenblendung des Bildaufnahmesystems entsteht. Es bietet sich sodann an, die Bildfolge, welche dem Fahrzeugführer präsentiert wird in regelmäßigen Abständen kurzzeitig zu unterbrechen, und während dieser Zeitabschnitte bei voller Ausleuchtung der Verkehrsszene eine Meßaufnahme mit dem Kamerasystem zur Steuerung der technischen Einrichtungen im Kraftfahrzeug durchzuführen. Werden die Zeitabschnitte kurz genug gewählt, dann sind die Unterbrechungen der Bildpräsentation für den Fahrzeugführer nicht wahrnehmbar.Nevertheless, it is also conceivable to use the image recording system in an inventive manner as a control system for technical facilities as well as to improve visibility for the Vehicle driver to use, the image data to the vehicle driver using a Display unit are shown. In this case, the lighting intensity is in the general to vary in intensity, because for a high-contrast, clear image representation of the lighting intensity of the prevailing Environmental situation must be adjusted. For example, in fog Illumination should be directed downwards onto the street, therefore due to the strong Backscattering No self-glare of the image recording system arises. It offers then, the sequence of images presented to the driver in regular Interrupt intervals briefly, and during these periods at full Illumination of the traffic scene a measurement with the camera system Control of technical equipment in the motor vehicle. Will the Time segments chosen short enough are the interruptions in the slide show not perceptible to the driver.

In Bezug auf die aktive Beleuchtung der Szenen ist es denkbar den Infrarot-Anteil der Strahlung eines Beleuchtungsmittels, welches sichtbaren Licht ausstrahlt zu verwenden, wofür sich vor allem der Frontscheinwerfer des Kraftfahrzeugs eignet. In gewinnbringender Weise ist es aber auch denkbar, ein zusätzliches Infrarot- Leuchtmittel, unabhängig von den üblichen Leuchtmitteln des Kraftfahrzeugs zu verwenden. Hierdurch wird es möglich die unterschiedlichen Leuchtmittel unabhängig voneinander zu steuern und unabhängig voneinander in ihrer Intensität zu variieren.With regard to the active lighting of the scenes, it is conceivable the infrared portion of the To use radiation from an illuminant which emits visible light, for which the front headlight of the motor vehicle is particularly suitable. In In a profitable way, it is also conceivable to add an additional infrared Illuminants, regardless of the usual bulbs of the motor vehicle use. This makes it possible for the different lamps to be independent to control one another and to vary their intensity independently of one another.

Besonders gewinnbringend läßt sich die Erfindung ausgestalten, wenn es möglich ist das Infrarot-Leuchtmittel in seiner Ausrichtung unabhängig zu steuern, so dass bei Bedarf auch Objekte auf Grundlage der Auswertung der Bilddaten des Bilderfassungssystems, auch außerhalb der eigentlichen Fahrspur ausgeleuchtet werden können. Dies kann unter anderem besonders vorteilhaft zur Erkennung von Fußgängern oder von sich aus Nebenstraßen im Kreuzungsbereich annähernden Fahrzeugen ausgenutzt werden.The invention can be designed particularly profitably if it is possible to control the direction of the infrared illuminant independently, so that at Also needs objects based on the evaluation of the image data of the Image acquisition system, can also be illuminated outside the actual lane can. Among other things, this can be particularly advantageous for the detection of pedestrians or vehicles approaching on their own from side streets in the intersection area be exploited.

In erfinderischer Weise ist es in einer möglichen Ausgestaltung der Erfindung denkbar bei der Analyse der Bilddaten die darin enthaltene Entfernungsinformation mit auszuwerten. Dabei wird die Tatsache ausgenutzt, daß sich im allgemeinen die einzelnen Zeilen eines Kamerabildes direkt in Bezug auf die darin abgebildeten Bildelemente setzen lassen. In den der Erfindung zu Grunde liegenden Anwendungen (Erfassung von Straßenszenen) bilden sich normalerweise die am weitesten entfernten Objekten in den oberen Bereichen/Zeilen des Bild ab, während sich die nächstliegenden Objekte am unteren Rand des Bildes finden. Es ist nun bekannt, daß die Intensität der von der aktiven Beleuchtung rückgestreuten Intensität der Lichtsignale mit der Entfernung abnimmt. In vorteilhafter Weise lassen sich nun über die Art und Weise der Abnahme der rückgestreuten Lichtintensitäten Aussagen über die aktuellen Sichtverhältnisse machen. Dabei wird zu beobachten sein, dass sich der Abfall der Lichtintensität mit abnehmender Sicht zunehmend beschleunigt.In an inventive manner, it is conceivable in a possible embodiment of the invention when analyzing the image data, the distance information contained therein evaluate. This takes advantage of the fact that the individual lines of a camera image directly in relation to those depicted therein Have picture elements set. In the applications on which the invention is based  (Capturing street scenes) are usually the most distant Objects in the upper areas / lines of the image, while the closest ones Find objects at the bottom of the picture. It is now known that the intensity of the backscattered intensity of the light signals from the active lighting with the Distance decreases. Advantageously, the manner of Decrease of the backscattered light intensities statements about the current Make visibility. It will be observed that the waste of the Light intensity increasingly accelerated with decreasing visibility.

In einer anderen vorteilhaften Ausgestaltung der Erfindung wird über die Entropie der rückgestreuten Lichtsignale der aktiven Beleuchtung auf die Sichtverhältnisse geschlossen. Hierzu können beispielsweise die Bilddaten gewinnbringend in den Frequenzbereich transformiert werden. Das hieraus resultierende Frequenzspektrum kann sodann analysiert werden, um auf die im Fahrzeugumfeld herrschenden Sichtverhältnisse zu schließen. Dabei kann auf die Tatsache zurückgegriffen werden, dass sich proportional zur Verschlechterung der Sichtverhältnisse der Kontrast der Bilddaten abnimmt. Dieser Rückgang des Kontrasts drückt sich aber direkt im Rückgang der höherfrequenten Anteile des Frequenzspektrums der Bilddaten aus; schlechte Sicht wirkt sich also wie eine Tiefpassfilterung auf die Bilddaten aus. Somit läßt sich aus den Frequenzanteilen direkt auf die Sichtverhältnisse im Fahrzeugumfeld schließen. Es ist nun möglich je nach Anwendungsfall gewinnbringend die Frequenz-Transformation nur zeilenweise durchzuführen oder aber auch zweidimensionale Transformationsverfahren auf die gesamten Bilddaten oder Ausschnitte davon anzuwenden.In another advantageous embodiment of the invention, the entropy of the backscattered light signals of the active lighting on the visibility closed. For this purpose, for example, the image data can be used profitably in the Frequency range can be transformed. The resulting frequency spectrum can then be analyzed to determine the prevailing in the vehicle environment Close visibility. The fact that that in proportion to the deterioration in visibility, the contrast of the Image data decreases. This decrease in contrast is directly reflected in the decline the higher-frequency components of the frequency spectrum of the image data; bad sight thus acts like low-pass filtering on the image data. Thus, from the Frequency components directly indicate the visibility in the vehicle environment. It is Depending on the application, the frequency transformation is now only profitable to be carried out line by line or else two-dimensional transformation processes to be applied to the entire image data or sections thereof.

Unabhängig vom verwendeten Verfahren zur Analyse der Bilddaten ist es in vorteilhafter Weise denkbar im Vorfeld einer Anwendung des erfindungsgemäßen Verfahrens unterschiedlichste Umfeldszenarien (beispielsweise Nebel, Regen oder Schnee, jeweils mit unterschiedlicher Stärke) zu vermessen und die daraus resultierenden Parameter entweder in einer Datenbank (Look-Up-Table) abzulegen oder damit einen geeigneten Klassifikator (beispielsweise: Neuronales Netz) zu trainieren. Basierend darauf können sodann die Ergebnisse der Bildanalyse gewertet und beispielsweise daraus die vorherrschenden Sichtverhältnisse hergeleitet/klassifiziert werden.Regardless of the method used to analyze the image data, it is more advantageous Conceivable way in advance of using the method according to the invention different environment scenarios (for example fog, rain or snow, each with different strength) and the resulting parameters either stored in a database (look-up table) or a suitable one Classifier (for example: neural network) to train. Based on that, you can then evaluated the results of the image analysis and, for example, the prevailing visibility conditions can be derived / classified.

Durch die Möglichkeit der Erkennung unterschiedlicher Wettersituationen ist es sehr wohl möglich mittels des erfindungsgemäßen Verfahrens die Scheibenwischer eines Kraftfahrzeugs automatisch anzusteuern. Because of the possibility of recognizing different weather situations, it is very possible the wipers of one by means of the inventive method Automatically control motor vehicle.  

In vorteilhafter Weise werden durch das erfindungsgemäße Verfahren die Frontscheinwerfer des Kraftfahrzeugs und/oder die aktiven Beleuchtungselemente des Bildaufnahmesystems selbst gesteuert. Dabei ist es gewinnbringend beispielsweise die Frontscheinwerfer oder die aktiven Beleuchtungselemente bei Regen oder schlechten Sichtverhältnissen näher zum Fahrzeug hin auszurichten, wodurch mehr Lichtleistung zum Fahrzeug zurückreflektiert wird. In erfinderischer Weise ist es denkbar das erfindungsgemäße Verfahren so zu gestalten, dass die Leuchtintensität der Frontscheinwerfer oder der Beleuchtungsmittel des Bildaufnahmesystems abhängig von den Sichtverhältnissen gesteuert werden kann. Hierdurch kann die Eigenblendung des Systems, vor allem bei Nebel, signifikant verringert werden.Advantageously, the method according to the invention Headlights of the motor vehicle and / or the active lighting elements of the Self-controlled image acquisition system. It is profitable, for example Headlights or the active lighting elements when it is raining or bad Align visibility closer to the vehicle, creating more light output is reflected back to the vehicle. In an inventive way, it is conceivable To design the inventive method so that the light intensity of the Headlights or the lighting system of the imaging system depending on visibility can be controlled. As a result, the self-glare of the Systems, especially in fog, can be significantly reduced.

Da die infrarote Beleuchtung des Bildaufnahmesystems von entgegenkommenden Fahrzeuglenkern nicht wahrgenommen wird, braucht nur das sichtbar ausgestrahlte Licht des eigenen Fahrzeugs bei Gegenverkehr abgeblendet werden, während die Bildanalyse und deren Steuerung von technischen Einrichtungen des Fahrzeugs ungehindert fortgeführt werden kann.Because the infrared lighting of the imaging system from oncoming Vehicle drivers are not perceived, only need the visible broadcast Light of your own vehicle can be dimmed during oncoming traffic while the Image analysis and its control of technical equipment of the vehicle can continue unhindered.

Eine vorteilhafte Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens sollte innerhalb ihres Bildaufnahmesystems mindestens über eine Infrarot-Kamera verfügen. Die zusätzliche Integration und Verwendung einer im sichtbaren Bereich arbeitenden Kamera ist sehr wohl denkbar und trägt zu einer robusteren, verbesserten Systemfunktionalität bei.An advantageous device for performing the method according to the invention should have at least one infrared camera within their imaging system feature. The additional integration and use of one in the visible area working camera is very conceivable and contributes to a more robust, improved System functionality at.

In Betracht der Fähigkeit unterschiedliche Wetterbedingungen durch die Analyse der durch das Bilderfassungssystem gewonnen Bilddaten zu erkennen, kann die Erfindung in vorteilhafter Weise auch als stationäres System zur Wetterbeobachtung (Nebeldichte, Regenmenge, Sichtweite, Schneefall) benutzt werden. Hierbei ist es denkbar, dass die zu steuernden technischen Einrichtungen beispielsweise Warnvorrichtungen entlang von Straßen (Wechselschilder) sind, oder daß es sich bei der technischen Einrichtung um eine Kommunikationsanlage handelt, welche die Wetterinformation weiterübermittelt.Considering the ability to analyze different weather conditions To recognize image data obtained by the image acquisition system, the invention can be found in advantageously also as a stationary system for weather observation (fog density, Amount of rain, visibility, snowfall). It is conceivable that the to control technical equipment, for example, warning devices along Streets (change signs), or that it is the technical equipment is a communication system that transmits the weather information.

Claims (16)

1. Verfahren zur Steuerung technischer Einrichtungen in einem Kraftfahrzeug auf Grundlage der Auswertung von Bilddaten eines Bildaufnahmesystems, welches eine aufzunehmende Szene mittels Beleuchtungsmittel bestrahlt, dadurch gekennzeichnet, dass die Bilddaten des Bildaufnahmesystems mindestens mittels einer Infrarot-Kamera gewonnen werden.1. A method for controlling technical devices in a motor vehicle on the basis of the evaluation of image data of an image recording system which irradiates a scene to be recorded by means of lighting means, characterized in that the image data of the image recording system are obtained at least by means of an infrared camera. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Szene zur Gewinnung der auszuwertenden Bilddaten mit maximaler Intensität der Beleuchtungsmittel des Bildaufnahmesystems ausgaleuchtet wird. 2. The method according to claim 1, characterized in that the scene for extraction the image data to be evaluated with the maximum intensity of the lighting means of the Image acquisition system is illuminated.   3. Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass zur aktiven Beleuchtung der Szene der Infrarot-Anteil der Strahlung eines Beleuchtungsmittels, welches sichtbaren Licht ausstrahlt verwendet wird.3. The method according to any one of claims 1 to 2, characterized in that for active lighting of the scene the infrared portion of the radiation of a Illuminant that emits visible light is used. 4. Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass zur aktiven Beleuchtung der Szene ein Infrarot-Leuchtmittel, unabhängig von den üblichen Leuchtmitteln des Kraftfahrzeugs verwendet wird.4. The method according to any one of claims 1 to 2, characterized in that for active lighting of the scene an infrared lamp, regardless of the usual Bulbs of the motor vehicle is used. 5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Leuchtmittel unabhängig voneinander gesteuert werden.5. The method according to claim 4, characterized in that the illuminant can be controlled independently. 6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass bei der Analyse der Bilddaten die darin enthaltene Entfernungsinformation mit ausgewertet wird.6. The method according to any one of claims 1 to 4, characterized in that in the Analysis of the image data also evaluates the distance information contained therein becomes. 7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass bei der Auswertung der Bilddaten aus der Entropie dieser Daten auf die Sichtverhältnisse vor dem Fahrzeug geschlossen wird.7. The method according to any one of claims 1 to 6, characterized in that in the Evaluation of the image data from the entropy of this data on the visibility conditions before the vehicle is closed. 8. Verfahren nach einem Anspruch 1 bis 7, dadurch gekennzeichnet, dass die Frontscheinwerfer des Kraftfahrzeugs und/oder die aktiven Beleuchtungselemente des Bildaufnahmesystems gesteuert werden.8. The method according to claim 1 to 7, characterized in that the Headlights of the motor vehicle and / or the active lighting elements of the Image acquisition system can be controlled. 9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Frontscheinwerfer und/oder die aktiven Beleuchtungselemente bei Regen oder schlechten Sichtverhältnissen näher zum Fahrzeug hin ausgerichtet werden.9. The method according to claim 8, characterized in that the headlights and / or the active lighting elements when it is raining or bad Visibility should be aligned closer to the vehicle. 10. Verfahren nach einem der Ansprüche 8 bis 9, dadurch gekennzeichnet, dass die Leuchtintensität der Frontscheinwerfer und/oder der Beleuchtungsmittel des Bildaufnahmesystems abhängig von den Sichtverhältnissen gesteuert wird.10. The method according to any one of claims 8 to 9, characterized in that the Luminous intensity of the headlights and / or the lighting of the Image acquisition system is controlled depending on the visibility. 11. Verfahren nach einem Anspruch 1 bis 10, dadurch gekennzeichnet, dass die Scheibenwischer gesteuert werden. 11. The method according to claim 1 to 10, characterized in that the Wipers can be controlled.   12. Vorrichtung zur Steuerung technischer Einrichtungen in einem Kraftfahrzeug auf Grundlage der Auswertung von Bilddaten eines Bildaufnahmesystems, welches eine aufzunehmende Szene mittels Beleuchtungsmittel bestrahlt, dadurch gekennzeichnet, dass das Bildaufnahmesystam als Bildaufnehmer mindestens über eine Infrarot-Kamera verfügt.12. Device for controlling technical equipment in a motor vehicle Basis of the evaluation of image data of an image recording system, which a irradiated scene to be irradiated by means of lighting, characterized, that the image recording system as an image sensor at least via an infrared camera features. 13. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass das Bildaufnahmesystem über unabhängig steuerbare Beleuchtungsmittel zur Ausstrahlung sichtbaren Lichts und Beleuchtungsmittel zur Ausstrahlung infraroten Lichts verfügt.13. The apparatus according to claim 12, characterized in that the Image recording system via independently controllable lighting means for emission visible light and means of illumination for emitting infrared light. 14. Vorrichtung nach einem der Ansprüche 12 bis 13, dass die Beleuchtungsmittel des Bildaufnahmesystems die Frontscheinwerfer des Kraftfahrzeugs mit umfaßt.14. Device according to one of claims 12 to 13, that the lighting means of Image recording system includes the headlights of the motor vehicle. 15. Vorrichtung nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass das Bildaufnahmesystem eine Kamera umfaßt, welche Bilder sichtbaren Bereich erfaßt.15. The device according to one of claims 12 to 14, characterized in that the imaging system comprises a camera which captures images of the visible area. 16. Verwendung des Verfahrens nach Anspruch 1, als stationäres System zur Wetterbeobachtung.16. Use of the method according to claim 1, as a stationary system for Weather observation.
DE10104734A 2001-02-02 2001-02-02 Car control system uses infrared images to control vehicles head-lights and other units Withdrawn DE10104734A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE10104734A DE10104734A1 (en) 2001-02-02 2001-02-02 Car control system uses infrared images to control vehicles head-lights and other units

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10104734A DE10104734A1 (en) 2001-02-02 2001-02-02 Car control system uses infrared images to control vehicles head-lights and other units

Publications (1)

Publication Number Publication Date
DE10104734A1 true DE10104734A1 (en) 2002-08-29

Family

ID=7672640

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10104734A Withdrawn DE10104734A1 (en) 2001-02-02 2001-02-02 Car control system uses infrared images to control vehicles head-lights and other units

Country Status (1)

Country Link
DE (1) DE10104734A1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003060826A1 (en) * 2002-01-17 2003-07-24 Robert Bosch Gmbh Method and device for recognizing obstructions of view in image sensor systems
DE10249816A1 (en) * 2002-10-24 2004-05-13 Daimlerchrysler Ag Method and device for operating an automotive night-vision system
WO2004059978A1 (en) * 2002-12-20 2004-07-15 Daimlerchrysler Ag Area of representation in an automotive night vision system
DE10303047A1 (en) * 2003-01-24 2004-08-05 Daimlerchrysler Ag Method and device for improving the visibility and for determining the weather situation
FR2860462A1 (en) * 2003-10-02 2005-04-08 Daimler Chrysler Ag DEVICE FOR IMPROVING VISION CONDITIONS IN A VEHICLE
DE10346483A1 (en) * 2003-10-02 2005-05-12 Daimler Chrysler Ag Device for improving the visibility in a motor vehicle
DE102007049618A1 (en) * 2007-10-17 2009-04-23 Audi Ag Device and method for determining an operating parameter of at least one light source of a light source of a motor vehicle
DE102008037266A1 (en) * 2008-08-11 2010-02-18 GM Global Technology Operations, Inc., Detroit Device for automatic cleaning of head light of motor vehicle e.g. passenger car, has sensor unit for producing signal based on light distribution, and evaluation unit for activating cleaning unit for headlight based on signal
WO2014077908A1 (en) 2012-11-16 2014-05-22 Intel Corporation Augmenting adas features of a vehicle with image processing support in on-board vehicle platform
US9199574B2 (en) 2012-09-11 2015-12-01 Gentex Corporation System and method for detecting a blocked imager
DE102020213742A1 (en) 2020-11-02 2022-05-05 Robert Bosch Gesellschaft mit beschränkter Haftung Method for controlling the movement of at least one wiper of a wiper system
CN114633680A (en) * 2020-12-15 2022-06-17 上汽通用汽车有限公司 Control device and method based on vehicle camera, computer equipment and computer readable storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3908785A1 (en) * 1989-03-17 1990-09-27 Bke Bildtechnisches Konstrukti Method and devices for measuring the speed of motor vehicles
DE4221015A1 (en) * 1991-06-28 1993-01-14 Zexel Corp SYSTEM AND METHOD FOR AUTOMATIC VEHICLE CONTROL
EP0577501A1 (en) * 1992-06-30 1994-01-05 Valeo Vision Method and device for long distance night vision for motor vehicles
DE19801884A1 (en) * 1998-01-20 1999-07-22 Mannesmann Vdo Ag CCTV monitoring system for blind spots around motor vehicle
DE29914906U1 (en) * 1999-08-25 1999-12-16 Foehrenbach Christian Safety device
DE10030421A1 (en) * 1999-06-23 2001-01-04 Honda Motor Co Ltd Motor vehicle environment monitoring system detects object near vehicle from image produced by imaging device on vehicle, derives relative position, vector, collision probability

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3908785A1 (en) * 1989-03-17 1990-09-27 Bke Bildtechnisches Konstrukti Method and devices for measuring the speed of motor vehicles
DE4221015A1 (en) * 1991-06-28 1993-01-14 Zexel Corp SYSTEM AND METHOD FOR AUTOMATIC VEHICLE CONTROL
EP0577501A1 (en) * 1992-06-30 1994-01-05 Valeo Vision Method and device for long distance night vision for motor vehicles
DE19801884A1 (en) * 1998-01-20 1999-07-22 Mannesmann Vdo Ag CCTV monitoring system for blind spots around motor vehicle
DE10030421A1 (en) * 1999-06-23 2001-01-04 Honda Motor Co Ltd Motor vehicle environment monitoring system detects object near vehicle from image produced by imaging device on vehicle, derives relative position, vector, collision probability
DE29914906U1 (en) * 1999-08-25 1999-12-16 Foehrenbach Christian Safety device

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003060826A1 (en) * 2002-01-17 2003-07-24 Robert Bosch Gmbh Method and device for recognizing obstructions of view in image sensor systems
US7609857B2 (en) 2002-01-17 2009-10-27 Robert Bosch Gmbh Method and device for recognizing obstruction of view in image sensor systems
DE10249816A1 (en) * 2002-10-24 2004-05-13 Daimlerchrysler Ag Method and device for operating an automotive night-vision system
DE10249816B4 (en) * 2002-10-24 2006-01-12 Daimlerchrysler Ag Method and device for operating an automotive night-vision system
US7408478B2 (en) 2002-12-20 2008-08-05 Daimler Ag Area of representation in an automotive night vision system
WO2004059978A1 (en) * 2002-12-20 2004-07-15 Daimlerchrysler Ag Area of representation in an automotive night vision system
DE10303047A1 (en) * 2003-01-24 2004-08-05 Daimlerchrysler Ag Method and device for improving the visibility and for determining the weather situation
FR2860462A1 (en) * 2003-10-02 2005-04-08 Daimler Chrysler Ag DEVICE FOR IMPROVING VISION CONDITIONS IN A VEHICLE
DE10346483B4 (en) * 2003-10-02 2007-11-22 Daimlerchrysler Ag Device for improving the visibility in a motor vehicle
DE10346483A1 (en) * 2003-10-02 2005-05-12 Daimler Chrysler Ag Device for improving the visibility in a motor vehicle
DE102007049618A1 (en) * 2007-10-17 2009-04-23 Audi Ag Device and method for determining an operating parameter of at least one light source of a light source of a motor vehicle
DE102008037266A1 (en) * 2008-08-11 2010-02-18 GM Global Technology Operations, Inc., Detroit Device for automatic cleaning of head light of motor vehicle e.g. passenger car, has sensor unit for producing signal based on light distribution, and evaluation unit for activating cleaning unit for headlight based on signal
US9199574B2 (en) 2012-09-11 2015-12-01 Gentex Corporation System and method for detecting a blocked imager
WO2014077908A1 (en) 2012-11-16 2014-05-22 Intel Corporation Augmenting adas features of a vehicle with image processing support in on-board vehicle platform
EP2920040A4 (en) * 2012-11-16 2017-06-07 Intel Corporation Augmenting adas features of a vehicle with image processing support in on-board vehicle platform
DE102020213742A1 (en) 2020-11-02 2022-05-05 Robert Bosch Gesellschaft mit beschränkter Haftung Method for controlling the movement of at least one wiper of a wiper system
CN114633680A (en) * 2020-12-15 2022-06-17 上汽通用汽车有限公司 Control device and method based on vehicle camera, computer equipment and computer readable storage medium

Similar Documents

Publication Publication Date Title
EP1019267B1 (en) Method and device for determining the light conditions in front of a vehicle
DE19922735B4 (en) Vehicle lighting system
EP2057583B1 (en) Automatic high beam control method
DE102011077038A1 (en) Method and device for detecting objects in an environment of a vehicle
DE102011088130B4 (en) Method and device for detecting a braking situation
EP1214224B1 (en) Sensor device for a motor vehicle used for detecting environmental parameters
DE102009039179A1 (en) Headlight control device and vehicle headlight with headlight control device
EP2748032B1 (en) Method and device for controlling a headlamp of a vehicle
EP2062198B1 (en) Recognition of vehicle lights by means of a camera
DE102014212777B4 (en) Method and device for automatic control of a windshield wiper
DE102009002101A1 (en) Method and device for illuminating road side areas
EP2788917A1 (en) Method for evaluating image data of a vehicle camera taking into account information about rain
DE10104734A1 (en) Car control system uses infrared images to control vehicles head-lights and other units
DE102009011866A1 (en) Method and apparatus for determining a range of visibility for a vehicle
DE102020120713A1 (en) Method for operating a high-beam assistance system of a motor vehicle and motor vehicle
DE212013000187U1 (en) System Image of an outdoor scene using an application-specific image sensor
DE102013210097A1 (en) Driver information device
DE102006004770B4 (en) Method for image-based recognition of vehicles in the vicinity of a road vehicle
EP2562685B1 (en) Method and device for classifying a light object located in front of a vehicle
DE102004020682A1 (en) Imaging system
EP2131308A1 (en) Method and device for classifying an object detected in at least one image of an area visualised in front of a vehicle
EP2748759A1 (en) Method and device for detecting disturbing objects in the surrounding air of a vehicle
WO2020064065A1 (en) Method for detecting light conditions in a vehicle
DE102006043433B4 (en) Method for image-based determination of the direction of travel of vehicles
DE102016224185A1 (en) Method and apparatus for camera-based control of a lighting unit of a motor vehicle

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE

8127 New person/name/address of the applicant

Owner name: DAIMLER AG, 70327 STUTTGART, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0016020000

Ipc: G01S0017950000

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G01S0017880000

Ipc: G01S0017950000

Effective date: 20120529

R120 Application withdrawn or ip right abandoned
R120 Application withdrawn or ip right abandoned

Effective date: 20121023