DE19803694C1 - Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten sowie Vorrichtung - Google Patents

Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten sowie Vorrichtung

Info

Publication number
DE19803694C1
DE19803694C1 DE19803694A DE19803694A DE19803694C1 DE 19803694 C1 DE19803694 C1 DE 19803694C1 DE 19803694 A DE19803694 A DE 19803694A DE 19803694 A DE19803694 A DE 19803694A DE 19803694 C1 DE19803694 C1 DE 19803694C1
Authority
DE
Germany
Prior art keywords
pane
image
evaluation
difference image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE19803694A
Other languages
English (en)
Inventor
Frank Dipl Ing Blaesing
Norbert Dipl Ing Bendicks
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leopold Kostal GmbH and Co KG
Original Assignee
Leopold Kostal GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to DE19803694A priority Critical patent/DE19803694C1/de
Application filed by Leopold Kostal GmbH and Co KG filed Critical Leopold Kostal GmbH and Co KG
Priority to EP99903636A priority patent/EP1053140B1/de
Priority to PCT/EP1999/000229 priority patent/WO1999038737A1/de
Priority to BR9907714-0A priority patent/BR9907714A/pt
Priority to DE59901725T priority patent/DE59901725D1/de
Priority to JP2000529995A priority patent/JP4210431B2/ja
Priority to US09/555,532 priority patent/US6323477B1/en
Priority to ES99903636T priority patent/ES2178381T3/es
Priority to AU24214/99A priority patent/AU2421499A/en
Application granted granted Critical
Publication of DE19803694C1 publication Critical patent/DE19803694C1/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Geophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

Die Erfindung bezieht sich auf das Gebiet des Erkennens von Objekten auf einer lichtdurchlässigen Scheibe, etwa einer Windschutzscheibe eines Kraftfahrzeuges. Insbesondere bezieht sich die Erfindung auf ein Verfah­ ren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten unter Verwendung einer ein optisches Sensorarray enthaltenen Aufnahmeeinheit. Ferner betrifft die Erfindung eine Vorrichtung zum De­ tektieren von auf einer lichtdurchlässigen Scheibe befindlichen beleuchteten Objekten, eine Aufnahmeeinheit mit einem optischen Sensorarray zum Erfassen von der Beleuchtungseinrichtung emittierter und reflektierter Lichtstrahlen und eine Auswerteeinheit.
Ein derartiges Verfahren wird beispielsweise zum Detektieren von auf ei­ ner Windschutzscheibe eines Kraftfahrzeuges befindlichen Regentropfen zum Steuern eines Wischermotors verwendet. Eine diesbezügliche Vor­ richtung wird entsprechend als Regensensor bezeichnet. Aus der US-PS 4 867 561 ist ein solches Verfahren sowie ein solcher Regensensor be­ kannt. Das in diesem Dokument beschriebene Detektionsverfahren ar­ beitet nach dem Reflektionsprinzip unter Ausnutzung einer Totalreflektion an der Außenseite der Windschutzscheibe. Zu diesem Zweck umfaßt der Regensensor eine als Beleuchtungseinrichtung ausgebildete Infrarotdiode (IR-Diode), deren emittierte Lichtstrahlen innenseitig auf einen zu beobachtenden Windschutzscheibenausschnitt gerichtet sind. Als Auf­ nahmeeinheit wird ein optisches Sensorarray verwendet, dem zur Abbil­ dung der IR-Diode auf seiner photosensitiven Oberfläche eine Linse vor­ geschaltet ist. Die Beleuchtungseinrichtung und die Aufnahmeeinheit sind dergestalt zueinander angeordnet, daß von der Leuchtdiode emittierte Lichtstrahlen, die durch Totalreflektion der Windschutzscheibe reflektiert werden, bei freier Windschutzscheibe auf dem Sensorarray abgebildet werden. Das vorbekannte Verfahren nutzt die Tatsache, daß bei Nicht­ vorhandensein von Objekten auf der Windschutzscheibe besagte Totalre­ flektion der von der Beleuchtungseinrichtung emittierten Lichtstrahlen an der Außenseite der Windschutzscheibe zum Sensorarray hin erfolgt. Be­ finden sich dagegen Regentropfen auf der Außenseite der Windschutz­ scheibe werden Lichtstrahlen aus dem Regentropfen ausgekoppelt, so daß nur ein Teil der Lichtstrahlen zum Sensorarray hin reflektiert wird. Folglich ist die von dem Sensorarray erfaßbare Lichtintensität bei einem Vorhandensein von Regentropfen auf der Windschutzscheibe geringer verglichen mit der erfaßten Lichtintensität bei einer Totalreflektion.
Die Signale des Sensorarrays werden in einer dem Sensorarray nachge­ schalteten Auswerteeinheit zunächst gefiltert, um diejenigen Signalkom­ ponenten der weiteren Auswertung nicht zu kommen zu lassen, die nicht den von der Beleuchtungseinrichtung emittierten Lichtstrahlen zugeordnet werden können. Zu diesem Zweck ist die Filterung wellenlängenspezifisch ausgerichtet. Das gefilterte Sensorarrayausgangssignal wird anschließend einem Vergleicherglied zugeführt, in welchem ein Schwellwertvergleich der erfaßten Lichtintensität mit einem vorgegebenen Schwellwert durchgeführt wird. Ist die erfaßte Lichtintensität geringer als das Schwellwertsignal, liegt am Ausgang des Vergleichergliedes ein Steuersignal an, mit welchem ein Mikrocomputer zum Ansteuern des Wi­ schermotors beaufschlagt wird.
Auch wenn das in diesem Dokument beschriebene Verfahren bzw. die in diesem Dokument beschriebene Vorrichtung gegenüber älteren eine ver­ besserte Detektion ermöglicht, ist das Verfahren dennoch Fehlereinflüs­ sen unterlegen. Als Störfaktoren können an der Kraftfahrzeugkarosserie oder an der Windschutzscheibe gebrochene Sonnenstrahlen oder auch andere Lichtstrahlen angesehen werden, bei deren Brechung auch Infra­ rotlichtanteile produziert werden, die sodann das Sensorarray beaufschla­ gen können. Da die Auswertung der in dem Sensorarray erfaßten Licht­ intensität durch Vorgabe des Schwellwertes an die emittierte Lichtintensi­ tät der Beleuchtungseinrichtung angepaßt ist, können derartige sekundäre Einflüsse, die Auskopplung von Lichtstrahlen durch auf der Windschutz­ scheibe anhaftende Regentropfen überlagern, so daß das resultierende Auswerteergebnis nicht mehr den tatsächlichen Gegebenheiten ent­ spricht.
Ferner ist das vorbekannte Verfahren nicht geeignet, Objekte auf der Windschutzscheibe zu detektieren, bei denen eine Auskopplung von Lichtstrahlen nicht stattfindet, wie etwa bei Staub oder dergleichen.
Ausgehend von diesem diskutierten Stand der Technik liegt der Erfindung daher zum einen die Aufgabe zugrunde, ein Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten vorzu­ schlagen, mit dem eine exaktere Detektion von auf der Windschutz­ scheibe befindlichen Objekten bei gleichzeitiger Unterdrückung nicht re­ levanter Lichtsignale bzw. von Störeinflüssen gewährleistet ist. Ferner liegt der Erfindung die Aufgabe zugrunde, eine entsprechende Vorrichtung bereit zu stellen.
Die verfahrensbezogene Aufgabe wird erfindungsgemäß durch ein Ver­ fahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindli­ chen, bei einer Beleuchtung Lichtreflexe erzeugenden Objekten unter Verwendung einer ein oder mehrere optische Sensorarrays enthaltenen Aufnahmeeinheit gelöst, welches Verfahren folgende Schritte umfaßt:
  • - Beleuchten der Scheibe zum Erzeugen von Lichtreflexen in oder an auf der Scheibe befindlichen Objekten von derjenigen Scheibenseite, hinter der die Aufnahmeeinheit angeordnet ist,
  • - bildliches Erfassen eines beleuchteten Scheibenausschnitts mit der Aufnahmeeinheit durch Bereitstellen von zwei, ein Bild paar bildenden Scheibenausschnittsbildern, in welchen beiden Bildern der oder die durch die Beleuchtung erzeugten Lichtreflexe eines auf der Scheibe befindlichen Objektes jeweils an lageunterschiedlichen Bildpunkten an­ geordnet sind,
  • - Ermitteln des Differenzbildes der beiden Bilder eines Bildpaares durch Subtraktion der Inhalte lagegleicher Bildpunkte des einen Scheiben­ ausschnittsbildes von denjenigen des anderen Scheibenausschnittsbil­ des und anschließendes Auswerten des ermittelten Differenzbildes hin­ sichtlich der den einzelnen Bildpunkten zugeordneten Inhalten.
Die vorrichtungsbezogene Aufgabe wird zum einen dadurch gelöst, daß als Aufnahmeeinheit ein einziges Sensorarray in einer solchen Anordnung zur Scheibe vorgesehen ist, daß die zu beobachtende Scheibenoberflä­ che des von dem Sensorarray erfaßten Scheibenausschnittes im Tiefen­ schärfenbereich der sich auf der photosensitiven Oberfläche des Sensor­ arrays darstellenden Abbildung des Scheibenausschnittes liegen, und daß die Beleuchtungseinrichtung zumindest zwei voneinander beabstandete, den von der Aufnahmeeinheit betrachteten Scheibenausschnitt aus un­ terschiedlichen Richtungen beleuchtende Lichtquellen umfaßt.
Ferner wird die vorrichtungsbezogene Aufgabe dadurch gelöst, daß die Aufnahmeeinheit zwei voneinander beabstandete optische Sensorarrays in einer stereoskopischen Anordnung zur Scheibe umfaßt, bei der die zu beobachtende Scheibenoberfläche des von den Sensorarrays erfaßten Scheibenausschnittes im Tiefenschärfenbereich der sich auf den photo­ sensitiven Oberflächen der Sensorarrays darstellenden Abbildung des Scheibenausschnittes liegen, welche optischen Sensorarrays zum Be­ trachten eines Scheibenausschnittes dergestalt angeordnet sind, daß der sich in einem bestimmten Abstand zur betrachtenden Scheibe befindliche Hintergrund auf beiden Sensorarrays an lagegleichen Bildpunkten abge­ bildet wird.
Gemäß dem vorgeschlagenen Verfahren erfolgt eine Auswertung des beobachteten Scheibenausschnittes nicht nur anhand eines einzigen Bil­ des bzw. anhand der Inhalte seiner Bildpunkte, sondern anhand von zwei einzelnen Bildern, die im Zusammenhang dieser Ausführungen jeweils als Scheibenausschnittsbild und gemeinsam als Bildpaar angesprochen sind. Dabei ist vorgesehen, daß mit den beiden Scheibenausschnittsbildern zwar der gleiche Scheibenausschnitt wiedergebbar ist, daß jedoch die durch die Beleuchtung erzeugten Lichtreflexe eines auf der Scheibe befindlichen Objektes in jedem Scheibenausschnittsbild auf lageunter­ schiedlichen Bildpunkten oder nur auf einem Scheibenausschnittsbild abgebildet werden. Einflüsse, die nicht auf durch die Beleuchtung er­ zeugte Lichtreflexe in den auf der Scheibe befindlichen Objekten zurück­ zuführen sind, werden dagegen in beiden Scheibenausschnittsbildern jeweils auf lagegleichen Bildpunkten abgebildet. Die Beleuchtung des zu erfassenden Scheibenausschnittsbildes kann durch vorhandenes Umge­ bungslicht (Tageslicht) oder durch eine zusätzliche Beleuchtungseinrich­ tung erfolgen. In dem anschließenden Schritt des Ermittelns des Diffe­ renzbildes aus den beiden Scheibenausschnittsbildern werden die Inhalte lagegleicher Bildpunkte voneinander subtrahiert. Im Ergebnis führt dies zu einem Differenzbild, bei dem die Inhalte derjenigen Bildpunkte, die das Ergebnis der Subtraktion lagegleicher Bildpunkte mit gleichem Bildinhalt sind, den Wert 0 aufweisen. Dagegen erhalten diejenigen Bildpunkte des Differenzbildes einen von 0 unterschiedlichen Wert, etwa den Wert l, deren Bildinhalte, etwa durch das Erfassen von lageunterschiedlichen Lichtreflexen, unterschiedlich sind. Da Störeinflüsse im allgemeinen aus dem Hintergrund erscheinen, werden diese auf beiden Scheibenausschnittsbildern auf lagegleichen Bildpunkten abgebildet und somit durch Ermitteln des Differenzbildes eliminiert. Folglich unterliegen der anschließenden Auswertung ausschließlich diejenigen Signale, die den auf einer Scheibe anhaftenden Objekten zuzuordnen sind.
Die beiden Scheibenausschnittsbilder können etwa dadurch bereitgestellt werden, daß diese von ein und demselben optischen Sensorarray zeitlich aufeinanderfolgend aufgenommen werden, wobei jedoch jedes Scheiben­ ausschnittsbild bei einer unterschiedlichen Beleuchtungskonfiguration hinsichtlich der auf die Scheibe auftreffenden Einfallsrichtung der von ei­ ner Beleuchtungsreinrichtung emittierten Lichtstrahlen aufgenommen wird. Bei einer solchen Ausgestaltung wird das zuerst aufgenommene Schei­ benausschnittsbild eines Bildpaares in einem Bildspeicher abgelegt, bis das zweite Scheibenausschnittsbild des Bildpaares aufgenommen worden ist. Ferner können die beiden Scheibenausschnittsbilder auch durch Verwendung einer stereoskopischen Sensorarrayanordnung bereitgestellt werden. Diese stereoskopische Sensorarrayanordnung ist so ausge­ richtet, daß ab einem bestimmten Abstand zu dieser der von der Sensor­ arrayanordnung erfaßte Hintergrund auf lagegleichen Bildpunkten abge­ bildet wird. Als diesbezügliche Entfernung kann beispielsweise die Entfer­ nung der Windschutzscheibe von der vorderen Motorhaubenkante ange­ nommen werden. Zweckmäßigerweise werden die beiden Scheibenaus­ schnittsbilder mit beiden Sensorarrays gleichzeitig aufgenommen. Diese Sensorarrayanordnung vermag auch ohne aktive Beleuchtungseinrichtung bei Vorhandensein von ausreichendem Umgebungslicht zu arbeiten. Reicht das Umgebungslicht nicht aus, ist vorgesehen, dieser stereoskopi­ schen Sensorarrayanordnung eine gemeinsame Beleuchtungseinrichtung zum Beleuchten der Scheibe bzw. der darauf zu detektierenden Objekte zuzuordnen. Bei dieser Anordnung muß nicht notwendigerweise derselbe Scheibenausschnitt betrachtet werden, solange die oben genannte Forde­ rung hinsichtlich der Hintergrundabbildung gegeben ist.
Mit den beschriebenen Vorrichtungen lassen sich in Abhängigkeit der gewählten Tiefenschärfe entweder die äußere Scheibenoberfläche oder die innere Scheibenoberfläche oder beide Scheibenoberflächen beobachten.
Eine Auswertung des ermittelten Differenzbildes kann beispielsweise im Wege einer Energieabschätzung durch eine Differenzbildenergiebestim­ mung, wie in der deutschen Patentanmeldung 197 36 584.1 der Anmel­ derin beschrieben, erfolgen, welches Verfahren hiermit durch Bezug­ nahme ebenfalls Gegenstand dieser Beschreibung ist.
Eine Auswertung des ermittelten Differenzbildes kann aber auch hinsicht­ lich der darin enthaltenen Hell-Dunkel-Übergänge (Kanten) durchgeführt werden. Bei einer solchen Auswertung ist es zweckmäßig, wenn das Aus­ werteverfahren eine Bearbeitung des Differenzbildes mit einem Kan­ tenoperator beinhaltet, bei welcher Kantenoperation eine Kantenbetonung bei gleichzeitiger Unterdrückung von Gleichflächen erreicht wird. Grundsätzlich kann als Kantenoperation beispielsweise eine Gradienten­ bildung, eine Ableitung oder eine Verwendung von stochastischen Ope­ ratoren eingesetzt werden, wobei der Einsatz stochastischer Operatoren bevorzugt ist.
Zur Eliminierung eines unerwünschten Impulsrauschens, kann das Diffe­ renzbild anschließend mediangefiltert werden. Zur weiteren Bearbeitung des Differenzbildes und zur weiteren Eliminierung von möglichen Rest­ störeinflüssen kann die Auswertung des ermittelten Differenzbildes ferner eine zeitliche Tiefpaßfilterung umfassen. Bei einer solchen Tiefpaßfilte­ rung wird davon ausgegangen, daß zu detektierende Objekte auf der Scheibe über mehrere Bildsequenzen bzw. Bildperioden auf gleichen Bildpunkten erfaßbar sind. Bei dieser Filterung werden daher Schlaglichter oder Reflexe, die etwa durch Kratzer in der Windschutzscheibe hervorgerufen werden und nur in einzelnen Bildsequenzen enthalten sind, eliminiert.
Die Auswertung des Differenzbildes kann in einem weiteren Schritt die Erstellung einer Binärbilddatei aus den Bildpunktinhalten des ermittelten und bearbeiteten Differenzbildes umfassen, so daß im Ergebnis jedem Bildpunkt des Differenzbildes entweder der Wert 0 oder der Wert 1 zuge­ ordnet ist. Die Erzeugung der Binärbilddatei erfolgt durch Vergleich der Bildpunktinhalte mit einem vorbestimmten Schwellwert. An diesem Schritt kann sich eine Gesamtbildenergieberechnung anschließen, bei der die Werte aller Bildpunkte aufsummiert werden, um Aufschluß über die An­ zahl der Kanten bzw. Hell-Dunkel-Übergänge (= erfaßte Lichtreflexe) zu erhalten. In einem weiteren Vergleicherschritt erfolgt ein Vergleich der Gesamtbildenergie mit einem konstanten oder adaptiven Schwellwert in einem Vergleicherglied, welches bei Überschreiten des Schwellwertes ein Signal zum Ansteuern eines Aktors, beispielsweise eines Wischermotors ausgibt.
Neben der genannten Auswertung durch eine Gesamtbildenergieberech­ nung kann auch eine Auswertung durch eine Clusterbildung benachbarter Bildpunkte mit dem Wert 1 erfolgen. Die erzeugte Clusterung ist dann unter Zuhilfenahme üblicher statistischer Methoden auswertbar. Beson­ ders bevorzugt ist ein Auswerteverfahren, bei dem das Ergebnis der sta­ tistischen Clusterauswertung zur Einstellung des für die Durchführung des Vergleicherschrittes im Anschluß an die Gesamtenergieberechnung be­ nötigten Schwellwerts verwendet wird. Damit ist der Schwellwert des Ver­ gleichergliedes an die Größe der detektierten Objekte anpaßbar.
Weitere Vorteile der Erfindung ergeben sich aus weiteren Unteransprü­ chen sowie aus der nachfolgenden Figurenbeschreibung. Es zeigen:
Fig. 1 eine schematisierte Darstellung einer Vorrichtung zum De­ tektieren von auf einer lichtdurchlässigen Scheibe befindli­ chen Objekten unter Verwendung eines einzigen optischen Sensorarrays,
Fig. 2 ein schematisiertes Blockschaltbild zur Darstellung eines Verfahrens zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten,
Fig. 3 eine schematisierte Darstellung einer weiteren Vorrichtung zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten unter Verwendung einer stereoskopi­ schen Sensorarrayanordnung und
Fig. 4 ein schematisiertes Blockschaltbild zur Ermittlung eines Dif­ ferenzbildes aus Scheibenausschnittsbildern gemäß der in Fig. 3 beschriebenen Vorrichtung.
Die in Fig. 1 gezeigte Aufnahmeeinheit 1 zum Detektieren von auf einer Scheibe, hier einer Windschutzscheibe 2 befindlichen Regentropfen 3 umfaßt einen optischen Zeilensensor 4, etwa eine CCD-Zeile, eine dem Zeilensensor 4 vorgeschaltete konvexe Linse 5 sowie eine Lochblende 6. Die Aufnahmeeinheit 1 ist auf die Außenseite der Windschutzscheibe 2 focussiert, wobei durch die Lochblende 6 der Tiefenschärfenbereich des auf der photosensitiven Oberfläche des Zeilensensors 4 abgebildeten Windschutzscheibenausschnitts ebenfalls Bereiche geringfügig oberhalb der äußeren Oberfläche der Windschutzscheibe 2 sowie im Bereich der inneren Oberfläche der Windschutzscheibe 2 umfaßt. Zur Erzeugung von Lichtreflexen, in den auf der Windschutzscheibe 2 anhaftenden Regen­ tropfen 3 ist eine Beleuchtungseinrichtung 7 vorgesehen, die bei dem dargestellten Ausführungsbeispiel aus zwei IR-Dioden 8, 9 besteht.
Zur Bereitstellung von zwei Scheibenausschnittsbildern, in denen der durch die Beleuchtungseinrichtung 7 jeweils erzeugte Lichtreflex des auf der Windschutzscheibe 2 befindlichen Regentropfens 3 an lageunter­ schiedlichen Bildpunkten angeordnet ist, wird ein erstes Scheibenaus­ schnittsbild bei einer Beleuchtung des Regentropfens 3 allein durch die IR-Diode 8 aufgenommen. Diese Situation ist in der linken Hälfte der Fig. 1 unter dem Titel "Beleuchtung links" dargestellt. Der durch die Reflektion der von der Leuchtdiode 8 emittierten Lichtstrahlen in dem Regentropfen 3 erzeugte Lichtreflex Rl wird mit der notwendigen Abbildungsschärfe von dem Zeilensensor 4 bzw. von einigen seiner Bildpunkte erfaßt. Ein zweites Scheibenausschnittsbild wird anschließend bei einer Beleuchtung der Windschutzscheibe 2 mit der Leuchtdiode 9 aufgenommen, so daß der durch diese Beleuchtung erzeugte Lichtreflex Rr mit ausreichender Abbil­ dungsschärfe von dem Zeilensensor 4 bzw. einiger seiner Bildpunkte auf­ genommen werden kann. Diese Aufnahmesituation ist in der rechten Hälfte der Fig. 1 unter der Überschrift "Beleuchtung rechts" dargestellt. Die beiden IR-Dioden 8, 9 sind, wie aus Fig. 1 ersichtlich, so angeordnet, daß deren emittierte Lichtstrahlen aus unterschiedlichen Einfallsrichtun­ gen die Windschutzscheibe 2 beleuchten und an entsprechend unter­ schiedlichen Positionen im Regentropfen 3 einen Lichtreflex Rl bzw. Rr erzeugen. Daher bilden sich die von dem Zeilensensor 4 aufgenomme­ nen, durch den Regentropfen 3 erzeugten Lichtreflexe Rl, Rr auf zumin­ dest teilweise unterschiedlichen Bildpunkten des Zeilensensors 4 ab. Zur Veranschaulichung ist die Sensorzeile 4 mit den darauf abgebildeten Lichtreflexen Rl, Rr im unteren Teil der Fig. 1 übereinander angeordnet als Synonym für die aufgenommenen Scheibenausschnittsbilder abgebil­ det. Wird in einem ersten Verarbeitungsschritt ein Differenzbild aus den beiden Scheibenausschnittsbildern erzeugt, ergibt sich ein virtuelles Diffe­ renzbild, wie es schematisiert mit dem Bezugszeichen D gekennzeichnet ist. Bei diesem Differenzbild D sind die Inhalte lagegleicher Bildpunkte des unteren Scheibenausschnittsbildes aufgenommen bei einer Beleuchtung von links von denjenigen des Scheibenausschnittsbildes aufgenommen bei einer Beleuchtung von rechts subtrahiert worden. Lagegleiche Bildpunkte, die einen gleichen Inhalt aufweisen, erhalten somit den Wert 0 und sind in dem Differenzbild D schwarz dargestellt. Betragsmäßige Un­ terschiede zwischen lagegleichen Bildpunkten werden entsprechend als beleuchtete Bildpunkte in dem Differenzbild D dargestellt. Da sich die in den beiden Scheibenausschnittsbildern erfaßten Lichtreflexe Rl, Rr in den dargestellten Ausführungsbeispiel bereichsweise überschneiden, ist die­ ser Bereich im Differenzbild D ebenfalls schwarz. Das Ergebnis dieser Differenzbildermittlung stellt somit die beiden Lichtreflexe Rl, Rr bzw. deren Lichtreflexanteile Rl', Rr' dar.
Durch die Bereitstellung der beiden Scheibenausschnittsbilder bei unter­ schiedlicher Beleuchtungseinfallsrichtung wird erkennbar, daß Lichtreflexe naturgemäß nur dann von der Aufnahmeeinheit 1 erfaßt werden, wenn tatsächlich Objekte, beispielsweise Regentropfen 3 auf der Windschutz­ scheibe 2 anhaften. Befinden sich auf der Windschutzscheibe 2 dagegen keine Objekte, wird in beiden zeitlich nacheinander aufgenommenen Scheibenausschnittsbildern jeweils derselbe Hintergrund erfaßt, so daß nach einer Differenzbildbildung die Bildpunktinhalte des Differenzbildes sämtlich den Wert 0 aufweisen. Durch die Beleuchtung möglicherweise im Hintergrund erzeugte Lichtreflexe, die von der Aufnahmeeinheit 1 erfaßt werden, werden aufgrund der gegenüber dem Abstand zur Windschutz­ scheibe 2 sehr viel größeren Entfernung zum einen nur geringe Lichtinten­ sitäten aufweisen; zum anderen werden diese auf lagegleichen Bildpunk­ ten abgebildet.
In dem in Fig. 2 schematisch dargestellten Blockschaltbild ist erkennbar, daß die Aufnahmeeinheit 1 durch eine Vorrichtung 10 zur Belichtungs­ zeitadaption belichtungszeitgesteuert ist. Entsprechend der wechselwei­ sen Anschaltung der IR-Diode 8 bzw. der IR-Diode 9 wird gleichzeitig mit der Aufnahmeeinheit 1 jeweils ein Scheibenausschnittsbild aufgenommen. Das zuerst aufgenommene Scheibenausschnittsbild eines zu verarbeiten­ den Bildpaares wird in einen Bildspeicher 11 abgelegt und dann wieder aus diesem abgerufen, wenn das zweite Scheibenausschnittsbild durch die Aufnahmeeinheit 1 aufgenommen worden ist. Die beiden Scheiben­ ausschnittsbilder eines Bildpaares beaufschlagen anschließend einen Differenzbildbildner 12, in dem auf Grundlage der beiden Scheibenaus­ schnittsbilder das Differenzbild D in der oben beschriebenen Weise er­ mittelt.
Das Differenzbild D bzw. die in den einzelnen Bildpunkten des Differenz­ bildes D enthaltene Information wird anschließend ausgewertet. In einem ersten Auswerteschritt wird eine Kantenoperation in einem Kantenopera­ torglied 13 durchgeführt, durch welche Kantenoperation eine Kantenbeto­ nung bzw. eine Betonung der Hell-Dunkel-Übergänge des Differenzbildes D bei gleichzeitiger Unterdrückung von Gleichflächen durchgeführt wird. Als Kantenoperator werden bevorzugt stochastische Operatoren verwen­ det.
Im Anschluß an die Kantenoperation wird das Differenzbild in einem Me­ dianfilter 14 zur Unterdrückung von eventuell vorhandenem Impulsrau­ schen gefiltert. Die Filterlänge beträgt in dem dargestellten Ausfüh­ rungsbeispiel drei Bildpunkte; selbstverständlich können auch andere ge­ eignete Filterlängen vorgesehen sein. Das mediangefilterte Differenzbild wird in einem weiteren Auswerteschritt in einem Tiefpaßfilter 15 zeitlich tiefpaßgefiltert, so daß nach dieser Filterung in denjenigen Bildpunkten des Differenzbildes Werte ungleich 0 enthalten sind, die über eine vorbe­ stimmte Anzahl von Bildperioden erfaßt worden sind. Herausgefiltert wer­ den durch das Tiefpaßfilter 15 somit Schlaglichter, etwa durch entgegen­ kommende Fahrzeuge oder durch Kratzer in der Windschutzscheibe, die nur in einzelnen Bildperioden vorhanden sind.
Das gefilterte Differenzbild beaufschlagt im Anschluß ein Entscheiderglied 16 in dem aus dem eingangsseitig anliegenden Differenzbild eine Binär­ bilddatei erzeugt wird, so daß jeder Bildpunkt des bis zu diesem Schritt verarbeiteten Differenzbildes entweder den Wert 0 oder den Wert 1 hat. Diese Funktion des Entscheiders 16 wird durch Beaufschlagen desselben mit einem vorbestimmten Schwellwert erreicht.
Die weitere Bildverarbeitung wird in zwei Bearbeitungszweigen durchge­ führt - einer Bildenergieberechnung mit anschließendem Schwellwertver­ gleich sowie einer Clusterung mit anschließender statistischer Bewertung. Die Bildenergieberechnung erfolgt in einem Bildenergieberechnungsglied 17, in dem die Anzahl derjenigen Bildpunkte des als Binärbilddatei vorlie­ genden Differenzbildes ermittelt wird, deren Wert 1 beträgt. In Abhängig­ keit von der Beleuchtungseinrichtung, und zwar in Abhängigkeit von der Anzahl der verwendeten Beleuchtungsmittel für jedes Scheibenaus­ schnittsbild kann Aufschluß über die tatsächlich Anzahl der auf der Wind­ schutzscheibe 2 detektierten Regentropfen gewonnen werden. Dieser Wert beaufschlagt ein Vergleicherglied 18, dessen Ausgang am Eingang eines Mikroprozessors 19 zur Ansteuerung von nicht näher dargestellten Aktoren, etwa eines Wischermotors anliegt. Das Vergleicherglied 18 ist durch einen Schwellwert beaufschlagt, der bei dem dargestellten Ausfüh­ rungsbeispiel einstellbar ist.
Zur weiteren Bewertung der in der Bildenergieberechnung ermittelten Re­ flexanzahl erfolgt in einem zu diesem parallelen Auswerteschritt zunächst eine ortsabhängige Clusterung derjenigen Bildpunktinhalte, deren Wert 1 ist. Gemäß den vorgegebenen Clusterbedingungen werden diejenigen Bildpunkte als ein Cluster zusammengefaßt, die den Clusterbedingungen genügen. Dieser Bearbeitungsschritt erfolgt in einem Clusterglied 20. Ausgangsseitig an dem Clusterglied 20 ist ein statistisches Bewertungs­ glied 21 angeschlossen, in welchem die Anzahl der gebildeten Cluster statistisch ausgewertet wird. Als Ergebnis ist eine Größenbewertung der detektierten Regentropfen möglich. Das Ergebnis der statistischen Be­ wertung wird in dem dargestellten Ausführungsbeispiel zur Adaption des das Vergleicherglied 19 beaufschlagenden Schwellwertes verwendet. Somit erfolgt eine unmittelbare Rückkopplung von sich morphologisch än­ dernden Eigenschaften der detektierten Objekte hinsichtlich einer daran angepaßten Ansteuerung von Aktoren.
Fig. 3 zeigt eine weitere Aufnahmeeinheit 22, die aus zwei Kamerasen­ soren 23, 24 besteht. Die beiden Kamerasensoren 23, 24 umfassen wie auch das optische Sensorarray der Fig. 1 jeweils eine Optik sowie eine vorgeschaltete Lochblende. Die Kamerasensoren 23, 24 sind auf unend­ lich focussiert, wobei sich jedoch die äußere sowie die innere Oberfläche der Windschutzscheibe 2 im Tiefenschärfenbereich der Abbildung befin­ den. Die optischen Achsen der beiden Kamerasensoren O1 bzw. O2 sind parallel zueinander und beabstandet voneinander angeordnet. Wie auch bei der Anordnung gemäß Fig. 1 erfolgt bei dieser Aufnahmeeinheit 22 eine Abbildung der durch den Regentropfen 3 erzeugten Lichtreflexe auf unterschiedlichen Bildpunkten der Kamerasensoren 23 und 24. In bezüg­ lich der Windschutzscheibe 2 weiterer Entfernung abgebildete Hinter­ grundeinflüsse beaufschlagen dagegen lagegleiche Bildpunkte. Es erfolgt somit eine Disparitätsabschätzung zur Tiefenerfassung. Wie zuvor be­ schrieben, erfolgt ausgehend von diesen beiden gleichzeitig aufgenom­ menen Scheibenausschnittsbildern die Differenzbildbildung.
Fig. 4 zeigt in einem schematisierten Blockschaltbild nochmals die Auf­ nahmeeinheit 22, die belichtungszeitgesteuert ist. Die Ausgänge der bei­ den Kamerasensoren 23, 24 beaufschlagen unmittelbar den Differenz­ bildbildner 12. Die weitere Auswertung erfolgt entsprechend der zu Fig. 2 beschriebenen Auswerteverfahren.
Aus der Beschreibung der Erfindung wird deutlich, daß durch Ermitteln des Differenzbildes aus zwei Einzelbildern aufwandsgünstig beispiels­ weise ein Regensensor erstellbar ist, dessen Daten sehr verläßlich sind. Als optische Sensorarrays können sowohl Zeilen- als auch Flächenkame­ ras verwendet werden. Die in den Fig. 3 und 4 dargestellte stereosko­ pische Sensorarrayanordnung kann neben einer Funktion als Aufnahme­ einheit 22 eines Regensensors auch weitere Überwachungsfunktionen übernehmen.
Aus der Beschreibung der Erfindung wird ferner deutlich, daß die Aus­ wertung der Scheibenausschnittsbilder anstelle der in den Figuren darge­ stellten schaltungstechnischen Auswertung Software-mäßig erfolgen kann.
Bezugszeichenliste
1
Aufnahmeeinheit
2
Windschutzscheibe
3
Regentropfen
4
Zeilensensor
5
konvexe Linse
6
Lochblende
7
Beleuchtungseinrichtung
8
IR-Diode
9
IR-Diode
10
Vorrichtung zur Belichtungszeitadaption
11
Bildspeicher
12
Differenzbildbildner
13
Kantenoperatorglied
14
Medianfilter
15
Tiefpaßfilter, zeitlich arbeitend
16
Entscheiderglied
17
Bildenergieberechnungsglied
18
Vergleicherglied
19
Mikroprozessor
20
Clusterglied
21
statistisches Bewertungsglied
22
Aufnahmeeinheit
23
Kamerasensor
24
Kamerasensor
D Differenzbild
O1
optische Achse
O2
optische Achse
Rr
Reflex bei rechter Beleuchtung
Rl
Reflex bei linker Beleuchtung
Rr'
Reflexanteil bei rechter Beleuchtung
Rl'
Reflexanteil bei linker Beleuchtung

Claims (15)

1. Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe (2) befindlichen, bei einer Beleuchtung Lichtreflexe erzeu­ genden Objekten (3) unter Verwendung einer ein oder mehrere op­ tische Sensorarrays enthaltenen Aufnahmeeinheit (1, 22) umfas­ send folgende Schritte:
  • - Beleuchten der Scheibe (2) zum Erzeugen von Lichtreflexen (Rl, Rr) in oder an auf der Scheibe (2) befindlichen Objekten (3) von derjenigen Scheibenseite, hinter der die Aufnahmeeinheit (1, 22) angeordnet ist,
  • - bildliches Erfassen eines beleuchteten Scheibenausschnitts mit der Aufnahmeeinheit (1, 22) durch Bereitstellen von zwei, ein Bildpaar bildenden Scheibenausschnittsbildern, in welchen bei­ den Bildern der oder die durch die Beleuchtung erzeugten Lichtreflexe (Rl, Rr) eines auf der Scheibe (2) befindlichen Ob­ jektes (3) jeweils an lageunterschiedlichen Bildpunkten ange­ ordnet sind,
  • - Ermitteln des Differenzbildes (D) der beiden Bilder eines Bild­ paares durch Subtraktion der Inhalte lagegleicher Bildpunkte des einen Scheibenausschnittsbildes von denjenigen des anderen Scheibenausschnittsbildes und
  • - anschließendes Auswerten des ermittelten Differenzbildes hin­ sichtlich der den einzelnen Bildpunkten zugeordneten Inhalten.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die beiden Scheibenausschnittsbilder mit ein und demselben optischen Sensorarray (4), jedoch bei einer jeweils unterschiedlichen Be­ leuchtungskonfiguration aufgenommen werden, die sich hinsichtlich ihrer auf die Scheibe (2) auftreffenden Einfallsrichtung unter­ scheiden.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die beiden Scheibenausschnittsbilder mit zwei voneinander beabstan­ deten optischen Sensorarrays (23, 24) unter Verwendung einer gemeinsamen Beleuchtungseinrichtung aufgenommen werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekenn­ zeichnet, daß die Auswertung des ermittelten Differenzbildes (D) eine Kantenoperation beinhaltet, bei der eine Verstärkung der Kantenbetonung bei gleichzeitiger Unterdrückung von Gleichflä­ chen erreicht wird.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Kantenoperation durch eine Verwendung stochastischer Operato­ ren durchgeführt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekenn­ zeichnet, daß die Auswertung des ermittelten Differenzbildes (D) eine zeitliche Tiefpaßfilterung umfaßt.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekenn­ zeichnet, daß die Auswertung des Differenzbildes (D) den Schritt des Erstellens einer Binärbilddatei aus dem Bildpunktinhalten des Differenzbildes beinhaltet, so daß jedem Bildpunkt entweder der Wert 0 oder der Wert 1 zugeordnet ist.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß die Auswertung des Differenzbildes (D) eine Gesamtbildenergieberech­ nung beinhaltet, bei der die Werte aller Bildpunkte des Differenzbil­ des (D) aufsummiert werden, an welchen Energieberechnungs­ schritt sich ein Vergleicherschritt anschließt, in dem die ermittelte Gesamtbildenergie mit einem oder mehreren Schwellwerten vergli­ chen wird.
9. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß die Auswertung des Differenzbildes (D) eine Clusterung benachbarter Bildpunkte mit dem Wert 1 umfaßt, an welche Clusterung sich eine statistische Auswertung der erzeugten Cluster anschließt.
10. Verfahren nach Anspruch 8 und 9, dadurch gekennzeichnet, daß der für die Durchführung des Vergleicherschrittes im Anschluß an die Gesamtbildenergieberechnung benötigte Schwellwert in Ab­ hängigkeit von dem Ergebnis der statistischen Clusterauswertung eingestellt wird.
11. Vorrichtung zum Detektieren von auf einer lichtdurchlässigen Scheibe (2) befindlichen beleuchteten Objekten (3), umfassend eine Beleuchtungseinrichtung (7) zum Beleuchten der Scheibe (2) von einer Seite, eine Aufnahmeeinheit (1) mit einem optischen Sensorarray (4) zum Erfassen von der Beleuchtungseinrichtung emittierter und reflektierter Lichtstrahlen und eine Auswerteeinheit, dadurch gekennzeichnet, daß als Aufnahmeeinheit (1) ein einziges Sensorarray (4) in einer solchen Anordnung zur Scheibe (2) vorgesehen ist, daß die zu beobachtende Scheibenoberfläche des von dem Sensorarray (4) erfaßten Scheibenausschnittes im Tiefenschärfenbereich der sich auf der photosensitiven Oberfläche des Sensorarrays (4) darstellenden Abbildung des Scheibenausschnittes liegen, und daß die Beleuchtungseinrichtung (7) zumindest zwei voneinander beabstandete, den von der Aufnahmeeinheit (1) betrachteten Scheibenausschnitt aus unterschiedlichen Richtungen beleuchtende Lichtquellen (8, 9) umfaßt.
12. Vorrichtung zum Detektieren von auf einer lichtdurchlässigen Scheibe (2) befindlichen beleuchteten Objekten (3), umfassend eine Aufnahmeeinheit (22) zum Erfassen von Lichtreflexen und eine Auswerteeinheit, dadurch gekennzeichnet, daß die Aufnahmeeinheit (22) zwei voneinander beabstandete optische Sensorarrays (23, 24) in einer stereoskopischen Anordnung umfaßt, bei der die zu beobachtende Scheibenoberfläche des von den Sensorarrays (23, 24) erfaßten Scheibenausschnittes im Tiefenschärfenbereich der sich auf der photosensitiven Oberfläche der Sensorarrays (23, 24) darstellenden Abbildung des Scheibenausschnittes liegen, welche optischen Sensorarrays zum Betrachten eines Scheibenausschnittes angeordnet sind, daß der sich in einem bestimmten Abstand zur betrachtenden Scheibe befindliche Hintergrund auf beiden Sensorarrays an lagegleichen Bildpunkten abgebildet wird.
13. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, daß der Aufnahmeeinheit (22) eine gemeinsame Beleuchtungseinrichtung zugeordnet ist.
14. Vorrichtung nach Anspruch 12 oder 13, dadurch gekennzeichnet, daß die optischen Achsen (O1, O2) der Sensorarrays (23, 24) par­ allel zueinander ausgerichtet sind.
15. Vorrichtung nach Anspruch 12, 13 oder 14, dadurch gekenn­ zeichnet, daß die Scheibe eine Windschutzscheibe (2) eines Kraftfahrzeuges ist.
DE19803694A 1998-01-30 1998-01-30 Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten sowie Vorrichtung Expired - Fee Related DE19803694C1 (de)

Priority Applications (9)

Application Number Priority Date Filing Date Title
DE19803694A DE19803694C1 (de) 1998-01-30 1998-01-30 Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten sowie Vorrichtung
PCT/EP1999/000229 WO1999038737A1 (de) 1998-01-30 1999-01-16 Verfahren zum detektieren von auf einer lichtdurchlässigen scheibe befindlichen objekten sowie vorrichtung
BR9907714-0A BR9907714A (pt) 1998-01-30 1999-01-16 Processo e dispositivo para detectar objetos iluminados presentes sobre um vidro transparente
DE59901725T DE59901725D1 (de) 1998-01-30 1999-01-16 Verfahren zum detektieren von auf einer lichtdurchlässigen scheibe befindlichen objekten sowie vorrichtung
EP99903636A EP1053140B1 (de) 1998-01-30 1999-01-16 Verfahren zum detektieren von auf einer lichtdurchlässigen scheibe befindlichen objekten sowie vorrichtung
JP2000529995A JP4210431B2 (ja) 1998-01-30 1999-01-16 光を通す窓ガラスの上にある物体を検出する方法と装置
US09/555,532 US6323477B1 (en) 1998-01-30 1999-01-16 Method for detecting objects located on a transparent panel, and corresponding device
ES99903636T ES2178381T3 (es) 1998-01-30 1999-01-16 Procedimiento para la deteccion de objetos situados sobre un cristal transparente, asi como dispositivo.
AU24214/99A AU2421499A (en) 1998-01-30 1999-01-16 Method for detecting objects located on a transparent panel, and corresponding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19803694A DE19803694C1 (de) 1998-01-30 1998-01-30 Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten sowie Vorrichtung

Publications (1)

Publication Number Publication Date
DE19803694C1 true DE19803694C1 (de) 1999-04-22

Family

ID=7856195

Family Applications (2)

Application Number Title Priority Date Filing Date
DE19803694A Expired - Fee Related DE19803694C1 (de) 1998-01-30 1998-01-30 Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten sowie Vorrichtung
DE59901725T Expired - Fee Related DE59901725D1 (de) 1998-01-30 1999-01-16 Verfahren zum detektieren von auf einer lichtdurchlässigen scheibe befindlichen objekten sowie vorrichtung

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE59901725T Expired - Fee Related DE59901725D1 (de) 1998-01-30 1999-01-16 Verfahren zum detektieren von auf einer lichtdurchlässigen scheibe befindlichen objekten sowie vorrichtung

Country Status (8)

Country Link
US (1) US6323477B1 (de)
EP (1) EP1053140B1 (de)
JP (1) JP4210431B2 (de)
AU (1) AU2421499A (de)
BR (1) BR9907714A (de)
DE (2) DE19803694C1 (de)
ES (1) ES2178381T3 (de)
WO (1) WO1999038737A1 (de)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19929964A1 (de) * 1999-06-29 2001-01-04 Valeo Auto Electric Gmbh Einrichtung und Verfahren zur Erfassung von Medien wie Wasser, Beschlag, Schmutz und dergleichen auf einer Scheibe eines Fahrzeuges
DE10139514A1 (de) * 2001-08-10 2003-02-20 Bosch Gmbh Robert Transmissionsdetektor für einen Fensterkörper, insbesondere die Windschutzscheibe eines Kraftfahrzeuges, sowie Reinigungsvorrichtung für einen Sichtbereich eines Fensterkörpers
WO2003029056A2 (en) 2001-10-04 2003-04-10 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
DE19909987C2 (de) * 1999-03-06 2003-04-10 Kostal Leopold Gmbh & Co Kg Anordnung zum Detektieren von auf einer Windschutzscheibe eines Kraftfahrzeuges befindlichen Objekten
EP1496335A2 (de) * 2003-07-11 2005-01-12 Leuze electronic GmbH + Co KG Optoelektronische Vorrichtung
DE102008005064A1 (de) * 2008-01-18 2009-07-23 Sick Ag Optoelektronisches Detektionsverfahren und optoelektronischer Detektor
WO2010070122A1 (fr) * 2008-12-19 2010-06-24 Thales Procede d'imagerie passive et de detection de pluie
DE102011055343A1 (de) * 2011-11-15 2013-05-16 Continental Automotive Gmbh Verfahren zur Regendetektion mittels einer Kamera
DE102011056690A1 (de) * 2011-12-20 2013-06-20 Continental Automotive Gmbh Verfahren und Vorrichtung zur Ermittlung von Feuchtigkeit auf einer Fahrzeugscheibe
DE102014209197A1 (de) * 2014-05-15 2015-11-19 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE102017101258A1 (de) 2016-03-08 2017-09-14 Elmos Semiconductor Aktiengesellschaft Verfahren zur optisch quantitativen Detektion von Wasser auf der Scheibe eines Kraftfahrtzeuges
DE102017101260A1 (de) 2016-03-08 2017-09-14 Elmos Semiconductor Aktiengesellschaft Verfahren zum optischen Vergleich der Transmissionseigenschaften zweier Übertragungsstrecken für die Verwendung in Kfz
DE102017101261A1 (de) 2016-03-08 2017-09-14 Elmos Semiconductor Aktiengesellschaft Digitalisierter Regensensor zur Vermessung der optischen Reflexionseigenschaften eines möglicherweise mit Flüssigkeit benetzten Objekts für die Verwendung in Kraftfahrzeugen
DE102017101259A1 (de) 2016-03-08 2017-09-14 Elmos Semiconductor Aktiengesellschaft Optischer Sensor zur Vermessung der optischen Reflexionseigenschaften eines Objekts und/oder der Transmissionseigenschaften einer Übertragungsstrecke für die Verwendung in Kfz
DE102017101257A1 (de) 2016-03-08 2017-09-28 Elmos Semiconductor Aktiengesellschaft Verfahren zur optischen Vermessung der optischen Reflexionseigenschaften eines Objekts und/oder der Transmissionseigenschaften einer Übertragungsstrecke für die Verwendung in Kfz

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7019275B2 (en) * 1997-09-16 2006-03-28 Gentex Corporation Moisture sensor and windshield fog detector
US6681163B2 (en) * 2001-10-04 2004-01-20 Gentex Corporation Moisture sensor and windshield fog detector
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US6690268B2 (en) 2000-03-02 2004-02-10 Donnelly Corporation Video mirror systems incorporating an accessory module
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6278377B1 (en) 1999-08-25 2001-08-21 Donnelly Corporation Indicator for vehicle accessory
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US6420975B1 (en) 1999-08-25 2002-07-16 Donnelly Corporation Interior rearview mirror sound processing system
US6313457B1 (en) 1999-01-25 2001-11-06 Gentex Corporation Moisture detecting system using semiconductor light sensor with integral charge collection
US7480149B2 (en) 2004-08-18 2009-01-20 Donnelly Corporation Accessory module for vehicle
US6396408B2 (en) 2000-03-31 2002-05-28 Donnelly Corporation Digital electrochromic circuit with a vehicle network
US6614043B2 (en) * 2001-04-16 2003-09-02 Valeo Electrical Systems, Inc. Imaging rain sensor illumination positioning system
JP4565460B2 (ja) * 2001-05-16 2010-10-20 ナイルス株式会社 付着物検出装置、およびそれを用いたワイパー制御装置
US6596978B2 (en) 2001-06-28 2003-07-22 Valeo Electrical Systems, Inc. Stereo imaging rain sensor
US6824281B2 (en) 2002-01-31 2004-11-30 Donnelly Corporation Vehicle accessory module
DE10250705A1 (de) * 2002-10-31 2004-05-13 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Schattenkompensation in digitalen Bildern
US6876133B2 (en) * 2003-04-14 2005-04-05 Agilent Technologies, Inc. Latching relay with switch bar
JP4326999B2 (ja) * 2003-08-12 2009-09-09 株式会社日立製作所 画像処理システム
GB2415776B (en) * 2004-06-28 2009-01-28 Carglass Luxembourg Sarl Zug Investigation of vehicle glazing panels
EP1827908B1 (de) 2004-12-15 2015-04-29 Magna Electronics Inc. Zusatzmodulares system für fahrzeugscheiben
EP3624086A1 (de) 2007-01-25 2020-03-18 Magna Electronics Inc. Radarerfassungssystem für fahrzeug
GB2479677A (en) * 2007-04-23 2011-10-19 Belron Hungary Kft Zug Branch Glazing panel investigation
US8570374B2 (en) 2008-11-13 2013-10-29 Magna Electronics Inc. Camera for vehicle
JP2014222146A (ja) * 2011-09-05 2014-11-27 株式会社ニコン 観察装置
JP2014222147A (ja) * 2011-09-05 2014-11-27 株式会社ニコン 観察装置
JP5561333B2 (ja) * 2011-11-02 2014-07-30 株式会社リコー 画像処理装置、撮像方法、プログラムおよび車両
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
JP5648712B2 (ja) * 2012-07-27 2015-01-07 株式会社リコー 付着物検出装置、移動体機器制御システム、及びプログラム
JP6011395B2 (ja) * 2013-03-08 2016-10-19 マツダ株式会社 車両の運転支援装置
DE102015003471A1 (de) 2015-03-19 2015-08-27 Daimler Ag Regensensor und Verfahren zum Betrieb eines Regensensors
DK3472074T3 (da) * 2016-06-15 2023-01-30 Laitram Llc Vådhusdetektor i et transportbånd
JP7165761B2 (ja) * 2018-06-28 2022-11-04 スリーディー システムズ インコーポレーテッド 統合走査モジュール較正を備えた三次元プリントシステム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4867561A (en) * 1986-08-22 1989-09-19 Nippondenso Co., Ltd. Apparatus for optically detecting an extraneous matter on a translucent shield

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4806776A (en) * 1980-03-10 1989-02-21 Kley Victor B Electrical illumination and detecting apparatus
JPS5795759A (en) * 1980-12-05 1982-06-14 Canon Inc Picture signal processing device
JPS58204337A (ja) * 1982-05-25 1983-11-29 Fujitsu Ten Ltd 水滴検知装置
JPS5917660A (ja) * 1982-07-21 1984-01-28 Shigeru Ando 画像信号処理装置
JPS60163350U (ja) * 1984-04-10 1985-10-30 市光工業株式会社 車輛用雨滴検知器
JPS6353444A (ja) * 1986-08-22 1988-03-07 Nippon Denso Co Ltd 光学式液体検出装置
JPS6425036A (en) * 1987-07-20 1989-01-27 Nippon Denso Co Optical liquid detecting device
JPS63225117A (ja) * 1987-03-14 1988-09-20 Matsushita Electric Works Ltd 光走査型変位測定装置
DE3735267C3 (de) * 1987-10-17 1996-03-21 Telefunken Microelectron Vorrichtung zur Sichtweitenmessung
JPH02161337A (ja) * 1988-12-14 1990-06-21 Nagoya Denki Kogyo Kk 路面状態検知装置
JPH03269313A (ja) * 1990-03-20 1991-11-29 Mitsubishi Electric Corp 車間距離検出装置
US5365084A (en) * 1991-02-20 1994-11-15 Pressco Technology, Inc. Video inspection system employing multiple spectrum LED illumination
WO1994017493A1 (en) * 1993-01-29 1994-08-04 Q-Dot Photonics, Inc. Methods and apparatus for image processing
US5313072A (en) * 1993-02-16 1994-05-17 Rockwell International Corporation Optical detector for windshield wiper control
JPH06292015A (ja) * 1993-04-06 1994-10-18 Hitachi Ltd ２値化装置、並びにそれを備えた読取装置及びファクシミリ装置
US6084519A (en) * 1993-05-07 2000-07-04 Control Devices, Inc. Multi-function light sensor for vehicle
JPH0829325A (ja) * 1994-07-18 1996-02-02 Hiromi Mochida 降雨検知装置及び自動車用自動ワイパー装置
JPH0850018A (ja) * 1994-08-05 1996-02-20 Honda Motor Co Ltd 距離測定装置および方法
JPH0894352A (ja) * 1994-09-21 1996-04-12 Mitsubishi Electric Corp 距離測定装置
US5689343A (en) * 1995-05-26 1997-11-18 Xerox Corporation Area mapping employing reference clusters for high quality noninteger resolution conversion with enhancement
JPH1010053A (ja) * 1996-06-24 1998-01-16 Nissan Motor Co Ltd 表面欠陥検査装置
JPH1090188A (ja) * 1996-09-13 1998-04-10 Mitsuba Corp 画像認識装置
DE19736584A1 (de) 1997-08-22 1999-02-25 Kostal Leopold Gmbh & Co Kg Verfahren zum Erkennen von Veränderungen im Innenraum eines Kraftfahrzeuges sowie ein Innenraumüberwachungssystem für ein Kraftfahrzeug
US6144022A (en) * 1999-03-15 2000-11-07 Valeo Electrical Systems, Inc. Rain sensor using statistical analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4867561A (en) * 1986-08-22 1989-09-19 Nippondenso Co., Ltd. Apparatus for optically detecting an extraneous matter on a translucent shield

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19909987C2 (de) * 1999-03-06 2003-04-10 Kostal Leopold Gmbh & Co Kg Anordnung zum Detektieren von auf einer Windschutzscheibe eines Kraftfahrzeuges befindlichen Objekten
DE19929964A1 (de) * 1999-06-29 2001-01-04 Valeo Auto Electric Gmbh Einrichtung und Verfahren zur Erfassung von Medien wie Wasser, Beschlag, Schmutz und dergleichen auf einer Scheibe eines Fahrzeuges
EP1427614A1 (de) * 2001-08-10 2004-06-16 Robert Bosch Gmbh Transmissionsdetektor für einen fensterkörper sowie reinigungsvorrichtung für den sichtbereich eines fensterkörpers
DE10139514A1 (de) * 2001-08-10 2003-02-20 Bosch Gmbh Robert Transmissionsdetektor für einen Fensterkörper, insbesondere die Windschutzscheibe eines Kraftfahrzeuges, sowie Reinigungsvorrichtung für einen Sichtbereich eines Fensterkörpers
WO2003016111A1 (de) 2001-08-10 2003-02-27 Robert Bosch Gmbh Transmissionsdetektor für einen fensterkörper, sowie reinigungsvorrichtung für einen sichtbereich eines fensterkörpers
US6954047B2 (en) 2001-08-10 2005-10-11 Robert Bosch Gmbh Transmission detector for a window body, in particular the windshield of a motor vehicle, and a cleaning device for a viewing area of a window body
WO2003029056A2 (en) 2001-10-04 2003-04-10 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
US6861636B2 (en) 2001-10-04 2005-03-01 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
EP1456703A4 (de) * 2001-10-04 2005-07-06 Gentex Corp Stereoabbildung mit einem bildsensor verwendender feuchtigkeitssensor
US6617564B2 (en) 2001-10-04 2003-09-09 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
EP1496335A2 (de) * 2003-07-11 2005-01-12 Leuze electronic GmbH + Co KG Optoelektronische Vorrichtung
EP1496335A3 (de) * 2003-07-11 2005-04-06 Leuze electronic GmbH + Co KG Optoelektronische Vorrichtung
DE102008005064A1 (de) * 2008-01-18 2009-07-23 Sick Ag Optoelektronisches Detektionsverfahren und optoelektronischer Detektor
DE102008005064B4 (de) * 2008-01-18 2010-06-17 Sick Ag Optoelektronisches Detektionsverfahren und optoelektronischer Detektor
WO2010070122A1 (fr) * 2008-12-19 2010-06-24 Thales Procede d'imagerie passive et de detection de pluie
FR2940490A1 (fr) * 2008-12-19 2010-06-25 Thales Sa Procede d'imagerie passive et de detection de pluie
DE102011055343A1 (de) * 2011-11-15 2013-05-16 Continental Automotive Gmbh Verfahren zur Regendetektion mittels einer Kamera
DE102011056690A1 (de) * 2011-12-20 2013-06-20 Continental Automotive Gmbh Verfahren und Vorrichtung zur Ermittlung von Feuchtigkeit auf einer Fahrzeugscheibe
US10106126B2 (en) 2014-05-15 2018-10-23 Conti Temic Microelectronic Gmbh Apparatus and method for detecting precipitation for a motor vehicle
DE102014209197A1 (de) * 2014-05-15 2015-11-19 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE102017101258A1 (de) 2016-03-08 2017-09-14 Elmos Semiconductor Aktiengesellschaft Verfahren zur optisch quantitativen Detektion von Wasser auf der Scheibe eines Kraftfahrtzeuges
DE102017101260A1 (de) 2016-03-08 2017-09-14 Elmos Semiconductor Aktiengesellschaft Verfahren zum optischen Vergleich der Transmissionseigenschaften zweier Übertragungsstrecken für die Verwendung in Kfz
DE102017101261A1 (de) 2016-03-08 2017-09-14 Elmos Semiconductor Aktiengesellschaft Digitalisierter Regensensor zur Vermessung der optischen Reflexionseigenschaften eines möglicherweise mit Flüssigkeit benetzten Objekts für die Verwendung in Kraftfahrzeugen
DE102017101259A1 (de) 2016-03-08 2017-09-14 Elmos Semiconductor Aktiengesellschaft Optischer Sensor zur Vermessung der optischen Reflexionseigenschaften eines Objekts und/oder der Transmissionseigenschaften einer Übertragungsstrecke für die Verwendung in Kfz
DE102017101257A1 (de) 2016-03-08 2017-09-28 Elmos Semiconductor Aktiengesellschaft Verfahren zur optischen Vermessung der optischen Reflexionseigenschaften eines Objekts und/oder der Transmissionseigenschaften einer Übertragungsstrecke für die Verwendung in Kfz
DE102017101259B4 (de) * 2016-03-08 2021-03-25 Elmos Semiconductor Se Optischer Sensor zur Vermessung der optischen Reflexionseigenschaften eines Objekts und/oder der Transmissionseigenschaften einer Übertragungsstrecke für die Verwendung in Kfz
DE102017101261B4 (de) * 2016-03-08 2021-03-25 Elmos Semiconductor Se Digitalisierter Regensensor zur Vermessung der optischen Reflexionseigenschaften eines möglicherweise mit Flüssigkeit benetzten Objekts für die Verwendung in Kraftfahrzeugen
DE102017101257B4 (de) * 2016-03-08 2021-03-25 Elmos Semiconductor Se Verfahren zur optischen Vermessung der optischen Reflexionseigenschaften eines Objekts und/oder der Transmissionseigenschaften einer Übertragungsstrecke für die Verwendung in Kfz
DE102017101260B4 (de) * 2016-03-08 2021-03-25 Elmos Semiconductor Se Verfahren zum optischen Vergleich der Transmissionseigenschaften zweier Übertragungsstrecken für die Verwendung in Kfz
DE102017101258B4 (de) * 2016-03-08 2021-03-25 Elmos Semiconductor Se Verfahren zur optisch quantitativen Detektion von Wasser auf der Scheibe eines Kraftfahrtzeuges

Also Published As

Publication number Publication date
JP2002502048A (ja) 2002-01-22
EP1053140A1 (de) 2000-11-22
AU2421499A (en) 1999-08-16
JP4210431B2 (ja) 2009-01-21
ES2178381T3 (es) 2002-12-16
DE59901725D1 (de) 2002-07-18
EP1053140B1 (de) 2002-06-12
WO1999038737A1 (de) 1999-08-05
US6323477B1 (en) 2001-11-27
BR9907714A (pt) 2000-11-14

Similar Documents

Publication Publication Date Title
DE19803694C1 (de) Verfahren zum Detektieren von auf einer lichtdurchlässigen Scheibe befindlichen Objekten sowie Vorrichtung
EP1027235B1 (de) Verfahren zum detektieren von auf einer windschutzscheibe befindlichen objekten sowie vorrichtung
EP1468401B1 (de) Verfahren und vorrichtung zur erkennung von sichtbehinderungen bei bildsensorsystemen
DE102008015499B4 (de) Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
EP3014569B1 (de) Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs
DE102009000005A1 (de) Kameraanordnung und Verfahren zur Erfassung einer Fahrzeugumgebung
DE102009000003A1 (de) Kameraanordnung zur Erfassung eines Scheibenzustandes einer Fahrzeugscheibe
DE102014209197A1 (de) Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
EP3291172B1 (de) Verfahren zur ermittlung von ergebnisbilddaten
DE112008001384T5 (de) Verfahren zur Verschmutzungserkennung bei einer TOF-Distanzbildkamera
DE102012103873A1 (de) Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
DE102008043737A1 (de) Vorrichtung und Verfahren zur Detektion von Regentropfen auf einer Scheibe
DE3926349A1 (de) Optische fehlerinspektionsvorrichtung
EP1738580A1 (de) Vorrichtung zum überwachen eines raumbereichs, insbesondere zum absichern eines gefahrenbereichs einer automatisiert arbeitenden anlage
DE102020000581A1 (de) Vorrichtung und Verfahren zur Identifikation und Lokalisierung von Oberflächenfehlern
EP1049064B1 (de) Verkehrsüberwachungseinrichtung mit Polarisationsfiltern
EP1504285B1 (de) Verfahren und vorrichtung zur sichtweitenmessung mit bildsensorsystemen
DE102006004770B4 (de) Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs
DE10230200A1 (de) Verfahren und Vorrichtung zur Detektion von auf einer Oberfläche eines transparenten Elements sich befindenden Objekten
DE102017221381A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Ermitteln eines Abstandes zu einem Objekt
DE102019133695B4 (de) Lasermaterialbearbeitungskopf, Verwendung eines Lasermaterialbearbeitungskopfes und Verfahren zur Nahtführung bei der Lasermaterialbearbeitung
DE102016109027A1 (de) Verfahren zur Lageüberprüfung charakteristischer Punkte in Lichtverteilungen
DE102021004337A1 (de) Vorrichtung und Verfahren zur Filterung von Spiegelungen in Bilddaten
DE102020215859A1 (de) Korrektur von Bildern einer Kamera bei Regen, Lichteinfall und Verschmutzung
DE102019003562A1 (de) Verfahren zur Auswertung von mittels einer Kamera eines Fahrzeugs erfassten Bildern

Legal Events

Date Code Title Description
8100 Publication of the examined application without publication of unexamined application
D1 Grant (no unexamined application published) patent law 81
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee