DE4308776C2

DE4308776C2 - Einrichtung zum Überwachen des Außenraums eines Fahrzeugs

Info

Publication number: DE4308776C2
Application number: DE4308776A
Authority: DE
Inventors: Keiji Saneyoshi; Keiji Hanawa
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 1992-03-23
Filing date: 1993-03-19
Publication date: 1997-08-21
Anticipated expiration: 2013-03-20
Also published as: GB2265779A; DE4308776A1; GB2265779B; US5410346A; JPH05265547A; GB9305576D0

Description

Die vorliegende Erfindung betrifft eine Einrichtung zum Über wachen des Außenraumes eines Fahrzeugs und geht aus von einer Einrichtung mit den Merkmalen im Oberbegriff des Patentan spruchs 1.

In der heutigen Gesellschaft sind infolge der Bequemlich keit, die Kraftfahrzeuge für den Transport von Gegenständen und Personen bieten, sehr viele Fahrzeuge im Einsatz. Dementsprechend wurden in letzter Zeit zahlreiche, automa tisch Unfälle vermeidende Systeme entwickelt. Diesbezüglich wurden üblicherweise Technologien entwickelt, die, ohne die exzellenten Eigenschaften von Autos zu opfern, diese Fähig keit der automatischen Unfallvermeidung aufweisen.

Um automatisch eine Kollision zwischen Fahrzeugen und einem jeweiligen Objekt zu vermeiden, ist es sehr wichtig, ein Hindernis oder eine Störung auf dem Fahrweg des Fahrzeugs zu detektieren. Ferner ist es erforderlich, die vom Fahr zeug verfolgte Route zu erkennen und die Position des Objekts auf der Straße zu erfassen. Und demgemäß ist ent scheidend, zu ermitteln, ob der Straßenzustand gefährlich ist oder nicht. Ist beispielsweise eine Straße kurvig oder gekrümmt, ist es nötig, das Hindernis längs der Kurve zu detektieren.

Es sind bereits derartige Systeme entwickelt worden, die das Hindernis unter Verwendung von Radar (Strahlungsdetek tion und Entfernungsmessung), von Ultraschallwellen, einem Laser (Lichtverstärkung durch erzwungene Strahlungsemissi on) usw. zu erfassen. Jedoch können derartige Systeme nur ein in einer speziellen Richtung vorhandenes Objekt detek tieren, nicht aber die Straßenform noch die positionelle Beziehung zwischen dem Hindernis und der Straße.

Demgemäß wird in letzter Zeit ein Distanzmeßsystem als effektives Verfahren eingesetzt. Das System bildet eine Ansicht außerhalb des Fahrzeugs durch eine Abbildungsvor richtung wie eine am Fahrzeug angebrachte Kamera ab, um dann die aufgenommen Bilder so zu verarbeiten, daß ein Objekt wie ein anderes Fahrzeug und die Straßenform ermit telt werden, um eine Distanz zwischen dem Fahrzeug und dem Objekt zu gewinnen.

Die Abbildungen verwendenden Erkennungs/Distanzmeßsysteme zerfallen insgesamt in zwei technische Kategorien. Eine besteht darin, die Distanz zwischen dem fahrenden Auto und dem Objekt zu ermitteln, indem der Relativabstand zwischen der Kameraposition und dem Bild einer einzelnen Kamera gemessen wird. Das andere basiert auf einem sogenannten stereoskopischen Verfahren, das die Distanz zwischen dem Fahrzeug und dem Objekt durch das Prinzip einer trigonome trischen Bestimmung oder Dreiecksberechnung gewinnt, nach dem mehrere Bilder bei verschiedenen sequentiell geänderten Positionen durch eine einzelne oder mehrere Kameras aufge nommen wurden.

Als eine Technologie zur Detektion eines Hindernisses oder der Straßenform aus einer zweidimensionalen Darstellung der mittels einer einzelnen Kamera aufgenommenen Abbildung offenbart die japanische offengelegte Patentanmeldung Nr. 1-242916 (1989) eine Technik, in der eine Fernsehkamera in einem Gehäuse nahe des Mittenabschnitts der Oberseite der Frontscheibe montiert ist, wobei das Hindernis und die weiße Linie auf der Straße unter Verwendung der hiermit gewonnenen Bilder abhängig vom Leuchtdichteverteilungsmu ster auf einer bestimmten Beobachtungslinie im Bild und dem zweidimensionalen Leuchtdichtemuster detektiert werden, und die dreidimensionale Position der weißen Linie und des Hindernisses werden abhängig von Parametern wie der Monta geposition oder eines Richtungs- und Sichtfeldes von TV Kameras abgeschätzt.

Jedoch beinhaltet ein tatsächliches Bild auf der Straße derart zahlreiche Objekte wie Gebäude und Bäume in der Umgebung, daß es schwierig ist, die verschiedenen Objekte wie ein vorausfahrendes Fahrzeug, ein entgegenkommendes Fahrzeug, einen Fußgänger, einen Telefonmasten oder Licht masten und eine weiße Linie über die Straße hinweg präzise aus einem zweidimensionalen Bild (Merkmalsmuster) zu ermit teln. So gibt es Umstände, bei denen derartige Technologien nicht mit ausreichender Zuverlässigkeit in die Praxis umsetzbar sind. Ferner besteht das Problem, daß eine Abschätzung der dreidimensionalen Position einen großen Fehler beinhaltet, wenn die dreidimensionale Position einer weißen Linie oder des Hindernisses aus einem Parameter der Fernsehkamera abgeschätzt werden und die Straße uneben ist, die Straße eine Steigung oder ein Gefälle aufweist und das Fahrzeug einer Nickbewegung unterliegt.

Andererseits kann eine präzisere Distanz anhand einer rela tiv großen Diskrepanz der Position desselben Objekts in linken und rechten Bildern durch die Technik des stereosko pischen Verfahrens zur Distanzgewinnung auf der Grundlage der trigonometrischen Berechnung aus mehreren Bildern bestimmt werden.

Beispielsweise offenbart die japanische offengelegte Patentanmeldung Nr. 59-197816 (1984) ein Verfahren zum Berechnen einer dreidimensionalen Position eines Hindernis ses unter Verwendung des trigonometrischen Prinzips, wobei zwei Fernsehkameras am vorderen Bereich des Fahrzeugs ange bracht werden, das Hindernis mittels eines zweidimensiona len Leuchtdichteverteilungsmusters bezüglich der jeweiligen Bilder jeder Fernsehkamera ermittelt wird und die positio nelle Diskrepanz oder Abweichung des Hindernisses in den beiden Bildern gewonnen wird. Jedoch ist es bei diesem Stand der Technik schwierig, das Hindernis für die jeweili gen Bilder zu detektieren. So weist auch dieses System keine ausreichende Zuverlässigkeit auf.

Ferner sind gemäß den beiden japanischen Patentschrif ten Nr. 48-2979 (1973) und Nr. 55-27707 (1980) zwei Fernsehkameras links bzw. rechts vor dem Fahrzeug befe stigt. Jedes Bild wird räumlich so differenziert, daß nur die Punkte eines Wechsels von hell nach dunkel extrahiert werden und das von einer Kamera abgetastete Bild für eine Überlagerung des anderen Bildes um eine vorbestimmte Zeit verzögert wird, wobei so ein dreidimensionales Objekt nur aus der Charakteristik der Helligkeitsänderung des dreidi mensionalen Objekts von Abschnitten, die einander in den beiden Bildern entsprechen, extrahiert wird. Jedoch sind die wirklichen Bilder kompliziert. Beinhaltet z. B. ein Bild mehrere dreidimensionale Objekte, erscheint eine große An zahl von Punkten mit Helligkeitsänderung, so daß es unmög lich wird, eine entsprechende Beziehung bezüglich mehrerer dreidimensionaler Objekte zu gewinnen. So ist es auch bei diesen Technologien schwer, das Objekt präzise zu detektie ren.

Wie oben erläutert, ist es unter tatsächlichen, komplizier ten Umständen außerordentlich schwierig, präzise das drei dimensionale Objekt, die positionelle Beziehung oder die Form aus der Abbildung zu ermitteln.

In der US 4916302 ist in einem Gerät zur Verhinderung von z. B. Fahrzeugkollisionen zur Vermeidung der Notwendigkeit, optische Meßeinrichtungen für ein Stereoverfahren zur Ermitt lung der Objektdistanzen zu einem das Gerät tragenden Fahr zeug zu verschwenken, um Objekte aus unterschiedlichen Rich tungen zu erfassen, vorgeschlagen worden, zwei CCD-Meßflächen zu verwenden. Diese Flächen sind in Empfangsblöcke entspre chend für unterschiedliche Richtungen unterteilt. In jedem Block sind einige Empfangselemente für ein Standardsichtfeld und einige für ein Bezugssichtfeld vorgesehen, um über die Korrelation eines Standardsichtfeldes einer CCD-Meßfläche mit dem Bezugssichtfeld der anderen Meßfläche die Distanz eines in beiden Flächen liegenden Objekts vom Fahrzeug ermitteln zu können.

Wie bereits dargelegt, ist es jedoch schwierig, eine komplexe Szenerie von Objekten (diverse Fahrzeuge, Bäume, weiße Stra ßenlinien usw.) vor dem fahrenden Fahrzeug, die einander überlagert sind, zuverlässig zu differenzieren, wobei z. B. auch ein sich ändernder Straßenverlauf berücksichtigt wird.

In der US 4985847 wird ein aus einer Zeile von Empfangsele menten bestehender optischer Sensor, der auf einem Fahrzeug schräg nach unten gestellt angebracht ist, dazu benutzt, um ein in der Sensorsichtlinie liegendes Objektbild aus horizon talen oder vertikalen Elementen, das die Sensorzeile schnei det, aufzunehmen. Durch diese in dieser Schrift erfindungswe sentliche Neigung des Sensors ist es möglich, daß ein großer Teil der ein Objekt aufbauenden Linienelemente die eindimen sionale Sensorzeile schneidet, und so die Objektkanten eines einzigen voraus liegenden Objekts in der geraden Fahrzeugmitte festzustellen und hieraus Abstand und/oder Ausdehnung des Ob jekts zu ermitteln. In einem alternativen Ausführungsbeispiel der US 4985847 sollen Hindernisse in Form von Fahrbahnuneben heiten detektiert werden, die sich im wesentlichen als Objek te darstellen, welche aus angenähert horizontalen Linien auf der Straße aufgebaut sind. Auch hier ist die Schrägstellung der Sensorzeile entscheidend, denn zuvor konnten solche Ober flächenänderungen z. B. bei nasser Straße nicht zuverlässig erfaßt werden. Es wird die Helligkeitsvariation des aufgenom menen Linienbildes ermittelt und hieraus z. B. eine Unebenheit der Straße detektiert. Dadurch, daß man die Bezugsebene des Detektorelements ermittelt, das diese Linien-Unebenheitsin formation detektiert, kann durch Triangulation die Entfernung der Unebenheit zum Vorderrad des Fahrzeugs ermittelt werden. Durch Farbanalyse des aufgenommenen Lichts wird ferner die tatsächliche Unebenheit von möglichen Reflexionseffekten des Lichts einer Straßenbeleuchtung usw. unterschieden. Unabhän gig hiervon wird die Höhe des Fahrzeugsschwerpunktes selbst mittels Fahrzeughöhensensoren und aus dem Radstand bestimmt, und wenn die erfaßte Unebenheit ausreichend nahe herangekom men ist, wird die Aufhängung des Fahrzeugs so geregelt, daß die Stöße durch die Unebenheit abgefangen werden.

Somit wird zwar die Oberflächenbeschaffenheit der Straße, d. h. die Oberflächenform der Straße, ermittelt, und es werden die Koordinaten eines Oberflächenunregelmäßigkeits-Punktes auf der zweidimensionalen Straßenebene bestimmt, jedoch findet keine Beurteilung der Straßenverlaufsform statt.

Die Kombination der beiden obigen US-Patente führt zu einer Einrichtung mit schräggestellten Sensorflächen und einer Re gelung der Fahrzeugaufhängung in Abhängigkeit von unmittelbar vor dem Fahrzeug direkt in dessen Fahrspur detektierten Stra ßenunebenheiten. Hierdurch wird jedoch die Schwierigkeit der Erfassung einer komplexeren Szenerie mit überlagerten Objek ten und der zuverlässigeren Bestimmung der Objekte für einen solchen Fall nicht verbessert.

Diese Erfindung wurde vor dem Hintergrund obiger Umstände getätigt und hat zur Aufgabe, eine gattungsgemäße Einrichtung so zu verbessern, daß diese imstande ist, ein Distanzbild zu erzeugen und hieraus sowohl dreidimensionale Objekte als auch die Straßenverlaufsform mit hoher Zuverlässigkeit zu ermit teln.

Diese Aufgabe wird durch den Gegenstand des Patentanspruchs 1 gelöst. Vorteilhafte Weiterbildungen sind in den Unteransprü chen gekennzeichnet.

Die erfindungsgemäße Lösung besteht darin, daß das System eine Straßenform erkennt, nachdem die Straßenform durch meh rere Kameras abgebildet worden ist, die Distanzverteilung der Abbildungen berechnet wurde und dann eine dreidimensionale Position von weißen Linien der Straße, die abgebildet worden ist, ermittelt wird.

Hieraus ergeben sich entscheidende Vorteile. So ist es auf diese Weise möglich, durch Ausnutzen dreidimensionaler Posi tionsinformation der weißen Linien diese von dreidimensiona len Objekten zuverlässig zu trennen. Mit anderen Worten kann einerseits die dreidimensionale Positionsinformation der Ob jekte unverfälscht durch die diesen überlagerten weißen Linien sauber getrennt werden, und andererseits kann aus den weißen Linien wiederum der sich gegebenenfalls stark ändernde Verlauf der Straße bestimmt werden. Erst dann, wenn sowohl die Positionen der jeweils erfaßten Objekte als auch die Po sitionen der Fahrbahn, d. h. deren Verlauf, genau vorliegen, können Maßnahmen für die Vermeidung einer möglichen Kollision getroffen werden.

Auch die Unteransprüche liefern eine Reihe von weiteren Vor teilen. So ist es gemäß der Transformation der dreidimensio nalen Darstellungen auf zweidimensionalen Darstellungen unter bestimmten Berücksichtigungen möglich, sowohl für die weißen Linien als auch die Objekte die Datenmenge auf ein handhab bares Maß zu reduzieren und die Verarbeitungszeit zu verkür zen. Dieser Vorteil wird weiter verbessert durch die speziel le Bildung der dreidimensionalen linearen Elemente, die für den Straßenverlauf unter Berücksichtigung möglicher Straßen biegungen durch Aufteilung gewonnen werden.

Allein durch Heranziehen der Höhe können in der dreidimensio nalen Darstellung von Objekten und weißen Linien beide durch eine wenig aufwendige verarbeitungstechnische Maßnahme unter schieden werden, und es können z. B. auch Steine, Bäume und Pflanzen von den linearen Elementen einer weißen Linie mit tels einfacher Kriterien unterschieden werden. Hierzu ist die unterschiedli che Wichtung im dreidimensionalen Fenster und insbesondere an dem Randabschnitt geeignet. Zusätzlich wird vorzugsweise noch die Parallelität der linken und rechten ermittelten li nearen Elemente für die weißen Linien herangezogen, um die Fehlergenauigkeit weiter herabzusenken. Bei der Ermittlung der Objekte kann der Rauscheinfluß durch Einführen eines Be urteilungswertes reduziert werden. Bei der, Festlegung des dreidimensionalen Fensters wird ermittelt, wie das dreidimen sionale Fenster auf einem zweidimensionalen Bild erscheint, wobei so vorgegangen wird, daß nur Daten innerhalb des zwei dimensionalen Fensters, das durch die Fensterkonturlinien de finiert ist, auch Daten sind, die zu erfassen sind. Auf diese Weise ist es nicht nur möglich, die Dateninenge zu beschrän ken, sondern auch die Objekte einwandfrei voneinander zu trennen. Da die Daten ferner noch die Distanzwerte beinhal ten, ist es auch möglich, in einer ausgesprochen komplexen Szenerie mit zahlreichen hintereinanderliegenden Objekten die einander überlappenden Objekte an Hand ihrer Distanzunter schiede zu differenzieren.

Gemäß dem grundlegenden Konzept der Erfindung wird eine Nähe rung angewandt, bei der mehrere Bilder eines Objekts in einem festgelegten Bereich außerhalb eines Fahrzeuges aus voneinan der verschiedenen Positionen aufgenommen werden, um dann die mehreren Abbildungen mit einer hohen Geschwindigkeit zu ver arbeiten, um hierbei eine Distanzverteilung über die gesamten Bilder bzw. Darstellungen, und um die dreidimensionalen Posi tionen jeweiliger Abschnitte des Objekts entsprechend der In formation der Distanzverteilung zu berechnen, um wiederum so die Straßenform und mehrere dreidimensionale Objekte mit einer hohen Geschwindigkeit unter Ausnutzung der Information der dreidimensionalen Position zu ermitteln.

Gemäß einem weiteren Aspekt wird eine Lösung angewandt, bei der im Basiskonzept zur Beurteilung der Wahrscheinlichkeit einer Kollision zwischen den detektierten dreidimensionalen Objekten und einem Fahrzeug auf der Monitorseite diese Wahr scheinlichkeit unter Berücksichtigung der Fahrtroute des be troffenen Fahrzeugs abgeschätzt wird.

Wie oben beschrieben, wird eine Distanzver teilung über die gesamte aufgenommene Bilddarstellung mit hoher Geschwindigkeit aus dem aufgenommenen Bild ermittelt, wodurch es möglich wird, die Straßenform wie den Endbereich einer Straße oder einer weißen Linie, Mittelstreifen usw. und eine dreidimensionale Position eines dreidimensionalen Ob jektes in der Umgebung präzise und mit hoher Zuverlässigkeit zu bestimmen. Dementsprechend kann das erfindungsgemäße Sy stem in vorteilhafter Weise das Umgehen eines Hindernisses eines höheren Niveaus über der Straßenoberfläche bewerkstel ligen, wobei Position und/oder Bewegung eines zu vermeidenden Hindernisses berücksichtigt wird. So können auch unter Be rücksichtigung des Fahrzustandes des Monitorfahrzeuges zuver lässig geeignete Maßnahmen zur Vermeidung einer Kollision ergriffen werden.

Im folgenden wird die Erfindung anhand der Zeichnungen näher erläutert. Es zeigen

Fig. 1 eine schematische Darstellung der erfindungsgemäßen Einrichtung;

Fig. 2 eine Ansicht von vorn auf ein Fahrzeug, an dem die Einrichtung eines Ausführungsbeispiels angebracht ist;

Fig. 3 ein Blockschaltbild, das den Aufbau des erfin dungsgemäßen Systems zeigt;

Fig. 4 eine erklärende Darstellung, die die Beziehung zwischen einer Kamera und einem Objekt im ersten Ausführungsbeispiel zeigt;

Fig. 5 ein Schaltungsdiagramm, das eine stereoskopische Bildverarbeitungsvorrichtung aus dem ersten Ausführungsbei spiel zeigt;

Fig. 6 eine veranschaulichende Darstellung, die eine Schaltung zur Berechnung einer city-block-Distanzberech nungsschaltung zeigt;

Fig. 7 ein Blockschaltbild, das eine Minimalwertdetektor schaltung im System zeigt;

Fig. 8 eine veranschaulichende Darstellung, die ein beispielhaftes Bild zeigt, das mittels einer am Fahrzeug angebrachten CCD-Kamera aufgenommen wurde;

Fig. 9 eine veranschaulichende Darstellung eines Distanz bildes vom System;

Fig. 10 eine Ansicht von oben auf ein Fahrzeug im System;

Fig. 11 eine seitliche Ansicht auf das im System vorgese hene Fahrzeug;

Fig. 12 ein Blockschaltbild mit den Funktionen einer Straßen- und dreidimensionalen (Objekt)Detektorvorrichtung;

Fig. 13 eine veranschaulichende Darstellung, die ein im System benutztes Straßenmodell zeigt;

Fig. 14 eine veranschaulichende Darstellung, die die Form eines dreidimensionalen Fensters zeigt;

Fig. 15 eine veranschaulichende Darstellung, die die Form eines zweidimensionalen Fensters zeigt;

Fig. 16 eine veranschaulichende Darstellung, die ein lineares Element und einen Abweichungsbetrag zeigt;

Fig. 17 eine veranschaulichende Darstellung, die die Beziehung zwischen einem Abweichungsbetrag von Daten und Wichtungskoeffizienten zeigt;

Fig. 18 eine veranschaulichende Darstellung, die ein Beispiel einer vom System erfaßten Straßenform zeigt;

Fig. 19 eine veranschaulichende Darstellung, die ein Verfahren zum Aufteilen eines Bildes im System zeigt;

Fig. 20 eine veranschaulichende Darstellung, die die Beziehung zwischen dem zu erfassenden Objekt und einem Histogramm zeigt;

Fig. 21 eine veranschaulichende Darstellung, die das Detektionsergebnis des Bereichs zeigt, in dem ein Objekt vorliegt, sowie eine detektierte Distanz;

Fig. 22 eine veranschaulichende Darstellung, die eine Form eines dreidimensionalen Fensters zeigt;

Fig. 23 eine veranschaulichende Darstellung, die eine Form eines zweidimensionalen Fensters zeigt;

Fig. 24 eine veranschaulichende Darstellung, die Daten zeigt, die die Kontur eines Objekts bilden;

Fig. 25 eine veranschaulichende Darstellung, die ein Beispiel eines Konturbildes eines Objekts und einer erfaß ten äußeren Dimension oder Ausdehnung im System zeigt;

Fig. 26 ein Flußdiagramm, das die Funktion eines Ausführungsbeispiels der Stereoskopbildverarbeitungsvor richtung zeigt;

Fig. 27 eine veranschaulichende Darstellung, die die Reihenfolge der Speicherung in einem Schieberegister zeigt;

Fig. 28 eine Zeitsteuertabelle, die die Funktion einer city-block-Distanzberechnungsschaltung zeigt;

Fig. 29 eine Zeitsteuertabelle, die die Funktion eines Systemabschnitts zur Abweichungsgrößenbestimmung zeigt;

Fig. 30 eine Zeitsteuertabelle, die die Funktion der Stereoskopbildverarbeitungsvorrichtung zeigt;

Fig. 31 ein Flußdiagramm, das eine Straßenformabschätzung zeigt die vom Straßenformabschätzungsabschnitt ausgeführt wird;

Fig. 32 ein Flußdiagramm, das die Erzeugung eines dreidi mensionalen Fensters veranschaulicht, die vom Straßenform detektorabschnitt ausgeführt wird;

Fig. 33 ein Flußdiagramm, das die Verarbeitung bezüglich der Detektion des linearen Elements zeigt, die vom Straßen formdetektorabschnitt ausgeführt wird;

Fig. 34 ein Flußdiagramm, das eine Straßenformbeurteilung zeigt, die vom Straßenformbeurteilungsabschnitt ausgeführt wird;

Fig. 35 ein Flußdiagramm, das die durch den Objekterken nungsabschnitt durchgeführte Objektdetektion zeigt;

Fig. 36 ein Flußdiagramm, das eine vom Objekterkennungs abschnitt durchgeführte dreidimensionale Fenstererzeugung zeigt;

Fig. 37 ein Flußdiagramm, das die vom Objekterkennungsab schnitt durchgeführte Objektkonturbildextraktion zeigt;

Fig. 38 ein Flußdiagramm, das die Linearelementerzeugung zeigt, die vom System zur Überwachung des fahrzeugexternen Zustands eines zweiten Ausführungsbeispiels der Erfindung durchgeführt wird; und

Fig. 39 ein funktionelles Blockschaltbild einer Straßen- und dreidimensionalen Detektorvorrichtung in einem Überwa chungssystem für den fahrzeugexternen Zustand gemäß einem dritten erfindungsgemäßen Ausführungsbeispiel.

Die vorliegenden Ausführungsbeispiele dieser Erfindung werden unter Bezug auf die beiliegenden Zeichnungen erläutert. Ein System zur Überwachung des fahrzeugexternen Zustandes gemäß einem ersten Ausführungsbeispiel wird unter Bezugnahme auf die Fig. 1 bis 7 und 30 beschrieben.

In Fig. 1 bezeichnet die Bezugszahl 1 ein Fahrzeug wie ein Auto und dergleichen. Im Fahrzeug 1 ist ein System 2 zum Überwachen des fahrzeugexternen Zustandes angebracht. Das Überwachungssystem 2 dient dazu, ein Objekt innerhalb einer festgelegten Region außerhalb des Fahrzeugs abzubilden, das Objekt aus einer Art abgebildeten Darstellung zu erkennen und so den Zustand außerhalb des Fahrzeugs zu überwachen.

Das Überwachungssystem 2 umfaßt ein optisches Stereoskopsystem 10 wie ein Abbildungssystem zur Aufnahme des optischen Bildes innerhalb eines vorbestimmten Bereichs außerhalb des Fahrzeugs sowie eine Verarbeitungsvorrichtung 20 für das Stereoskopbild oder kurz Stereobild wie eine Bildverarbeitungsvorrichtung zum Verarbeiten eines Bildes, das vom optischen Stereoskopsystem 10 abgebildet wurde, um die Information der dreidimensionalen Abstandsverteilung zu berechnen, und ferner eine Straßen- und dreidimensionale Detektorvorrichtung 100 wie eine Einrichtung, die dazu ausgelegt ist, ihr von der Verarbeitungsvorrichtung 20 für das Stereobild zugeführte Distanzinformation entgegenzunehmen, um bei einer hohen Geschwindigkeit die Straßenform oder die dreidimensionalen Positionen mehrerer dreidimensionaler Objekte aus der Distanzinformation zu erfassen und zu detektieren. Das Überwachungs- oder Monitorsystem 2 ist an eine externe Vorrichtung angeschlossen, welche (nicht dargestellte) Betätigungs- oder Steuereinheiten oder dergleichen steuert, wodurch möglich wird, eine Funktion wie das Warnen des Fahrers oder eine automatische Kollisionsvermeidung des Fahrzeugs usw. auszuführen, wenn das erkannte Objekt als ein Hindernis für das Fahrzeug 1 angesehen wird.

Das optische Stereoskopsystem 10 ist mit einer CCD-Kamera ausgelegt, die ein Festkörperbildaufnahmeelement wie ein Ladungsspeicherelement (CCD) usw. umfaßt. Wie in Fig. 2 dargestellt, umfaßt das optische System 10 zwei CCD-Kameras 11a und 11b (die im Bedarfsfall durch elf repräsentiert sind) für den rechten und linken Winkel einer langen Distanz, die jeweils mit einem vorbestimmten Abstand zwischen sich auf der Vorderseite der Decke im Fahrzeugraum angebracht sind, sowie zwei CCD-Kameras 12a und 12b (im Bedarfsfall als zwölf dargestellt) für den rechten und linken Winkel einer kurzen Distanz, die jeweils mit festem Intervall auf der Innenseite der CCD-Kameras 11a und 11b für die lange Distanz befestigt sind.

Ferner umfaßt, wie in Fig. 3 gezeigt ist, die Verarbeitungsvorrichtung 20 für das Stereobild eine Distanzdetektorschaltung 20a, die dazu ausgelegt ist, zwei Bildsignale für links und rechts vom optischen System 10 entgegenzunehmen, um den Abschnitt, in dem zwei Bilder dasselbe Objekt aufweisen, für sämtliche sehr kleinen Bildbereiche, die auszuführen sind, über die Gesamtheit des Bildes zu detektieren, wobei die Vorrichtung eine Verarbeitung ausführt, in der der Abstand zu einem Objekt aus einem Ausmaß an Diskrepanz der Position auf dem Bild berechnet wird, und wobei diese Vorrichtung einen Distanzbildspeicher 20b aufweist, der die Distanzinformation als Ausgangssignal der Distanzdetektorschaltung 20a speichert.

Ferner umfaßt die Straßen- und dreidimensionale Detektorvorrichtung 100 einen Mikroprozessor 100a, der die Distanzinformation, die im Distanzbildspeicher 20b eingeschrieben ist, ausliest, um verschiedene Berechnungen durchzuführen, und darüberhinaus einen Nur-Lese-Speicher (ROM) 100b, in dem ein Steuerprogramm gespeichert ist, einen Direkt-Zugriff-Speicher (RAM) 100c zum Speichern der verschiedenen Parameter in der Mitte des Berechnungsprozesses, eine Interface-Schaltung 100d und einen Ausgangsspeicher 100e zum Speichern der Parameter der verarbeiteten Ergebnisse.

Mit der Interface-Schaltung 100d sind ein Fahrzeuggeschwindigkeitssensor 3, der am Fahrzeug 1 befestigt ist, und ein Lenkwinkelsensor 4 verbunden, der den Lenkwinkel oder Einschlagwinkel des Lenkrades erfaßt.

Dem Mikroprozessor 100a wird ein Distanzbild über den Distanzbildspeicher 20b zugeführt, und er führt eine Berechnung zur Ausgabe von Parametern einer Straßenform oder eines Hindernisses aus, wobei er ein Verarbeitungsergebnis an den Ausgangsspeicher 100e ausgibt. Eine externe Ausrüstung, die mit der Straßen- und dreidimensionalen Detektorvorrichtung 100 verbunden ist, empfängt diese Parameter vom Ausgangsspeicher 100e.

Es reicht aus, wenn das optische Stereoskopsystem 10 tatsächlich die Position von 2 bis 100 m vor dem Fahrzeug 1 mißt, wenn die CCD-Kameras 11 und 12 im Raum des Fahrzeugs 1 an einer Position, die vom vorderen Ende des Verdecks um zwei Meter nach innen versetzt ist, angebracht sind und die Distanzmessung von einer Stelle unmittelbar vor dem Fahrzeug bis zu einer Position, die beispielsweise 100 Meter davon entfernt ist, durchgeführt wird.

Wenn nämlich, wie in Fig. 4 dargestellt ist, für den Fall, daß die Montagedistanz zwischen den CCD-Kameras 11a und 11b für eine große Entfernung bzw. lange Distanz mit r bezeichnet ist und ein Bild am Punkt P, das von der Installationsfläche der beiden Kameras 11a und 11b um Z entfernt ist, die Brennweiten der beiden Kameras 11a und 11b mit f vorausgesetzt sind, dann wird ein Bild des Punktes P auf der Projektionsebene aufgenommen, die um f von den Brennpunkten der jeweiligen Kameras entfernt ist.

Hierbei ist die Distanz der Position des Bildes der rechten CCD-Kamera 11b bis zur Position des Bildes der linken Kamera 11a durch "r + δ" ausgedrückt. Falls δ als ein Diskrepanzausmaß angesetzt wird, kann die Distanz Z zum Punkt P als Funktion des Diskrepanzausmaßes oder Abweichungsbetrages durch die folgende Gleichung (1) gewonnen werden:

Z = r × f/δ (1)

Um derartige Abweichungsausmaße oder -beträge im linken oder rechten Bild zu detektieren, ist es erforderlich, eine Abbildung desselben Objekts im linken und rechten Bild aufzufinden. Gemäß der vorliegenden Erfindung wird in der Verarbeitungsvorrichtung 20 für das Stereobild, wie weiter unten erläutert wird, ein Schema angewandt, um ein Bild in kleine Regionen zu unterteilen, um Muster der Helligkeit oder Muster der Farbe innerhalb jeweiliger kleiner Regionen bezuglich des linken und rechten Bildes zu vergleichen, um eine Region aufzufinden, in der sie einander entsprechen, wobei so eine Distanzverteilung über das gesamte Bild bestimmt wird. Demgemäß ist es möglich, eine Verringerung der Informationsmenge, die in konventioneller Weise bei einem Verfahren zum Extrahieren irgendeines Merkmal es wie eine Kante, eines Liniensegmentes oder einer Raumform usw. der Fall war, um den Abschnitt herauszufinden, in dem diese Merkmale einander entsprachen, zu vermeiden.

Der Koinzidenzgrad zwischen rechtem und linkem Bild kann beispielsweise durch die city-block Distanz H ermittelt werden, die durch die folgende Gleichung (2) gezeigt ist. In diese Gleichung sind die Helligkeit (Farbe) des i. Pixels des linken und rechten Bildes jeweils durch Ai und Bi repräsentiert. Wie aus dieser Gleichung entnehmbar ist, kann die Rechengeschwindigkeit verbessert werden, da keine Ablenkung der Informationsmenge infolge des Einsatzes von Mittelwerten und keine multiplikative Berechnung (Funktion) vorliegt.

H = Σ | Ai - Bi | (2)

Ferner resultiert, wenn die Ausdehnung der kleinen Region zu großflächig aufgeteilt ist, eine hohe Wahrscheinlichkeit, daß ein von einem Bezugspunkt entferntes Objekt und ein hierzu nahes Objekt gemischt werden, so daß die zu detektierende Distanz falsch wird. Auch ist es im Hinblick der Gewinnung einer Distanzverteilung eines Bildes anzustreben, daß die zu unterteilende Region ein kleinerer Bereich ist. Ist jedoch eine derartige Region zu klein, ist die Informationsmenge unzureichend für die Untersuchung und Bestimmung der Koinzidenz.

Aus diesem Grund wird, damit beispielsweise ein Fahrzeug, das eine Breite von 1,70 m aufweist und 100 m voraus ist, und derselbe Gegenstand wie ein Fahrzeug in einer benachbarten Fahrspur nicht in eine kleine Region fallen, die laterale Weite oder Breite der Region zum Maximalwert gemacht und erhält bezogen auf das optische Stereoskopsystem 10 die Größe von vier Pixeln. Infolge der Verwendung dieses Wertes als Grundlage zum Testen der optimalen Anzahl von Pixeln für ein tatsächliches Bild wurde die Weite sowohl für die laterale als auch longitudinale Weite auf vier Pixel eingestellt.

In der folgenden Beschreibung wird vorausgesetzt, daß ein Bild in kleine Regionen von 4 × 4 Pixeln unterteilt wird, um den Koinzidenzgrad der linken und rechten Bilder zu untersuchen, und daß das optische Stereoskopsystem 10 durch die CCD-Kameras 11a und 11b für große Entfernung repräsentiert wird.

Ein in die Praxis umgesetztes Schaltungsbeispiel der Verarbeitungsvorrichtung 20 für das Stereobild ist in Fig. 5 gezeigt. In diesem Schaltungsbeispiel umfaßt die Distanzdetektorschaltung 20a einen Bildumsetzungsabschnitt 30, der analoge Bilder, die vom optischen Stereoskopsystem 10 abgebildet wurden, in digitale Bilder umsetzt, ferner einen city-block-Distanzberechnungsabschnitt 40, der die city-block Distanzen H berechnet, um die Beträge der linken und rechten Bilder zu bestimmen, während aufeinanderfolgend jeweils zu einem Zeitpunkt eine 1-Pixel-Verschiebung vorgenommen wird, einen Minimal/Maximalwertdetektorabschnitt 50, der einen Minimalwert H_MIN und einen Maximalwert H_MAX der city-block Distanz H ermittelt, und einen Diskrepanzbestimmungsabschnitt 60, der einen Diskrepanzbetrag oder Abweichungsbetrag ermittelt, indem er prüft, ob der Minimalwert H_MIN, der vom Minimal/Maximalwertdetektorabschnitt 50 geliefert wird, eine Koinzidenz zwischen den linken und rechten kleinen Regionen anzeigt oder nicht. Ferner wird als Distanzbildspeicher 20b ein Dual-Port Speicher verwendet.

Im Bildumsetzungsabschnitt 30 sind A/D Wandler 31a und 31b entsprechend den CCD Kameras 11a und 11b für die linken und rechten Bilder vorgesehen. Mit den A/D Wandlern 31a und 31b sind jeweils Nachschlagetabellen (LUT = look-up tables) 32a und 32b verbunden, die als Datentabelle dienen, sowie Bildspeicher 33a und 33b zum Speichern der durch die CCD Kameras 11a und 11b abgebildeten Darstellungen.

Die A/D Wandler 31a und 31b haben beispielsweise eine Helligkeits- oder Leuchtdichteauflösung von 8 Bits und dienen dazu, die analogen Bilddaten von den linken und rechten CCD-Kameras 11a und 11b in digitale Bilddaten umzusetzen, die eine erforderliche Leuchtdichtegradation aufweisen. Wird dabei die Binärisierung der Leuchtdichte eines Bildes durchgeführt, kann man dabei speziell die Verarbeitungsgeschwindigkeit erhöhen, jedoch tritt dann ein großer Verlust in der Informationsmenge für die Berechnung der Koinzidenz der linken und rechten Bilder auf, und so wird die Leuchtdichte jedes Pixels beispielsweise auf eine graue Skala umgesetzt, die in 256 Helligkeitsgradationen unterteilt ist.

Ferner können die LUTs 32a und 32b in einem Nur-Lese-Speicher ROM als programmierte Daten vorhanden sein. Die LUTs liefern Daten zur Korrektur eine Kontrastes eines Bildes, das durch die A/D Wandler 31a und 31b in digitale Größen umgesetzt wurde und eine geringe Leuchtdichte aufweist, und um Unterschiede in den Charakteristiken der linken und rechten CCD Kameras 11a und 11b zu korrigieren. Daraufhin werden die von den LUTs 32a und 32b umgesetzten Signale in den Bildspeichern 33a und 33b gespeichert.

Wie weiter unten erläutert wird, führen die Bildspeicher 33a und 33b eine Verarbeitung aus, bei der sie wiederholt einen Ausschnitt der Bilddaten im city-block Distanzberechnungs abschnitt 40 aufnehmen, und so ist es möglich, daß sie mit einem Speicher relativ geringer Geschwindigkeit ausgelegt sind und so die Kosten reduzierbar sind.

Der city-block Berechnungsabschnitt 40 umfaßt ein Paar Eingangspufferspeicher 41a und 41b, die über einen gemeinsamen Bus 80 mit dem Speicher 33a für das linke Bild des Bildumsetzungsabschnitts 30 verbunden sind, und ein Paar Eingangspufferspeicher 42a und 42b, die über den gemeinsamen Bus 80 mit dem Speicher 33b für das rechte Bild verbunden sind.

Mit dem Paar Eingangspufferspeichern 41a und 41b für das linke Bild sind ein Paar Schieberegister 43a und 43b verbunden, die eine achtstufige Auslegung aufweisen. In derselben Weise sind ein Paar achtstufiger Schieberegister 44a und 44b mit den jeweiligen Eingangspufferspeichern 42a und 42b für das rechte Bild verbunden. Ferner ist eine city-block Distanzberechnungsschaltung 45, die die city-block Distanz berechnet, mit diesen Paaren von Schieberegistern 43a, 43b; 44a, 44b verbunden.

Ferner sind ein Paar zehnstufiger Schieberegister 64a und 64b des Diskrepanzbestimmungsabschnitts 60, der weiter unten erläutert wird, mit den Schieberegistern 44a und 44b für das rechte Bild verbunden. Wenn der Datentransfer für die nächste kleine Region begonnen wird, werden alte Daten, die bereits der Berechnung der city-block Distanz H unterzogen wurden, zu den Schieberegistern 64a und 64b übertragen, und zur Bestimmung des Abweichungsbetrages δ verwendet.

Darüberhinaus ist die city-block Distanzberechnungsschaltung 45 von einer Struktur, in der Rechner oder Betriebselemente 46 nach Art eines Hochgeschwindigkeits-CMOS kombiniert sind, wobei jedes Element eine solche Chip-Konfiguration aufweist, daß ein Eingabe/Ausgabesignalspeicher mit einem Addierer/Subtrahierer verbunden ist. Wie detailliert in Fig. 6 dargestellt ist, weist die city-block Schaltung 45 eine Pipelinestruktur auf, in der sechzehn Recheneinheiten in der Form einer Pyramide verbunden sind, und ist dazu ausgelegt, simultan Daten von 8 Pixeln zur Durchführung der Berechnung einzugeben bzw. zu verarbeiten. Die erste Stufe dieser Pyramidenstruktur stellt einen Absolutwertberechner oder ein entsprechendes Betriebselement dar; die zweite bis vierte Stufe bilden einen ersten Addierer, einen zweiten Addierer bzw. einen dritten Addierer und die Endstufe bildet einen Addierer für die gesamte Summe.

Die Fig. 6 zeigt nur die Paarhälfte der Absolutwertberechner und der Addierer der ersten und zweiten Stufe.

Ferner sind die Eingangspufferspeicher 41a, 41b, 42a und 42b jeweils kleine Speicher, die über die hohe Geschwindigkeit verfügen, die der Geschwindigkeit der city-block-Distanzberechnungen entspricht, und der Eingang und Ausgang sind getrennt, während eine Adresse, die von einer #1 Adress-Steuereinheit 86 erzeugt wird, jedem der Pufferspeicher gemäß einem Takt zugeführt wird, der von einer Taktgeneratorschaltung 85 zugeführt wird. Ferner wird der Transfer zu und von den beiden Paaren von Schieberegistern 43a, 43b; 44a, 44b durch eine #2 Adress-Steuereinheit 87 gesteuert.

Wird die Berechnung der city-block Distanz H durch die Software eines Rechners durchgeführt, ist es darüberhinaus erforderlich, ein sukzessives Absuchen der kleinen Region in der Bildebene auf der linken Seite bezüglich einer der kleinen Regionen der Bildebene auf der rechten Seite durchzuführen, und einen derartigen Suchvorgang für den gesamten Abschnitt kleiner Regionen der rechten Bildebene durchzuführen. Wird diese Berechnung beispielsweise in 0,08 sec ausgeführt, ist eine Rechenleistung von 500 MIPS (Mega-Instruktionen pro Sekunde) erforderlich, falls ein fünfstufiges Programm für jedes Pixel verwendet wird. Diese Leistung kann von einem geläufigen Mikroprozessortyp der Art eines CISC Prozessors nicht erbracht werden und so muß ein RISC Prozessor, ein Digitalsignalprozessor (DSP) oder paralleler Prozessor verwendet werden.

Der Minimal/Maximalwertdetektorabschnitt 50 ist mit einer Minimalwertdetektorschaltung 51, die einen Minimalwert H_MIN für die city-block Distanz H ermittelt, und einer Maximalwertdetektorschaltung 52 ausgestattet, die einen Maximalwert H_MAX für die city-block Distanz detektiert. Der Abschnitt 50 weist eine Struktur auf, in der Rechnereinheiten, die in der city-block Distanzberechnungsschaltung 45 eingesetzt sind, für die Minimal/Maximalwertdetektion verwendet werden.

Wie in Fig. 7 gezeigt, umfaßt die Minimalwertdetektorschaltung 51 eine Rechnereinheit 46, die ein A-Register 46a, ein B-Register 46b und eine logische arithmetische Berechnungseinheit (ALU) 46c aufweist, wobei ein C-Signalspeicher 53, ein Signalspeicher 54 und ein D-Signalspeicher 55 jeweils in der gezeigten Weise verbunden sind. Das Ausgangssignal der city-block Distanzberechnungsschaltung 45 wird dem A-Register 46a und dem B-Register 46b über den C-Signalspeicher 53 zugeführt, und es wird das höchstwertige Bit (MSB) des Ausgangssignals der ALU 46 zum Signalspeicher 54 ausgegeben. Der Ausgang dieses Latches oder Signalspeichers 54 wird zum B-Register 46b und zum D-Signalspeicher 55 ausgegeben, und es wird ein Wert in der Mitte der Minimalwertberechnung im B-Register 46b konserviert bzw. gehalten und der Abweichungsbetrag δ zu diesem Zeitpunkt wird im D-Signalspeicher 55 konserviert.

Ferner weist die Maximalwertdetektorschaltung 52 dieselbe Konfiguration wie die Minimalwertdetektorschaltung 52 mit der Ausnahme auf, daß die Logik invertiert ist und daß der Abweichungsbetrag δ nicht gespeichert wird.

Die city-block Distanzen H werden aufeinanderfolgend berechnet, wie oben beschrieben, während die kleine Region des linken Bildes jeweils zu einem Zeitpunkt um ein Pixel bezüglich einer der kleinen Regionen des rechten Bildes verschoben wird. Jedesmal, wenn der Wert der city-block Distanz ausgegeben wird, bestimmen der Vergleich und die Erneuerung des Maximalwerts H_MAX und des Minimalwerts H_MIN zu dieser Zeit den Maximalwert H_MAX und den Minimalwert H_MIN für die city-block Distanz in dieser kleinen Region im wesentlichen zur selben Zeit wie der Ausgabe der endgültigen city-block Distanz H.

Der Diskrepanzbestimmungsabschnitt 60 ist so aufgebaut, daß er z. B. einen RISC Prozessor geringen Umfangs aufweist, und ist mit einer Recheneinheit 61 mit Datenbussen 62a und 62b von 16 Bit Breite, einem Signalspeicher 63a, der den Abweichungsbetrag δ hält, einem Signalspeicher 63b, der den Schwellwert Ha als einen ersten spezifischen Wert hält, einem Signalspeicher 63c, der den Schwellwert Hb als einen zweiten speziellen Wert hält, einem Signalspeicher 63d, der den Schwellwert Hc als einen dritten spezifischen Zwischenwert hält, einem Paar Schieberegister 64a und 64b, die Leuchtdichtedaten eines rechten Bildes halten, einem Schalter 65, der das Ausgangssignal von der Recheneinheit 61 empfängt und den Abweichungsbetrag δ oder "0" ausgibt, Ausgangspufferspeichern 66a und 66b, die die Ausgangsergebnisse zeitweise halten, und einem Nur-Lese-Speicher (ROM) 67 mit sechzehn Bit Breite versehen, in dem das Steuerprogramm für die Funktionen der Recheneinheit 61 und die Betriebszeitsteuerung der Schaltung eingeschrieben sind.

Die Recheneinheit 61 weist die ALU 70 auf und umfaßt ein A-Register 71, ein B-Register 72, ein S-Register 73 und einen Selektor 74. Das A-Register 71 ist mit dem Datenbus 62a (im folgenden als A-Bus 62a bezeichnet) verbunden. Das B-Register 72 ist mit dem Datenbus 62b (im folgenden als B-Bus 62b bezeichnet) verbunden. Der Schalter 65 wird durch die Rechenergebnisse der ALU 70 betätigt, und es wird entweder der Abweichungsbetrag δ oder "0" in den Ausgangspufferspeichern 66a und 66b gespeichert.

Mit dem A-Bus 62a sind die Signalspeicher 63b, 63c und 63d, die jeweils die Schwellwerte Ha, Hb bzw. Hc speichern, und die Maximalwertdetektorschaltung 52 verbunden. In gleicher Weise ist mit dem B-Bus 62b die Minimalwertdetektorschaltung 51 verbunden. Ferner sind an den A-Bus 62a und den B-Bus 62b die Schieberegister 64a und 64b angeschlossen.

Ferner ist an die Schaltstufe 65 die Recheneinheit 61 angeschlossen, und die Minimalwertdetektorschaltung 51 ist darüberhinaus über Signalspeicher 63a angeschlossen. So werden von der Recheneinheit 61 drei später zu beschreibende Prüfzustände beurteilt, und das Ausgangssignal der Ausgangspufferspeicher 66a und 66b wird in Abhängigkeit dieser Beurteilungsergebnisse geschaltet.

Der Diskrepanzbestimmungsabschnitt 60 prüft, ob der gewonnene Minimalwert H_MIN der city-block Distanz H tatsächlich mit der linken und rechten kleinen Region koinzidiert, und nur, wenn diese Bedingung erfüllt ist, wird ein entsprechender Abweichungsbetrag δ zu den Positionen von Pixeln entsprechend den Ausgangspufferspeichern 66a und 66b ausgegeben.

Wird die city-block Distanz H minimal, so ist genauer ausgedrückt der Abweichungsbetrag ein erforderlicher Abweichungsbetrag δ. Der Abweichungsbetrag δ wird ausgegeben, wenn die folgenden drei Prüfbedingungen erfüllt waren, während keine Daten verwendet werden und "0" ausgegeben wird, wenn die Bedingungen nicht erfüllt werden.

(A) H_MIN Ha (die Distanz ist nicht detektiert, wenn H_MIN < Ha.)
(B) H_MAX - H_MIN Hb (dies ist eine Bedingung zum Prüfen, ob der gewonnene minimale Wert H_MIN eindeutig infolge von aus Rauschen resultierender Schwingung niedrig ist, und prüft nicht die Differenz mit der Umgebung des Minimalwerts H_MIN, sondern prüft statt dessen die Differenz mit dem Maximalwert H_MAX, so daß die Distanzerfassung bezüglich der Objekte, wie beispielsweise gekrümmte Oberflächen oder dergleichen durchgeführt wird, für die die Leuchtdichte sich graduierlich ändert).
(C) Die Leuchtdichtedifferenz zwischen aneinandergrenzenden Pixeln in lateraler Richtung innerhalb einer kleinen Region eines rechten Bildes ist größer Hc (es liegt eine Kantendetektion vor, wenn der Schwellwert Hc größer wird, jedoch ist es auch möglich, eine Behandlungsmöglichkeit zu haben, wenn die Leuchtdichte sich graduierlich ändert, indem der Schwellwert Hc geringer als der normale Kantendetektionspegel gemacht wird. Diese Bedingung basiert auf dem fundamentalen Prinzip, daß die Distanzerfassung in der kleinen Region, die keine Änderungen der Leuchtdichte hat, nicht ausgeführt werden kann, und für jedes Pixel in einer kleinen Region ausgeführt wird und so nur für Pixel ausgenutzt wird, für die die Distanz tatsächlich für das Innere einer kleinen Region erfaßt worden ist, und erzeugt so ein natürliches Ergebnis.)

Wird diese Abweichungsbetragbestimmung durch Software mit einem normalen Mikroprozessor durchgeführt, ist es nötig, eine Geschwindigkeit von 27 MIPS zu haben, und es ist unmöglich, eine derartige Verarbeitung auszuführen.

Die Distanzverteilungsinformation, die dem endgültigen Ausgangsergebnis des Diskrepanzbestimmungsabschnitts 60 entspricht, wird über einen gemeinsam benutzten Bus 80 in einen dual-port Speicher 90 eingeschrieben.

Die Distanzverteilungsinformation, die von der Verarbeitungsvorrichtung 20 für das Stereobild ausgegeben wird, liegt, wie oben erklärt, in Form eines Bildes (Distanzbild) vor. Wenn die von links und rechts durch die jeweiligen CCD Kameras 11a und 11b aufgenommenen Bilder, z. B. ein Bild, wie es in Fig. 8 dargestellt ist (ein Bild, das von einer Kamera aufgenommen ist, ist in Fig. 8 gezeigt), durch die Verarbeitungsvorrichtung 20 für das Videobild verarbeitet wird, wird ein in Fig. 9 gezeigtes Bild geliefert.

In diesem Bildbeispiel, das in Fig. 9 gezeigt ist, ist der Bildumfang 400 Pixel in der lateralen Richtung und 200 Pixel in der Längsrichtung. Die Bereiche, die Distanzdaten aufweisen sind die Bereiche schwarzer Punkte. Diese Bereiche sind Bereiche, in denen die Leuchtdichte sich zwischen den in der linken und rechten Richtung der jeweiligen Pixel des Bildes der Fig. 8 benachbarten Pixel mit einem hohen Grad ändert. Das Koordinatensystem auf einem Bild ist derart, daß der Ursprung als die oberste Ecke auf der linken Seite angesetzt ist, wobei eine i-Koordinatenachse in seitlicher Richtung, eine j-Koordinatenachse in Längsrichtung genommen werden und die Einheit ein Pixel ist.

Dieses Distanzbild wird in die Straßen- und dreidimensionale Detektorvorrichtung 100 eingelesen. So werden eine Vielzahl von Objekten wie andere Autos oder Hindernisse usw., die auf der linken und rechten Fahrbahn angrenzend an die Fahrbahn des jeweils betroffenen Fahrzeugs vorliegen, erfaßt. So werden ihre Positionen und Abmessungen bezogen auf die Geschwindigkeiten bezüglich des jeweils betroffenen Fahrzeuges durch zeitliche Positionsänderungen und dergleichen berechnet. Zusätzlich werden Konturbilder der erfaßten Objekte extrahiert.

In diesem Fall wird in der Straßen- und dreidimensionalen Detektorvorrichtung 100 eine dreidimensionale Information eines Objekts verwandt. So führt diese Vorrichtung eine Unterscheidung zwischen einer Straße und einem Objekt über die Höhe von der Straßenoberfläche ab aus und führt eine Unterscheidung zwischen einem Objekt und dem Hintergrund durch einen Distanzwert aus. Um dies zu realisieren, transformiert die Straßen- und dreidimensionale Objektdetektorvorrichtung 100 zunächst ein Koordinatensystem von Distanzbildern von der Verarbeitungsvorrichtung für das Stereobild auf ein Koordinatensystem eines realen Raumes, der ein entsprechendes Fahrzeug (Fahrzeug 1) umgibt, um Positionen und Abmessungen der detektierten Straßenformen oder dreidimensionalen Objekte zu berechnen.

Wie in den Fig. 10 und 11 gezeigt ist, wird dabei nämlich vorausgesetzt, daß das Koordinatensystem eines realen Raumes das Koordinatensystem des Fahrzeugs ist, in dem die x-Achse in der seitlichen Richtung auf der rechten Seite des Fahrzeugs 1 liegt, die y-Achse bezüglich des Fahrzeugs 1 aufwärts gerichtet ist, die z-Achse in Vorwärtsrichtung des Fahrzeugs 1 gelegt ist und der Ursprung auf der Straßenoberfläche unmittelbar unten dem zentralen Bereich der beiden CCD Kameras 11a (12b), 11b (12b) liegt. Ist die Straße flach, so entspricht folglich die XZ Ebene (Y = 0) der Straßenoberfläche. Um die dreidimensionalen Positionen (X, Y, Z) eines Objekts aus der Distanzinformation (i, j, Z) in einem Bild zu berechnen, wird durch die folgenden Gleichungen (3) und (4) eine Sorte von Koordinatentransformationen durchgeführt:

Y = CH - Z × PW × (j - JV) (3)

X = r/2 + Z × PW × (i - IV) (4)

wobei CH eine Montagehöhe der CCD Kamera ist (CCD Kamera 12), PW ein Sichtfeldwinkel pro Pixel ist und IV, JV Koordinaten auf einem Bild an einem unendlichen Punkt sind, der dem Fahrzeug 1 gerade gegenüber liegt. Ferner sind die Gleichungen zum Berechnen einer Position (i, j) auf einem Bild aus den dreidimensionalen Koordinaten (X, Y, Z) eines realen Raumes unten angegeben, indem die oben erwähnten Gleichungen (3) und (4) entsprechend umgeformt wurden.

j = (CH - Y)/(Z × PW) + JV (5)

i = (X - r/2)/(Z × PW) + IV (6)

Es sei angemerkt, daß, wenn die Montageposition der CCD Kamera 11 durch das x, y, z-Koordinatensystem des realen Raumes angezeigt wird, so betragen beispielsweise die Positionsparameter der CCD Kamera 11b auf der linken Seite X = 0,45 m, Y = 1,24 m und Z = 0,0 m und die Positionsparameter der CCD Kamera 11a auf der linken Seite X = -0,45 m, Y = 1,24 m und Z = 0,0 m.

Die Erkennungsfunktion der Straßen- und dreidimensionalen Objektdetektorvorrichtung ist, wie in Fig. 12 gezeigt, grob in eine Straßendetektoreinheit 110 und in eine Objekterkennungseinheit 120 unterteilt. Jeweilige Verarbeitungsergebnisse werden in den Ausgangsspeichern 100e wie einem Straßen-/dreidimensionalen Parameterspeicher 130 gespeichert und in eine (nicht gezeigte) externe Vorrichtung ausgelesen.

Die Straßendetektoreinheit 110 ist aus einem Straßenformabschätzungsabschnitt 111, einem Erzeugungsabschnitt 112 für ein dreidimensionales Fenster, einem Linearelementdetektorabschnitt 113 und einem Straßenformbeurteilungsabschnitt 114 aufgebaut. Darüberhinaus ist der Objekterkennungsabschnitt 120 aus einem Objektdetektorabschnitt 121, einem Erzeugungsabschnitt 122 für ein dreidimensionales Fenster und einem Objektkonturenextraktionsabschnitt 123 aufgebaut.

Der Straßenformabschätzungsabschnitt 111 weist die Funktion auf, die Position einer weißen Linie und die Form einer Straße auf der Grundlage von Information einer Distanzverteilung abzuschätzen bzw. zu berechnen, die im Distanzbild enthalten ist; der Erzeugungsabschnitt 112 für das dreidimensionale Fenster weist die Funktion auf, als ein erstes dreidimensionales Fenster einen dreidimensionalen Raumbereich festzulegen, der die abgeschätzte weiße Linie der Straße enthält.

Ferner weist der Linearelementdetektorabschnitt 113 die Funktion auf, nur die Daten innerhalb des ersten dreidimensionalen Fensters aus Informationen der Distanzverteilung zur Detektion von dreidimensionalen linearen Elementen zu extrahieren, die ein Straßenmodell darstellen, und der Straßenformbeurteilungsabschnitt 114 weist die Funktion auf, die Annehmbarkeit oder Plausibilität eines detektierten linearen Elements zu beurteilen, um das lineare Element für den Fall zu modifizieren oder zu ändern, daß das beurteilte Ergebnis nicht einem Kriterium entspricht, um so das Straßenmodell zu bestimmen.

Ferner weist der Objektdetektorabschnitt 121 die Funktionen einer Datenextraktionseinrichtung zum Extrahieren nur von Daten oberhalb der Straßenoberfläche aus der Information der Distanzverteilung auf der Straße des vorbestimmten Straßenmodells und eine Objektdetektoreinrichtung auf, um das Vorhandensein oder Fehlen einer existierenden Position eines Objekts aus den extrahierten Daten für jeweils jeden einer Vielzahl von Bereichen festzustellen, die durch Zerteilen eines Bildes gewonnen werden, das die Information der Distanzverteilung enthält, um so mehrere Objekte in einer zur Unterscheidung vom Hintergrund geeigneten Weise zu detektieren. Darüberhinaus weist der Erzeugungsabschnitt 122 für das dreidimensionale Fenster die Funktion auf, als ein zweites Fenster einen dreidimensionalen Raumbereich festzusetzen, der die detektierten Objekte enthält.

Ferner weist der Objektkonturbildextraktionsabschnitt 123 die Funktionen der Extraktion nur von Daten innerhalb des zweiten dreidimensionalen Fensters aus Information der Distanzverteilung zur Detektion eines Konturbildes eines Objekts und der Detektion der Ausdehnung und Position dieses Konturenbildes, einer Detektoreinrichtung zur Erfassung des Positionsbeziehungsausmaßes mit hoher Geschwindigkeit und eines Ausmaßes an positioneller Beziehung zwischen einem detektierten dreidimensionalen Objekt und dem Fahrzeug auf der Monitorseite aus zeitlichen Änderungen der dreidimensionalen Positionen des erfaßten dreidimensionalen Objekts sowie die Funktion einer Kollisionsbeurteilungseinrichtung auf, die die Möglichkeit einer Kollision zwischen einem erfaßten dreidimensionalen Objekt und dem Fahrzeug mit der Überwachungseinheit aus dem Betrag oder Ausmaß an positioneller Beziehung im Hinblick auf eine Fahrroute des Monitorfahrzeugs beurteilt, die aus der erfaßten Straßenform gewonnen wird.

Der Straßendetektorabschnitt 110 nutzt die dreidimensionale Positionsinformation von einem Distanzbild aus, das im Distanzbildspeicher 20b gespeichert wird, und extrahiert nur weiße Linien auf der aktuellen Straße in einer solchen Weise, daß sie von den anderen zur Modifizierung/Änderung von Parametern des Straßenmodells, das darin enthalten ist, so getrennt werden, daß sie einer tatsächlich vorliegenden Straßenform entsprechen.

In einem aktuellen Bild erscheint ein vorausfahrendes Fahrzeug oder dergleichen auf weißen Linien auf der Straße in überlagerter Weise. Mit zahlreichen herkömmlichen Vorrichtungen, die zur Detektion von weißen Linien auf einer Straße ausgelegt sind, welche in einem Bild in Abhängigkeit zweidimensionaler Merkmale erscheinen, ist es häufig nicht möglich, weiße Linien und dreidimensionale Objekte durch zweidimensionale Merkmale zu trennen. Demgegenüber ist es in der vorliegenden Erfindung durch Ausnutzen dreidimensionaler Positionsinformation von weißen Linien möglich, weiße Linien und dreidimensionale Objekte zuverlässig zu trennen.

Dabei liegen nämlich in einem dreidimensionalen Raum die weißen Linien auf der Ebene einer Straße und ein dreidimensionales Objekt wie ein vorausfahrendes Fahrzeug usw. ist demgegenüber auf einer Position vorhanden, die höher als die Ebene der Straße liegt. Im Hinblick hierauf wird ein Verfahren angewandt, das zwischen der weißen Linie und dem dreidimensionalen Objekt durch die Höhe von der Straßenoberfläche unterscheidet.

Ferner ist ein Straßenmodell im Straßendetektorabschnitt 110 enthalten oder gespeichert. Dieses Straßenmodell wird gewonnen, indem eine eigene Fahrbahn bis zu einem Erkennungsobjektbereich durch feste Distanzen zu ungefähren linken und rechten weißen Linien für jeden jeweiligen Abschnitt durch eine dreidimensionale, später beschriebene Gleichung zu deren Verbindung in Form einer polygonalen Linie in eine Vielzahl von Abschnitten aufgeteilt wird. In diesem Straßenmodell wird der Bereich, der von linken und rechten polygonalen Linien eingeschlossen ist, als eine Fahrbahn für ein fahrendes Fahrzeug beurteilt. Mit anderen Worten kann man davon ausgehen, daß die Erkennung der Straßenform ein Prozeß zum Ableiten von Parametern eines dreidimensionalen linearen Ausdrucks ist.

Fig. 13 ist ein Beispiel eines Straßenmodells. Beispielsweise ist die Straße in einem Bereich bis zu 84 m vor einem Fahrzeug in sieben Abschnitte von einem nullten Abschnitt R0, dem ersten Abschnitt R1, dem zweiten Abschnitt R2, . . . dem sechsten Abschnitt R6 unterteilt, um eine Rechtskurve durch eine Näherung nachzustellen. In diesem Straßenmodell wird ein Verfahren verwendet, das die Repräsentation einer Straße durch die Approximation durch sieben Abschnitte ermöglicht, wodurch es möglich wird, mit ausreichender Präzision nicht nur einen linearen Verlauf, sondern auch eine Kurve oder einen S-förmigen Verlauf zu repräsentieren. Darüberhinaus sind, da die jeweiligen Abschnitte durch Linien repräsentiert sind, die Rechenverarbeitungen und/oder die Handhabung einfach. Darüberhinaus können, wie weiter unten erläutert, jeweilige Abschnitte mit linearen Ausdrücken in horizontaler Richtung oder in einer vertikalen Richtung repräsentiert werden und Formen in oberen und unteren Richtungen bezüglich einer Straße wie einem Auf und Ab der Straße oder Unebenheiten usw. können repräsentiert werden.

Es sei angemerkt, daß es erforderlich ist, die Werte der Abstände, die die jeweiligen Abschnitte des Straßenmodells teilen, abhängig von der Krümmung einer Kurve der Straße, auf der ein Fahrzeug fährt, zu ändern. Da der Radius der Straße bei Schnellstraßen im allgemeinen so ausgelegt ist, daß er mindestens etwa 230 m beträgt, können zufriedenstellende Ergebnisse für diesen Fall gewonnen werden, wenn die Distanzteilung der jeweiligen Abschnitte auf 10 m, 17 m, 25 m, 35 m, 48 m, 64 m und 84 m festgelegt werden.

Die Funktion des Straßendetektorabschnitts 110 wird nun detailliert beschrieben. Der Straßenformabschätzungsabschnitt 111 berechnet die Bewegung des Fahrzeugs 1 für Δt sec durch Verwenden von Ausgangssignalen vom Fahrzeuggeschwindigkeitssensor 3 und Lenkwinkelsensor 4 auf der Grundlage des Erkennungsergebnisses einer Straßenform der letzten Zeitspanne (vor Δt sec), um so eine Straßenform aus der Sicht der Position des Fahrzeugs 1 nach Δt sec abzuschätzen.

Wird angenommen, daß ein Ausgangssignal des Geschwindigkeitssensors 3 V (m/sec) und ein Ausgangssignal (Lenkwinkel) des Lenkwinkelsensors 4, der an der Lenkwelle oder Lenksäule befestigt ist, η (rad) betragen, dann können ein Fortbewegungsbetrag Z(m) und ein Drehwinkel (Gierwinkel) ΔΘ (rad) des Fahrzeugs 1 für Δt sec generell durch die folgenden Gleichungen beschrieben werden.

ΔZ = V × Δt (7)

ΔΘ = ΔZ × tan (η/rs) × 1/wb (8),

worin rs das Verhältnis der Drehung zwischen dem Lenkrad und dem Vorderrad ist und wb ein Rad- oder Achsstand des Fahrzeugs ist.

Demgemäß wird eine Näherung angewandt, um eine Straßenform, die in der letzten Verarbeitung detektiert worden ist, in einer Richtung auf dieser Seite um ΔZ zu bewegen, um die Straßenform in einer Richtung entgegengesetzt zur Drehung des Fahrzeugs 1 um ΔΘ weiter zu drehen, wodurch es möglich wird, die angenäherte Position in Form einer Straße nach Δt sec abzuschätzen.

Der Erzeugungsabschnitt 112 für ein dreidimensionales Fenster legt zunächst einen ersten dreidimensionalen Raumbereich in einem rechtwinkligen Parallelipipedon bzw. Quader fest, wie in Fig. 14 gezeigt ist, d. h. ein erstes dreidimensionales Fenster WD3A (im folgenden der Einfachheit halber als dreidimensionales Fenster WD3A bezeichnet), wobei ein lineares Element Ld innerhalb eines Bereichs, der durch linke und rechte polygonale Linien eingegrenzt ist, die eine abgeschätzte Straßenform RD anzeigen, als ein Zentrum zum Bestimmen durch Berechnung dient, wie das festgelegte dreidimensionale Fenster WD3A auf ein zweidimensionales Bild, wie in Fig. 15 gezeigt, blickt, um zu ermöglichen, daß der Bereich innerhalb der Fensterkonturlinie (die schrägen Linienabschnitte in Fig. 15) ein zweidimensionales Fenster wie WD2A ist, um nur Daten darin als zu erfassende Daten zu betrachten.

Um das zweidimensionale Fenster WD2A aus dem dreidimensionalen Fenster WD3A zu gewinnen, wird eine Näherung eingesetzt, um Koordinaten (in, jn) auf dem Bild durch Verwenden der vorbeschriebenen Gleichungen (5) und (6) aus den jeweiligen Koordinaten (Xn, Yn, Zn) von acht Senkrechten des dreidimensionalen Fensters WD3A zu berechnen, um ein Polygon zu berechnen, das diese Punkte umhüllt.

Das dreidimensionale Fenster WD3A ist derart, daß die Länge gleich der Unterteilungsdistanz der jeweiligen Abschnitte ist (beispielsweise 10 bis 17 m vor dem Fahrzeug bei einem ersten Abschnitt R1) und daß die Höhe und die Breite in Abhängigkeit von Umständen wie der Fahrzeuggeschwindigkeit usw. geändert werden. Jedoch kann ein Fehler bei der Abschätzung der Straßenform vorliegen. Aus diesem Grund wird, wenn eine Diskrepanz bezüglich einer tatsächlichen Position der weißen Linie erwartet wird, eine Näherung angewandt, um die Höhe und die Breite zur Verbreiterung des Detektionsbereichs zu vergrößern. Wird jedoch das Fenster zu groß, so können Steine oder Bäume und Pflanzen an der Peripherie einer Straße usw. fehlerhaft erfaßt werden, woraus eine falsche Erkennung resultieren kann. Aus diesem Grund ist es wichtig, die Dimension des Fensters geeignet auszuwählen. In den generellen Schnellstraßen ist bereits als Testergebnis bestätigt, daß die Änderung der Dimension in einem Bereich, in dem die Höhe 0,4 bis 0,8 m und die Breite 0,4 bis 1,6 m betragen, geeignet ist.

Wie oben beschrieben, wird, falls eine weiße Linie auf einer Straße und ein dreidimensionales Objekt einander auf einem zweidimensionalen Bild überlappen, eine Näherung eingesetzt, um ein dreidimensionales Fenster festzusetzen, um nur Daten in der Umgebung der Oberfläche der Straße zu extrahieren, wodurch es möglich wird, die weiße Linie in einer Weise zu detektieren, die sie vom dreidimensionalen Objekt unterscheidet. Obgleich Steine, Bäume und Pflanzen an der Peripherie einer Straße existieren, wird ferner eine Näherung eingesetzt, um ein dreidimensionales Fenster festzulegen, das nur Daten in der Umgebung der Position extrahiert, wo eine Abschätzung weiße Linien ergibt, wodurch es möglich wird, die weißen Linien auf der Straße in einer Weise zu detektieren, die sie von diesen Steinen oder Bäumen und Pflanzen usw. unterscheiden. Ferner wird ein zweidimensionales Fenster festgelegt, wodurch es möglich wird, eine abzusuchende Region und die Anzahl von Daten zu reduzieren, so daß so die Verarbeitungszeit verkürzt wird.

Der Linearelementdetektorabschnitt 113 berechnet einen Betrag ΔX der Diskrepanz in einer X-Richtung und einen Betrag ΔY der Diskrepanz in einer Y-Richtung der dreidimensionalen Position eines Objekts bezüglich des linearen Elementes Ld der Straßenform, die vorab abgeschätzt wurde, um so jeweilige Daten mit Wichtungskoeffizienten zu multiplizieren, die in Abhängigkeit dieser Diskrepanz- oder Abweichungsbeträge ΔX, ΔY festgelegt sind, um lineare Ausdrücke in einer horizontalen Richtung (XZ Ebene) und in einer vertikalen Richtung (YZ-Ebene) durch das kleinste Quadrat abzuleiten, um auf diese Weise Parameter zu gewinnen.

Speziell werden dabei Pixel innerhalb des zweidimensionalen Fensters 2A aufeinanderfolgend überwacht, um so dreidimensionale Positionen (X, Y, Z) eines Objekts zu berechnen, indem zuvor beschriebene Gleichungen (3) und (4) bezüglich von Pixeln angewandt werden, die Distanzdaten aufweisen, um aus den zu erfassenden Daten Distanzdaten auszuschließen, bei denen der Wert der Distanz Z außerhalb eines Längenbereichs des dreidimensionalen Fensters WD3A liegt (beispielsweise Z = 10-17 m im ersten Abschnitt R1).

Da namlich ein Bild eines Objekts, das auf der gegenüberliegenden Seite oder dieser Seite des dreidimensionalen Fensters WD3A liegt, innerhalb des zweidimensionalen Fensters DW2A abgebildet wird, kann nicht gesagt werden, daß ein innerhalb des zweidimensionalen Fensters WD2A beobachtetes Objekt innerhalb des dreidimensionalen Fensters WD3A enthalten ist. Im Hinblick hierauf wird eine Näherung angewandt, um dreidimensionale Positionen (X, Y, Z) eines Objekts von jeweiligen Pixeln zu berechnen, um so zu unterscheiden, ob diese Positionen innerhalb des dreidimensionalen Fensters WD3A liegen oder nicht.

Darauffolgend werden das zuvor erwähnte lineare Element Ld der Straßenform und die dreidimensionalen Positionen des Objekts miteinander verglichen, um Beträge ΔXi, ΔYi der Abweichung oder Diskrepanz in X-Richtung und in Y-Richtung der Daten Di zu bestimmen, wie in Fig. 16 gezeigt ist, um nur Daten innerhalb des Bereichs des dreidimensionalen Fensters WD3A zu selektieren, das eine vorbestimmte Breite und Höhe hat, um danach Wichtungskoeffizienten der Daten Di zu bestimmen, die den Beträgen ΔXi, ΔYi der Diskrepanz in X-Richtung und in Y-Richtung entsprechen.

Die Wichtungskoeffizienten sind in der grafischen Form einer Parabel gezeigt, in der der Mittelpunkt auf 1,0 und der Umfang oder Rand auf 0,0 festgelegt ist, wobei das Produkt eines Wichtungskoeffizienten fx in X-Richtung und eines Wichtungskoeffizienten fy in Y-Richtung als ein Wichtungskoeffizient dieser Daten Di angesetzt wird. Die Reichweiten in der X-Richtung und in der Y-Richtung, wo der Wichtungskoeffizient über 0,0 liegt, werden auf dieselben Werte festgelegt wie die der Breite und Höhe des dreidimensionalen Fensters WD3A, oder werden auf Werte festgelegt, die größer als diese Werte sind.

Nachdem die jeweiligen Daten Di mit den oben erwähnten Wichtungskoeffizienten multipliziert worden sind, werden linear Ausdrücke in horizontaler Richtung und vertikaler Richtung, die durch die folgenden Gleichungen (9) und (10) angezeigt sind, abgeleitet, um Parameter a, b, c, d abzuleiten, wobei diese Parameter als ein Kandidat eines neuen linearen Elements Ld betrachtet werden:

Horizontale Richtung: X = a × Z + b (9)

Vertikale Richtung: Y = c × Z + d (10).

Gleichzeitig werden bezüglich der Daten, wo der Wichtungskoeffizient über einen festgelegten Wert (beispielsweise 0,05 bis 0,1) liegt, die Anzahl der Daten und der Bereiche des Abstandes Z, wo diese Daten verteilt sind, untersucht. Für den Fall, daß die Anzahl von Daten geringer als ein festgelegter Wert ist (beispielsweise etwa 10) oder für den Fall, daß der Bereich des Abstands Z ein Wert ist, der kleiner als die Hälfte der Länge des dreidimensionalen Fensters WD3A ist (beispielsweise die Länge von 7 m für Z = 10 bis 17 m im ersten Abschnitt R1) wird infolgedessen geschlossen, daß ein Kandidat für ein korrektes lineares Element Ld nicht gewonnen werden kann, so daß der lineare Ausdruck, der oben gewonnen wurde, verworfen wird und so festgestellt wird, daß kein Kandidat vorliegt.

Der oben erwähnte Prozeß wird aufeinanderfolgend von der linken und rechten Seite und dieser Seite zu Abschnitten auf einer entfernten oder abgewandten Seite durchgeführt, so daß Kandidaten sämtlicher linearer Elemente Ld, die ein Straßenmodell darstellen, gewonnen werden. Zu diesem Zeitpunkt gibt es Distanzen, bei denen, falls die Breite des dreidimensionalen Fensters auf einen zu großen Wert festgelegt wird, Steine oder Bäume und Pflanzen an der Peripherie einer Straße innerhalb des Randes oder der Kante des dreidimensionalen Fensters auftreten können. Jedoch wird im Linearelementdetektorabschnitt 113 eine Maßnahme ergriffen, bei der die jeweiligen Daten durch die Wichtungskoeffizienten multipliziert werden, um so zu ermöglichen, daß die Wichtung am Randabschnitt des dreidimensionalen Fensters gering ist. So kann auch dann, wenn Stein oder Bäume und Pflanzen in das dreidimensionale Fenster fallen, der daraus resultierende Einfluß wirksam herabgesetzt werden, so daß ein linearer Ausdruck einer weißen Linie stabil abgeleitet werden kann.

Der Straßenformbeurteilungsabschnitt 114 beurteilt die Plausibilität aus der Parallelität in der horizontalen Richtung und der vertikalen Richtung bezogen auf Kandidaten sowohl für das lineare Element Ld auf der linken als auch rechten Seite in Verbindung mit den jeweiligen Abschnitten. Für den Fall, daß der Straßenformbeurteilungsabschnitt 114 solche Kandidaten als plausibel infolge des Ergebnisses der Beurteilung beurteilt hat, nimmt dieser Abschnitt 114 beide als Kandidat für ein neues lineares Element Ld an. Hat demgegenüber der Beurteilungsabschnitt 114 festgestellt, daß einer der Kandidaten des linken und rechten linearen Elements Ld nicht korrekt ist, führt er eine Substitution oder Ergänzung (Kompensation) aus. Dann gibt der Beurteilungsabschnitt 114 Parameter jeweiliger linearer Elemente Ld, die so gewonnen wurden, an den Straßen-/dreidimensionalen Parameterspeicher 130 aus.

Dabei wird die Parallelität in der horizontalen Richtung konkret aus einer Differenz zwischen einem Parameter (im folgenden wird eine Bezeichnung benutzt, bei der die Buchstaben L und R, die den jeweiligen Parametern zugefügt sind, jeweils die linke bzw. rechte Seite anzeigen) aL der Gleichung (9) bezüglich des linearen Elements Ld auf der linken Seite und einem Parameter aR der Gleichung (9) bezüglich des linearen Elements Ld auf der rechten Seite bestimmt und untersucht. Als Folge beurteilt für den Fall, daß die Parallelität über einem festgelegten Wert (beispielsweise 5 Grad) liegt, der Beurteilungsabschnitt 114, daß eines der linken und rechten linearen Elemente Ld nicht korrekt ist. In ähnlicher Weise untersucht der Beurteilungsabschnitt 114 die Parallelität in vertikaler Richtung aus der Differenz zwischen einem Parameter cR und einem Parameter cL, um zu beurteilen, daß eines der linearen Elemente für den Fall nicht korrekt ist, daß die Parallelität über einem festgelegten Wert (z. B. 1 Grad) liegt.

Für den Fall, daß beide Parallelitäten in horizontaler und vertikaler Richtung die Bedingung nach dem Beurteilungsergebnis erfüllen, werden beide Parallelitäten als neues lineares Element angewandt. Wird jedoch eines der linearen Elemente Ld als unkorrekt beurteilt, vergleicht der Beurteilungsabschnitt 115 Kandidaten der jeweiligen linken und rechten linearen Elemente Ld und die Position einer zuvor abgeschätzten Straßenform, um einen Kandidaten, der einen geringeren Diskrepanzbetrag aufweist, als neues lineares Element Ld abzuschätzen und die anderen zurückzuweisen, um zu berücksichtigen, daß kein Kandidat für das lineare Element vorliegt.

Für den Fall, daß irgendeines der linken und rechten linearen Elemente Ld so beurteilt wird, daß es infolge des Beurteilungsergebnisses keinen Kandidat aufweist, für den Fall, daß Daten fehlen, weil die weißen Linien auf der Straße in unterbrochener Form vorliegen oder hinter Hindernissen außer Sicht geraten, so wird jedes der linken und rechten linearen Elemente Ld so beurteilt, daß es keinen Kandidaten aufweist, und es wird ein lineares Element Ld auf der erfaßten Seite einer Parallelverschiebung unterzogen und für das lineare Element ersetzt, das so beurteilt war, daß es keinen Kandidaten aufwies. Ferner wird für den Fall, bei dem sowohl das linke als auch das rechte lineare Element Ld keinen Kandidaten aufweisen, ein lineares Element Ld der zuvor abgeschätzten Straßenform ersetzt. So kann auch dann, wenn teilweise fehlerhafte Detektion und/oder Detektionsausfälle vom linearen Element vorliegen, insgesamt eine stabile Straßenform gewonnen werden.

Die Fig. 18 ist eine erläuternde Ansicht, in der die Straßenform, die von dem Straßendetektorabschnitt 110 erfaßt worden ist, schematisch angedeutet ist. Wie aus dieser Figur hervorgeht, werden lineare Elemente entlang linker und rechter weißer Linien detektiert. Der Abschnitt, der hinter einem vorausfahrenden Fahrzeug außer Sicht gerät, wird in zufriedenstellender Weise dadurch abgeschätzt, daß wie oben beschrieben ein Ersatz oder eine Kompensation ausgeführt werden. Es sei angemerkt, daß die Querlinien zwischen linken und rechten linearen Elementen Grenzen zwischen den jeweiligen Abschnitten sind.

Die jeweiligen Funktionen des Objektdetektorabschnitts 121, des Erzeugungsabschnitts 122 für das dreidimensionale Fenster und des Objektkonturen-Bildextraktionsabschnitts 123 im Objekterkennungsabschnitt 120 werden nun detailliert beschrieben.

Der Objektdetektorabschnitt 121 unterteilt ein Distanzbild von der Verarbeitungsvorrichtung 20 für das Stereobild für jedes vorbestimmte Intervall (beispielweise ein Intervall von 8 bis 20 Pixeln) in ein Raster, um nur Daten von dreidimensionalen Objekten zu selektieren, die ein Hindernis beim Befahren jeweils jedes Bereiches darstellen könnten, um diese Detektionsdistanz zu berechnen.

Die Fig. 19 ist eine erläuternde Ansicht, in der eine Region in einer Rasterform auf einem Bild vorgesehen ist, das eine vorbestimmte Leuchtdichte aufweist, die durch Abbilden einer Szene vor einem Fahrzeug 1 gewonnen wird. In der Praxis wird das Distanzbild der Fig. 9 auf diese Weise unterteilt. In diesem Ausführungsbeispiel wird das Distanzbild in dreiunddreißig kleine Regionen mit einem Intervall von 12 Pixeln unterteilt. So wird nämlich ein Bild in eine großen Anzahl von Regionen unterteilt, um Objekte zu suchen, so daß es möglich ist, mehrere Objekte gleichzeitig zu detektieren.

Ein Objekt in jeder Region wird wie folgt berechnet. Die dreidimensionalen Positionen (X, Y, Z) eines realen Raumes werden nämlich unter Verwendung der zuvor beschriebenen Gleichungen (3) und (4) aus den Koordinaten (i, j) auf dem Bild und der Distanz Z berechnet. Ferner wird die Höhe Yr von der Straßenoberfläche in der Distanz Z berechnet, indem die Gleichung (10) der zuvor detektierten Straßenform verwendet wird. Dabei wird nämlich die Höhe H von der Straßenoberfläche eines Objekts durch Verwenden der folgenden Gleichung (11) berechenbar.

H = Y - Yr (11).

Ein Objekt, das eine Höhe aufweist, die geringer als etwa 0,1 m ist, wird als weiße Linie vorausgesetzt, als Stein oder als Schatten auf einer Straße. Demgemäß wird ein solches Objekt nicht als ein Objekt beurteilt, das ein Hindernis beim Fahren darstellt. Aus diesem Grund werden die Daten eines derartigen Objekts verworfen. Da ein Objekt mit einer größeren Höhe als der des Fahrzeuges auch als Fußgängerbrücke oder z. B. Verkehrszeichen-Pfosten usw. angesehen wird, werden auch dementsprechende Daten zurückgewiesen, um nur Daten eines dreidimensionalen Objekts zu selektieren, die tatsächlich ein Hindernis auf einer Straße darstellen. So werden, auch wenn ein Objekt auf einem zweidimensionalen Bild mit einer Straße usw. überlappt, Daten durch die Höhe von der Straßenoberfläche beurteilt und unterschieden, wodurch es möglich ist, nur ein Objekt zu detektieren.

Dann wird die Anzahl von Daten, die im Abschnitt der Distanz Z, die vorab festgelegt wurde, enthalten sind, bezüglich der Daten eines dreidimensionalen Objekts, das auf diese Weise extrahiert wurde, gezählt, um so ein Histogramm vorzubereiten, das die Distanz Z als Abszisse aufweist. Die Fig. 20 ist ein Histogramm, in dem ein vorausfahrendes Fahrzeug 500 als ein zu erfassendes Objekt dargestellt ist.

Es ist erforderlich, die Länge des Abschnitts und die Anzahl von Abschnitten der Distanz Z, die unter Berücksichtigung der Detektionsgrenze und Genauigkeit der Distanz Z festzulegen ist, und die Form eines Objekts, das zu erfassen ist, zu ermitteln. Beispielsweise ist für den Fall des Fahrens auf einer Schnellstraße anzustreben, daß die Abschnittslänge um 10 m vor dem Fahrzeug etwa 1,5 m beträgt und die Abschnittslänge bei 100 m vor dem Fahrzeug etwa 15 m beträgt.

Im oben erwähnten Histogramm erscheinen, da fehlerhaft erfaßte Werte in Distanzdaten in einem eingegebenen Distanzbild existieren, Daten bis zu einem gewissen Grad an einer Stelle, an der tatsächlich kein Objekt vorhanden ist. Ist jedoch ein Objekt einer Ausdehnung bis zu einem gewissen Maß vorhanden, so zeigt die Frequenz bei dieser Position einen großen Wert an. Existiert demgegenüber kein Objekt, so nimmt die Frequenz oder Häufigkeit, die bei nur fehlerhaften Distanzdaten auftritt, einen geringen Wert an.

Falls demgemäß ein Abschnitt vorliegt, der größer als ein Beurteilungswert ist, der vorab festgelegt ist, und einen Maximalwert in der Frequenz des vorbereiteten Histogramms annimmt, so wird daraus geschlossen, daß in diesem Abschnitt irgendein Objekt vorliegt. Für den entgegengesetzten Fall, bei dem der Maximalwert der Frequenz geringer als der Beurteilungswert ist, wird geschlossen, daß kein Objekt vorhanden ist. So ist es auch für den Fall, daß bis zu einem gewissen Ausmaß Rauschen in den Bilddaten vorhanden ist, möglich, ein Objekt zu detektieren, wobei der Rauscheinfluß so gering wie möglich gemacht werden kann.

Wenn geschlossen wird, daß ein Objekt vorliegt, wird ein Durchschnittswert der Distanz Z von Daten eines dreidimensionalen Objekts, das in einem detektierten Abschnitt und in davor und danach benachbarten Abschnitten enthalten ist, berechnet, um diesen Wert als eine Distanz bis zu diesem Objekt zu berücksichtigen.

Eine derartige Verarbeitung der detektierten Distanz zum Objekt wird danach bezüglich des gesamten Bereichs durchgeführt, um die Detektionsdistanz des Objekts in den jeweiligen Bereichen zu untersuchen, wodurch, wenn eine Differenz zwischen den Detektionsdistanzen bis zum Objekt in aneinandergrenzenden Bereichen geringer als ein festgelegter Wert ist, diese Distanzen als zum selben Objekt gehörig betrachtet werden, wohingegen, wenn diese Differenz über dem festgelegten Wert liegt, die entsprechenden Distanzen als zu individuellen Objekten gehörend betrachtet werden.

Dabei wird explizit der linke Endabschnitt AR1 zuerst untersucht. Wird ein Objekt detektiert, so wird infolgedessen angenommen, daß das detektierte Objekt und seine Distanz jeweils durch S1 bzw. Z1 repräsentiert werden. Dann wird der Bereich AR2 angrenzend an die rechte Seite untersucht. Wird kein Objekt detektiert, so wird infolgedessen geschlossen, daß das Objekt S1 innerhalb des Bereichs AR1 liegt und in dessen Umgebung und die Distanz hiervon wird durch Z1 ausgedrückt. Wird demgegenüber ein Objekt detektiert und dessen Detektionsdistanz durch Z1 repräsentiert, so wird die Differenz zwischen den Distanzen Z1 und Z2 untersucht.

Liegt die Differenz zwischen den Distanzen Z1 und Z2 oberhalb eines festgelegten Werts, wird daraus geschlossen, daß ein Objekt im Bereich AR2 vom zuvor detektierten Objekt S1 verschieden ist. Es wird dann angenommen, daß das Objekt und die Distanz hiervon jeweils durch S2 und Z2 repräsentiert sind, um dann Bereiche, die weiter angrenzend an den Bereich AR2 vorliegen, zu untersuchen.

Ist andererseits eine Differenz zwischen den Distanzen Z1 und Z2 geringer als ein festgelegter Wert, so wird geschlossen, daß das im Bereich AR2 detektierte Objekt auch das zuvor detektierte Objekt S1 ist, und dessen Distanz wird als mittlerer Wert der Distanzen Z1 und Z2 angenommen, um auf dieser Grundlage weiter in dieser Folge angrenzende Objekte zu untersuchen. Falls geschlossen wird, daß die Objekte S1 kontinuierlich vorliegen, so werden infolgedessen die Distanz und die existierenden Bereiche entsprechend aktualisiert.

Bislang war es für den Fall, daß ein ferner Hintergrund eines Objekts auf einem zweidimensionalen Bild vorlag, schwierig, nur Daten dieses Objekts zu extrahieren. Im Gegensatz hierzu wird gemäß der Erfindung die oben beschriebene Verarbeitung vom linken Endbereich AR1 bis zum rechten Endbereich AR33 so durchgeführt, daß Daten durch Distanzwerte unterschieden werden, wodurch es möglich wird, eine Mehrzahl von Objekten zu detektieren, die Distanzen hierzu und ihre vorhandenen Bereiche in einer Weise, daß sie vom Hintergrund unterschieden werden können. Darüberhinaus ist es auch für den Fall, daß mehrere Objekte sich auf einem zweidimensionalen Bild überlappen, möglich, sie in einer solchen Weise zu erfassen, daß durch die Unterschiede zwischen den Distanzen der jeweiligen Hindernisse zwischen den Objekten unterschieden werden kann.

Es sei angemerkt, daß es empirisch bestätigt ist, daß der oben festgelegte Wert für den Fall der Erfassung eines Automobils etwa 4 bis 6 m beträgt und etwa 1 bis 2 m beträgt, für den Fall, daß ein Fußgänger erfaßt wird.

Die Fig. 21 zeigt vorhandene Objektbereiche, die durch die oben erwähnte Verarbeitung durch Rahmenlinien detektiert werden. In diesem Beispiel sind drei Objekte erfaßt. Ferner sei darauf hingewiesen, daß die numerischen Werte an der unteren Kante der Figur die erfaßten Distanzen zu den jeweiligen Objekten sind.

Der Erzeugungsabschnitt 122 für das dreidimensionale Fenster setzt einen zweiten dreidimensionalen Raumbereich eines rechtwinkligen Quaders fest, d. h., ein zweites dreidimensionales Fenster WD3B (im folgenden der Einfachheit halber dreidimensionales Fenster WD3B bezeichnet), das ein Detektionsobjekt (vorausfahrendes Fahrzeug) 500 in einem dreidimensionalen Raum enthält, wie in Fig. 22 bezüglich der jeweiligen Objekte dargestellt ist, die vom Objektdetektorabschnitt 121 erfaßt worden sind, um durch Berechnung zu ermitteln, wie das so festgelegte dreidimensionale Fenster auf einem zweidimensionalen Bild erscheint, um zu ermöglichen, daß nur die Daten innerhalb des zweidimensionalen Fensters WD2B, das durch die Fensterkonturlinien definiert ist, Daten sind, die zu erfassen sind.

Die seitliche Breite des Objekt detektierenden dreidimensionalen Fensters WD3B ist auf einen Bereich festgelegt, der bezüglich des vorhandenen Bereichs eines Objekts um einen Bereich nach links und nach rechts erweitert ist. Der Grund für die Annahme eines solchen Bereichs ist wie folgt. Für den Fall, daß nämlich nur ein Abschnitt des linken oder rechten Endes eines Objekts innerhalb eines bestimmten Bereiches fällt, nimmt dieses Objekt nicht mehr länger einen großen Wert auf dem Histogramm ein, woraus die Möglichkeit resultiert, daß ein anderes Objekt detektiert wird. Aus diesem Grund ist der Fensterbereich unter Berücksichtigung eines derartigen Falls erweitert.

Die Länge in einer Richtung der Distanz Z des dreidimensionalen Fensters WD3B ist auf einen Bereich festgelegt, der gewonnen wird, indem eine Abschnittslänge des Histogramms in der Detektionsdistanz des Objekts zu den Detektionsdistanzen vor und nach dieser Abschnittslänge hinzu addiert wird. Das untere Ende des dreidimensionalen Fensters WD3B wird auf eine Position festgelegt, die gewonnen wird, indem etwa 0,1 m zur Höhe von der der Straßenoberfläche addiert wird, und das obere Ende des Fensters wird als die oberen Enden in den jeweiligen Bereichen festgelegt, die zur Detektion eines Objekts unterteilt sind.

Es sei angemerkt, daß die Verarbeitung zum Gewinnen des objektdetektierenden zweidimensionalen Fensters WD2B aus dem objektdetektierenden dreidimensionalen Fenster WD3B dieselbe wie die Verarbeitung ist, die bereits für den Erzeugungsabschnitt 112 des dreidimensionalen Fensters des Straßendetektorabschnitts 110 beschrieben wurde.

Die Fig. 23 zeigt ein Beispiel, in dem ein zweidimensionales Fenster WD2B bezüglich eines dreier Detektionsobjekte festgelegt ist, die bereits in Fig. 21 gezeigt sind.

Der Objektkonturenextraktionsabschnitt 123 führt eine Verarbeitung durch, um in der Aufeinanderfolge jeweiliger Daten innerhalb des zweidimensionalen Fensters WD2B sicherzustellen, daß nur Daten selektiert werden, die innerhalb des dreidimensionalen Fensters WD3B enthalten sind, um ein Konturenbild eines detektierten Objekts zu extrahieren, um die Ausmaße oder Beträge positioneller Beziehung bezüglich des in Frage stehenden Autos bzw. Fahrzeugs wie Position, Geschwindigkeit oder Beschleunigung usw. von einem zu erfassenden Objekt zu detektieren und so die Wahrscheinlichkeit einer Kollision zu beurteilen.

Dabei werden nämlich die Daten innerhalb des zweidimensionalen Fensters WD2B aufeinanderfolgend für jedes Objekt zur Berechnung dreidimensionaler Positionen (X, Y, Z) überwacht, indem die zuvor beschriebenen Gleichungen (3) und (4) bezüglich der Pixel verwendet werden, die Pixeldaten aufweisen, wobei anschließend nur Daten extrahiert werden, bei denen der Wert der Distanz oder die Höhe innerhalb des Bereichs des dreidimensionalen Fensters WD3B liegen, und wobei andere Daten zurückgewiesen werden.

Wenn auf diese Weise extrahierte Daten auf ein zweidimensionales Bild projiziert und dargestellt werden, wird z. B. ein in Fig. 24 gezeigtes Bild gewonnen. Wenn die Außenbereiche dieser Daten durch Liniensegmente verbunden werden, so wird ein Konturenbild eines Objekts gewonnen, wie es in Fig. 25 gezeigt ist. Wenn die Koordinaten (i, j) auf dem Bild an dem linken und rechten Ende und dem oberen Ende dieses Konturenbildes anschließend detektiert werden, um Positionen der linken und rechten Enden und des oberen Endes in einem dreidimensionalen Raum zu berechnen, indem die Detektionsdistanz Z dieses Objekts und die Gleichungen (3) und (4) verwendet werden, dann wird die seitliche Ausdehnung des Objekts aus den Positionen der linken und rechten Enden ermittelt, und es wird die Höhe des Objekts aus der Position des oberen Endes ermittelt.

In Fig. 25 weist dieses unterscheidbare Objekt eine Breite von 1,7 m und eine Höhe von 1,3 m auf.

Ferner werden die Mittenpositionen (X, Z) der linken und rechten Enden des Objekts berechnet. Eine Relativgeschwindigkeit in Vorwärts- und Rückwärtsrichtung vom Objekt, gesehen von einem entsprechenden Fahrzeug (Fahrzeug 1), wird berechnet. Ferner wird eine Relativgeschwindigkeit in linker und rechter Richtung aus einer zeitlichen Änderung der Position X in der linken und rechten Richtung berechnet. Darüberhinaus wird, wenn die Relativgeschwindigkeit des Objekts zur Fahrgeschwindigkeit des entsprechenden Fahrzeugs hinzu addiert wird, die vom Geschwindigkeitssensor 3 ausgegeben wird, eine Fahrgeschwindigkeit des Objekts relativ zur Straßenoberfläche berechnet.

Beschleunigungen jeweiliger Objekte werden aus den zeitlichen Änderungen der Fahrgeschwindigkeit berechnet.

Darauffolgend werden die Positionen jeweils erfaßter Objekte und die Positionen von Fahrbahnen einer detektierten Straße miteinander verglichen, um zu untersuchen, ob das Objekt auf einer entsprechenden Fahrbahn oder Fahrbahnen auf der linken und rechten Seite oder in einem Bereich ausschließlich der Straße vorhanden ist, um bezüglich jedes Falls eine Sortierung vorzunehmen. Beispielsweise werden für den Fall, daß mehrere Fahrzeuge vor dem entsprechenden in Frage kommenden Fahrzeug fahren und die Straße gekrümmt ist, Positionen der jeweiligen Objekte entlang der Fahrroute verglichen. So wird von einem Objekt, das am weitesten vorn auf der entsprechenden Fahrbahn vorhanden ist, geschlossen, daß es ein vorausfahrendes Fah 37584 00070 552 001000280000000200012000285913747300040 0002004308776 00004 37465rzeug ist, und eine Distanz bis zu diesem Objekt wird als eine Distanz zwischen Fahrzeugen angesetzt.

Dann wird eine Näherung angewandt, um Positionen in einigen Sekunden der jeweiligen Objekte von den detektierten Positionen aus abzuschätzen sowie die Fahrgeschwindigkeiten und Beschleunigungen in Vor- und Rückwärtsrichtung und in Richtungen nach links und rechts der jeweiligen Objekte, und um die Positionen in einigen Sekunden unter der Annahme abzuschätzen, daß ein entsprechendes Fahrzeug gemäß einer Fahrbahn einer detektierten Straße oder eines gegenwärtigen Lenkwinkels fährt, um hierdurch die jeweiligen Positionen jeweiliger Objekte und des entsprechenden Fahrzeuges zu vergleichen, um die Möglichkeit einer Kollision zwischen diesen zu beurteilen.

Parameter wie Position, Form, Geschwindigkeit und Beschleunigung jeweiliger Objekte und die Möglichkeit der Kollision usw., die wie oben ermittelt wurden, werden an den Straßen- und dreidimensionalen Parameterspeicher 130 ausgegeben und darin gespeichert.

Die Berechnung der Distanzinformation durch die Verarbeitungsvorrichtung 20 für das Stereobild und die Funktionsweise der Straßen- und dreidimensionalen Detektorvorrichtung werden nun erläutert.

Zunächst wird unter Bezugnahme auf das Flußdiagramm der Fig. 26 die Funktionsweise der Verarbeitungsvorrichtung 20 für das Stereobild beschrieben. Wenn durch die CCD Kameras 11a und 11b aufgenommene Bilder im Schritt S101 eingegeben werden, setzt die Verarbeitungsvorrichtung 20 die eingegebenen Bilder im Schritt S102 durch eine A/D Umsetzung um, um dann derartige digitale Bilddaten mit den LUTs 32a und 32b zu korrigieren und sie anschließend in den Bildspeichern 33a und 33b zu speichern.

Die Bilder, die in den Bildspeichern 33a und 33b gespeichert sind, sind nur die Abtastzeilen, die für die darauf folgende Verarbeitung sämtlicher Abtastzeilen der CCD-Vorrichtung der CCD-Kameras 11a und 11b erforderlich sind. Beispielsweise werden diese Bilddaten z. B. mit einer Rate von jeweils 0,1 s (mit einer Rate von jeweils allen drei Fernsehbildern) überschrieben.

Wenn dann der Verfahrensablauf auf Schritt S103 fortschreitet, werden die linken und rechten Bilddaten z. B. vier Zeilen gleichzeitig aus dem linken und rechten Bildspeicher 33a bzw. 33b über den gemeinsamen Bus 80 ausgelesen und in die Puffer speicher 41a und 41b, 42a und 42b eingegeben, wobei eine Ab stimmung der linken und rechten Bilder als Koinzidenzevaluierung erfolgt.

In diesem Augenblick werden für jedes linke und rechte Bild ein Auslesevorgang aus den Bildspeichern 33a und 33b in die Eingangs pufferspeicher 41a, 41b, 42a und 42b und ein Schreibvor gang in die Schieberegister 43a, 43b, 44a und 44b alternierend durchgeführt.

Beispielsweise wird bezüglich eines linken Bildes, während die Bilddaten aus dem Bildspeicher 33a in einen der Eingangspuffer speicher 41a eingelesen werden, ein Schreibvorgang der Bilddaten durchgeführt, die ausgelesen wurden, und zwar vom anderen Ein gangspufferspeicher 41b in das Schieberegister 43b. Andererseits wird bezüglich eines rechten Bildes, während die Bilddaten aus dem Bildspeicher 33b in einen Eingangspufferspeicher 42a gelesen werden, ein Schreibvorgang der Bilddaten, die gelesen wurden, aus dem anderen Eingangspufferspeicher 42b in das Schiebere gister 44b ausgeführt.

Dann werden, wie in Fig. 27 gezeigt ist, Bilddaten (1,1) . . . (4,4) in der kleinen Region von 4 × 4 Pixeln für linke und rechte Bilder in den Schieberegistern 43a, 43b, 44a und 44b gehalten. Daten für die erste und zweite Zeile werden dann in einem der Schieberegister 43a (44a) gehalten und Daten für die dritte und zweite Zeile werden im anderen Schieberegister 43b (44b) in der Reihenfolge der ungeradzahligen Zeilen und geradzahligen Zeilen für jeweils jedes Pixel gehalten.

Die Schieberegister 43a, 43b, 44a und 44b haben jeweils unabhängi ge Übertragungszeilen und Daten von 4 × 4 Pixeln werden in acht Takten übertragen. Dann geben diese Schieberegister 43a, 43b, 44a und 44b simultan die Inhalte der geraden Stufen der acht Stufen an die city-block-Distanzberechnungsschaltung 45 aus. Wenn die Berechnung der city-block Distanz H beginnt, werden die Daten des rechten Bildes im Schieberegister 44a und 44b gehalten und die Daten der ungerade numerierten Zeilen und der gerade numerierten Zeilen werden alternierend taktweise ausgegeben. Andererseits werden fortgesetzte Daten des linken Bildes zu den Schieberegistern 43a und 43b übertragen, Daten werden durch Daten ersetzt, die alle zwei Takte um ein Pixel nach rechts verschoben werden, während Daten ungerade numerierter Zeilen und gerade numerierter Zeilen alternierend ausgegeben werden. Dieser Vorgang wird wiederholt, bis Daten z. B. um 100 Pixel (200 Takte) verschoben sind.

Ist die Übertragung bezüglich einer kleinen Region abgeschlos sen, wird der Inhalt des Adreßzählers für das rechte Bild (Füh rungsadresse in der nächsten kleinen Region von 4 × 4 Pixeln) am Adreßzähler des linken Bildes im #2 Adreßsteuerer 87 gesetzt. So wird der Verarbeitungsvorgang für die nächste kleine Region be gonnen.

In der city-block Distanzberechnungsschaltung 45 werden, wie in der Zeitsteuertabelle der Fig. 28 gezeigt, die Daten von 8 Pixeln zuerst in den Absolutwertberechner der ersten Stufe der Pyramidenstruktur 1 eingegeben. So wird ein Absolutwert einer Differenz zwischen den linken und rechten Bildern berechnet. Genauer ausgedrückt, wird ein Verfahren angewandt, bei dem von der Helligkeit oder Leuchtdichte des rechten Pixels die Leucht dichte des linken Pixels, die dieser entspricht, abgezogen, wo durch wenn das Ergebnis negativ ist, der Berechnungsbefehl geän dert wird, um wieder eine Subtraktion durchzuführen, wobei die Seite von Subtrahent und Subtraktionswert vertauscht werden, um hierdurch die Berechnung des Absolutwerts durchzuführen. Demgemäß gibt es Fälle, bei denen die Subtraktion in der ersten Stufe zweimal ausgeführt wird.

Danach addieren nach Verstreichen der Anfangsstufe der erste bis dritte Addierer von der zweiten bis vierten Stufe die beiden Eingangsdaten, die gleichzeitig eingegeben wurden und geben das Additionsergebnis aus. Dann wird eine Gesamtsumme durch Addition zweier kontinuierlicher Daten an der Endstufe be rechnet, um die erforderliche city-block Distanz H von 16 Pixeln alle zwei Takte zum Minimal/Maximalwertdetektorabschnitt 50 aus zugeben.

Dann schreitet die Verarbeitungsprozedur mit Schritt S104 fort, um einen Maximalwert H_MAX und einen Minimalwert H_MIN der city- block Distanz H zu ermitteln, die im Schritt S3 berechnet wurde. Wie bereits erläutert, entsprechen die Ermittlung des Maximal werts H_MAX und des Minimalwerts H_MIN exakt einander, außer daß die Logiken im ersten Fall und im letzteren Fall entgegengesetzt zueinander sind, und daß der Abweichungsbetrag nicht gehalten wird. Dementsprechend wird die Ermittlung des Minimalwerts H_MIN als repräsentatives Beispiel im folgenden beschrieben.

Zunächst wird die anfänglich ausgegebene city-block Distanz H (der Abweichungsbetrag δ ist "0") an das B-Register 46b der Rechnereinheit 46 über den C-Signalspeicher 53 der Minimalwert detektorschaltung 51, die in Fig. 7 gezeigt ist, eingegeben. Die city-block Distanz H (für die der Abweichungsbetrag 1 ist), die für den nächsten Takt ausgegeben wird, wird in den C-Signal speicher 53 und das A-Register 46a der Rechnereinheit 46 gege ben.

So beginnt die Rechnereinheit 46 gleichzeitig die Berechnung des Vergleichs mit dem B-Register 46b.

Falls das Ergebnis der Vergleichsberechnung in der Berechnerein heit 46 ergibt, daß der Inhalt des A-Registers 46a kleiner als der Inhalt des B-Register 46b ist, wird der Inhalt des C-Signal speichers 53 (d. h. der Inhalt des A-Registers 46a) zum B-Re gister 46b übertragen und der Abweichungsbetrag x zu diesem Zeitpunkt wird im D-Signalspeicher 55 gehalten. Durch diesen Takt wird die city-block Distanz H (der Abweichungsbetrag δ be trägt 2) in das A-Register 46a eingegeben und gleichzeitig in den C-Signalspeicher. So wird die Vergleichsberechnung erneut aufgenommen.

Auf diese Weise wird eine Berechnung fortgesetzt, bis der Abwei chungsbetrag 100 wird, während der Minimalwert in der Mitte der Berechnung stets im B-Register 46b gespeichert wird und der Dis krepanzbetrag zu diesem Zeitpunkt im D-Signalspeicher 55 gehal ten wird. Wenn die Berechnung abgeschlossen ist (nach einem Takt vom Zeitpunkt an, bei dem die End-city-block Distanz H ausgege ben wird), dann werden die Inhalte des B-Registers 46b und des D-Signalspeichers 55 in den Diskrepanzbestimmungsabschnitt 60 eingelesen. Während dieser Zeitperiode wird ein Anfangswert in der nächsten kleinen Region in die city-block Distanz Berech nungsschaltung 45 eingelesen, so daß diese Zeit nicht verschwen det wird. Man benötigt vier Takte, um eine city-block Distanz H zu berechnen. Da eine Pipelinestruktur verwen det wird, wird ein neues Berechnungsergebnis alle zwei Takte gewonnen.

Im Schritt S105 prüft, wenn der Minimalwert H_MIN und der Maxi malwert H_MAX der city-block Distanz H im Schritt S104 bestimmt sind, der Diskrepanzbestimmungsabschnitt 60 die drei oben er wähnten Bedingungen. Auf diese Weise wird der Abweichungsbetrag bzw. das Diskrepanzausmaß bestimmt.

Wie aus dem Zeitsteuerdiagramm der Fig. 29 hervorgeht, wird der Minimalwert H_MIN über den B-Bus 62b im B-Register 72 der Rechnereinheit 61 gespeichert bzw. verriegelt und der Schwell wert Ha, der mit dem B-Register verglichen wird, wird im A-Re gister 71 über den A-Bus 62a gespeichert. Der Minimalwert H_MIN und der Schwellwert Ha werden in der ALU 70 verglichen. Ist in folgedessen der Minimalwert H_MIN größer als der Schwellwert Ha, wird die Schaltstufe 65 zurückgesetzt und es wird ungeachtet der Ergebnisse der später durchgeführten Prüfvorgänge 0 ausgegeben.

Der Maximalwert H_MAX wird dann im A-Register 71 gespeichert, und es wird eine Differenz zwischen dem Maximalwert H_MAX, der im Register 71 gespeichert ist und dem Minimalwert H_MIN, der im B-Register 72 gehalten wird, berechnet. Das so gewonnene Ergebnis wird an das F-Register 73 ausgegeben. Beim nächsten Takt wird der Schwellwert Hb im A-Register 71 gespeichert und wird mit dem Wert des F-Registers 73 verglichen. Falls der Inhalt des F-Registers 73 kleiner als der Schwellwert Hb ist, der im A-Register 71 gespeichert ist, wird die Schaltstufe 65 auf gleiche Weise zurückgesetzt.

Die Berechnung der Leuchtdichtedifferenz zwischen aneinander grenzenden Pixeln beginnt von der Zeitsteuerung des nächsten Takts an. Ein paar Schieberegister 64a und 64b, die dazu ausge legt sind, die Helligkeits- oder Leuchtdichtedaten zu konser vieren, weisen eine zehnstufige Konfiguration auf, und sind mit den darauffolgenden Stufen des Schieberegisters 44a für die erste und zweite Zeile des city-block-Distanzberechnungsab schnitts 40 verbunden, wobei das Schieberegister 44b für die zweite und dritte Zeile vorgesehen ist. Jeweilige Ausgangs signale dieser Schieberegister 64a, 64b werden aus der Endstufe entnommen und der um zwei vorausgehende Stufe. Die so gewonnenen Ausgangssignale werden auf den A-Bus 62a und den B-Bus 62b aus gegeben.

In der Stufe, in der die Berechnung der Leuchtdichtedifferenz beginnt, wird die Leuchtdichte an den jeweiligen Stellen in der kleinen Region in den jeweiligen Stufen der Schieberegister 64a und 64b zurückgehalten. Zuerst werden die letzten Leuchtdichte daten der vierten Reihe und der ersten Spalte in der kleinen Region und die gerade vorliegenden Leuchtdichtedaten der ersten Reihe und der ersten Spalte in der kleinen Region im A-Register 71 und dem B-Register 72 der Rechnereinheit 71 gespeichert.

Dann wird ein Absolutwert einer Differenz zwischen dem Inhalt des A-Registers 71 und dem Inhalt des B-Registers 72 berechnet und das berechnete Ergebnis im F-Register 73 gespeichert. Der Schwellwert Hc würde dann im A-Register 71 durch den nächsten Takt gespeichert bzw. verriegelt und wird mit dem Wert des F-Registers 73 verglichen.

Falls das Vergleichsergebnis der Rechnereinheit 61 anzeigt, daß der Inhalt des F-Registers 73 (Absolutwert der Leuchtdichtedif ferenz) größer als der Inhalt des A-Registers (Schwellenwert Hc) ist, dann gibt die Schaltstufe 65 entweder den Abweichungsbetrag δ oder "0" aus. Falls jedoch der Inhalt des F-Registers 71 ge ringer als der Inhalt des A-Registers ist, wird "0" ausgegeben und in einen Speicherbereich der ersten Reihe und der ersten Spalte der entsprechenden kleinen Regionen der Ausgangspuffer speicher 66a und 66b eingeschrieben.

Während der Vergleich zwischen dem Schwellenwert Hc und der Leuchtdichtedifferenz zwischen aneinandergrenzenden Pixeln in der Rechnereinheit 61 durchgeführt wird, werden die Schiebere gister 64a und 64b um eine Stufe verschoben. Dann wird eine Berechnung wiederum bezüglich der letzten Leuchtdichtedaten der vierten Reihe und der zweiten Spalte der kleinen Region und gegenwartigen Leuchtdichtedaten der ersten Reihe und der zweite Spalte in der gegenwartigen kleinen Region begonnen. Auf diese Weise wird bezüglich der ersten Spalte und der zweiten Spalte der kleinen Region jeweils eine nach der anderen eine Berechnung ausgeführt und die Berechnung wird bezüglich der dritten und der vierten Spalte derselben Region durchgeführt.

Durch eine derartige Berechnung sind die Endstufe und die An fangsstufe der Schieberegister 64a und 64b zur Bildung eines ringartigen Schieberegisters verbunden. Wenn der Verschiebungs takt zweifach addiert wird, wenn die Berechnung der gesamten kleinen Region abgeschlossen wird, kehrt der Inhalt des Registers auf den Zustand zurück, in dem er keiner solchen Rechnung unter zogen wird. Ist die Übertragung der Leuchtdichtedaten der nächsten kleinen Region abgeschlossen, werden die Daten der vierten Reihe der gegenwärtigen kleinen Region in der Endstufe und der vorausgehenden Stufe gespeichert.

Wie oben ausgesagt, wird, da die nächsten Daten auf dem A-Bus 62a, dem B-Bus 62b vorbereitet werden oder deren Ergebnisse wäh rend der Berechnung für die Bestimmung eines Abweichungsbetrages eingeschrieben werden, eine Date durch zwei für die Berechnung erforderliche Takte verarbeitet. Infolgedessen werden sämtliche Berechnungen beispielsweise in 43 Takten abgeschlossen, auch, wenn die Prüfung des Minimalwerts H_MIN und des Maximalwerts H_MAX, die anfänglich erfolgt, eingeschlossen ist.

Folglich gibt es ausreichenden Spielraum für die erforderliche Zeit für die Bestimmung des Minimalwerts H_MIN und des Maximal werts H_MAX der city-block Distanz bezüglich einer einzelnen kleinen Region. Falls erforderlich, können weitere Funktionen durchgeführt werden. Wenn der Abweichungsbetrag δ bestimmt ist, wird der Abweichungsbetrag im Schritt S106 als die Distanzver teilungsinformation von den Ausgangspufferspeichern 66a und 66b zum Dualportspeicher 90 ausgegeben. So ist die Verarbeitung in der Verarbeitungsvorrichtung 20 für das Stereobild abgeschlos sen.

Diese Ausgangspufferspeicher 66a und 66b weisen eine Kapazität von beispielsweise vier Zeilen ähnlich den Eingangspufferspei chern 41a, 41b, 42a und 42b auf. Während Daten in einen Satz von Speichern eingeschrieben werden, wird die Distanzverteilung aus dem anderen Satz von Speichern ausgesendet.

Die Distanzverteilungsinformation, die in den Dualportspeicher 90 eingeschrieben wird, ermöglicht die Berechnung der dreidi mensionalen Position im XYZ-Raum des Objekts entsprechend den jeweiligen Pixeln aus den optischen Systemparametern wie der Befestigungsposition der CCD-Kameras 11 und 12 und der Brenn weite und ermöglicht die genaue Detektion der Distanz bis zu einem Objekt außerhalb eines Fahrzeugs ohne Verringerung der Informationsmenge.

Die Zeitsteuerung der Verarbeitungsvorrichtung 20 für das Ste reobild wird nun unter Bezugnahme auf das Zeitsteuerdiagramm der Fig. 30 beschrieben.

Zunächst werden sämtliche Teilbildsignale der linken und rechten CCD-Kamera 11a und 11b, die zueinander synchronisiert sind, in die Bildspeicher 33a und 33b jeweils alle 0,1 s (mit einer Rate von 1 pro 3 Bildern) eingeschrieben.

Dann werden die eingenommenen Endsignale empfangen und der Blocktransfer beginnt für jeweils alle vier Zeilen. In diesem Blocktransfer werden drei Blöcke in der Reihenfolge des rechten Bildes, linken Bildes und des Distanzverteilungsbildes vom Er gebnis transferiert.

Während dieser Zeitperiode wird die Berechnung des Abweichungsbe trages δ bezüglich eines der Eingabe/Ausgabepufferspeicher durchgeführt. Nach Abwarten einer vorbestimmten Zeit wird, indem die Berechnungszeit für den Abweichungsbetrag δ berücksich tigt wird, der Transfer bezüglich des anderen Eingabe/Ausgabe pufferspeichers gestartet.

Da die Berechnung der city-block Distanz H bezüglich einer kleinen Region von 4 × 4 Pixeln eines rechten Bildes durchge führt wird, während das linke Bild um 100 Pixel verschoben wird, wird sie 100mal durchgeführt. Während die city-block Distanz H einer Region gerade berechnet wird, wird ein Abweichungsbetrag δ der Region zuvor als Distanzverteilung nach Unterziehen ver schiedener Prüfvorgänge ausgegeben.

Falls die Anzahl von Zeilen, die zu verarbeiten sind, 200 ist, dann wird die Verarbeitung von vier Zeilen 50mal wiederholt. Aus diesem Grund ist weiterhin eine Verarbeitungszeit für einen Achtzeilenabschnitt für die Gesamtheit der Verarbeitungszeit für einen Vierzeilenabschnitt zur Übertragung der Anfangsdaten am Startzeitpunkt der Berechnung und der Verarbeitungszeit für einen Vierzeilenabschnitt zum Übertragen der endgültigen Ergeb nisse nach Abschluß der Berechnung erforderlich.

Die Zeit vom Beginn des Transfers der ersten Eingangsbildzeile bis zum Ende des Transfers der endgültigen Distanzverteilung beträgt 0,076 s aus den Ergebnissen eines tatsächlichen Schal tungsbetriebs.

Die Operation der Straßen- und dreidimensionalen Detektorvor richtung 100 wird nun erläutert. Dabei wird insbesondere die Operation des Straßendetektorabschnitts 110 gemäß dem Flußdia gramm der Fig. 31 bis 34 beschrieben und es wird die Operation des Objekterkennungsabschnitts 120 gemäß dem Flußdiagramm der Fig. 35 bis 37 beschrieben.

Der Straßendetektorabschnitt 110 führt zunächst eine Straßen formabschätzungsverarbeitung aus. Dabei schreitet, wenn ein letzter Straßenformparameter (vor Δts) im Schritt S201 der Fig. 31 ausgelesen ist, die Operation mit Schritt S202 fort, um ein Ausgangssignal V des Fahrzeuggeschwindigkeitssensors 3 und ein Ausgangssignal η des Lenkwinkelsensors 4 zu lesen.

Wenn die Operation mit Schritt S203 fortschreitet, wird die Bewegung des Fahrzeugs 1 für Δts unter Verwendung des Aus gangssignals V vom Fahrzeugsensor 3 und des Ausgangssignals vom Lenkwinkelsensor 4 berechnet, welche im Schritt S202 gelesen wurden, um eine Straßenform aus der Sicht der Position des Fahr zeugs 1 nach Δts zur Modifikation der Straßenformparameter ab zuschätzen.

Ist die oben erwähnte Straßenformabschätzung abgeschlossen, springt die Operation zur Verarbeitung der Erzeugung des dreidi mensionalen Fensters. Wenn die Parameter (a, b, c, d) des linearen Elements Ld auf der linken Seite des ersten Abschnitts R1 des Straßenmodells eingelesen werden, wird ein dreidimensionales Fenster WD3A mit dem linearen Element Ld als Zentrum festgelegt.

Danach fährt die Operation mit Schritt S207 fort, um ein zwei dimensionales Fenster WD2A auf einem zweidimensionalen Bild aus dem dreidimensionalen Fenster WD3A, das in Schritt S206 gesetzt wurde, festzulegen, um mit Schritt S208 fortzufahren und den danachfolgenden Schritten.

Die Schritte S208 und S217 befassen sich mit einer Linearele mentdetektorverarbeitung. Wenn Daten innerhalb des zweidimensio nalen Fensters WD2A im Schritt S208 gelesen werden, werden die dreidimensionalen Positionen jeweiliger Daten im Schritt S209 berechnet. Ferner werden Daten, wo der Wert der Distanz Z inner halb der Länge des dreidimensionalen Fensters WD3A liegt, im Schritt S210 selektiert.

Die Operation schreitet dann mit Schritt S211 fort, um das lineare Element Ld der zuvor abgeschätzten Straßenform und die dreidimensionalen Positionen eines Objekts zu vergleichen, um Abweichungsbeträge ΔX, ΔY in X- und Y-Richtung zu berechnen. Im Schritt S212 werden nur die Daten, wo diese Abweichungsbe träge ΔX, ΔY innerhalb des Bereichs der Höhe und Breite des dreidimensionalen Fensters WD3A liegen, selektiert und die anderen werden zurückgewiesen.

Anschließend schreitet die Operation mit Schritt S213 fort, um die Wichtungskoeffizienten der Daten in Abhängigkeit von den Ab weichungsbeträgen ΔX, ΔY in X- und Y-Richtungen zu bestimmen, die im Schritt S212 berechnet wurden, um Wichtungskoeffizienten entsprechend den Abweichungsbeträgen ΔX, ΔY zu den jeweiligen Daten zu addieren.

Wenn die Operation zum Schritt S214 vorrückt, werden lineare Ausdrücke in einer horizontalen Richtung (XZ-Ebene) und in einer vertikalen Richtung (YZ-Ebene) abgeleitet, indem die Methode der kleinsten Quadrate zur Bestimmung von Parametern (a, b, c, d) be nutzt wird, welche als Kandidaten für ein neues lineares Element Ld genommen werden.

Im Schritt S215 wird untersucht, ob ein Kandidat des linearen Elements Ld einer Zeile auf der rechten Seite eines Straßenmo dells ermittelt ist oder nicht. Ist das Ergebnis nein, werden Parameter des linearen Elements Ld auf der rechten Seite einge lesen, um so zum vorher beschriebenen Schritt S206 zurückzu gehen. Ist das Ergebenis ja, so schreitet die Operation mit Schritt S217 fort.

Im Schritt S217 wird untersucht, ob der ermittelte Kandidat des linearen Elements Ld einer auf der rechten Seite des Endab schnitts ist. Ist das Ergebnis, daß der oben erwähnte Kandidat nicht einer des letzten Abschnitts ist, werden die Parameter des linearen Elements Ld auf der linken Seite des nächsten Ab schnitts eingelesen, um zum zuvor beschriebenen Schritt S206 zurückzukehren, um den gleichen Vorgang zu wiederholen.

Wird demgegenüber ermittelt, daß der Kandidat der des ermittel ten linearen Elements Ld einer der rechten Seite des Endab schnitts ist, und daß Kandidaten sämtlicher linearer Elemente Ld, die ein Straßenmodell darstellen, ermittelt worden sind, schreitet die Operation vom Schritt S217 auf Schritt S219 fort, und die darauffolgenden, um die Straßenformbeurteilung durchzu führen.

Werden die Parameter des linearen Elements Ld des ersten Ab schnitts R1 im Schritt S219 eingelesen, so wird dabei jede Parallelität in einer horizontalen Richtung der rechten und linken linearen Elemente Ld untersucht, um die Plausibilität im Schritt S220 zu beurteilten. Ferner wird jede Parallelität in vertikaler Richtung des linken und rechten linearen Elements Ld untersucht, um deren Plausibilität und Zuverlässigkeit zu beur teilen.

Danach fährt die Operation mit Schritt S222 fort. Für den Fall, daß irgendeines der linken und rechten linearen Elemente sich als nicht plausibel in Folge dieser Beurteilung erweist, oder für den Fall, daß Daten fehlen, weil die weiße Linie auf einer Straße in Form einer unterbrochenen Linie vorliegt, oder hinter einem Hindernis außer Sicht gerät, so daß kein Kandidat in den linken als auch rechten linearen Elementen vorliegt, wird ein lineares Element auf einer erfaßten Seite einer parallelen Ver schiebung um die Breite der Fahrzeugfahrbahn unterzogen und wird hierfür ersetzt, wodurch fehlende lineare Elemente ersetzt, er gänzt oder kompensiert werden. Dann schreitet der Prozeß mit Schritt S223 fort.

Es ist anzumerken, daß für den Fall, daß beide linken und rechten linearen Elemente nicht existieren, das zuvor abge schätzte lineare Element der Straßenform hierfür eingesetzt wird.

Im Schritt S223 wird untersucht, ob der entsprechende Abschnitt der Endabschnitt ist. Ist der Abschnitt der Endabschnitt, so werden Parameter des linken und rechten linearen Elements Ld des nächsten Abschnitts eingelesen, um zum zuvor beschriebenen Schritt S220 zurückzugehen. Demgegenüber schreitet im Fall, daß der Endabschnitt vorliegt, die Operation von Schritt S223 mit S224 fort, um Parameter jeweiliger linearer Elemente Ld im Schritt S225 in den Speicher 100e einzuschreiben und so die Verarbeitung abzuschließen.

Die Funktionsweise des Objekterkennungsabschnitts 120 wird nun beschrieben. Zunächst werden Straßenformparameter eingelesen, um Objektdetektorverarbeitungen im Schritt S301 durchzuführen. Dann wird ein Distanzbild von der Bildverarbeitungsvorrichtung 20 in Rasterform im Schritt S302 in Regionen oder Bereiche unterteilt und Daten des Anfangsbereichs werden im Schritt S303 eingelesen. Die Operation fährt mit Schritt S304 fort, in dem die ersten Daten innerhalb des Bereichs gesetzt werden. Im Schritt S305 werden dreidimensionalen Positionen (XYZ) des Objekts, d. h. Dis tanz und Höhe, berechnet. Im Schritt S306 wird die Höhe von der Straßenoberfläche in der Distanz Z berechnet. Im Schritt S307 werden Daten oberhalb der Straßenoberfläche selektiert.

Die Operation schreitet dann mit Schritt S308 fort, indem unter sucht wird, ob in den Enddaten Daten vorliegen oder nicht. Sind die gerade gegenwärtigen Daten nicht die Enddaten, so werden die nächsten Daten innerhalb des Bereichs im Schritt S309 gesetzt. Danach kehrt die Operation zum zuvor beschriebenen Schritt S305 zurück, um die Verarbeitung zu wiederholen. Handelt es sich je doch um die Enddaten, so schreitet die Operation von Schritt S308 auf Schritt S310 fort.

Die Schritte S310 bis S315 beinhalten eine Objektdetektorverar beitung. Im Schritt S310 wird ein Histogramm vorbereitet. Im Schritt S311 wird ein Abschnitt, in dem die Frequenz oder Häufig keit dieses Histogramms oberhalb eines Beurteilungswerts liegt und einen Maximalwert anzeigt, detektiert. Infolgedessen wird für den Fall, daß ein Abschnitt, in dem die Häufigkeit des Histogramms über einem Beurteilungswert liegt und einen Maximal wert anzeigt, detektiert worden ist, im Schritt S312 geschlos sen, daß in diesem Abschnitt ein Objekt vorhanden ist, um dann die Distanz bis zu diesem Objekt zu bestimmen.

Im Schritt S313 wird untersucht, ob ein entsprechender Bereich der Endbereich ist oder nicht. Handelt es sich bei dem Bereich nicht um den Endbereich, werden Daten des nächsten Bereichs im Schritt S314 eingelesen, um zum vorbeschriebenen Schritt S304 zurückzukehren, um eine gleiche Verarbeitung fortzusetzen. Han delt es sich jedoch beim vorliegenden Bereich um den Endbereich, schreitet die Operation mit Schritt S315 fort, um die Detektion der Distanzen und vorhandenen Bereiche jeweiliger Objekte zu vervollständigen, und um dann zu den Schritten S316 bis S318 zur Erzeugung des dreidimensionalen Fensters vorzurücken.

Im Schritt S316 werden die Parameter des ersten Objekts gesetzt. Dann werden im Schritt S317 die Höhe vom unteren Ende des drei dimensionalen Fensters und der Distanzbereich festgesetzt. Im Schritt S318 wird eine zweidimensionale Fensterform WD2B auf der Grundlage des dreidimensionalen Fensters WD3B berechnet. Dann wird mit Schritt S319 fortgefahren. Der Schritt S319 und die da rauffolgenden Schritte beinhalten eine Objektkonturextraktion. Zunächst werden im Schritt S319 Daten innerhalb des zweidimen sionalen Fensters WD2B ausgelesen. Im Schritt S320 werden drei dimensionale Positionen eines Objekts berechnet. Im Schritt S321 werden innerhalb des dreidimensionalen Fensters WD3B enthaltene Daten selektiert und extrahiert.

Danach wird mit Schritt S323 fortgefahren, um im Schritt S321 extrahierte Daten auf ein zweidimensionales Bild zu projizie ren. Im Schritt S323 werden die jeweiligen Daten durch Linien segmente zur Erstellung eines Konturbildes verbunden. Darauf folgend werden im Schritt S324 Form, Ausdehnung, Position und Geschwindigkeit eines Objekts berechnet. Im Schritt S325 wird die positionelle Beziehung zwischen einer Fahrbahn, einer Straße und dem Objekt berechnet.

Im Schritt S326 wird untersucht, ob das entsprechende Objekt das Endobjekt ist oder nicht. Ist das entsprechende Objekt nicht das Endobjekt, werden Parameter des nächsten Objekts im Schritt S327 gesetzt, um zum zuvor beschriebenen Schritt S317 zurückzukehren. Handelt es sich hingegen bei dem vorliegenden Objekt um das End objekt, schreitet die Operation mit Schritt S328 fort, um Para meter wie die Position, Form, Geschwindigkeit und Beschleunigung jeweiliger Objekte sowie die Möglichkeit der Kollision in den Ausgangsspeicher 100e einzuschreiben, um die Verarbeitung zu be enden.

Ein zweites Ausführungsbeispiel der Erfindung wird nun unter Bezugnahme auf das Flußdiagramm der Fig. 38 erläutert, das die Verarbeitung unter Verwendung der Hough Transformation beim Be rechnen von Parametern des linearen Elements der Straßenform zeigt.

Die Hough Transformation wird im allgemeinen als eine Technik angewandt, die imstande ist, einen linearen Ausdruck aus einem Bild in stabiler Weise abzuleiten, das viel Rauschen enthält. Die Linearelementdetektion des zweiten Ausführungsbeispiels ist merkmalsmäßig unterhalb der Fig. 33 des zuvor beschriebenen ersten Ausführungsbeispiels angesiedelt. Wenn Daten innerhalb des dreidimensionalen Fensters WD3A im Schritt S212 selektiert sind, schreitet die Prozedur vom Schritt S212 mit Schritt S214 fort, um die Hough Transformation bezüglich der Beziehungsdaten X und Z zur Ableitung eines linearen Ausdrucks in der horizon talen Richtung (XZ-Ebene) der höchstmöglichen Genauigkeit aus zuführen, um darauffolgend die Hough-Transformation bezüglich der Beziehung zwischen Daten Y und Z auszuführen, um einen linearen Ausdruck in einer vertikalen Richtung (YZ-Ebene) abzuleiten. Jeweilige Parameter a, b, c, d des linearen Ausdrucks werden auf diese Weise bestimmt. So schreitet die Verarbeitungsprozedur zum zuvor beschriebenen Schritt S215 fort, wobei die obigen Para meter den neuen Kandidaten bilden. Die übrige Verarbeitung ent spricht der des zuvor beschriebenen ersten Ausführungsbeispiels.

Während in der vorliegenden Erfindung das dreidimensionale Fenster WD3A so eingestellt wird, daß hierbei Daten außer für weiße Linien ausgeschlossen werden, besteht hier, falls ein Stein oder anderer Fremdkörper unmittelbar auf einer weißen Linie im Fall des zuvor beschriebenen ersten Ausführungsbei spiels zum Bestimmen eines linearen Ausdrucks durch die Methode der kleinsten Quadrate liegt, die Möglichkeit, daß die Erfas sungsgenauigkeit für die weiße Linie infolge des Einflusses hiervon herabgesetzt ist. Wird jedoch die Hough Transformation wie im zweiten Ausführungsbeispiel verwendet, so wird ermög licht, einen linearen Ausdruck stabil und zuverlässig abzulei ten.

Die Fig. 39 zeigt ein drittes Ausführungsbeispiel der Erfindung, in dem die zuvor beschriebene Straßen- und dreidimensionale Ob jektdetektorvorrichtung 100 des ersten Ausführungsbeispiels so aufgebaut wird wie eine Straßen/Hindernisdetektorvorrichtung 200, der eine Beurteilungsfunktion für ein Hindernis hinzuge fügt ist.

Dabei ist die Straßen/Hindernisdetektorvorrichtung 200 explizit aus dem zuvor beschriebenen Straßendetektorabschnitt 110 des ersten Ausführungsbeispiels, einem Hindernisdetektorabschnitt 210 und einem Straßen/Hindernisparameterspeicherabschnitt 130 aufgebaut, der einen Ausgangsspeicher 100e enthält. Der Hin dernisdetektorabschnitt 210 weist einen Aufbau auf, bei dem ein Hindernisbeurteilungsabschnitt 124 die Funktion einer Objekt unterscheidungseinrichtung aufweist, um die Art von Objekten aus den Abmessungen und der Position eines Konturbildes eines detektier ten Objektes zu unterscheiden, wobei ein solcher Abschnitt 124 zusätzlich innerhalb des Objekterkennungsabschnitts 120 ent halten ist.

Der Hindernisbeurteilungsabschnitt 124 ermittelt aus den Abmes sungen und der Fahrgeschwindigkeit usw. jeweilige Objekte, die im Objektkonturbildextraktionsabschnitt detektiert sind, um welche Objekte es sich handelt. Sind beispielsweise die seit liche Ausdehnung und Höhe jeweils größer als etwa 2 m, kann davon ausgegangen werden, daß es sich bei dem Objekt um einen Lastkraftwagen handelt. Beträgt darüber hinaus die seitliche Ausdehnung 1,3 bis 2,0 m und liegt die Höhe auf einem Wert unter 2 m, kann davon ausgegangen werden, daß das Objekt ein Personen kraftwagen ist.

Ist ferner die seitliche Ausdehnung 0,5 bis 1,0 m und liegt die Höhe unter 2 m, so kann davon ausgegangen werden, daß das Objekt ein motorgetriebenes Zweirad oder ein Fußgänger ist. In diesem Fall kann ferner geschlossen werden, wenn die Geschwindigkeit über 20 km/h liegt, daß das Objekt ein motorgetriebenes Zweirad ist. Ferner ist es auch möglich, ein Objekt detaillierter zu unterscheiden bzw. zu klassifizieren, indem das Verhältnis der seitlichen Ausdehnung und Höhe eines Konturbildes benutzt wird oder das Verhältnis zischen der Höhe der Gesamtheit eines Kon turbildes und der Höhe eines Mittelpunktes dessen Bereichs usw.

Im Straßen/Hindernisparameterspeicher 130 wird ein Parameter einer Art eines Objekts, das im Hindernisbeurteilungsabschnitt 124 beurteilt wurde, zusätzlich zu den Parametern wie Position, Form oder Geschwindigkeit usw. jeweiliger Objekte gespeichert, die im Objektkonturbildextraktionsabschnitt 123 erfaßt worden sind.

Im dritten Ausführungsbeispiel ist eine Vorrichtung vorgesehen, die dazu ausgelegt ist, eine Kollision mit einem Hindernis vor herzusagen, um einen Alarm für den Fahrer auszulösen oder die Bremsung oder Lenkung entsprechend zu steuern, um so automa tisch eine Kollision zu vermeiden. Eine solche Vorrichtung ist an die Vorrichtung dieses Ausführungsbeispiels angeschlossen, um hierdurch zu ermöglichen, daß nicht nur die Information der Po sition oder Geschwindigkeit eines vorliegenden Hindernisses prä zisiert vorhergesagt wird, sondern auch der Zustand in einigen Sekunden.

Beispielsweise liegt eine hohe Wahrscheinlichkeit vor, daß ein Fußgänger plötzlich seine oder ihre Bewegungsrichtung ändert. Andererseits ist die Wahrscheinlichkeit, daß ein Auto seine Ge schwindigkeit oder Richtung ändert, gering. Wenn solche aktu ellen Umstände bei der Vorrichtung des dritten Ausführungs beispiels mit in Betracht gezogen werden, so wird es möglich, die Art und Weise der Bewegung eines Objekts genauer vorherzu sagen.

Claims

1. Einrichtung zum Überwachen des Außenraumes eines Fahr zeugs, das über eine Fahrspur auf einer Straße fährt, die durch ausgedehnte weiße Linien definiert ist, aufweisend:
mehrere Kameras (10), die Bilder des Fahrzeugaußenraums aufnehmen und Bildsignale erzeugen, die diese Bilder anzei gen; und
eine Bildverarbeitungseinrichtung (20), die abhängig von den Bildsignalen eine Distanzverteilung bezuglich des Fahr zeugs ermittelt, dadurch gekennzeichnet,
daß die Bildverarbeitungseinrichtung (20) ein diese Di stanzverteilung anzeigendes Distanzbild erzeugt,
daß eine Straßen- und Objekt-Detektoreinrichtung (100) vorgesehen ist, die auf der Grundlage des Distanzbildes drei dimensionale Koordinatendaten (X, Y, Z, Di) in einem auf ein Koordinatensystem des Fahrzeugs bezogenen realen Raum berech net, und
daß eine Straßenverlaufsform-Detektoreinrichtung (110) vorgesehen ist, die eine Straßenverlaufsform auf der Grundla ge der dreidimensionalen Koordinatendaten von Abschnitten der weißen Linien berechnet.

2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Straßenverlaufsform-Detektoreinrichtung (110) dazu ausgelegt ist, mehrere dreidimensionale lineare Elemente (Ld) zu ermitteln, die jeweils einen Abschnitt jeder weißen Linie innerhalb einer von mehreren Regionen (R0 . . . R6) der Straße repräsentieren, die bezogen auf die Distanz vom Fahrzeug auf geteilt sind, wobei jede weiße Linie durch die Kombination der dreidimensionalen linearen Elemente dargestellt ist.

3. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, daß jedes der dreidimensionalen linearen Elemente (Ld) durch Parameter linearer Gleichungen repräsentiert wird, die die Projektion jedes dreidimensionalen linearen Elements auf eine horizontale Ebene und eine vertikale Ebene repräsentieren.

4. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, daß die Straßenverlaufsform-Detektoreinrichtung (110) ferner aufweist:
eine Abschätzungseinrichtung (111), die abhängig von Fahr zeugfahrbedingungen die Änderung der dreidimensionalen linea ren Elemente (Ld) aus deren vorausgehenden Positionen ab schätzt;
eine erste Erzeugungseinrichtung (112) für ein dreidimen sionales Fenster, die einen dreidimensionalen Raum um jedes der abgeschätzten dreidimensionalen linearen Elemente als erstes dreidimensionales Fenster (WD3A) festlegt; und
eine Linearelement-Detektoreinrichtung (113), die aus den dreidimensionalen Koordinatendaten nur Koordinatendaten ex trahiert, die innerhalb des ersten dreidimensionalen Fensters (WD3A) liegen, und die gegenwärtige Position des dreidimen sionalen linearen Elements auf der Grundlage der extrahierten Koordinatendaten berechnet.

5. Einrichtung nach Anspruch 4, dadurch gekennzeichnet, daß die Linearelement-Detektoreinrichtung (113) aufweist:
eine Einrichtung zur Durchführung der Koordinatentrans formation des ersten dreidimensionalen Fensters (WD3A) auf ein erstes zweidimensionales Fenster (WD2A); und
eine Einrichtung, die aus den dreidimensionalen Koordina tendaten vorab nur Koordinatendaten auswählt, die innerhalb des ersten zweidimensionalen Fensters (WD2A) liegen, wobei diese ausgewählten Koordinatendaten zur Ermittlung der gegen wärtigen Positionen der dreidimensionalen linearen Elemente verarbeitet werden.

6. Einrichtung nach Anspruch 4, dadurch gekennzeichnet, daß die Linearelement-Detektoreinrichtung (113) aufweist:
eine Einrichtung zur Berechnung von Abweichungsbeträgen (ΔXi, ΔYi) der extrahierten Koordinatendaten in der horizon talen Richtung und der vertikalen Richtung bezüglich jedem der abgeschätzten dreidimensionalen linearen Elemente (Ld);
eine Einrichtung zum Festlegen von Wichtungskoeffizienten abhängig von diesen Abweichungsbeträgen, mit denen die ent sprechenden extrahierten Koordinatendaten multipliziert wer den; und
eine Einrichtung zur Berechnung der gegenwärtigen Positio nen der dreidimensionalen linearen Elemente aus den multipli zierten Koordinatendaten mittels der Methode der kleinsten Quadrate.

7. Einrichtung nach Anspruch 4, dadurch gekennzeichnet, daß die Linearelement-Detektoreinrichtung (113) dazu ausge legt ist, die gegenwärtigen Positionen der dreidimensionalen linearen Elemente (Ld) durch eine Hough-Transformation zu be rechnen.

8. Einrichtung nach Anspruch 4, dadurch gekennzeichnet, daß die Straßenverlaufsform-Detektoreinrichtung (110) ferner umfaßt:
eine Beurteilungseinrichtung (114), die beurteilt, ob die gegenwärtigen Positionen der dreidimensionalen linearen Ele mente (Ld), die jeweils innerhalb einer der aufgeteilten Regionen eine linke und rechte weiße Linie anzeigen, im we sentlichen parallel zueinander sind, und die die dreidimen sionalen linearen Elemente modifiziert, wenn ermittelt wird, daß beide nicht im wesentlichen parallel zueinander sind.

9. Einrichtung nach einem der vorhergehenden Ansprüche, ferner gekennzeichnet durch eine Objekterkennungseinrichtung (120), die ein auf der Straße vorhandenes Objekt, das dadurch charakterisiert ist, daß es vertikale Koordinaten aufweist, die um einen vorbe stimmten Betrag höher als die der ausgedehnten weißen Linien sind, erkennt.

10. Einrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Objekterkennungseinrichtung (120) aufweist:
eine Objektdetektoreinrichtung (121) zur Unterteilung des Distanzbildes in mehrere Bereiche, zur Selektion von Daten mit vertikalen Koordinaten innerhalb eines höheren Bereichs als dem der weißen Linien aus den dreidimensionalen Koordina tendaten für jeden Unterteilungsbereich, zur Detektion, daß, wenn eine Anzahl von Daten innerhalb der selektierten Daten Distanzkoordinaten umfaßt, die in einem speziellen Distanzbe reich enthalten sind, und diese Anzahl von Daten größer als ein Beurteilungswert ist, ein Teil eines Objekts in diesem speziellen Distanzbereich vorhanden ist, und zur Ermittlung des Objekts auf der Grundlage einer Differenz zwischen der Distanz zu diesem Teil des Objekts und der in den angrenzen den Unterteilungsbereichen jeweils detektierten Distanz.

11. Einrichtung nach Anspruch 10, dadurch gekennzeichnet, daß die Objekterkennungseinrichtung (120) ferner umfaßt:
eine zweite Erzeugungseinrichtung (122) für ein dreidimen sionales Fenster (WD3B) zur Festlegung eines dreidimensiona len Raumes, der das gesamte Objekt umfaßt, als zweites drei dimensionales Fenster (WD3B); und
eine Objektkontur-Bildextraktionseinrichtung (123) zur Ex traktion nur von Koordinatendaten, die innerhalb des zweiten dreidimensionalen Fensters (WD3B) liegen, aus den dreidimen sionalen Koordinatendaten und zur Lieferung eines Konturbil des des Objekts auf der Grundlage der extrahierten Koordina tendaten, wobei eine dreidimensionale Position des Objekts auf der Straße ermittelt wird.

12. Einrichtung nach Anspruch 11, dadurch gekennzeichnet, daß die Objektkontur-Bildextraktionseinrichtung (123) auf weist:
eine Einrichtung zur Ausführung der Koordinatentransforma tion des zweiten dreidimensionalen Fensters (WD3B) auf ein zweites zweidimensionales Fenster (WD2B); und
eine Einrichtung, die vorab aus den dreidimensionalen Ko ordinatendaten nur Koordinatendaten auswählt, die innerhalb des zweiten zweidimensionalen Fensters (WD2B) liegen, wobei diese ausgewählten Koordinatendaten zur Lieferung des Kontur bildes vom Objekt verarbeitet werden.

13. Einrichtung nach Anspruch 11, dadurch gekennzeichnet, daß die Objektkontur-Bildextraktionseinrichtung (123) ferner aufweist:
eine Einrichtung zur Berechnung einer mittleren Position zwischen dem rechten und linken Ende des Konturbildes und zur Berechnung von einem die-Bewegung des Objekts relativ zum Fahrzeug bezüglich der mittleren Position anzeigenden Para meter.