DE19680415C2 - Bildbearbeitungsvorrichtung für Fahrzeuge - Google Patents

Description

Die vorliegende Erfindung bezieht sich auf eine Bildbearbeitungsvorrichtung zum Wählen eines Bildes, das eine bestimmte gerade oder gekrümmte Linie gemäß Bildinformationen anzeigt, die durch eine Bildaufnahmeoperation erhalten werden, und sie bezieht sich insbesondere auf eine Vorrichtung, die in Übereinstimmung mit Bildinformationen arbeitet, welche durch eine Bildaufnahmeoperation mit einer Bordkamera zur korrekten Erkennung einer Linie für ein Fahrzeug in bezug auf eine Fahrbahn erhalten werden, auf der das Fahrzeug fährt.

Eine Vorrichtung zum Erkennen einer Fahrstraße oder eines Fahrbahnbe­ reichs aufgrund von Bildinformationen, die durch eine Bildaufnahmeoperation mit einer Bordkamera erhalten werden, ist beispielsweise in JP-A-4-134503 (Artikel (1)) beschrieben worden.

Die obige Vorrichtung umfaßt Abtasteinrichtungen zum Entnehmen eines Fahrstraßenrandes aus Bildinformationen, die über Bildeingabeeinrichtungen eingegeben werden, sowie zum Aufwärtsabtasten eines Bildes, das mit dem entnommenen Fahrstraßenrand im Zusammenhang steht, beginnend bei einem bestimmten Bezugspunkt in einer horizontalen Richtung, und Einrichtungen zum Einstellen der Mitte des abgetasteten Bereiches in bezug auf einen bestimmten Bezugspunkt in der horizontalen Richtung für die anschließende Abtastoperation, derart, daß die Fahrstraßenzone entsprechend diesem Bereich durch die Abtasteinrichtungen abgetastet wird.

Mit anderen Worten wird eine Farbe entsprechend den Pixeln, die die Bildinformation bilden und die sich im unteren Abschnitt des Bildschirmes befinden, als bestimmte Farbe (Farbe der Straßenoberfläche) unterstellt, um einen Bereich zu überprüfen, der einen Satz von Pixeln mit Farbinformatio­ nen enthält, welche der bestimmten Farbe äquivalent sind, um dadurch eine Zone oder einen Bereich, der mit der bestimmten Farbe umgeben ist, als Straßenbereich vor dem Fahrzeug zu bestimmen.

Wenngleich die mit der bestimmten Farbe umgebene Zone als Fahrbereich vor dem Fahrzeug betrachtet wird, bleibt jedoch im Zusammenhang mit dem in Artikel (1) beschriebenen Stande der Technik nach wie vor ein Problem zu lösen, wie beispielsweise das Auftreten eines Vorfalls, bei dem die mit Straßenrändern eingeschlossene Straßenzone (entsprechend den Linien des Fahrzeugs) nicht exakt allein durch technische Mittel erfaßt werden kann.

Beispielsweise wird in einem Falle, bei dem die Kontur des Straßenbereichs vor dem Fahrzeug aufgrund des Vorhandenseins von Radspuren verwischt ist, festgestellt, daß auf der Fahrstraße Ränder, zusätzlich zur Linie auf der Straße, vorhanden sind. Infolgedessen kann der Rand nicht richtig erkannt werden. Darüber hinaus ist häufig der Fall aufgetreten, daß auch die Straßenzone nicht korrekt erkannt werden kann.

Andererseits muß bei einem Fahrzeug, das auf einer Straße fährt, der Fahrer das Fahrzeug in angemessener so Weise fahren, daß das Fahrzeug entlang einer vorbestimmten Fahrbahn fährt.

Infolgedessen muß der Fahrer die Fahrstraßenoberfläche kontinuierlich über­ wachen, um auf den Zustand der Straßenoberfläche und auf das Vorhanden­ sein anderer Fahrzeuge und Hindernisse zu achten. Damit wird dem Fahrer eine schwere psychologische und physische Belastung auferlegt.

Wenn daher der Fahrer die Konzentration verliert, oder wenn die Aufmerk­ samkeit des Fahrers in einer Fahrsituation abgelenkt wird, in der das Fahrzeug zufällig seine eigene Fahrbahn überquert, kann es als Folge möglicherweise zu einem schweren Unfall kommen.

Insbesondere dürfte es auf einer normalen Straße mit entgegengesetzt gerich­ teten Fahrbahnen, auf denen Fahrzeuge in entgegengesetzten Richtungen fahren, möglicherweise dann zu einem recht schweren Unfall kommen, wenn ein Fahrzeug eine Mittellinie der Straße, in die entgegengesetzte Fahrbahn hinein, überquert.

Um das Problem zu lösen, offenbart die JP-A-62-221800 (Artikel (2)) eine Vorrichtung, bei der das Bild einer Straßenoberfläche vor dem betreffenden Fahrzeug durch eine Farbbild-Aufnahmevorrichtung erfaßt wird. Gemäß dem erhaltenen Farbbildsignal wird eine Fahrzeuglinie gemäß dem Farbunterschied zwischen der Linie und der Straßenoberfläche bestimmt, um dadurch dem Fahrer des Fahrzeugs eine Alarmmeldung zu liefern.

Bei der herkömmlichen, im Artikel (2) beschriebenen Technik, wird das Vorhandensein der Linie gemäß einer Farbe festgestellt, welche die Linie darstellt, nämlich die Farbe gelb oder weiß.

Da die Straßenoberfläche grau ist, wird die Straßenoberfläche garantiert von der gelben Linie unterschieden. Hingegen ist die Unterscheidung durch den Farbunterschied zwischen einer weißen Linie und der grauen Straßenober­ fläche unmöglich, und es ist daher erforderlich, die Unterscheidung aufgrund der Luminanz treffen.

Im Falle, daß sich beispielsweise der Zustand um die Straße herum, nämlich die Straßenumgebung, ändert - beispielsweise ändert sich die Luminanz in einem Tunnel (ein erhaltenes Bild ist wegen der gelben Beleuchtung gelb) oder aufgrund der Beleuchtung bei Nacht - ist es schwierig, die Fahrzeugli­ nie aufgrund der Änderung des Zustandes zu erkennen.

Andererseits wurde bei einer Vorrichtung, mit der die Fahrzeuglinie gemäß den durch eine Bordkamera erhaltenen Bilddaten erkannt wird, allgemein eine Methode angewandt, bei der die Lage vor dem Fahrzeug durch eine Kamera aufgenommen wird. Bei einer solchen Vorrichtung treten jedoch folgenden Probleme auf. Um die Lage in einem weiten Bereich zu erken­ nen, ist es, wenn eine Weitwinkellinse angebracht wird, schwierig, die Linie in einer weit entfernten Stelle zu erkennen. Andererseits ist, wenn zum Er­ kennen der Linie an einer weit entfernten Stelle ein Zoom-Mechanismus des optischen Systems angewandt wird, das erkennbare Sichtfeld beschränkt.

Um die Vorrichtung zu verbessern, wurde ein Gerät offenbart, das beispiels­ weise in der JP-A-06-229760 (Artikel (3)) beschrieben ist.

Das Gerät umfaßt einen Festkörper-Bildaufnahmeblock, der ein optisches Systems mit einer niedrigen Zoom-Rate sowie einen Festkörper-Bildaufnahme­ block aufweist, der ein optisches System mit einer hohen Zoom-Rate enthält. Durch Vergleichen der durch den Block mit niedriger Zoom-Rate erhaltenen Bilddaten mit den durch den Block mit hoher Zoom-Rate erhaltenen Daten wird erkannt, daß die Fahrstraße an einer relativ weit entfernten Stelle vor dem Fahrzeug die Kontur einer gekrümmten Linie aufweist, oder daß sich das Fahrzeug beim Einfahren in eine kurvenförmige Route befindet.

Um die Kontur der Route an einer relativ weit entfernten Stelle zu erken­ nen, umfaßt die Konfiguration jedoch gemäß dem oben beschriebenen Stande der Technik des Artikels (3) einen Festkörper-Bildaufnahmeblock mit einem optischen System, das eine hohe Zoom-Rate aufweist. Daher werden zwei optische Systeme für die hohen und für die niedrigen Zoom-Raten benötigt, sowie zwei Festkörper-Bildaufnahmeblöcke für die jeweiligen optischen Systeme. Dies führt zu einem Problem, nämlich dem Problem der Zunahme der Größe des Ge­ rätes, so dass das Gerät nicht unbedingt als eine Vorrichtung geeignet ist, die auf einem Fahrzeug montiert werden soll. Weiter schnellen die Herstellungskosten für dasselbe unvermeidlicherweise in die Höhe.

Darüber hinaus ist es in Anbetracht der das Montieren der Vorrichtung betreffen­ den äußeren Umstände, nämlich die einer hohen Temperatur und einer großen Vibrationsamplitude, äußerst wünschenswert, dass die Anzahl der optischen Sy­ steme in der Konfiguration der Vorrichtung möglichst gering ist.

Weitere Bildbearbeitungssysteme zur Erkennung des Verlaufs einer Straße sind bekannt aus EP 0 390 583 A2, US 5,359,666, US 5,307,419 und aus den Artikeln von Münkel, Wells, "Verfolgung des Straßenverlaufes in einer Farbbildfolge", Mustererkennung 1991, 13. DAGM-Symposium in München, Seiten 115-520, von Tsinas, Meier, Efenberger, "Farbgestützte Verfolgung von Objekten mit dem PC-basierten Multiprozessorsystem BVV4", Mustererkennung 1993, 15. DAGM- Symposium in Lübeck, Seiten 741-748, von Dickmans, Mysliwetz, "recursive 3- D Road and Relative Ego-State Recognition", IEEE Transactions on pattern analysis and machine intelligence, Vol. 14, No. 2, Februar 1992, Seiten 199-213, von Crisman, Thorpe, "SCARF: A Color Vision System that Tracks Roads and Intersections" IEEE Transactions on Robotics and Automation, vol. 9, No. 1, Fe­ bruar 1993, Seiten 49-58, und "UNSCARF: A Color Vision System for the De­ tection of Unstructured Roads", Proceedings of the IEEE, International Confer­ ence on Robotics and Automation, April 1991, Seiten 2496-2501.

Es ist die Aufgabe der vorliegenden Erfindung, eine Bildbearbeitungsvorrichtung zu schaffen, mit welcher die Fahrzeuglinie für eine Fahrbahn eines Fahrzeuges mit erhöhter Auswertesicherheit erkannt werden kann, insbesondere auch an rela­ tiv weit entfernten Stellen bei gleichzeitiger Beibehaltung eines weiten Sichtbe­ reichs und bei geringer Anzahl der optischen Systeme.

Diese Aufgabe wird durch eine Bildbearbeitungsvorrichtung gemäß Anspruch 1 gelöst. Die abhängigen betreffen vorteilhafte Ausgestaltungen der Erfindung.

Die Bildvergrößerungs-Prozesseinrichtung führt eine Prozedur durch, um die Speicherinhalte der Vergrößerungsbedingungs-Speichereinrichtung zu indizieren, so dass für jede horizontale Zeile die Größe der Bildinformation vergrößert wird, wobei die Vergrößerungsmittenkoordinate auf die Vergrößerungsmitte entspre­ chend einem Vergrößerungsfaktor eingestellt wird der durch die Zoom-Rate an­ gegeben wird. Bei dieser Operation führt die Bildvergrößerungs- Prozesseinrichtung nur in der horizontalen Richtung eine Prozedur zur Vergröße­ rung der Größer der erhaltenen Bildinformationen durch.

Darüber hinaus tastet die Randpixelkoordinaten-Erfassungseinrichtung die ver­ größerte Bildinformation für jede horizontale Zeile ab; sie prüft die Grenzen zwi­ schen einer bestimmten Farbe und anderen Farben; und sie entnimmt Pixel an den Grenzen als Randpixel, um Positionskoordinaten der entnommenen Randpixel zu erhalten. Weiter wandelt die Wandpixelkoordinaten-Umwandlungseinrichtung die Positionskoordinaten der entnommenen Randpixel in Koordinaten vor dem Ver­ größerungsprozess um.

Außerdem indiziert die Linienentnahmeeinrichtung die umgewandelten Daten der Randpixel und verbindet die Randpixel zu Geraden, um die linken und rechten Linien zu erhalten.

Gemäß der vorliegenden Erfindung wird die von der Bildaufnahmeeinrichtung erhaltenen Bildinformationen vergrößert (was nachfolgend der Einfachheit halber als "Zoomen eines Bildes" bezeichnet wird), derart, daß die Fahrverkehrslinien korrekt gemäß den Bilddaten erkannt werden können, die den Vergrößerungsprozeß durchlaufen haben.

Mit anderen Worten ist es durch die Anwendung der Bild-Zoom-Operation möglich, Pixel zu entnehmen (Randpixel), die die Grenzen zwischen der Straßenoberfläche und den Linien in einem Zustand oder einer Lage anzei­ gen, in welchem/welcher die Linienbreite vergrößert ist, so daß die Linien an weit entfernter Stelle richtig erkannt werden können.

Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der Erfindung werden nun anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Es zeigen:

Fig. 1 ein Blockschaltbild, das die Gesamtkonfiguration einer ersten Aus­ führungsform der Bildbearbeitungsvorrichtung gemäß der vorlie­ genden Erfindung darstellt;

Fig. 2 ein Flußdiagramm zur Erläuterung der gesamten Bearbeitung der Ausführungsform der Fig. 1;

Fig. 3A und 3B Diagramme zur Erläuterung einer Randerfassungsoperation bei der Ausführungsform der Fig. 1;

Fig. 4 ein Flußdiagramm zur Erläuterung der Operationen der Linienbe­ rechnung und des Abschätzungsprozesses bei der Ausführungsform der Fig. 1;

Fig. 5A und 5B Diagramme, die ein Randdaten-Entnahmebeispiel zur Erläuterung des Linienabschätzungsprozesses zeigen;

Fig. 5C ein Flußdiagramm zur Erläuterung des Linienerkennungsprozesses in Fig. 5B;

Fig. 5D ein Diagramm zur Erläuterung des Linienerkennungsprozesses in Fig. 5B;

Fig. 6 ein Diagramm, das ein Randdaten-Entnahmebeispiel zur Erläute­ rung eines weiteren Beispiels des Linienabschätzungsprozesses darstellt;

Fig. 7 ein Flußdiagramm zur Erläuterung des Linienabschätzungsprozesses in Fig. 6;

Fig. 8A und 8B Diagramme zur Erläuterung einer idealen Fahrbahnbreite;

Fig. 9 ein Diagramm, das ein Randdaten-Entnahmebeispiel zur Erläute­ rung eines weiteren Beispiels des Linienabschätzungsprozesses darstellt;

Fig. 10 ein Flußdiagramm zur Erläuterung des Linienabschätzungsprozesses in Fig. 9;

Fig. 11 ein Flußdiagramm zur Erläuterung einer Variation des Linien­ abschätzungsprozesses bei der Ausführungsform der Fig. 1;

Fig. 12 ein Diagramm, das ein Randdaten-Entnahmebeispiel zur Erläute­ rung des Linienabschätzungsprozesses bei der Variation der Fig. 11 darstellt;

Fig. 13 ein Blockschaltbild, das den Gesamtaufbau einer zweiten Aus­ führungsform der Bildbearbeitungsvorrichtung gemäß der vorlie­ genden Erfindung darstellt;

Fig. 14 ein Flußdiagramm zur Erläuterung der gesamten Bearbeitung der Ausführungsform der Fig. 13;

Fig. 15 ein Flußdiagramm zur Erläuterung eines Bedingungseinstellprozes­ ses bei der Ausführungsform der Fig. 13;

Fig. 16 ein Diagramm, das Abtastpixelpositionen bei der Initialisierung der Ausführungsform der Fig. 13 darstellt;

Fig. 17A bis 17G Diagramme zur Erläuterung der Einstellung und Aktualisierung der Entnahmefarben-Bedingungen bei der Initialisierung der Aus­ führungsform der Fig. 13;

Fig. 18 ein Diagramm zur Erläuterung der Abtastpixelpositionen bei der Einstellung der Entnahmefarben-Bedingungen in der Ausführungs­ form der Fig. 13;

Fig. 19 ein Diagramm zur Erläuterung eines Bildschirmbereichs, der angewandt wird, um ein Verteilungsverhältnis bei der Ausfüh­ rungsform der Fig. 13 zu berechnen;

Fig. 20 ein Diagramm zur Erläuterung eines Verfahrens zum Aktualisieren der Entnahmefarben-Bedingungen bei der Ausführungsform der Fig. 13;

Fig. 21 ein Flußdiagramm zur Erläuterung eines Prozesses zum Aktuali­ sieren der Entnahmefarben-Bedingungen bei der Ausführungsform der Fig. 13;

Fig. 22A und 22B Diagramme zur Erläuterung eines Prozesses der Minimierung des Farbeneinstellbereiches der Entnahmefarben-Bedingungen bei der Ausführungsform der Fig. 13;

Fig. 23A und 23B Diagramme zur Erläuterung eines Prozesses der Minimierung eines Einstell-Luminanzbereichs der Entnahmefarben-Bedingungen bei der Ausführungsform der Fig. 13;

Fig. 24A und 24B Diagramme zur Erläuterung eines Prozesses der Vergrößerung eines Einstell-Farbenbereiches der Entnahmefarben-Bedingungen bei der Ausführungsform der Fig. 13;

Fig. 25A und 25B Diagramme zur Erläuterung eines Prozesses der Vergrößerung eines Einstell-Luminanzbereichs der Entnahmefarben-Bedingungen bei der Ausführungsform der Fig. 13;

Fig. 26 ein Diagramm, das eine Einstellcharakteristik des Farbenemphase­ zuwachses bei der Ausführungsform der Fig. 13 darstellt;

Fig. 27 ein Blockschaltbild, das den Gesamtaufbau einer dritten Ausfüh­ rungsform der Bildbearbeitungsvorrichtung gemäß der vorliegenden Erfindung darstellt;

Fig. 28 ein Flußdiagramm zur Erläuterung der gesamten Bearbeitung bei der Ausführungsform der Fig. 27;

Fig. 29A bis 29E Diagramme zur Erläuterung eines Linienerkennungsprozesses bei der Ausführungsform der Fig. 27;

Fig. 30 ein Flußdiagramm, das einen Randentnahmeprozeß bei der Aus­ führungsform der Fig. 27 darstellt;

Fig. 31A und 31B Diagramme zur Erläuterung des Prinzips eines Randkoordinaten- Umwandlungsprozesses;

Fig. 32 ein Flußdiagramm zur Erläuterung eines elektronischen Zoom- Prozesses;

Fig. 33A und 33B Diagramme zur Erläuterung der Koordinaten einer Zoom-Mitte in einem Bild;

Fig. 34 ein Diagramm zur Erläuterung eines Verfahrens zum Erhalten der Zoom-Mittenkoordinaten in einem Bild;

Fig. 35 ein Diagrammm zur Erläuterung eines Verfahrens zum Erhalten der Zoom-Mittenkoordinaten in einem Bild;

Fig. 36A und 36B Diagramme zur Erläuterung des Prinzips eines Zoom-Prozesses;

Fig. 37A bis 37C Diagramme zur Erläuterung von Bildern vor und nach dem Zoom-Prozeß sowie einer Zoom-Rate;

Fig. 38A bis 38D Diagramme zur Erläuterung eines Randentscheidungsprozesses;

Fig. 39A bis 39D Diagramme zur Erläuterung eines Randentscheidungsprozesses;

Fig. 40A bis 40C Diagramme zur Erläuterung von Bildern vor und nach Zoom- Prozessen sowie Zoom-Raten, wenn die Zoom-Rate diskontinuier­ lich variiert;

Fig. 41A bis 41C Diagramme zur Erläuterung der Zoom-Mittenkoordinaten, wenn die Zoom-Rate diskontinuierlich variiert; und

Fig. 42A bis 42D Diagramme zur Erläuterung der Prozeßergebnisse einer Austausch­ schaltung.

Nachfolgend wird die beste Art und Weise zur Durchführung der Erfindung beschrieben.

Bezugnehmend auf die Zeichnungen wird eine Ausführungsform der Bild­ bearbeitungsvorrichtung gemäß der vorliegenden Erfindung beschrieben.

Fig. 1 zeigt das Konfigurationsidagramm einer ersten Ausführungsform der Bildbearbeitungsvorrichtung gemäß der vorliegenden Erfindung.

Die Vorrichtung umfaßt einen Bildaufnahmeblock 2, einen Prozeß- bzw. Bearbeitungsblock 4 und einen Speicher 6. Weiter umfaßt der Bearbeitungs­ block 4 einen Bildbearbeitungsteil 402 und einen Entscheidungsteil 404. Bei dieser Konfiguration werden Signale zwischen dem Entscheidungsteil 404 und einem Fahrzeugzustandssensor 8, einem Fahrzeugbewegungs-Controller 10 und einer Alarmvorrichtung 12 übertragen. Übrigens kann, wie bei der in Fig. 11F dargestellten Ausführungsform, ein Displayteil an die Ausgangsseite des bilderzeugenden Blockes (Bildaufnahmeblock) auch bei dieser Ausfüh­ rungsform angeschlossen werden.

Als nächstes werden die jeweiligen, konstituierenden Komponenten beschrie­ ben.

Zuerst werden die konstituierenden Elemente des Bildaufnahmeblockes 2 beschrieben.

Eine CCD-Kamera 202 ist eine Bildaufnahmevorrichtung zum Aufnehmen eines vor ihr befindlichen Bildes, so daß Bildinformationen erhalten werden. Sie hat die Funktion, Bildinformationen eines vor ihr befindlichen Objektes aufzunehmen und die Informationen in ein analoges Farbsignal umzuwandeln. Bei einem Bordgerät braucht die CCD-Kamera 202 beispielsweise nur an einer Stelle in günstiger, schmutzarmer Umgebung in der Nähe des Kühler­ grills an der Vorderseite des Fahrzeugs angeordnet werden.

Anschließend führt ein A/D-Wandler 204 den Prozeß zur Umwandlung eines von der CCD-Kamera 202 ausgegebenen analogen Bildsignals in ein digitales Signal durch.

Weiter ist eine Farbunterschieds-Wandlerschaltung 206 eine Schaltung mit der Funktion, das vom A/D-Wandler 204 erzeugte digitale Signal zu vervielfa­ chen, also ein digitales Signal des Objektes, das drei Primärfarbenkomponen­ ten R (rot), G (grün) und B (blau) umfaßt, mit einem Farbenemphasenzu­ wachs, welcher die Komponenten γR, γG und γB umfaßt, um danach das Signal in eine Luminanzsignal Y und in Farbunterschieds-Bildsignale (R-Y) und (B-Y) umzuwandeln.

In diesem Zusammenhang sei bemerkt, daß wenngleich der Prozeß der Vervielfachung des Farbemphasenzuwachses nicht unbedingt erforderlich ist, es doch vorteilhaft ist, diesen Prozeß durchzuführen.

Die Farbsignale, Y, R-Y und B-Y werden gemäß den R-, G- und B- Signalen wie folgt definiert. Zuerst werden die Signale R', G' und B' unter Benutzung der R-, G- und B-Signale und des Farbemphasenzuwachs­ komponenten γR, γG und γB definiert, wie nachfolgend dargestellt ist:

R' = R.γR

G' = G.γG

B' = B.γB.

Unter Benutzung der so definierten Größen R', G' und B' werden das Luminanzsignal und die Farbunterschiedssignale wie folgt definiert:

Y = 0,3R' + 0,6G' + 0,1B'

R-Y = 0,7R' - 0,6G' - 0,1B'

B-Y = -0,3R' - 0,6G' + 0,9B'.

Wie oben gesagt, vervielfältigt die Farbunterschieds-Wandlerschaltung 206 die digitalen Signale des Objektes unter Einschluß dreier Primärfarbenkomponen­ ten R (rot), G (grün) und B (blau) mit dem Farbemphasenzuwachs γR, γG und γB) und wandelt dann die entstehenden Signale in die Bildsignale um, welche das Luminanzsignal Y und die Farbunterschiedssignale R-Y und B -Y aufweisen, um die Signale an den Bildbearbeitungsteil 402 zu liefern.

Als nächstes wird der Bildbearbeitungsteil 402 beschrieben. Da aber die Operationsvorgänge des Bildbearbeitungsteils später im einzelnen beschrieben werden, werden im Folgenden nur die Funktionen der jeweiligen Elemente kurz beschrieben.

Wie in Fig. 1 dargestellt, umfaßt der Bearbeitungsblock den Bildbearbei­ tungsteil 402 und den Entscheidungsteil 404.

Zunächst soll eine Beschreibung der konstituierenden Komponenten des Bildbearbeitungsteils 402 gegeben werden.

Die Entnahmeprozeßschaltung ist 40202 eine Schaltung mit zwei primären Funktionen.

Gemäß der einen Funktion wird das von der Farbunterschieds-Wandlerschal­ tung 206 gelieferte Bildsignal für jede horizontale Abtastzeile so bearbeitet, daß aus ihm Pixel entnommen werden, die den Entnahmefarben-Bedingungs­ daten entsprechen (die später beschrieben werden), welche von einem Ent­ nahmefarben-Bedingungsbestimmungsteil 40204 übertragen werden. Anschlie­ ßend werden Positionskoordinatendaten (Randkoordinatendaten), entsprechend den entnommenen Pixeln auf einer horizontalen Zeile, an einen Randent­ scheidungsteil 40206 übertragen. Übrigens kann das Bildsignal über einen nicht dargestellten Puffer auch an die Entnahmeprozeßschaltung 40202 gesandt werden.

In dieser Hinsicht wird bei der Untersuchung einer einzelnen horizontalen Zeile, unter der Annahme eines Änderungspunktes ab einem Pixel, das die Entnahmefarben-Bedingungsdaten nicht erfüllt, bis zu einem Pixel, das die Entnahmefarben-Bedingungsdaten erfüllt, das die Entnahmefarben-Bedingungs­ daten erfüllende Pixel als ansteigende Flanke bezeichnet, und sein Koor­ dinatendatum wird als Randkoordinatendatum der ansteigenden Flanke be­ zeichnet. In ähnlicher Weise wird bei der Untersuchung einer horizontalen Zeile, unter der Annahme eines Änderungspunktes ab einem Pixel, das die Entnahmefarben-Bedingungsdaten erfüllt, bis zu einem Pixel, das die Entnah­ mefarben-Bedingungsdaten nicht erfüllt, das die Entnahmefarben-Bedingungs­ daten erfüllende Pixel als absteigende Flanke bezeichnet, und sein Koor­ dinatendatum wird αls Randkoordinatendatum der absteigenden Flanke be­ zeichnet. In dieser Hinsicht umfaßt das Randkoordinatendatum zusätzlich zur Koordinateninformation noch ein Informationselement, das anzeigt, daß sich die fraglichen Randkoordinaten auf eine ansteigende oder auf eine absteigen­ de bzw. abfallende Flanke beziehen.

Gemäß der verbleibenden, zweiten Funktion der Schaltung werden die Farbdaten einschließlich der Y-, R-Y- und B-Y-Komponenten eines bestimmten Pixels (Pixel in einer bestimmten Position eines einzelnen Rah­ mens) aus den Bildinformationen abgetastet, die durch die Aufnahmeoperation erhalten werden, und sie werden dann zum Entnahmefarben-Bedingungs­ bestimmungsteil 40204 übertragen.

Gemäß den der Straßenfarbe entsprechenden Daten (Y, R-Y, B-Y), die zuvor in einem Steuerdatenteil 604 des Speichers 6 gespeichert wurden, und den Farbdaten (Y, R-Y, B-Y), die durch die Entnahmeprozeßschaltung 40202 abgetastet wurden, bestimmt der Entnahmefarben-Bedingungsbestim­ mungsteil 40204 die Entnahmefarben-Bedingung und überträgt dann die Bedingung an die Entnahmeprozeßschaltung 40202.

Die Entnahmefarben-Bedingungsdaten sind Farbdaten von Pixeln. Wie oben beschrieben, entnimmt in Übereinstimmung mit den Daten die Schaltung 40202 Pixel, welche die Entnahmefarben-Bedingungsdaten erfüllen, um Rand­ koordinatendaten zu erhalten. Übrigens kann, beispielsweise, ein Verfahren zum Bestimmen der Entnahmefarben-Bedingungsdaten in Betracht gezogen werden, bei dem zuvor gespeicherte Daten, die der Straßenfarbe entsprechen, verwendet werden, unmittelbar nachdem die Vorrichtung in Betrieb gesetzt ist. Mit Ablauf einer vorbestimmten Zeitperiode danach werden die durch die Entnahmeprozeßschaltung 402020 abgetasteten Farbdaten verwendet. Eine spezifischere Methode zur Bestimmung der Daten wird später beschrieben.

Als nächstes ist der Randentscheidungsteil 40206 eine Schaltung, die gemäß einem vorbestimmten Algorithmus entscheidet, ob jedes der Randkoordinaten- Datenelemente (Randkoordinaten-Datenelemente jeweils entsprechend der ansteigenden und der absteigenden Flanke) zu einem Datum der Randkoor­ dinatendaten gehört, von denen angenommen wird, daß sie eine linke Linie der Fahrbahn des Fahrzeugs oder eine rechte Linie der Fahrbahn des Fahrzeugs oder ein anderes Randkoordinatendatum bilden. Der Algorithmus wird später beschrieben. In diesem Zusammenhang enthalten die anderen Randkoordinatendaten beispielsweise Randkoordinatendaten, welche aus der Bildinformation eines vor dem betroffenen Fahrzeug befindlichen Autos entnommen sind.

Der Randentscheidungsteil 40206 überträgt dann diejenigen Randkoordinaten­ daten, von denen angenommen wird, daß sie die rechte und die linke Linie bilden, an einen Linienberechnungsteil 40208 und überträgt jedes andere Randkoordinatendatum an einen Gefahrenentscheidungsteil 40404.

Gemäß den Randkoordinatendaten, die von dem Randentscheidungsteil 40206 als Daten gesetzt worden sind, die die rechte und die linke Linie bilden sollen, entscheidet der Linienberechnungsteil 40208 als nächstes über die Linearität derselben und berechnet als Kandidatlinie eine Gerade mit den Randdaten jeder Linie. Es mag nur eine einzige Kandidatlinie erhalten werden, doch können auch zwei oder mehr solcher Linien erzeugt werden, je nach Fall. In diesem Zusammenhang sei bemerkt, daß die Linearitätsent­ scheidung später beschrieben wird.

Ein idealer Fahrbahnbreiten-Datenerfassungsteil 40210 besitzt die Funktion, ideale Fahrbahnbreitendaten und dergleichen aus einem Idealfahrbahn-Breiten­ datenteil 602 zu erfassen. In diesem Zusammenhang sei bemerkt, daß Idealfahrbahn-Breitendaten Daten sind, welche die Breite einer durch die linke und die rechte Linie definierten Fahrbahn anzeigen.

Ein Linenabschätzungsteil 40212 überprüft gemäß den durch den Daten­ erfassungsteil 40210 erfaßten Idealfahrbahn-Breitendaten und dergleichen, die vom Linienberechnungsteil 40208 empfangenen Kandidatlinien, um die zu erkennenden rechten und linken Linien (Erkennungslinien) zu bestimmen und sendet dann Randkoordinatendaten und dergleichen, entsprechend den rechten und linken Linien, an den Gefahrenentscheidungsteil 40404.

Nachfolgend werden die konstituierenden Elemente des Entscheidungsblockes 404 beschrieben.

In diesem Zusammenhang sei bemerkt, daß der Entscheidungsblock 404 ein Beispiel für die Anwendung der Ausführungsform der Erfindung bei einer Anlage zum Stimulieren der Aufmerksamkeit des Fahrers ist. Der Ent­ scheidungsblock selbst ist nicht im primären Teil der Ausführungsform enthalten.

Ein Fahrzeugzustands-Entscheidungsteil 40402 bestimmt den Fahrzustand des fraglichen Fahrzeugs gemäß einem Signal, das vom Fahrzeugzustandssensor 8 geliefert wird, und überträgt dann das Entscheidungsergebnis an den Gefahrenentscheidungsteil 40404.

Bei diesem Aufbau ist der Sensor 8 eine Einrichtung zum Erfassen der Bewegungsenergie des Fahrzeugs, der Fahrabsicht des Fahrers, und der­ gleichen; und er umfaßt beispielsweise einer< Fahrzeuggeschwindigkeitssensor zum Messen der Geschwindigkeit des Fahrzeugs, einen Richtungsanzeiger, einen Steuerwinkelsensor, oder dergleichen.

Im Gefahrenentscheidungsteil 40404 wird die Fahrbahn des betreffenden Fahrzeugs gemäß den Daten der rechten und linken Erkennungslinien, die vom Linienabschätzungsteil 40212 geliefert werden, vom Vorhandensein eines Autos, eines Hindernisses, oder dergleichen vor dem Fahrzeug gemäß den Randkoordinatendaten, die vom Randentscheidungsteil 40206 geliefert werden, und vom Gefahrengrad des Fahrzeugs gemäß den Daten erkannt, die vom Fahrzeugzustands-Entscheidungsteil übermittelt werden.

Beispielsweise sei die vom Fahrzeuggeschwindigkeitssensor erfaßte Geschwin­ digkeit des Fahrzeugs genauso groß oder größer als ein vorbestimmter Wert, und es sei festgestellt, daß sich ein Auto oder dergleichen in einer bestimm­ ten Position in der Bildinformation eines Bildes vor dem Fahrzeug befindet. Der Gefahrenentscheidungsteil betrachtet diesen Zustand als Gefahr und setzt dann den Fahrzeugbewegungs-Controller 10 und die Alarmeinrichtung 12 in Betrieb. Der Controller ist ein Gerät zur Steuerung des Antriebssystems, des Steuersystems, des Lenksystems, und dergleichen. Ein spezifisches Beispiel des Controllers ist beispielsweise eine automatische Bremse.

Weiter kann die Alarmeinrichtung 12 irgendeine Einrichtung sein, die die Aufmerksamkeit des Fahrers über den Hör- und Gesichtssinn des Fahrers stimuliert. Es kommt beispielsweise ein Fahren mit melodischen Signalzei­ chen und eine LED-Darstellung infrage.

Der obige Entscheidungsblock 404 kann in verschiedenen Konfigurationen aufgebaut sein.

Zusätzlich enthält der Speicher 6: einen Idealfahrbahn-Breitendatenteil 602 zum Speichern von Idealfahrbahn-Breitendaten, die bei der Linienentscheidung angewandt werden müssen; einen Steuerdatenteil 604 zum Speichern von Daten, wie etwa unterschiedliche Datenelemente zum Steuern der Vorrich­ tung, sowie von Datenelementen (Y, R-Y, B-Y), die mit der Straßen­ farbe zusammenhängen; und er enthält einen Berechnungsdatenteil 606 zum zeitweiligen Speichern von Datenelementen, die von den darauf bezogenen Schaltungen berechnet oder abgeschätzt worden sind.

Als nächstes wird unter Bezugnahme auf Fig. 2 die Betriebsweise der Vorrichtung gemäß der vorliegenden Erfindung beschrieben.

Zuerst wird zur Inbetriebnahme der Vorrichtung die Energieversorgungsquelle der Vorrichtung eingeschaltet (S2).

Anschließend wird die Vorrichtung initialisiert (S4). In diesem Zusammen­ hang sei bemerkt, daß die Initialisierung ein Prozeß ist, der beispielsweise das Löschen des Bearbeitungsbereichs im Berechnungsdatenteil 606 umfaßt.

Als nächstes wird ein Signal entsprechend den Bildinformationen eines von der CCD-Kamera 202 aufgenommenen Bildes vor dem Fahrzeug als analoges RGB-Signal ausgegeben (S6).

Das Analogsignal wird dann durch den A/D-Wandler 204 in ein digitales RGB-Signal umgewandelt (S8).

Danach transformiert die Farbunterschieds-Wandlerschaltung 206 das RGB- Signal gemäß der Umwandlungsformel in ein Luminanzsignal Y und in Farbunterschiedssignale R-Y und B-Y (S10) und überträgt dann die Signale an die Entnahmeprozeßschaltung 40202.

Was diese Signale anbetrifft, liegt der Grund für die Anwendung der Lumi­ nanz- und der Farbunterschiedssignale darin, daß das erhaltene Signal einen großen Unterschied zwischen der Straße und dem Fahrzeug anzeigt, wenn man es mit dem Fall vergleicht, bei dem das RGB-Signal direkt benutzt wird.

Als nächstes wird eine Prozedur zur Bestimmung der Entnahmefarben-Bedin­ gungsdaten durchgeführt (S12). In der vorliegenden Beschreibung ist die Entnahmefarben-Bedingung eine Bedingung der Farbdaten, Pixel der Straßen­ oberfläche zu entnehmen.

Im vorliegenden Prozeß tastet die Entnahmeprozeßschaltung 40202 Farbdaten (Y, R-Y, B-Y) bestimmter Pixel (Pixel an Stellen der Straße im Bildschirm) aus der erhaltenen Bildinformation ab.

Gemäß den Abtastdaten und den Daten (Y, R-Y, B-Y), welche mit der Straßenfarbe zusammenhängen und zuvor im Steuerdatenteil 604 des Spei­ chers 6 gespeichert wurden, bestimmt der Entnahmefarben-Bedingungsent­ scheidungsteil 40204 die Entnahmefarben-Bedingungsdaten. Die so bestimm­ ten Daten werden, beispielsweise, wie folgt definiert. Bei der Bestimmung der Entnahmefarben-Bedingungsdaten zeigt in der folgenden Beschreibung "Minimum" an, daß lediglich ein Datenelement mit dem kleinsten Wert aus den Abtastdaten sowie denjenigen Daten gewählt zu werden braucht, die der Straßenfarbe entsprechen und zuvor gespeichert worden sind, während "Maximum" anzeigt, daß nur ein Datenelement mit dem größten Wert aus den Abtastdaten und denjenigen Daten entnommen zu werden braucht, die der Straßenfarbe entsprechen und zuvor gespeichert worden sind.

Y(Minimum) < Y < Y(Maximum)

R-Y(Minimum) < R-Y < R-Y(Maximum)

B-Y(Minimum) < B-Y < B-Y(Maximum)

Wie oben dargestellt, wird eine Bedingung bestimmt, die einen Wertebereich dergestalt umfaßt, daß die Farbe der Straße vor dem Fahrzeug die Bedin­ gung erfüllt, hingegen die Linien und die Farbe des Autos vor dem Fahr­ zeug die Bedingungen nicht erfüllen. Unter dieser Vorraussetzung ist es möglich, die Linien und das Auto vor dem Fahrzeug zu erkennen.

Obwohl die Entnahmefarben-Bedingungsdaten gemäß den abgetasteten Daten und den zuvor in der Vorrichtung gesetzten Daten entschieden werden, können die Daten auch nur gemäß den vorher definierten Daten bestimmt werden (beispielsweise vorher, in Verbindung mit einer Luminanzbedingung eingesetzt).

Danach führt die Entnahmeprozeßschaltung 40202 für jede horizontale Zeile eine Prozedur durch, bei der die Schaltung 40202 aus den erhaltenen Bild­ informationen Pixel entnimmt, die eine Farbinformation aufweisen, welche mit den Entnahmefarben-Bedingungsdaten in Verbindung steht, die vom Bedingungsentscheidungsteil 40204 übertragen wurden; und sie überträgt dann Randkoordinatendaten der ansteigenden Flanke sowie Randkoordinatendaten der absteigenden Flanke, wie oben beschrieben, an den Randentscheidungsteil 40206 (S14). Das heißt, daß diejenigen ansteigenden und absteigenden Flanken entnommen werden, welche Endpunkte darstellen, die den Straßenbe­ reich (Fahrbahn) einschließen. In diesem Zusammenhang werden, wie in Fig. 3 dargestellt, die entnommenen ansteigenden und absteigenden Flanken bzw. Ränder (durch Kreise gekennzeichnet) als Anstiegsflankendaten und Abstiegs­ flankendaten bezeichnet.

Bezugnehmend auf Fig. 3 soll nun der Prozeß im einzelnen beschrieben werden. Wie in Fig. 3 zu sehen ist, werden alle Pixel eines Rahmens mit einer Farbe, die zum Bereich der Entnahmebedingungsdaten gehören, vom Bildaufnahme- oder Bildsignal (Y, R-Y, B-Y) erfaßt, um einen hoch­ pegeligen Wert "1" jedem erfaßten Pixel zuzuordnen und einen niederpegeli­ gen Wert "0" den anderen Pixeln zuzuordnen, wodurch in Binärform umge­ setzte Daten erzeugt werden.

Diese Prozedur wird für jede horizontale Zeile durchgeführt. Im vorliegen­ den Falle wurde der Prozeß in Verbindung mit einem Beispiel der N-ten horizontalen Zeile (horizontale Zeile der Reihe N) beschrieben, wie in Fig. 3 dargestellt.

Jedes Pixel, bei dem sich das Pixeldatum von Niedrig "0" nach Hoch "1" oder von Hoch "1" nach Niedrig "0" ändert, wird ermittelt. Es wird nämlich eine ansteigende Flanke 14 von Niedrig "0" nach Hoch "1", und eine absteigende Flanke 16 von Hoch "1" nach Niedrig "0" erfaßt. Wenn solche Pixel vorhanden sind, wird von ihren Positionen angenommen, daß sie Randkoordinatendaten darstellen. Gemäß den Randkoordinatendaten kann das Vorhandensein von Pixeln, die den Entnahmefarben-Bedingungsdaten entsprechen, in einer horizontalen Zeile bestimmt werden, derart, daß ein mit den Randkoordinatendaten umschlossener Bereich als Straßenbereich (Bereich der Straßenfarbe) der Fahrbahn des in Frage kommenden Fahrzeugs erhalten wird. Es besteht eine rechte und eine linke Linie an den jeweili­ gen Seiten einer Bildschirm-Mittenlinie 18, die den Mittelpunkt 20 des unteren Bildschirmrandes durchquert, der die Mittenposition des unteren Bildschirmrandes in horizontaler Richtung bezeichnet und senkrecht zur hori­ zontalen Richtung verläuft.

Darüber hinaus wird die linke Linie gemäß den Anstiegsflankendaten be­ stimmt, während die rechte Linie gemäß den Abstiegsflankendaten bestimt wird. Wenn es aber eine Vielzahl von Arten von Randdatenelementen für andere Objekte als Linien gibt, können die Linien nicht auf eine so einfache Weise erkannt werden.

Anschließend untersucht der Randentscheidungsteil 40206 die von der Ent­ nahmeprozeßschaltung 40202 gelieferten Randkoordinatendaten, um zu bestim­ men, ob die Daten Randdaten sind, von denen unterstellt ist, daß sie zur linken Linie gehören; oder ob die Daten Randdaten sind, von denen unter­ stellt ist, daß sie zur rechten Linie gehören; oder ob die Daten andere Daten als Randpunktdaten sind, wodurch die Randkoordinatendaten unterteilt bzw. eingestuftt werden (S16).

Im Prozeß (S16) wird die Art der Randdaten gemäß den Randkoordinaten­ daten bestimmt, die von der Entnahmeprozeßschaltung 40202 übertragen wurden. In diesem Falle umfassen die Randkoordinatendaten Koordinaten­ information jedes Randes sowie Anstiegs- und Abstiegsinformationen. Im allgemeinen bezeichnen die ansteigenden und absteigenden Flanken im Falle, daß eine Straßenfarbe den Entnahmefarben-Bedingungsdaten beigefügt worden ist, jeweils die linke und die rechte Linie. Wenn aber ein Auto oder ein Hindernis im Straßenbereich vor dem Fahrzeug vorhanden ist, werden Randdaten, die keine Daten von Linien sind, irrtümlich als Linienranddaten angenommen.

Um diese Schwierigkeit zu überwinden, ist es im Entscheidungsprozeß nur erforderlich zu unterstellen, daß die auf der linken Seite der Bildschirm- Mittenlinie 18 der Fig. 3 vorhandene ansteigende Flanke das Randdatum 14 der linken Linie ist; daß die an der rechten Seite derselben befindliche absteigende Flanke das Randdatum 16 der rechten Linie ist; und daß die anderen Randdaten Randdaten von anderen Linien als den Linien des Autos oder der Linie vor dem Fahrzeug sind. In diesem Zusammenhang sei darauf hingewiesen, daß gemäß der in Fig. 3 dargestellten Ausführungsform die linke und die rechte Linie gemäß der Bildschirm-Mittenlinie 18 bestimmt werden. Es ist aber auch möglich, anstelle der Mittenlinie 18 eine senk­ rechte Linie zu verwenden, die den Mittelpunkt der Kreuzungen zwischen der rechten und der linken Linie und der horizontalen Linie des unteren Bildschirmrandes durchquert.

Anschließend werden die Randkoordinaten-Datenelemente 14 und 16 der linken und der rechten Linie an den Linienberechnungsteil 40208 geliefert, während die anderen Randkoordinatendaten an den Gefahrenentscheidungsteil 40404 übermittelt werden.

Als nächstes bestimmt der Linienberechnungsteil 40208 gemäß den vom Randentscheidungsteil 40206 gelieferten Randkoordinaten-Datenelementen 14 und 16 der linken und der rechten Linie die Linearität der Randdaten und berechnet dann eine Linie entsprechend jedem Randkoordinatendatum, um eine Kandidatlinie zu erhalten (S18). Die Prozedur ist übrigens bei der vorliegenden Ausführungsform wichtig und wird daher später im einzelnen beschrieben.

Anschließend schätzt der Linienabschätzungsteil 40212 gemäß den Idealbahn- Breitendaten, die vom Idealbahn-Breitendatenerfassungsteil 40210 erfaßt wurden, die inhärenten rechten und linken Linien (Erkennungslinien) unter Benutzung der Kandidatlinien ab, die vom Linienberechnungsteil 40208 geliefert wurden, und überträgt dann das Abschätzungsergebnis an den Gefahrenentscheidungsteil 40404 (S20). In dieser Hinsicht ist der Prozeß für die vorliegende Ausführungsform ebenfalls wesentlich und wird daher später im einzelnen beschrieben.

Als nächstes wird in einem Gefahrenentscheidungsprozeß (S22) der Fahr­ zustand des Fahrzeugs (Fahrgeschwindigkeit oder dergleichen) gemäß einem vom Fahrzeugzustandssensor (beispielsweise einem Fahrzeuggeschwindigkeits­ sensor) gelieferten Signal bestimmt, um abzuschätzen, ob sich das Fahrzeug in einem gefährlichen Zustand gemäß der Beziehung zwischen dem Ent­ scheidungsergebnis, der vom Linienabschätzungsteil 40212 erkannten verfüg­ baren Straßenoberfläche, und den Randdaten des Fahrzeugs vor dem Fahr­ zeug befindet, die vom Randentscheidungsteil 40206 übermittelt wurden.

Wenn beispielsweise die vom Fahrzeuggeschwindigkeitssensor erfaßte Ge­ schwindigkeit des Fahrzeugs einem vorbestimmten Wert entspricht oder größer als dieser ist, und ein Fahrzeug oder dergleichen sich vor dem Fahrzeug in einer bestimmten Position in der Bildinformation des Bildes vor dem Fahrzeug befindet, wird ein gefährlicher Zustand angenommen.

Wenn der Gefahrenentscheidungsteil 40404 das Vorliegen eines gefährlichen Zustandes feststellt, wird im anschließenden Alarmprozeß (S24) die Alarm­ vorrichtung 12 eingeschaltet, um den Zustand dem Fahrer des Fahrzeugs anzuzeigen.

Als nächstes wird in einem Ausweichprozeß (S26) der Fahrzeugbewegungs- Controller 10 aktiviert, wenn der Gefahrenentscheidungsteil 40404 das Vorliegen des gefährlichen Zustandes feststellt.

In diesem Zusammenhang sei bemerkt, daß die Vorrichtung auch so kon­ figuriert sein kann, daß der Fahrzeugbewegungs-Controller 10 aktiviert wird, wenn entschieden ist, daß das Betriebsverhalten des Fahrers für eine War­ nung über das Vorliegen eines gefährlichen Zustandes unzureichend ist.

Dementsprechend beendet die Vorrichtung durch Wiederholen der Prozedurse­ quenz (S6 bis S26) ihre Operation.

Unter Bezugnahme auf die Fig. 4 bis 10 werden nunmehr der Linienberech­ nungsprozeß (S18) und der Linienabschätzungsprozeß (S20) im einzelnen beschrieben.

Zunächst werden die Inhalte der Prozesse unter Bezugnahme auf die Fig. 5A und 5B beschrieben.

Als erstes bestimmt das System die Linerarität (S1802) für die Randdaten 14a (1401a bis 1411a), die sich auf die linke Linie beziehen, und für die Randdaten 16a (1601a bis 1611a), die sich auf die rechte Linie beziehen, wie in Fig. 4 dargestellt, die allesamt im Randentscheidungsprozeß (S16) erhalten wurden.

In diesem Prozeß zur Feststellung der Linearität werden für jedes Randda­ tum Vektoren ermittelt.

Unter der Annahme, daß die Koordinaten irgendeines Randdatenelementes der linken Linie in einer niedrigeren Position innerhalb der Bildschirminfor­ mation als Startpunkt eingestellt werden, und daß die Koordinaten jedes Randdatenelementes der linken Linie in der nächsthöheren Position im Bildschirm als Endpunkt eingestellt sind, bestimmt der Linienberechnungsteil 40208 sequentiell die Richtung jedes Vektors.

Im Betrieb besteht der Grund für die Prozedur, bei der die Koordinaten jedes Randdatenelementes der linken Linie in einer niedrigeren Position in der Bildschirminformation als Startpunkt eingestellt sind, darin, daß es viele andere Bilder als die der Straßenoberfläche gibt, und daß somit viele Stö­ rungsfaktoren im oberen Abschnitt des Bildschirmes vorhanden sind. Bei dem in Fig. 5A dargestellten Beispiel wird zuerst ein Vektor angenommen, der einen Startpunkt 1411a und einen Endpunkt 1410a besitzt. Auf diese Art wird der Wert, der die Richtung jedes Vektors bezeichnet, sequentiell im Berechnungsdatenteil 606 gespeichert. Anschließend wird bestimmt, daß die Vektoren, die eine identische Richtung aufweisen, nämlich die Vektoren, welche gegenseitig eine Winkeldifferenz von 10° oder weniger untereinander aufweisen, eine Gruppe von Randdatenelementen bilden, die jeweils ent­ sprechend mit den Start- und Endpunkten der jeweiligen Vektoren in Bezie­ hung stehen.

Die Fig. 5B bis 5D zeigen im einzelnen das Verfahren zur Erkennung der Fahrzeugfahrlinien.

Beim Initialisieren wird der Vektor L0 durch Anschließen des Cluster- bzw. Bündelpunktes P0 an den Bündelpunkt P1 erzeugt; der Vektor L1 wird durch Verbinden des Bündelpunktes P1 an den Bündelpunkt P2 erzeugt; und die Vektoren L2 bis L5 werden nacheinander in ähnlicher Weise erzeugt. In diesem Zusammenhang wird der Vektor L0 der Gruppe 1 zugeschlagen; und die Anzahl der eine Gruppe bildenden Punkte wird mit zwei angenom­ men.

Als nächstes wird beim Einstellen des Vektors L0 als Vergleichsvektor ein Winkel zwischen dem Vektor L0 und dem Bezugsvektor L1 erhalten. Falls der Winkel, beispielsweise, 10° oder weniger beträgt, werden diese Linien als untereinander gleich angenommen. Im Falle der Fig. 5B wird eine Gerade angenommen, und der Vektor (L0 + L1), d. h., der die Bündelpunk­ te P0 bis P2 verbindende Vektor, wird wieder der Gruppe 1 zugeschlagen; und dann wird die Anzahl der eine Gruppe bildenden Punkte auf drei einge­ stellt.

Anschließend wird L0 + L1 als der mit dem Bezugsvektor L2 zu ver­ gleichende Vergleichsvektor eingestellt, und es wird eine Gerade unterstellt. Als Ergebnis wird die Gruppe 1 so aktualisiert, daß die Vektoren L0 + . . . + L2, nämlich der die Bündelpunkte P0 bis P3 verbindende Vektor, wieder als Gruppe 1 registriert wird, und somit wird die Anzahl der eine Gruppe bildenden Punkte auf vier eingestellt.

Der Vektor L0 + . . . L2 wird dann als der nächste Vergleichsvektor eingestellt, der mit dem Bezugsvektor 3 verglichen werden soll. Da der Winkel 10° oder mehr beträgt, wird eine neue Gruppe, d. h. eine Gruppe 2, erzeugt. Infolgedessen wird der die Punkte P3 bis P4 verbindende Vektor L3 der Gruppe 2 zugeschlagen, und die Anzahl der die Gruppe bildenden Punkte wird auf zwei festgesetzt. Wenn weiter entschieden wird, daß die benachbarten Bezugsvektoren (L2, L3) gegenseitig unterschiedlichen Gruppen angehören, wird der Vektor L0 + . . . + L2 + L3, nämlich der Vektor M0, der die Punkte P0 bis P4 verbindet, der Gruppe 3 zugeschla­ gen, und die Anzahl der die Gruppe bildenden Punkte wird auf zwei festgesetzt.

In diesem Schritt wird der so erzeugte neue Vektor M0 als Bezugsvektor betrachtet, um den Vergleichsvektor zu bestimmen. Der Vektor M0 umfaßt aber den Startpunkt P0 des Prozesses und wird somit im Prozeß nicht als Bezugsvektor verwendet.

Als nächstes werden zwei Vektoren, die M0 und L3 umfassen, als Ver­ gleichsvektoren eingestellt, um mit dem Bezugsvektor L4 verglichen zu werden. Da der für jeden Vergleichsvektor erhaltene Winkel 10° oder mehr beträgt, wird eine neue Gruppe, d. h. die Gruppe 4, erzeugt. Infolge­ dessen wird der Vektor L4, der P4 mit P5 verbindet, dieser Gruppe zu­ geschlagen. Die Anzahl der die Gruppe bildenden Punkte wird auf zwei eingestellt. Zusätzlich werden die benachbarten Bezugsvektoren (L3, L4) gegenseitig unterschiedlichen Gruppen zugeordnet, und der Vektor L3 + L4, nämlich der die Punkte P3 bis P5 verbindende Vektor M1, wird der Gruppe 5 zugeschlagen; und die Anzahl der die Gruppe bildenden Punkte wird auf zwei festgesetzt.

In dieser Situation wird der neu erzeugte Vektor M1 dem Bezugsvektor angefügt, um den Vergleichsvektor zu bestimmen. Es wird L0 + L1 + L2 als Vergleichsvektor erhalten. Da der erhaltene Winkel 10° oder kleiner ist, wird die Gruppe 1 aktualisiert, und der die Bündelpunkte P0 bis P5 verbindende Vektor L0 + . . . + L2 + M1 wird erneut als Gruppe 1 registriert. Als Ergebnis wird die Anzahl der die Gruppe bildenden Punkte auf fünf gesetzt. Die Anzahl der die Gruppe bildenden Punkte von M1 wird auf Null (0) eingestellt.

Zwei Vektoren L0 + . . . + L2 + M1 und L4 werden als die Vergleichs­ vektoren eingestellt, um mit dem Bezugsvektor L5 verglichen zu werden. Da die aus den verschiedenen Vergleichen erhaltenen Winkel 10° oder kleiner sind, wird ein Vergleich in bezug auf den Winkel in der Weise durchgeführt, daß von L5 und L0 + . . . + L2 + M1, bezogen auf den kleineren Winkel, angenommen wird, eine Gerade zu bilden. Als Ergebnis wird die Gruppe 1 so aktualisiert, daß der Vektor L0 + . . . L2 + M1 + L5, der die Bündelpunkte P0 bis P6 miteinander verbindet, erneut als Gruppe 1 registriert wird; und die Anzahl der die Gruppe bildenden Punkte der Gruppe wird auf sechs festgesetzt.

Mit der Durchführung des obigen Prozesses bei allen Vektoren wird der Gradient der geraden Linie und der y-Abschnitt jeder Gruppe erhalten.

Schließlich werden die Geraden der jeweiligen Gruppe in abnehmender Reihenfolge der Zahl der konstituierenden Punkte umgeordnet. Im Falle der Fig. 5C werden die Gruppen 1 bis 5 in dieser Reihenfolge so angeordnet, daß vier Geraden unter Ausschluß der Gruppe 5, bei der die Anzahl der konstituierender Punkte Null (0) ist, als Kandidatlinien für die Fahrzeugfahr­ linien erkannt werden.

Beispielsweise wird das auf die linke Linie der Fig. 5A bezogene Randda­ tum in eine Gruppe eingestuft, die die Randdaten 1401a, 1403a bis 1406a, und 1408a bis 1411a umfaßt, sowie in eine Gruppe, die die Randdaten 1402a, 1404a und 1407a umfaßt. Der Gruppeneinstufungsprozeß dieser Art wird auch für diejenigen Randdaten durchgeführt, die sich auf die rechte Linie beziehen. Die Randdaten der rechten Linie werden in eine Gruppe eingestuft, die die Randdaten 1601 und 1605a umfaßt, in eine Gruppe, die die Randdaten 1602a und 1606a umfaßt, und in eine Gruppe, welche die Randdaten 1602b, 1603b, 1604b und 1607b bis 1611b umfaßt.

Unter Anwendung des Verfahrens der kleinsten Quadrate auf die Randkoor­ dinatendaten jeder Gruppe erhält der Linienberechnungsteil 40208 eine Gerade als Kandidatlinie (1804). Bei dem in Fig. 5A dargestellten Beispiel werden die Geraden 22 und 24 als Kandidatlinien für die linke Linie betrachtet, während die Geraden 26, 28 und 30 als Kandidatlinien für die rechte Linie betrachtet werden.

Danach wird eine Kandidatlinie mit der größten Anzahl von Randdaten­ elementen bestimmt und gewählt (S2002). Im Beispiel der Fig. 5A wird die Gerade 22 aus den Kandidatlinien für die linke Linie gewählt. Ent­ sprechend wird die Gerade 26 aus den Kandidatlinien für die rechte Linie gewählt.

Anschließend wird die Anzahl der Randdatenelemente (die neun Punkte 1401a, 1403a bis 1406a, und 1408a bis 1411a) der linken Kandidatlinie (Gerade 22), welche die größte Anzahl von Randdatenelementen aufweisen, und die Anzahl der anderen Randdatenelemente (die beiden Punkte 1402a und 1407a) ermittelt (S2004). Bei dem in Fig. 5A dargestellten Beispiel beläuft sich die Gesamtanzahl der Randdatenelemente der linken Kandidatli­ nien 22 und 24 auf elf, während diejenige der Randdatenelemente der linken Kandidatlinie (die Gerade 22), die die größte Anzahl von Randdaten auf­ weist, neun beträgt. Daher beläuft sich das Verhältnis der Anzahl der Randdatenelemente der linken Kandidatlinie 22 zu derjenigen der Randdaten­ elemente aller linken Kandidatlinien auf 82%. Für dieses Verhältnis wird entschieden, daß es größer als das vorbestimmte Verhältnis "70%" ist (das Verhältnis braucht nur im Steuerdatenteil 604 im voraus gespeichert zu werden), und die linke Kandidatlinie (die Gerade 22) wird als die linke, zu erkennende Linie betrachtet (linke Erkennungslinie; S2006).

Was sodann die rechte Linie anbetrifft, wird in ähnlicher Weise die Anzahl der Randdatenelemente (die acht Punkte 1602a bis 1604a und 1607a bis 1611a) der rechten Kandidatlinie (die Gerade 26) ermittelt, die die größte Anzahl der Randdatenelemente unter den rechten Kandidatlinien 26, 28 und 30 aufweist; und es wird die Anzahl der anderen Randdatenelemente (die drei Punkte 1601a, 1605a und 1606a) ermittelt (S2008). Bei dem in Fig. 5A dargestellten Beispiel beläuft sich die Anzahl der Randdatenelemente der gesamten rechten Kandidatlinien auf elf, während diejenige der Randdaten­ elemente der rechten Kandidatlinie (die Gerade 26), welche die größte Anzahl von Rändern aufweisen, acht beträgt. Das Verhältnis zwischen ihnen ist "73%". In dieser Situation wird entschieden, daß das Verhältnis größer als das vorbestimmte Verhältnis von "70%" ist (das Verhältnis braucht nur vorher im Steuerdatenteil 604 gespeichert zu werden), und somit wird die rechte Kandidatlinie (die Gerade 26) als die zu erkennende rechte Linie angenommen (rechte Erkennungslinie; S2010).

Wenn nämlich die Anzahl der Randdatenelemente, die die linke und die rechte Erkennungslinie bilden, größer ist als oben gesagt, wird entschieden, daß beide Linien angemessen erkannt werden, und daher wird die Erkennung der Liniendaten an den Gefahrenentscheidungsteil 40404 übermittelt. Darauf­ hin wird der Gefahrenentscheidungsprozeß durchgeführt (S22).

Unter Bezugnahme auf die Fig. 4, 7 und 8 werden nunmehr der Linienbe­ rechnungsprozeß (S18) und der Linienabschätzungsprozeß (S20) bei dem in Fig. 6 dargestellten Beispiel beschrieben. Übrigens werden die Prozeduren der Schritte S16, S1802, S1804 und S2002 in ähnlicher Weise ausgeführt wie diejenigen des Falles der Fig. 5A.

Bei dem in Fig. 6 dargestellten Beispiel werden für die linke Linie in gleicher Weise wie für Fig. 5A die Anzahl der Randdatenelemente (die neun Punkte 1401b, 1403b bis 1406b, und 1408b bis 1411b) der linken Kandidat­ linie (die Gerade 32), die die größte Anzahl von Randdatenelementen um­ faßt, sowie diejenige der anderen Randdatenelemente (die beiden Punkte 1402b und 1407b) ermittelt (S2004). Die Anzahl der Randdatenelemente aller linken Kandidatlinien beläuft sich auf elf, während diejenige der linken Kandidatlinie (die Gerade 32), welche die größte Anzahl der Randdaten­ elemente umfaßt, neun beträgt. Das Verhältnis zwischen beiden ist "82%". In diesem Falle wird bestimmt, daß das Verhältnis größer als das vorbe­ stimmte Verhältnis (beispielsweise 70%) ist, und dementsprechend wird die linke Kandidatlinie (die Gerade 32) als die zu erkennende linke Linie (linke Erkennungslinie) angenommen (S2006).

Für die rechte Linie wird jedoch die Anzahl der Randdatenelemente (die sechs Punkte 1601b, 1603b, 1605b, 1606b, 1409b und 1611b) der rechten Kandidatlinie (die Gerade 38), welche die größte Anzahl von Randdaten­ elementen umfaßt, sowie die Anzahl der anderen Randdatenelemente (die fünf Punkte 1602b, 1604b, 1607b, 1608b und 1610b) ermittelt (S2008). Während die Anzahl der Randdatenelemente der gesamten Kandidatlinien elf beträgt, beläuft sich diejenige der linken Kandidatlinie (die Gerade 38), welche die größte Anzahl der Randdatenelemente umfaßt, auf sechs. Somit beträgt das Verhältnis zwischen beiden "55%" und wird als niedriger be­ stimmt als das vorbestimmte Verhältnis (beispielsweise 70%). Dieser Fall tritt auf, wenn auf der Seite der rechten Linie Radspuren bestehen, oder wenn die Linie unklar ist. In dieser Situation ist es erforderlich zu ent­ scheiden, ob jede der rechten Kandidatlinien, welche die Geraden 36, 38 und 40 umfassen, eine zu erkennende Linie ist.

Zu diesem Zweck wird bei der vorliegenden Ausführungsform eine Prozedur (S2012) durchgeführt, in welcher gemäß der linken, im stabilden Zustand erkannten Erkennungslinie eine rechte Erkennungslinie unter den rechten Kandidatlinien (die Geraden 36, 38 und 40), unter Benutzung der Anord­ nungsbeziehung zwischen den linken und rechten Linien (S2012), bestimmt wird.

In diesem Zusammenhang zeigt Fig. 7 ein Flußdiagramm zur Erläuterung des Inhaltes der Prozedur S2012 der Fig. 4 im einzelnen.

Der Prozeß wird übrigens durch den Linienabschätzungsteil 40212 der Konfiguration durchgeführt.

In der genannten Prozedur wird zunächst ein Schnittpunkt Pr (32p) zwischen der linken Erkennungslinie 32 und der horizontalen Linie 42 am unteren Rande des Bildschirms der Fig. 6 ermittelt (S201202). Auch für die rechten Kandidatlinien werden Schnittpunkte P1(1)(36p), P1(2)(38p) und P1(3)(40p) zwischen den jeweiligen rechten Kandidatlinien (die Geraden 36, 38 und 40) und der horizontalen Zeile des unteren Bildschirmrandes 42 ermittelt (S201204).

Anschließend werden die Abstände L(1)44, L(2)46 und L(3)48 zwischen dem linksseitigen Schnittpunkt Pr(32p) und den jeweiligen rechtsseitgen Schnitt­ punkten P1(1)(36p), P1(2)(38p) und P1(3)(40p) ermittelt (S201208).

In diesem Zustand wird, wenn der Sichtwinkel und die Richtung der Kame­ ra, die Fahrbahnbreite, und dergleichen sich nicht ändern, wie in Fig. 8 dargestellt, sowie in einem Zustand, in welchem das Fahrzeug im mittleren Abschnitt der Fahrbahn (Fig. 8A) fährt, und in einem Zustand, in welchem das Fahrzeug auf dem rechten Abschnitt der Fahrbahn fährt, der Abstand W zwischen zwei Schnittpunkten, die zwischen den rechten und linken Linien und der horizontalen Zeile des unteren Bildschirmrandes gebildet werden, bezeichnenderweise unverändert beibehalten, selbst wenn sich die Fahrposition des Fahrzeugs ändert.

Unter dieser Bedingung soll der Abstand W als die Idealfahrbahnbreite W50 betrachtet und der Wert im voraus im Idealfahrbahn-Breitendatenteil 602 eingestellt werden. Es ist natürlich möglich, daß gemäß der erkannten Information die Idealfahrbahnbreite W50 durch einen Abbildungsprozeß für jeden Prozeßzyklus erhalten wird, um so die Breite W50 zu aktualisieren.

Als nächstes wird unter Benutzung der Abstände L(1)44, L(2)46 und L(3)48, in S201208 ein Abstandswert erhalten, der der Idealfahrbahnbreite W50 am ähnlichsten ist (S201210). In diesem Beispiel ist bzw. wird der Abstand L(3)48 als der zur idealen Breite ähnlichste bestimmt, und somit wird die rechte Kandidatlinie 40, die dem Abstand L(3) entspricht, als die zu erken­ nende rechte Linie betrachtet (rechte Erkennungslinie; S201212). Die Daten­ elemente der linken und rechten Erkennungslinie werden an den Gefahrenent­ scheidungsteil 40404 übertragen, und anschließend geht die Steuerung nach Schritt S22 über.

Übrigens wird im Beispiel der Fig. 6 die horizontale Zeile am unteren Bildschirmrand verwendet. Die horizontale Zeile des unteren Bildschirmran­ des muß aber nicht unbedingt benutzt werden, weil jede beliebige hori­ zontale Zeile, die die Bildschirminformation konstituiert, oder eine virtuelle horizontale Zeile, die den Bildschirminformationsbereich überschreitet, eben­ falls verwendet werden kann. In einem solchen Falle ist es nur erforder­ lich, die Idealfahrbahnbreite W vorher zu bestimmen und einzustellen, die jeder horizontalen Zeile entspricht.

Selbst wenn nur eine einzige Fahrzeuglinie in einem stabilen Zustand er­ kannt werden kann, kann die andere Linie gemäß der Anordnungsbeziehung zwischen den Linien erkannt werden.

Bezugsnehmend auf die Fig. 4 und 10 sollen nunmehr der Linienberech­ nungsprozeß (S18) und der Linienabschätzungsprozeß (S20) bei dem in Fig. 9 dargestellten Beispiel beschrieben werden. In diesem Zusammenhang ist angenommen, daß die Prozeduren der Schritte S16, S1802, S1804, S2002 und S2004 bereits durchgeführt worden sind.

Das in Fig. 9 dargestellte Beispiel betrifft einen Fall, bei dem für jede der Kandidatlinien, die die größte Anzahl von Randdatenelementen für die linken und rechten Linien (die Geraden 52 und 58) aufweisen, das Verhältnis der Anzahl der Randdatenelemente kleiner als das vorbestimmte Verhältnis ist (S2004, S2014). In diesem Falle ist es für jede der Geraden 50, 52 und 54 der linken Kandidatlinien, und für die Geraden 56, 58 und 60 der rechten Kandidatlinien erforderlich, gemäß der Anordnungsbeziehung zwi­ schen den Linien zu entscheiden, ob die fragliche Linie eine zu identifizie­ rende Linie ist.

Hierzu wird ein Prozeß mit dem Ziel durchgeführt (S2020), Linien unter den linken Kandidatlinien (die Geraden 50, 52 und 54) und den rechten Kandidatlinien (die Geraden 56, 58 und 60) zu erkennen.

Fig. 10 ist ein Flußdiagramm, das die Inhalte des Prozesses S2020 im einzelnen darstellt.

In diesem Zusammenhang sei bemerkt, daß bei der vorliegenden Konfigura­ tion der Prozeß durch den Linienabschätzungsteil 40212 durchgeführt werden soll.

Zunächst werden im Prozeß die Schnittpunkte Pr(1) 50p, Pr(2) 52p und Pr(3) 54p zwischen den jeweils linken Kandidatlinien (die Geraden 50, 52 und 54) und der horizontalen Ziele des unteren Bildschirmrandes 42 ermittelt (S202002). In ähnlicher Weise werden die Schnittpunkte P(1)56p, P(2)58p und P1(3)60p zwischen den jeweiligen linken Kandidatlinien (die Geraden 50, 52 und 54) und der horizontalen Ziele des unteren Bildschirmrandes 42 er­ mittelt (S202004).

Anschließend werden, wie aus Fig. 9 zu ersehen ist, die Abstände L(1)62 bis L(9)78 jeweils zwischen den Schnittpunkten Pr(1)50p, Pr(2)52p und Pr(3)54p und den Schnittpunkten P(1)56p, P1(2)58p und P1(3)60p ermittelt (S202006).

Aus den in Schritt S202006 erhaltenen Abständen L(1)62 bis L(9)78 wird dann eine Mehrzahl von, beispielsweise, zwei Abständen gewählt, die weniger weit von der Idealfahrbahnbreite W50 abweichen (S202008). Im Beispiel der Fig. 9 werden die Abstände L(1)62 und L(6)72 als weniger weit davon abweichend bestimmt.

In dieser Situation wird die Anzahl der Randdatenelemente der linken und rechten Kandidatlinien (die Geraden 50 und 56), die dem Abstand L(1)62 zugeordnet sind, mit der Anzahl der linken und rechten Kandidatlinien (die Geraden 52 und 60) verglichen, welche L(6)72 bilden (S202010).

Als Ergebnis wird unterstellt, daß die Anzahl der Randdatenelemente der linken und rechten Kandidatlinien, die die Geraden 50 und 56 umfassen, größer als die Anzahl der linken und rechten Kandidatlinien ist, die die Geraden 52 und 60 umfassen, und somit werden die Geraden 52 und 60 als zu erkennende linke und rechte Linien betrachtet (linke und rechte Erken­ nungslinien; S202012), so daß die Datenelemente der linken und rechten Erkennungslinie an den Gefahrenentscheidungsteil 40404 für den nachfolgen­ den Prozeß (S22) übertragen werden.

In diesem Zusammenhang können die linken und rechten Erkennungslinien wie folgt bestimmt werden. Alle Kombinationen von linken und rechten Kandidatlinien werden zunächst in abnehmender Ordnung der Zahl der Randdatenelemente angeordnet, um diejenigen Kombinationen auszuscheiden, deren Anzahl von Randdatenelementen zwei oder weniger beträgt. Dann werden die Schnittpunkte zwischen den reduzierten Kombinationen von linken und rechten Kandidatlinien und der horizontalen Zeile des unteren Bild­ schirmrandes ermittelt, und anschließend werden die Abstände jeweils zwi­ schen den mit der Mehrzahl der Kombinationen der linken und rechten Linien verbundenen Schnittpunkte ermittelt. Aus den so zwischen den Schnittpunkten erhaltenen Abständen werden mehrere Abstände, beispielsweise zwei Abstände, ermittelt, die weniger weit von der Idealfahrbahnbreite abweichen. Unter den die mehreren Abstände bildenden Kombinationen der linken und rechten Linien werden diejenigen linken und rechten Kandidatli­ nien als linke und rechte Erkennungslinien bestimmt, die eine größere Anzahl von Randdatenelementen aufweisen.

Auf diese Weise ist es im Falle, daß die linken und rechten Linien nicht in einem stabilen Zustand erkannt werden können, möglich, die linken und rechten Linien gemäß der Anordnungsbeziehung zwischen den Linien zu erkennen.

Obgleich die Prozesse, die die Schritte S2014, S2016 und S2018 der Fig. 4 durchführen, in der obigen Beschreibung nicht erläutert werden, sind die Inhalte der Schritte S2014, S2016 und S2018 identisch mit den Schritten S2008, S2010 und S2012 und werden demgemäß nicht erneut erläutert.

Aufgrund der Durchführung des Linienberechnungsprozesses (S18) und des Linienabschätzungsprozesses (S20) ist es möglich, eine irrtümliche Linien­ erkennung zu vermeiden, die möglicherweise auftritt, wenn in der Nähe der Linie Radspuren vorkommen oder wenn die Linie unklar ist.

Als nächstes wird eine Variante des Linienabschätzungsprozesses gemäß der obigen Ausführungsform der Erfindung beschrieben. Bei dieser Variante wird, wenn die linke und die rechte Linie erkannt wird, die Winkeldifferenz zwischen der spätesten bzw. letzten Kandidatlinie und dem Erkennungs­ ergebnis des vorherigen Bildes ermittelt, derart, daß wenn die Winkeldiffe­ renz groß ist, angenommen wird, daß eine falsche Linie als Kandidatlinie identifiziert wird, und daher wird ein weiterer Wählprozeß durchgeführt.

Fig. 11 ist ein Flußdiagramm zur Erläuterung der Variation, während Fig. 12 ein Diagramm ist, das ein Beispiel der Randdatenentnahme zur Erläute­ rung des Linienabschätzungsprozesses in der Variation der Fig. 11 erläutert. Bei dem Prozeß gemäß Fig. 11 sind die von Schritt S16 bis Schritt S2002 aufgeführten Prozeduren die gleichen wie die des Falles der Fig. 4, und werden daher nicht beschrieben. In Schritt S2002 ermittelt das System die Anzahl der Randdatenelemente (die neun Punkte 1401a, 1403a bis 1406a, und 1408a bis 1411a) der linken Kandidatlinie (die Gerade 22), welche die größte Anzahl von Randdatenelementen aufweisen, und es ermittelt die Anzahl der anderen Randdatenelemente (die beiden Punkte 1402a und 1407a; S2004). Im Beispiel der Fig. 5A beläuft sich die Gesamtzahl der Rand­ datenelemente der linken Kandidatlinien 22 und 24 auf elf, während diejeni­ ge der Randdatenelemente der linken Kandidatlinie (die Gerade 22), welche die größte Anzahl von Rändern aufweist, neun beträgt. Das Verhältnis der Anzahl der Randdatenelemente der linken Kandidatlinie 22 zu demjenigen der Randdatenelemente der linken Kandidatlinien beträgt daher "82%". In dieser Situation wird entschieden, daß das Verhältnis größer als das vor­ bestimmte Verhältnis "70%" ist (dieses Verhältnis braucht nur im voraus im Steuerdatenteil 604 gespeichert zu werden), und somit wird unterstellt, daß die linke Kandidatlinie (die Gerade 22) die zu erkennende Linie ist.

Anschließend wird die Winkeldifferenz zwischen der Kandidatlinie und der linken Linie ermittelt, die im vorherigen Bild erhalten wurde (S2005). Bei dem in Fig. 12 dargestellten Beispiel beträgt die Winkeldifferenz zwischen der Kandidatlinie und der im vorherigen Bild ermittelten linken Linie 4°. In diesem Falle wird entschieden, daß die Winkeldifferenz kleiner als der vorbestimmte Winkel ist, beispielsweise "20°" (dieser Winkel braucht nur vorher im Steuerdatenteil 604 gespeichert werden), und die linke Kandidatli­ nie (die Gerade 22) wird als die zu erkennende linke Linie festgesetzt (linke Erkennungslinie; S2006).

Als nächstes wird der Prozeß in ähnlicher Weise auch für die rechte Linie durchgeführt, derart, daß das System dieser Randdatenelemente (die acht Punkte 1602a bis 1604a und 1607a bis 1611a) der rechten Kandidatlinie (die Gerade 26) ermittelt, welche die größte Anzahl von Randdatenelementen unter den rechten Kandidatlinien 26, 28 und 30 aufweist, und jene der anderen Randdatenelemente (die drei Punkte 1601a, 1605a und 1606a; S2008). Bei dem in Fig. 5A dargestellten Beispiel beläuft sich die Gesamt­ zahl der Randdatenelemente der rechten Kandidatlinien auf elf, während diejenige der Randdatenelemente der rechten Kandidatlinie (die Gerade 26), welche die größte Anzahl von Rändern umfaßt, acht beträgt, so daß das Verhältnis zwischen beiden "73%" ergibt. In diesem Falle wird entschie­ den, daß das Verhältnis größer als das vorbestimmte Verhältnis von "70%" ist (dieses Verhältnis braucht nur im voraus im Steuerdatenteil 604 gespei­ chert werden), und es wird infolgedessen unterstellt, daß die rechte Kandi­ datlinie (die Gerade 26) die zu erkennende Linie ist.

Anschließend wird eine Winkeldifferenz zwischen der Kandidatlinie und der im vorhergehenden Bild erhaltenen rechten Linie ermittelt (S2009). Bei dem in Fig. 11 dargestellten Beispiel beträgt die Winkeldifferenz zwischen der Kandidatlinie und der im vorherigen Bild erhaltenen rechten Linie 4°. In dieser Situation wird die Winkeldifferenz so festgesetzt, daß sie kleiner als der vorbestimmte Winkel ist, beispielsweise "20°". Dieser Winkel braucht nur vorherbestimmt, um im Steuerdatenteil 604 gespeichert zu werden, und die rechte Kandidatlinie (die Gerade 22) wird als die zu erkennende rechte Linie betrachtet (rechte Erkennungslinie; S2010).

Danach wird angenommen daß, wenn die Verhältniswerte der Randdaten­ elemente, die die linke und die rechte Erkennungslinien bilden, größer sind und die Winkeldifferenzen in bezug auf die Erkennungslinien im vorherigen Bild klein sind, die Linien richtig erkannt werden; und somit werden die Erkennungslinien-Datenelemente an den Gefahrenentscheidungsteil 40404 übermittelt. Anschließend wird der Gefahrenentscheidungsprozeß durch­ geführt (S22).

Bezugnehmend auf die Fig. 4, 7 und 8, wird nun der Linienberechnungs­ prozeß (S18) und der Linienabschätzungsprozeß (S20) bei dem in Fig. 6 dargestellten Beispiel beschrieben. Übrigens werden die Prozeduren der Schritte S16, S1802, S1804 und S2002 in einer Weise durchgeführt, die derjenigen des Falles der Fig. 5A ähnlich ist.

Beim Beispiel der Fig. 6 wird für die linke Linie, in der gleichen Weise wie im Falle der Fig. 5A, die Anzahl der Randdatenelemente (die neun Punkte 1401b, 1403b bis 1406b und 1408b bis 1411b) der linken Kandidatli­ nie (die Gerade 32) ermittelt, welche die größte Anzahl von Randdatenele­ menten umfassen, und es wird die Anzahl der anderen Randdatenelemente ermittelt (die beiden Punkte 1402b und 1407b; S2004). Die Anzahl der Randdatenelemente sämtlicher linker Kandidatlinien beläuft sich auf elf, während diejenige der linken Kandidatlinie (die Gerade 32), welche die größte Anzahl von Randdatenelementen umfaßt, neun beträgt. Der Verhält­ niswert zwischen beiden ist "82%". In diesem Falle wird entschieden, daß das Verhältnis größer als das vorbestimmte Verhältnis ist (beispielsweise 70%), und somit wird die Linie als die linke Kandidatlinie betrachtet (die Gerade 32).

Anschließend wird die Winkeldifferenz zwischen der Kandidatlinie und der im vorherigen Bild erhaltenen linken Linie ermittelt (S2005). Wenn die ermittelte Winkeldifferenz als kleiner als ein vorbestimmter Winkel festge­ stellt wird, beispielsweise "20°" (der Winkel braucht nur vorher im Steuer­ datenteil 604 gespeichert zu werden), wird die linke Kandidatlinie (die Gerade 22) als die zu erkennende linke Linie eingestellt (linke Erkennungs­ linie; S2006).

Auch für die rechte Linie wird die Anzahl der Randdatenelemente (die sechs Punkte 1601b, 1603b, 1605b, 1606b, 1409b und 1611b) der rechten Kandi­ datlinie (die Gerade 38), welche die größte Anzahl von Randdatenelementen umfaßt, sowie diejenige der anderen Randdatenelemente (die fünf Punkte 1602b, 1604b, 1607b, 1608b und 1610b) ermittelt (S2008). Während die Anzahl der Randdatenelemente sämtlicher linker Kandidatlinien elf beträgt, beträgt diejenige der linken Kandidatlinie (die Gerade 38), welche die größte Anzahl von Randdatenelementen aufweist, sechs, und somit beträgt das Verhältnis zwischen ihnen "55%" und wird als kleiner als das vorbestimmte Verhältnis (beispielsweise 70%) bestimmt. Dieser Fall tritt auf, wenn Radspuren auf der Seite der rechten Linie vorhanden sind oder die Linie unklar ist. In dieser Situation muß entschieden werden, ob jede der rechten Kandidatlinien, welche die Geraden 36, 38 und 40 umfassen, eine zu erkennende Linie ist.

Wenn weiter das Verhältnis zwischen der Anzahl der Randdatenelemente der rechten Kandidatlinie und derjenigen der anderen Randdatenelemente größer als der vorbestimmte Wert ist, wird eine Winkeldifferenz zwischen der fechten Kandidatlinie und der im vorhergehenden Bild erhaltenen rechten Linie ermittelt (S2009).

Wenn aus irgendeinem Grunde festgestellt wird, daß die Winkeldifferenz größer als ein vorbestimmter Winkel ist, beispielsweise "20%" (dieser Winkel braucht nur vorher festgesetzt und im Steuerdatenteil 604 gespeichert werden), ist es erforderlich zu entscheiden, ob jede der anderen rechten Kandidatlinien eine zu erkennende rechte Linie ist.

Zu diesem Zweck wird bei der vorliegenden Ausführungsform ein Prozeß (S2012) durchgeführt, in welchem gemäß der im stabilen Zustand erkannten linken Erkennungslinie eine rechte Erkennungslinie unter den rechten Kandi­ datlinien (die Geraden 36, 38 und 40) gemäß der Anordnungsbeziehung zwischen der linken und der rechten Linie bestimmt wird (S2012).

Das in Fig. 9 dargestellte Beispiel betrifft einen Fall, bei dem in bezug auf die linke und rechte Linie für jede der Kandidatlinien (die Geraden 52 und 58), welche die größte Anzahl von Randdatenelementen umfassen, das Ver­ hältnis der Anzahl der Randdatenelemente kleiner als das vorbestimmte Verhältnis ist (S2004, S2014). In diesem Falle ist es für jede der Geraden 50, 52 und 54 der linken Kandidatlinien sowie der Geraden 56, 58 und 60 der rechten Kandidatlinien erforderlich, gemäß der Anordnungsbeziehung unter den Linien zu bestimmen, ob die in Frage kommende Linie eine zu erkennende Linie ist.

Darüber hinaus muß in bezug auf die linke und die rechte Linie der nach­ folgende Prozeß durchgeführt werden, selbst wenn festgestellt wird, daß das Verhältnis der Anzahl der Randdatenelemente größer als das vorbestimmte Verhältnis für jede der Kandidatlinien ist, die die größte Anzahl von Rand­ datenelementen aufweisen, und zwar sofern entschieden worden ist, daß die Winkeldifferenz in bezug auf die linke oder rechte Erkennungslinie im vorherigen Bild den vorbestimmten Winkel überschreitet (S2005, 2015). Für jede der linken und rechten Kandidatlinien wird nämlich eine Prozedur durchgeführt, um aufgrund der Anordnungsbeziehung zwischen den Linien zu entscheiden, ob die fragliche Linie eine zu erkennende Linie ist.

Gemäß der oben beschriebenen Ausführungsform kann die linke Linie und die rechte Linie der Fahrbahn des Fahrzeuges unter Benutzung einer ein­ fachen Konfiguration richtig erkannt werden. Weiter kann auf der Basis der Information der Fahrbahnbereich und dergleichn, ermittelt und an die Gefah­ renwarneinrichtung der vorliegenden Erfindung geliefert werden.

Wie oben beschrieben ist es bei der vorliegenden Ausführungsform, wenn die Linien für eine Fahrbahn des Fahrzeugs gemäß der von einer Bordka­ mera erzeugten Bildinformation erkannt werden, möglich, die Linien der Fahrbahn unter einer Mehrzahl von Kandidatlinien mit Bezugnahme auf In­ formationen, wie etwa die Linienanordnungsbeziehung, richtig zu erkennen. Infolgedessen kann die Straßenoberfläche vor dem in Frage kommenden Fahrzeug korrekt erkannt werden.

Als nächstes wird eine zweite Ausführungsform der Bildbearbeitungsvor­ richtung gemäß der vorliegenden Erfindung im einzelnen beschrieben.

In Fig. 13, welche die zweite Ausführungsform der vorliegenden Erfindung darstellt, umfaßt die Konfiguration primär einen Bildaufnahmeblock A, einen Displayblock B und einen Prozeßbearbeitungsblock C. Der Block C enthält weiter einen Bildbearbeitungsteil D und einen Entscheidungsteil E. Übrigens kann der Displayblock 5 in der Ausführungsform auch fehlen.

Der Bildaufnahmeblock A ist wie folgt konfiguriert.

Ein Zoom-Linsen-Mechanismusteil 1002 und ein Zoom-Einstellteil 1004 steuern die Brennweite des optischen Systems als Antwort auf ein Zoom- Signal des optischen Systems, das von einem Entnahmebedingungs-Entschei­ dungsteil 1038 (später zu beschreiben) geliefert wird, um so das erhaltene Bild zu vergrößern oder zu verkleinern.

Ein Iris-Mechanismusteil 1006 und ein Iris-Einstellteil 1008 reagieren auf eine vom Entnahmebedingungs-Entscheidungsteil 1038 gelieferte Anweisung, die Iris des optischen Systems zu schließen, wenn das erhaltene, das Ziel­ objekt enthaltende Bild zu hell ist, oder aber die Iris zu öffnen, wenn das Bild zu dunkel ist, wodurch die Helligkeit des Objektes auf einen passenden Wert eingestellt wird.

Eine CCD-Kamera 1010 wandelt das optische Bild in ein Farbbildsignal um.

Ein A/D-Wandler 1012 wandelt das Farbbildsignal in ein digitales Farb­ bildsignal um.

Eine Farbunterschieds-Umwandlungsschaltung 1014 empfängt als Eingabe dazu das digitalisierte Farbbildsignal, um das Signal in Farbtrennungs-Bildsi­ gnale umzuwandeln, welche ein Luminanzsignal Y und Farbunterschiedssignal R-Y und B-Y umfassen. In dieser Hinsicht werden die Farbtrennungs- Bildsignale gemäß den Farbkomponenten R (rot); G (grün) und B (blau) definiert, welche die drei Primärfarben des Bildsignals bilden.

In den Formeln stellen γR, γG, γB Umwandlungszuwächse dar, die durch den Entnahmebedingungs-Entscheidungsteil 1038 angegeben werden.

Y = 0,3R.γR + 0,6G.γG + 0,1B.γB

R-Y = 0,7R.γR - 0,6G.γG - 0,1B.γB

B-Y = -0,3R.γR - 0,6G.γG + 0,9B.γB

Als nächstes wird der Aufbau des Displayblockes B beschrieben.

Eine Verzögerungsschaltung 1016 ist eine Schaltung, die während der verschiedenen Prozesse in Betrieb ist, welche durch den Bearbeitungsblock C durchgeführt werden, um die Bildausgabe zu verzögern, so daß eine Synchronisation zwischen den Ergebnissen der Prozesse und dem erhaltenen Bild herbeigeführt wird.

Eine Austauschschaltung 1018 ist eine Schaltung, welche die Prozeßergeb­ nisse vom Bearbeitungsblock C auf das erhaltene Bild überlagert.

Eine Codierschaltung 1020 ist eine Schaltung, welche das von der Aus­ tauschschaltung 1018 bearbeitete Prozeßbildsignal empfängt und in ein NTSC-Signal umwandelt.

Ein Monitor 1022 umfaßt eine Bilddisplayvorrichtung, wie etwa eine Farb- CRT, und empfängt das NTSC-Signal zum Darstellen des bearbeiteten Bildes auf der genannten Vorrichtung.

Der Bearbeitungsblock C umfaßt den Bildbearbeitungsteil D und den Ent­ scheidungsteil E, wie oben beschrieben. Der Bildbearbeitungsteil D ist wie folgt aufgebaut.

Eine Farbabtastschaltung 1034 tastet die Farbdaten aus dem Bildsignal in bezug auf diejenigen Abtastpixel ab, die durch den Entnahmebedingungs- Entscheidungsteil 1038 spezifiziert werden, und überträgt dann die abgetaste­ ten Farbdaten (Luminanzsignal Y und Farbunterschiedssignale R-Y und B -Y) an den Entnahmebedingungs-Entscheidungsteil 1038.

Eine Entnahmeprozeßschaltung 1036 umfaßt eine Schaltung zum Identifizieren der Pixel für das erhaltene Bild, das die Entnahmefarben-Bedingung erfüllt (die später beschrieben wird) befriedigt, so daß die Koordinatendaten (Ent­ nahmekoordinatendaten) der Pixel an die Austauschschaltung 1018 übertragen werden, eine Schaltung zum Übertragen der Koordinatendaten (Randkoor­ dinatendaten) der Randpixel (Pixel auf der Grenze zwischen den Pixeln, wel­ che die Entnahmebedingung erfüllen sowie jenen, die die Bedingung nicht erfüllen) für diejenige Gruppe der Pixel, welche die Entnahmebedingung erfüllen, an den Straßenoberflächen-Erkennungsteil 1040; und eine Schaltung, welche die Anzahl der Pixel zählt, die die Entnahmefarben-Bedingung unter den Pixeln im spezifizierten Bereich erfüllen, um den Zählwert an den Entnahmebedingungs-Entscheidungsteil 1038 zu übermitteln.

Der Entnahmebedingungs-Entscheidungsteil 1038 umfaßt: eine Schaltung, die der Farbabtastschaltung 1034 Abtastpixelpositionen anzeigt, die für das Abtasten der Farbdaten erforderlich sind, welche durch die Straßenober­ flächendaten bestimmt werden, die vom Straßenerkennungsteil 1040 über­ tragen werden; eine Schaltung, die eine Entnahmefarben-Bedingung gemäß den Farbdaten, die von der Farbenabtastschaltung 1034 übertragen werden, sowie ein Verteilungsverhältnis bestimmt, das aus dem Zählwert erhalten wird, der von der Entnahmeprozeßschaltung 1036 übertragen wird, und sie übermittelt dann die Bedingung an die Entnahmeprozeßschaltung; eine Schal­ tung zum Spezifizieren von Einstellwerten an den Zoom-Einsteller 1004 und den Iris-Einsteller 1008; und eine Schaltung zum Bestimmen des Umwand­ lungszuwachses (γR, γY, γB) an die Farbunterschieds-Umwandlungsschaltung 1014.

Der Straßenerkennungsteil 1040 erkennt gemäß der Randkoordinate, die von der Entnahmeprozeßschaltung 1036 übermittelt worden ist, die Straßenober­ fläche, auf der das betreffende Fahrzeug fahren kann und überträgt die sich aus der Erkennung ergebenden Straßenoberflächendaten an den Gefahrenent­ scheidungsteil 1044 und den Entnahmebedingungs-Entscheidungsteil 1038.

Der Beurteilungsteil E ist wie folgt konfiguriert.

Ein Fahrzeugzustands-Entscheidungsteil 1042 bestimmt den Fahrzustand des Fahrzeugs gemäß einem Signal, das vom Fahrzeugzustandssensor 1056 geliefert wird, um die Entscheidungsergebnisse an den Entnahmebedingungs- Entscheidungsteil 1038 und an den Gefahrenentscheidungsteil 1044 zu liefern.

In dieser Struktur schätzt der Teil 1044 den Gefahrengrad gemäß dem Fahrzustand des Fahrzeugs und der verfügbaren Straßenoberfläche ab und meldet den Gefahrengrad über die Alarmvorrichtung 1052 an den Fahrer.

Bei dieser Gelegenheit liefert der Gefahrenentscheidungsteil 1044 bei einer Handlung des Fahrers als Reaktion auf die Alarmmeldung im Falle, daß die Handlung des Fahrers in bezug auf die Gefahr nicht zufriedenstellend ist, ein Steuersignal an den Fahrzeugbewegungs-Controller 1054, das zur Erzie­ lung einer Maßnahme erforderlich ist, durch die der Gefahr ausgewichen wird.

Ein Speicher 1050 ist vorgesehen, um die durch den Entnahmebedingungs- Entscheidungsteil 1038 bestimmte Entnahmebedingung aufzunehmen. Darüber hinaus dient der Speicher 1050 als Speicher für das zeitweilige Speichern von Daten, welche für Prozesse benötigt werden, die durch den Entnahme­ bedingungs-Entscheidungsteil 1038, den Straßenerkennungsteil 1040, den Straßenzustands-Entscheidungsteil 1042 und den Gefahrenentscheidungsteil 1044 ausgeführt werden.

Die Warnvorrichtung 1052 ist ein Mittel zur Unterrichtung des Fahrers über den Gefahrengrad, der durch den Gefahrenentscheidungsteil 1044 abgeschätzt worden ist.

Der Fahrzeugbewegungs-Controller 1054 ist eine Steuervorrichtung für die Antriebs-, Brems- und Steuersysteme.

Der Fahrzeugzustandssensor 1056 ist eine Einrichtung zum Erfassen der Bewegungsenergie des fraglichen Fahrzeugs, der Absicht des Fahrers und dergleichen, und das erfaßte Signal wird an den Fahrzeugzustands-Entschei­ dungsteil 1042 geliefert.

Nachfolgend wird der Betrieb der vorliegenden Ausführungsform beschrieben.

Bei dieser Ausführungsform werden zwei Arten von Prozesses in konkurrie­ render Weise durchgeführt, d. h. ein erster Prozeß und ein zweiter Prozeß.

Der erste Prozeß umfaßt Bearbeitungen des durch die Bildaufnahmevor­ richtung erhaltenen Bildes in einer Folge von Prozeduren der CCD-Kamera 1010, des A/D-Wandlers 1012, des Farbunterschieds-Wandlers 1014, der Verzögerungsschaltung 1016, der Austauschschaltung 1018, der Codierschal­ tung 1020 und des Monitors 1022. Bezugnehmend auf die Fig. 14 und 15 werden diese Prozeduren als nächstes beschrieben.

Gemäß Fig. 14 wird, wenn das System für den Betrieb des gesamten Systems eingeschaltet ist (S302), die Initialisierung durchgeführt (S304).

Als nächstes wird das Farbbildsignal eines durch die CCD-Kamera 1010 aufgenommenen Zielobjektes erfaßt (S306) und dann durch den A/D-Wandler 1004 in ein digitales Signal umgewandelt (S308).

Im Farbunterschieds-Wandler 1014 wird dann das digitale Signal in ein Farbtrennungs-Bildsignal umgewandelt (S310).

Anschließend empfängt die Verzögerungsschaltung 1012 das Farbbildsignal, um das Signal während einer Zeitperiode zu verzögern, die die Prozedur im Bearbeitungsblock C benötigt ist (S312), um die Synchronisation zwischen dem erhaltenen Bild und den Ergebnissen des Prozesses durchzuführen.

Danach überlagert die Austauschschaltung 1014 die Ergebnisse des Prozesses im Bearbeitungsblock C auf das nichtbearbeitete Farbtrennungs-Bildsignal (S314).

Der Codierer 1016 wandelt dann das entstehende Signal in ein NTSC-Signal um (S316).

Der Monitor 1018 empfängt das NTSC-Signal, um das bearbeitete Bild darzustellen (S318).

Die Steuerung kehrt dann in den Ausgangszustand zurück, um das im nächsten Zyklus aufgenommene Objekt zu bearbeiten (S306).

Die oben aufgeführten Prozeduren werden im Halbbildzyklus (ein Halbbild dauert 16,7 ms) der Bildsignale durchgeführt.

Anschließend umfaßt der zweite Prozeß, wie in Fig. 14 dargestellt, eine Prozedur zum Einstellen der Entnahmebedingung (S320), eine Prozedur zum Entnehmen der Ränder aus dem vom Bildaufnahmeblock A erzeugten Bildsi­ gnal (S322), eine Prozedur zum Erkennen der für das Fahrzeug verfügbaren Straßenoberfläche gemäß den Randkoordinatendaten (S328), eine Prozedur zur Abschätzung des Gefahrengrades für das Fahrzeug (S336) und eine Prozedur, um der Gefahr auszuweichen (S340). In diesem Zusammenhang sei er­ wähnt, daß die Randentnahmeprozedur in einer Weise durchgeführt werden kann, die derjenigen der ersten Ausführungsform vergleichbar ist.

Als erstes wird bei der Inititialisierung (S304), wie in Fig. 16 dargestellt, zuvor eine Farbdaten-Abtastoperation im Verkehrsstraßenbild für eine Mehr­ zahl von Pixeln durchgeführt, beispielsweise das Abtasten von Pixeln, die auf vier Postionen unmittelbar vor dem interessierenden Fahrzeug eingestellt sind. Anschließend wird gemäß den abgetasteten Farbdaten ein Diskrimina­ tionsprozeß in bezug auf die Umgebung des Fahrzeugs durchgeführt, bei­ spielsweise um Tag oder Nacht zu unterscheiden, was später beschrieben wird. Gemäß dem Entscheidungsergebnis wird die Entnahmefarben-Bedin­ gung unter Benutzung der zuvor im Speicher gespeicherten Setzwerte einge­ stellt. Das in diesem Falle benutzte Verfahren zum Einstellen der Entnah­ mefarben-Bedingung wird später beschrieben.

Unter Abstimmen der Entnahmebedingung an die Umgebungsänderung empfängt dann das System das Bildsignal, um durch die Entnahmeprozeß­ schaltung 1036 aus ihm Pixel mit den Farben der Straßenoberfläche zu entnehmen. Das heißt, daß die Entnahmebedingung zum Entnehmen von Pixeln der Straßenoberfläche, die Y_MIN, Y_MAX, (B-Y)_MIN, (B-Y)_MAX, (R-Y)_MIN und (R-Y)_MAX umfassen, wird mit den Farbdaten der Pixel auf dem Bildschirm verglichen, um so Pixel aus dem Bild zu entnehmen (S320), welche die nachfolgenden Ausdrücke (1) befriedigen:

Y_MIN < Y < Y_MAX,

(B-Y)_MIN < B-Y < (B-Y)_MAX

(R-Y)_MIN < R-Y < (R-Y)_MAX (1)

Darüber hinaus werden Grenzkoordinatendaten, welche den Satz entnommener Daten umfassen, d. h. Randkoordinatendaten, an den Straßenoberflächen- Erkennungsteil 1040 übertragen (S322).

Gemäß den übertragenen Randkoordinatendaten wird als nächstes eine Mehr­ zahl von geraden oder gekrümmten Linien berechnet, um eine verfügbare Fahrstraßenoberfläche gemäß der Positionsbeziehung zwischen denselben abzuschätzen. Die Bewertung der Straßenoberfläche, nämlich der Linien­ abschätzungsprozeß, kann in gleicher Weise wie bei der ersten Ausführungs­ form durchgeführt werden.

Anschließend wird gemäß den Signalen, die vom Fahrzeugzustandssensor 1056 gliefert werden, welcher einen Fahrzeuggeschwindigkeitssensor, einen Bremspedal-Betriebssensor, einen Anzeigeoperationssensor und einen Steuer­ winkelsensor umfaßt, der Fahrzustand des Fahrzeugs ermittelt, der die Fahrzeuggeschwindigkeit, die Bremsrate, die Linienänderungsabsicht und den Steuerausfschlag umfaßt. Auf der Basis der Beziehung zwischen den Ent­ scheidungsergebnissen und der vom Straßenerkennungsteil 1040 erkannten verfügbaren Fahrbahn bewertet das System den Gefahrengrad für das Fahr­ zeug, wie etwa den Abstand zwischen dem betreffenden Auto und einem vor ihm befindlichen Auto, die Relativgeschwindigkeit des Autos in bezug auf das Fahrzeug, das Vorhandensein oder Fehlen eines parallel zum Fahrzeug fahrenden Autos, und den instabilen Fahrzustand des Fahrzeugs (S336).

Der durch den Gefahrenentscheidungsteil 1044 bewertete Gefahrengrad wird dann dem Fahrer des Fahrzeugs über die Warnvorrichtung 1052 mitgeteilt (wie etwa eine Anzeigevorrichtung, eine Stimme, ein Warnton, eine LED, etc.) oder über den Monitor (Bordtelevision und "Headup"-Display) des Displayblockes B (S338).

In dieser Situation wird der Gefahrengrad über die Alarmvorrichtung 1052 auch an die Fahrer von in der Nähe befindlichen Fahrzeugen mitgeteilt (beispielsweise über eine Zeichendisplaytafel oder durch Kommunikation zwi­ schen den Fahrzeugen), je nach dem vorliegenden Fall.

Als näch 71590 00070 552 001000280000000200012000285917147900040 0002019680415 00004 71471stes ändert der Teil 1044 in Verbindung mit dem vom Gefahrenent­ scheidungsteil 1044 bewerteten Gefahrengrad im Falle, daß der Fahrer die Fahroperationen nicht befriedigend durchführt, die Steuercharakteristik des Fahrzeugbewegungs-Controllers 1054, und/oder er versetzt das Fahrzeug in den Automatikbetriebmodus, um der Gefahr auszuweichen (S340).

Bezugnehmend auf Fig. 15 wird nunmehr der Entnahmebedingungs-Einstell­ prozeß (S320) im einzelnen beschrieben.

In einem Abtastpixelpositions-Einstellprozeß (S202), wie in Fig. 16 darge­ stellt, werden zuerst feste horizontale Zeilen im Bildschirm als drei Linien La, Lb und Lc in unteren (nahen) Bereich, im mittleren (weit entfernten) Bereich und im dazwischen befindlichen (mittleren) Bereich eingestellt.

Danach wird für jede der festen horizontalen Linien der Abstand zwischen den Schnittpunkten zwischen der interessierenden Linie und den Geraden, welche die linke und die rechte Annäherungslinie darstellen, die im vorher­ gehenden Prozeß erhalten wurden, gleichmäßig unterteilt, beispielsweise in drei Abschnitte. Die sechs erhaltenen Positionen werden auf die Abtastpi­ xelpositionen eingestellt. Es wird unterstellt, daß dort mindestens ein Abtastpixel für jede feste horizontale Zeile vorhanden ist.

In einem Farbdaten-Abtastprozeß (S204) werden aus Bildsignal, das sequen­ tiell Farbdaten aller Pixel des erhaltenen Bildes überträgt, durch die Farb­ abtastschaltung 1034 Farbdaden (Y, B-Y und R-Y) der sechs spezifizier­ ten Abtastpixel abgetastet.

Anschließend wird in einem Verteilungsverhältnis-Berechnungsprozeß (S206) die Entnahmefarben-Bedingung (Y_MIN, Y_MAX, (B-Y)_MIN, (B-Y)_MAX, (R -Y)_MIN, (R-Y)_MAX) mit den Farbdaten (Y, B-Y und R-Y) der Pixel in dem auf dem Bildschirm spezifizierten Bereich, dargestellt in Fig. 19, verglichen. Unter den Pixeln im spezifizierten Bereich wird die Anzahl derjenigen Pixel gezählt, welche die Beziehung des Ausdruckes (1) erfüllen, nämlich die Entnahmefarben-Bedingung:

Y_{MIN <} Y < Y_MAX,

(B-Y)_MIN < B-Y < (B-Y)_MAX

(R-Y)_MIN < R-Y < (R-Y)_MAX.

Anschließend werden, gemäß den folgenden Formeln, ein berechnetes Ver­ teilungsverhältnis, das das Verhältnis der die Entnahmefarben-Bedingung im spezifizierten Bereich erfüllenden Pixel, zu allen Pixeln im spezifizierten Be­ reich sowie ein Zielverteilungsverhältnis ermittelt, das das Verhältnis dieser Pixel im spezifizierten Bereich, mit Ausnahme jener der erkannten Linien und jener im Bereich des Autos vor dem Fahrzeug, zu allen Pixeln im spezifizierten Bereich bezeichnet.

Berechnetes Verteilungsverhältnis = Anzahl der Pixel, welche die Entnahme­ bedingung im spezifizierten Bereich erfüllen/Zahl der Pixel im spezifizierten Bereich.

Zielverteilungsverhältnis = (Gesamtzahl der Pixel im spezifizierten Bereich - Anzahl der Pixel der erkannten Linien im Bereich des Autos vor dem Fahrzeug)/Gesamtzahl der Pixel im spezifzierten Bereich.

In den Formeln bezeichnet "Zahl der Pixel, die die Entnahmebedingung im spezifizierten Bereich erfüllen" die Anzahl der Pixel in der Straßenober­ fläche, mit Ausnahme der Linien im spezifizierten Bereich. Weiter bezeich­ net "Gesamtzahl der Pixel im spezifizierten Bereich" die Anzahl der Pixel in der Straßenoberfläche einschließlich der Fahrzeuglinien. Zusätzlich kann die "Zahl von Pixeln der erkannten Linien und im Bereich des Autos vor dem Fahrzeug" ein vorbestimmter Wert oder ein veränderlicher Wert gemäß der Straßenumgebung sein. Weiter kann die Anzahl derjenige geschätzte Wert sein, der vom vorherigen Bild übermittelt wurde. Darüber hinaus liegt das Zielverteilungsverhältnis gewöhnlich im Bereich von 80% bis 90%. Die Angaben "spezifizierter Bereich", "Zahl der Pixel der erkannten Linien und im Bereich des Autos vor dem Fahrzeug", sowie das Zielverteilungs­ verhältnis können zuvor als Einstellwerte im Entnahmebedingungs-Entschei­ dungsteil 38 gespeichert werden oder von einer externen Vorrichtung her eingestellt werden.

Als nächstes wird ein Tag-/Nacht-Entscheidungsprozeß (S207) für die an sechs Punkten abgetasteten Farbdaten durchgeführt.

Im vorliegenden Falle bezieht sich die Beschreibung auf den Tag-/Nacht- Entscheidungsprozeß für Farbdaten, die in Fig. 16 an vier Punkten darge­ stellt sind, oder in Fig. 18 an sechs Punkten.

Gemäß den abgetasteten Farbdaten wird ein Vergleich zwischen Farbdaten­ elementen in einer Mehrzahl von Punkten, im vorliegenden Falle zwei Farbdatenelemente, auf der gleichen horizontalen Linie durchgeführt. Wenn der Absolutwert des Unterschiedes zwischen diesen Datenelementen größer als ein im Speicher gespeicherter Schwellenwert ist, wird angenommen, daß sich ein Auto in der Abtastpixelposition vor dem betroffenen Fahrzeug befindet, oder daß sich eine Hinweismarkierung auf der Straßenoberfläche befindet, so daß dementsprechend die Datenelemente nicht benutzt werden.

Wenn der Absolutwert kleiner als der Schwellenwert ist, werden ein Mittel­ wert (Hs) aller abgetasteten Datenelemente, die sich auf die drei horizontalen Linien La, Lb und Lc beziehen, und Mittelwerte (Ha, Hb, Hc) von Daten­ elementen auf der jeweiligen horizontalen Linie La, Lb und Lc ermittelt.

Gemäß der Beziehung zwischen diesen Durchschnittswerten wird die Tag-/­ Nacht-Entscheidung wie folgt durchgeführt.

Ein "Tag" wird angenommen, wenn die Bedingungen (2) und (4), oder die Bedingungen (3) und (4) erfüllt werden.

: Ha ≧ Hb ≧ Hc (für sechs Punkte) (2)

: Ha ≧ Hb (für vier Punkte) (3)

: Ha ≧ Einstellschwellenwert (4).

Eine "Nacht" wird αngenommen, wenn die Bedingungen (5) und (7), oder die Bedingungen (6) und (7) erfüllt werden.

: Ha < Hb < Hc (für sechs Punkte) (5)

: Ha < Hb (für vier Punkte) (6)

: Ha < Einstellschwellenwert (7).

Die Grundlage der obigen Entscheidung für "Tag" besteht darin, daß gemäß dem Einfallswinkel des natürlichen Lichtes (Sonnenlicht) zur Tageszeit ein Zustand besteht, bei dem die Helligkeit für nahegelegene und weit entfernte Stellen gleich groß ist, oder daß ein Zustand besteht, bei dem die Helligkeit an einer weit entfernten Stelle größer als an einer nahegelegenen Stelle ist. Zusätzlich besteht die Grundlage für die Entscheidung "Nacht" darin, daß aufgrund des von Fahrzeugen in der Nacht ausgestrahlten Lichtes die Hel­ ligkeit an einer nahegelegenen Stelle größer als an einer weit entfernt gelegenen Stelle ist.

Nachfolgend wird eine Beschreibung des Einstellschwellenwertes gegeben. Je nach der Straßenbeschaffenheit, beispielsweise wenn der gepflasterte Zustand der Straßenoberfläche variiert, besteht die Möglichkeit, daß der Tag fälschlich als Nacht angesehen wird. Beispielsweise besitzt eine neu gepfla­ sterte Straße auch tagsüber eine dunkle Oberfläche, weil nämlich die Lumi­ nanz an einer weit entfernten Stelle auf der neu gepflasterten Straßenober­ fläche etwa den Wert 40 bei Tageslicht besitzt. Andererseits besitzt die Luminanz an einer weit entfernten Stelle auf einer gewöhnlichen Straßen­ oberfläche tagsüber den Wert von etwa 100. Zur Nachtzeit besitzt die Luminanz an einer weit entfernten Stelle jedoch nur den Wert 0, unabhängig vom Zustand der Straßenoberfläche. Wenn daher der Einstellschwellenwert mit 50 angenommen wird, werden die Tageszeit-Entscheidungsformeln ((2) und (4) oder (3) und (4)) nicht am Tage erfüllt. Weiter werden die Nacht- Entscheidungsformeln ((5) und (7) oder (6) und (7)) ebenfalls nicht füllt. Infolgedessen werden in einem solchen Falle die Ergebnisse der vorhergehen­ den Entscheidung direkt angewandt, um dadurch eine Fehlentscheidung zu verhindern.

Nachfolgend wird ein Verfahren zum Einstellen der Entnahmefarben-Bedin­ gung für Straßenoberflächenpixel im Initialisierungsprozeß beschrieben.

Wenn im Tag-/Nacht-Entscheidungsprozeß der Zustand "Tag" angenommen wird, wird ein Bereich von Farbsignalen, die zuvor im Speicher gespeichert worden sind, wie in Fig. 5A dargestellt, und die auf Farben ähnlich einer achromatischen Farbe bezogen sind, als Farbenbereich Scd eingestellt, der die Farbsignalbedingung für die Straßenoberfläche bei Tage erfüllt. Als nächstes werden für die Luminanzsignale die Maximal- und Minimalwerte der Farbdatenelemente der vier oder sechs abgetasteten Punkte ermittelt, derart, daß Tag/Offset-Werte, die im Speicher gespeichert sind, jeweils ent­ sprechend den Maximal- und Minimalwerten hinzugefügt werden, so daß ein Luminanzbereich Sld eingestellt wird, der die Luminanzsignalbedingung für die Straßenoberfläche bei Tage erfüllt.

Wenn αndererseits im Tag-/Nacht-Entscheidungsprozeß der Zustand "Nacht" angenommen wird, wird ein Bereich von Farbsignalen, die zuvor im Spei­ cher gespeichert worden sind, wie in Fig. 5C dargestellt, und die auf Farben entsprechend einer achromatischen Farbe bezogen sind, als Farb­ bereich Sch eingestellt, der die Farbsignalbedingung für die Straßenoberfläche bei Nacht erfüllt. Was die Luminanzsignale anbetrifft, werden Maximal- und Minimalwerte der Farbdatenelemente der vier oder sechs abgetasteten Punkte ermittelt, derart, daß Nacht-Offset-Werte, die im Speicher gespeichert sind, jeweils entsprechend den Maximal- und Minimalwerten hinzugefügt werden, wodurch ein Luminanzbereich Sln eingestellt wird, der die Lumi­ nanzsignalbedingung für die Straßenoberfläche bei Nacht erfüllt.

Die Grundlage dafür, daß "Einstellfarbbereiche, welche die Farbsignalbedin­ gungen der Straßenoberfläche bei Tag und bei Nacht" erfüllen, als achroma­ tische Farbbereiche eingestellt werden, wie in den Fig. 17A und 17B darge­ stellt, besteht darin, daß die Straßenoberfläche eine achromatische Farbe besitzt. Darüber hinaus besteht der Grund dafür, daß der "Einstellfarben­ bereich, welcher die Farbsignalbedingung der Straßenoberfläche bei Tage" er­ füllt, im wesentlichen als ein Quadrat eingestellt wird, besteht darin, daß das Licht, welches das Bild tagsüber hat, primär natürliches Licht enthält.

Andererseits, wie aus Fig. 17C der Grund ersehen werden kann, besteht der Grund, warum der "Einstellfarbenbereich, welcher die Farbsignalbedingung der Straßenoberfläche bei Nacht" erfüllt, einen breiteren Abschnitt rechts unten in Fig. 5C aufweist, verglichen mit dem "Einstellfarbenbereich, welcher die Farbsignalbedingung der Straßenoberfläche bei Tag" erfüllt, darin, daß das äußere Licht primär Lampenlicht von Fahrzeugen, oder dergleichen, zur Nachtzeit enthält. Ein solches Licht enthält gewöhnlich Gelbkomponenten, die stärker als das natürliche Licht sind, so daß das betroffene Gebiet einen großen Bereich auf der Gelbseite aufweist.

Weiterer besteht der Grund dafür, daß der Offset-Wert (Nacht-Offset-Wert) des "Einstellfarbenbereichs, welcher die Luminanzsignalbedingung der Stra­ ßenoberfläche bei Nacht" erfüllt, größer als der Offset-Wert (Tag-Offset- Wert) des "Einstellfarbenbereichs, welcher die Luminanzsignalbedingung der Straßenoberfläche bei Tage" erfüllt, darin, daß die Luminanz zur Nachtzeit stärker beeinflußt wird als tagsüber (beispielsweise durch eine Straßenleuchte, weil sie durch äußeres Licht beeinflußt wird).

Wie aus dem Vergleich zwischen den Fig. 17A und 17C hervorgeht, ist demgemäß der Einstellbereich für die Nachtzeit-Farbsignalbedingung größer. Ähnlich ist beim Vergleich der Fig. 17B mit der Fig. 17D der Offset-Wert für die Nachtbedingung größer.

Daher wird in einem sich anschließenden Aktualisierungsschritt der Entnah­ mefarben-Bedingung (S208) ein vorbestimmter Bereich vorgesehen, beispiels­ weise ein Bereich von ±0,05, um beispielsweise insgesamt drei Arten von Bereichen einzurichten, die den Bereich als Grenzen benutzen, nämlich einen "Vergrößerungsbereich", einen "Beibehaltungsbereich" und einen "Minimie­ rungsbereich".

Anschließend wird in ähnlicher Weise das Verfahren der Aktualisierung der Entnahmefarben-Bedingung dahingehend bestimmt, in welchem von den drei Arten von Bereichen das im Prozeß 5206 ermittelte berechnete Verteilungs­ verhältnis besteht.

Zuerst wird, wenn das Verteilungsverhältnis im "Beibehaltungsbereich" besteht, die Entnahmefarben-Bedingung nicht aktualisiert, unabhängig von den abgetasteten Farbdaten.

Nunmehr wird die Beschreibung auf den Fall bezogen, daß das Verteilungs­ verhältnis klein ist, d. h., bei dem die Anzahl der Pixel, die als Pixel der Straßenoberfläche gemäß der vorliegenden Entnahmefarben-Bedingung entnom­ men worden sind, klein ist und somit das Verhältnis im "Vergrößerungs­ bereich" besteht. Zunächst werden die Farbsignale erläutert. Es werden Mittelwerte Ca, Cb und Cc der Farbsignale der Datenelemente auf den drei horizontalen Linien La, Lb und Lc ermittelt. Wenn Mittelwerte Ca, Cb und Cc im Erstreckungsbereich des Einstellfarbenbereichs Scd (am Tage) oder Sch (in der Nacht) der Entnahmefarben-Bedingung bestehen, werden die im Speicher eingestellten Margen den Maximal- und Minimalwerten der Abtastdaten hinzugefügt, um dadurch den Erstreckungsbereich des Einstell­ farbenbereichs zu aktualisieren. Wenn andererseits einer der Mittelwerte Ca, Cb und Cc jenseits des Erstreckungsbereichs des Einstellfarbenbereiches liegt, wird die im Speicher eingestellte Marge (Festwert) dem Mittelwert derjeni­ gen Werte hinzugefügt, die jenseits des Erstreckungsbereiches liegen, um einen neuen Farberstreckungs-bereich einzustellen. Unter Benutzung des neuen Farberstreckungsbereichs wird der Einstellbereich (Scd oder Scn) der Fig. 17A (für die Tageszeit) oder der Fig. 17C (für die Nachtzeit) aktuali­ siert, d. h. vergrößert.

Nachfolgend wird das Luminanzsignal für den Fall beschrieben, daß das berechnete Verteilungsverhältnis innerhalb des "Vergrößerungsbereichs" liegt. Zuerst werden die Maximal- und Minimalwerte der Abtastdatenelemente ermittelt. Wenn der Minimalwert im Erstreckungsbereich des Einstell- Luminanzbereichs Sld oder Sln der Entnahmefarben-Bedingung liegt, wird der Einstellwert (Offset-Wert) im Speicher vom Minimalwert Sld_min oder Sln_min des Einstellbereichs Sld (für den Tag) oder Sin (für die Nacht) abgezogen, wie in Fig. 17E dargestellt.

Zusätzlich wird im Prozeß, wenn der Minimalwert der Abtastdatenelemente kleiner als derjenige der Einstell-Luminanzbereiche Sld (für den Tag) und Sln (für die Nacht) der Entnahmefarben-Bedingung ist, die im Speicher gesetzte Marge vom Minimalwert der Abtastdatenelemente abgezogen, um einen neuen Minimalwert der Entnahmefarben-Bedingung zu erhalten, so daß der Einstellbereich aktualisiert wird, wie in Fig. 17F dargestellt. Anderer­ seits wird im Falle, daß der Maximalwert der Luminanz der Abtastdaten innerhalb des Erstreckungsbereiches von Sld oder Sln des Einstell-Luminanz­ bereiches der Entnahmefarben-Bedingung liegt, der Einstellwert im Speicher vom Maximalwert Sld_max oder Sln_max des Einstell-Luminanzbereichs der Entnahmefarben-Bedingung abgezogen. Weiter wird im Falle, daß der Maximalwert der Luminanz der Abtastdaten größer als derjenige des Be­ reichs der Entnahmefarben-Bedingung ist, ein halber Wert des Unterschiedes zwischen dem Maximalwert der Abtastdaten und demjenigen des Einstell- Luminanzbereichs der Entnahmefarben-Bedingung dem Maximalwert des Ein­ stell-Luminanzbereichs der Entnahmefarben-Bedingung hinzugefügt, wodurch der Maximalwert des Einstell-Luminanzbereiches aktualisiert wird.

Weiter wird nachfolgend der Fall beschrieben, bei dem das Verteilungs­ verhältnis im "Minimierungsbereich" besteht. Was die Farbsignale anbetrifft, werden Mittelwerte Ca, Cb und Cc der Farbsignale von Datenelementen auf drei horizontalen Linien La, Lb und Lc ermittelt. Wenn die Mittelwerte Ca, Cb und Cc im Erstreckungsbereich des Einstellfarbenbereiches liegen, werden die im Speicher eingestellten Margen den Maximal- und Minimalwer­ ten der Mittelwerte Ca, Cb und Cc hinzugefügt, um einen neuen Maximal­ wert und einen neuen Minimalwert des Einstellfarbenbereiches zu erhalten, wodurch der Erstreckungsbereich des Einstellfarbenbereichs aktualisiert wird. Im Prozeß wird im Falle, daß irgend eines der Datenelemente Ca, Cb und Cc außerhalb des Einstellfarbenbereiches liegt, die Aktualisierung innerhalb des Einstellfarbenbereiches nicht durchgeführt.

Andererseits werden in bezug auf die Luminanzsignale die Maximal- und Minimalwerte der Abtastdatenelemente ermittelt, derart, daß wenn der Minimalwert jenseits des Erstreckungsbereiches des Einstell-Luminanzbereiches liegt, der Einstellmargenwert im Speicher dem Minimalwert der Abtastdaten hinzugefügt wird, um den sich ergebenden Wert als neuen Minimalwert des Einstell-Luminanzbereichs der Entnahmefarben-Bedingung einzustellen.

In dieser Operation wird, wenn der Minimalwert der Luminanz der Abtast­ datenelemente größer als derjenige der Einstell-Luminanzbereiche der Entnah­ mefarben-Bedingung ist, die im Speicher eingestellte Marge dem Minimal­ wert der Abtastdatenelemente hinzugefügt, um einen aktualisierten Minimal­ wert der Entnahmefarben-Bedingung zu erhalten. Wenn der Maximalwert der Luminanz der Abtastdaten jenseits des Erstreckungsbereiches des Einstell- Luminanzbereiches der Entnahmefarben-Bedingung liegt, wird der Einstellwert im Speicher vom Maximalwert des Einstell-Luminanzbereichs der Entnahme­ farben-Bedingung abgezogen. Wenn weiter der Maximalwert der Luminanz der Abtastdaten kleiner als derjenige des Bereichs der Entnahmefarben-Bedin­ gung ist, wird der halbe Wert der Differenz zwischen dem Maximalwert der Luminanz der Abtastdaten und demjenigen des Einstell-Luminanzbereichs der Entnahmefarben-Bedingung vom Maximalwert des Einstell-Luminanzbereichs der Entnahmbefarbenbedingung abgezogen, um so den Maximalwert des Einstell-Luminanzbereiches zu erhalten.

Wie oben beschrieben wird im Falle, daß das berechnete Verteilungsverhält­ nis in einem "Vergrößerungsbereich" liegt, die Entnahmefarben-Bedingung nach oben geöffnet, um den als Straßenoberfläche zu entnehmenden Bereich auszudehnen, so daß die Fahrzeuglinien richtig erfaßt werden. Wenn beispielsweise angenommen wird, daß die Bereiche A1, A2 und A3 jeweils den Luminanzzonen der Linien, der Radspuren und den Straßenoberflächen in bezug auf die Luminanz im Schirmbild entsprechen, wie in Fig. 17G dargestellt, wird der Einstellbereich Sld (für den Tag) oder Sln (für die Nacht) auf einen Abschnitt der Bereiche A1 und A3 ausgedehnt, sofern das Verteilungsverhältnis im "Vergrößerungsbereich" liegt.

Wenn andererseits das berechnete Verteilungsverhältnis im "Minimierungs­ bereich" liegt, wird die Entnahmefarben-Bedingung eingeengt (beschränkt), um den als Straßenoberfläche zu entnehmenden Bereich zu minimieren, so daß die Fahrzeuglinien richtig erfaßt werden.

Als nächstes wird unter Bezugnahme auf die Fig. 21 bis 25 der Prozeß des Aktualisierens der obigen Entnahmefarben-Bedingung im einzelnen beschrie­ ben.

Gemäß dem in Fig. 21 dargestellten Flußdiagramm werden die jeweiligen Prozeduren in Abhängigkeit davon durchgeführt, in welchem der drei Arten von Bereichen der Fig. 20 das berechnete Verteilungsverhältnis besteht.

Der Prozeß für den Minimierungsbereich wird unter Bezugnahme auf die Fig. 22A, 22B, 23A und 23B beschrieben.

Im Farbdaten-Minimierungsprozeß wird die Prozedur zuerst durch Unterteilen der Probendaten in zwei Zustände von eingerichteten Daten durchgeführt, wie in den Fig. 22A und 22B dargestellt. Das heißt, daß wenn eines der Abtastdatenelemente jenseits des in Fig. 22A dargestellten Bereichs liegt, der Einstellungsbereich nicht geändert wird. Zusätzlich wird im Falle, daß alle Abtastdatenelemente innerhalb des eingerichteten Bereiches liegen, wie in Fig. 22B dargestellt, ein Rechteck erhalten wird, das die Abtastdatenelemente (Maximal- und Minimalwerte der Farbdaten) umschreibt, und dann wird das Rechteck gemäß den Einstellwerten (Offset-Werten) im Speicher ausgedehnt (durch Hinzufügen der Offset-Werte zum Maximalwert der Maximaldaten und durch Subtrahieren der Offset-Werte vom Minimalwert), um den neuen Einstellbereich zu erzeugen.

Als nächstes wird im Luminanzdaten-Minimierungsprozeß die Prozedur durch Unterteilen der Abtastdaten in zwei Zustände von eingerichteten Bereichen durchgeführt, wie in den Fig. 23A und 23B dargestellt. Das heißt, daß wenn alle Abtastdatenelemente innerhalb des in Fig. 23A dargestellten eingerichteten Bereiches liegen, die Maximal- und Minimalwerte der Lumi­ nanzdatenelemente der Farbdaten erhalten werden. Ein halber Wert der Differenz zwischen dem Maximalwert der Abtastluminanzdaten und demje­ nigen des eingerichteten Bereiches wird dem Maximalwert der Abtastlumi­ nanzdaten hinzugefügt, und der Einstellwert (Offset-Wert) im Speicher wird vom Minimalwert der Abtastluminanzdaten abgezogen, um so einen neuen Einstellbereich zu erzeugen. Weiter werden, wenn irgendeines der Abtast­ datenelemente jenseits des in Fig. 23B dargestellten Bereiches liegt, die Einstellwerte (Offset-Werte) im Speicher vom Maximalwert des eingerichteten Bereichs abgezogen, und die Einstellwerte (Offset-Werte) im Speicher werden dem Minimalwert des eingerichteten Bereiches hinzugefügt, um einen neuen Einstellbereich zu schaffen.

Nunmehr wird der Vergrößerungsbereichsprozeß unter Bezugnahme auf die Fig. 24A, 24B, 25A und 25B beschrieben.

Als erstes wird im Farbdaten-Vergrößerungsprozeß die Unterteilung der Abtastdaten in zwei Zustände von eingerichteten Bereichen durchgeführt, wie in den Fig. 24A und 24B dargestellt. Das heißt, daß wenn alle Abtast­ datenelemente innerhalb des in Fig. 24A dargestellten eingerichteten Berei­ ches liegen, der Einstellbereich unverändert bleibt. Wenn irgend eines der Abtastdatenelemente jenseits des Bereiches liegt, wie in Fig. 24B dargestellt, wird der Einstellwert (Offset-Wert) im Speicher den Abtastdaten hinzugefügt, um einen neuen Einstellbereich zu erzeugen.

Anschließend wird im Luminanzdaten-Vergrößerungsprozeß die Unterteilung der Abtastdaten in zwei Zustände von eingerichteten Bereichen durchgeführt, wie in den Fig. 25A und 25B dargestellt. Das heißt, daß wenn alle Abtastdatenelemente innerhalb des eingerichteten Bereiches liegen, wie in Fig. 25A dargestellt, der Abtastwert (Offset-Wert) im Speicher dem Maxi­ malwert der eingerichteten Bereiche hinzugefügt wird, und der Einstellwert (Offset-Wert) im Speicher wird vom Minimalwert der Abtastluminanzdaten abgezogen, um dadurch einen neuen Einstellbereich zu erzeugen. Wenn irgendeines der Abtastdatenelemente außerhalb des in Fig. 25B dargestellten Bereichtes liegt, werden zusätzlich der Maximalwert und der Minimalwert der Luminanzdatenelemente der Abtastdaten erhalten. Ein halber Wert der Differenz zwischen dem Maximalwert der Abtastluminanzdaten und demje­ nigen des eingerichteten Bereiches wird dem Maximalwert der Abtastlumi­ nanzdaten hinzugefügt, und der Einstellwert (Offset-Wert) im Speicher wird vom Minimalwert der Abtastluminanzdaten abgezogen, um so einen neuen Einstellbereich zu erzeugen.

Als nächstes wird in einem Zoom-Einstellprozeß des optischen Systems (S210) gemäß den dann erkannten Daten der Straßenoberflächen die Zoom- Rate bestimmt, derart, daß sich die Breite zwischen den Linien mit der Breite des Bildschirms im unteren Abschnitt des Bildschirmes deckt.

Im Iris-Einstellprozeß (S212) wird, bei unterstellter Nacht, in bezug auf den Iris-Wert der Videokamera im normalen Betrieb (in welchem die Iris leicht geschlossen ist, weil der Iris-Wert minimiert wird, um Sättigung auch dann zu verhindern, wenn der Himmel teilweise bedeckt ist), der Bezugswert im automatischen Iris-Mechanismus so eingestellt, daß die Iris etwas geöffnet wird, um den Iris-Wert zu vergrößern.

Obowohl dies eine Sättigung für ein Objekt mit einer hohen Luminanz verursachen kann (eine weiße Linie auf der Straßenoberfläche, die Lampe eines Autos, das in der Gegenrichtung zum betroffenen Fahrzeug fährt, und dergleichen), werden die Farbdaten für ein Objekt mit einer schwächeren Luminanz klar.

Wenn andererseits Tag angenommen wird, wird der Bezugswert für norma­ len Betrieb verwendet.

Im Farbemphase-Einstellprozeß (S214) wird, wenn Nacht angenommen wird, der Umwandlungszuwachs der Farbunterschieds-Wandlerschaltung 1014 in den in Fig. 26 dargestellten Emphasezuwachs geändert.

In Folge davon kann die Farbe, die eine geringere Luminanz aufweist, in ihrer Wirkung verstärkt werden, um die Unterscheidung zwischen achromati­ schen und chromatischen Farben zu unterscheiden.

Wenn andererseits Tag angenommen wird, wird die normale Verstärkung angewandt.

Demgemäß kann bei der vorliegenden Ausführungsform selbst dann, wenn der Beleuchtungszustand auf der Straßenoberfläche in Abhängigkeit vom Unterschied zwischen Tag und Nacht, oder von der Variation der Intensität des Sonnenlichtes, und vor und nach einem Tunnel, die Entnahmebedingung in Verbindung mit der Änderung des Beleuchtungszustandes geändert werden, was es deshalb ermöglicht, den Straßenoberflächenbereich in garantierter Weise kontinuierlich zu erkennen.

Wie oben im einzelnen beschrieben wurde, ändert sich gemäß der vorliegen­ den Ausführungsform im Falle, daß die Straße mit achromatischer Farbe vorher von anderen chromatischen Farben befreit wird und anschließend der Prozeß der Erkennung der Straßenoberfläche durchgeführt wird, wird die auf die Straßenoberfläche bezogene Entnahmefarben-Bedingung in Verbindung mit den umweltbedingten Änderungen (Tag und Nacht, Änderung der Intensität des Sonnenlichtes, Helligkeit vor und nach einem Tunnel etc.) variiert, wodurch eine Fahrstraßenoberflächen-Überwachungsvorrichtung geschaffen wird, die in der Lage ist, auf garantierte Weise den für das Fahren des betreffenden Fahrzeuges verfügbaren Straßenbereich zu erkennen.

Nachfolgend wird unter Bezugnahme auf die Zeichnungen eine dritte Aus­ führungsform der Bildbearbeitungsvorrichtung gemäß der vorliegenden Erfin­ dung beschrieben.

Fig. 27 zeigt die Konfiguration der Bildbearbeitungsvorrichtung gemäß der vorliegenden Erfindung.

Die Vorrichtung umfaßt einen Bildaufnahmeteil 2001, einen Bearbeitungsteil 2005, einen Speicher 2023 und einen Displayteil 2014. Weiter umfaßt der Prozeßteil 2005 einen Bildaufnahmeprozeßteil 2006 und einen Entscheidungs­ teil 2007. Zusätzlich werden Signale zwischen dem Entscheidungsteil 2007 und einem Fahrzeugzustandssensor 2020, einem Fahrzeugbewegungs-Controller 2022 und einer Alarmvorrichtug 2021 übermittelt. Bei dieser Ausführungs­ form kann der Displayteil fortgelassen werden.

Nachfolgend werden die jeweiligen konstituierenden Elemente der Vorrich­ tung der vorliegenden Ausführungsform beschrieben.

Zuerst soll der Bildaufnahmeteil 2001 beschrieben werden.

Eine CCD-Kamera 2002 ist die Bildaufnahmeeinrichtung zum Aufnehmen eines Objektes, das sich vor derselben befindet, um Bildinformationen zu erhalten, wobei sie die Funktion der Umwandlung der Bildinformation des Objektes in ein analoges Farbsignal besitzt. Wenn die Kamera 2002 bei­ spielsweise auf dem Fahrzeug verwendet wird, braucht die Kamera 2002 nur in einer freien Position in der Nähe des Kühlergrills im Frontabschnitt des Fahrzeugs oder in einer Position angebracht werden, die eine breite Sicht nach vorne in der Nähe des Rückspiegels oder der Sonnenblende im Auto aufweist.

Als nächstes führt ein A/D-Wandler 2003 den Prozeß der Umwandlung des von der CCD-Kamera 2002 ausgegebenen analogen Bildsignals in ein digita­ les Signal durch. Anschließend führt die Farbunterschieds-Wandlerschaltung 2004 die Prozedur zur Umwandlung der vom A/D-Wandler 2003 ausgegebe­ nen digitalen Signale, d. h. der digitalen Signale entsprechend den drei Primärfarben (R (rot), G (grün), B (blau)) des Objektes in das Luminanzsi­ gnal Y und die Farbunterschiedssignale R-Y und B-Y durch, wie sie in den nachfolgenden Formeln definiert sind.

Y = 0,3R + 0,6G + 0,1B

R-Y = 0,7R - 0,6G - 0,1B

B-Y = -0,3R - 0,6G - 0,9B.

Die durch die Umwandlung gemäß den obigen Formeln erhaltenen Lumi­ nanz- und Farbunterschiedssignale werden in eine Verzögerungsschaltung 2016 eingegeben und dann in einem Puffer 2025 gespeichert.

Nachfolgend wird der Bearbeitungs- bzw. Prozeßteil 2005 beschrieben. Da der Inhalt der Operationen desselben später beschrieben wird, werden in den nachfolgenden Absätzen nur die Funktionen der entsprechenden Komponenten kurz beschrieben.

Wie in Fig. 27 dargestellt, umfaßt der Prozeßteil 2005 einen Bildaufnahme­ prozeßteil 2006 und einen Entscheidungsteil 2007.

Zunächst sollen die Komponenten des Bildaufnahmeprozeßteils 2006 beschrie­ ben werden.

Der Puffer 2025 ist eine Einrichtung zum Speichern der vom Farbunter­ schiedswandler 2004 gelieferten Bildinformationen. Es ist nicht unbedingt erforderlich, daß der Puffer 2025 die Kapazität eines einzelnen Rahmens aufweist. Wenn beispielsweise die Prozeßeinheit des Bildprozesses drei Linien beträgt, braucht der Puffer nur mit einer Kapazität von drei Linien konfiguriert sein.

Eine Bild-Zoom-Schaltung 2008 empfängt die vom Puffer 2025 gelieferten Bildinformationen, um durch einen Zoom-Bedingungs-Entscheidungsteil 2009, der später beschrieben wird, eine Prozedur zur Vergrößerung der Bildinfor­ mation nur in horizontaler Richtung (beispielsweise für jede horizontale Zeile) gemäß einer Zoom-Bedingung (unter Einschluß der Zoom-Mittenkoor­ dinaten und des Verstärkungsfaktors) durchzuführen, welche für jede horizon­ tale Zeile entschieden worden ist, und dann führt sie eine Prozedur zur Übertragung der vergrößerten Bildinformation an eine Entnahmeprozeßschal­ tung 2010 durch. In dieser Hinsicht kann der Puffer 1025 möglicherweise fortgelassen werden, so daß die Bildinformationen jeder horizontalen Zeile von der Farbunterschieds-Wandlerschaltung 4 an den Bildprozeßteil 1006 übertragen wird.

In dieser Beschreibung handelt es sich bei den Zoom-Mittenkoordinaten um Parameter, die eine Position des Bezugspunktes für die Vergrößerungsproze­ dur anzeigen, und der Vergrößerungsfaktor ist ein Parameter, um den Vergrößerungsfaktor der Bildinformation zu kennzeichnen.

Die Entnahmeprozeßschaltung 2010 entnimmt aus der vergrößerten Bild­ information Pixel, die in Verbindung mit den vorbestimmten Entnahme­ farben-Bedingungsdaten stehen, führt einen Bildbearbeitungsprozeß für die Pixel durch, um Rauschen und dergleichen zu beseitigen, und überträgt dann die Positionskoordinaten (Randkoordinatendaten) entsprechend den entnomme­ nen Pixeln auf der fraglichen horizontalen Zeile an den Randkoordinaten- Wandlerteil 11. Übrigens sind die Entnahme-Bedingungsdaten bestimmte Luminanz- und Farbunterschiedsdaten. Normalerweise ist es bei Benutzung der Luminanz- und Farbunterschiedsdaten der Straßenfarbe (Fahrbahn) nur erforderlich, vorher die Entnahmefarben-Bedingungsdaten im Speicher 2023 zu speichern, so daß die Entnahmeprozeßschaltung 2010 die Daten aus demselben entnimmt, wenn es erforderlich ist.

In diesem Zusammenhang sei bemerkt, daß, bei Unterstellung eines Wech­ selpunktes bei der Untersuchung einer einzelnen horizontalen Zeile von einem Pixel, das nicht die Entnahmefarben-Bedingungsdaten erfüllt, zu einem Pixel, das die Bedingungsdaten erfüllt, das die Bedingungsdaten erfüllende Pixel ein Anstiegsflankenpixel genannt wird, und daß die Koordinatendaten desselben als Randkoordinatendaten des Anstiegsflankenpixels bezeichnet werden. Ähnlich wird, bei Unterstellung eines Wechselpunktes bei der Un­ tersuchung einer einzelnen horizontalen Zeile von einem Pixel, das die Entnahmefarben-Bedingungsdaten erfüllt, zu einem Pixel, das die Bedingungs­ daten nicht erfüllt, das die Bedingungsdaten erfüllende Pixel ein Abstiegs­ flankenpixel genannt, und die Koordinatendaten desselben werden als Rand­ koordinatendaten des Abstiegsflankenpixels bezeichnet. In diesem Zusammen­ hang umfassen die Randkoordinatendaten, zusätzlich zu der Koordinaten­ information, Informationen die angeben, daß die Randkoordinaten auf die ansteigende oder absteigende Flanke bezogen sind.

Anschließend wandelt ein Randkoordinaten-Umwandlungsteil 2011 gemäß den Zoom-Mittenkoordinaten und dem vom Zoom-Bedingungs-Entscheidungsteil 2009 übertragenen Vergrößerungsfaktor die Randkoordinatendaten, welche von der Entnahmeprozeßschaltung 2010 übertragen worden sind, in Koordinaten­ daten vor der Vergrößerung um, um die sich ergebenden Koordinatendaten an einen Linienerkennungsteil 2012 zu übertragen. Die Zoom-Mittenkoor­ dinaten und der Vergrößerungsfaktor werden später in Verbindung mit dem Bild-Zoom-Prozeß im einzelnen beschrieben.

Basierend auf den vom Randkoordinaten-Umwandlungsteil 2011 übertragenen Randkoordinatendaten entnimmt der Linienerkennungsteil 2012 Randkoor­ dinatendaten entsprechend der linken und der rechten Linie für die Fahr­ bahn, auf der das fragliche Fahrzeug fährt. Gemäß den entnommenen Randkoordinatendaten erkennt der Teil 2012 die linke und die rechte Linie, um die Ergebnisse der Erkennung an den Zoom-Bedingungs-Entscheidungsteil 2009, den Gefahrenentscheidungsteil 2013 und den Austauschteil 2015 zu übertragen. Übrigens kann die Erfassung der Randkoordinaten und die Erkennung der Linien des Fahrzeugs in der gleichen Weise wie bei der ersten Ausführungsform durchgeführt werden.

Anschließend empfängt der Zoom-Bedingungs-Entscheidungsteil 2009 die vom Linienerkennungsteil 2012 empfangenen erkannten Linieninformationen, um die Zoom-Mittenkoordinaten und den Vergrößerungsfaktor zu berechnen, und er überträgt dann die Koordinaten und den Faktor an den Randkoordinaten- Umwandlungsteil 2011 und die Bild-Zoom-Schaltung 2008. Es kann auch möglich sein, die Zoom-Bedingung einschließlich der Zoom-Mittenkoordinaten und der Vergrößerungsmitte für jede horizontale Zeile vorher einzustellen, um den Bildvergrößerungsprozeß durchzuführen.

Als nächstes werden die konstituierenden Elemente des Displayteils 2014 beschrieben.

Die Verzögerungsschaltung 2016 hat die Funktion, die eingegebenen Bild­ informationen während einer Zeitperiode entsprechend den verschiedenen Werten der Bearbeitungszeit im Bearbeitungsteil 2005 zu verzögern, und bildet eine Schaltung zum Abstimmen der Synchronisation, wenn das von der Farbunterschieds-Umwandlungsschaltung 2004 ausgegebene Signal und das vom Linienerkennungsteil 2012 ausgegebene Bearbeitungsergebnis in die Austauschschaltung 2015 eingegeben werden.

Danach überlagert die Austauschschaltung 2015 das Bearbeitungsergebnis des Bearbeitungsteils 2005 über das durch die Verzögerungsschaltung 1016 ver­ zögerte Bild. Insbesondere wird die Bildinformation von Linien, die vom Linienerkennungsteil 2012 erkannt werden, wie in Fig. 42B dargestellt, einem Aufnahmebild überlagert, das von der Verzögerungsschaltung 2016 ausgegeben wird, wie in Fig. 42B dargestellt, und für das jeder Bildbearbei­ tungsprozeß durchgeführt worden ist, so daß Bildinformationen erhalten werden, in denen die erkannten Linien auf dem Aufnahmebild gezogen bzw. abgebildet sind, wie in Fig. 42C dargestellt. Überdies ist es für den Fall, daß der Gefahrenentscheidungsteil 2013 die Alarmvorrichtung 2012 auslöst, nur erforderlich, das System so aufzubauen, daß die Überlagerungsinforma­ tionen gleichzeitig an die Austauschschaltung 2015 geliefert werden, um Warninformationen auf dem Monitor 2018 anzuzeigen. Fig. 42D zeigt einen Zustand, bei dem die Alarminformation auf dem Monitor 2018 darge­ stellt ist.

Weiter ist die Codierschaltung 2017 eine Schaltung zum Umwandeln der von der Austauschschaltung 2015 ausgegebenen Bildinformation in ein NTSC- Signal.

Der Monitor 2018 empfängt dann das NTSC-Signal und stellt die dement­ sprechende Bildinformation auf einem Displayschirm dar.

Als nächstes werden die Komponenten des Entscheidungsteils 2007 beschrie­ ben.

Die Entscheidungsschaltung 2007 ist übrigens ein Beispiel, bei dem die vorliegenden Ausführungsform der Erfindung bei einer Vorrichtung zur Erregung der Aufmerksamkeit des Fahrers angewandt wird, während der Entscheidungsteil selber nicht im maßgeblichen Teil der Ausführungsform enthalten ist.

Der Fahrzeugzustands-Entscheidungsteil 2019 bestimmt den Fahrzustand des Fahrzeugs gemäß einem Signal, das vom Fahrzeugzustandssensor 2020 geliefert wird, und überträgt dann die Ergebnisse der Entscheidung an den Gefahrenentscheidungsteil 2013.

In der dargestellten Konfiguration ist der Fahrzeugzustandssensor 2020 eine Einrichtung zur Erfassung der Bewegungsenergie des Fahrzeugs, der Bedie­ nungsabsichten des Fahrers, und dergleichen; und er umfaßt einen Fahrzeug­ geschwindigkeitssensor zum Messen der Geschwindigkeit des Fahrzeugs, einen Richtungsanzeiger, einen Steuerwinkelsensor und dergleichen.

Der Gefahrenentscheidungsteil 2013 erkennt die Fahrbahn des Fahrzeugs gemäß den vom Linienerkennungsteil 2012 gelieferten Randkoordinatendaten der linken und der rechten Linie sowie das Vorhandensein eines Autos; er erkennt ein Hindernis vor dem Fahrzeug gemäß den Randkoordinatendaten, die sich auf andere Objekte als die vom Linienerkennungsteil 2012 geliefer­ ten Daten der linken und der rechten Linie beziehen; und er erkennt den Gefahrengrad für das Fahren des Fahrzeugs gemäß den Daten, die vom Fahrzeugzustands-Entscheidungsteil 2019 übertragen werden.

Im Falle beispielsweise, daß die Geschwindigkeit des vom Fahrzeuggeschwin­ digkeitssensor erfaßten Fahrzeugs gleich einem vorbestimmten Wert oder größer als dieser ist, und daß das Vorhandensein eines Autos oder der­ gleichen in einer bestimmten Position in der Frontseitenbildinformation erkannt wird, nimmt der Gefahrenentscheidungsteil 2013 einen Gefahrenzu­ stand an und löst den Fahrzeugbewegungs-Controller 2022 und die Alarm­ vorrichtung 2021 aus. Der Fahrzeugbewegungs-Controller 2022 ist eine Einrichtung zum Überwachen des Antriebssystems, des Steuersystems und des Lenksystems. Ein spezielles Beispiel bildet eine automatische Bremse, oder dergleichen.

Weiter kann die Alarmvorrichtung 2021 irgendeine Einrichtung sein, die die Aufmerksamkeit des Fahrers durch den Hör- und/oder den Gesichtssinn des Fahrers anregt; beispielsweise kann ein, von einer Melodie begleiteter Fahr­ betrieb und von einem LED-Display Gebrauch gemacht werden.

Das obige Konfigurationsbeispiel des Entscheidungsteils 2007 kann auf verschiedene Weise in die Praxis umgesetzt werden.

Weiter speichert der Speicher 2023 die Zoom-Bedingung, die durch den Zoom-Bedingungs-Entscheidungsteil 2009 bestimmt worden ist, und er funk­ tioniert als Arbeitsbereich, wenn der Linienerkennungsteil 2012, und der­ gleichen, Prozeduren durchführt.

Nunmehr soll die Betriebsweise der Ausführungsform der Erfindung be­ schrieben werden.

Bei dieser Vorrichtung werden die primären Prozeduren gleichzeitig mit unterschiedlichen Zyklen durchgeführt.

Der "erste Prozeß" umfaßt eine Sequenz von Prozeduren, in denen die von der CCD-Kamera 2002 erhaltene Bildinformation über den A/D-Wandler 2003 aus der analogen Form in eine digitale Form umgewandelt wird, woraufhin das digitale Signal weiter durch die Farbunterschieds-Umwand­ lungsschaltung 2004 in ein Luminanzsignal sowie in Farbunterschiedssignale umgewandelt wird, derart, daß die Signale während einer vorbestimmten Zeitperiode durch die Verzögerungsschaltung 2016 verzögert werden, um durch eine Funktion der Austauschschaltung 2015 einem Bildbearbeitungs­ prozeß unterzogen zu werden, dessen Ergebnis durch die Codierschaltung 2017 in ein NTSC-Signal umgewandelt wird, woraufhin die Ergebnisse des Prozesses auf dem Monitor 2018 dargestellt werden.

Als erstes wird der "erste Prozeß" unter Bezugnahme auf die Fig. 27 und 28 beschrieben.

Wenn die Vorrichtung betätigt wird, um die Energieversorgung der Vor­ richtung einzuschalten (S402), wird ein Initialisierungsprozeß durchgeführt (S404). Die Initialisierung der Vorrichtung umfaßt beispielsweise eine Prozedur zum Löschen des Arbeitsbereichs im Speicher 2023. Weiter umfassen die von einer Person über einen nicht dargestellten Eingabeteil durchzuführenden Operationen die anfängliche Einstellung des Aufnahmeteils 2001 und des Displayteils 2014 sowie eine Operation zum Einstellen der Entnahmefarben-Bedingung und der Anfangswerte der im zweiten Prozeß, welcher später beschrieben wird, zu verwendenden Zoom-Bedingung.

Als nächstes wird ein Signal entsprechend der von der CCD-Kamera 2002 empfangenen Frontseiten-Bildinformation als analoges RGB-Signal ausgegeben (S406).

Weiter wandelt der A/D-Wandler 2003 das analoge RGB-Signal in ein digitales RGB-Signal um (S408), und dann wandelt die Farbunterschiedsschal­ tung das digitale RGB-Signal in ein Luminanzsignal und in Farbunterschieds­ signale gemäß den oben beschriebenen Umwandlungsformeln um (S410).

Anschließend empfängt die Verzögerungsschaltung 2016 als Eingangssignal ein von der Farbunterschieds-Umwandlungssschaltung 2004 ausgegebenes Bildsignal, um dann die Eingabesignale für eine Prozeßperiodendauer zu verzögern, die der Prozeß- bzw. Bearbeitungsteil 2005 benötigt (S412), um die Synchronisation in bezug auf das vom Prozeßteil bearbeitete Signal durchzuführen.

Weiter führt die Austauschschaltung 2015 eine Prozedur zum Überlagern der vom Bearbeitungsteil 2005 gelieferten Prozeßergebnisses über die ursprüng­ liche Bildinformation, die keiner Bearbeitung unterzogen worden ist (S414) durch, und dann wird das von der Austauschschaltung 2015 gelieferte Ausgangssignal durch die Codierschaltung 2017 in ein NTSC-Signal umge­ wandelt (S416), um ein Darstellungsbild entsprechend dem NTSC-Signal auf dem Monitor wiederzugeben (S418).

Um im nächsten Zyklus Bildinformationen über ein Objekt zu erhalten, geht anschließend die Steuerung nach Schritt 406 über. Die obigen Prozeduren werden übrigens nacheinander mit dem Zyklus der Rahmenrate durchgeführt (beispielsweise 16,7 ms).

Als nächstes wird der "zweite Prozeß" beschrieben.

Der zweite Prozeß umfaßt eine Folge von Prozeduren, in denen die vom Aufnahmeteil 2001 gelieferten Bildinformationen in horizontaler Richtung durch den Bild-Zoom-Prozeß (Bildexpansion) expandiert werden (S420); die Randpixel werden entnommen (S422); Linien, die sich auf die Fahrbahn beziehen, werden für das Fahren des Fahrzeugs erkannt (S428); es wird entschieden, ob sich das Fahrzeug in einem Gefahrenzustand befindet (S436); die Warnvorrichtung 2021 wird betätigt (Alarm; S438); und der Fahrzeug­ bewegungs-Controller 2022 wird eingeschaltet (Ausweichen; S440).

Diese Prozeduren werden jeweils entsprechend unter Bezugnahme auf die Fig. 27, 28, 29A bis 29D und 30 beschrieben.

Wenngleich der Bild-Zoom-Prozeß (S420) später noch im einzelnen beschrie­ ben wird, expandiert die Bild-Zoom-Schaltung 2008 die durch die Aufnahme­ operation erhaltenen Bildinformationen nur in horizontaler Richtung entspre­ chend der eingestellten Zoom-Bedingung, um dadurch die Bilder der Straßen­ oberfläche, der weißen Linie und dergleichen zu expandieren. Beispielsweise wird eine Prozedur durchgeführt, bei der das in Fig. 29A ursprüngliche Bild vergrößert wird, wie in Fig. 28B dargestellt.

Beim Randentnahmeprozeß (S422) entnimmt die Entnahmeprozeßschaltung 2010 Randpixel, wie oben beschrieben. Die Operation ist in Fig. 29C dargestellt. Natürlich werden auch Randkoordinatendaten entnommen.

Weiter zeigt Fig. 30 ein Flußdiagramm der Inhalte der Prozedur des Ran­ dentnahmeprozesses (S422).

Im Pixelentscheidungsprozeß (S222) wird die erstellte Entnahmefarben-Bedin­ gung mit den Farbdaten aller Pixel verglichen, um diejenigen Pixel zu entnehmen, die die Entnahmefarben-Bedingung erfüllen. Danach wird im Randpunkt-Entscheidungsprozeß (S224), zur Beseitigung von Rauschen, ein Glättungsprozeß unter Verwendung beispielsweise einer "3 Pixel × 3 Pixel"- Raumfilterung durchgeführt. Wenn 50% oder mehr der neun Pixel die Entnahmefarben-Bedingung erfüllen, wird angenommen, daß die neun Pixel die Entnahmefarben-Bedingung erfüllen.

Weiter wird im Falle, daß bei der Untersuchung der expandieren Bildinfor­ mationen, wie in Fig. 29B für jede horizontale Zeile dargestellt ist, ein Wechsel von einem Pixel, das die Entnahmefarben-Bedingungsdaten nicht er­ füllt, zu einem Pixel, das die Entnahmefarben-Bedingungsdaten erfüllt, stattfindet, dasjenigen Pixel, das die Entnahmefarben-Bedingungsdaten erfüllt, Anstiegsflankenpixel genannt wird, und die Koordinatendaten desselben als Randkoordinatendaten der Anstiegsflankenpixel bezeichnet werden. In ähn­ licher Weise werden im Falle, daß bei der Untersuchung der expandierten Bildinformation jeder horizontalen Zeile ein Wechsel von einem Pixel, das die Entnahmefarben-Bedingungsdaten erfüllt, zu einem Pixel, das die Entnah­ mefarben-Bedingungsdaten nicht erfüllt, stattfindet, das die Entnahmefarben- Bedingungsdaten erfüllende Pixel ein Abstiegsflankenpixel genannt wird, und die Koordinatendaten desselben als Randkoordinatendaten des Abstiegsflanken­ pixels bezeichnet werden.

Danach werden die Randkoordinatendaten an den Randkoordinaten-Umwand­ lungsteil 2011 übertragen. Bei dem in Fig. 30 dargestellten Beispiel können übrigens beim Bearbeiten der Bildinformation, die Straßenoberflächen und Fahrzeuglinien umfaßt - sofern sich andere Autos oder dergleichen auf der Straßenoberfläche befinden - Randpixel entnommen werden, die nicht die Linie bilden.

Als nächstes werden in einem Randkoordinaten-Umwandlungsprozeß (S424) Randkoordinatendaten gemäß den Zoom-Mittenkoordinaten und dem vom Zoom-Bedingungs-Entscheidungsteil 2009 übertragenen Vergrößerungsfaktor in Koordinatendaten vor der Vergrößerung umgewandelt, um an den Linien­ erkennungsteil 2012 übertragen zu werden.

In diesem Zusammenhang zeigen die Fig. 31A und 31B jeweils Bildinforma­ tionselemente vor und nach der Vergrößerung. Unter Benutzung der Zoom- Mittenkoordinate C auf der y-ten horizontalen Zeile relativ zum obersten Rand des Bildschirms, und der Benutzung des Vergrößerungsfaktors R werden die Randkoordinatendaten P' der Fig. 31B vor der Vergrößerung in Randkoordinatendaten P gemäß der nachfolgenden Formel umgewandelt. In der Formel bezeichnet W die horizontale Richtungsbreite eines Satzes von Pixeln, welche die Bildinformation bilden.

P = (P' - W/2)/R + C

Weiter werden in einem Linienerkennungsprozeß (S428), entsprechend den übertragenen Randkoordinatendaten, eine Mehrzahl von annähernd Geraden in einem Verfahren ermittelt, das beispielsweise in Fig. 9 dargestellt ist, welche sich auf die erste Ausführungsform der Erfindung bezieht, um auf diese Weise durch Schätzung Linien für die Fahrbahn des betreffenden Fahr­ zeugs zu erhalten, wie in Fig. 29E dargestellt.

Kurz gesagt führt der Linienerkennungsteil 2012 folgende Prozeduren durch.

Zunächst führt der Linienerkennungsteils 2012 eine Trennprozedur für die Randkoordinatendaten aus, welche vom Randkoordinaten-Umwandlungsteil 2011 übermittelt wurden, indem sie entscheidet, ob sich die Daten auf Randpixel für die linke Linie, auf Randpixel für die rechte Linie oder auf Randpixel für die anderen Linien beziehen.

In diesem Prozeß werden die Randpixelarten auf der Basis des Randkoor­ dinaten-Umwandlungsteils 2011 bestimmt. In dieser Situation enthalten die Randkoordinatendaten Koordinateninformationen von jedem Randpixel, sowie Informationen, die anzeigen, daß sich die Daten auf die ansteigende oder die absteigende Flanke beziehen. Wenn die Straßenoberflächenfarbe als Entnah­ mefarben-Bedingungsdatum eingestellt wird, bezeichnen die Anstiegsflankenpi­ xel im allgemeinen die linke Linie und die Abstiegsflankenpixel die rechte Linie. Wenn aber ein Auto oder ein Hindernis auf dem Straßenoberflächen­ bereich vor dem interessierenden Fahrzeug vorhanden ist, werden auch andere Randpixel als die der Linien als Randpixel von Fahrzeuglinien erkannt.

Um diesen Nachteil zu beseitigen ist es nur erforderlich, bei der Entschei­ dung anzunehmen, daß die Anstiegsflankenpixel, die sich links von der zentralen Linie des Bildschirms der Fig. 29A bis 29E befinden, Randpixel der linken Linie sind; daß die Abstiegsflankenpixel rechts von der zentralen Linie Randpixel der rechten Linie sind; und daß die anderen Randpixel Randpixel des Autos oder dergleichen, vor dem fraglichen Fahrzeug sind.

Anschließend werden unter Benutzung der Randkoordinatendaten der Randpi­ xel für die linke und für die rechte Linie angenäherten Geraden ermittelt, beispielsweise gemäß dem Verfahren der kleinsten Quadrate, so daß die Geraden als Erkennungslinien gesetzt werden. In dieser Hinsicht wird angenommen, daß sich Koordinatendaten von anderen Randpixeln als denen der linken und der rechten Linie auf Pixel beziehen, die das Auto vor dem fraglichen Fahrzeug anzeigen. Von den Randkoordinatendaten wird unter­ stellt, daß Randkoordinaten, die sich in einer Position in der Nähe des fraglichen Fahrzeugs befinden, die Position des Autos anzeigen.

Als nächstes wird im Gefahrenentscheidungsprozeß (S436) der Fahrzustand des Fahrzeugs (wie etwa die Fahrzeuggeschwindigkeit) gemäß einem vom Fahrzeugzustandssensor (beispielsweise einem Fahrzeuggeschwindigkeitssensor) gelieferten Signal bestimmt, um abzuschätzen, ob sich das Fahrzeug in einem gefährlichen Zustand gemäß der Beziehung zwischen den Entschei­ dungsergebnissen, der durch die Linien bestimmten, verfügbaren Straßenober­ fläche und der Position des Autos vor dem Fahrzeug befindet.

Wenn beispielsweise die durch den Fahrzeuggeschwindigkeitssensor erfaßte Fahrzeuggeschwindigkeit einem vorbestimmten Wert entspricht oder größer als dieser ist, und wenn sich die Position des Autos innerhalb eines vorbe­ stimmten Bereiches befindet, wird entschieden, daß sich das fragliche Fahr­ zeug in einem gefährlichen Zustand befindet.

Wenn weiter der gefährliche Zustand durch den Gefahrenentscheidungsteil 2013 im Alarmprozeß (S438) festgestellt wird, wird die Alarmvorrichtung 2021 ausgelöst, um den Zustand dem Fahrer des Fahrzeugs anzuzeigen.

Danach wird im Ausweichprozeß (S440), wenn der gefährliche Zustand durch den Gefahrenentscheidungsteil 2013 festgestellt worden ist, der Fahr­ zeugbewegungs-Controller 2022 in Betrieb gesetzt.

In diesem Zusammenhang sei bemerkt, daß die Vorrichtung auch in der Weise konfiguriert werden kann, daß wenn festgestellt worden ist, daß die Handlungen des Fahrers in bezug auf das Warnen über den gefährlichen Zustand unzureichend sind, der Fahrzeugbewegungs-Controller 2022 betätigt wird.

Wie oben gesagt, führt die Vorrichtung bei ihrem Betrieb den Ablauf der Prozesse wiederholt durch.

Als nächstes wird der Bild-Zoom-Prozeß (S420) im einzelnen beschrieben, der der primäre Prozeß der vorliegenden Ausführungsform der Erfindung ist.

Fig. 32 zeigt ein Flußdiagramm zur Erläuterung der Prozeßinhalte des Bild- Zoom-Prozesses (S420).

Zuerst ermittelt der Zoom-Bedingungs-Entscheidungsteil 2009 unter Bezugnah­ me auf die Koordinatendaten der Erkennungslinien und dergleichen, die im Prozeß während des vorhergehenden Zyklusses erhalten wurden, die Zoom- Mittenkoordinate und den Vergrößerungsfaktor für jede horizontale Zeile (S502).

Im Prozeß sind die Zoom-Mittenkoordinaten Parameter für die Vergrößerung der Bildinformationen, die eine Position eines Bezugspunktes anzeigen; und der Vergrößerungsfaktor ist ein Parameter, der den Faktor zur Vergrößerung der Bildinformationen bezeichnet. Es ist möglich, daß die Zoom-Mittenkoor­ dinaten, beispielsweise, auf eine Mittenposition der Fahrzeugfahrbahn einge­ stellt werden, die durch die erkannte linke und rechte Linie begrenzt wird, und daß der Vergrößerungsfaktor derart bestimmt ist, daß die vergrößerten Linien innerhalb des Bildschirmes liegen (beispielsweise etwa 80% Bild­ schirmbreite W). Diese Parameter werden durch den Zoom-Bedingungs- Entscheidungsteil 2009 mit Hilfe einer Operation bestimmt, die dazu dient, die Mittenposition der Fahrzeugfahrbahn, die von der erkannten linken und rechten Linie begrenzt wird, und die Fahrbahnbreite unter Bezugnahme auf die Randkoordinatendaten der Linien zu bestimmen, welche vom Linienerken­ nungsteil 2012 geliefert werden. Wenn die Zoom-Mittenkoordinaten und der Vergrößerungsfaktor nicht sequentiell aktualisiert werden müssen, ist es natürlich möglich, vorher diese Elemente für jede im Zoom-Bedingungs-Ent­ scheidungsteil 2009 zu speichernde horizontale Zeile festzusetzen.

Nunmehr wird die Betriebsweise unter Bezugnahme auf Schirmbilder be­ schrieben, auf denen aktuelle Szenen dargestellt sind.

Fig. 33A zeigt ein Beispiel der Ergebnisse der Linienerkennung, die durch den Prozeß im früheren Zyklus erhalten wurden. Bei der y-ten horizontalen Zeile relativ zum obersten Rande des Bildschirms sei angenommen, daß xl die linke Linienkoordinate ist und xr die rechte Linienkoordinate ist, so daß die Zoom-Mittenkoordinate C und der Vergrößerungsfaktor R durch die nachfolgenden Formeln ausgedrückt werden können:
Zoom-Mittenkoordinate: C = (xr + xl)/2
Vergrößerungsfaktor: R = α × W/(xr - xl),
wobei: (xr - xl)/W < α 1.

In den Formeln ist α ein Koeffizient zur Begrenzung der vergrößerten Linien innerhalb des Bildschirms. Wenn α den Wert 1 aufweist, gleicht der Abstand zwischen den Linien der Breite des Bildschirms. Wenn aber α kleiner als der niedrigste Wert ((xr - xl/W) ist, ist R kleiner als 1, und infolgedessen wird die Bildinformation minimiert. Dementsprechend wird α = (sr - xl)/W eingestellt, denn der Vergrößerungsfaktor R = 1. In diesem Zusammenhang bezeichnet W die Bildschirmbreite.

Fig. 33B zeigt ein Beispiel der vergrößerten Bildinformation, mit α = 0,8.

In diesem Falle ist der Vergrößerungsfaktor R auf R = 1 für den unteren Abschnitt, beginnend bei der y_c-ten horizontalen Zeile und R = 0,8 × ((xr = xl/W) für den oberen Abschnitt eingestellt. Das heißt, daß gemäß der Einstelloperation der Abstand zwischen den Linien 80% des Bildschirmes im oberen Abschnitt besitzt, beginnend bei der y_c-ten horizontalen Zeile.

Als nächstes zeigt Fig. 34 ein Beispiel der Ergebnisse der Linienerkennung im Falle, daß eine kurvenförmige Straße angenommen wird, d. h., daß die erkannte linke Linie nur teilweise im Bildschirm vorhanden ist. In dieser Situation fehlt bei der y-ten horizontalen Zeile relativ zum obersten Rande des Bildschirms die linke Linienkoordinate im Bildschirm. Unter der Annahme, daß die xr rechte Linienkoordinate ist, werden die Zoom-Mitten­ koordinate und der Vergrößerungsfaktor R durch folgende Formeln ausge­ drückt:
Zoom-Mittenkoordinate: C = xr/2
Vergrößerungsfaktor: R = α × W/xr.

Diese Formeln werden durch Einsetzen von xl = 0 in die Formeln der Zoom-Mittenkoordinate C und des Vergrößerungsfaktors R, im Zusammen­ hang mit den Fig. 33A und 33B, erhalten.

Weiter zeigt Fig. 35 ein Beispiel der Ergebnisse der Linienerkennung im Falle, daß eine kurvenförmige Straße angenommen wird, d. h., daß die erkannte rechte Linie nur teilweise auf dem Bildschirm vorhanden ist. In diesem Falle ist bei der y-ten horizontalen Zeile relativ zum obersten Rand des Bildschirms die linke Linienkoordinate xl und fehlt im Bildschirm. Daher werden die Zoom-Mittenkoordinate und der Vergrößerungsfaktor R durch folgende Formeln ausgedrückt:
Zoom-Mittenkoordinate: C = (W + xl)/2
Vergrößerungsfaktor: R = α × W/(W - xl).

Diese Formeln werden durch Einsetzen von xr = W in die Formeln der Zoom-Mittenkoordinate C und des Vergrößerungsfaktors R, in Verbindung mit den Fig. 33A und 33B, erhalten.

Anschließend führt die Bild-Zoom-Schaltung 2008 den Bildvergrößerungs­ prozeß gemäß der festgesetzten Zoom-Mittenkoordinate und dem Vergröße­ rungsfaktor durch (S504).

Bezugnehmend auf die Fig. 36A und 36B wird nunmehr der Vergrößerungs­ prozeß für eine horizontale Zeile beschrieben.

Die Beschreibung betrifft einen Fall des Vergrößerungsprozesses, bei dem 8- Pixeldaten (es wird angenommen, daß eine horizontale Zeile acht Pixel umfaßt) vergrößert werden, wobei die Zoom-Mittenkoordinate in eine Posi­ tion eingestellt ist, die durch eine Pfeilmarke bezeichnet wird, während der Vergrößerungsfaktor auf zweifach eingestellt ist, wie in Fig. 36A dargestellt.

Als erstes wird die Anzahl der Pixel für die Vergrößerung ermittelt. Da die Anzahl der Pixel nach der Vergrößerung acht sein muß, wird bei dieser Operation die Anzahl der zu vergrößernden Pixel in Anbetracht des Ver­ größerungsfaktors "2" auf vier eingestellt.

Anschließend werden Pixeldaten für die Vergrößerung gewählt. Es sei angenommen, daß vier Pixel gemäß einer Wählmitte gewählt werden, die auf die Zoom-Mittenkoordinate eingestellt ist. Die Größe der den gewählten Pixeln entsprechenden Bildinformation wird dann verdoppelt, um acht Pixel zuzuordnen, die eine horizontale Zeile bilden.

Durch diesen Prozeß wird die in Fig. 36A dargestellte Bildinformation vergrößert, wie in Fig. 36B dargestellt ist.

Indem der obige Prozeß für alle horizontalen Zeilen durchgeführt wird, wird die gesamte resultierende Bildinformation in horizontaler Richtung vergrößert.

Bezugnehmend auf die Fig. 37A bis 37C, 38A bis 38D und 39A bis 39D wird nunmehr ein konkretes Beispiel der Linienerkennung unter Benutzung des Bildvergrößerungsprozesses beschrieben.

Fig. 38A stellt ein detailliertes Diagramm des Abschnittes A (eines Teils der rechten Linie) dar, der in Fig. 37A dargestellt ist. Weiter ist Fig. 38B ein Diagramm, das die Ergebnisse des Bildvergrößerungsprozesses (Vergröße­ rungsfaktor: zweifach gemäß Fig. 38A darstellt. Wie oben beschrieben, wird im Randpunkt-Entscheidungsprozeß (Fig. 30; S504) eine räumliche "3 Pixel × 3 Pixel "-Filterungsoperation durchgeführt.

Das heißt, daß bei jedem der Bilddatenelemente P₁ bis P₃, wenn die Hälfte ihrer neun Pixel, oder mehr, nämlich fünf oder mehr Pixel, die Entnahme­ farben-Bedingung erfüllen, unterstellt wird, daß die neun Pixel die Entnah­ mefarben-Bedingung erfüllen. Übrigens zeigt Fig. 37C einen Zustand einer Änderung des für jede horizontale Zeile eingestellten Vergrößerungsfaktors. Im einzelnen wird der Vergrößerungsfaktor wie folgt ermittelt. Während der Vergrößerungsfaktor für die oberen horizontalen Zeilen, beginnend mit der N-ten horizontalen Zeile, festgesetzt wird, wird der Vergrößerungsfaktor für die unteren horizontalen Zeilen unter der N-ten horizontale Zeile nach­ einander reduziert.

Fig. 38A zeigt ein Beispiel dreier Bilddatenelemente P₁, P₂ und P₃ für den Vergrößerungsfaktor 1. Jedes Bilddatum umfaßt insgesamt neun Pixel = 3 Pixel × 3 Pixel. Im Beispiel der Fig. 38A bezeichnen von den neun Pixeln jedes der drei Bilddatenelemente P₁, P₂ und P₃, drei Pixel die weiße Linie der Fahrzeuglinie, und sechs Pixel bezeichnen die Straßenoberfläche. Andererseits bezeichnen beim Bilddatenelement P₂ alle neun Pixel die weiße Linie der Fahrzeuglinie. Daher werden im Randpunkt-Entscheidungsprozeß die Bilddatenelemente P₁ bis P₃ jeweils entsprechend als Straßenoberflächen­ pixel P₁', Weißlinienpixel P₂' und Straßenoberflächenpixel P₃' betrachtet, wie in Fig. 38C dargestellt. Zusätzlich zeigt Fig. 38B ein Bild, daß durch Verdoppeln des Bildes der Fig. 38A im Vergrößerungsprozeß erhalten wird, wobei das Bild sechs Bilddatenelemente P_1a, P_1b, P_2a, P_2b, P_3a und P_3b umfaßt. Unter den neun Pixel jedes der jeweiligen Datenelemente P_1a und P_3b bezeichnet eines der Pixel die weiße Linie der Fahrzeuglinie, und acht Pixel bezeichnen die Straßenoberfläche. Unter den neun Pixeln jedes der entsprechenden Datenelemente P_1b und P_3a bezeichnen fünf Pixel die weiße Linie der Fahrzeuglinie, und vier Pixel bezeichnen die Straßenoberfläche. Unter den neun Pixeln jeder der entsprechenden Datenelemente P_2a und P_2b bezeichnen alle neun Pixel die weiße Linie der Fahrzeuglinie. Dement­ sprechend werden im Randpunkt-Entscheidungsprozeß die Bilddatenelemente P_1a bis P_3b als Straßenoberflächenpixel P_1a' und P_3b' bezeichnet, und die Bilddatenelemente P_1b, P_2a und P_3a werden jeweils entsprechend als Weißli­ nienpixel P_1b', P_2a', P_2b' und P_3a' bezeichnet, wie in Fig. 30D dargestellt.

Infolgedessen beträgt im vergrößerten Bild das Verhältnis der weißen Linien im Bereich A (es sei auf Fig. 37 Bezug genommen) "2/3", wie in Fig. 38D dargestellt, weil der Verhältniswert im Vergleich zum ursprünglichen Bild mit einem Verhältniswert der Linien von "1/3" vergrößert ist. Wenn daher der Verhältniswert einer weißen Linie, die nicht im ursprünglichen Bild erkannt werden kann, in der Bildinformation als Ergebnis des Ver­ größerungsprozesses vergrößert wird, ist es möglich, die weiße Linie zu erkennen. Als Ergebnis können durch den Vergrößerungsprozeß die Linien der für das Fahrzeug verfügbaren Fahrbahn an einer weit entfernten Stelle erkannt werden.

Fig. 39A zeigt das Beispiel dreier Bilddatenelemente P₁₁, P₁₂ und P₁₃, wenn der Vergrößerungsfaktor den Wert 1 aufweist, und jedes der Bild­ datenelemente umfaßt insgesamt neun Pixel = 3 Pixel × 3 Pixel. Im Beispiel der Fig. 39A umfassen die neun Pixel des Bilddatums P₁₁ zwei Pixel, welche die weiße Linie der Fahrzeuglinie bezeichnen, während sieben Pixel die Straßenoberfläche bezeichnen. Andererseits umfaßt das Bilddatum P₁₂ drei Pixel, welche die weiße Linie der Fahrzeuglinie bezeichnet, wäh­ rend sechs Pixel die Straßenoberfläche bezeichnen. Weiter bezeichnen unter den Bilddaten P₁₂ alle neun Pixel die Straßenoberfläche. Infolgedessen werden die Bilddatenelemente P₁₁', P₁₂, und P₁₃' jeweils entsprechend als Straßenoberflächenpixel P₁₁', P₁₂' und P₁₃' in dem Randpunkt-Entscheidungs­ prozeß betrachtet, und somit wird die weiße Linie nicht erfaßt, wie in Fig. 39C dargestellt. Andererseits zeigt Fig. 39B ein Bild, das durch Verdop­ peln des Bildes gemäß Fig. 39A erhalten ist, wobei das Bild sechs Bild­ datenelemente P_11a, P_11b, P_12a, P_12b, P_13a und P_13b. umfaßt. Die neun Pixel der Bilddaten P_11b umfassen vier Pixel, welche die weiße Linie der Fahrzeuglinie bezeichnen, und fünf Pixel, welche die Straßenoberfläche bezeichnen. Die neun Pixel der Bilddaten P_12a umfassen fünf Pixel, welche die weiße Linie der Fahrzeuglinie bezeichnen, und vier Pixel, welche die Straßenoberfläche bezeichnen. Die neun Pixel der Bilddaten P_12b umfassen ein Pixel, das die weiße Linie der Fahrzeuglinie bezeichnet, und acht Pixel, welche die Straßenoberfläche bezeichnen. Bei jedem der Bilddatenelemente P_11a, P_13a und P_13b bezeichnen alle neun Pixel die Straßenoberfläche.

Daher wird im Randpunkt-Entscheidungsprozeß das Bilddatum P_12a als Weißlinienpixel P_12a' betrachtet, während die anderen Datenelemente p_11a, P_11b, P_12b, P_13a und P_13b jeweils entsprechend als Oberflächenpixel P_11a', P_11b', P_12b', P_13a' und P_13b' betrachtet werden, wie in Fig. 39D dargestellt.

Die weiße Linie kann durch Ausführen des Vergrößerungsprozesses, wie oben beschrieben, erkannt werden.

Als nächstes werden nacheinander weitere Verfahren zur Vergrößerung des Bildes beschrieben.

In der obigen Beschreibung wurde als Beispiel des Bildvergrößerungsprozes­ ses ein Verfahren erläutert, bei dem der Vergrößerungsfaktor für jede horizontale Zeile durch Berechnung ermittelt wird. Wie jedoch Fig. 40B zeigt, kann der Vergrößerungsfaktor diskontinuierlich variieren, beginnend bei einer horizontalen Zeile im Bildvergrößerungsprozeß.

Speziell sei angenommen, wie Fig. 40C zeigt, daß ein vorbestimmter Ver­ größerungsfaktor, der den Wert 1 überschreitet, für die horizontalen Zeilen oberhalb der M-ten horizontalen Zeile eingestellt ist, und daß ein Vergröße­ rungsfaktor mit einem Wert, der sich von demjenigen des vorbestimmten Vergrößerungsfaktors unterscheidet, für die horizontalen Zeilen unter der M- ten horizontalen Zeile eingestellt ist (der Vergrößerungsprozeß wird nicht durchgeführt, weil der Vergrößerungsfaktor im Falle der Fig. 40B den Wert 1 aufweist). In diesem Zusammenhang zeigt Fig. 40B ein Prozeßbeispiel für einen Fall, bei dem der Vergrößerungsfaktor diskontinuierlich ist. Weiter zeigt Fig. 40A das ursprüngliche Bild vor der Vergrößerung.

Wie oben gesagt, kann im Falle, daß die Vergrößerung für die horizontalen Zeilen über einer bestimmten horizontalen Zeile mit einem vorbestimmten Vergrößerungsfaktor durchgeführt wird, und daß der Vergrößerungsprozeß nicht für die horizontalen Zeilen darunter durchgeführt wird, die weiße Linie an der weit entfernten Stelle korrekt in garantierter Weise erkannt werden. In dieser Hinsicht ist es nur erforderlich, für die bestimmte Linie einen be­ stimmten Vergrößerungsfaktor einzustellen.

Gemäß diesem Verfahren kann der Berechnungsaufwand deutlich verringert werden, verglichen mit dem Verfahren, bei dem der Vergrößerungsfaktor für jede horizontale Zeile berechnet wird.

Weiter kann die horizontale Zeile, bei der der Vergrößerungsfaktor geändert wird, sowie der Vergrößerungsfaktor selber durch das folgende Verfahren eingestellt werden. Beim einfachsten Verfahren wird die horizontale Zeile, bei der der Vergrößerungsfaktor verändert wird, sowie der Vergrößerungs­ faktor vorher so eingestellt, daß die Bild-Zoom-Schaltung 2008 den Bildver­ größerungsprozeß unter Bezugnahme auf die horizontale Zeile und den Vergrößerungsfaktor durchführt.

Zusätzlich kann ein Verfahren in Betracht gezogen werden, bei dem nur der Vergrößerungsfaktor beibehalten und die horizontale Zeile, bei der der Vergrößerungsfaktor verändert wird, derart geändert wird, daß die hori­ zontale Zeile, bei der der Abstand zwischen den Fahrzeuglinien gleich der vorbestimmten Breite ist, als die horizontale Zeile eingestellt wird, bei der der Vergrößerungsfaktor verändert wird.

Im übrigen braucht die Zoom-Mittenkoordinate nur auf die Mittenposition der Fahrzeugfahrbahn eingestellt werden, die von der linken und der rechten Linie in derjenigen horizontalen Zeile eingeschlossen wird, bei der der Ver­ größerungsfaktor geändert wird.

Wie oben beschrieben kann gemäß der vorliegenden Ausführungsform eine Vorrichtung verwirklicht werden, bei der die Fahrzeuglinien an einer weit entfernten Stelle korrekt durch einen Bildvergrößerungsprozeß, bei einfacher Konfiguration, erkannt werden kann.

Wie oben beschrieben kann gemäß der vorliegenden Ausführungsform eine Vorrichtung geschaffen werden, bei der die Fahrzeuglinien auch bei einer weit voraus liegenden Verkehrsroute erkannt werden können, während gleichzeitig ein weites Gesichtsfeld durch einen Prozeß zur Vergrößerung, in horizontaler Richtung der Bildinformation erhalten, durch eine Bildaufnahme­ vorrichtung beibehalten werden kann.

Claims (8)

1. Eine Bildbearbeitungsvorrichtung, aufweisend:
eine Bildaufnahmeeinrichtung (1010) zum Aufnehmen eines Bildes, um Bildinformationen zu erhalten;
eine Bildvergrößerungs-Prozesseinrichtung zum Vergrößern der Größe der erhaltenen Bildinformationen durch eine Software-Bearbeitung;
eine Randpixel-Koordinaten-Erfassungseinrichtung zum Abtasten jeder Linie der vergrößerten Bildinformationen, zum Überprüfen der Grenzen zwischen einer bestimmten Farbe und anderen Farben, zum Entnehmen von Pixeln an den Grenzen, und zum Ermitteln von Positionskoordinaten der entnommenen Randpixel;
eine Randpixel-Koordinaten-Umwandlungseinrichtung zum Umwandeln der Positionskoordinaten der entnommenen Randpixel in Koordinaten vor dem Vergrößerungsprozess;
eine Linienbild-Entnahmeeinrichtung zum Indizieren der umgewandelten Koordinaten der Randpixel und zum Verbinden der Randpixel zu einer Geraden, wodurch ein Linienbild erhalten wird; und
eine Vergrößerungsbedingungs-Speichereinrichtung zum Speichern einer Zoom-Rate als Größenangabe der Vergrößerung der Bildinformation, und zum Speichern einer Vergrößerungs-Mittenkoordinate, welche eine Be­ zugsposition für die Durchführung des Vergrößerungsprozesses der Bil­ dinformation anzeigt, wobei der Vergrößerungsfaktor und die Vergröße­ rungs-Mittenkoordinate für jede horizontale Zeile definiert werden, wobei
die Bildvergrößerungs-Prozesseinrichtung eine Einrichtung zum Indizieren der Speicherinhalte in der Vergrößerungsbedingungs-Speichereinrichtung und zum Vergrößern der Größe der Bildinformation für jede horizontale Zeile aufweist, wobei die Vergrößerungs-Mittenkoordinate auf einen Ver­ größerungsmittelpunkt gemäß dem durch die Zoom-Rate angegebenen Vergrößerungsfaktor eingestellt wird.

2. Eine Bildbearbeitungsvorrichtung gemäß Anspruch 1, wobei die Bildver­ größerungs-Prozesseinrichtung Einrichtungen beinhaltet zum Vergrößern der enthaltenden Bildinformationen nur in horizontaler Richtung.

3. Eine Bildbearbeitungsvorrichtung gemäß Anspruch 1 oder 2, wobei die Vergrößerungsbedingungs-Speichereinrichtung Werte der Zoom-Rate speichert, wobei die Werte bei jeder horizontalen Zeile kontinuierlich va­ riieren.

4. Eine Bildbearbeitungsvorrichtung gemäß Anspruch 1 oder 3, wobei die Linienentnahmeeinrichtung eine Einrichtung beinhaltet zum Ermitteln, als Vergrößerungs-Mittenkoordinate jeder horizontalen Zeile, einer zentralen Position der Fahrzeugfahrbahn, die von den linken und rechten Linien bei jeder horizontalen Zeile eingeschlossen ist, und zum Speichern der Koor­ dinate in der Vergrößerungsbedingungs-Speichereinrichtung.

5. Eine Bildbearbeitungsvorrichtung gemäß Anspruch 1 oder 2, wobei die Vergrößerungsbedingungs-Speichereinrichtung zuvor Werte der Zoom- Rate speichert, wobei der Wert für horizontale Zeilen, die sich oberhalb einer bestimmten horizontalen Zeile in der senkrechten Richtung befinden, sich vom Wert für horizontale Zeilen unterscheidet, welche die bestimmte horizontale Zeile umfassen und sich unterhalb der bestimmten horizonta­ len Zeile in der senkrechten Richtung befinden.

6. Eine Bildbearbeitungsvorrichtung gemäß Anspruch 1 oder 2, wobei die Linienentnahmeeinrichtung eine Einrichtung beinhaltet, die auf die Koor­ dinatendaten der entnommenen Linien anspricht, welche durch den Pro­ zess in einem vorherigen Linienentnahmezyklus zum Ermitteln einer Zoom-Rate und einer Vergrößerungs-Mittenkoordinate für jede horizon­ tale Zeile erhalten werden, und zum Speichern der Zoom-Rate und der Vergrößerungs-Mittenkoordinate in der Vergrößerungsbedingungs- Speichereinrichtung.

7. Eine Bildbearbeitungsvorrichtung gemäß Anspruch 1 oder 2, wobei die Linienentnahmeeinrichtung eine Einrichtung beinhaltet zum Ermitteln der Zoom-Rate für jede horizontale Zeile gemäß einem Wert, der durch Divi­ dieren einer vorbestimmten Schirmbildbreite durch die Breite einer Fahr­ zeugbahn erhalten wird, welche von den linken und rechten Linien bei je­ der horizontalen Zeile eingeschlossen wird, und zum Speichern der Zoom- Rate in der Vergrößerungsbedingungs-Speichereinrichtung.

8. Eine Bildbearbeitungsvorrichtung gemäß Anspruch 1, wobei der Vergrö­ ßerungsfaktor und die Vergrößerungs-Mittenkoordinate festgelegt wird für die horizontalen Linien über der n-ten horizontalen Linie, und wobei ein weiterer Vergrößerungsfaktor mit einem Wert, der verschieden ist von dem des vorbestimmten Vergrößerungsfaktors, festgelegt wird für die ho­ rizontalen Linien unter der n-ten horizontalen Linie.