DE102006012914B4 - System und Verfahren zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug - Google Patents

System und Verfahren zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug Download PDF

Info

Publication number
DE102006012914B4
DE102006012914B4 DE102006012914A DE102006012914A DE102006012914B4 DE 102006012914 B4 DE102006012914 B4 DE 102006012914B4 DE 102006012914 A DE102006012914 A DE 102006012914A DE 102006012914 A DE102006012914 A DE 102006012914A DE 102006012914 B4 DE102006012914 B4 DE 102006012914B4
Authority
DE
Germany
Prior art keywords
vehicle
image
section
distance
preceding vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102006012914A
Other languages
English (en)
Other versions
DE102006012914A1 (de
Inventor
Anatoli S. Koulinitch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visteon Global Technologies Inc
Original Assignee
Visteon Global Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visteon Global Technologies Inc filed Critical Visteon Global Technologies Inc
Publication of DE102006012914A1 publication Critical patent/DE102006012914A1/de
Application granted granted Critical
Publication of DE102006012914B4 publication Critical patent/DE102006012914B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein in einem Fahrzeug implementiertes System zur Erfassung eines vorausfahrenden Fahrzeugs umfasst eine Kamera, die ein Abbild der Rückseite des vorausfahrenden Fahrzeugs aufnimmt, und ein Bildverarbeitungssystem, das die Bilddaten von der Kamera empfängt. Das Bildverarbeitungssystem ist mit einem Algorithmus ausgestattet, der einen Vorbearbeitungsabschnitt, einen Bildsegmentierungsabschnitt und einen Erfassungsabschnitt umfasst, um die Bilddaten zwecks Bestimmung des relativen Abstands zwischen dem Fahrzeug und dem vorausfahrenden Fahrzeug zu analysieren.

Description

  • Die Erfindung bezieht sich allgemein auf ein in einem Fahrzeug implementiertes Bildverarbeitungssystem zur Bestimmung des Abstands zwischen dem Fahrzeug und einem vorausfahrenden Fahrzeug. Für Fahrzeuge sind Fahrerassistenzsysteme bekannt, wie z. B. Erfassungssysteme, die vor dem Fahrzeug befindliche Objekte erfassen. Bestimmte Erfassungssysteme analysieren die Bewegung der umgebenden Fahrzeuge, um einem Fairer, der das System zur Erfassung des verfügbaren Platzes für das Manövrieren seines Fahrzeugs verwendet, eine Einschätzung der Situation bereitzustellen.
  • In der EP 0626655 A2 erfolgt die Abstandsermittlung stereoskopisch mit Hilfe von zwei Kameras.
  • Gemäß der WO 2004/042673 A2 wird der Abstand durch genaue Identifizierung des vorausfahrenden Fahrzeugs ermittelt. Datenbankbasiert werden umfangreiche Informationen erfasst und abgeglichen, die es erlauben, insbesondere Kennzeichen mit gespeicherten Zulassungsdaten (Fahrzeugtyp, Modell, Farbe etc.) abzugleichen und evtl. Abweichungen festzustellen. Dazu ist eine Bildauswertung erforderlich, die es erlaubt, Fahrzeugmodelle genau zu identifizieren.
  • Die Fahrzeugerfassung aus DE 19948608 A1 basiert auf der Bildung von zwei parallelen Randlinienpaaren. Eine Abstandsermittlung ist hier nicht vorgesehen. Im Dokument US 4931937 A werden gleichfalls Fahrzeugkanten zur Abstandsermittlung erfasst. Die Abstandsermittlung erfolgt dabei ohne Vergleich eines Fahrzeugabbildes mit hinterlegten Daten von Fahrzeugkategorien.
  • Da eine echtzeitbasierte Implementierung dieser Erfassungssysteme erwünscht ist, besteht die Notwendigkeit für ein System mit einer stärkeren Rechenleistung zur Erfassung und Verfolgung der sich vor dem Fahrzeug befindlichen Objekte.
  • In einem allgemeinen Aspekt der Erfindung umfasst ein in einem Fahrzeug implementiertes System zur Erfassung eines vorausfahrenden Fahrzeugs eine Kamera, die ein Abbild der Rückseite des vorausfahrenden Fahrzeugs aufnimmt, und ein Bildverarbeitungssystem, das die Bilddaten von der Kamera empfängt. Das Bildverarbeitungssystem ist mit einem Algorithmus ausgestattet, der einen Vorbearbeitungsabschnitt, einen Bildsegmentierungsabschnitt und einen Erfassungsabschnitt umfasst, um die Bilddaten zwecks Bestimmung des relativen Abstands zwischen dem Fahrzeug und dem vorausfahrenden Fahrzeug zu analysieren. Weitere Merkmale und Vorteile der Erfindung sind aus der nachfolgenden Beschreibung und den Patentansprüchen leicht erkennbar.
  • 1 stellt ein Fahrzeug mit einem erfindungsgemäßen Bildverarbeitungssystem zur Erfassung anderer Fahrzeuge dar.
  • 2 ist ein Flussdiagramm eines in dem Bildverarbeitungssystem implementierten Algorithmus.
  • In 1 ist ein die Prinzipien der Erfindung verkörperndes System dargestellt und mit dem Bezugszeichen 10 gekennzeichnet. Das System 10 befindet sich in einem Fahrzeug 12, und seine primären Komponenten umfassen eine Kamera 14 und ein Bildverarbeitungssystem 16. Wenn sich das Fahrzeug 12 auf einer Straße 13 fortbewegt, nimmt die Kamera 14 Abbilder eines sich vor dem Fahrzeug 12 befindenden Fahrzeugs 18 auf. Aus diesen Abbildern bestimmt das Bildverarbeitungssystem 16 den Abstand zwischen dem Fahrzeug 12 und dem vorausfahrenden Fahrzeug 18. Das Bildverarbeitungssystem 16 verarbeitet die Bilddaten mit einem hohen Signal-Rausch-Verhältnis, das eine wirksame Implementierung einer schnellen und stabilen Erfassung und Verfolgung des Fahrzeugs 18 zulässt. Wie in 2 zu erkennen ist, werden die durch die Kamera 14 aufgenommenen Abbilder 40 in einem im Bildverarbeitungssystem 16 implementierten Algorithmus 50 verarbeitet. Der Algorithmus 50 umfasst zur Bestimmung des relativen Abstands 66 zwischen dem vorausfahrenden Fahrzeug 18 und dem Fahrzeug 12 einen Vorverarbeitungsabschnitt 52, einen Bildsegmentierungsabschnitt 54 und einen Zwei-Ebenen-Erfassungsabschnitt 56.
  • Der Vorverarbeitungsabschnitt 52 umfasst einen Rauschminderungsschritt 58 und einen Horizontal/Vertikal-(V/H-)Kantenermittlungsschritt 60. Der Rauschminderungsschritt 58 verwendet einen Gauß-Filter mit einem {3*3}-Kern zur Glättung und einen Schärfungsfilter zur Bereitstellung schärferer Kanten. Der Vorverarbeitungsabschnitt 52 verwendet außerdem Messzahlen des Abbilds innerhalb des Suchfelds zur Festlegung eines dynamischen Schwellenwerts (d. h. eines adaptiven Schwellenwerts) und unterdrückt Rauschen und verbessert die für die Analyse des Abbilds relevanten Objektmerkmale. Der Vorverarbeitungsabschnitt 52 kann unterschiedliche Kriterien zur Berechnung der Länge für kurz unterbrochene Kanten verwenden. Der Horizontal/Vertikal-Kantenermittlungsschritt 60 verwendet Sobel-Filter zur Festlegung unabhängiger Abbildungen sowohl der horizontalen als auch der vertikalen Kanten. Die Graustufen-Abbildungen der horizontalen und der vertikalen Kanten werden durch eine Finite-Differenzen-Abschätzung des Helligkeitsgradienten definiert. Die Kantensuche beruht auf der Basis einer binären Bilddarstellung, und eine Bildvorstufenanalyse verwendet einen Satz von Kriterien und Maßen, um eine fehlerfreie Kantenmittlung oder nichtscharfe Horizontal/Vertikal-Merkmale zu definieren. Der Bildsegmentierungsabschnitt 54 trennt Objekte vom Bildhintergrund und stellt die Verknüpfung von horizontalen und vertikalen Kanten bereit, sodass ein Fahrzeugabbild gebildet wird. Der Zwei-Ebenen-Erfassungsabschnitt 56 umfasst einen Grobschritt (oder eine Grobstufe) 62 und einen Verfeinerungsschritt (oder eine Verfeinerungsstufe) 64. Der Grobschritt 62 ist ein Hypothesenerzeugungsschritt, der Informationen bezüglich der vertikalen und horizontalen Kanten zur Aufstellung einer Hypothese über die Lage des vorausfahrenden Fahrzeugs im Abbild verwendet. Der Verfeinerungsschritt 64 ist ein Hypothesenüberprüfungsschritt. Das heißt, die tatsächliche Existenz eines Fahrzeugs 18 wird durch eine Datenkonsistenzanalyse getestet, die verschiedene Abhängigkeiten zwischen der Falvzeugabbildzuordnung und den Fahrzeugabmessungen verwendet, um den Abstand zwischen dem vorausfahrenden Fahrzeug 18 und dem Fahrzeug 12 zu verifizieren. Die Konsistenzanalyse folgt einem Erfassungskriterium, das besagt, dass wichtige Kanten nicht fehlen und Störreflexe nicht vorhanden sein sollten, und einem Lokalisierungskriterium, das besagt, dass der Abstand zwischen der tatsächlichen und der zugeordneten Position der Kanten minimal sein sollte. Außerdem umfasst das Bildverarbeitungssystem 16 die folgenden Merkmale:
  • Ermittlfassung von Kanten mit Rauschen
  • Für jeden der (zur Ermittlung oder zur Verfolgung) analysierten Ausschnitte des Abbilds wird eine Abstandskantenabbildung auf der Basis der Mischung der folgenden Filtertechniken erstellt. Die Kantenermittlung basiert auf einem diskreten Antirauschfaltungsalgorithmus und ist optimal für mit weißem Rauschen behaftete Kanten geeignet. Ein Algorithmus durchsucht die Schwellenwertkantenabbildungen nach herausragenden (d. h. langen, schwachen kurz unterbrochenen) Kanten. Wenn solche horizontalen Kanten im Abbild (d. h. im Suchfeld) während der Grobsuche gefunden werden, beginnt der verfeinerte Suchprozess in diesem Bereich (d. h. dem Kandidatbereich). Das sich ergebende Filter kann durch die erste Ableitung eines Gaußschen Glättungsfilters effektiv genähert werden. Da die Abbilder typischerweise einen hohen Rauschpegel in ihrer oberen Hälfte aufweisen, wird nicht der gesamte Fahrzeugumriss abgesucht. Das heißt, die Suche und die Analyse werden auf den unteren Teil der Rückansicht des Fahrzeugs 18 beschränkt.
  • Kalibrierung
  • Abstandsabbildkalibrierungstabellen basieren auf einer radargestützten expliziten Abstandsmessung pro Merkmal des Fahrzeugs 18. Die Kalibrierungstabellen werden zur Analyse der Segmentkonsistenz für die Abstandsberechnung des Fahrzeugs 18 verwendet. Die aus Testsichtdaten gewonnenen Informationen über Kamerastandort- und Kalibrierungsdaten werden zum Definieren der Suchfläche (d. h. des Suchfeldes) und zur Umwandlung eines 2D-Modells in ein 3D-Hypothesemodell verwendet. Da für Fahrzeuge einer bestimmten Gruppe eine Breite des Fahrzeugs 18 mit dem Abstand zum Fahrzeug 18 korreliert, werden drei Fahrzeugklassen verwendet: (1) Personenwagen (Limousinen), (2) Kleintransporter, (3) Lastkraftwagen. Der Algorithmus 50 verwendet diese drei Klassen als Basismodelle zur Konsistenzprüfung von Abbildungen mit teilweise sichtbaren Fahrzeugen oder Abbildungen mit verrauschten Fahrzeugumrissen, wie z. B. der Schatten eines vorausfahrenden Fahrzeugs oder Fahrzeuge auf benachbarten Fahrspuren oder andere statische oder dynamische Objekte, wie z. B. Brücken, Gebäude oder Ähnliches. Jede Kalibrierungstabelle enthält drei Spalten und beschreibt die folgenden Abhängigkeiten: Zeilenposition → Fahrzeugbreite → Abstand. Eine Konsistenzanalyse bewertet, wie diese Merkmale im momentanen Abbild miteinander im Zusammenhang stehen. Bei geringen Abständen könnte der untere Teil des Fahrzeugs 18, wie zum Beispiel die Kontaktpunkte zwischen dem Fahrzeug 18 und der Straße 13, nicht zu sehen sein. In solchen Situationen werden die folgenden Abhängigkeiten verwendet: Fahrzeugbreite → Abstand aus der Kalibrierungstabelle zur Berechnung des Abstands zwischen dem Fahrzeug 12 und dem vorausfahrenden Fahrzeug 18.
  • Fachwissen und Konsistenzregeln
  • Zur Bestimmung der Fahrzeugklasse verwendet das Bildverarbeitungssystem 16 a-priori-Fachwissen über die Formen und Bewegungsparameter als Kalibrierungsdaten, um ein vorausfahrendes Fahrzeug zu erfassen. Ein parametrisiertes Fahrzeugmodell zieht außerdem Schattenkanten unter komplexen Beleuchtungsverhältnissen in Betracht, was zu einem kleinen effektiven Bildfeld führt.
  • Erfassung
  • Die Erfassung wird durch Ausführung einer Paarung eines Satzes von Merkmalen eines 2D-Abbildausschnitts (z. B. zwei vertikale Kanten links und rechts zwecks Definition einer Breite) und einer horizontalen Kante zur Berechnung eines Abstands zum vorausfahrenden Fahrzeug erreicht. Auf der Basis der synthetisierten vertikalen und horizontalen Kantenabbildung der die Eingangsdaten für einen Segmentierungsalgorithmus bereitstellenden Rückansicht des vorausfahrenden Fahrzeugs 18 wird das resultierende Abstandsabbild gebildet. Das Bildverarbeitungssystem 16 verwendet eine merkmalgestützte Technik zur Erfassung von entfernt befindlichen Fahrzeugen, indem durch Bewertung von horizontalen und vertikalen Kanten nach rechtwinkligen Objekten gesucht wird.
  • Grobschrift – Horizontalkantensuche
  • Der verfeinerte Suchschritt 64 wird nur für kleine Bereiche der Kantenabbildungen verwendet, während der Grobsuchschritt 62 auf dem gesamten Suchfeld ausgeführt wird. Der Grobsuchschritt 62 verwendet Zielfunktionen zur Bestimmung einer signifikanten horizontalen Kante, die als eine Unterkante eines Abbilds definiert wird. Außerdem kann mit Schritt 64 eine fehlerhafte Kantenerfassung nachgewiesen werden. In einigen Fällen ist die erste erfasste horizontale Kante Teil der Abbildlinie innerhalb des Fahrzeugs wegen des geringen Kontrasts zwischen der Fahrzeugunterkante und der Straße (Hintergrund). Mit einer überschlägig berechneten Kostenfunktion kann die Fahrzeughöhe mithilfe der Länge der vertikalen Kante ermittelt werden.
  • Verfeinerungsschritt – Vertikalkanten
  • Um eine verringerte Kantenabbildungsfläche innerhalb des Suchfelds abzuleiten, wird ein Abstimmprozess durchgeführt. Konsistenzprüfungen erfassen mögliche Fehler bei der Fahrzeugerkennung. Als Nachweis dafür, dass ein mögliches Objekt ein Fahrzeug ist, wird eine Zielfunktion wie folgt berechnet:
    • • Es wird eine erste vertikale Kante gesucht, beginnend an der Seite mit der größeren Kostenfunktion, die den Formfaktor der zwei Kandidaten für jede Seite (links, rechts) und für zwei Richtungen (aufwärts und abwärts) enthält.
    • • Ein mögliches Fahrzeug wird durch zwei untere Eckpunkte markiert. Ergibt die Beziehung einen hohen Wert, stellt das Bildverarbeitungssystem 16 fest, dass ein Fahrzeug erfasst worden ist, und berechnet eine 2D-Lage im Abbild und deren Größe.
  • Wenn ein Fahrzeugkandidat erfasst worden ist, werden die Sichtmerkmale des vorausfahrenden Fahrzeugs beschreibende allgemeine 2D-Modelle verwendet, um tatsächliche Fahrzeugparameter zu klassifizieren und dynamische 3D-Merkmale zu berechnen.
  • Konsistenzgestütztes Abstandsberechnungsverfahren
  • Kalibrierungsverweistabellen stellen einen expliziten Abstand für die Abstandsberechnung bereit. Der berechnete Abstand resultiert aus zwei durch Kostenfunktionen gewichtete Verfahren. Das erste Verfahren verwendet den unteren Teil des Fahrzeugabbilds, der für Abstände im Bereich von etwa 10 m bis 50 m wirksam ist. Das zweite Verfahren verwendet eine Breite insbesondere, wenn die unteren Eckpunkte nicht zu sehen sind. Die Auswahl aus einer der drei Kalibrierungstabellen wird durch die Bewertung der Fahrzeughöhe (d. h. der Höhe der vertikalen Kanten) bestimmt.
  • Teilweise sichtbarer Fahrzeugumriss
  • Wenn ein Abbild nicht die gesamte Rückansicht des Fahrzeugs 18 enthält, ist die Vertikalkantenabbildung nicht komplett. Jedoch können eine signifikante horizontale Unterkante und eine einzige vertikale Kante zur Bereitstellung einer Abstandsberechnung mit verringerter Aussagewahrscheinlichkeit (Wahrscheinlichkeitsgrad) verwendet werden. Das kann zum Beispiel bei teilweise verdeckten Fahrzeugen geschehen, und etwa während eines Fahrspurwechsels eintreten.
  • Verfolgung
  • Das Bildverarbeitungssystem 16 umfasst außerdem eine Verfolgungseinrichtung, die Übereinstimmungen zwischen in aufeinander folgenden Erfassungsschritten erkannten Abbildern eines Auswahlfahrzeugs beibehält. Die Verfolgungseinrichtung kann auch lediglich eine verfeinerte Suche mit Korrekturen zur Vorausberechnung des vorausfahrenden Fahrzeugs umfassen. Ein Kalman-Filter kann als Nachweis für nichtlineare Abhängigkeiten zwischen verfolgten Merkmalen, wie zum Beispiel der Bewegung von zwei Eckpunkten, die eine starke Korrelation mit ihren Zeilenpositionen haben, verwendet werden. Die Verfolgungseinrichtung hilft bei der Erkennung des Verschwindens des vorausfahrenden Fahrzeugs 18, wie zum Beispiel bei einem Fahrspurwechsel oder anderen Manövern. Aus diesem Grund verwendet der Erfassungsalgorithmus ein Zeitintervall im Bereich von etwa 30 s bis 50 s zum Erfassen eines beliebigen neuen Fahrzeugs, das den Platz zwischen dem Fahrzeug 12 und dem ursprünglichen vorausfahrenden Fahrzeug 18 einnehmen kann. Zur Erkennung von Fahrspurwechselmanövern berechnet ein Fahrspurbegrenzungslinienerkennungsalgorithmus die relative Position des vorausfahrenden Fahrzeugs 18. Zur Beschleunigung des Erfassungsalgorithmus, ohne dass ein Konflikt mit der Bildausschnittverarbeitung und -analyse eintritt, basiert eine komplexe dynamische Szenenanalyse auf bidirektionaler Datenkooperation zwischen der Erkennungs- und der Verfolgungseinrichtung.
  • Fahrspurbegrenzungslinienerfassung und -erkennung
  • Das Bildverarbeitungssystem 16 verwendet eine Fahrspurbegrenzungslinienzerlegungsannäherung auf der Basis einer Szenenerkennung (Fahrzeug/Fahrspurbegrenzungslinie) als einen hierarchischen Prozess. Außerdem analysiert das System 16 die Fahrspurbegrenzungsliniengeometrie zur Berechnung der Steigung oder des Gefälles der Straße (d. h. der Nichtebenheit) im Suchfeld. In einigen Implementierungen verwendet das Bildverarbeitungssystem 16 Visual C++ zur Verarbeitung der von den Fahrzeugen aufgenommenen Abbilder. Zusammengefasst stellt das System 16 bereit:
    • • Synthesemechanismus zur Bildung einer einzigen Kantenabbildung durch Synthetisierung der Horizontal/Vertikal-(V/H-)Kantenabbildungen entsprechend unterschiedlicher Sobel-Filter,
    • • Suchfeldmechanismus zur Bildung polygoner Daten, die den durch das Wirtsfahrzeug auf der Fahrspur eingenommenen Platz bezogen auf mögliche gekrümmte Straßen und festgelegte Maximalabstände beschreiben,
    • • Abstandsabbildverarbeitungsmechanismus zwecks Konvertierung eines im Suchfeld eingegebenen Graustufenabbilds in synthetisierte Vertikal/Horizontal-Kantenabbildungen,
    • • Suchtechnik im Suchfeld nach Merkmalen von Interesse, wie z. B. eine Vertikal- und Horizontalkantenabbildung mit teilweiser vertikaler Symmetrie,
    • • Annäherung eines Umrisses einer Rückansicht eines Fahrzeugs an ein Rechteck zur Messung eines Bereichs und eines Abstands zum vorausfahrenden Fahrzeug,
    • • Korrekturtechnik, die eine Analyse der Fahrspurbegrenzungsliniengeometrie zur Berechnung der Steigung oder des Gefälles der Straße im Suchfeld umfasst.
  • Andere Ausgestaltungen befinden sich innerhalb des Geltungsbereichs der nachfolgenden Patentansprüche.
  • Bezugszeichenliste
  • 10
    System
    12
    Fahrzeug
    13
    Straße
    14
    Kamera
    16
    Bildverarbeitungssystem
    18
    vorausfahrendes Fahrzeug
    40
    Abbilder
    50
    Algorithmus
    52
    Vorverarbeitungsabschnitt
    54
    Bildsegmentierungsabschnitt
    56
    Zwei-Ebenen-Erfassungsabschnitt
    58
    Rauschminderungsschritt
    60
    Horizontal/Vertikal-(V/H-)Kantenermittlungsschritt
    62
    Grobschritt bzw. Grobsuchschritt
    64
    Verfeinerungsschritt bzw. verfeinerter Suchschritt
    66
    relativer Abstand

Claims (6)

  1. Vorrichtung (10) zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug (18), umfassend: – eine Kamera (14), die ein Abbild der Rückseite des vorausfahrenden Fahrzeugs (18) aufnimmt; und – ein die Bilddaten von der Kamera (14) empfangendes Bildverarbeitungssystem (16), das mit einem Algorithmus (50) ausgestattet ist, der zur Analyse der Bilddaten zwecks Bestimmung des relativen Abstands (66) zwischen dem vorausfahrenden Fahrzeug (18) und dem Fahrzeug (12) einen Vorverarbeitungsabschnitt (52), einen Bildsegmentierungsabschnitt (54) und einen Erfassungsabschnitt (56) umfasst, wobei – der Vorverarbeitungsabschnitt (52) das Rauschen in den Bilddaten verringert, daraus Vertikal- und Horizontalkanten ermittelt und Vertikal- und Horizontalkantenabbildungen erzeugt, – der Erfassungsabschnitt (56) in einer Hypothesenerzeugungsstufe die das Fahrzeug (18) abbildenden Kanten durch Verwendung von Informationen bezüglich der im Vorverarbeitungsschritt (52) und Bildsegmentierungsabschnitt (54) ermittelten vertikalen und horizontalen Kanten erfasst und somit eine Hypothese über die Position des vorausfahrenden Fahrzeugs (18) erstellt und anschließend in einer Hypothesenüberprüfungsstufe die tatsächliche Existenz des vorausfahrenden Fahrzeugs durch eine Datenkonsistenzanalyse, die verschiedene Abhängigkeiten zwischen der Fahrzeugabbildzuordnung und den im System hinterlegten Fahrzeugabmessungen verwendet, getestet wird und – aus der Fahrzeugabbildzuordnung und den im System hinterlegten Fahrzeugabmessungen der Abstand (66) zum vorausfahrenden Fahrzeug (18) ermittelt wird, wobei die Vorrichtung (10) in einem Fahrzeug (12) implementiert ist.
  2. Vorrichtung (10) nach Anspruch 1, dadurch gekennzeichnet, dass der Vorverarbeitungsabschnitt (52) einen Gauß-Filter und einen Schärfungsfilter umfasst.
  3. Vorrichtung (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Vorverarbeitungsabschnitt (52) einen Sobel-Filter umfasst.
  4. Verfahren zur Erfassung eines dem Fahrzeug (12) vorausfahrenden Fahrzeugs (18), umfassend: – Aufnehmen eines Abbilds der Rückseite des vorausfahrenden Fahrzeugs (18) mit der Kamera (14); und – Verarbeiten der Bilddaten aus der Kamera (14) mit einem Algorithmus (50), der zur Bestimmung des relativen Abstands (66) zwischen dem Fahrzeug (12) und dem vorausfahrenden Fahrzeug (18) einen Vorverarbeitungsabschnitt (52), einen Bildsegmentierungsabschnitt (54) und einen Erfassungsabschnitt (56) umfasst, wobei – der Vorverarbeitungsabschnitt (52) das Rauschen in den Bilddaten verringert und Vertikal- und Horizontalkantenabbildungen erzeugt, – im Erfassungsabschnitt (56) die Erfassung der das Fahrzeug (18) abbildenden Kanten in einer Hypothesenerzeugungsstufe durch Verwendung von Informationen bezüglich der vertikalen und horizontalen Kanten erfolgt und somit eine Hypothese über die Position des vorausfahrenden Fahrzeugs (18) erstellt wird und anschließend in einer Hypothesenüberprüfungsstufe die tatsächliche Existenz des vorausfahrenden Fahrzeugs durch eine Datenkonsistenzanalyse, die verschiedene Abhängigkeiten zwischen der Fahrzeugabbildzuordnung und den im System hinterlegten Fahrzeugabmessungen verwendet, getestet wird und dass aus der Fahrzeugabbildzuordnung und den im System hinterlegten Fahrzeugabmessungen der Abstand (66) zum vorausfahrenden Fahrzeug (18) ermittelt wird.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Vorverarbeitungsabschnitt (52) einen Gauß-Filter und einen Schärfungsfilter umfasst.
  6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet dass der Vorverarbeitungsabschnitt (52) einen Sobel-Filter umfasst.
DE102006012914A 2005-03-15 2006-03-14 System und Verfahren zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug Expired - Fee Related DE102006012914B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/080,234 2005-03-15
US11/080,234 US7231288B2 (en) 2005-03-15 2005-03-15 System to determine distance to a lead vehicle

Publications (2)

Publication Number Publication Date
DE102006012914A1 DE102006012914A1 (de) 2006-09-21
DE102006012914B4 true DE102006012914B4 (de) 2012-01-19

Family

ID=36934093

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006012914A Expired - Fee Related DE102006012914B4 (de) 2005-03-15 2006-03-14 System und Verfahren zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug

Country Status (2)

Country Link
US (1) US7231288B2 (de)
DE (1) DE102006012914B4 (de)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10308256A1 (de) * 2003-02-25 2004-09-09 Daimlerchrysler Ag Verfahren zur Ansteuerung eines in einem Fahrzeug befindlichen verkehrsadaptiven Assistenzsystems
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
JP4703136B2 (ja) * 2004-06-02 2011-06-15 トヨタ自動車株式会社 線図形化処理装置
JP4128562B2 (ja) * 2004-11-30 2008-07-30 本田技研工業株式会社 車両周辺監視装置
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7676087B2 (en) * 2006-09-20 2010-03-09 Delphi Technologies, Inc. Method for identifying vehicles in electronic images
DE102007002813A1 (de) * 2007-01-18 2008-07-24 Robert Bosch Gmbh Verfahren zum Abschätzen einer Entfernung eines Fahrzeugs zu einem Objekt und Fahrerassistenzsystem
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
US20110313822A1 (en) * 2008-02-26 2011-12-22 Joshua Burdick Method of Assessing Parking Fees Based Upon Vehicle Length
US8050963B2 (en) * 2008-02-26 2011-11-01 Burdick Joshua H Method of assessing a parking fee
US9454905B2 (en) 2013-04-29 2016-09-27 Global Foundries Inc. Safe distance determination
JP6199693B2 (ja) * 2013-10-17 2017-09-20 株式会社デンソーアイティーラボラトリ 車間距離測定装置、車間距離測定方法、およびプログラム
EP3680818A1 (de) 2013-12-04 2020-07-15 Mobileye Vision Technologies Ltd. Einstellen der geschwindigkeit eines fahrzeugs für einen kurve
DE102014110527A1 (de) * 2014-07-25 2016-01-28 Connaught Electronics Ltd. Verfahren zum Bestimmen von charakteristischen Bildpunkten für ein Kamerasystem eines Kraftfahrzeugs, Kamerasystem, Fahrassistenzsystem und Kraftfahrzeug
DE102016012230A1 (de) * 2016-10-13 2018-04-19 Man Truck & Bus Ag Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
US11017243B2 (en) 2016-12-05 2021-05-25 Intel Corporation Automotive system with motion detection capabilities
US10668922B2 (en) * 2017-10-04 2020-06-02 Toyota Motor Engineering & Manufacturing North America, Inc. Travel lane identification without road curvature data
US10657811B2 (en) * 2017-10-04 2020-05-19 Toyota Motor Engineering & Manufacturing North America, Inc. Travel lane identification without road curvature data
CN109960978A (zh) * 2017-12-25 2019-07-02 大连楼兰科技股份有限公司 基于图像分层技术的车辆检测***及装置
DE102018202753A1 (de) 2018-02-23 2019-08-29 Audi Ag Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4931937A (en) * 1987-09-01 1990-06-05 Aisin Seiki Kabushiki Kaisha Distance detector mounted on vehicle
EP0626655A2 (de) * 1993-05-25 1994-11-30 Matsushita Electric Industrial Co., Ltd. Fahrzeugerkennungsgerät
DE19948608A1 (de) * 1998-10-09 2000-05-04 Nec Corp Verfahren und Vorrichtung zum Erfassen eines Fahrzeugs
WO2004042673A2 (en) * 2002-11-04 2004-05-21 Imperial Vision Ltd. Automatic, real time and complete identification of vehicles

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5648619A (en) * 1979-09-29 1981-05-01 Nippon Kogaku Kk <Nikon> Automatic focusing camera with self-timer
JP3167752B2 (ja) * 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US6208268B1 (en) * 1993-04-30 2001-03-27 The United States Of America As Represented By The Secretary Of The Navy Vehicle presence, speed and length detecting system and roadway installed detector therefor
JP3430641B2 (ja) 1994-06-10 2003-07-28 日産自動車株式会社 車間距離検出装置
JP3550744B2 (ja) * 1994-09-07 2004-08-04 株式会社ニコン 自動露出制御装置
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
JPH10334393A (ja) * 1997-05-29 1998-12-18 Mitsubishi Heavy Ind Ltd 車両検知装置
EP0913751B1 (de) * 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP2000028315A (ja) * 1998-07-13 2000-01-28 Honda Motor Co Ltd 対象物検出装置
JP3307335B2 (ja) * 1998-07-22 2002-07-24 日本電気株式会社 車両領域検出装置及び車両領域検定方法
JP2000090268A (ja) 1998-09-08 2000-03-31 Nec Corp 車両領域検出方法
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
US6531959B1 (en) * 1999-07-13 2003-03-11 Honda Giken Kogyo Kabushiki Kaisha Position detecting device
US6473517B1 (en) * 1999-09-15 2002-10-29 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
JP3436224B2 (ja) 1999-12-16 2003-08-11 日本電気株式会社 車両端検出装置
US7068211B2 (en) * 2000-02-08 2006-06-27 Cambridge Consultants Limited Methods and apparatus for obtaining positional information
JP3872638B2 (ja) * 2000-08-29 2007-01-24 株式会社日立製作所 クルーズコントロールシステムおよびそれが搭載された車両
US6636148B2 (en) * 2000-09-04 2003-10-21 Fujitsu Ten Limited Periphery monitoring system
JP3671825B2 (ja) * 2000-09-22 2005-07-13 日産自動車株式会社 車間距離推定装置
JP2002216113A (ja) * 2001-01-16 2002-08-02 Fujitsu Ten Ltd 物体認識装置
JP2002329298A (ja) 2001-05-02 2002-11-15 Nissan Motor Co Ltd 車両用走行制御装置
US7027634B2 (en) * 2002-02-13 2006-04-11 Ascension Technology Corporation Range adaptable system for determining the angular position and distance of a radiating point source and method of employing
KR100459476B1 (ko) * 2002-04-04 2004-12-03 엘지산전 주식회사 차량의 대기 길이 측정 장치 및 방법
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US7409092B2 (en) * 2002-06-20 2008-08-05 Hrl Laboratories, Llc Method and apparatus for the surveillance of objects in images
JP3861781B2 (ja) * 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
JP4155780B2 (ja) * 2002-09-19 2008-09-24 富士通テン株式会社 画像処理方法
JP4296287B2 (ja) * 2003-05-27 2009-07-15 日産自動車株式会社 車両認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4931937A (en) * 1987-09-01 1990-06-05 Aisin Seiki Kabushiki Kaisha Distance detector mounted on vehicle
EP0626655A2 (de) * 1993-05-25 1994-11-30 Matsushita Electric Industrial Co., Ltd. Fahrzeugerkennungsgerät
DE19948608A1 (de) * 1998-10-09 2000-05-04 Nec Corp Verfahren und Vorrichtung zum Erfassen eines Fahrzeugs
WO2004042673A2 (en) * 2002-11-04 2004-05-21 Imperial Vision Ltd. Automatic, real time and complete identification of vehicles

Also Published As

Publication number Publication date
DE102006012914A1 (de) 2006-09-21
US20060212215A1 (en) 2006-09-21
US7231288B2 (en) 2007-06-12

Similar Documents

Publication Publication Date Title
DE102006012914B4 (de) System und Verfahren zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug
DE102006057552B4 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
DE102011117585B4 (de) Systeme und Verfahren zum Verfolgen von Objekten
DE102013008451B4 (de) Fahrzeugeinparksteuerungssystem und Fahrzeugeinparksteuerungsverfahren, das dieses verwendet
DE102018116111A1 (de) Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung
DE102006005512B4 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
DE102013205952B4 (de) Rekonfigurierbares System und Verfahren zur Detektion eines freien Pfads
DE102009048699A1 (de) Pixelbasierte Detektion einer nicht vorhandenen Struktur eines freien Pfads
DE102009048892A1 (de) Pixelbasierte strukturreiche Detektion eines freien Pfads
DE102009050492A1 (de) Detektion eines freien Pfads unter Verwendung eines segmentierungsbasierten Verfahrens
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
DE19926559A1 (de) Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
DE102014012285A1 (de) Verfahren und Achsenzähl-Vorrichtung zur berührungslosen Achsenzählung eines Fahrzeugs sowie Achsenzählsystem für den Straßenverkehr
DE102009050505A1 (de) Detektion eines freien Pfads durch Strassenmodellerstellung
DE102016122190A1 (de) Verfahren und Systeme zur Stixel-Schätzung
EP2629243A1 (de) Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen
DE102009050502A1 (de) Detektion eines freien Pfads unter Verwendung eines hierarchischen Ansatzes
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE102007013664A1 (de) Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger
WO2020094170A1 (de) Verfahren und verarbeitungseinheit zur ermittlung von information in bezug auf ein objekt in einem umfeld eines fahrzeugs
DE102021001452A1 (de) Verfahren zur Umgebungserfassung
EP2549408A1 (de) Verfahren zur Detektion und Klassifikation von Objekten
DE102011082477A1 (de) Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes
DE102012018471A1 (de) Verfahren zur Erkennung einer Begrenzung eines Fahrbahnrandes für ein Fahrzeug

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20120420

R082 Change of representative

Representative=s name: MERH-IP MATIAS ERNY REICHL HOFFMANN PATENTANWA, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee