DE102014114221A1 - Method for detecting an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle - Google Patents

Method for detecting an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle Download PDF

Info

Publication number
DE102014114221A1
DE102014114221A1 DE102014114221.7A DE102014114221A DE102014114221A1 DE 102014114221 A1 DE102014114221 A1 DE 102014114221A1 DE 102014114221 A DE102014114221 A DE 102014114221A DE 102014114221 A1 DE102014114221 A1 DE 102014114221A1
Authority
DE
Germany
Prior art keywords
motor vehicle
component
determined
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014114221.7A
Other languages
German (de)
Inventor
Camilo Vejarano
Julien Rebut
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102014114221.7A priority Critical patent/DE102014114221A1/en
Priority to EP15184155.8A priority patent/EP3002709A1/en
Priority to US14/863,727 priority patent/US9892519B2/en
Publication of DE102014114221A1 publication Critical patent/DE102014114221A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Detektieren von einem Objekt (12) in einem Umgebungsbereich (6) eines Kraftfahrzeugs (1) anhand einer zeitlichen Sequenz von Bildern (9) des Umgebungsbereichs (6), welche mittels einer Kamera (3a, 3b) des Kraftfahrzeugs (1) erfasst werden, wobei mittels einer elektronischen Auswerteeinrichtung (4) des Kraftfahrzeuges (1) in einem ersten Bild der Sequenz (9) von Bildern zumindest ein charakteristischer Bildpunkt (p) von dem Objekt (12) bestimmt wird und in zumindest einem zweiten Bild (8) der zumindest eine bestimmten charakteristische Bildpunkt (p) verfolgt wird und durch das Verfolgen ein Flussvektor (δ) mit jeweils einer vertikalen Komponente (δv) und einer horizontalen Komponente (δu) bereitgestellt wird, wobei anhand der vertikalen Komponente (δv) eine erste Tiefenkomponente (z‘1), welche senkrecht zu der vertikalen Komponente (δv) und der horizontalen Komponente (δu) ist, bestimmt wird, und anhand der horizontalen Komponente (δu) eine zweite Tiefenkomponente (z‘2), welche ebenfalls senkrecht zu der vertikalen Komponente (δv) und der horizontalen Komponente (δu) ist, bestimmt wird, und, falls die erste Tiefenkomponente (z‘1) innerhalb eines Toleranzbereichs der zweiten Tiefenkomponente (z‘2) entspricht, eine validierte Endtiefenkomponente (z‘) eines von dem charakteristischen Bildpunkt (p) abhängigen verfolgten charakteristischen Bildpunktes (13) bereitgestellt wird.The invention relates to a method for detecting an object (12) in a surrounding area (6) of a motor vehicle (1) on the basis of a temporal sequence of images (9) of the surrounding area (6), which is generated by a camera (3a, 3b) of the motor vehicle (1) are detected, wherein by means of an electronic evaluation device (4) of the motor vehicle (1) in a first image of the sequence (9) of images at least one characteristic pixel (p) of the object (12) is determined and in at least a second Figure (8) the at least one specific characteristic pixel (p) is tracked and by tracking a flow vector (δ) is provided with in each case a vertical component (δv) and a horizontal component (δu), wherein based on the vertical component (δv) a first depth component (z'1) which is perpendicular to the vertical component (δv) and the horizontal component (δu), and from the horizontal component (δu) e a second depth component (z'2), which is also perpendicular to the vertical component (δv) and the horizontal component (δu), and if the first depth component (z'1) is within a tolerance range of the second depth component (z '2), a validated final depth component (z') of a tracked characteristic pixel (13) dependent on the characteristic pixel (p) is provided.

Description

Die Erfindung betrifft ein Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs anhand einer zeitlichen Sequenz von Bildern des Umgebungsbereichs, welche mittels einer Kamera des Kraftfahrzeugs erfasst werden, wobei mittels einer elektronischen Auswerteeinrichtung des Kraftfahrzeugs in einem ersten Bild der Bildsequenz von Bildern charakteristische Bildpunkte von dem Objekt bestimmt werden und in zumindest einem zweiten Bild die bestimmten charakteristischen Bildpunkte verfolgt werden und durch das Verfolgen eine Vielzahl von Flussvektoren mit jeweils einer vertikalen Komponente und einer horizontalen Komponente bereitgestellt wird. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem. The invention relates to a method for detecting an object in an environmental region of a motor vehicle based on a temporal sequence of images of the surrounding area, which are detected by a camera of the motor vehicle, wherein by means of an electronic evaluation device of the motor vehicle in a first image of the image sequence of images characteristic pixels are determined by the object and are tracked in at least a second image, the specific characteristic pixels and by tracking a plurality of flow vectors each having a vertical component and a horizontal component is provided. The invention also relates to a driver assistance system for a motor vehicle, as well as a motor vehicle with a driver assistance system.

Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs sind aus dem Stand der Technik bekannt. So wird in der WO 2005/037619 A1 ein Verfahren beschrieben das zur Einleitung eines Notbremsevorgangs dient. Das Verfahren setzt voraus, dass eine Umgebung des Fahrzeuges zumindest teilweise erfasst wird und eine Objekterkennung, auf den Daten der erfassten Umgebung basierend, ausgeführt wird. Die detektierten Objekte werden dann mit Referenzobjekten verglichen. Es werden nur Objekte berücksichtigt, die größer sind als das Referenzobjekt. Methods for detecting an object in a surrounding area of a motor vehicle are known from the prior art. So will in the WO 2005/037619 A1 a method is described which serves to initiate an emergency brake operation. The method assumes that an environment of the vehicle is at least partially detected and an object recognition based on data of the detected environment is performed. The detected objects are then compared with reference objects. Only objects that are larger than the reference object are considered.

Weiterhin ist ein System zur Kollisionsvermeidung mit einem Bildaufnahmegerät, angebracht im vorderen Bereich des Fahrzeugs, welches ein Bild aufnimmt, und einem Modul welches eine Vielzahl von 3D Modellen bildet und in einem Speichermedium abspeichert, aus der US 8 412 448 B2 bekannt. Zusätzlich extrahiert ein Bildverarbeitungsmodul Bilddaten von dem aufgenommenen Bild und vergleicht diese mit dem 3D Modell. Wenn dann ein Objekt erkannt wurde, wird in einem weiteren Schritt eine Warnung ausgegeben. Furthermore, a system for collision avoidance with an image pickup device mounted in the front of the vehicle which picks up an image and a module which forms a plurality of 3D models and stores in a storage medium is disclosed in US Pat US Pat. No. 8,412,448 B2 known. In addition, an image processing module extracts image data from the captured image and compares it with the 3D model. If an object has then been detected, a warning is issued in a further step.

Von der US 8 121 348 B2 ist eine Objekterkennungseinrichtung für Fahrzeuge bekannt, welche mit einer Kameraeinheit ein Bild einer Straße in vorwärts Fahrtrichtung aufnimmt. Über das aufgenommene Bild wird ein Fenster geschoben von welchem ein Histogramm berechnet wird. Dieses Histogramm wird dann mit Modellen aus einer Datenbank verglichen, um festzustellen ob es sich um ein gesuchtes Objekt handelt. Of the US 8 121 348 B2 For example, an object recognition device for vehicles is known, which with a camera unit captures an image of a road in the forward direction of travel. Over the taken picture a window is pushed from which a histogram is calculated. This histogram is then compared to models from a database to determine if it is a searched object.

Aus der DE 10 2012 011 121 A1 ist ein Verfahren zum Detektieren von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs bekannt, wobei mittels einer Methode des optischen Flusses eine Vielzahl von Flussvektoren bestimmt wird. Anhand der Flussvektoren werden die Objekte detektiert. Hierbei wird auch ein Bewegungsvektor des Kraftfahrzeugs berücksichtigt. From the DE 10 2012 011 121 A1 For example, a method for detecting objects in a surrounding area of a motor vehicle is known, wherein a multiplicity of flow vectors is determined by means of an optical flow method. Based on the flow vectors, the objects are detected. Here, a motion vector of the motor vehicle is taken into account.

Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug bereitzustellen, mit welchen beziehungsweise bei welchen das Objekt in dem Umgebungsbereich des Kraftfahrzeugs besonders präzise detektiert werden kann. It is an object of the invention to provide a method, a driver assistance system and a motor vehicle, with which or in which the object in the surrounding area of the motor vehicle can be detected particularly precisely.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. This object is achieved by a method by a driver assistance system and by a motor vehicle with the features according to the respective independent claims.

Bei einem erfindungsgemäßen Verfahren zum Detektieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs wird eine zeitliche Sequenz von Bildern des Umgebungsbereichs erzeugt, welche mittels einer Kamera des Kraftfahrzeugs erfasst werden. Mittels einer elektronischen Auswerteeinrichtung des Kraftfahrzeugs wird in einem ersten Bild der Bildsequenz von Bildern zumindest ein charakteristischer Bildpunkt von dem Objekt bestimmt. In zumindest einem zweiten Bild wird der zumindest eine bestimmte charakteristische Bildpunkt verfolgt und durch das Verfolgen wird zumindest ein Flussvektor mit jeweils einer vertikalen Komponente und einer horizontalen Komponente bereitgestellt. Erfindungsgemäß ist vorgesehen, dass anhand der vertikalen Komponente eine erste Tiefenkomponente, welche senkrecht zu der vertikalen Komponente und der horizontalen Komponente ist, bestimmt wird, und es wird anhand der horizontalen Komponente eine zweite Tiefenkomponente, welche ebenfalls senkrecht zu der vertikalen Komponente und der horizontalen Komponente ist, bestimmt. Falls die erste Tiefenkomponente innerhalb eines Toleranzbereichs der zweiten Tiefenkomponente entspricht, wird eine validierte Endtiefenkomponente eines von dem zumindest einen charakteristischen Bildpunkt abhängigen verfolgten charakteristischen Bildpunktes bereitgestellt. In a method according to the invention for detecting an object in an environmental region of a motor vehicle, a temporal sequence of images of the surrounding area is generated, which are detected by means of a camera of the motor vehicle. By means of an electronic evaluation device of the motor vehicle, at least one characteristic pixel of the object is determined in a first image of the image sequence of images. In at least one second image, the at least one specific characteristic pixel is tracked, and by tracking, at least one flow vector is provided, each with a vertical component and a horizontal component. According to the invention, it is provided that a first depth component which is perpendicular to the vertical component and the horizontal component is determined on the basis of the vertical component, and a second depth component, which is likewise perpendicular to the vertical component and the horizontal component, is determined on the basis of the horizontal component is, certainly. If the first depth component within a tolerance range corresponds to the second depth component, then a validated end depth component of a tracked characteristic pixel dependent on the at least one characteristic pixel is provided.

Durch das erfindungsgemäße Verfahren wird es also möglich, die validierte beziehungsweise überprüfte Endtiefenkomponente des verfolgten charakteristischen Bildpunktes bereitzustellen. Der verfolgte charakteristische Bildpunkt ist der charakteristische Bildpunkt, welcher mit dem optischen Fluss verfolgt wurde und den Flussvektor bereitstellt. Das Verfahren ist möglich, weil jeder der Flussvektoren die vertikale Komponente und die horizontale Komponente bereitstellt. Die vertikale Komponente und die horizontale Komponente befinden sich in der Bildebene und sind zueinander senkrecht. So kann die vertikale Komponente beispielsweise in einer Spalte des Bildes über mehrere Zeilen des Bildes bestimmt werden, während die horizontale Komponente in einer Zeile des Bildes über mehrere Spalten des Bildes bestimmt wird. Anhand der vertikalen Komponente wird also eine erste Tiefenkomponente bestimmt. Die erste Tiefenkomponente ist senkrecht zu der Bildebene ausgerichtet und ragt beispielsweise in das Bild hinein. Durch die erste Tiefenkomponente kann also bestimmt werden, wie weit der jeweilige charakteristische Bildpunkt von der Kamera und/oder dem Kraftfahrzeug entfernt ist. Analog gilt dies natürlich ebenfalls für die zweite Tiefenkomponente, welche anhand der horizontalen Komponente bestimmt wird. Schließlich liegen also zwei Tiefenkomponenten beziehungsweise zwei Tiefenwerte vor, nämlich die erste Tiefenkomponente und die zweite Tiefenkomponente, welche unabhängig voneinander die Tiefe beziehungsweise die Entfernung des charakteristischen Bildpunktes zu der Kamera und/oder dem Kraftfahrzeug beschreiben. Nachdem der jeweilige charakteristische Bildpunkt nur in einer Entfernung angeordnet sein kann beziehungsweise mit einem Tiefenwert versehen sein kann, wird davon ausgegangen, dass die validierte Endtiefenkomponente beziehungsweise der validierte Endtiefenwert beziehungsweise der richtige Tiefenwert ausschließlich dann vorliegt, falls die erste Tiefenkomponente innerhalb eines Toleranzbereichs der zweiten Tiefenkomponente entspricht. Der Toleranzbereich kann vorzugsweise kleiner oder gleich 25 Prozent oder insbesondere kleiner oder gleich 20 Prozent oder insbesondere kleiner oder gleich 10 Prozent oder insbesondere kleiner oder gleich 5 Prozent oder insbesondere kleiner oder gleich 1 Prozent betragen. Somit kann eine besonders zuverlässige Endtiefenkomponente beziehungsweise ein besonders zuverlässiger Tiefenwert des jeweiligen charakteristischen Bildpunktes bereitgestellt werden. The inventive method thus makes it possible to provide the validated or checked final depth component of the tracked characteristic pixel. The traced characteristic pixel is the characteristic pixel that was traced with the optical flux and provides the flux vector. The method is possible because each of the flow vectors provides the vertical component and the horizontal component. The vertical component and the horizontal component are located yourself in the picture plane and are perpendicular to each other. For example, the vertical component in one column of the image may be determined over several lines of the image while the horizontal component in one row of the image is determined over several columns of the image. Based on the vertical component, therefore, a first depth component is determined. The first depth component is oriented perpendicular to the image plane and projects into the image, for example. The first depth component can thus be used to determine how far away the respective characteristic pixel is from the camera and / or the motor vehicle. Of course, this also applies analogously to the second depth component, which is determined on the basis of the horizontal component. Finally, there are thus two depth components or two depth values, namely the first depth component and the second depth component, which independently of one another describe the depth or the distance of the characteristic picture element to the camera and / or the motor vehicle. After the respective characteristic pixel can only be arranged at a distance or can be provided with a depth value, it is assumed that the validated final depth component or the validated final depth value or the correct depth value exists exclusively if the first depth component is within a tolerance range of the second depth component equivalent. The tolerance range may preferably be less than or equal to 25 percent or in particular less than or equal to 20 percent or in particular less than or equal to 10 percent or in particular less than or equal to 5 percent or in particular less than or equal to 1 percent. Thus, a particularly reliable depth of field component or a particularly reliable depth value of the respective characteristic pixel can be provided.

Insbesondere ist vorgesehen, dass die vertikale Komponente und/oder die horizontale Komponente abhängig von zumindest einem von einer kraftfahrzeugseitigen Einheit bestimmten aktuellen Bewegungsvektor des Kraftfahrzeugs, insbesondere einer Geschwindigkeit und/oder einer Gierwinkelgeschwindigkeit und/oder einer Nickwinkelgeschwindigkeit und/oder einer Rollwinkelgeschwindigkeit, bestimmt wird. Somit kann mit dem aktuellen Bewegungsvektor eine Eigenbewegung des Kraftfahrzeugs aus jedem Bild der Sequenz von Bildern und somit auch aus den Flussvektoren herausgerechnet werden. Somit kann beispielsweise auch zwischen bewegten und statischen Objekten unterschieden werden. Der Bewegungsvektor kann anhand der Geschwindigkeit und/oder der Gierwinkelgeschwindigkeit und/oder des Nickwinkelgeschwindigkeit und/oder des Rollwinkelgeschwindigkeit bestimmt werden. Die Geschwindigkeit und/oder die Gierwinkelgeschwindigkeit und/oder die Nickwinkelgeschwindigkeit und/oder die Rollwinkelgeschwindigkeit können von der kraftfahrzeugseitigen Einheit beziehungsweise einem CAN-Bus des Kraftfahrzeugs abgegriffen werden. In particular, it is provided that the vertical component and / or the horizontal component is determined as a function of at least one current motion vector of the motor vehicle, in particular a speed and / or a yaw angular velocity and / or a pitch angular velocity and / or a roll angular velocity determined by a motor vehicle side unit. Thus, with the current motion vector, a self-motion of the motor vehicle can be calculated out of every image of the sequence of images and thus also out of the flow vectors. Thus, for example, a distinction can also be made between moving and static objects. The motion vector may be determined from the speed and / or the yaw angular velocity and / or the pitch angular velocity and / or the roll angular velocity. The speed and / or the yaw angular velocity and / or the pitch angular velocity and / or the roll angular velocity can be tapped by the motor vehicle side unit or a CAN bus of the motor vehicle.

Vorzugsweise ist vorgesehen, dass beim Bestimmen der vertikalen Komponente und/oder der horizontalen Komponente ein Kalibrierungszustand der Kamera, insbesondere eine innere Orientierung und/oder eine äußere Orientierung, berücksichtigt werden. Eine Lage eines Projektionszentrums der Kamera relativ zur Bildebene des Bildes wird mit der inneren Orientierung beschrieben, während die Lage des Projektionszentrums und einer Aufnahmerichtung der Kamera relativ zu dem Objekt mit der äußeren Orientierung beschrieben wird. So kann beispielsweise mit dem Kalibrierungszustand eine Verzeichnung des Bildes, welche beispielsweise aufgrund eines Objektivs der Kamera entstanden ist, korrigiert werden. Weiterhin kann mit dem Kalibrierungszustand ein Zusammenhang zwischen einer Position des Objektes im Bild und einer Position des Objektes in der realen Welt hergestellt werden. Es kann also auch eine Transformation der Koordinaten des Objektes von einem Weltkoordinatensystem beziehungsweise einem erdfesten Koordinatensystem oder einem Kraftfahrzeugkoordinatensystem in ein Kamerakoordinatensystem ein erfolgen. It is preferably provided that, when determining the vertical component and / or the horizontal component, a calibration state of the camera, in particular an inner orientation and / or an outer orientation, are taken into account. A position of a projection center of the camera relative to the image plane of the image is described with the inner orientation, while the position of the projection center and a shooting direction of the camera relative to the object with the outer orientation is described. Thus, for example, with the calibration state, a distortion of the image, which has arisen for example due to a lens of the camera, can be corrected. Furthermore, with the calibration state, a relationship between a position of the object in the image and a position of the object in the real world can be established. Thus, it is also possible to transform the coordinates of the object from a world coordinate system or an earth-fixed coordinate system or a motor vehicle coordinate system into a camera coordinate system.

Insbesondere wird abhängig von der validierten Endtiefenkomponente eine 3D-Position des Objekts bestimmt. Die 3D-Position des Objekts kann abhängig von der vertikalen Komponente, der horizontalen Komponente und der validierten Endtiefenkomponente bereitgestellt werden. Die 3D-Position kann genutzt werden, um eine Draufsicht beziehungsweise eine Ansicht in Vogelperspektive des Umgebungsbereichs bereitzustellen. Ergänzend oder alternativ können anhand der 3D-Position des Objekts eine Seitenansicht und/oder eine Rückansicht des Objektes erfolgen, wodurch ein mögliches Hindernis für das Kraftfahrzeug erkannt werden kann. Weiterhin kann ein Fahrer des Kraftfahrzeugs anhand der vogelperspektivischen Darstellung besonders schnell und einfach erkennen, wo sich ein mögliches Hindernis für das Kraftfahrzeug befindet. In particular, depending on the validated final depth component, a 3D position of the object is determined. The 3D position of the object may be provided depending on the vertical component, the horizontal component, and the validated end depth component. The 3D position can be used to provide a bird's-eye view of the surrounding area. Additionally or alternatively, based on the 3D position of the object, a side view and / or a rear view of the object can take place, whereby a possible obstacle for the motor vehicle can be detected. Furthermore, a driver of the motor vehicle on the basis of the bird's-eye view representation particularly quickly and easily recognize where a possible obstacle for the motor vehicle is located.

Weiterhin ist vorgesehen, dass bei der Bestimmung der charakteristischen Bildpunkte ein Gitter mit mehreren Zellen berücksichtigt wird, durch welches das erste Bild unterteilt wird. Ein Vorteil des Gitters ist, dass die charakteristischen Bildpunkte so bestimmt werden können, dass deren Verteilung in dem ersten Bild homogen beziehungsweise gleichmäßig ist. So kann beispielsweise eine gewünschte Anzahl von charakteristischen Bildpunkten pro Gitter festgelegt werden. Weiterhin bietet das Gitter den Vorteil, dass jede Zelle des Gitters einzeln verarbeitet werden kann und somit eine Grundlage für eine Parallelisierung beziehungsweise eine parallele Verarbeitung der Zellen geschaffen wird. Furthermore, it is provided that, in the determination of the characteristic pixels, a grid having a plurality of cells is taken into account, by which the first image is subdivided. An advantage of the grating is that the characteristic pixels can be determined so that their distribution in the first image is homogeneous. For example, a desired number of characteristic pixels per grid can be specified. Furthermore, the grid offers the advantage that each cell of the grid can be processed individually and thus a basis for a parallelization or a parallel processing of the cells is created.

Weiterhin können die charakteristischen Bildpunkte abhängig von einem Mindestwert, welcher eine Mindestanzahl von charakteristischen Bildpunkten pro Zelle angibt, und/oder einem Maximalwert, welcher eine Höchstanzahl von charakteristischen Bildpunkten pro Zelle angibt, bestimmt werden. Durch den Mindestwert und/oder den Maximalwert kann also bestimmt werden, welche Anzahl von charakteristischen Bildpunkten in der jeweiligen Zelle erwünscht ist. Vorteilhaft daran ist, dass eine homogene Verteilung der Bildpunkte über das gesamte Bild erzeugt werden kann. Weiterhin kann verhindert werden, dass unnötig Rechenaufwand zum Bestimmen der charakteristischen Bildpunkte aufgebracht wird. So kann dies der Fall sein in Zellen mit vielen Ecken und kleinen kontrastreichen Strukturen. Andererseits kann aber auch sichergestellt werden, dass in den jeweiligen Zellen, welche einen niedrigen Kontrast und wenige Ecken aufweisen, zu wenig charakteristische Bildpunkte bestimmt werden. Furthermore, the characteristic pixels may be determined depending on a minimum value indicating a minimum number of characteristic pixels per cell and / or a maximum value indicating a maximum number of characteristic pixels per cell. The minimum value and / or the maximum value can therefore be used to determine which number of characteristic pixels is desired in the respective cell. The advantage of this is that a homogeneous distribution of the pixels over the entire image can be generated. Furthermore, it can be prevented that unnecessary computational effort for determining the characteristic pixels is applied. This may be the case in cells with many corners and small contrasting structures. On the other hand, it can also be ensured that too few characteristic pixels are determined in the respective cells, which have a low contrast and few corners.

Vorzugsweise ist vorgesehen, dass eine Richtung von jeweils einem der Flussvektoren mit den verbleibenden Flussvektoren verglichen wird und aus dem Vergleich ein Richtungszuverlässigkeitswert bestimmt wird. Es kann also anhand des Richtungszuverlässigkeitswerts beziehungsweise eines Konsistenzwerts bestimmt werden, wie zuverlässig ein jeweiliger Flussvektor ist. Dies kann anhand eines Vergleichs mit den übrigen Flussvektoren erfolgen. Üblicherweise erstrecken sich die Flussvektoren in die gleiche Richtung. Falls nun einer der Flussvektoren in eine andere Richtung verläuft, so ist davon auszugehen, dass es sich hierbei um einen Ausreißer handelt. Der Ausreißer kann beispielsweise durch ein bewegtes Objekt hervorgerufen oder durch einen Fehler bei dem Verfolgen des charakteristischen Punktes mit beispielsweise einem Verfahren nach dem optischen Fluss. Zum Bestimmen des Richtungszuverlässigkeitswerts kann auch eine 3D-Position des charakteristischen Bildpunktes über einen zeitlichen Verlauf genutzt werden. It is preferably provided that a direction of each of the flow vectors is compared with the remaining flow vectors and a direction reliability value is determined from the comparison. It can thus be determined from the direction reliability value or a consistency value, how reliable a respective flow vector is. This can be done by comparison with the other flow vectors. Usually, the flow vectors extend in the same direction. If one of the flow vectors moves in a different direction, it can be assumed that this is an outlier. The outlier may be caused, for example, by a moving object or by an error in tracking the characteristic point with, for example, a method of optical flow. To determine the direction reliability value, it is also possible to use a 3D position of the characteristic pixel over a time course.

In einer weiteren Ausgestaltung ist vorgesehen, dass anhand des Richtungszuverlässigkeitswerts zwischen statischen Objekten und bewegten Objekten unterschieden wird. So ist der Richtungszuverlässigkeitswert für die bewegten Objekte geringer als der Richtungszuverlässigkeitswert für statische Objekte, weil davon auszugehen ist, dass die bewegten Objekte sich nicht in die Richtung der Mehrheit der charakteristischen Bildpunkte bewegen. Falls diese sich doch in die Richtung der charakteristischen Bildpunkte von statischen Objekten bewegen, so kann davon ausgegangen werden, dass dies zeitlich beschränkt ist und anschließend eine Richtungsänderung stattfindet. Somit können also beispielsweise ausschließlich charakteristische Bildpunkte beziehungsweise Flussvektoren von statischen Objekten genutzt werden, um die Endtiefenkomponente zu bestimmen. In a further embodiment, it is provided that a distinction is made between static objects and moving objects on the basis of the direction reliability value. Thus, the directional reliability value for the moving objects is less than the directional reliability value for static objects because it is considered that the moving objects do not move in the direction of the majority of the characteristic pixels. If these move in the direction of the characteristic pixels of static objects, then it can be assumed that this is limited in time and then a change of direction takes place. Thus, for example, only characteristic pixels or flow vectors of static objects can be used to determine the final depth component.

Weiterhin ist vorgesehen, dass abhängig von den Flussvektoren ein Bewegungsvektor des Kraftfahrzeugs, insbesondere eine Geschwindigkeit und/oder eine Gierwinkelgeschwindigkeit und/oder eine Nickwinkelgeschwindigkeit und/oder eine Rollwinkelgeschwindigkeit, bestimmt wird, welcher mit einem von einer kraftfahrzeugseitigen Einheit bestimmten Bewegungsvektor verglichen wird. Es kann also vorgesehen sein, dass die Flussvektoren zur Bestimmung eines Bewegungsvektors des Kraftfahrzeugs genutzt werden, welcher dann mit einem Bewegungsvektor des Kraftfahrzeugs, welcher anhand von einer anderen Quelle, nämlich beispielsweise der kraftfahrzeugseitigen Einheit, bereitgestellt wurde verglichen werden kann. So kann beispielsweise überprüft werden, ob die Flussvektoren richtig bestimmt worden sind oder, falls den Flussvektoren mehr Vertrauen geschenkt wird, ob der Bewegungsvektor der kraftfahrzeugseitigen Einheit zuverlässig bereitgestellt worden ist. It is further provided that, depending on the flow vectors, a motion vector of the motor vehicle, in particular a speed and / or a yaw angular velocity and / or a pitch angular velocity and / or a roll angular velocity, is determined, which is compared with a motion vector determined by a motor vehicle-side unit. It can therefore be provided that the flow vectors are used to determine a motion vector of the motor vehicle, which can then be compared with a motion vector of the motor vehicle, which was provided from another source, namely, for example, the motor vehicle side unit. Thus, for example, it can be checked whether the flow vectors have been determined correctly or, if more trust is given to the flow vectors, whether the motion vector of the motor vehicle side unit has been reliably provided.

Weiterhin ist vorgesehen, dass die Flussvektoren mit einem RANSAC-Verfahren ausgewählt werden. RANSAC (Random Sample Consensus) ist ein Algorithmus zur Schätzung eines Modells innerhalb einer Reihe von Messwerten mit Ausreißern und groben Fehlern. Hierbei wird überprüft, inwieweit ein zufällig ausgewählter Flussvektor von den anderen Flussvektoren abweicht und, falls die Abweichung zu groß ist, kann dieser Flussvektor als Ausreißer von dem weiteren Vorgehen ausgeschlossen werden. Das RANSAC-Verfahren kann ergänzend oder alternativ auf die jeweiligen charakteristischen Bildpunkte der jeweiligen Flussvektoren angewandt werden. Somit können die Flussvektoren ebenfalls von Fehlern oder Ausreißern bereinigt ausgewählt werden. Furthermore, it is provided that the flow vectors are selected using a RANSAC method. RANSAC (Random Sample Consensus) is an algorithm for estimating a model within a set of outlier and gross error metrics. Here it is checked to what extent a randomly selected flow vector deviates from the other flow vectors and, if the deviation is too large, this flow vector can be excluded as an outlier from the further procedure. The RANSAC method may additionally or alternatively be applied to the respective characteristic pixels of the respective flow vectors. Thus, the flow vectors can also be selected clean from errors or outliers.

Insbesondere ist vorgesehen, dass zur Bestimmung der validierten Endtiefenkomponente eine vorbestimmte Wegstrecke mit dem Kraftfahrzeug zurückgelegt werden muss und eine darauffolgende validierte Endtiefenkomponente erst nach einem weiteren Zurücklegen der vorbestimmten Wegstrecke bestimmt wird. So kann es beispielsweise sein, dass die Veränderung in der Szene, welche von der zeitlichen Sequenz der Bilder aufgenommen wird, zu gering ist, um den Aufwand der Berechnung beziehungsweise der Bestimmung der validierten Endtiefenkomponente zu rechtfertigen. Bewegt sich das Kraftfahrzeug beispielsweise nur sehr langsam oder gar nicht vorwärts, so ändert sich die Szene kaum, und somit verändert sich die Endtiefenkomponente beziehungsweise der Abstand von dem Kraftfahrzeug zu dem Objekt ebenfalls kaum. Es kann also vorgesehen sein, dass die validierte Endtiefenkomponente ausschließlich nach dem Zurücklegen der vorbestimmten Wegstrecke bestimmt wird. Die vorbestimmte Wegstrecke kann beispielsweise 10 Zentimeter oder 15 Zentimeter oder 20 Zentimeter oder 30 Zentimeter oder 40 Zentimeter betragen. So wird dann beispielsweise nach jeweils 20 Zentimeter zurückgelegter Wegstrecke einmal die validierte Tiefenkomponente bestimmt. Anders ausgedrückt kann somit beispielsweise alle 20 Zentimeter die validierte Endtiefenkomponente bereitgestellt werden und somit unnötiger Rechenaufwand vermieden werden. Somit kann eine neue 3D-Position des jeweiligen charakteristischen Bildpunktes beziehungsweise des Objektes ebenfalls erst jeweils nach dem Zurücklegen der vorbestimmten Wegstrecke erfolgen. In particular, it is provided that for determining the validated end depth component, a predetermined distance must be traveled with the motor vehicle and a subsequent validated Endtiefenkomponente is determined only after further travel of the predetermined distance. For example, it may be that the change in the scene, which is recorded by the temporal sequence of the images, is too small to justify the effort of calculating or determining the validated final depth component. For example, if the motor vehicle is moving very slowly or not at all forward, the scene hardly changes, and thus the final depth component or the distance from the motor vehicle to the object hardly changes. So it can be provided that the validated Endtiefenkomponente is determined only after covering the predetermined distance. The predetermined distance can be, for example 10 centimeters or 15 centimeters or 20 centimeters or 30 centimeters or 40 centimeters. Thus, for example, the validated depth component is determined once every 20 centimeters traveled distance. In other words, it is thus possible, for example, to provide the validated final depth component every 20 centimeters, thus avoiding unnecessary computation effort. Thus, a new 3D position of the respective characteristic pixel or the object also take place only after the return of the predetermined distance.

In einer weiteren Ausgestaltung ist vorgesehen, dass die charakteristischen Bildpunkte anhand der vertikalen Komponente und/oder der horizontalen Komponente und/oder der validierten Endtiefenkomponente zu zumindest einem Bündel (Cluster) zusammengefasst werden. So können beispielsweise die charakteristischen Bildpunkte zusammengefasst werden, welche einen vorbestimmten Abstand zueinander aufweisen. Der vorbestimmte Abstand lässt sich beispielsweise anhand der vertikalen Komponente und/oder der horizontalen Komponente und/oder der validierten Endtiefenkomponente bestimmen. Das Cluster bietet den Vorteil, weil damit den charakteristischen Bildpunkten in dem Cluster eine gemeinsame Bedeutung zugewiesen werden kann. Durch die gemeinsame Bedeutung können die charakteristischen Bildpunkte besser weiterverarbeitet werden, wie dies beispielsweise bei einem Hinderniswarnsystem des Kraftfahrzeugs erfolgen könnte. In a further embodiment, it is provided that the characteristic pixels are combined to form at least one bundle (cluster) on the basis of the vertical component and / or the horizontal component and / or the validated final depth component. Thus, for example, the characteristic pixels can be summarized, which have a predetermined distance from each other. The predetermined distance can be determined, for example, based on the vertical component and / or the horizontal component and / or the validated Endtiefenkomponente. The cluster offers the advantage of being able to assign a common meaning to the characteristic pixels in the cluster. Due to the common meaning of the characteristic pixels can be processed better, as could be done for example in an obstacle warning system of the motor vehicle.

Vorzugsweise ist vorgesehen, dass mit einem des zumindest einen Clusters das jeweilige Objekt beschrieben wird. So kann es also sein, dass jeweils eines der Cluster für eines der Objekte steht. Es kann also dann beispielsweise ein mögliches Hindernis für das Kraftfahrzeug als ein Cluster beschrieben werden und nicht als ein einzelner charakteristischer Bildpunkt. Weiterhin kann das mögliche Hindernis aufgrund des Clusters zuverlässiger bestimmt werden, weil sich an dem Cluster mehrere der charakteristischen Bildpunkte beteiligt haben können. Falls also einer der charakteristischen Bildpunkte in dem Cluster fehlerhaft ist, so kann davon ausgegangen werden, dass die übrigen charakteristischen Bildpunkte von diesem Fehler beziehungsweise Ausreißer nicht betroffen sind. It is preferably provided that one of the at least one cluster describes the respective object. So it may be that one of the clusters stands for one of the objects. Thus, for example, a possible obstacle for the motor vehicle may then be described as a cluster and not as a single characteristic pixel. Furthermore, the potential obstacle due to the cluster can be determined more reliably because more than one of the characteristic pixels may have participated in the cluster. If, therefore, one of the characteristic pixels in the cluster is defective, then it can be assumed that the remaining characteristic pixels are not affected by this error or outliers.

Ein erfindungsgemäßes Fahrerassistenzsystem für ein Kraftfahrzeug umfasst eine Kamera und eine elektronische Auswerteeinheit, welches dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. An inventive driver assistance system for a motor vehicle comprises a camera and an electronic evaluation unit, which is designed to carry out a method according to the invention.

Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem. An inventive motor vehicle, in particular a passenger car, comprises a driver assistance system according to the invention.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug. The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the driver assistance system according to the invention and to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively specified combination but also in other combinations or in isolation, without the scope of To leave invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Embodiments of the invention are explained in more detail below with reference to schematic drawings.

Dabei zeigen: Showing:

1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems zum Detektieren eines Objekts; 1 in a schematic plan view of an embodiment of a motor vehicle according to the invention with an embodiment of a driver assistance system according to the invention for detecting an object;

2 ein Kamerakoordinatensystem einer Kamera und ein Kraftfahrzeugkoordinatensystem des Kraftfahrzeugs; 2 a camera coordinate system of a camera and a motor vehicle coordinate system of the motor vehicle;

3 das Kamerakoordinatensystem und das Kraftfahrzeugkoordinatensystem mit einer schematischen Darstellung des Kraftfahrzeugs; 3 the camera coordinate system and the vehicle coordinate system with a schematic representation of the motor vehicle;

4 eine Rollwinkelgeschwindigkeit des Kraftfahrzeugs mit einer schematischen Darstellung des Kraftfahrzeugs; 4 a roll angular velocity of the motor vehicle with a schematic representation of the motor vehicle;

5 eine Gierwinkelgeschwindigkeit des Kraftfahrzeugs und eine Geschwindigkeit des Kraftfahrzeugs mit einer schematischen Darstellung des Kraftfahrzeugs; 5 a yaw rate of the motor vehicle and a speed of the motor vehicle with a schematic representation of the motor vehicle;

6 eine Nickwinkelgeschwindigkeit des Kraftfahrzeugs und die Geschwindigkeit mit einer schematischen Darstellung des Kraftfahrzeugs; 6 a pitch angle speed of the motor vehicle and the speed with a schematic representation of the motor vehicle;

7 eine schematische Darstellung eines Bildes einer zeitlichen Sequenz von Bildern eines Umgebungsbereichs des Kraftfahrzeugs mit einer Vielzahl von Flussvektoren; 7 a schematic representation of an image of a temporal sequence of images of a surrounding area of the motor vehicle with a plurality of flow vectors;

8 eine schematische Darstellung einer Bildebene des Bildes mit Tiefenkomponenten in dem Kamerakoordinatensystem; 8th a schematic representation of an image plane of the image with depth components in the camera coordinate system;

9 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens; 9 a flow diagram of the method according to the invention;

10 eine schematische Darstellung des Bildes mit einer 3D-Position von charakteristischen Bildpunkten; 10 a schematic representation of the image with a 3D position of characteristic pixels;

11 eine schematische Darstellung einer Draufsicht der 3D-Position der charakteristischen Bildpunkte; 11 a schematic representation of a plan view of the 3D position of the characteristic pixels;

12 eine schematische Darstellung einer Seitenansicht der 3D-Position der charakteristischen Bildpunkte; 12 a schematic representation of a side view of the 3D position of the characteristic pixels;

13 eine schematische Darstellung einer Rückansicht der 3D-Position der charakteristischen Bildpunkte; 13 a schematic representation of a rear view of the 3D position of the characteristic pixels;

14 eine schematische Darstellung des Bildes, in welchem detektierte Objekte markiert sind; 14 a schematic representation of the image in which detected objects are marked;

15 eine weitere schematische Darstellung des Bildes, in welchem die detektierten Objekte markiert sind; und 15 a further schematic representation of the image in which the detected objects are marked; and

16 ein weiteres Ablaufdiagramm des erfindungsgemäßen Verfahrens. 16 another flow diagram of the method according to the invention.

In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Fahrerassistenzsystem 2 umfasst im Ausführungsbeispiel eine erste Kamera 3a, eine zweite Kamera 3b und eine elektronische Auswerteeinrichtung 4. Gemäß dem Ausführungsbeispiel in 1 ist die Kamera 3a an einer Windschutzscheibe 5 des Kraftfahrzeugs 1 angeordnet. Die Kamera 3a ist also gemäß dem Ausführungsbeispiel so ausgerichtet, dass ein Umgebungsbereich 6 des Kraftfahrzeugs 1 vor dem Kraftfahrzeug erfasst werden kann. Die Kamera 3b ist gemäß dem Ausführungsbeispiel an einem Heck 7 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 3a und/oder der Kamera 3b ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass der Umgebungsbereich 6 des Kraftfahrzeugs 1 erfasst werden kann. In 1 is a schematic plan view of a motor vehicle 1 with a driver assistance system 2 represented according to an embodiment of the invention. The driver assistance system 2 includes in the embodiment a first camera 3a , a second camera 3b and an electronic evaluation device 4 , According to the embodiment in 1 is the camera 3a on a windshield 5 of the motor vehicle 1 arranged. The camera 3a So is aligned according to the embodiment so that a surrounding area 6 of the motor vehicle 1 can be detected in front of the vehicle. The camera 3b is according to the embodiment at a tail 7 of the motor vehicle 1 arranged. The arrangement of the camera 3a and / or the camera 3b However, is possible in many ways, but preferably so that the surrounding area 6 of the motor vehicle 1 can be detected.

Ergänzend oder alternativ sind weitere Kameras zusätzlich zu der Kamera 3a und/oder der Kamera 3b vorgesehen. Das erfindungsgemäße Verfahren kann aber ebenfalls mit nur einer Kamera, beispielsweise der Kamera 3a oder der Kamera 3b, durchgeführt werden. Additionally or alternatively, additional cameras are in addition to the camera 3a and / or the camera 3b intended. However, the method according to the invention can also be used with only one camera, for example the camera 3a or the camera 3b , be performed.

Die Kamera 3a und/oder die Kamera 3b kann eine CMOS-Kamera oder aber eine CCD-Kamera oder eine beliebige Bilderfassungseinrichtung sein, welche ein Bild 8 – wie in 7 dargestellt – einer zeitlichen Sequenz 9 von Bildern zur Verfügung stellt. The camera 3a and / or the camera 3b may be a CMOS camera or a CCD camera or any image capture device, which is an image 8th - as in 7 represented - a temporal sequence 9 of images.

Die Kamera 3a und/oder die Kamera 3b ist eine Videokamera, welche kontinuierlich die zeitliche Sequenz 9 von Bildern beziehungsweise eine Bildsequenz von Bildern bereitstellt. Das Bild 8 ist ein Einzelbild (Frame). Die elektronische Auswerteeinrichtung 4 verarbeitet dann die Sequenz 9 von Bildern vorzugsweise in Echtzeit. The camera 3a and / or the camera 3b is a video camera which continuously displays the temporal sequence 9 of images or an image sequence of images. The picture 8th is a single picture (Frame). The electronic evaluation device 4 then process the sequence 9 preferably in real time.

2 zeigt ein Kamerakoordinatensystem 10 der Kamera 3a, 3b und ein Kraftfahrzeugkoordinatensystem 11 des Kraftfahrzeugs 1. Das Kamerakoordinatensystem 10 umfasst eine x‘-Achse, eine y‘-Achse und eine z‘-Achse. Das Kraftfahrzeugkoordinatensystem 11 umfasst eine z-Achse, eine y-Achse und eine x-Achse. Die Transformation von dem Kamerakoordinatensystem 10 zu dem Kraftfahrzeugkoordinatensystem 11 und umgekehrt kann anhand eines Kalibrierungszustandes der Kamera 3a, 3b durchgeführt werden. Der Kalibrierungszustand umfasst eine innere Orientierung und/oder eine äußere Orientierung. Mit Hilfe des Kamerakoordinatensystems 10 und des Kraftfahrzeugkoordinatensystems 11 kann beispielsweise eine Bewegung, welche in dem Kraftfahrzeugkoordinatensystem 11 bekannt ist, in das Kamerakoordinatensystem 10 transformiert werden. 2 shows a camera coordinate system 10 the camera 3a . 3b and a motor vehicle coordinate system 11 of the motor vehicle 1 , The camera coordinate system 10 includes an x'-axis, a y'-axis and a z'-axis. The motor vehicle coordinate system 11 includes a z-axis, a y-axis and an x-axis. The transformation of the camera coordinate system 10 to the motor vehicle coordinate system 11 and vice versa, based on a calibration state of the camera 3a . 3b be performed. The calibration state includes an inner orientation and / or an outer orientation. With the help of the camera coordinate system 10 and the motor vehicle coordinate system 11 For example, a movement, which in the motor vehicle coordinate system 11 is known, in the camera coordinate system 10 be transformed.

3 zeigt, wie das Kamerakoordinatensystem 10 und das Kraftfahrzeugkoordinatensystem 11 an dem Heck 7 des Kraftfahrzeugs 1 angeordnet beziehungsweise ausgerichtet sein können. Gemäß dem Ausführungsbeispiel zeigt die x-Achse also in Rückwärtsfahrtrichtung des Kraftfahrzeugs 1, während die y-Achse in eine seitliche Richtung des Kraftfahrzeugs 1 zeigt – vorliegend die rechte Seite des Kraftfahrzeugs 1 – und die z-Achse in eine Hochrichtung des Kraftfahrzeugs 1 zeigt. Die z‘-Achse zeigt im Wesentlichen in Richtung der Haupterfassungsrichtung der Kamera 3a, 3b. 3 shows how the camera coordinate system 10 and the motor vehicle coordinate system 11 at the stern 7 of the motor vehicle 1 can be arranged or aligned. According to the embodiment, the x-axis thus shows in the reverse direction of the motor vehicle 1 while the y-axis is in a lateral direction of the motor vehicle 1 shows - in the present case the right side of the motor vehicle 1 - And the z-axis in a vertical direction of the motor vehicle 1 shows. The z'-axis points substantially in the direction of the main detection direction of the camera 3a . 3b ,

4 zeigt eine schematische Darstellung des Kraftfahrzeugs 1 und eine Rollwinkelgeschwindigkeit ωx des Kraftfahrzeugs 1. Die Rollwinkelgeschwindigkeit ωx ist also eine Winkelgeschwindigkeit mit der Rotationsachse der x-Achse von dem Kraftfahrzeugkoordinatensystem 11. 4 shows a schematic representation of the motor vehicle 1 and a roll angular velocity ω x of the motor vehicle 1 , The roll angular velocity ω x is thus an angular velocity with the axis of rotation of the x-axis of the motor vehicle coordinate system 11 ,

5 zeigt eine Gierwinkelgeschwindigkeit ωz des Kraftfahrzeugs 1, wobei die Gierwinkelgeschwindigkeit ωz die z-Achse des Kraftfahrzeugkoordinatensystems 11 als Rotationsachse besitzt. Weiterhin ist ein Bewegungsvektor VCAN des Kraftfahrzeugs 1 beschrieben, welcher sich aus einer Komponente längs zur Fahrtrichtung Vx und einer Komponente quer zur Fahrtrichtung Vy zusammensetzt. Der Bewegungsvektor VCAN kann beispielsweise anhand einer Geschwindigkeit des Kraftfahrzeugs 1 ermittelt werden. Der Lenkwinkel kann beispielsweise dazu dienen die Gierwinkelgeschwindigkeit ωz zu bestimmen. Der Bewegungsvektor VCAN liegt gemäß 5 in der xy-Ebene des Kraftfahrzeugkoordinatensystems 11. 5 shows a yaw rate ω z of the motor vehicle 1 in which the yaw angular velocity ω z is the z-axis of the motor vehicle coordinate system 11 as a rotation axis owns. Furthermore, a motion vector V CAN of the motor vehicle 1 described, which is composed of a component along the direction of travel V x and a component transverse to the direction of travel V y . The motion vector V CAN can, for example, based on a speed of the motor vehicle 1 be determined. The steering angle can serve, for example, to determine the yaw rate ω z . The motion vector V CAN is according to 5 in the xy plane of the motor vehicle coordinate system 11 ,

6 beschreibt eine Nickwinkelgeschwindigkeit ωy des Kraftfahrzeugs 1, welcher als Rotationsachse die y-Achse des Kraftfahrzeugkoordinatensystems 11 besitzt. Der Bewegungsvektor VCAN ist gemäß 6 in eine Hochachsenkomponente Vz in Richtung der Fahrzeughochachse beziehungsweise in Richtung der z-Achse des Kraftfahrzeugkoordinatensystems 11 und die Längskomponente Vx aufgeteilt. Die Daten, welche zur Bestimmung des Bewegungsvektors VCAN und/oder zur Bestimmung der Rollwinkelgeschwindigkeit ωx und/oder der Gierwinkelgeschwindigkeit ωz und/oder der Nickwinkelgeschwindigkeit ωy beitragen, können beispielsweise von einem CAN-Bus des Kraftfahrzeugs 1 abgegriffen werden oder jeweils von einer kraftfahrzeugseitigen Einheit, also beispielsweise einem Sensor, bereitgestellt werden. 6 describes a pitch angle velocity ω y of the motor vehicle 1 , which as rotation axis, the y-axis of the motor vehicle coordinate system 11 has. The motion vector V CAN is according to 6 in a high-axis component V z in the direction of the vehicle vertical axis or in the direction of the z-axis of the motor vehicle coordinate system 11 and split the longitudinal component V x . The data which contribute to the determination of the motion vector V CAN and / or for the determination of the roll angular velocity ω x and / or the yaw angular velocity ω z and / or the pitch angular velocity ω y can be obtained, for example, from a CAN bus of the motor vehicle 1 be tapped or each of a motor vehicle side unit, so for example a sensor provided.

7 zeigt das Bild 8 der Sequenz 9 von Bildern. In dem Bild 8 ist eine Vielzahl von Flussvektoren δ dargestellt. Die Flussvektoren δ werden von charakteristischen Bildpunkten p aus über diese Sequenz 9 von Bildern erzeugt. Die charakteristischen Bildpunkte p werden also zumindest in einem ersten Bild der Sequenz 9 von Bildern bestimmt. Die charakteristischen Bildpunkte p können beispielsweise einem Objekt 12 oder einem Teil des Objektes 12 in der realen Welt zugeordnet werden. Das Bestimmen der charakteristischen Bildpunkte p kann beispielsweise mit einem Interestpunktoperator erfolgen. Als der Interestpunktoperator können beispielsweise ein Harris-Operator und/oder ein FAST-Operator und/oder ein SIFT-Operator und/oder ein SURF-Operator und/oder ein OERB-Operator und/oder ein beliebig anderer Eckendetektor, welcher markante Bildpunkte bestimmt, benutzt werden. Die charakteristischen Bildpunkte p können von Zeit zu Zeit auch in einem weiteren Bild der Bildsequenz 9 bestimmt werden, um eine Initialisierung für einen neuen Flussvektor δ zu liefern. Ausgehend von den charakteristischen Bildpunkten p werden nun die Flussvektoren δ bestimmt, wobei dies mittels eines Verfolgungsverfahrens erfolgt. Als das Verfolgungsverfahren kann beispielsweise ein Lucas-Kanade-Verfahren oder ein anderes Verfahren wie das Block Matching Verfahren angewandt werden. Das Ziel ist es, ausgehend von den charakteristischen Bildpunkten p einen sogenannten spärlichen optischen Fluss („Sparse Optical Flow“) zu erzeugen und anhand des spärlichen optischen Flusses die Flussvektoren δ zu erlangen. Der charakteristische Bildpunkt p, welcher verfolgt wurde und den zugehörigen Flussvektoren δ mit sich bringt wird als verfolgter charakteristischer Bildpunkt 13 bezeichnet. 7 shows the picture 8th the sequence 9 of pictures. In the picture 8th a variety of flow vectors δ is shown. The flux vectors δ are obtained from characteristic pixels p via this sequence 9 generated by images. The characteristic pixels p are therefore at least in a first image of the sequence 9 determined by pictures. The characteristic pixels p can, for example, be an object 12 or part of the object 12 be assigned in the real world. The determination of the characteristic pixels p can be done, for example, with an interest point operator. As the point of interest operator, for example, a Harris operator and / or a FAST operator and / or a SIFT operator and / or a SURF operator and / or an OERB operator and / or any other corner detector, which determines prominent pixels, to be used. The characteristic pixels p may from time to time also in another image of the image sequence 9 be determined to provide an initialization for a new flow vector δ. Starting from the characteristic pixels p, the flow vectors δ are now determined, this being done by means of a tracking method. As the tracking method, for example, a Lucas-Kanade method or another method such as the block matching method may be used. The goal is to generate a so-called sparse optical flow starting from the characteristic pixels p and to obtain the flow vectors δ on the basis of the sparse optical flow. The characteristic pixel p, which has been traced and entails the associated flow vectors δ, is tracked as a characteristic pixel 13 designated.

Die Flussvektoren δ weisen jeweils eine vertikale Komponente δv sowie eine dazu orthogonale horizontale Komponente δu auf.

Figure DE102014114221A1_0002
mit Brennweite f der Kamera 3a, 3b und horizontaler Bildkoordinate u des Bildes 8 und vertikaler Bildkoordinate v des Bildes 8. 8 zeigt also nun das Bild 8 mit der horizontalen Bildachse u und der vertikalen Bildachse v. Das Bild 8 ist in dem Kamerakoordinatensystem 10 angeordnet, sodass die z‘-Achse im Wesentlichen senkrecht durch den Ursprung des Bildkoordinatensystems verläuft. Der Flussvektor δ erstreckt sich beispielsweise ausgehend von dem charakteristischen Bildpunkt p. Der charakteristische Bildpunkt p kann einem Punkt P von dem Objekt 12 in der realen Welt zugeordnet werden. Falls der Punkt P in dem Kamerakoordinatensystem 10 dargestellt ist, so wird der Punkt P als ein Punkt P‘ bezeichnet. Weiterhin sind in 8 die Drehwinkel des Kamerakoordinatensystems 10 dargestellt, wobei ω’y eine Drehung um die y‘-Achse beschreibt und ω’x eine Drehung um die x‘-Achse beschreibt und ω’z eine Drehung um die z‘-Achse beschreibt. Markiert in 8 sind ebenfalls die transformierten Komponenten des Bewegungsvektors VCAN, welche im Kamerakoordinatensystem 10 mit V’x, V’y und V’z bezeichnet werden. The flux vectors δ each have a vertical component δ v and a horizontal component δ u orthogonal thereto.
Figure DE102014114221A1_0002
with focal length f of the camera 3a . 3b and horizontal image coordinate u of the image 8th and vertical image coordinate v of the image 8. 8th So now shows the picture 8th with the horizontal image axis u and the vertical image axis v. The picture 8th is in the camera coordinate system 10 arranged so that the z'-axis is substantially perpendicular through the origin of the image coordinate system. The flux vector δ extends, for example, starting from the characteristic pixel p. The characteristic pixel p can be a point P of the object 12 be assigned in the real world. If the point P in the camera coordinate system 10 is shown, the point P is referred to as a point P '. Furthermore, in 8th the rotation angles of the camera coordinate system 10 where ω ' y describes a rotation about the y'-axis and ω' x describes a rotation about the x'-axis and ω ' z describes a rotation about the z'-axis. Marked in 8th are also the transformed components of the motion vector V CAN , which are in the camera coordinate system 10 with V ' x , V' y and V ' z .

Jeder der Flussvektoren δ weist also nun die vertikale Komponente δv und die horizontale Komponente δu auf. Es lässt sich nun anhand der vertikalen Komponente δv eine erste Tiefenkomponente z‘1 bestimmen und anhand der horizontalen Komponente δu eine zweite Tiefenkomponente z‘2. Dies kann wie folgt mathematisch dargestellt werden:

Figure DE102014114221A1_0003
Figure DE102014114221A1_0004
Each of the flow vectors δ thus now has the vertical component δ v and the horizontal component δ u . A first depth component z ' 1 can now be determined on the basis of the vertical component δ v and a second depth component z' 2 on the basis of the horizontal component δ u . This can be represented mathematically as follows:
Figure DE102014114221A1_0003
Figure DE102014114221A1_0004

Um nun eine validierte Endtiefenkomponente z‘ zu erhalten, wird überprüft, ob die erste Tiefenkomponente z‘1 innerhalb eines Toleranzbereichs der zweiten Tiefenkomponente z‘2 entspricht. Idealerweise sollte die erste Tiefenkomponente z‘1 der zweiten Tiefenkomponente z‘2 entsprechen. Jedoch wird aufgrund von möglichen Abweichungen, beispielsweise Messfehlern und/oder Rechenfehlern, davon ausgegangen, dass in der Realität der Toleranzbereich genutzt wird, um eine Übereinstimmung von der ersten Tiefenkomponente z‘1 und der zweiten Tiefenkomponente z‘2 zu ermitteln. Der Toleranzbereich kann beispielsweise 25 Prozent oder 20 Prozent oder 10 Prozent oder 5 Prozent oder 1 Prozent oder 0,5 Prozent oder 0 Prozent des Wertes der ersten Tiefenkomponente z‘1 oder der zweiten Tiefenkomponente z‘2 betragen. In order to obtain a validated final depth component z ', it is checked whether the first depth component z' 1 corresponds within a tolerance range of the second depth component z ' 2 . Ideally, the first depth component z ' 1 should correspond to the second depth component z' 2 . However, due to possible deviations, for example measurement errors and / or arithmetical errors, it is assumed that in reality the tolerance range is used to determine a match of the first depth component z ' 1 and the second depth component z' 2 . The tolerance range may be, for example, 25 percent or 20 percent or 10 percent or 5 percent or 1 percent or 0.5 percent or 0 percent of the value of the first depth component z ' 1 or the second depth component z' 2 .

Der Toleranzbereich, welcher festlegt, ob die erste Tiefenkomponente z‘1 und die zweite Tiefenkomponente z‘2 einander entsprechen und somit die validierte Endtiefenkomponente z‘ bereitgestellt wird, kann beispielsweise wie folgt beschrieben werden. |z′(δu) – z′(δv)| ≤ Z′th·[z′(δu) + z′(δv)]/2 (3) The tolerance range which determines whether the first depth component z ' 1 and the second depth component z' 2 correspond to one another and thus provides the validated final depth component z 'can be described as follows, for example. | z '(δ u ) - z' (δ v ) | ≤ Z ' th · [z' (δ u ) + z '(δ v )] / 2 (3)

Der Toleranzbereich wird also abhängig von einem Toleranzparameter z’th definiert, wobei z’th beispielsweise einem Wert von 0,1 oder 0,15 oder 0,2 oder 0,25 oder 0,3 entsprechen kann. Falls ein verfolgter charakteristischer Bildpunkt p mit der zugehörigen ersten Tiefenkomponente z’1 und der zweiten Tiefenkomponente z’2‘ nicht in dem Toleranzbereich liegt und diese somit einander nicht entsprechen, so wird deren Endtiefenwert beziehungsweise deren Endtiefenkomponente als unendlich weit entfernt angenommen und somit auf einen sehr großen Wert wie beispielsweise 1.000 Meter gesetzt. The tolerance range is thus defined as a function of a tolerance parameter z ' th , where z' th can correspond, for example, to a value of 0.1 or 0.15 or 0.2 or 0.25 or 0.3. If a tracked characteristic pixel p with the associated first depth component z ' 1 and the second depth component z' 2 'is not in the tolerance range and thus do not correspond to each other, then their Endtiefenwert or their Endtiefenkomponente is assumed to be infinitely far away and thus to a set very high value such as 1,000 meters.

9 zeigt ein Ablaufdiagramm zum Detektieren des Objektes 12 in dem Umgebungsbereich 6. Hierzu wird in einem Schritt S1 die Sequenz 9 von Bildern bereitgestellt. In einem Schritt S2 wird in der Sequenz 9 von Bildern ein spärlicher optischer Fluss ermittelt und somit die Flussvektoren δ bereitgestellt. In einem Schritt S3 wird eine Bewegungsschätzung der Kamera 3a, 3b anhand des Bewegungsvektors VCAN durchgeführt. Hierzu werden in einem Schritt S4 Daten für den Bewegungsvektor VCAN von einer kraftfahrzeugseitigen Einheit und/oder dem CAN-Bus des Kraftfahrzeugs 1 abgegriffen beziehungsweise ausgelesen. In einem Schritt S5 wird eine 3D-Position von einem verfolgten charakteristischen Bildpunkt 13 abhängig von der vertikalen Komponente δv und der horizontalen Komponente δu und der validierten Endtiefenkomponente z‘ bereitgestellt. Die verfolgten charakteristischen Bildpunkte 13 werden mit der zugehörigen 3D-Position zu Clustern 14 zusammengefasst in einem Schritt S6. Das Zusammenfassen zu den Clustern 14 kann beispielsweise derart erfolgen, dass der verfolgte charakteristischen Bildpunkte 13 des Objektes 12 mit ihrer x-Koordinate in einem Bereich von 0 bis 5 Metern liegen sollen und mit ihrer y-Koordinate in einem Bereich von –3 Metern bis 3 Metern liegen sollen und mit ihrer z-Koordinate in einem Bereich von 0,3 Metern bis 1,8 Metern liegen sollen. Die 3D-Position sowie die x-Koordinate, die y-Koordinate und die z-Koordinate werden in diesem Fall in dem Kraftfahrzeugkoordinatensystem 11 beschrieben. In einem Schritt S7 wird dem Cluster 14 nun die Bedeutung des Objektes 12 zugewiesen. 9 shows a flow chart for detecting the object 12 in the surrounding area 6 , For this purpose, in a step S1, the sequence 9 provided by pictures. In a step S2, in the sequence 9 of images a sparse optical flux determined and thus provided the flow vectors δ. In a step S3, a motion estimation of the camera is made 3a . 3b performed on the basis of the motion vector V CAN . For this purpose, in a step S4 data for the motion vector V CAN of a motor vehicle side unit and / or the CAN bus of the motor vehicle 1 tapped or read. In a step S5, a 3D position of a tracked characteristic pixel 13 depending on the vertical component δ v and the horizontal component δ u and the validated final depth component z '. The traced characteristic pixels 13 become clusters with the associated 3D position 14 summarized in a step S6. Summing up to the clusters 14 For example, such that the tracked characteristic pixels 13 of the object 12 with their x-coordinate in a range of 0 to 5 meters and lie with their y-coordinate in a range of -3 meters to 3 meters and with their z-coordinate in a range of 0.3 meters to 1 , 8 meters should lie. The 3D position as well as the x-coordinate, the y-coordinate and the z-coordinate become in this case in the motor vehicle coordinate system 11 described. In a step S7, the cluster becomes 14 now the meaning of the object 12 assigned.

10 zeigt das Bild 8 mit den verfolgten charakteristischen Bildpunkten 13, welche aufgrund der validierten Endtiefenkomponente z‘ und einer x‘-Koordinate und y‘-Koordinate, welche alle drei zusammen orthogonal sind und das Kamerakoordinatensystem 10 ausspannen. Die mathematische Beschreibung der drei Parameter z‘, x‘, y‘ ist wie folgt: z′ = [z2′(δu) + z1′(δv)]/2 (4a) x′ = z′·u / f (4b) y′ = z′·v / f (4c) 10 shows the picture 8th with the traced characteristic pixels 13 which are due to the validated final depth component z 'and an x'-coordinate and y'-coordinate, which are all three orthogonal together and the camera coordinate system 10 relax. The mathematical description of the three parameters z ', x', y 'is as follows: z '= [z 2 ' (δ u ) + z 1 '(δ v )] / 2 (4a) x '= z' * u / f (4b) y '= z' * v / f (4c)

Die 3D-Koordinaten z‘, x‘, y‘ des verfolgten charakteristischen Bildpunktes 13 kann mit folgender Formel in das Kraftfahrzeugkoordinatensystem 11 transformiert werden:

Figure DE102014114221A1_0005
The 3D coordinates z ', x', y 'of the tracked characteristic pixel 13 can with the following formula in the motor vehicle coordinate system 11 to be transformed:
Figure DE102014114221A1_0005

Hierbei ist R eine Rotationsmatrix und T eine Translationsvorschrift, welche beiden anhand des Kalibrierungszustands bereitgestellt werden können. x, y, z sind also die 3D-Koordinaten des verfolgten charakteristischen Bildpunktes 13 in dem Kraftfahrzeugkoordinatensystem 11. Anhand der verfolgten charakteristischen Bildpunkte 13 mit ihrer 3D-Koordinate kann also auf die Höhe von dem Objekt 12, zu welchem der jeweilige verfolgte charakteristische Bildpunkt 13 zugehörig ist, geschlossen werden. Es können somit also Hindernisse für das Kraftfahrzeug 1 anhand der verfolgten charakteristischen Bildpunkte 13 erkannt werden. Here, R is a rotation matrix and T is a translation rule, both of which can be provided based on the calibration state. x, y, z are thus the 3D coordinates of the tracked characteristic pixel 13 in the motor vehicle coordinate system 11 , Based on the traced characteristic pixels 13 So with its 3D coordinate can be set to the height of the object 12 to which the respective tracked characteristic pixel 13 belonging to be closed. It can thus be obstacles for the motor vehicle 1 based on the tracked characteristic pixels 13 be recognized.

11 zeigt, wie die verfolgten charakteristischen Bildpunkte 13 aufgrund ihrer 3D-Koordinate beziehungsweise 3D-Position im Raum von anderen Positionen betrachtet werden können. So zeigt 11 die verfolgten charakteristischen Bildpunkte 13 in einer Vogelperspektive beziehungsweise einer Draufsicht. 11 shows how the traced characteristic pixels 13 due to their 3D coordinate or 3D position in space from other positions can be considered. So shows 11 the traced characteristic pixels 13 in a bird's eye view or a top view.

12 zeigt die verfolgten charakteristischen Bildpunkte 13 in einer Seitenansicht, während 13 die verfolgten charakteristischen Bildpunkte 13 in einer Rückansicht zeigt. 12 shows the traced characteristic pixels 13 in a side view while 13 the traced characteristic pixels 13 in a rear view shows.

Die verfolgten charakteristischen Bildpunkte 13 in den 11 bis 13 können beispielsweise auf einer Anzeigeeinrichtung beziehungsweise einem Display des Kraftfahrzeugs 1 angezeigt werden. Der Fahrer des Kraftfahrzeugs 1 erhält also die Möglichkeit, die Objekte 12 anhand der verfolgten charakteristischen Bildpunkte 13 aus verschiedenen Perspektiven zu betrachten. The traced characteristic pixels 13 in the 11 to 13 For example, on a display device or a display of the motor vehicle 1 are displayed. The driver of the motor vehicle 1 So get the opportunity to get the objects 12 based on the tracked characteristic pixels 13 to look at from different perspectives.

In den 10 bis 13 sind die verfolgten charakteristischen Bildpunkte 13 jeweils zu Clustern 14 zusammengefasst. Vorzugsweise beschreibt eines der Cluster 14 jeweils eines der Objekte 12. In the 10 to 13 are the traced characteristic pixels 13 each to clusters 14 summarized. Preferably, one of the clusters describes 14 each one of the objects 12 ,

14 zeigt das Bild 8, in welchem nur noch die Objekte 12 markiert sind, welche anhand der Cluster 14 bestimmt wurden, und nicht mehr die verfolgten charakteristischen Bildpunkte 13. Die Darstellung von 14 kann ebenfalls auf der Anzeigeeinrichtung des Kraftfahrzeugs 1 dargestellt werden, um einem Fahrer des Kraftfahrzeugs 1 die Objekte 12, welche ein Hindernis darstellen, anzuzeigen beziehungsweise diesen davor zu warnen. Eine Warnung kann akustisch und/oder visuell und/oder haptisch erfolgen. Ergänzend oder alternativ kann das Hindernis beim semi-autonomen oder autonomen fahren des Kraftfahrzeuges 1 berücksichtigt werden. 14 shows the picture 8th in which only the objects are left 12 are marked, which are based on the clusters 14 were determined, and no longer the traced characteristic pixels 13 , The representation of 14 can also be on the display device of the motor vehicle 1 be presented to a driver of the motor vehicle 1 the objects 12 which are an obstacle to display or warn them about it. A warning can be acoustic and / or visual and / or haptic. Additionally or alternatively, the obstacle in semi-autonomous or autonomous driving the motor vehicle 1 be taken into account.

Ebenso zeigt 15, welche der Objekte 12 dem Fahrer des Kraftfahrzeugs 1 angezeigt werden können. Zusätzlich ist in dem Bild 8 von 15 eine farbliche Entfernungslegende 15 eingefügt beziehungsweise überlagert, welche einen Farbverlauf darstellt, der mit einer Entfernung des jeweiligen Objekts 12 korrespondiert. So können in dem Bild 8 beispielsweise Objekte 12, welche sich nahe an dem Kraftfahrzeug 1 befinden, also mit einer kurzen Entfernung zu dem Kraftfahrzeug 1, in rot dargestellt werden, während die Objekte 12, welche sich weiter von dem Kraftfahrzeug 1 entfernt befinden, beispielsweise in grün dargestellt werden können. Die Objekte 12, welche eine Entfernung zwischen dem roten Objekt und dem grünen Objekt aufweisen, können beispielsweise gelb markiert sein. Likewise shows 15 which of the objects 12 the driver of the motor vehicle 1 can be displayed. In addition, in the picture 8th from 15 a color distance legend 15 inserted or superposed, which represents a color gradient, with a distance of the respective object 12 corresponds. So in the picture 8th for example, objects 12 which are close to the motor vehicle 1 located, so with a short distance to the motor vehicle 1 to be displayed in red while the objects 12 which is further from the motor vehicle 1 are removed, for example, can be displayed in green. The objects 12 which have a distance between the red object and the green object may be marked in yellow, for example.

16 zeigt ein weiteres Ablaufdiagramm. Hier werden die Bilder der Sequenz 9 von Bildern in einem Schritt S8 eingelesen. In einem Schritt S9 werden zumindest in einem ersten Bild der Sequenz 9 von Bildern die charakteristischen Bildpunkte p bestimmt. Die bestimmten charakteristischen Bildpunkte p werden in einem weiteren Schritt S10 in einem Speicher der elektronischen Auswerteeinrichtung 4 abgespeichert. In einem Schritt S11 werden die abgespeicherten charakteristischen Bildpunkte p in den weiteren Bildern 8 der Sequenz 9 von Bildern aus dem Schritt S8 verfolgt. Das Verfolgen kann, wie bereits erwähnt, mit einer Methode des optischen Flusses, beispielsweise einem Lucas-Kanade-Verfahren, erfolgen. In einem weiteren Schritt S12 wird überprüft, ob eine vorbestimmte Wegstrecke mit dem Kraftfahrzeug zurückgelegt wurde, sodass ein darauffolgender Schritt S13 erst dann durchgeführt wird, wenn die vorbestimmte Wegstrecke zurückgelegt worden ist. Die vorbestimmte Wegstrecke kann beispielsweise 10 Zentimeter oder 20 Zentimeter oder 30 Zentimeter oder 40 Zentimeter betragen. In einem Schritt S14 werden der Bewegungsvektor VCAN des Kraftfahrzeugs 1 und/oder die Nickwinkelgeschwindigkeit ωy und/oder die Gierwinkelgeschwindigkeit ωz und/oder die Geschwindigkeit des Kraftfahrzeugs 1 bereitgestellt. In dem Schritt S13 wird abhängig von den Daten aus dem Schritt 14 und den Flussvektoren δ aus dem Schritt S12 in Verbindung mit dem Schritt S13 die erste Tiefenkomponente z‘1 und die zweite Tiefenkomponente z‘2 bestimmt. In einem darauffolgenden Schritt S15 wird überprüft, ob die erste Tiefenkomponente z‘1 und die zweite Tiefenkomponente z‘2 einander innerhalb eines Toleranzbereichs entsprechen. Als Ergebnis von dem Schritt S15 werden, falls die erste Tiefenkomponente z‘1 und die zweite Tiefenkomponente z‘2 einander entsprechen, die validierte Endtiefenkomponente z‘ bereitgestellt und diese in einem Schritt S16 als der verfolgte charakteristische Bildpunkt 13 mit der 3D-Position beziehungsweise den 3D-Koordinaten in einem weiteren Speicher der elektronischen Auswerteeinrichtung 4 abgespeichert. In einem darauffolgenden Schritt S17 werden die verfolgten charakteristischen Bildpunkte 13 in Form von den Clustern 14 zusammengefasst. Die zusammengefassten verfolgten charakteristischen Bildpunkte 13 können in der Zusammenschau von 10 bis 13 betrachtet werden. 16 shows another flowchart. Here are the pictures of the sequence 9 of pictures are read in a step S8. In a step S9, at least in a first image of the sequence 9 of images determines the characteristic pixels p. The determined characteristic pixels p are in a further step S10 in a memory of the electronic evaluation device 4 stored. In a step S11, the stored characteristic pixels p in the other images 8th the sequence 9 from pictures from step S8. The tracking can, as already mentioned, be carried out with an optical flow method, for example a Lucas-Kanade method. In a further step S12 it is checked whether a predetermined distance traveled by the motor vehicle, so that a subsequent step S13 is performed only when the predetermined distance has been covered. The predetermined distance can be, for example, 10 centimeters or 20 centimeters or 30 centimeters or 40 centimeters. In a step S14, the motion vector V CAN of the motor vehicle 1 and / or the pitch angular velocity ω y and / or the yaw angular velocity ω z and / or the speed of the motor vehicle 1 provided. In step S13, the first depth component z ' 1 and the second depth component z' 2 are determined depending on the data from step 14 and the flow vectors δ from step S12 in connection with step S13. In a subsequent step S15, it is checked whether the first depth component z ' 1 and the second depth component z' 2 correspond to one another within a tolerance range. As a result of the step S15, if the first depth component z ' 1 and the second depth component z' 2 correspond to each other, the validated final depth component z 'is provided, and in a step S16, the tracked characteristic pixel 13 with the 3D position or the 3D coordinates in a further memory of the electronic evaluation device 4 stored. In a subsequent step S17, the tracked characteristic pixels 13 in the form of the clusters 14 summarized. The summarized traced characteristic pixels 13 can in the synopsis of 10 to 13 to be viewed as.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • WO 2005/037619 A1 [0002] WO 2005/037619 A1 [0002]
  • US 8412448 B2 [0003] US 8412448 B2 [0003]
  • US 8121348 B2 [0004] US 8121348 B2 [0004]
  • DE 102012011121 A1 [0005] DE 102012011121 A1 [0005]

Claims (15)

Verfahren zum Detektieren von einem Objekt (12) in einem Umgebungsbereich (6) eines Kraftfahrzeugs (1) anhand einer zeitlichen Sequenz (9) von Bildern des Umgebungsbereichs (6), welche mittels einer Kamera (3a, 3b) des Kraftfahrzeugs (1) erfasst werden, wobei mittels einer elektronischen Auswerteeinrichtung (4) des Kraftfahrzeuges (1) in einem ersten Bild der Sequenz (9) von Bildern charakteristische Bildpunkte (p) von dem Objekt (12) bestimmt werden und in zumindest einem zweiten Bild (8) die bestimmten charakteristischen Bildpunkte (p) verfolgt werden und durch das Verfolgen eine Vielzahl von Flussvektoren (δ) mit jeweils einer vertikalen Komponente (δv) und einer horizontalen Komponente (δu) bereitgestellt wird, dadurch gekennzeichnet, dass anhand der vertikalen Komponente (δv) eine erste Tiefenkomponente (z‘1), welche senkrecht zu der vertikalen Komponente (δv) und der horizontalen Komponente (δu) ist, bestimmt wird, und anhand der horizontalen Komponente (δu) eine zweite Tiefenkomponente (z‘2), welche ebenfalls senkrecht zu der vertikalen Komponente (δv) und der horizontalen Komponente (δu) ist, bestimmt wird, und falls die erste Tiefenkomponente (z‘1) innerhalb eines Toleranzbereichs der zweiten Tiefenkomponente (z‘2) entspricht eine validierte Endtiefenkomponente (z‘) eines von einem der charakteristischen Bildpunkte (p) abhängigen verfolgten charakteristischen Bildpunktes (13) bereitgestellt wird. Method for detecting an object ( 12 ) in a surrounding area ( 6 ) of a motor vehicle ( 1 ) based on a temporal sequence ( 9 ) of images of the surrounding area ( 6 ), which by means of a camera ( 3a . 3b ) of the motor vehicle ( 1 ), wherein by means of an electronic evaluation device ( 4 ) of the motor vehicle ( 1 ) in a first image of the sequence ( 9 ) of image-characteristic pixels (p) of the object ( 12 ) and in at least one second image ( 8th ) the particular characteristic pixels (p) are tracked and by tracking a plurality of flow vectors (δ) each having a vertical component (δ v ) and a horizontal component (δ u ) is provided, characterized in that by means of the vertical component ( δ v ) a first depth component (z ' 1 ), which is perpendicular to the vertical component (δ v ) and the horizontal component (δ u ) is determined, and based on the horizontal component (δ u ) a second depth component (z' 2 ), which is also perpendicular to the vertical component (δ v ) and the horizontal component (δ u ), and if the first depth component (z ' 1 ) within a tolerance range of the second depth component (z' 2 ) corresponds to one validated final depth component (z ') of a traced characteristic pixel dependent on one of the characteristic pixels (p) ( 13 ) provided. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die vertikale Komponente (δv) und/oder die horizontale Komponente (δu) abhängig von zumindest einem von einer kraftfahrzeugseitigen Einheit bestimmten aktuellen Bewegungsvektor (VCAN) des Kraftfahrzeuges (1), insbesondere einer Geschwindigkeit und/oder einer Gierwinkelgeschwindigkeit(ωz) und/oder einer Nickwinkelgeschwindigkeit (ωy) und/oder einer Rollwinkelgeschwindigkeit (ωx), bestimmt wird. A method according to claim 1, characterized in that the vertical component (δ v ) and / or the horizontal component (δ u ) depending on at least one determined by a motor vehicle side unit current motion vector (V CAN ) of the motor vehicle ( 1 ), in particular a speed and / or a yaw angular velocity (ω z ) and / or a pitch angular velocity (ω y ) and / or a roll angular velocity (ω x ). Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass beim Bestimmen der vertikalen Komponente (δv) und/oder der horizontalen Komponente ein Kalibrierungszustand der Kamera (3a, 3b), insbesondere eine innere Orientierung und/oder eine äußere Orientierung, berücksichtigt wird. A method according to claim 1 or 2, characterized in that in determining the vertical component (δ v ) and / or the horizontal component, a calibration state of the camera ( 3a . 3b ), in particular an inner orientation and / or an outer orientation is taken into account. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass abhängig von der validierten Endtiefenkomponente (z‘) eine 3D-Position des Objekts (12) bestimmt wird. Method according to one of the preceding claims, characterized in that, depending on the validated final depth component (z '), a 3D position of the object ( 12 ) is determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Bestimmung der charakteristischen Bildpunkte (p) ein Gitter mit mehreren Zellen berücksichtigt wird, durch welches das erste Bild unterteilt wird. Method according to one of the preceding claims, characterized in that, when determining the characteristic pixels (p), a grid with a plurality of cells is taken into account, by which the first image is subdivided. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die charakteristischen Bildpunkte (p) abhängig von einem Mindestwert, welcher eine Mindestanzahl von charakteristischen Bildpunkten (p) pro Zelle angibt, und/oder einem Maximalwert, welcher eine Höchstanzahl von charakteristischen Bildpunkten (p) pro Zelle angibt, bestimmt werden. A method according to claim 5, characterized in that the characteristic pixels (p) depending on a minimum value, which indicates a minimum number of characteristic pixels (p) per cell, and / or a maximum value, which a maximum number of characteristic pixels (p) per cell indicates to be determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Richtung von jeweils einem der Flussvektoren (δ) mit den verbleibenden Flussvektoren (δ) verglichen wird, und aus dem Vergleich ein Richtungszuverlässigkeitswert bestimmt wird. Method according to one of the preceding claims, characterized in that a direction of each one of the flow vectors (δ) with the remaining flow vectors (δ) is compared, and from the comparison, a direction reliability value is determined. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass anhand des Richtungszuverlässigkeitswerts zwischen statischen Objekten (12) und bewegten Objekten unterschieden wird. A method according to claim 7, characterized in that based on the direction reliability value between static objects ( 12 ) and moving objects. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass abhängig von dem Flussvektor (δ) ein Bewegungsvektor (VCAN) des Kraftfahrzeugs (1), insbesondere eine Geschwindigkeit und/oder eine Gierwinkelgeschwindigkeit (ωz) und/oder eine Nickwinkelgeschwindigkeit (ωy) und/oder eine Rollwinkelgeschwindigkeit (ωx), bestimmt wird, welcher mit einem von einer kraftfahrzeugseitigen Einheit bestimmten Bewegungsvektor (VCAN) verglichen wird. Method according to one of the preceding claims, characterized in that, depending on the flux vector (δ), a motion vector (V CAN ) of the motor vehicle ( 1 ), in particular a speed and / or a yaw angular velocity (ω z ) and / or a pitch angular velocity (ω y ) and / or a roll angular velocity (ω x ), which is compared with a motion vector (V CAN ) determined by a motor vehicle side unit becomes. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Flussvektoren (δ) mit einem RANSAC-Verfahren ausgewählt werden. Method according to one of the preceding claims, characterized in that the flow vectors (δ) are selected with a RANSAC method. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung der validierten Endtiefenkomponente (z‘) eine vorbestimmte Wegstrecke mit dem Kraftfahrzeug (1) zurückgelegt werden muss, und eine darauf folgende validierte Endtiefenkomponente (z‘) erst nach einem weiteren Zurücklegen der vorbestimmten Wegstrecke bestimmt wird. Method according to one of the preceding claims, characterized in that for determining the validated final depth component (z ') a predetermined distance traveled by the motor vehicle ( 1 ) and a subsequent validated final depth component (z ') is determined only after a further travel of the predetermined distance. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die verfolgten charakteristischen Bildpunkte (13) anhand der vertikalen Komponente (δv) und/oder der horizontalen Komponente (δu) und/oder der validierten Endtiefenkomponente (z‘) zu zumindest einem Cluster (14) zusammengefasst werden. Method according to one of the preceding claims, characterized in that the tracked characteristic pixels ( 13 ) based on the vertical component (δ v ) and / or the horizontal component (δ u ) and / or the validated Endtiefenkomponente (z ') to at least one cluster ( 14 ). Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass mit einem des zumindest einen Clusters (14) das jeweilige Objekt (12) beschrieben wird. Method according to claim 12, characterized in that with one of the at least one cluster ( 14 ) the respective object ( 12 ) is described. Fahrerassistenzsystem (2) mit einer Kamera (3a, 3b) und einer elektronischen Auswerteeinheit (4), welches dazu ausgelegt ist ein Verfahren nach den vorhergehenden Ansprüchen durchzuführen. Driver assistance system ( 2 ) with a camera ( 3a . 3b ) and an electronic evaluation unit ( 4 ) which is adapted to perform a method according to the preceding claims. Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 14. Motor vehicle ( 1 ) with a driver assistance system ( 2 ) according to claim 14.
DE102014114221.7A 2014-09-30 2014-09-30 Method for detecting an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle Withdrawn DE102014114221A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102014114221.7A DE102014114221A1 (en) 2014-09-30 2014-09-30 Method for detecting an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle
EP15184155.8A EP3002709A1 (en) 2014-09-30 2015-09-08 Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle
US14/863,727 US9892519B2 (en) 2014-09-30 2015-09-24 Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014114221.7A DE102014114221A1 (en) 2014-09-30 2014-09-30 Method for detecting an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle

Publications (1)

Publication Number Publication Date
DE102014114221A1 true DE102014114221A1 (en) 2016-03-31

Family

ID=54151077

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014114221.7A Withdrawn DE102014114221A1 (en) 2014-09-30 2014-09-30 Method for detecting an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle

Country Status (3)

Country Link
US (1) US9892519B2 (en)
EP (1) EP3002709A1 (en)
DE (1) DE102014114221A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017105879A1 (en) 2017-03-20 2018-09-20 Valeo Schalter Und Sensoren Gmbh Method and evaluation device for detecting an environment of a vehicle and vehicle
DE102018205065A1 (en) * 2018-04-04 2019-10-10 Volkswagen Aktiengesellschaft Method for calibrating a position sensor in a vehicle, computer program, storage means, control unit and calibration path

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
DE102016114168A1 (en) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Method for detecting an object in a surrounding area of a motor vehicle with prediction of the movement of the object, camera system and motor vehicle
DE102016115327A1 (en) * 2016-08-18 2018-02-22 Connaught Electronics Ltd. Method for detecting at least one object in an environmental region of a motor vehicle on the basis of object features from images, camera system and motor vehicle
EP3293668B1 (en) * 2016-09-13 2023-08-30 Arriver Software AB A vision system and method for a motor vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005037619A1 (en) 2003-09-24 2005-04-28 Daimlerchrysler Ag Emergency braking system
US8121348B2 (en) 2006-07-10 2012-02-21 Toyota Jidosha Kabushiki Kaisha Object detection apparatus, method and program
US8379928B2 (en) * 2009-07-06 2013-02-19 Valeo Vision Obstacle detection procedure for motor vehicle
US8412448B2 (en) 2010-02-08 2013-04-02 Hon Hai Precision Industry Co., Ltd. Collision avoidance system and method
DE102012011121A1 (en) 2012-06-05 2013-12-05 Connaught Electronics Ltd. Method for detecting moving object in surrounding region of passenger car, involves determining motion vector of motor vehicle, and including determined motion vector when detecting object according to vector field

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559695A (en) * 1994-12-27 1996-09-24 Hughes Aircraft Company Apparatus and method for self-calibrating visual time-to-contact sensor
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
JP4052650B2 (en) * 2004-01-23 2008-02-27 株式会社東芝 Obstacle detection device, method and program
JP4297501B2 (en) * 2004-08-11 2009-07-15 国立大学法人東京工業大学 Moving object periphery monitoring device
JP4075879B2 (en) * 2004-09-24 2008-04-16 日産自動車株式会社 Vehicle collision warning device and vehicle collision warning method
US10776635B2 (en) * 2010-09-21 2020-09-15 Mobileye Vision Technologies Ltd. Monocular cued detection of three-dimensional structures from depth images
US9959595B2 (en) * 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
WO2012044218A1 (en) * 2010-10-01 2012-04-05 Saab Ab A method and an apparatus for image-based navigation
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
DE102012005851A1 (en) * 2012-03-22 2013-09-26 Connaught Electronics Ltd. A method for warning the driver of a motor vehicle of the presence of an object in the surroundings of the motor vehicle, camera system and motor vehicle
EP2722816A3 (en) * 2012-10-18 2017-04-19 Thomson Licensing Spatio-temporal confidence maps
US9667990B2 (en) * 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005037619A1 (en) 2003-09-24 2005-04-28 Daimlerchrysler Ag Emergency braking system
US8121348B2 (en) 2006-07-10 2012-02-21 Toyota Jidosha Kabushiki Kaisha Object detection apparatus, method and program
US8379928B2 (en) * 2009-07-06 2013-02-19 Valeo Vision Obstacle detection procedure for motor vehicle
US8412448B2 (en) 2010-02-08 2013-04-02 Hon Hai Precision Industry Co., Ltd. Collision avoidance system and method
DE102012011121A1 (en) 2012-06-05 2013-12-05 Connaught Electronics Ltd. Method for detecting moving object in surrounding region of passenger car, involves determining motion vector of motor vehicle, and including determined motion vector when detecting object according to vector field

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017105879A1 (en) 2017-03-20 2018-09-20 Valeo Schalter Und Sensoren Gmbh Method and evaluation device for detecting an environment of a vehicle and vehicle
DE102018205065A1 (en) * 2018-04-04 2019-10-10 Volkswagen Aktiengesellschaft Method for calibrating a position sensor in a vehicle, computer program, storage means, control unit and calibration path
US11841244B2 (en) 2018-04-04 2023-12-12 Volkswagen Aktiengesellschaft Method for calibrating a position sensor in a vehicle, computer program, storage means, control unit and calibration route

Also Published As

Publication number Publication date
US9892519B2 (en) 2018-02-13
EP3002709A1 (en) 2016-04-06
US20160093065A1 (en) 2016-03-31

Similar Documents

Publication Publication Date Title
DE102014209137B4 (en) Method and device for calibrating a camera system of a motor vehicle
DE102006003538B3 (en) Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
DE102014114221A1 (en) Method for detecting an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle
DE102011113197B4 (en) Method and device for determining an angle between a towing vehicle and a trailer coupled to it, and the vehicle
DE102014222617B4 (en) Vehicle detection method and vehicle detection system
DE102008058279A1 (en) Method and device for compensating a roll angle
DE102009019399B4 (en) Method for automatically determining at least one target variable describing the change in the position of a motor vehicle
EP3117399B1 (en) Method for assembling single images that have been taken from different positions by a camera system to form a joint image
DE112017001841T5 (en) DEVICE FOR DETECTING AN ASSEMBLY ANGLE FOR A VEHICLE-INNER CAMERA, DEVICE FOR CALIBRATING AN ASSEMBLY ANGLE, AND METHOD FOR DETECTING A MOUNTING ANGLE
DE102017109445A1 (en) Calibration of a vehicle camera device in the vehicle longitudinal direction or vehicle transverse direction
DE102018100909A1 (en) Method of reconstructing images of a scene taken by a multifocal camera system
DE102015209764A1 (en) Extrinsic calibration of an image capture device of a vehicle
DE102013012930A1 (en) Method for determining a current distance and / or a current speed of a target object from a reference point in a camera image, camera system and motor vehicle
DE102018204451A1 (en) Method and device for auto-calibration of a vehicle camera system
EP3607740A1 (en) Camera device and method for detecting a surrounding region of a vehicle
DE102015104065A1 (en) A method for determining a position of an object in a three-dimensional world coordinate system, computer program product, camera system and motor vehicle
DE112015002764T5 (en) Mounting angle adjustment method and on-board camera mounting angle detection device
DE102019002269A1 (en) Method for determining an orientation of a vehicle relative to a motor vehicle
DE102013203404A1 (en) Method and device for three-dimensional imaging of at least one subarea of a vehicle environment
DE102014201409B4 (en) PARKING - TRACKING DEVICE AND PROCEDURES OF THE SAME
DE102014219428A1 (en) Self-calibration of a stereo camera system in the car
DE102010021221A1 (en) Camera direction determining method for use in vehicle, involves reconstructing vehicle coordination system from points, and determining camera direction from rotation of camera-coordination system relative to vehicle coordination system
DE102018202753A1 (en) Method for determining a distance between a motor vehicle and an object
DE102017219688A1 (en) Method for calibrating a vehicle camera

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee