DE102020213147A1 - Method for a camera system and camera system - Google Patents

Abstract

Verfahren für ein Kamerasystem, insbesondere Surroundview-Kamerasystem, für ein Ego-Fahrzeug (1), umfassend eine Steuereinrichtung (2) zum Steuern des Kamerasystems, und mehrere Kameras (3a-3d) zur Umfelderfassung, wobei folgende Verfahrensschritte vorgesehen sind: Erkennen von im Sichtfeld der Kameras (3a-3d) befindlichen Objekten (9, 14), Auswählen von mindestens einem Objekt (9, 14) aus den erkannten Objekten anhand mindestens eines Auswahlparameters, Bestimmen einer Distanz zwischen dem ausgewählten Objekt (9, 14) und dem Ego-Fahrzeug (1), Einrichten einer virtuellen Kamera (7), welche auf das ausgewählte Objekt (9, 14) gerichtet ist, sowie Ausgabe einer Information über das ausgewählte Objekt (9, 14).Method for a camera system, in particular a surround view camera system, for an ego vehicle (1), comprising a control device (2) for controlling the camera system, and a plurality of cameras (3a-3d) for detecting the surroundings, the following method steps being provided: detecting im objects (9, 14) located in the field of view of the cameras (3a-3d), selecting at least one object (9, 14) from the detected objects using at least one selection parameter, determining a distance between the selected object (9, 14) and the ego - Vehicle (1), setting up a virtual camera (7) which is aimed at the selected object (9, 14) and outputting information about the selected object (9, 14).

Description

Die vorliegende Erfindung betrifft ein Verfahren für ein Kamerasystem bzw. Surroundview-Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie ein gattungsgemäßes Kamerasystem, welches anhand des erfindungsgemäßen Verfahrens betrieben wird.The present invention relates to a method for a camera system or surround view camera system for detecting the surroundings of a vehicle and a generic camera system which is operated using the method according to the invention.

Technologischer HintergrundTechnological background

Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme umfassen neben Radarsensoren, Lidarsensoren, Ultraschallsensoren und/oder Kamerasensoren insbesondere auch Surroundview-Kamerasysteme, die es erlauben, dem Fahrer des Fahrzeugs die Fahrzeugumgebung anzuzeigen. Derartige Surroundview-Kamerasysteme umfassen in der Regel mehrere Fahrzeugkameras, welche reale Bilder der Fahrzeugumgebung liefern, die insbesondere durch eine Datenverarbeitungseinheit des Surroundview-Kamerasysteme zu einem Umgebungsbild der Fahrzeugumgebung zusammengefügt werden. Das Bild der Fahrzeugumgebung kann dann dem Fahrer auf einer Anzeigeeinheit (wie z. B. dem Display des Navigationssystems) angezeigt. Auf diese Weise kann der Fahrer bei einem Fahrzeugmanöver unterstützt werden, beispielsweise bei einem Rückwärtsfahren des Fahrzeuges oder bei einem Parkmanöver.Vehicles are increasingly being equipped with driver assistance systems that support the driver in carrying out driving maneuvers. In addition to radar sensors, lidar sensors, ultrasonic sensors and/or camera sensors, these driver assistance systems also include, in particular, surround view camera systems, which allow the vehicle environment to be displayed to the driver of the vehicle. Such surround view camera systems generally include a number of vehicle cameras which deliver real images of the vehicle environment, which are combined in particular by a data processing unit of the surround view camera system to form an image of the vehicle environment. The image of the vehicle surroundings can then be displayed to the driver on a display unit (such as the display of the navigation system). In this way, the driver can be supported during a vehicle maneuver, for example when reversing the vehicle or during a parking maneuver.

Im Bereich der Surroundview-Kamerasysteme gibt es Funktionen bzw. Ansichten wie „Bowl“ und „Top-View“ („Vogelperspektive“ oder „Draufsicht“), bei denen Bilder bzw. Texturen aus den Surroundview-Kameras zusammengefügt bzw. nahtlos aneinandergereiht werden (Stitching). Die Bilder bzw. Texturen der Surroundview-Kameras weisen dabei in der Regel überlappende Regionen bzw. Überlappungsbereiche auf. Insbesondere in der Bowl-Ansicht, in der die Texturen aus den Kameras projiziert werden, um eine virtuelle 3D-Bowl zu visualisieren, welche die gesamte Fläche um das Auto herum darstellt. Moderne Surroundview-Kamerasysteme können die dadurch erzeugten Ansichten dann dem Fahrer anzeigen, z. B. an einem Display, einem Cockpit oder einem Navigationssystem. Die erfassten Kameratexturen können dabei auf verschiedene Weise dargestellt werden. Insbesondere können im „Top-View“ die aus den Kameras texturierten Bilder auf eine virtuelle 3D-Ebene projiziert werden, die den gesamten Bereich um das Auto in (360 Grad-Sicht) visualisiert. Dennoch können nicht immer alle Texturbereiche dargestellt werden (z. B. kamerafreie Texturen). Das ist ein Nachteil, da es die Sichtbarkeit des Fahrers einschränkt. Um diese Einschränkung zu umgehen oder zu verbessern, wird in bekannten Systemen neben der Top-View-Ansicht eine zusätzliche Ansicht hinzugefügt, die dem Fahrer die Möglichkeit gibt, die Richtung einer anderen virtuellen Kamera zu wählen. Jedoch kann es auch hierbei dazu kommen, dass es Texturbereiche gibt, die nicht dargestellt werden und auf einer anderen Ansicht sichtbar sind. Während die Kombination der beiden Ansichten die Sichtbarkeit teilweise verbessert, kann es problematisch sein, z. B. wenn das System für Manövrieraufgaben mit geringer Geschwindigkeit (Low Speed Maneuvering) verwendet wird, z. B. wenn sich ein Fahrzeug von der gegenüberliegenden Richtung der Sichtrichtung der virtuellen Kamera nähert.In the area of surround view camera systems, there are functions or views such as "Bowl" and "Top View" ("bird's eye view" or "top view"), in which images or textures from the surround view cameras are combined or lined up seamlessly ( stitching). The images or textures of the surround view cameras generally have overlapping regions or overlapping areas. Specifically, in the bowl view, where the textures from the cameras are projected to visualize a 3D virtual bowl representing the entire area around the car. Modern surround view camera systems can then display the views generated as a result to the driver, e.g. B. on a display, a cockpit or a navigation system. The recorded camera textures can be displayed in different ways. In particular, in the "top view" the images textured from the cameras can be projected onto a virtual 3D plane that visualizes the entire area around the car in (360 degree view). However, not all texture areas can always be displayed (e.g. camera-free textures). This is a disadvantage as it limits the driver's visibility. In order to circumvent or improve this limitation, in known systems, an additional view is added in addition to the top view, which gives the driver the option of choosing the direction of a different virtual camera. However, it can also happen here that there are texture areas that are not displayed and are visible in another view. While combining the two views partially improves visibility, it can be problematic, e.g. when the system is used for low speed maneuvering tasks, e.g. B. when a vehicle approaches from the opposite direction to the viewing direction of the virtual camera.

Ferner sollten derartige Sichtbarkeitseinschränkungen in Fahrerassistenzsystemen nicht existieren, da sie den Fahrer einschränken, die Zuverlässigkeit und Nutzbarkeit verringern und die Sicherheit wird dadurch in besonderem Maße verringert. Daher besteht ein besonderes Interesse die Sichtbarkeit zu verbessern bzw. die Sichtbereiche zu vergrößern.Furthermore, such visibility restrictions should not exist in driver assistance systems, since they restrict the driver, reduce reliability and usability, and safety is reduced to a particular extent as a result. Therefore, there is a particular interest in improving visibility or increasing the range of vision.

Druckschriftlicher Stand der TechnikPrinted state of the art

Aus der WO 2013/109869 A1 ist ein Surroundview-Kamerasystem mit mehreren Kamers für ein Fahrzeug zur Umfelderfassung bekannt. Daran angeschlossen ist ein Berührungsbildschirm (Touchscreen) oder eine Benutzereingabe, die es dem Fahrer des Fahrzeugs ermöglicht, die angezeigten vom Surroundview-Kamerasystem erfassten Bilder selektiv einzustellen, z. B. den virtuellen Betrachtungswinkel oder den Betrachtungspunkt anzupassen, das Bild zu vergrößern (Zoom) oder zu schwenken, um dem Fahrer die gewünschten angezeigten Bilder für die jeweilige Fahrbedingung oder das jeweilige Szenario zur Verfügung zu stellen. Die Kameras besitzen dabei jeweils nach außen gerichtete Sichtfelder (z. B. nach vorn, nach hinten und zu den Seiten des Fahrzeugs), sodass am Bildschirm auch eine Draufsicht oder ein Surroundview-Bild aus den zusammengeführten oder synthetisierten Bildern der Kameras aus einem virtuellen Betrachtungswinkel darstellbar ist.From the WO 2013/109869 A1 a surround view camera system with several cameras for a vehicle for detecting the surroundings is known. Attached to this is a touch screen or user input that allows the driver of the vehicle to selectively adjust the displayed images captured by the surround view camera system, e.g. B. adjust the virtual viewing angle or viewpoint, enlarge (zoom) or pan the image to provide the driver with the desired displayed images for the particular driving condition or scenario. The cameras each have outward-facing fields of view (e.g. to the front, rear and sides of the vehicle), so that the screen also shows a top view or a surround view image from the merged or synthesized images from the cameras from a virtual viewing angle is representable.

Aufgabe der vorliegenden ErfindungObject of the present invention

Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren für ein (Surroundview-) Kamerasystem zur Verfügung zu stellen, durch das eine verbesserte Sichtbarkeit bzw. geringere Sichteinschränkungen in einfacher und kostengünstiger Weise erzielt werden können, wodurch die Bedienbarkeit und Sicherheit verbessert werden.The present invention is therefore based on the object of providing a method for a (surround view) camera system by means of which improved visibility or fewer restricted views can be achieved in a simple and cost-effective manner, thereby improving operability and safety.

Lösung der Aufgabesolution of the task

Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des nebengeordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.The above object is achieved by the entire teaching of claim 1 and the adjoining resolved claim. Expedient developments of the invention are claimed in the dependent claims.

Das erfindungsgemäße Verfahren betrifft den Betrieb eines Kamerasystems, insbesondere eines Surroundview-Kamerasystems, für ein Ego-Fahrzeug, welches eine Steuereinrichtung (Computer, Rechner, elektronische Steuereinheit bzw. ECU oder dergleichen) zum Steuern des Kamerasystems und zur Datenverarbeitung und Datenauswertung sowie mehrere (Surroundview-) Kameras zur Umfelderfassung aufweist. Das Verfahren ist erfindungsgemäß dadurch gekennzeichnet, dass zunächst im Sichtfeld der Kameras befindliche Objekte erkannt werden (Schritt 1), wobei aus den erkannten Objekten anhand mindestens eines Auswahlparameters ein Objekt ausgewählt wird (Schritt 2). Hierbei handelt es sich insbesondere um ein Objekt, welches aufgrund seiner Eigenschaften oder Bewegungsparameter eine gewisse Gefährdung (z. B. Kollisionsgefahr) für das Ego-Fahrzeug darstellt bzw. verursachen kann. Ferner wird eine Distanz zwischen dem ausgewählten Objekt und dem Ego-Fahrzeug (d. h. der Abstand vom Ego-Fahrzeug zum Objekt) bestimmt (Schritt 3). Diese Abstandsbestimmung kann anhand der Kamerabilder oder unter Verwendung anderer Sensoren (z. B. Radarsensor, Lidarsensor, Ultraschallsensor oder dergleichen) erfolgen. Im Anschluss daran kann eine virtuelle Kamera eingerichtet werden, die auf das ausgewählte Objekt gerichtet ist (Schritt 4), um dieses zu verfolgen bzw. zu tracken, sodass dann die Information über das ausgewählte Objekt ausgegeben werden kann (Schritt 5). Beispielsweise über Ansicht einer Anzeigevorrichtung bzw. eines Displays, um den Fahrer über das herannahende bzw. potenziell gefährdende Objekt zu informieren. Die Information kann dabei die jeweiligen Auswahlparameter/Objekteigenschaften (z. B. Größe, Art, Geschwindigkeit, Beschleunigung, Bewegungsrichtung, Distanz zum Ego-Fahrzeug, Kollisionsgefahr und dergleichen) umfassen. Infolgedessen kann der Fahrer auf (unbemerkt) herannahende Objekte aufmerksam gemacht (d. h. herannahende Objekte außerhalb des Sichtbereichs können dem Fahrer angezeigt werden) und über dieses informiert werden, um Gefahren rechtzeitig zu erkennen und abzuwenden. Daraus resultiert der Vorteil, dass Sichteinschränkung im Vergleich zu bekannten Surroundview-Kamerasystemen und deren Systemvisualisierungen aufgelöst oder zumindest verringert werden können. Zudem eignet sich der vorgeschlagene Ansatz aufgrund der geringen Rechen- und Speicheranforderungen auch für Eingebettete (Embedded)-Anwendungen in Echtzeit mit begrenzten Verarbeitungs- und Speicherkapazitäten.The method according to the invention relates to the operation of a camera system, in particular a surround view camera system, for an ego vehicle, which has a control device (computer, computer, electronic control unit or ECU or the like) for controlling the camera system and for data processing and data evaluation as well as several (surround view -) Has cameras for environment detection. According to the invention, the method is characterized in that objects located in the field of view of the cameras are first detected (step 1), with one object being selected from the detected objects using at least one selection parameter (step 2). This is in particular an object which, due to its properties or movement parameters, represents or can cause a certain hazard (e.g. risk of collision) for the ego vehicle. Further, a distance between the selected object and the ego vehicle (i.e., the distance from the ego vehicle to the object) is determined (step 3). This distance determination can be based on the camera images or using other sensors (e.g. radar sensor, lidar sensor, ultrasonic sensor or the like). After this, a virtual camera can be set up, which is aimed at the selected object (step 4), in order to follow or track it, so that the information about the selected object can then be output (step 5). For example, by viewing a display device or a display to inform the driver about the approaching or potentially dangerous object. The information can include the respective selection parameters/object properties (e.g. size, type, speed, acceleration, direction of movement, distance from the ego vehicle, risk of collision and the like). As a result, the driver can be made aware of (unnoticed) approaching objects (i.e. approaching objects outside the driver's field of vision can be displayed to the driver) and be informed about them in order to recognize and avert dangers in good time. This results in the advantage that restricted visibility can be resolved or at least reduced in comparison to known surround view camera systems and their system visualizations. In addition, due to the low computing and memory requirements, the proposed approach is also suitable for embedded applications in real time with limited processing and memory capacities.

Vorzugsweise ist/sind als Auswahlparameter die Bewegungsgeschwindigkeit des Objekts und/oder die Bewegungsbeschleunigung des Objekts und/oder die Bewegungsrichtung des Objekts und/oder die Objektart des Objekts vorgesehen. In einfacher Weise können Grenzwerte für die Auswahlparameter festgelegt werden, anhand deren Über- oder Unterschreiten eine Auswahl festgelegt wird (z. B. es wird ein Objekt ausgewählt, welches sich mit Geschwindigkeit v >= X km/h in einem Abstand a <= 30 m auf Kollisionskurs zum Ego-Fahrzeug befindet). Die Auswahl kann dadurch in besonders einfacher Weise vollzogen werden.The movement speed of the object and/or the movement acceleration of the object and/or the movement direction of the object and/or the object type of the object is/are preferably provided as selection parameters. Limit values for the selection parameters can be defined in a simple manner, based on which exceeding or falling below a selection is defined (e.g. an object is selected which is moving at a speed v >= X km/h at a distance a <= 30 m is on a collision course with the ego vehicle). As a result, the selection can be carried out in a particularly simple manner.

Anhand derartiger Auswahlparameter können Objekte auch nach ihrer (potenziellen) Kollisionsgefahr eingestuft werden. Beispielsweise wenn sich das Objekt sehr schnell bewegt oder das Objekt als besonders gefährdet klassifiziert wurde (Fußgänger, Fahrradfahrer, Schienenfahrzeug oder dergleichen).Such selection parameters can also be used to classify objects according to their (potential) risk of collision. For example, if the object is moving very quickly or the object has been classified as particularly endangered (pedestrians, cyclists, rail vehicles or the like).

Vorzugsweise können dann auch nur Objekte ausgewählt werden, die als potenzielle Kollisionsgefahr eingestuft wurden. Die Sicherheit und Bedienbarkeit des Kamerasystems werden dadurch noch zusätzlich verbessert.Preferably only objects can then be selected that have been classified as a potential risk of collision. This further improves the safety and usability of the camera system.

Ferner kann die Distanz zum Objekt bestimmt werden, indem die Bestandteile ausgewählt werden, bei denen anzunehmen ist, dass diese die Bodenebene berühren, d. h. sich in Bodennähe befinden.Furthermore, the distance to the object can be determined by selecting the components that are likely to touch the ground plane, i. H. are close to the ground.

Zweckmäßigerweise kann die Auswahl des Objekts erfolgen, indem zunächst detektierte Bestandteile mit ähnlicher Verschiebung in den sequenziellen Eigenschaften als bewegliches Objekt zusammengefasst werden, d. h. ähnliche detektierte Bewegungsrichtungen, -geschwindigkeit, -positionen und/oder -beschleunigungen werden zu einem Objekt zusammengefasst.Expediently, the selection of the object can be carried out by first combining detected components with a similar shift in the sequential properties as a moving object, i. H. similar detected movement directions, speeds, positions and/or accelerations are combined into one object.

Vorzugsweise ist die Ansicht der Anzeige (bzw. das Display oder der Bildschirm) in eine erste Ansicht, insbesondere eine Top-View-Ansicht, und eine zweite Ansicht, insbesondere eine Bowl-View-Ansicht oder eine Single-View-Ansicht, unterteilt. Ausdrücklich ist die Erfindung nicht auf die genannten Ansichten beschränkt. Vielmehr können jegliche aus dem Stand der Technik bekannte Ansichten vorgesehen sein. Zudem ist eine Unteransicht vorgesehen, welche das Objekt anzeigen kann.The view of the display (or the display or the screen) is preferably divided into a first view, in particular a top view, and a second view, in particular a bowl view or a single view. The invention is expressly not limited to the views mentioned. Rather, any views known from the prior art can be provided. In addition, a bottom view is provided, which can display the object.

In vorteilhafter Weise kann die Unteransicht dazu vorgesehen ist, das Bild bzw. das Rendering-Ergebnis der auf das Objekt gerichteten virtuellen Kamera anzuzeigen. Ferner kann diese Unteransicht auch unsichtbar sein, solange kein herannahendes/gefährdendes Objekt erkannt wurde und erst sichtbar werden, sobald ein derartiges Objekt auftaucht. Hierdurch kann die Aufmerksamkeit des Fahrers noch zusätzlich auf das Objekt gerichtet werden.The bottom view can advantageously be provided to display the image or the rendering result of the virtual camera directed at the object. Furthermore, this bottom view can also be invisible as long as no approaching/threatening object has been detected and only become visible as soon as such an object appears. As a result, the driver's attention can also be directed to the object.

Gemäß einer bevorzugten Ausgestaltung der Erfindung kann das ausgewählte Objekt anhand eines Markers, insbesondere eines Pfeils, in der Anzeige dargestellt werden, wobei der Marker derart konfiguriert ist, zumindest einen Auswahlparameter und/oder eine Objekteigenschaft und/oder die potenzielle Kollisionsgefahr abzubilden. Beispielsweise kann die Pfeilausrichtung die Bewegungsrichtung des Objekts, die Pfeillänge die Bewegungsgeschwindigkeit oder die Beschleunigung des Objekts, die Pfeildicke die Größe des Objekts anzeigen. In einfacher Weise können dadurch die „wichtigsten“ Informationen schnell und ersichtlich dem Fahrer zur Verfügung bzw. visualisiert werden. Darüber hinaus können auch farbliche Ausgestaltungen des Markers (z. B. rot für eine hohe Kollisionsgefahr oder hohe Geschwindigkeit und grün für eine geringe Kollisionsgefahr oder geringe Geschwindigkeit) vorgesehen sein.According to a preferred embodiment of the invention, the selected object can be shown in the display using a marker, in particular an arrow, the marker being configured in such a way that it depicts at least one selection parameter and/or one object property and/or the potential risk of collision. For example, the arrow orientation can indicate the object's direction of movement, the arrow length can indicate the object's movement speed or acceleration, the arrow thickness can indicate the object's size. In this way, the "most important" information can be made available or visualized to the driver quickly and clearly. In addition, colored configurations of the marker (e.g. red for a high risk of collision or high speed and green for a low risk of collision or low speed) can also be provided.

Ferner umfasst die vorliegende Erfindung ein Kamerasystem, insbesondere Surroundview-Kamerasystem, für ein Ego-Fahrzeug, welche eine Steuereinrichtung zum Steuern des Kamerasystems und mehrere Kameras zur Umfelderfassung umfasst. Das Kamerasystem ist dabei derart konfektioniert, dass dieses ein herannahendes Objekt anhand des erfindungsgemäßen Verfahrens erkennen (Schritt 1) und auswählen (Schritt 2) kann, wobei dann die Distanz zwischen Objekt und Ego-Fahrzeug bestimmt wird (Schritt 3), eine virtuelle Kamera, die auf das Objekt gerichtet ist eingerichtet wird (Schritt 4), sodass das Objekt damit erfasst wird und dem Fahrer ausgegeben bzw. angezeigt wird (Schritt 5).Furthermore, the present invention includes a camera system, in particular a surround view camera system, for an ego vehicle, which includes a control device for controlling the camera system and a plurality of cameras for detecting the surroundings. The camera system is configured in such a way that it can recognize (step 1) and select (step 2) an approaching object using the method according to the invention, with the distance between the object and the ego vehicle then being determined (step 3), a virtual camera, which is aimed at the object is set up (step 4) so that the object is detected therewith and is output or displayed to the driver (step 5).

Figurenlistecharacter list

Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen:

• 1 eine vereinfachte schematische Darstellung eines Ego-Fahrzeuges mit einem erfindungsgemäßen Surroundview-Kamerasystem zur Erzeugung eines Bildes der Fahrzeugumgebung;
• 2 eine vereinfachte schematische Darstellung der virtuellen Flächen der Surroundview-Kameras des Ego-Fahrzeuges;
• 3 eine vereinfachte schematische Darstellung der (vertikalen) Sichtfelder einer der Surroundview-Kameras und einer virtuellen Kamera;
• 4 eine vereinfachte schematische Darstellung einer Verkehrssituation, bei der sich ein Fahrzeug dem Ego-Fahrzeug von hinten annähert;
• 5 eine vereinfachte schematische Darstellung von Kamera, Kamerastrahlung, Fahrzeug und Bodenebene sowie den dabei herrschenden geometrischen Beziehungen zueinander, sowie
• 6 eine vereinfachte schematische Darstellung einer Ausgestaltung einer Ansicht einer Anzeigevorrichtung mit Top-View-Ansicht, Bowl-View-Ansicht und Unteransicht.

In the following, the invention is described in more detail with reference to expedient exemplary embodiments. Show it:

• 1 a simplified schematic representation of an ego vehicle with a surround view camera system according to the invention for generating an image of the vehicle surroundings;
• 2 a simplified schematic representation of the virtual surfaces of the surround view cameras of the ego vehicle;
• 3 a simplified schematic representation of the (vertical) fields of view of one of the surround view cameras and a virtual camera;
• 4 a simplified schematic representation of a traffic situation in which a vehicle approaches the ego vehicle from behind;
• 5 a simplified schematic representation of the camera, camera radiation, vehicle and ground level as well as the prevailing geometric relationships to each other, and
• 6 a simplified schematic representation of an embodiment of a view of a display device with top view view, bowl view view and bottom view.

Bezugsziffer 1 in 1 bezeichnet ein Ego-Fahrzeug mit einer Steuereinrichtung 2 (ECU, Electronic Control Unit oder ADCU, Assisted and Automated Driving Control Unit), welche auf verschiedene Aktoren (z. B. Lenkung, Motor, Bremse) des Ego-Fahrzeuges 1 zugreifen kann, um Steuervorgänge des Ego-Fahrzeuges 1 ausführen zu können. Ferner weist das Ego-Fahrzeug 1 zur Umfelderfassung mehrere Surroundview-Kameras bzw. Kameras 3a-3d, eine Kamerasensor 4 (bzw. Frontkamera) und einen Lidarsensor 5 auf, die über die Steuereinrichtung 2 gesteuert werden. Ausdrücklich umfasst die vorliegende Erfindung jedoch auch Ausgestaltungen, bei denen keine gemeinsame Steuereinrichtung 2 vorgesehen ist, sondern einzelne Steuereinrichtungen bzw. Steuereinheiten zur Sensorsteuerung vorgesehen sind (z. B. eine separate Steuereinheit bzw. ein separates Steuergerät zur Steuerung der Kameras 3a-3d und zur Durchführung des erfindungsgemäßen Verfahrens). Darüber hinaus können auch weitere Sensoren, wie z. B. Radar- oder Ultraschallsensoren vorgesehen sein. Die Sensordaten können dann zur Umfeld- und Objekterkennung genutzt werden. Infolgedessen können verschiedene Assistenzfunktionen, wie z. B. Einparkassistenten, Notbremsassistent (EBA, Electronic Brake Assist), Abstandsfolgeregelung (ACC, Automatic Cruise Control), Spurhalteregelung bzw. ein Spurhalteassistent (LKA, Lane Keep Assist) oder dergleichen, realisiert werden. In praktischer Weise kann die Ausführung der Assistenzfunktionen ebenfalls über die Steuereinrichtung 2 oder eine eigene Steuereinrichtung erfolgen.Reference number 1 in 1 refers to an ego vehicle with a control device 2 (ECU, Electronic Control Unit or ADCU, Assisted and Automated Driving Control Unit), which can access various actuators (e.g. steering, engine, brake) of the ego vehicle 1 in order To be able to perform control processes of the ego vehicle 1 . Ego vehicle 1 also has a number of surround view cameras or cameras 3a-3d, a camera sensor 4 (or front camera) and a lidar sensor 5 for detecting the surroundings, which are controlled by control device 2 . However, the present invention also expressly includes configurations in which no common control device 2 is provided, but instead individual control devices or control units are provided for sensor control (e.g. a separate control unit or a separate control unit for controlling the cameras 3a-3d and for Carrying out the method according to the invention). In addition, other sensors such. B. radar or ultrasonic sensors may be provided. The sensor data can then be used for environment and object recognition. As a result, various assistance functions, such as B. parking assistants, emergency brake assistant (EBA, Electronic Brake Assist), distance control (ACC, Automatic Cruise Control), lane keeping control or a lane departure warning system (LKA, Lane Keep Assist) or the like can be realized. In a practical manner, the assistance functions can also be carried out via the control device 2 or a dedicated control device.

Die Kameras 3a-3d sind dabei Teil eines Surroundview-Kamerasystems, welches vorzugsweise durch die Steuereinrichtung 2 gesteuert wird (alternativ kann z. B. eine eigene Steuerung vorgesehen sein), das eine vollständige 360-Grad-Sicht rund um das gesamte Ego-Fahrzeug 1 bietet, indem die Sichtfelder der einzelnen Surroundview-Kameras, z. B. 120-Grad, zu einer Gesamtsicht bzw. Gesamtbild vereint werden. Durch die einfache Überwachung des toten Winkels besitzt dieses Kamerasystem zahlreiche Vorteile in vielen alltäglichen Situationen. Durch das Surroundview-Kamerasystem können dem Fahrer verschiedene Blickwinkel des Ego-Fahrzeuges 1 z. B. über eine Anzeigeeinheit (in 1 nicht gezeigt) dargestellt werden. In der Regel werden dabei 4 Surroundview-Kameras 3a-3d verwendet, die z. B. im Front- und Heckbereich sowie an den Seitenspiegeln angeordnet sind. Zudem können aber auch drei, sechs, acht, zehn oder mehr Surroundview-Kameras vorgesehen sein. Besonders hilfreich sind diese Kameraansichten bzw. Blickwinkeln beim Überprüfen des toten Winkels, beim Spurwechsel oder beim Einparken. In 2 sind virtuelle Flächen 6a-6d aufgezeigt, die schematisch aufzeigen, wo die Textur der verschiedenen Kameras 3a-3d projiziert wird.The cameras 3a-3d are part of a surround view camera system, which is preferably controlled by the control device 2 (alternatively, for example, a separate control can be provided), which provides a full 360-degree view around the entire ego vehicle 1 offers by combining the fields of view of the individual surround view cameras, e.g. B. 120 degrees, to form an overall view or overall picture. By simply monitoring the blind spot, this camera system has numerous advantages in many everyday situations. The surround view camera system gives the driver different perspectives of ego driving 1 e.g. B. via a display unit (in 1 not shown) are displayed. As a rule, 4 surround view cameras 3a-3d are used in this case, the z. B. are arranged in the front and rear area and on the side mirrors. In addition, however, three, six, eight, ten or more surround view cameras can also be provided. These camera views or perspectives are particularly helpful when checking the blind spot, changing lanes or parking. In 2 virtual surfaces 6a-6d are shown, which show schematically where the texture of the different cameras 3a-3d is projected.

In 3 ist die Einrichtung einer virtuellen Kamera 7 für ein 3D-Automodell gezeigt, welche sozusagen die Flächen 6a-6d durch die Kameras 3a-3d virtuell von oben erfasst (der Übersichtlichkeit halber nur anhand von Kamera 3a im Frontbereich dargestellt). Hierbei ist die virtuelle Kamera 7 derart platziert, dass sich diese oberhalb des Ego-Fahrzeuges 1 befindet, welches sich wiederum auf der Bodenebene 8 befindet. Die Größe der virtuellen Ebene in 2 ist dabei mit der virtuellen Kameraposition und dem Sichtfeld verknüpft. Je höher die virtuelle Kamera angeordnet ist und je größer das vertikale und horizontale Sichtfeld der virtuellen Kamera 7 ist, desto größer ist die Größe der virtuellen Ebene, auf der die Textur der realen Kameras projiziert wird. Der Wertebereich des Sichtfeldes der virtuellen Kamera, gemäß 3, nimmt jedoch Werte unter 140 Grad an, was bedeutet, dass ein großer Teil der Eingabebilder nicht angezeigt wird, d. h. eine Sichtbarkeitseinschränkung vorliegt.In 3 1 shows the setup of a virtual camera 7 for a 3D car model, which, so to speak, captures the surfaces 6a-6d virtually from above by the cameras 3a-3d (for the sake of clarity only shown using camera 3a in the front area). In this case, the virtual camera 7 is placed in such a way that it is located above the ego vehicle 1 , which in turn is located on the ground level 8 . The size of the virtual plane in 2 is linked to the virtual camera position and the field of view. The higher the virtual camera is placed and the larger the vertical and horizontal field of view of the virtual camera 7, the larger the size of the virtual plane on which the texture of the real cameras is projected. The range of values of the field of view of the virtual camera, according to 3 , but takes values below 140 degrees, which means that a large part of the input images is not displayed, ie there is a visibility restriction.

In 4 ist eine Verkehrssituation gezeigt, in der sich ein Objekt bzw. ein anderes Fahrzeug 9 dem Ego-Fahrzeug 1 von hinten annähert. Dieses Fahrzeug 9 ist somit für den Fahrer des Ego-Fahrzeuges 1 nicht sichtbar und verursacht eine potenzielle Kollisionsgefahr. Diese Sichtbarkeitseinschränkung kann erfindungsgemäß dadurch vermindert oder behoben werden, indem das bewegte Objekt bzw. das Fahrzeug 9 in den Kameratexturen identifiziert bzw. erkannt wird (Schritt 1). Vorzugsweise basiert die Identifizierung der bewegten Objekte auf einem funktionsbasierten Ansatz, der für insbesondere für eingebettete Systeme geeignet ist, um die extrahierten Bestandteile auf den sequenziellen Frames bzw. Bildfolgen zu verfolgen und die visuelle Fahrzeugbewegung (Fahrzeugodometrie) zu schätzen. Die meisten der extrahierten Bestandteile in den Bildern gehören jedoch zu statischen Objekten. Der Unterschied der getrackten Bestandteile eines statischen Objekts in zwei aufeinanderfolgenden Bildern ist dabei auf die Fahrzeugbewegung zurückzuführen. Demzufolge gehören nach der Abschätzung der Fahrzeugbewegung die trackten Bestandteile, deren Veränderung nicht auf die Fahrzeugbewegung zurückzuführen ist, zu bewegten Objekten.In 4 a traffic situation is shown in which an object or another vehicle 9 is approaching the ego vehicle 1 from behind. This vehicle 9 is therefore not visible to the driver of the ego vehicle 1 and causes a potential risk of collision. According to the invention, this visibility restriction can be reduced or eliminated by identifying or recognizing the moving object or the vehicle 9 in the camera textures (step 1). The identification of the moving objects is preferably based on a function-based approach that is particularly suitable for embedded systems in order to track the extracted components on the sequential frames or image sequences and to estimate the visual vehicle movement (vehicle odometry). However, most of the extracted components in the images belong to static objects. The difference in the tracked components of a static object in two consecutive images is due to the vehicle movement. Accordingly, after the vehicle movement has been estimated, the tracked components whose change is not attributable to the vehicle movement belong to moving objects.

Im Anschluss daran können aus den identifizierten Objekten diejenigen ausgewählt werden, die in Richtung der Position Ego-Fahrzeuges 1 ausgerichtet sind, d. h. sich auf „Kollisionskurs“ befinden (Schritt 2). Hierzu werden die Bestandteile mit ähnlicher Verschiebung in den sequenziellen Eigenschaften zusammengefasst, die dann ein bewegliches Objekt bilden. Die Richtung kann dann berechnet werden, indem die Hauptrichtung der gruppierten Bestandteile (Merkmalsblock) in 2D ermittelt wird. Danach kann eine PCA (Principal component analysis) auf die Differenz der Koordinaten der getrackten Bestandteile in der Bilderfolge bzw. Framesequenz in 2D berechnet wird. Der dadurch berechnete 3D-Strahl kann dann in 3D-Koordinaten projiziert werden.Subsequently, those objects can be selected from the identified objects that are aligned in the direction of the position of the ego vehicle 1, i. H. are on a "collision course" (Step 2). To do this, the components with similar displacement are combined in the sequential properties, which then form a moving object. The direction can then be calculated by finding the main direction of the grouped constituents (feature block) in 2D. A PCA (principal component analysis) can then be calculated for the difference in the coordinates of the tracked components in the image sequence or frame sequence in 2D. The 3D ray thus calculated can then be projected in 3D coordinates.

Im nächsten Schritt kann die Distanz zum Objekt bestimmt bzw. berechnet werden, indem die Bestandteile (lower features) ausgewählt werden, bei denen anzunehmen ist, dass diese die Bodenebene berühren (Schritt 3). In diesem Schritt können für die Kamerastrahlen bis zur Bodenebene (bzw. bis zur Kreuzung mit der Bodenebene) die grundlegenden Eigenschaften der Euklidischen Geometrie verwendet werden, wie in 5 dargestellt. Hierbei wird A als Mittelpunkt der Kamera definiert, B als Vertikalprojektion der Kameramitte auf den Boden, und C als der Punkt, an dem das Objekt den Boden berührt. Das aus den Punkten gebildete ABC-Dreieck ist eine skalierte Version des Abc-Dreiecks, wobei b die Höhe der normalisierten Kamerastrahlung und c die z-Koordinate des normalisierten Strahls ist. In 5 gilt dabei: $$D=tan\left(\left(\pi /2\right)-E\right)\cdot h_{cam},$$

wobei bevorzugt $$D=h_{cam}\cdot \left(d_{ray}/h_{ray}\right)$$

verwendet wird. Hierbei sollte ein zusätzlicher Toleranzwert übergeben werden, um die Prozesssicherheit in Fällen zu gewährleisten, in denen die ermittelten Körpergrenzen oder Kameraparameter nicht genau genug sind.In the next step, the distance to the object can be determined or calculated by selecting the components (lower features) that can be assumed to touch the ground plane (step 3). In this step, the basic properties of Euclidean geometry can be used for the camera rays up to the ground plane (or until the intersection with the ground plane), as in 5 shown. Here, A is defined as the center of the camera, B as the vertical projection of the camera center onto the ground, and C as the point where the object touches the ground. The ABC triangle formed from the points is a scaled version of the Abc triangle, where b is the height of the normalized camera ray and c is the z-coordinate of the normalized ray. In 5 the following applies: $$D=tan\left(\left(\pi /2\right)-E\right)\cdot H_{cam},$$

being preferred $$D=H_{cam}\cdot \left({\mathrm{i.e}}_{\mathrm{right}ay}/H_{\mathrm{right}ay}\right)$$

is used. An additional tolerance value should be transferred here to ensure process reliability in cases where the determined body boundaries or camera parameters are not precise enough.

Anschließend kann die virtuelle Kamera eingerichtet und konfiguriert werden, welche auf die erkannten bewegten Objekte zugerichtet ist, die als potenzielle Kollisionsgefahr eingestuft wurden (Schritt 4), wie anhand der mit Bezugsziffer 7a angegeben Richtung der virtuellen Kamera in 4. Im Anschluss daran kann eine Ansicht auf der Anzeige 10 erstellt werden (Schritt 5), welche die (aktuelle) Sicht der virtuellen Kamera wiedergibt und somit den Fahrer über die Kollisionsgefahr informieren kann.Subsequently, the virtual camera can be set up and configured, which faces the detected moving objects classified as a potential risk of collision (step 4), as indicated by the direction of the virtual camera indicated with reference number 7a in FIG 4 . A view can then be created on the display 10 (step 5), which reproduces the (current) view of the virtual camera and can thus inform the driver about the risk of a collision.

In 6 ist oben die Anzeige 10 einer Anzeigevorrichtung (insbesondere Display oder dergleichen) mit einer ersten Ansicht, insbesondere Top-View-Ansicht 11 (virtuelles Ego-Fahrzeug ist als schwarzes Rechteck gekennzeichnet), und einer zweiten Ansicht, insbesondere Bowl-View-Ansicht 12, schematisch dargestellt für eine im unteren Teil der 6 gezeigte Verkehrssituation, bei der sich ein Objekt 14 (z. B. ein anderes Fahrzeug, Fahrrad, Fußgänger oder dergleichen) dem Ego-Fahrzeug 1 nähert. Eine Unteransicht 13 der Anzeige 10 zeigt dabei das Rendering-Ergebnis einer automatisch generierten virtuellen Kamera an. Zudem wird dort das Objekt 14 angezeigt, das sich in Richtung Ego-Fahrzeug 1 bewegt. Eine zusätzliche vorteilhafte Funktion besteht darin, dass in der Anzeige 10 ein Marker bzw. ein überlagerter Pfeil 15 platziert wird, der dem Fahrer das Objekt 14 anzeigt und gleichzeitig visualisiert bzw. mitteilt, aus welcher Richtung sich das bewegte Objekt 14 nähert. Der Pfeil 15 kann dabei z. B. an der Stelle in der Top-View-Ansicht 11 platziert werden, die zumindest näherungsweise der Position des bewegten Objekts 14 entspricht. In praktischer Weise zeigt dabei die Ausrichtung des Pfeils 15 die Bewegungsrichtung des Objekts 14 und die Pfeillänge die Objektgeschwindigkeit des Objekts 14 an. Ferner kann der Pfeil farbig ausgestaltet sein (z. B. in Rot- und Grüntönen), um die Kollisionswahrscheinlichkeit widerzuspiegeln bzw. darzustellen. Darüber hinaus könnte dem Fahrer ein Konfigurationsmenü zur Verfügung gestellt werden, in dem er die Mindestentfernung und Mindestgeschwindigkeit festlegen kann, die bewegliche Objekte als potenzielle Kollisionsbedrohungen identifizieren, so dass nur Objekte angezeigt werden, die diese Mindestanforderungen überschreiten.In 6 at the top is the display 10 of a display device (in particular a display or the like) with a first view, in particular a top view view 11 (virtual ego vehicle is marked as a black rectangle), and a second view, in particular a bowl view view 12, shown schematically for a in the lower part of the 6 shown traffic situation in which an object 14 (z. B. another vehicle, bicycle, pedestrian or the like) the ego vehicle 1 is approaching. A bottom view 13 of the display 10 shows the rendering result of an automatically generated virtual camera. In addition, the object 14 that is moving in the direction of the ego vehicle 1 is displayed there. An additional advantageous function is that a marker or a superimposed arrow 15 is placed in the display 10, which indicates the object 14 to the driver and at the same time visualizes or communicates the direction from which the moving object 14 is approaching. The arrow 15 can z. B. be placed at the point in the top view 11, which corresponds at least approximately to the position of the moving object 14. In a practical manner, the direction of the arrow 15 indicates the direction of movement of the object 14 and the length of the arrow indicates the speed of the object 14 . Furthermore, the arrow can be colored (e.g. in shades of red and green) in order to reflect or represent the probability of a collision. In addition, a configuration menu could be made available to the driver to set the minimum distance and minimum speed that will identify moving objects as potential collision threats, so that only objects exceeding these minimum requirements are shown.

Ferner kann auch vorgesehen sein, dass die Gefahr einer Kollision durch einen automatischen Eingriff eines Fahrerassistenzsystems, wie z. B. eine Notbremsung, eine Beschleunigung oder ein Lenkeingriff, abgewendet wird, wenn eine Reaktion des Fahrers auch nach angezeigter Warnung bzw. Information an der Anzeige 10 bzw. Anzeigevorrichtung ausbleibt. Darüber hinaus können auch zusätzliche optische, akustische oder haptische Warnungen vorgesehen sein, um den Fahrer noch zusätzlich auf herannahende Objekte außerhalb des Sichtbereichs des Fahrers aufmerksam zu machen.Furthermore, it can also be provided that the risk of a collision is reduced by an automatic intervention of a driver assistance system, such as B. emergency braking, acceleration or a steering intervention, is averted if there is no reaction from the driver even after a warning or information has been displayed on the display 10 or display device. In addition, additional optical, acoustic or haptic warnings can also be provided in order to draw the driver's attention to approaching objects outside the driver's field of vision.

BezugszeichenlisteReference List

11

Ego-Fahrzeugego vehicle

22

Steuereinrichtungcontrol device

3a-3d3a-3d

Kameracamera

44

Kamerasensorcamera sensor

55

Lidarsensorlidar sensor

6a-6d6a-6d

virtuelle Flächevirtual surface

77

virtuelle Kameravirtual camera

7a7a

Richtung der virtuellen Kamera 7Direction of the virtual camera 7

88th

Bodenebeneground level

99

Fahrzeugvehicle

1010

AnzeigeAdvertisement

1111

Top-View-AnsichtTop view view

1212

Bowl-View-AnsichtBowl view view

1313

Unteransichtbottom view

1414

Objektobject

1515

PfeilArrow

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

• WO 2013/109869 A1 [0005]WO 2013/109869 A1 [0005]

Claims (10)

Verfahren für ein Kamerasystem, insbesondere Surroundview-Kamerasystem, für ein Ego-Fahrzeug (1), umfassend eine Steuereinrichtung (2) zum Steuern des Kamerasystems, und mehrere Kameras (3a-3d) zur Umfelderfassung, gekennzeichnet durch folgende Verfahrensschritte: - Erkennen von im Sichtfeld der Kameras (3a-3d) befindlichen Objekten (9, 14) (Schritt 1), - Auswählen von mindestens einem Objekt (9, 14) aus den erkannten Objekten anhand mindestens eines Auswahlparameters (Schritt 2), - Bestimmen einer Distanz zwischen dem ausgewählten Objekt (9, 14) und dem Ego-Fahrzeug (1) (Schritt 3), - Einrichten einer virtuellen Kamera (7a), welche auf das ausgewählte Objekt (9, 14) gerichtet ist (Schritt 4), sowie - Ausgabe einer Information über das ausgewählte Objekt (9, 14) (Schritt 5).Method for a camera system, in particular a surround view camera system, for an ego vehicle (1), comprising a control device (2) for controlling the camera system and a plurality of cameras (3a-3d) for detecting the surroundings, characterized by the following method steps: - detecting im Field of view of the cameras (3a-3d) located objects (9, 14) (step 1), - selecting at least one object (9, 14) from the detected objects using at least one selection parameter (step 2), - determining a distance between the selected object (9, 14) and the ego vehicle (1) (step 3), - setting up a virtual camera (7a), which is directed to the selected object (9, 14) (step 4), and - outputting a Information about the selected object (9, 14) (step 5). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Auswahlparameter die Bewegungsgeschwindigkeit des Objekts (9, 14) und/oder die Bewegungsbeschleunigung des Objekts (9, 14) und/oder die Bewegungsrichtung des Objekts (9, 14) und/oder die Objektart des Objekts (9, 14) vorgesehen ist.procedure after claim 1 , characterized in that the speed of movement of the object (9, 14) and/or the acceleration of movement of the object (9, 14) and/or the direction of movement of the object (9, 14) and/or the object type of the object (9, 14) is provided. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Objekte (9, 14) anhand der Auswahlparameter als potenzielle Kollisionsgefahr eingestuft werden können.procedure after claim 1 or 2 , characterized in that objects (9, 14) can be classified as a potential risk of collision based on the selection parameters. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass nur Objekte (9, 14) ausgewählt werden, die als potenzielle Kollisionsgefahr eingestuft wurden.procedure after claim 3 , characterized in that only objects (9, 14) are selected that have been classified as a potential risk of collision. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Distanz zum Objekt (9, 14) bestimmt wird, indem die Bestandteile ausgewählt werden, bei denen anzunehmen ist, dass diese die Bodenebene berühren.Method according to one of the preceding claims, characterized in that the distance to the object (9, 14) is determined by selecting the components which can be assumed to touch the ground plane. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswahl des Objekts (9, 14) erfolgt, indem zunächst detektierte Bestandteile mit ähnlicher Verschiebung in den sequenziellen Eigenschaften als bewegliches Objekt zusammengefasst werden.Method according to one of the preceding claims, characterized in that the object (9, 14) is selected by initially combining detected components with a similar shift in the sequential properties as a moving object. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeige (10) eine erste Ansicht, insbesondere Top-View-Ansicht (11), und eine zweite Ansicht, insbesondere Bowl-View-Ansicht (12), sowie eine Unteransicht (13) umfasst.Method according to one of the preceding claims, characterized in that the display (10) has a first view, in particular top view view (11), and a second view, in particular bowl view view (12), and a bottom view (13 ) includes. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Unteransicht (13) dazu vorgesehen ist, das Bild der virtuellen Kamera (7a) anzuzeigen.procedure after claim 7 , characterized in that the bottom view (13) is intended to display the image of the virtual camera (7a). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das ausgewählte Objekt (9, 14) anhand eines Markers, insbesondere Pfeil (15), in der Anzeige dargestellt wird und der Marker derart konfiguriert ist, zumindest einen Auswahlparameter und/oder eine Objekteigenschaft und/oder die potenzielle Kollisionsgefahr abzubilden.Method according to one of the preceding claims, characterized in that the selected object (9, 14) is shown in the display using a marker, in particular an arrow (15), and the marker is configured in such a way that at least one selection parameter and/or one object property and /or map the potential risk of collision. Kamerasystem, insbesondere Surroundview-Kamerasystem, für ein Ego-Fahrzeug (1), umfassend eine Steuereinrichtung (2) zum Steuern des Kamerasystems, und mehrere Kameras (3a-3d) zur Umfelderfassung, dadurch gekennzeichnet, dass das Kamerasystem dazu hergerichtet ist, ein herannahendes Objekt (9 ,14) anhand eines Verfahrens nach einem der vorhergehenden Ansprüche zu erkennen.Camera system, in particular surround view camera system, for an ego vehicle (1), comprising a control device (2) for controlling the camera system, and a plurality of cameras (3a-3d) for detecting the surroundings, characterized in that the camera system is designed to detect an approaching Object (9, 14) to recognize using a method according to any one of the preceding claims.

Images