DE102020213855A1 - Method, computer program, storage medium and control unit for object recognition - Google Patents

Abstract

Verfahren zur Objekterkennung bewegter Objekte in einer Fahrzeugumgebung, wobei von der Fahrzeugumgebung Kamerabilder aufgenommen oder bereitgestellt werden, wobei ein Fahrzeugzustand erfasst wird, wobei der Fahrzeugzustand die Zustände Bewegung und Stand einnehmen kann, wobei für den Fahrzeugzustand Stand ein erstes verarbeitetes Kamerabild durch Anwendung eines ersten Algorithmus zur Erkennung bewegter Objekte auf mindestens eines der Kamerabilder bestimmt wird, wobei für den Fahrzeugzustand Bewegung ein zweites verarbeitetes Kamerabild durch Anwendung eines zweiten Algorithmus zur Erkennung bewegter Objekte auf mindestens eines der Kamerabilder bestimmt wird, wobei basierend auf mindestens einem Rohdatenbild umfassend eine Mehrzahl an Pixeln durch Gruppierung der Pixel zu Superpixeln 2 ein Superbild 1 erzeugt wird, wobei auf das Superbild 1 ein Objektbildungsalgorithmus zur Generierung von zusammenhängenden Objekte und/oder von Objekthypothesen angewendet wird, wobei für den Fahrzeugzustand Stand das erste verarbeitete Kamerabild als Rohdatenbild verwendet wird, wobei für den Fahrzeugzustand Bewegung das zweite verarbeitete Kamerabild als Rohdatenbild verwendet wird.Method for object detection of moving objects in a vehicle environment, with camera images being recorded or provided by the vehicle environment, with a vehicle state being detected, with the vehicle state being able to assume the states of movement and standing, with a first processed camera image for the vehicle state standing by using a first algorithm for detecting moving objects is determined on at least one of the camera images, with a second processed camera image being determined for the vehicle state movement by applying a second algorithm for detecting moving objects on at least one of the camera images, based on at least one raw data image comprising a plurality of pixels Grouping the pixels into super pixels 2, a super image 1 is generated, with an object formation algorithm for generating connected objects and/or object hypotheses being applied to the super image 1, with the vehicle being used for gstatus the first processed camera image is used as the raw data image, with the second processed camera image being used as the raw data image for the vehicle status movement.

Description

Stand der TechnikState of the art

Die Erfindung betrifft ein Verfahren zur Objekterkennung bewegter Objekte, ein Computerprogramm, ein Speichermedium sowie eine elektronische Steuereinheit.The invention relates to a method for recognizing moving objects, a computer program, a storage medium and an electronic control unit.

Aus dem Stand der Technik sind Verfahren bekannt, die zur Objekterkennung und/oder zur Bildauswertung gleichzeitig eine Mehrzahl an Rohbild-Datenquellen auswerten, verarbeiten und/oder darstellen. Beispielsweise bilden Überwachungskameras vier derartige Rohbild-Datenquellen. Die Verfahren basieren dabei auf einer pixelweisen Auswertung der Rohbild-Datenquellen. Zur gleichzeitigen Auswertung, Verarbeitung und/oder Darstellung ist eine große Rechenleistung nötig. Solche Verfahren werden dann auf großen Computernetzwerken und/oder auf leistungsstarken Workstations ausgeführt.Methods are known from the prior art which simultaneously evaluate, process and/or display a plurality of raw image data sources for object recognition and/or for image evaluation. For example, surveillance cameras form four such raw image data sources. The methods are based on a pixel-by-pixel evaluation of the raw image data sources. A large amount of computing power is required for simultaneous evaluation, processing and/or display. Such methods are then executed on large computer networks and/or on powerful workstations.

Offenbarung der ErfindungDisclosure of Invention

Es wird ein Verfahren zur Objekterkennung von bewegten Objekten in einer Fahrzeugumgebung mit den Merkmalen des Anspruchs 1 vorgeschlagen. Ferner werden ein Computerprogramm, ein maschinenlesbares Speichermedium und eine elektronische Steuereinheit vorgeschlagen. Bevorzugte und/oder vorteilhafte Ausführungsformen ergeben sich aus den Unteransprüchen, der Beschreibung sowie den beigefügten Figuren.A method for object recognition of moving objects in a vehicle environment with the features of claim 1 is proposed. A computer program, a machine-readable storage medium and an electronic control unit are also proposed. Preferred and/or advantageous embodiments result from the dependent claims, the description and the accompanying figures.

Es wird ein Verfahren zur Objekterkennung bewegter Objekte, insbesondere in einer Fahrzeugumgebung bewegender Objekte, vorgeschlagen. Die bewegten Objekte können eigenbewegte Objekte sein, beispielsweise für ein ruhendes Fahrzeug. Alternativ und/oder ergänzend können die bewegten Objekte an sich ruhende Objekte sein, die durch eine Bewegung des Fahrzeugs bewegt erscheinen. Die Objekte umfassen und/oder bilden beispielsweise Fremdfahrzeuge, Personen, Tiere oder sachliche Objekte in der Fahrzeugumgebung und/oder im Straßenverkehr. Die Fahrzeugumgebung ist eine Umgebung des Fahrzeugs. Das Fahrzeug ist beispielsweise ein PKW, ein LKW, ein Offroad-Fahrzeug, auch Off-Highway-Fahrzeug genannt, wie zum Beispiel ein Gabelstapler oder Hubwagen. Die Objekterkennung ist beispielsweise als eine Klassifikation, vorzugsweise in Objekt vs. Hintergrund, ausgebildet. Das Verfahren kann eine Komponente einer Fahrzeugsteuerung, beispielsweise zum autonomen Fahren, bilden.A method for object recognition of moving objects, in particular objects moving in a vehicle environment, is proposed. The moving objects can be self-moving objects, for example for a stationary vehicle. Alternatively and/or additionally, the moving objects can be stationary objects that appear to be moving due to a movement of the vehicle. The objects include and/or form, for example, other vehicles, people, animals or material objects in the vehicle environment and/or in road traffic. The vehicle environment is an environment of the vehicle. The vehicle is, for example, a passenger car, a truck, an off-road vehicle, also called an off-highway vehicle, such as a forklift or pallet truck. The object recognition is designed, for example, as a classification, preferably into an object vs. background. The method can form a component of a vehicle control system, for example for autonomous driving.

Von der Fahrzeugumgebung werden Kamerabilder aufgenommen, insbesondere mit einer Überwachungskamera. Alternativ werden von der Fahrzeugumgebung Kamerabilder bereitgestellt, sodass die Aufnahme der Kamerabilder dem Verfahren vorgelagert ist. Die Kamerabilder sind beispielsweise als Bilder einer Frontkamera, einer Rückkamera und/oder von Seitenkameras des Fahrzeuges ausgebildet. Beispielsweise können die Kamerabilder mittels einer Fischaugenkamera aufgenommen sein und/oder eine Verzeichnung aufweisen. Kamerabilder aufgenommen von einer Überwachungskamera sind insbesondere als eine Signalquelle zu verstehen, sodass beispielsweise bei vier Überwachungskamera, im speziellen Frontkamera, Rückkamera sowie zwei Seitenkameras, vier Signalquellen vorliegen. Die Kamerabilder sind vorzugsweise zeitlich beabstandet aufgenommen. Im Speziellen bilden die Kamerabilder eine Bildersequenz und/oder Bildfolge.Camera images are recorded of the vehicle surroundings, in particular with a surveillance camera. Alternatively, camera images are provided by the vehicle environment, so that the recording of the camera images precedes the method. The camera images are designed, for example, as images from a front camera, a rear camera and/or from side cameras of the vehicle. For example, the camera images can be recorded using a fisheye camera and/or have distortion. Camera images recorded by a surveillance camera are to be understood in particular as a signal source, so that there are four signal sources, for example, with four surveillance cameras, in particular a front camera, a rear camera and two side cameras. The camera images are preferably recorded at different times. In particular, the camera images form an image sequence and/or image series.

Für das Fahrzeug wird ein Fahrzeugzustand erfasst. Insbesondere kann der Fahrzeugzustand kontinuierlich und/oder zyklisch erfasst werden. Der Fahrzeugzustand umfasst und/oder kann die Zustände Bewegung und Stand einnehmen. Ferner kann der Fahrzeugzustand Zwischenzustände zwischen Bewegung und Stand einnehmen und/oder aufweisen. Der Fahrzeugzustand Bewegung ist beispielsweise der Zustand des Fahrzeugs, wenn sich das Fahrzeug selbst in Bewegung befindet, beispielsweise eine Mindestgeschwindigkeit (Schwellengeschwindigkeit) überschreitet. Der Zustand Stand des Fahrzeugs liegt beispielsweise vor, wenn das Fahrzeug keine Eigenbewegung aufweist und/oder eine Geschwindigkeit kleiner als die Mindestgeschwindigkeit (Schwellengeschwindigkeit) aufweist. Weitere Fahrzeugzustände können beispielsweise Schrittgeschwindigkeit, Einparken oder Kurvenfahrt darstellen. Der Fahrzeugzustand kann beispielsweise durch den Antrieb, die Antriebssteuerung, das Tachometer und/oder einen Bewegungssensor des Fahrzeuges bestimmt und/oder bereitgestellt werden. Alternativ kann der Fahrzeugzustand aus den Kamerabildern abgeschätzt werden, sofern der Fahrzeugzustand nicht gemessen werden kann. Insbesondere kann der Zustand Bewegung die Unterzustände Vorwärtsbewegung und Rückwärtsbewegung aufweisen.A vehicle condition is detected for the vehicle. In particular, the vehicle status can be recorded continuously and/or cyclically. The vehicle state includes and/or can assume the states of movement and standstill. Furthermore, the vehicle state can assume and/or have intermediate states between movement and standstill. The vehicle status movement is, for example, the status of the vehicle when the vehicle itself is in motion, for example exceeding a minimum speed (threshold speed). The status of the vehicle is present, for example, when the vehicle has no movement of its own and/or has a speed lower than the minimum speed (threshold speed). Other vehicle states can represent, for example, walking speed, parking or cornering. The vehicle status can be determined and/or provided, for example, by the drive, the drive controller, the speedometer and/or a motion sensor of the vehicle. Alternatively, the vehicle condition can be estimated from the camera images if the vehicle condition cannot be measured. In particular, the state movement can have the sub-states forward movement and backward movement.

Das Verfahren sieht vor, dass aus mindestens einem Rohdatenbild ein Superbild erzeugt, berechnet und/oder ermittelt wird. Das Rohdatenbild umfasst eine Mehrzahl an Pixeln. Eine Rohdatenbild basiert jeweils auf mindestens einem Kamerabild einer Überwachungskamera, sodass beispielsweise für vier Überwachungskameras, z.B. Frontkamera, Rückkamera und zwei Seitenkameras, vier Rohdatenbilder erzeugt werden und/oder erzeugbar sind.The method provides that a super image is generated, calculated and/or determined from at least one raw data image. The raw data image includes a plurality of pixels. A raw data image is based on at least one camera image of a surveillance camera, so that four raw data images are and/or can be generated for four surveillance cameras, e.g. front camera, rear camera and two side cameras.

Das Superbild wird aus dem Rohdatenbild durch Gruppieren, Zusammenfassen und/oder Verbindung von Pixeln zu Superpixeln erzeugt. Insbesondere umfasst ein Superpixel mindestens zwei Pixel. Die Pixel eines Superpixels sind vorzugsweise räumlich benachbart. Superpixel weisen vorzugsweise eine regelmäßige Geometrie auf, beispielsweise eine rechteckige Geometrie. Das Superbild umfasst insbesondere eine Mehrzahl an Superpixeln. Insbesondere kann ein Superbild keine Superpixel aufweisen, beispielsweise wenn die Pixel des Rohdatenbildes völlig zufällig und/oder willkürlichen Inhalt aufweisen, sodass keine logische Gruppierung der Pixel zu Superpixel möglich ist. Insbesondere sind die Pixel eines Superpixels vertikal oder horizontal angeordnet und/oder benachbart. Das Superbild wird vorzugsweise durch Zusammenfassen der beiden Rohdatenbilder zu einer Gesamtdarstellung gebildet. Hierfür wird insbesondere die Gruppierung in Stixel / Superpixel als Datenformat genutzt.The super image is generated from the raw data image by grouping, combining and/or connecting pixels to form super pixels. In particular, a super pixel comprises at least two Pixel. The pixels of a super pixel are preferably spatially adjacent. Superpixels preferably have a regular geometry, such as a rectangular geometry. In particular, the super image comprises a plurality of super pixels. In particular, a super image cannot have any super pixels, for example if the pixels of the raw data image have completely random and/or arbitrary content, so that no logical grouping of the pixels to form super pixels is possible. In particular, the pixels of a super pixel are arranged vertically or horizontally and/or are adjacent. The super image is preferably formed by combining the two raw data images into an overall display. In particular, the grouping in Stixel / Superpixel is used as the data format for this.

Das Verfahren sieht vor, dass ein Objektbildungsalgorithmus auf das Superbild angewendet wird. Durch den Objektbildungsalgorithmus wird das Superbild, insbesondere die Superpixel, auf ein Vorliegen eines Objektes untersucht. Der Objektbildungsalgorithmus kann zur Objektdetektion, -lokalisation und/oder - verfolgung ausgebildet sein. Beispielsweise kann die Objektbildung vorsehen, zu unterscheiden, ob einem Abschnitt des Superbildes, beispielsweise ein Superpixel, das Objekt, im Speziellen ein Hindernis oder eine Freifläche, zeigt. Der Objektbildungsalgorithmus ist insbesondere als ein Vorgang zur Bildung zusammengehöriger Objekte durch Zusammenfassen zusammengehöriger örtlich benachbarter Superpixel, im Speziellen Stixel, ausgebildet. Durch zusammenfassen der Superpixel bzw. Stixel aus der Fusion erhält man eine Hypothese, die im weiteren Verlauf auf Gültigkeit geprüft wird und/oder geprüft werden kann. Konkret erfolgt die Prüfung beispielsweise auf eine Mindestgröße und Mindest-Alter (i.e. Bestätigung der Hypothese in einem weiteren Frame). Insbesondere wird erst nach der Bestätigung eine Hypothese zu einem Objekt gemacht wird. Ein einmal bestätigtes Objekt kann für eine begrenzte Zeitdauer ohne weitere Bestätigung durch eine weitere Hypothese „gehalten“ werden (Retention). Ausgabedatum des Objektbildungsalgorithmus ist vorzugsweise ein mit einer Klassen-ID annotierter Stixel, beispielsweise die innerhalb einer Bounding-Box liegen.The method provides that an object formation algorithm is applied to the super image. The object formation algorithm examines the super image, in particular the super pixels, for the presence of an object. The object formation algorithm can be designed for object detection, object localization and/or object tracking. For example, the object formation can provide for distinguishing whether a section of the super image, for example a super pixel, shows the object, specifically an obstacle or an open area. The object formation algorithm is designed in particular as a process for forming objects that belong together by combining locally adjacent superpixels that belong together, in particular Stixels. By combining the superpixels or Stixels from the fusion, a hypothesis is obtained which is and/or can be checked for validity in the further course. Specifically, the check is carried out, for example, for a minimum size and minimum age (i.e. confirmation of the hypothesis in another frame). In particular, only after confirmation is a hypothesis made about an object. Once an object has been confirmed, it can be "held" for a limited period of time without further confirmation by another hypothesis (retention). The output data of the object formation algorithm is preferably a stixel annotated with a class ID, for example which is within a bounding box.

Statt einer pixelweisen Objektdetektion in Kamerabildern kann durch die Gruppierung und Zusammenfassung der Ergebnisse der Objektdetektionen zu einem Superbild, die Objektbildung basierend auf Superpixeln (Gruppen von Pixeln) viel effektiver erfolgen, sodass durch die wesentlich geringere Anzahl an Superpixeln als Pixel Rechenleistung eingespart werden kann und das Verfahren effizient und/oder embedded ausgeführt werden kann.Instead of pixel-by-pixel object detection in camera images, object formation based on super pixels (groups of pixels) can be done much more effectively by grouping and summarizing the results of the object detections into a super image, so that computing power can be saved due to the significantly smaller number of super pixels than pixels and that Process can be performed efficiently and/or embedded.

Das Verfahren sieht vor, dass als Rohdatenbild je nach Fahrzeugzustand, insbesondere Bewegung oder Stand, unterschiedliche Bilder und/oder Daten insbesondere Kombination aus unterschiedlichen Bildern und/oder Daten, verwendet werden. Für den Fahrzeugzustand Stand wird als Rohdatenbild ein erstes verarbeitetes Kamerabild verwendet. Das erste verarbeitete Kamerabild basiert auf der Anwendung eines ersten Algorithmus zur Erkennung von bewegten Objekten. Der erste Algorithmus wird auf mindestens ein, insbesondere zwei oder mehr Kamerabilder, angewendet, wobei die Kamerabilder insbesondere zu einer Bildsequenz und/oder Folge einer Überwachungskamera gehören. Der erste Algorithmus ist ausgebildet, bewegte Objekte, insbesondere eigenbewegte Objekte, basierend auf den Kamerabildern zu bestimmen. Beispielsweise werden hierzu nachfolgende und/oder zeitversetzt aufgenommene Kamerabilder verglichen, wobei beispielsweise die sich verändernden Abschnitte als bewegte Objekte aufgefasst werden. Im Speziellen werden statische Bereiche durch den ersten Algorithmus nicht im ersten verarbeiteten Kamerabild wiedergegeben. Das erste verarbeitete Kamerabild umfasst und/oder zeigt damit beispielsweise nur Abschnitte des Kamerabildes, für die bewegte Objekte und/oder Veränderungen vorliegen.The method provides that different images and/or data, in particular a combination of different images and/or data, are used as the raw data image depending on the vehicle state, in particular movement or standstill. A first processed camera image is used as the raw data image for the status of the vehicle. The first processed camera image is based on the application of a first algorithm for detecting moving objects. The first algorithm is applied to at least one, in particular two or more camera images, the camera images in particular belonging to an image sequence and/or series of a surveillance camera. The first algorithm is designed to determine moving objects, in particular moving objects, based on the camera images. For example, subsequent and/or time-delayed camera images are compared for this purpose, with the changing sections being interpreted as moving objects, for example. In particular, static areas are not rendered in the first processed camera image by the first algorithm. The first processed camera image thus includes and/or shows, for example, only sections of the camera image for which there are moving objects and/or changes.

Für den Fahrzeugzustand Bewegung wird als Rohdatenbild ein zweites verarbeitetes Kamerabild verwendet. Insbesondere unterscheiden sich erstes und zweites verarbeitetes Kamerabild. Das zweite verarbeitete Kamerabild wird durch Anwendung eines zweiten Algorithmus zur Erkennung von bewegten Objekten erhalten. Der zweite Algorithmus wird auf mindestens eines, insbesondere zwei oder mehr, Kamerabilder angewendet, wobei die Kamerabilder insbesondere zu einer Bildsequenz und/oder einer Folge von Bildern einer Überwachungskamera gehören. Der zweite Algorithmus ist ausgebildet, bewegte Objekte zu erkennen, insbesondere für eine Überwachungskamera, die selbst eine Bewegung aufweist. Beispielsweise zielt der zweite Algorithmus darauf ab, auch während der Fahrt eigenbewegte Objekte zu erkennen und die sich insbesondere von statischen Objekten in der Szene unterscheiden. Dieser Ansatz kann im Speziellen auch statische Objekte erkennen. Ferner kann der zweite Algorithmus ausgebildet sein, auch während des Stands des Fahrzeugs Ergebnisse zu liefern, somit kann beispielsweise im Stillstand eine Fusion der beiden Algorithmen erfolgen.A second processed camera image is used as the raw data image for the vehicle status movement. In particular, the first and second processed camera images differ. The second processed camera image is obtained by applying a second moving object detection algorithm. The second algorithm is applied to at least one, in particular two or more, camera images, the camera images in particular belonging to an image sequence and/or a series of images from a surveillance camera. The second algorithm is designed to recognize moving objects, in particular for a surveillance camera that itself has a movement. For example, the second algorithm is aimed at recognizing moving objects while driving and which differ in particular from static objects in the scene. In particular, this approach can also detect static objects. Furthermore, the second algorithm can be designed to deliver results even when the vehicle is stationary, so the two algorithms can be merged when the vehicle is stationary, for example.

Ein Rohdatenbild bildet im Speziellen eine Ausgabe eines Objektdetektions-Verfahrens. Das Rohdatenbild kann vollflächig gefüllt sein (dense) oder nur teilweise mit gültigen Werten gefüllt sein (sparse). Bevorzugtes Datenformat bei dicht gefüllten Rohdatenbildern ist ein „echtes“ Bild, bei dünn besetzten Rohdatenbildern eher eine Liste mit den gültigen Werten. Als Objektdetektion wird im Speziellen ein Verfahren zu Detektion eines Objektes im Bild verstanden, wobei die Ausgabe der Objektdetektion vorzugsweise Wahrscheinlichkeiten pro Bildpunkt, aber im Speziellen keine zusammenhängenden Objekte, liefert.In particular, a raw data image forms an output of an object detection method. The raw data image can be completely filled (dense) or only partially filled with valid values (sparse). The preferred data format for densely filled raw data images is a "real" image, for sparsely populated raw data images it is more of a list with the valid values. In particular, object detection is a method for detecting an object in the image understood, whereby the output of the object detection preferably provides probabilities per pixel, but in particular no contiguous objects.

Der Erfindung liegt die Überlegung zugrunde, dass die Objektbildung bzw. Objekthypothesenbildung nicht durch pixelweisen Vergleich von einzelnen Kamerabildern oder von Rohdatenbildern erfolgt, sondern die Objektbildung auf ein Superbild angewendet wird, bei welchem einzelne Pixel zu größeren Gruppen, den Superpixeln, zusammengefasst sind. Als Basis zur Erzeugung des Superbildes, wird je nach Fahrzeugzustand, Ruhe oder Bewegung, ein unterschiedliches Rohdatenbild oder Kombination von Rohdatenbildern verwendet. Insbesondere kann als Basis für die Entscheidung, was als Rohdatenbild Eingang in die Objektbildung findet, beispielsweise erstes verarbeitetes Kamerabild oder zweites verarbeitetes Kamerabild oder eine Kombination daraus, zusätzlich basierend auf einem Use-Case und Erwartung der Fahrzeuführung herangezogen werden. Beispielsweise kann ein Use-Case Einparkvorgang darstellen. Damit wird ein Verfahren bereitgestellt, das eine intelligente und ressourcensparende Kombination und/oder Verwendung von Kamerabildern zur Objektbildung erlaubt. Insbesondere kann ein solches Verfahren auf kleineren Prozessoren und/oder Rechnern ausgeführt werden.The invention is based on the idea that the object formation or object hypothesis formation does not take place by pixel-by-pixel comparison of individual camera images or raw data images, but rather the object formation is applied to a super image in which individual pixels are combined to form larger groups, the super pixels. A different raw data image or combination of raw data images is used as the basis for generating the super image, depending on the vehicle status, whether it is stationary or moving. In particular, the basis for the decision as to what is included in the object formation as a raw data image, for example the first processed camera image or second processed camera image or a combination thereof, can also be used based on a use case and expectation of driving the vehicle. For example, a use case can represent a parking process. A method is thus provided that allows an intelligent and resource-saving combination and/or use of camera images for object formation. In particular, such a method can be executed on smaller processors and/or computers.

Besonders bevorzugt ist es, dass der erste Algorithmus zur Detektion von eigenbewegten Objekten ausgebildet ist. Insbesondere basiert der erste Algorithmus auf einer Annahme, dass das Fahrzeug selbst in Ruhe und/oder im Stillstand ist, sodass bei detektierten Veränderungen in den Kamerabildern von eigenbewegten Objekten auszugehen ist. Beispielsweise erscheinen in den ersten verarbeiteten Kamerabildern statische Bereiche, beispielsweise Verkehrszeichen oder parkende Fahrzeuge, nicht, wohingegen Fußgänger oder fahrende Fahrzeuge als bewegte Objekte erscheinen.It is particularly preferred that the first algorithm is designed to detect objects that are moving themselves. In particular, the first algorithm is based on an assumption that the vehicle itself is at rest and/or at a standstill, so that if changes are detected in the camera images, it can be assumed that objects are moving. For example, static areas, such as traffic signs or parked vehicles, do not appear in the first processed camera images, whereas pedestrians or moving vehicles appear as moving objects.

Insbesondere ist es vorgesehen, dass der erste Algorithmus einen Change Detection-Algorithmus, im Speziellen einen UFCD Algorithmus, bildet und/oder umfasst. Ein Change-Detection-Algorithmus ist ein auf United-Feature-Change-Detection basierender Algorithmus. Hierbei werden beispielsweise zwei zeitlich beanstandet aufgenommene Kamerabilder auf Veränderungen untersucht. Insbesondere kann das erste verarbeitete Kamerabild ein gefiltertes Change-Detection und/oder UFCD-Bild darstellen.In particular, it is provided that the first algorithm forms and/or includes a change detection algorithm, specifically a UFCD algorithm. A change detection algorithm is a United Feature Change Detection based algorithm. Here, for example, two camera images recorded at different times are examined for changes. In particular, the first processed camera image can represent a filtered change detection and/or UFCD image.

Eine Ausgestaltung der Erfindung sieht vor, dass der zweite Algorithmus einen Algorithmus zur Detektion von bewegten Objekten bei einer Eigenbewegung des Fahrzeuges bildet. Der zweite Algorithmus basiert beispielsweise auf der Annahme, dass das Fahrzeug, welches die Überwachungskamera aufweist, eine Eigenbewegung aufweist, sodass sowohl statische als auch eigenbewegte Objekte der Fahrzeugumgebung als bewegende Objekte detektiert werden.One embodiment of the invention provides that the second algorithm forms an algorithm for detecting moving objects when the vehicle is moving itself. The second algorithm is based, for example, on the assumption that the vehicle that has the surveillance camera has its own movement, so that both static and moving objects in the vehicle environment are detected as moving objects.

Besonders bevorzugt ist es, dass der zweite Algorithmus auf derotated flow basiert. Insbesondere ist der zweite Algorithmus als ein Strcuture-From-Motion-Algorithmus, im Speziellen als ein SMD-Algorithmus (Structure and Motion from De-rotated flow), ausgebildet.It is particularly preferred that the second algorithm is based on derotated flow. In particular, the second algorithm is designed as a structure-from-motion algorithm, specifically as an SMD (Structure and Motion from De-rotated flow) algorithm.

Optional ist es vorgesehen, dass die Superpixel als Stixel ausgebildet sind. Stixel sind beispielsweise als Gruppierungen von Pixeln, deren Pixel vertikal und/oder als Spalte angeordnet sind. Beispielsweise bilden die Pixel eine Matrix umfassend Zeilen und Spalten, wobei die Pixel eines Stixels vorzugsweise innerhalt einer Spalte liegen.Provision is optionally made for the superpixels to be in the form of stixels. Stixels are, for example, groupings of pixels whose pixels are arranged vertically and/or as a column. For example, the pixels form a matrix comprising rows and columns, with the pixels of a stixel preferably being within a column.

Im Speziellen können als Stixel Abschnitte und/oder Gruppierungen von Pixel verstanden werden, die folgende Eigenschaften aufweisen: Ein rechteckiges Gebiet eines Bildes, in welchen verbundene oder benachbarte Pixel in einer Spalte oder vertikalen Reihe zusammengefasst sind. Insbesondere weist das rechteckige Gebiet eine linke Grenze und eine obere Grenze auf, wobei diese vorzugsweise Teil des Stixels sind. Ferner weist das rechteckige Gebiet vorzugsweise eine rechte Begrenzung und eine untere Begrenzung auf, wobei diese vorzugsweise ausgenommen vom Stixel sind.In particular, stixels can be understood as sections and/or groupings of pixels that have the following properties: A rectangular area of an image in which connected or neighboring pixels are combined in a column or vertical row. In particular, the rectangular region has a left boundary and an upper boundary, which are preferably part of the stixel. Furthermore, the rectangular area preferably has a right boundary and a bottom boundary, which are preferably exempt from the stixel.

Insbesondere wird eine Orientierung innerhalb eines Bildes, vorzugsweise des Rohdatenbildes, so gewählt, dass eine y-Achse von oben nach unten im Bild zeigt und eine x-Achse von links nach rechts im Bild zeigt. Damit ergibt sich beispielsweise: Koordinaten links weisen einen kleineren Wert auf als Koordinaten rechts und Koordinaten oben weisen einen kleineren y Wert auf als unten. Stixel weisen in horizontale Richtung vorzugsweise eine Breite von einem Pixel auf. Die Höhe des Stixel in vertikaler Richtung kann beliebig sein, zum Beispiel nach oben begrenzt oder eine Mindestanzahl an Pixel in vertikaler Richtung umfassen.In particular, an orientation within an image, preferably the raw data image, is selected such that a y-axis points from top to bottom in the image and an x-axis points from left to right in the image. For example, coordinates on the left have a smaller value than coordinates on the right, and coordinates on top have a smaller y value than on the bottom. Stixels preferably have a width of one pixel in the horizontal direction. The height of the stixel in the vertical direction can be arbitrary, for example capped at the top or can comprise a minimum number of pixels in the vertical direction.

Besonders bevorzugt ist es, dass das Superbild, die Superpixel und im Speziellen die Stixel, Metadaten aufweisen oder dass diesen Metadaten zugeordnet sind/werden. Die Metadaten umfassen beispielsweise für Pixel, Stixel und/oder Superbild eine Information ob ein Bereich, Pixel, Superpixel eine Freifläche oder ein Hindernis darstellt, wobei zur Unterscheidung von Freifläche und Hindernis auch valide, invalide bzw. 0 und 1 oder eine Wahrscheinlichkeit genutzt werden kann. Ferner können die Metadaten eine Klassifikation des Superpixels oder Pixels aufweisen, beispielsweise Person, Hindernis, Freifläche, weit entfernt oder nahe. Ferner können die Metadaten beispielsweise eine Information über eine Anzahl von valider Pixel oder Pixel einer Klasse in vertikaler Richtung umfassen. Ferner kann eine durchschnittliche Anzahl von valider Pixel ein Metadatum bilden.It is particularly preferred that the super image, the super pixels and in particular the stixel have metadata or that these metadata are/are assigned. For example, the metadata for pixels, stixels and/or superimages includes information as to whether an area, pixel, superpixel represents an open space or an obstacle, it also being possible to use valid, invalid or 0 and 1 or a probability to differentiate between open space and obstacle . Furthermore, the metadata may include a classification of the super pixel or pixel, such as Person, Hin obstacle, open space, far away or near. Furthermore, the metadata can include, for example, information about a number of valid pixels or pixels of a class in the vertical direction. Furthermore, an average number of valid pixels can form metadata.

Beispielsweise wird bei der Erzeugung des Superbildes basierend auf einem ersten verarbeiteten Kamerabild zur Gruppierung der Pixel zu Superpixeln wie folgt vorgegangen. Das Rohdatenbild wird von oben nach unten überprüft, wobei in jeder Spalte überprüft wird, ob ein Pixel in dieser Spalte einen bestimmten Wert aufweist, beispielsweise valides Pixel. Valide ist beispielsweise Objekt oder Hindernis. Invalide steht beispielsweise für Freifläche. Für den Fall dass ein valides Pixel (Freifläche) festgestellt wird, wird entweder die Höhe des aktuellen Superpixels erhöht oder falls aktuell kein Superpixel vorliegt, wird ein neues Superpixel eröffnet. Wenn beispielsweise kein valider Pixel (Hindernis) detektiert wird, wird das aktuelle Pixel oder Superpixel geschlossen bzw. beendet. Dieses Vorgehen eignet sich besonders für Rohdatenbilder, welche an allen oder fast allen Pixelpositionen ein Ergebnis besitzen.For example, when generating the super image based on a first processed camera image for grouping the pixels into super pixels, the procedure is as follows. The raw data image is checked from top to bottom, checking in each column whether a pixel in that column has a specific value, e.g. valid pixel. For example, valid is object or obstacle. Invalide, for example, stands for open space. In the event that a valid pixel (free space) is determined, either the height of the current super pixel is increased or if there is currently no super pixel, a new super pixel is opened. For example, if no valid pixel (obstacle) is detected, the current pixel or super pixel is closed or terminated. This procedure is particularly suitable for raw data images that have a result at all or almost all pixel positions.

Für den Fall das als Rohdatenbild ein zweites verarbeitetes Kamerabild verwendet wird, welches nur an wenigen Pixelpositionen ein Ergebnis aufweisen, wird vorzugsweise folgendermaßen vorgegangen. Die Pixel des zweiten bearbeiteten Kamerabildes umfassen beispielsweise Wahrscheinlichkeiten für eine Bewegung. Zur Gruppierung der Pixel zu Superpixel wird für ein Pixel ein nächstes Superpixel gesucht, das eine Ähnliche oder gleiche Wahrscheinlichkeit aufweist. Falls noch kein Superpixel vorliegt, wird ein neues bzw. erstes Superpixel eröffnet. Wenn bereits ein Superpixel vorliegt, wird der Abstand zwischen dem Superpixel und dem zu überprüfen Pixel bestimmt. Wenn der Abstand bzw. die Entfernung einen Höchstabstand nicht überschreiten, wird dieses Pixel zu dem bestehenden Superpixel hinzugefügt oder gruppiert. Falls der Abstand oder die Entfernung größer ist, wird ein neues Superpixel eröffnet. Insbesondere kann es vorgesehen sein, dass für einen zu großen Abstand vor der Eröffnung eines neuen Superpixels geprüft wird, ob es einen oder mehrere, insbesondere vereinzelte oder alleinstehende, Superpixel gibt, die insbesondere nur eine geringe Anzahl an Pixeln und/oder keine Größe aufweisen.In the event that a second processed camera image is used as the raw data image, which only has a result at a few pixel positions, the procedure is preferably as follows. The pixels of the second processed camera image include, for example, probabilities of movement. To group the pixels into superpixels, a next superpixel is searched for a pixel that has a similar or the same probability. If there is still no super pixel, a new or first super pixel is opened. If a super pixel already exists, the distance between the super pixel and the pixel to be checked is determined. If the spacing or distance does not exceed a maximum spacing, then that pixel is added or grouped to the existing super pixel. If the spacing or distance is greater, a new super pixel is opened. In particular, it can be provided that, if the distance is too great, before a new super pixel is opened, a check is made as to whether there are one or more, in particular isolated or stand-alone, super pixels which in particular have only a small number of pixels and/or no size.

Das Verfahren sieht insbesondere vor, dass zur Anwendung des Objekterkennungsalgorithmus auf das Superbild eine Klassifikation, Lokalisation oder ein Labelling erfolgt. Beispielsweise wird für die Superpixel durch den Objekterkennungsalgorithmus eine Klassifikation zu Objektarten durchgeführt, beispielsweise, ob es sich um ein Hindernis, im Speziellen ein Mensch oder ein Fahrzeug, oder um einen Hintergrund handelt. Label kann beispielsweise eine Unterscheidung zwischen Valide und Invalide kennzeichnen. Im Speziellen ist es vorgesehen, dass der Algorithmus zur Objekterkennung oder zum Labelling auf einem Connected-Component Algorithmus basiert. Die Anwendung des Connected-Component Algorithmus basiert auf der Überlegung, dass so zu kleine oder zu große Gruppierungen, vermieden werden können. Insbesondere kann die Anwendung des Connected-Component Algorithmus vor der eigentlichen Objekterkennung erfolgen.In particular, the method provides that a classification, localization or labeling takes place for the application of the object recognition algorithm to the superimage. For example, a classification of object types is carried out for the superpixels by the object recognition algorithm, for example whether it is an obstacle, specifically a person or a vehicle, or a background. For example, Label can mark a distinction between valid and invalid. In particular, it is provided that the algorithm for object recognition or for labeling is based on a connected component algorithm. The application of the connected-component algorithm is based on the idea that groups that are too small or too large can be avoided. In particular, the application of the connected component algorithm can take place before the actual object recognition.

Besonders bevorzugt ist es, dass für erkannte, klassifizierte oder gelabelte Superpixel eine Boundingbox bestimmt wird. Die Boundingbox ist beispielsweise eine rechteckige Begrenzung der erkannten Objekte oder der Superpixel. Für die Boundingbox wird vorzugsweise eine Lokalisation, vorzugsweise in einem Bildkoordinatensystem durchgeführt oder ein Überlapp mit anderen Boundingboxen bestimmt. Beispielsweise erfolgt basierend auf der Boundingbox eine Objektverfolgung oder eine Bestimmung des Alters. Beispielsweise wird zur Bestimmung und/oder Erhöhung des Alters die Anzahl der konsekutiven Frames oder Boundingbox bestimmt. Ferner kann das Verfahren vorsehen, dass basierend auf den oder den erkannten Objekten eine Retention bestimmt wird, beispielsweise ob das Objekt noch sichtbar ist oder aus dem Sichtbereich getreten ist.It is particularly preferred that a bounding box is determined for recognized, classified or labeled super pixels. The bounding box is, for example, a rectangular boundary of the detected objects or super pixels. A localization, preferably in an image coordinate system, is preferably carried out for the bounding box, or an overlap with other bounding boxes is determined. For example, based on the bounding box, an object is tracked or the age is determined. For example, to determine and/or increase the age, the number of consecutive frames or bounding boxes is determined. Furthermore, the method can provide for a retention to be determined based on the detected object or objects, for example whether the object is still visible or has moved out of the field of vision.

Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, insbesondere mit Programmcode, wobei das Programm ausgebildet ist, bei Ausführung auf einem Computer, einer elektronischen Steuereinheit oder einem Prozessor, das Verfahren wie vorher beschrieben oder Teile des Verfahrens wie vorher beschrieben durchzuführen.A further object of the invention is a computer program, in particular with program code, the program being designed, when executed on a computer, an electronic control unit or a processor, to carry out the method as previously described or parts of the method as previously described.

Einen weiteren Gegenstand der Erfindung bildet ein maschinenlesbares Speichermedium, wobei auf dem Speichermedium das Computerprogramm, insbesondere der Programmcode, gespeichert ist.A further object of the invention is a machine-readable storage medium, the computer program, in particular the program code, being stored on the storage medium.

Einen weiteren Gegenstand der Erfindung bildet eine elektronische Steuereinheit. Die elektronische Steuereinheit ist ausgebildet oder eingerichtet, das Computerprogramm oder das Verfahren zur Objekterkennung auszuführen oder durchzuführen. Beispielsweise sind der elektronischen Steuereinheit die Kamerabilder bereitgestellt, z.B. ist die Steuereinheit mit der Überwachungskamera datentechnisch verbunden. Die Steuereinheit kann beispielsweise einen Teil des Fahrzeugs, beispielsweise des Bordcomputers oder des Navigationssystems, bilden. Die elektronische Steuereinheit ist ausgebildet oder eingerichtet, den Fahrzeugzustand zu erfassen oder von einem Sensor zu übernehmen. Die elektronische Steuereinheit umfasst ein Superbilderzeugungsmodul, wobei das Superbilderzeugungsmodul ausgebildet oder eingerichtet ist, basierend auf dem Rohdatenbild das Superbild zu erzeugen, insbesondere durch Gruppierung von Pixeln zu Superpixeln. Die elektronische Steuereinheit weist ein Objekterkennungsmodul auf, dass ausgebildet ist, basierend auf dem Superbild, insbesondere den Superpixeln im Speziellen den Pixeln, Objekte zu erkennen oder zu klassifizieren. Die elektronische Steuereinheit umfasst ein Verarbeitungsmodul, wobei das Verarbeitungsmodul ausgebildet ist, auf mindestens ein Kamerabild oder eine Mehrzahl an Kamerabildern, den ersten Algorithmus oder den zweiten Algorithmus zur Erkennung der bewegten Objekte anzuwenden, insbesondere ausgebildet das erste und oder das zweite verarbeitete Kamerabild zu ermitteln oder zu bestimmen. Beispielsweise ist das Verarbeitungsmodul ausgebildet, für den Fahrzeugzustand Bewegung den zweiten Algorithmus anzuwenden und für den Fahrzeugzustand Stand den ersten und/oder den zweiten Algorithmus anzuwenden.Another object of the invention is an electronic control unit. The electronic control unit is designed or set up to execute or carry out the computer program or the method for object recognition. For example, the camera images are made available to the electronic control unit, for example the control unit is connected to the surveillance camera for data processing. The control unit can, for example, form part of the vehicle, for example the on-board computer or the navigation system. The electronic control unit is designed or set up to record the vehicle status or to take it over from a sensor. The electronic control unit includes a super imager Generation module, wherein the super image generation module is designed or set up to generate the super image based on the raw data image, in particular by grouping pixels to form super pixels. The electronic control unit has an object recognition module that is designed to recognize or classify objects based on the super image, in particular the super pixels, in particular the pixels. The electronic control unit comprises a processing module, wherein the processing module is designed to apply the first algorithm or the second algorithm for detecting the moving objects to at least one camera image or a plurality of camera images, in particular designed to determine the first and/or the second processed camera image or to determine. For example, the processing module is designed to use the second algorithm for the vehicle state movement and to use the first and/or the second algorithm for the vehicle state stationary.

Bevorzugte oder vorteilhafte Ausführungen der Erfindung ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:

• 1 ein Ausführungsbeispiel des Verfahrens zur Objekterkennung;
• 2 super Bild mit Superpixeln;
• 3 Koordinatenachsen für ein Ausführungsbeispiel eines Superbildes;
• 4 Beispiel einer Gruppierung von Pixeln zu Superpixeln;
• 5 beispielhafte Gruppierung von Pixeln zu Superpixeln.

Preferred or advantageous embodiments of the invention result from the accompanying figures and their description. show:

• 1 an embodiment of the method for object recognition;
• 2 super picture with super pixels;
• 3 Coordinate axes for one embodiment of a superimage;
• 4 Example of grouping pixels into superpixels;
• 5 exemplary grouping of pixels into superpixels.

1 zeigt beispielhaft ein Ausführungsbeispiel eines Verfahren zur Objekterkennung von bewegten Objekten in einer Fahrzeugumgebung. In einem Verfahrensschritt 100 werden Kamerabilder mindestens einer Überwachungskamera übernommen oder aufgenommen. Die Überwachungskamera ist z.B. eine Kamera des Fahrzeugs, beispielsweise eine Front- oder eine Rückkamera. Die Kamerabilder sind insbesondere Farbbilder. Im Speziellen sind die Kamerabilder verzeichnete Bilder, beispielsweise basierend auf einer Kamera mit einem Fischaugenobjektiv. 1 shows an exemplary embodiment of a method for object recognition of moving objects in a vehicle environment. In a method step 100, camera images from at least one surveillance camera are taken or recorded. The surveillance camera is, for example, a camera of the vehicle, for example a front or rear camera. The camera images are in particular color images. In particular, the camera images are recorded images, for example based on a camera with a fisheye lens.

In dem Verfahrensschritt 200 wird der Fahrzeugzustand des Fahrzeugs ermittelt. Beispielsweise wird hierzu eine Drehzahl der Räder oder eine Geschwindigkeit des Fahrzeugs ermittelt. Der Fahrzeugzustand kann die Zustände Stand, auch Ruhe genannt, und Bewegung, auch Fahrt genannt, einnehmen. Der Zustand Stand führt zur Durchführung des Verfahrensschritt 300a, wobei der Fahrzeugzustand Bewegung zur Durchführung des Verfahrensschritt 300b führt. Vorzugsweise wird je nach Fahrzeugzustand entweder der Zustand der Schritt 300a oder 300b durchgeführt, insbesondere um Rechenleistung einzusparen. Alternativ können beide Schritte 300a und 300b ausgeführt werden.In method step 200, the vehicle state of the vehicle is determined. For example, a speed of the wheels or a speed of the vehicle is determined for this purpose. The vehicle status can be stationary, also called idle, and moving, also called driving. The stationary state leads to the execution of method step 300a, with the vehicle state movement leading to the execution of method step 300b. Depending on the vehicle state, either the state of step 300a or 300b is preferably carried out, in particular in order to save computing power. Alternatively, both steps 300a and 300b can be performed.

Der Verfahrensschritt 300a ist ausgebildet, basierend auf den Kamerabildern, insbesondere aufgenommen durch eine gleiche Überwachungskamera, bewegte Objekte zu detektieren. Beispielsweise ist der Verfahrensschritt 300a als ein Change-Detection-Algorithmus ausgebildet. Durch Anwendung oder Ausführung des Verfahrensschritt 300a wird das zweite verarbeitete Kamerabild erhalten. In dem Verfahrensschritt 300b wird auf das Kamerabild ein zweiter Algorithmus zur Erkennung von bewegten Objekten bei gleichzeitiger Eigenbewegung der Überwachungskamera oder des Fahrzeuges angewendet. Beispielsweise basiert der zweite Algorithmus auf einem Structure-From-Motion-Ansatz. Durch Anwendung des Verfahrensschritt 300b auf das Kamerabild wird das zweite verarbeitete Kamerabild erhalten. Abhängig vom Fahrzeugzustand wird an den Verfahrensschritt 400 als Rohdatenbild das Ergebnis des Verfahrensschritt 300a oder des Verfahrensschritt 300b übergeben. Somit erhält der Verfahrensschritt 400 je nach Fahrzeugzustand ein unterschiedliches Bild bereitgestellt. Alternativ ist es vorgesehen, dass die Rohdatenbilder beider Verfahrensschritte 300a und 300b an den Verfahrensschritt übergeben werden, insbesondere unabhängig vom Fahrzeugzustand, wobei im Verfahrensschritt 400 eines der Rohdatenbilder oder eine Kombination der Rohdatenbilder weiterverarbeitet wird, insbesondere abhängig vom Fahrzeugzustand.Method step 300a is designed to detect moving objects based on the camera images, in particular recorded by the same surveillance camera. For example, method step 300a is in the form of a change detection algorithm. By applying or performing method step 300a, the second processed camera image is obtained. In method step 300b, a second algorithm for detecting moving objects is applied to the camera image when the surveillance camera or the vehicle is moving itself at the same time. For example, the second algorithm is based on a structure-from-motion approach. The second processed camera image is obtained by applying method step 300b to the camera image. Depending on the state of the vehicle, the result of method step 300a or of method step 300b is transferred to method step 400 as a raw data image. Method step 400 is thus provided with a different image depending on the vehicle state. Alternatively, it is provided that the raw data images of both method steps 300a and 300b are transferred to the method step, in particular independently of the vehicle condition, with one of the raw data images or a combination of the raw data images being further processed in method step 400, in particular depending on the vehicle condition.

Im Verfahrensschritt 400 wird auf das Rohdatenbild, also das erste und/oder das zweite verarbeitete Kamerabild, eine Gruppierung angewendet. Hierbei werden Pixel des Rohdatenbildes zu Superpixel zusammengefasst oder gruppiert, insbesondere benachbarte Pixel. Durch die Gruppierung wird aus dem Rohdatenbild ein Superbild erhalten. Das Superbild mit den Superpixeln, hier Stixeln, wird an den Verfahrensschritt 500 übergeben. Im Verfahrensschritt 500 wird auf das Superbild eine Objektbildung angewendet. Hierbei kann beispielsweise eine Klassifikation, eine Lokalisation oder eine Unterscheidung zwischen Objekten erfolgen. Das Ergebnis der Objektbildung oder Klassifikation wird an den Verfahrensschritt 600 übergeben, wobei im Verfahrensschritt 600 auf die erkannten und/oder der detektierten Objekte im Superbild eine Boundingbox, also eine Umschreibung der Box für die Objekte, bestimmt wird. Insbesondere kann für die Boundingbox in diesem Schritt eine Lokalisation und die Bestimmung eines Fußpunktes erfolgen. Das Superbild, auf das die Objektbildung angewendet wurde und die Boundingbox bestimmt wurde kann an die Verfahrensschritte 700, 800 übergeben werden, wobei diese optional sind. In den Verfahrensschritten 700, einem Aging-Schritt, und 800, Retentions-Schritt, wird ein Alter des erkannten und/oder gebildeten Objektes oder der Boundingbox bestimmt oder verfolgt. Diese Stücke können beispielsweise dazu dienen, ein Objekt durch Überlapp mit anderen Boundingboxen mit der Zeit zu verfolgen oder ein Verschwinden eines Objektes näher zu erklären. Nach dem Schritt 600, bei Anwendung des Schrittes 700 und/oder 800 nach diesen Schritten, wird im Schritt 900 ein Ausgabebild erzeugt, angezeigt oder gespeichert.In method step 400, a grouping is applied to the raw data image, ie the first and/or the second processed camera image. Here, pixels of the raw data image are combined or grouped into super pixels, in particular neighboring pixels. A super image is obtained from the raw data image by the grouping. The super image with the super pixels, here stitches, is transferred to method step 500 . In method step 500, object formation is applied to the superimage. In this case, for example, a classification, a localization or a differentiation between objects can take place. The result of the object formation or classification is transferred to method step 600, wherein in method step 600 a bounding box, ie a circumscription of the box for the objects, is determined for the recognized and/or detected objects in the super image. In particular, a localization and the determination of a base point can take place for the bounding box in this step. The superimage to which the object formation has been applied and the bounding box has been determined can be transferred to method steps 700, 800, these being optional. In the process steps 700, an aging step, and 800, retention step, an age of the recognized and/or formed object or the bounding box is determined or tracked. These pieces can be used, for example, to track an object over time by overlapping it with other bounding boxes, or to explain the disappearance of an object in more detail. After step 600, if step 700 and/or 800 are applied after those steps, in step 900 an output image is generated, displayed or stored.

Das Ausgabebild umfasst die der detektieren, gebildeten, klassifizierten, gezeigten und/oder altersbestimmten Objekte, insbesondere umfasst das Ausgabebild eine Objekthypothese zu dem gebildeten Bild Dem Verfahren liegt die Überlegung zugrunde, dass je nach Fahrzeugzustand Grundlage für die Gruppierung zu Superbildern und der Objektbildung entweder ein erstes,ein zweites verarbeitetes Kamerabild und/oder eine Kombination davon ist, sodass besonders mit geringer Rechenleistung eine Objekterkennung erfolgen kann.The output image includes the detected, formed, classified, shown and/or age-determined objects, in particular the output image includes an object hypothesis for the formed image. The method is based on the consideration that, depending on the vehicle condition, the basis for grouping into super images and object formation is either first, a second processed camera image and/or a combination thereof, so that an object can be recognized particularly with little computing power.

2 zeigt beispielhaft ein Superbild 1 mit einer Mehrzahl an Superpixeln 2. Die Superpixel 2 sind als ist Stixel ausgebildet, wobei diese alle die gleiche Breite aufweisen, jedoch eine unterschiedliche vertikale Erstreckung aufweisen können. Ein Superpixel 2 fasst jeweils inhaltlich zusammenhängende oder zusammengehörige Bereiche des Bildes zusammen. Zu einem Superpixel 2 können insbesondere Metadaten erfasst oder hinterlegt werden, beispielsweise, ob es sich um einen Hintergrund, um ein Hindernis wie ein Fahrzeug handelt. 2 FIG. 1 shows an example of a super image 1 with a plurality of super pixels 2. The super pixels 2 are in the form of is stixels, all of which have the same width but can have a different vertical extent. A superpixel 2 summarizes areas of the image that are related or belong together in terms of content. In particular, metadata can be recorded or stored for a super pixel 2, for example whether it is a background or an obstacle such as a vehicle.

3 zeigt beispielhaft ein Koordinatensystem 3 mit den Achsen x und y. Die Achsen x und y sind durch das Superbild 1 festgelegt, insbesondere dessen Breite B und dessen Höhe B. Die x-Achse erstreckt sich hierbei im Bild von links nach rechts, wobei die y-Achse sich von oben nach unten erstreckt. Ferner ist ein Superpixel 2 eingezeichnet, wobei das Superpixel 2 als inbegriffene Begrenzung die linke und die obere Kante 4 aufweisen und als nicht inbegriffene Grenzen die rechte und die untere Kante 5. 3 shows an example of a coordinate system 3 with the axes x and y. The x and y axes are defined by the super image 1, in particular its width B and its height B. The x axis extends from left to right in the image, with the y axis extending from top to bottom. Furthermore, a superpixel 2 is drawn in, with the superpixel 2 having the left and the upper edge 4 as the included boundary and the right and the lower edge 5 as the non-included boundaries.

4 zeigt beispielhaft einen Ablauf zur Gruppierung von Pixeln für ein dichtes Rohdatenbild das auf den zweiten Algorithmus basiert. Der Verfahrensschritt 1000 stellt den Beginn der Gruppierung bzw. des Gruppierungsschrittes dar, bei dem überprüft wird, ob das jeweils aktuell zu überprüfende Pixel des Rohdatenbildes zu einem Stixel gehört oder nicht. Im Schritt 1100 wird überprüft, ob das aktuelle Pixel bereits das letzte Pixel des Superbildes ist, für diesen Fall erfolgt im Verfahrensschritt 1200 das Beenden des Verfahrens, sodass zur Objektdetektion übergegangen werden kann. Im Verfahrensschritt 1300 wird geprüft, ob das gerade zu prüfende Pixel Valide oder Invalide ist. Im Schritt 1400 wird überprüft, ob diese Pixel bereits Teil eines Stixels ist, so dass in den Schritt 1500 übergegangen werden würde oder ob es nicht Teil eines Stixels ist, sodass in den Verfahrensschritt 1600 übergegangen wird. Im Verfahrensschritt 1600 wird überprüft, ob für das vorherige Pixel bereits ein Stixel vorliegt, für diesen Fall wird in den Schritt 1700 übergegangen, wobei dieses Pixel zu dem vorhergehenden Superpixel 2 hinzugefügt wird. Das vorhergehende Superpixel 2 wird demnach vergrößert. Für den Fall, dass kein vorhergehendes Superpixel existiert, folgt auf den Schritt 1600 der Schritt 1700. Hierbei wird ein neues Stixel eröffnet, an welches ein nachfolgender Pixel angehängt werden kann. Auf den Schritt 1700 bzw. 1800 folgt der Schritt 1900, in welchem die mittlere Wahrscheinlichkeit für ein Objekt erhöht wird. Auf den Schritt 1900 und den Schritt 1400 folgt der Schritt 1500 der zu dem Verfahrensschritt 1100 verweist, um den nächstfolgenden Pixel analog überprüft. 4 shows an example of a process for grouping pixels for a dense raw data image based on the second algorithm. Method step 1000 represents the beginning of the grouping or the grouping step, in which it is checked whether the pixel of the raw data image currently to be checked belongs to a stixel or not. In step 1100 it is checked whether the current pixel is already the last pixel of the superimage. In this case, the method is ended in method step 1200 so that object detection can be started. In method step 1300 it is checked whether the pixel to be checked is valid or invalid. In step 1400 it is checked whether this pixel is already part of a stixel, so that step 1500 would be used, or whether it is not part of a stixel, so that method step 1600 is used. In method step 1600 it is checked whether there is already a stixel for the previous pixel. The preceding super pixel 2 is accordingly enlarged. In the event that no previous superpixel exists, step 1600 is followed by step 1700. Here a new stixel is opened to which a subsequent pixel can be appended. Step 1700 or 1800 is followed by step 1900, in which the average probability for an object is increased. Step 1900 and step 1400 are followed by step 1500, which refers to method step 1100 in order to analogously check the next following pixel.

5 zeigt beispielhaft den Ablauf zum Gruppieren von Pixeln zu Superpixeln. Im Schritt 2000 wird eine Pixelspalte basierend auf der y-Position ausgewählt. Im Schritt 2100 wird der Pointer auf 0 gesetzt. Im Schritt 2200 wird überprüft, ob es sich um den letzten Pixel in der Spalte handelt. Für den Fall ja, wird auf den Schritt 2300 gesprungen, worin zum Pointer zurückgesprungen wird. Für den Fall dass es sich nicht um den letzten Pixel in der Spalte handelt, wird auf den Schritt 2400 übergegangen. Hierbei wird der Pixel-Pointer auf den aktuellen Pixel gesetzt. Anschließend wird im Schritt 2500 die Klassifikation des vorliegenden Pixels überprüft, ob diese valide oder invalide ist. Für den Fall invalide, wird auf den Schritt 2300 übergegangen, für den Schritt das valide ist folgte Schritt 2600 worin überprüft wird, ob der aktuelle Datenpunkt innerhalb des Stixels liegt. Für den Fall dass diese innerhalb des Pixels liegt wird auf den Schritt 2300 übergegangen, für den Fall, dass dies nicht der Fall ist, wird auf den Schritt 2700 übergegangen. Im Schritt 2700 wird überprüft, ob der Abstand zum nächsten Stixel größer oder kleiner ist als ein Schwellenwert. Für den Fall dass der Abstand kleiner ist als der Schwellenwert, wird auf den Schritt 2300 übergegangen, für den Fall, dass der Abstand größer ist folgte Schritt 2800. Im Schritt 2800 wird überprüft, ob der aktuell vorliegende Datenpunkt unterhalb des Pixels liegt, wobei für den ja-Fall der Schritt 2900 folgt und für den Nein-fall der Schritt 2000 folgt. Im Schritt 2900 wird überprüft, ob der vorhergehende Stixel klein ist, beispielsweise eine Schwellengröße unterschreitet. Für den Fall dass dieser Wert unterschritten wird, folgt der Schritt 3100, wobei in Schritt 3100 der Pixel-Pointer auf den vorhergehenden Pixel gesetzt wird und als invalide eingestuft wird. Hierauf folgt der Schritt 2300. Für den Fall, dass im Schritt 2900 festgestellt wird, dass das vorhergehendes Stixel die Schwellengröße überschreitet, folgt der Schritt 3000. Im Schritt 3000 wird der Pixel Pointer auf 0 gesetzt und zum Schritt 3200 übergegangen, wobei im Schritt 3200 auf den nächsten Pixel in der Spalte übergegangen wird. Hierauf folgt erneut der Schritt 2200 wie bereits beschrieben. 5 shows an example of the process for grouping pixels into superpixels. In step 2000, a pixel column is selected based on the y position. In step 2100 the pointer is set to 0. In step 2200 it is checked whether this is the last pixel in the column. If yes, a jump is made to step 2300, in which a jump is made back to the pointer. If it is not the last pixel in the column, step 2400 is entered. The pixel pointer is set to the current pixel. Then, in step 2500, the classification of the present pixel is checked to see whether it is valid or invalid. In the case of invalid, a transition is made to step 2300; for the step that is valid, step 2600 follows, in which it is checked whether the current data point lies within the stixel. If this is within the pixel, step 2300 occurs, if this is not the case, step 2700 occurs. In step 2700 it is checked whether the distance to the next stixel is greater or less than a threshold value. In the event that the distance is smaller than the threshold value, step 2300 is passed, in the event that the distance is greater, step 2800 follows the yes case is followed by step 2900 and the no case is followed by step 2000. In step 2900 it is checked whether the preceding stixel is small, for example falls below a threshold size. In the event that this value is not reached, step 3100 follows, with the pixel pointer being set to the preceding pixel in step 3100 and classified as invalid. This is followed by step 2300. In the event that in step 2900 it is fixed if it is determined that the previous stixel exceeds the threshold size, step 3000 follows. In step 3000 the pixel pointer is set to 0 and step 3200 is entered, in which step 3200 is entered to the next pixel in the column. This is followed again by step 2200 as already described.

Claims (13)

Verfahren zur Objekterkennung bewegter Objekte in einer Fahrzeugumgebung, wobei von der Fahrzeugumgebung Kamerabilder aufgenommen oder bereitgestellt werden, wobei ein Fahrzeugzustand erfasst wird, wobei der Fahrzeugzustand die Zustände Bewegung und Stand einnehmen kann, wobei für den Fahrzeugzustand Stand ein erstes verarbeitetes Kamerabild durch Anwendung eines ersten Algorithmus zur Erkennung bewegter Objekte auf mindestens eines der Kamerabilder bestimmt wird, wobei für den Fahrzeugzustand Bewegung ein zweites verarbeitetes Kamerabild durch Anwendung eines zweiten Algorithmus zur Erkennung bewegter Objekte auf mindestens eines der Kamerabilder bestimmt wird, wobei basierend auf mindestens einem Rohdatenbild umfassend eine Mehrzahl an Pixeln durch Gruppierung der Pixel zu Superpixeln (2) ein Superbild (1) erzeugt wird, wobei auf das Superbild (1) ein Objektbildungsalgorithmus zur Generierung von zusammenhängenden Objekte und/oder von Objekthypothesen angewendet wird, wobei für den Fahrzeugzustand Stand das erste verarbeitete Kamerabild als Rohdatenbild verwendet wird, wobei für den Fahrzeugzustand Bewegung das zweite verarbeitete Kamerabild als Rohdatenbild verwendet wird. Method for object detection of moving objects in a vehicle environment, camera images of the vehicle surroundings being recorded or provided, with a vehicle state being recorded, with the vehicle state being able to assume the states of movement and standstill, a first processed camera image is determined for the vehicle condition Status by applying a first algorithm for detecting moving objects to at least one of the camera images, wherein a second processed camera image is determined for the vehicle state movement by applying a second algorithm for detecting moving objects to at least one of the camera images, wherein a super image (1) is generated based on at least one raw data image comprising a plurality of pixels by grouping the pixels into super pixels (2), wherein an object formation algorithm for generating connected objects and/or object hypotheses is applied to the super image (1), where the first processed camera image is used as the raw data image for the vehicle status status, wherein the second processed camera image is used as the raw data image for the vehicle state movement. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für den Fahrzeugzustand Stand das erste und das zweite verarbeitete Kamerabild bestimmt wird, wobei für den Fahrzeugzustand Stand, das Superbild basierend auf dem ersten und dem zweiten verarbeiteten Kamerabild erzeugt wird.procedure after claim 1 , characterized in that the first and the second processed camera image are determined for the vehicle status status, wherein for the vehicle status status, the super image is generated based on the first and the second processed camera image. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der erste Algorithmus als ein Algorithmus zur Detektion von eigenbewegten Objekten im Stillstand des Fahrzeugs ausgebildet ist.procedure after claim 1 or 2 , characterized in that the first algorithm is embodied as an algorithm for detecting self-moving objects when the vehicle is stationary. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der erste Algorithmus als ein Change-Detection-Algorithmus ausgebildet ist.Method according to one of the preceding claims, characterized in that the first algorithm is in the form of a change detection algorithm. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der zweite Algorithmus als ein Algorithmus zur Detektion von bewegten Objekten bei Eigenbewegung des Fahrzeugs ausgebildet ist.Method according to one of the preceding claims, characterized in that the second algorithm is in the form of an algorithm for detecting moving objects when the vehicle is moving itself. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der zweite Algorithmus als ein Structure-From-Motion-Algorithmus ausgebildet ist.Method according to one of the preceding claims, characterized in that the second algorithm is in the form of a structure-from-motion algorithm. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Superpixel (2) als Stixel ausgebildet sind.Method according to one of the preceding claims, characterized in that the super pixels (2) are designed as stixels. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Superbild (1), die Superpixel (2) und/oder die Stixel Metadaten aufweisen, wobei die Metadaten eine Klassifikation, eine Anzahl valider Pixel, eine Durchschnittsanzahl valider Pixel und/oder eine Superpixelfläche umfassen.Method according to one of the preceding claims, characterized in that the super image (1), the super pixels (2) and/or the stixel have metadata, the metadata being a classification, a number of valid pixels, an average number of valid pixels and/or a super pixel area include. Verfahren nach eine der vorherigen Ansprüche, dadurch gekennzeichnet, dass bei der Anwendung des Objekterkennungsalgorithmus auf das Superbild (1) eine Klassifikation und/oder ein Labeling der Superpixel (2) erfolgt, wobei die Klassifikation und/oder das Labeling auf einem Connected-Component-Algorithmus basiert.Method according to one of the preceding claims, characterized in that when the object recognition algorithm is applied to the super image (1), the super pixels (2) are classified and/or labeled, the classification and/or the labeling being based on a connected component algorithm based. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass für erkannte, klassifizierte und/oder gelabelde Superpixel (2) und/oder Objekte eine Boundingbox bestimmt wird.Method according to one of the preceding claims, characterized in that a bounding box is determined for recognized, classified and/or labeled super pixels (2) and/or objects. Computerprogramm zur Ausführung auf einem Computer und/oder einer elektronischen Steuereinheit, wobei das Computerprogramm ausgebildet und/oder eingerichtet ist, bei Ausführung auf dem Computer und/oder der elektronischen Steuereinheit das Verfahren nach einem der vorherigen Ansprüche durchzuführen und/oder abzuarbeiten.Computer program for execution on a computer and/or an electronic control unit, the computer program being designed and/or set up to carry out and/or process the method according to one of the preceding claims when executed on the computer and/or the electronic control unit. Maschinenlesbares Speichermedium, dadurch gekennzeichnet, dass auf dem Speichermedium das Computerprogramm nach Anspruch 11 gespeichert ist.Machine-readable storage medium, characterized in that the computer program on the storage medium claim 11 is saved. Elektronische Steuereinheit, dadurch gekennzeichnet, dass die Steuereinrichtung ausgebildet und/oder eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 10 auszuführen.Electronic control unit, characterized in that the control device is designed and/or set up to carry out the method according to one of Claims 1 until 10 to execute.

Images