DE102013012780A1 - Method for detecting a target object by clustering characteristic features of an image, camera system and motor vehicle - Google Patents
Method for detecting a target object by clustering characteristic features of an image, camera system and motor vehicle Download PDFInfo
- Publication number
- DE102013012780A1 DE102013012780A1 DE102013012780.7A DE102013012780A DE102013012780A1 DE 102013012780 A1 DE102013012780 A1 DE 102013012780A1 DE 102013012780 A DE102013012780 A DE 102013012780A DE 102013012780 A1 DE102013012780 A1 DE 102013012780A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- node
- nodes
- motor vehicle
- feature density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Detektieren eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand eines Bilds des Umgebungsbereichs, welches mittels einer Kamera des Kraftfahrzeugs bereitgestellt wird, wobei mittels einer Auswerteeinrichtung des Kraftfahrzeugs charakteristische Merkmale in dem Bild identifiziert werden und das Zielobjekt abhängig von den charakteristischen Merkmalen detektiert wird, wobei in dem Bild eine Vielzahl von Bildknoten (11) definiert werden, und dass zu jedem Bildknoten (11) eine lokale Merkmalsdichte der charakteristischen Merkmale um den jeweiligen Bildknoten (11) bestimmt wird, wobei das Detektieren des Zielobjekts umfasst, dass mehrere der Bildknoten (11) abhängig von der jeweiligen Merkmalsdichte zu einem Cluster (18) zusammengefasst werden, welcher das Zielobjekt repräsentiert.The invention relates to a method for detecting a target object in an environmental region of a motor vehicle based on an image of the surrounding area, which is provided by a camera of the motor vehicle, wherein by means of an evaluation device of the motor vehicle characteristic features are identified in the image and the target object depending on the characteristic features wherein a plurality of image nodes (11) are defined in the image, and that a local feature density of the characteristic features around the respective image node (11) is determined for each image node (11), wherein the detection of the target object comprises multiple ones the image node (11), depending on the respective feature density, are combined to form a cluster (18) which represents the target object.
Description
Die Erfindung betrifft ein Verfahren zum Detektieren eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand eines Bilds des Umgebungsbereichs, welches mittels einer Kamera des Kraftfahrzeugs bereitgestellt wird, wobei mittels einer Auswerteeinrichtung des Kraftfahrzeugs charakteristische Merkmale in dem Bild identifiziert werden und das Zielobjekt abhängig von den charakteristischen Merkmalen detektiert wird. Die Erfindung betrifft außerdem ein Kamerasystem zum Durchführen eines solchen Verfahrens sowie ein Kraftfahrzeug mit einem solchen Kamerasystem.The invention relates to a method for detecting a target object in an environmental region of a motor vehicle based on an image of the surrounding area, which is provided by a camera of the motor vehicle, wherein by means of an evaluation device of the motor vehicle characteristic features are identified in the image and the target object depending on the characteristic features is detected. The invention also relates to a camera system for carrying out such a method and to a motor vehicle having such a camera system.
Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik bekannt. Ein Kamerasystem beinhaltet bekanntlich zumindest eine Kamera, welche an dem Kraftfahrzeug angebracht ist und einen Umgebungsbereich des Kraftfahrzeugs erfasst. Es können auch mehrere solche Kameras eingesetzt werden, welche die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Die am Kraftfahrzeug montierte Kamera stellt eine zeitliche Sequenz von Bildern des Umgebungsbereichs bereit, nämlich eine Vielzahl von Bildern pro Sekunde. Diese Bildsequenz wird dann an eine elektronische Auswerteeinrichtung übermittelt, welche die aufgenommenen Bilder verarbeitet und auf der Grundlage der Bilder verschiedenste Funktionalitäten im Kraftfahrzeug bereitstellen kann. Das Interesse gilt vorliegend der Detektion von Zielobjekten, die sich in dem abgebildeten Umgebungsbereich befinden. Wird ein Zielobjekt in den Bildern detektiert, so kann dieses Zielobjekt in der Sequenz von Bildern verfolgt werden. Zu diesem Zwecke wird im Stand der Technik üblicherweise die Methode des optischen Flusses verwendet, bei welcher charakteristische Merkmale, wie beispielsweise Kanten und/oder Ecken, in den Bildern detektiert werden und zu jedem charakteristischen Merkmal ein Flussvektor berechnet wird, der die Bewegungsrichtung und die Bewegungsgeschwindigkeit des charakteristischen Merkmals in der Sequenz von Bildern angibt.Camera systems for motor vehicles are already known from the prior art. As is known, a camera system includes at least one camera, which is mounted on the motor vehicle and detects a surrounding area of the motor vehicle. It is also possible to use a plurality of such cameras which capture the entire environment around the motor vehicle. The automotive-mounted camera provides a temporal sequence of images of the surrounding area, namely a plurality of images per second. This image sequence is then transmitted to an electronic evaluation device, which processes the recorded images and can provide various functionalities in the motor vehicle on the basis of the images. In the present case, the interest applies to the detection of target objects which are located in the imaged environment area. If a target object is detected in the images, this target object can be tracked in the sequence of images. For this purpose, the optical flow method is conventionally used in the prior art in which characteristic features such as edges and / or corners are detected in the images and a flux vector is calculated for each characteristic feature which determines the direction of movement and the speed of movement of the characteristic feature in the sequence of pictures.
Bei der Detektion von Zielobjekten in den Kamerabildern besteht eine große Herausforderung darin, zwischen charakteristischen Merkmalen zu unterscheiden, die zu unterschiedlichen Zielobjekten gehören. Um diese Unterscheidung zu gewährleisten, erfolgt üblicherweise eine so genannte Clusterbildung (Clustering), sodass mehrere charakteristische Merkmale zu einem Cluster zusammengefasst werden, der ein detektiertes Zielobjekt repräsentiert. Es sind dabei verschiedene Algorithmen bekannt, welche der Clusterbildung dienen. In diesem Zusammenhang ist beispielsweise eine hierarchische Clusteranalyse (hierarchical clustering) und im Rahmen der hierarchischen Clusteranalyse ein so genanntes divisives Clusterverfahren sowie ein agglomeratives Clusterverfahren bekannt. Beim divisiven Clusterverfahren werden alle charakteristischen Merkmale zunächst als zu einem Cluster gehörig betrachtet und dann schrittweise die bereits gebildeten Cluster in immer kleinere Cluster aufgeteilt. Das agglomerative Clusterverfahren beinhaltet wiederum, dass zunächst jedes charakteristische Merkmal einen Cluster bildet und dann schrittweise die bereits gebildeten Cluster zu immer größeren Clustern zusammengefasst werden. Abgesehen davon sind auch eine Vielzahl von anderen Clusterverfahren bekannt, die jedoch alle gemein haben, dass sie relativ viel Rechenaufwand benötigen und somit rechenstarke Auswerteeinrichtungen erfordern. Die bekannten Clusterverfahren arbeiten nämlich unmittelbar an den charakteristischen Merkmalen und werten diese aus, um die Merkmale in entsprechende Cluster aufzuteilen. Da die Anzahl der charakteristischen Merkmale jedoch üblicherweise relativ groß sein kann, wird eine entsprechend große Rechenleistung benötigt, um die Gruppierung der charakteristischen Merkmale zu ermöglichen. Solche Rechenleistung steht jedoch insbesondere bei eingebetteten Systemen (embedded systems) in Kraftfahrzeugen nur beschränkt zur Verfügung. Die bekannten Algorithmen haben außerdem den Nachteil, dass sie nicht auf alle Typen von charakteristischen Merkmalen angewendet werden können. Manche Typen von charakteristischen Merkmalen weisen nämlich Beschreibungsdaten bzw. so genannte Deskriptoren auf, bei denen die Verwendung der bekannten Clusterverfahren nicht möglich ist. Manche der bekannten Algorithmen erfordern außerdem a-priori Annahmen und sind somit entsprechend unpräzise.When detecting target objects in the camera images, a major challenge is to distinguish between characteristic features belonging to different target objects. In order to ensure this distinction, so-called clustering usually takes place, so that several characteristic features are combined to form a cluster that represents a detected target object. Various algorithms are known which serve for cluster formation. In this context, for example, a hierarchical cluster analysis (hierarchical clustering) and in the context of hierarchical cluster analysis, a so-called divisive cluster method and an agglomerative cluster method known. In the case of the divisive cluster method, all characteristic features are first regarded as belonging to a cluster, and then the already formed clusters are gradually divided into ever smaller clusters. In turn, the agglomerative clustering process involves first forming each characteristic feature into a cluster and then gradually clustering the already formed clusters into ever larger clusters. Apart from that, a variety of other clustering methods are known, but all have in common that they require a relatively large amount of computational effort and thus require high-performance evaluation. Namely, the known cluster methods work directly on the characteristic features and evaluate them in order to divide the features into corresponding clusters. However, since the number of characteristic features can usually be relatively large, a correspondingly large computing power is needed to allow the grouping of the characteristic features. However, such computing power is limited in particular in embedded systems in motor vehicles. The known algorithms also have the disadvantage that they can not be applied to all types of characteristic features. Namely, some types of characteristic features have descriptive data or so-called descriptors in which the use of the known clustering methods is not possible. Some of the known algorithms also require a priori assumptions and are thus correspondingly imprecise.
Es ist Aufgabe der Erfindung, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Detektion eines Zielobjekts, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen.It is an object of the invention to provide a comparison with the prior art improved method for detecting a target object, a camera system and a motor vehicle.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.This object is achieved by a method by a camera system and by a motor vehicle with the features according to the respective independent claims. Advantageous embodiments of the invention are the subject of the dependent claims, the description and the figures.
Ein erfindungsgemäßes Verfahren dient zum Detektieren eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand eines Bilds des Umgebungsbereichs. Das Bild wird durch eine Kamera des Kraftfahrzeugs erzeugt und mittels einer Auswerteeinrichtung verarbeitet. Die Auswerteeinrichtung extrahiert charakteristische Merkmale aus dem Bild. Die Auswerteeinrichtung detektiert dann das Zielobjekt abhängig von den charakteristischen Merkmalen. In dem Bild wird eine Vielzahl von Bildknoten definiert, und zu jedem Bildknoten wird eine lokale Merkmalsdichte der charakteristischen Merkmale um den jeweiligen Bildknoten bestimmt. Das Detektieren des Zielobjekts umfasst, dass mehrere der Bildknoten abhängig von der jeweiligen Merkmalsdichte zu einem Cluster zusammengefasst werden, welcher das Zielobjekt repräsentiert.A method according to the invention serves to detect a target object in an environmental region of a motor vehicle on the basis of an image of the surrounding area. The image is generated by a camera of the motor vehicle and processed by means of an evaluation device. The evaluation device extracts characteristic features from the image. The evaluation device then detects the target object depending on the characteristic features. In the image, a plurality of image nodes are defined, and to each image node a local feature density of the characteristic features around the respective image node is determined. The Detecting the target object comprises that several of the image nodes are combined into a cluster, which represents the target object, depending on the respective feature density.
Erfindungsgemäß ist somit vorgesehen, dass die charakteristischen Merkmale nur indirekt zu dem Cluster zusammengefasst werden, sodass nicht die charakteristischen Merkmale selbst, sondern die Bildknoten zu dem Cluster abhängig von der jeweiligen lokalen Merkmalsdichte zusammengefasst werden. Anstatt die charakteristischen Merkmale selbst zu einem Cluster zusammenzufassen, erfolgt also eine Clusterbildung aus den Bildknoten. Dies reduziert die benötigte Rechenleistung im Vergleich zum Stand der Technik erheblich. Die Clusterbildung erfolgt nämlich deterministisch, da die Anzahl und Position der Bildknoten fest vorgegeben sein kann. Dadurch wird außerdem die Genauigkeit der Clusterbildung im Vergleich zu stochastischen Verfahren erhöht. Die Reduktion des Rechenaufwands wird des Weiteren dadurch begünstigt, dass es sich bei dem vorgeschlagenen Verfahren um einen so genannten „Single-Pass”-Algorithmus bzw. „One-Pass”-Algorithmus handelt. Bei dem erfindungsgemäßen Verfahren brauchen die detektierten charakteristischen Merkmale nämlich nur ein einziges Mal berücksichtigt zu werden, um die Merkmalsdichte bei den jeweiligen Knoten zu bestimmen. Eine Zwischenspeicherung der charakteristischen Merkmale ist somit nicht erforderlich. Das erfindungsgemäße Verfahren kann somit besonders vorteilhaft bei einem eingebetteten System implementiert werden, was sich insbesondere bei Kraftfahrzeugen als vorteilhaft erweist.According to the invention, it is thus provided that the characteristic features are combined only indirectly to the cluster, so that not the characteristic features themselves but the image nodes to the cluster are combined depending on the respective local feature density. Instead of grouping the characteristic features themselves into a cluster, clustering therefore takes place from the image nodes. This considerably reduces the required computing power compared to the prior art. Namely, the clustering is deterministic since the number and position of the image nodes can be fixed. This also increases the accuracy of clustering compared to stochastic methods. The reduction of the computational effort is further facilitated by the fact that the proposed method is a so-called "single-pass" algorithm or "one-pass" algorithm. Namely, in the method according to the invention, the detected characteristic features only need to be considered once to determine the feature density at the respective nodes. Caching of the characteristic features is thus not required. The method according to the invention can thus be implemented particularly advantageously in an embedded system, which proves to be particularly advantageous in motor vehicles.
Es können im Allgemeinen verschiedene Methoden angewendet werden, um die charakteristischen Merkmale aus dem Bild zu extrahieren. Zum Beispiel können die so genannten Harris-Punkte detektiert werden oder es können auch weitere Methoden, wie SIFT, SURF, ORB oder dergleichen verwendet werden.In general, different methods can be used to extract the characteristic features from the image. For example, the so-called Harris points can be detected or other methods such as SIFT, SURF, ORB or the like can be used.
Allgemein gesagt können die Abstände zwischen benachbarten Bildknoten gleich sein, sodass die Bildknoten nach einem einheitlichen Raster definiert sind.Generally speaking, the distances between adjacent image nodes may be equal so that the image nodes are defined according to a uniform raster.
In einer Ausführungsform ist vorgesehen, dass zur Definition der Bildknoten zumindest eine Bildregion des Bilds in eine Vielzahl von Bildzellen unterteilt wird und die Bildknoten durch jeweilige Ecken der Bildzellen definiert werden. Die Bildzellen können dabei rechteckige, insbesondere quadratische, Zellen sein. Dadurch können Bildknoten bereitgestellt werden, welche in Reihen und Spalten geordnet sind, wodurch der Aufwand bei der Clusterbildung weiterhin reduziert wird. Alle Bildzellen weisen vorzugsweise die gleiche Größe auf, beispielsweise 10 × 10 Bildpunkte. Wird lediglich eine Region des Bilds verwendet, so können insgesamt beispielsweise 32 × 32 Bildzellen vorgesehen sein, die jeweils eine Größe von 10 × 10 Bildpunkten aufweisen. Die Erfindung ist jedoch nicht auf diese Größe beschränkt; die Anzahl und die Größe der Bildzellen kann grundsätzlich beliebig gewählt werden.In an embodiment, it is provided that, to define the image nodes, at least one image region of the image is subdivided into a multiplicity of image cells, and the image nodes are defined by respective corners of the image cells. The image cells can be rectangular, in particular square, cells. As a result, image nodes can be provided, which are arranged in rows and columns, whereby the complexity of clustering is further reduced. All image cells are preferably the same size, for example 10 × 10 pixels. If only one region of the image is used, a total of, for example, 32 × 32 image cells can be provided, each having a size of 10 × 10 pixels. However, the invention is not limited to this size; The number and size of the image cells can basically be chosen arbitrarily.
Die jeweilige Merkmalsdichte kann zu jedem Bildknoten durch eine Anzahl von charakteristischen Merkmalen angegeben werden, welche in einem vorbestimmten Bereich um den jeweiligen Bildknoten detektiert werden. Auf diese Art und Weise wird zu jedem Bildknoten ein Parameter definiert, nämlich die Anzahl von charakteristischen Merkmalen, welche diesem Bildknoten zugeordnet werden. Die Auswertung der Bildknoten ist somit besonders aufwandsarm, da jeder Bildknoten neben seiner Position im Bildrahmen lediglich durch die Anzahl der zugeordneten charakteristischen Merkmale definiert wird.The respective feature density can be specified for each image node by a number of characteristic features which are detected in a predetermined area around the respective image node. In this way, a parameter is defined for each image node, namely the number of characteristic features which are assigned to this image node. The evaluation of the image nodes is thus particularly cost-effective, since each image node is defined only by the number of associated characteristic features in addition to its position in the image frame.
Ganz allgemein kann vorgesehen sein, dass der Cluster aus zueinander benachbarten Bildknoten gebildet wird, deren Merkmalsdichte größer als ein vorgegebener Schwellwert ist. Die Clusterbildung kann somit ohne viel Aufwand vorgenommen werden. Es reicht lediglich aus, dass Bildknoten gefunden werden, deren Merkmalsdichte größer als der Schwellwert ist, und benachbarte Bildknoten, welche dieses Kriterium erfüllen, können zu einem gemeinsamen Cluster zusammengefasst werden. Der Schwellwert kann beispielsweise in einem Wertebereich von 1 bis 5 liegen, was bedeutet, dass nur diejenigen Bildknoten in Betracht gezogen werden, denen eine Anzahl von mindestens 1 bis 5 von charakteristischen Merkmalen zugeordnet sind.In general, it can be provided that the cluster is formed from mutually adjacent image nodes whose feature density is greater than a predefined threshold value. The clustering can thus be made without much effort. It is sufficient only that image nodes are found whose feature density is greater than the threshold, and adjacent image nodes that meet this criterion can be combined into a common cluster. The threshold value can be, for example, in a value range of 1 to 5, which means that only those image nodes are taken into account, to which a number of at least 1 to 5 of characteristic features are assigned.
Es hat sich als besonders vorteilhaft erwiesen, wenn zur Clusterbildung ein „Snake”-Algorithmus verwendet wird, um diejenigen Bildknoten aufzufinden, die zu einem gemeinsamen Cluster zusammengefasst werden sollen. Ein solcher „Snake”-Algorithmus wird nachfolgend näher beschrieben:
Die Bildknoten können in Reihen und Spalten derart geordnet sein, dass entlang von zwei orthogonalen Bildachsen des Bilds – beispielsweise entlang der x-Achse sowie der y-Achse des Bilds – jeweils mehrere Ketten von Bildknoten definiert sind. Das Zusammenfassen der mehreren Bildknoten zu dem Cluster kann beinhalten, dass ausgehend von einem Startknoten in dessen Kette (reihenweise oder spaltenweise) zunächst in eine erste Überprüfungsrichtung zu weiteren Bildknoten nacheinander übergegangen wird, um diese Bildknoten einen nach dem anderen daraufhin zu überprüfen, ob deren Merkmalsdichte einem vorbestimmten Kriterium genügt. Diejenigen Bildknoten, die das Kriterium erfüllen, werden zu dem Cluster zusammengefasst. Wird ein Bildknoten detektiert, bei welchem das Kriterium nicht erfüllt ist, so wird zu einer benachbarten Kette (benachbarten Reihe oder Spalte) übergegangen, um in dieser benachbarten Kette in eine zur ersten Überprüfungsrichtung entgegengesetzte zweite Überprüfungsrichtung die Bildknoten nacheinander auf das vorbestimmte Kriterium hin zu überprüfen. Die Bildknoten werden auf diese Art und Weise mäanderförmig einer nach dem anderen daraufhin überprüft, ob sie ein vorgegebenes Kriterium bezüglich der Merkmalsdichte erfüllen oder nicht. Diejenigen Bildpunkte, die das Kriterium erfüllen, bilden dann den Cluster. Eine solche Vorgehensweise hat den Vorteil, dass diejenigen Bildknoten, welche das Kriterium erfüllen, besonders schnell aufgefunden werden können. Dieser Algorithmus erweist sich also beispielsweise dann als vorteilhaft, wenn sich die abgebildete Szene relativ schnell ändert und sich das detektierte Zielobjekt beispielsweise relativ schnell bewegt. Des Weiteren kann die Dichte der Bildknoten im Bild und somit auch die Anzahl der Bildknoten variiert werden, ohne dass die Zuverlässigkeit des „Snake”-Algorithmus beeinflusst wird.It has proven to be particularly advantageous if a "snake" algorithm is used for clustering in order to find those image nodes which are to be combined into a common cluster. Such a "snake" algorithm is described in more detail below:
The image nodes may be arranged in rows and columns such that along two orthogonal image axes of the image-for example along the x-axis and the y-axis of the image-a plurality of image node chains are respectively defined. The merging of the plurality of image nodes into the cluster may involve, starting from a start node in its chain (rowwise or columnwise), first proceeding to a first check direction to further image nodes to check these image nodes one at a time to see if their feature density meets a predetermined criterion. Those image nodes that meet the criterion are grouped into the cluster. If an image node is detected in which the criterion is not met, then it goes to an adjacent chain (adjacent row or column) to be in this adjacent chain in a direction opposite to the first checking direction second checking direction to check the image nodes successively to the predetermined criterion. The image nodes are meandered one after the other in this way to see whether they meet a given criterion with respect to the feature density or not. Those pixels that fulfill the criterion then form the cluster. Such a procedure has the advantage that those image nodes which fulfill the criterion can be found particularly quickly. This algorithm thus proves to be advantageous, for example, if the imaged scene changes relatively quickly and the detected target object moves relatively quickly, for example. Furthermore, the density of the image nodes in the image and thus also the number of image nodes can be varied without affecting the reliability of the "snake" algorithm.
Das genannte Kriterium kann beispielsweise beinhalten, dass die Merkmalsdichte des jeweiligen Bildknotens größer als ein vorgegebener Schwellwert ist. Dies kann vorzugsweise der oben bereits genannte Schwellwert sein, welcher in einem Wertebereich von 1 bis 5 liegen kann.The named criterion may include, for example, that the feature density of the respective image node is greater than a predetermined threshold value. This may preferably be the above-mentioned threshold value, which may be in a value range of 1 to 5.
Der Startknoten, bei welchem der Algorithmus beginnt, kann grundsätzlich beliebig gewählt werden. Es erweist sich jedoch als vorteilhaft, wenn der Startknoten abhängig von der Merkmalsdichte und/oder abhängig von einer Position in dem Bild ausgewählt wird. Beispielsweise kann als Startknoten der Bildknoten mit der größten Merkmalsdichte oder der erste oder der letzte Bildknoten oder aber ein zufällig bestimmter Knoten gewählt werden.The starting node at which the algorithm starts can basically be chosen arbitrarily. However, it proves to be advantageous if the starting node is selected depending on the feature density and / or depending on a position in the image. For example, the image node with the largest feature density or the first or the last image node or else a randomly determined node can be selected as the starting node.
Auch die erste Überprüfungsrichtung kann abhängig von der Merkmalsdichte der dem Startknoten benachbarten Bildknoten bestimmt werden. Dies bedeutet insbesondere, dass abhängig von der Merkmalsdichte der dem Startknoten benachbarten Knoten bestimmt wird, ob der „Snake”-Algorithmus spaltenweise oder reihenweise durchgeführt werden soll. Auf diese Art und Weise kann die Suche nach den Bildknoten eines gemeinsamen Clusters weiterhin optimiert werden.The first checking direction can also be determined depending on the feature density of the image node adjacent to the start node. This means in particular that, depending on the feature density of the node adjacent to the start node, it is determined whether the "snake" algorithm should be performed column by column or row by row. In this way, the search for the image nodes of a common cluster can be further optimized.
Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug umfasst eine Kamera zum Bereitstellen eines Bilds eines Umgebungsbereichs des Kraftfahrzeugs sowie eine elektronische Auswerteeinrichtung, die zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.A camera system according to the invention for a motor vehicle comprises a camera for providing an image of an environmental region of the motor vehicle and an electronic evaluation device which is designed to carry out a method according to the invention.
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere Personenkraftwagen, umfasst ein erfindungsgemäßes Kamerasystem.A motor vehicle according to the invention, in particular a passenger car, comprises a camera system according to the invention.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the camera system according to the invention and to the motor vehicle according to the invention.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.Further features of the invention will become apparent from the claims, the figures and the description of the figures. All the features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively indicated combination but also in other combinations or alone.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.The invention will now be described with reference to a preferred embodiment and with reference to the accompanying drawings.
Es zeigen:Show it:
In
Beispielsweise weist die Kamera
Im Ausführungsbeispiel gemäß
In
Die Bildknoten
Zumindest in der Bildregion
Die Bestimmung der Merkmalsdichte zu jedem Bildknoten
Bei jedem Bildknoten
Es wird also insgesamt eine Dichtekarte der charakteristischen Merkmale
Zunächst wird ein oder mehrere Startknoten für diesen Algorithmus ausgewählt. Dies kann beispielsweise derjenige Bildknoten
Der „Snake”-Algorithmus wird nun für jeden Startknoten
Zur allgemeinen Erläuterung des Algorithmus wird nun auf
Ausgehend von dem Startknoten
Die in
Mit erneutem Bezug auf
Bei dem zweiten Startknoten
Werden mehrere Cluster
Die Zusammenfassung der beiden Cluster
Mit erneutem Bezug auf
Wie in
Claims (10)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013012780.7A DE102013012780A1 (en) | 2013-07-31 | 2013-07-31 | Method for detecting a target object by clustering characteristic features of an image, camera system and motor vehicle |
PCT/EP2014/066349 WO2015014882A1 (en) | 2013-07-31 | 2014-07-30 | Method for detecting a target object by clustering of characteristic features of an image, camera system and motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013012780.7A DE102013012780A1 (en) | 2013-07-31 | 2013-07-31 | Method for detecting a target object by clustering characteristic features of an image, camera system and motor vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102013012780A1 true DE102013012780A1 (en) | 2015-02-05 |
Family
ID=51300711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102013012780.7A Pending DE102013012780A1 (en) | 2013-07-31 | 2013-07-31 | Method for detecting a target object by clustering characteristic features of an image, camera system and motor vehicle |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102013012780A1 (en) |
WO (1) | WO2015014882A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016124123A1 (en) * | 2016-12-13 | 2018-06-14 | Connaught Electronics Ltd. | A method for generating a cluster of image areas for capturing a target object in an image, computer program product, camera system and motor vehicle |
CN110991514A (en) * | 2019-11-27 | 2020-04-10 | 深圳市商汤科技有限公司 | Image clustering method and device, electronic equipment and storage medium |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062337B (en) * | 2019-12-19 | 2023-08-04 | 北京迈格威科技有限公司 | People stream direction detection method and device, storage medium and electronic equipment |
CN111310664B (en) * | 2020-02-18 | 2022-11-22 | 深圳市商汤科技有限公司 | Image processing method and device, electronic equipment and storage medium |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI431496B (en) * | 2011-05-17 | 2014-03-21 | Univ Nat Pingtung Sci & Tech | Method for grid-based data clustering |
-
2013
- 2013-07-31 DE DE102013012780.7A patent/DE102013012780A1/en active Pending
-
2014
- 2014-07-30 WO PCT/EP2014/066349 patent/WO2015014882A1/en active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016124123A1 (en) * | 2016-12-13 | 2018-06-14 | Connaught Electronics Ltd. | A method for generating a cluster of image areas for capturing a target object in an image, computer program product, camera system and motor vehicle |
CN110991514A (en) * | 2019-11-27 | 2020-04-10 | 深圳市商汤科技有限公司 | Image clustering method and device, electronic equipment and storage medium |
CN110991514B (en) * | 2019-11-27 | 2024-05-17 | 深圳市商汤科技有限公司 | Image clustering method and device, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
WO2015014882A1 (en) | 2015-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102015121387B4 (en) | Obstacle detection device and obstacle detection method | |
DE102006057552A1 (en) | System and method for measuring the distance of a preceding vehicle | |
DE102011111440A1 (en) | Method for representation of environment of vehicle, involves forming segments of same width from image points of equal distance in one of image planes, and modeling objects present outside free space in environment | |
DE102012101014A1 (en) | Vehicle detection device | |
DE112018007485T5 (en) | Road surface detection device, image display device using a road surface detection device, obstacle detection device using a road surface detection device, road surface detection method, image display method using a road surface detection method, and obstacle detection method using a road surface detection method | |
DE102013012930A1 (en) | Method for determining a current distance and / or a current speed of a target object from a reference point in a camera image, camera system and motor vehicle | |
DE102017209631B4 (en) | OBJECT IDENTIFICATION DEVICE | |
DE102012024878A1 (en) | Method for detecting a target object on the basis of a camera image by clustering a plurality of adjacent image cells, camera device and motor vehicle | |
DE102012023060A1 (en) | Method for detecting moving object in surrounding region of motor vehicle e.g.passenger car, involves determining vector values within the respective interval values, such movable object is detected based on histogram | |
DE102012209316A1 (en) | Method and device for processing sensor data of a stereo sensor system | |
DE102012215026A1 (en) | Method and device for operating a vehicle | |
DE102016218852A1 (en) | Detection of objects from images of a camera | |
DE102016124978A1 (en) | Virtual representation of an environment of a motor vehicle in a driver assistance system with a plurality of projection surfaces | |
DE102013012780A1 (en) | Method for detecting a target object by clustering characteristic features of an image, camera system and motor vehicle | |
DE102015211874A1 (en) | Object detection device | |
DE102014113359B4 (en) | Filtering device and environment detection system | |
DE102015211871A1 (en) | Object detection device | |
DE102013012778A1 (en) | Method for detecting a moving pedestrian on the basis of characteristic features and optical flow vectors of an image, camera system and motor vehicle | |
DE102014201409A1 (en) | PARKING - TRACKING DEVICE AND METHODS THEREOF | |
EP3073446B1 (en) | Method for representing the surroundings of a vehicle | |
DE102016218849A1 (en) | Detection and tracking of objects from images of a camera | |
DE102019218479A1 (en) | Method and device for classifying objects on a roadway in the surroundings of a vehicle | |
DE102008046505A1 (en) | Method for image processing of stereo images | |
DE102008059551A1 (en) | Method for determining the change in position of a camera system and device for capturing and processing images | |
DE102015112389A1 (en) | Method for detecting at least one object on a road in a surrounding area of a motor vehicle, camera system and motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009620000 Ipc: G06V0030190000 |