-
Die Erfindung betrifft ein Verfahren zum Bestimmen von charakteristischen Bildpunkten in von einem Kamerasystem eines Kraftfahrzeugs aufgenommenen Bildern, wobei eine Bildsequenz eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Kamerasystems erfasst wird, und eine vorbestimmte Anzahl von Teilbereichen von einem der Bilder der Bildsequenz mittels einer Bildverarbeitungsvorrichtung des Kamerasystems ausgewählt wird. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
-
Verfahren zum Bestimmen von charakteristischen Bildpunkten sind bereits aus dem Stand der Technik bekannt. So werden charakteristische Bildpunkte beispielsweise für ein komplettes Bild bestimmt. Das Bestimmen der charakteristischen Bildpunkte erfolgt mit sogenannten Interest Punktoperatoren. Charakteristische Bildpunkte sind möglichst eindeutige Bildpunkte, welche in einem Bild von der gleichen Situation, aber beispielsweise zu einem anderen Zeitpunkt oder von einer anderen Kameraposition aufgenommen sind, und durch eine Suche bzw. einen Vergleich wiedergefunden werden können. So eignen sich die charakteristischen Bildpunkte zur Objekterkennung, zur Odometrie, zur 3D-Rekonstruktion sowie zur Koregistrierung.
-
Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug bereitzustellen, bei welchem bzw. bei welchen die charakteristischen Bildpunkte besonders gleichmäßig bestimmt werden können.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst.
-
Bei einem erfindungsgemäßen Verfahren zum Bestimmen von charakteristischen Bildpunkten in von einem Kamerasystem eines Kraftfahrzeugs aufgenommenen Bildern, wobei eine Bildsequenz eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Kraftfahrzeugs erfasst wird und eine vorbestimmte Anzahl von Teilbereichen von einem der Bilder der Bildsequenz mittels einer Bildverarbeitungsvorrichtung des Kamerasystems ausgewählt wird, werden erfindungsgemäß für zumindest einen der Teilbereiche die folgenden Schritte durchgeführt:
- a) Bestimmen von charakteristischen Bildpunkten in einem ersten Bild der Bildsequenz,
- b) Suchen der charakteristischen Bildpunkte des ersten Bilds in einem zweiten Bild der Bildsequenz abhängig von einem Ähnlichkeitsmaß der korrespondierenden charakteristischen Bildpunkte,
- c) Auswählen von in dem zweiten Bild gemäß der Suche in Schritt b) aufgefundenen charakteristischen Bildpunkte,
- d) Hinzufügen der gemäß Schritt c) ausgewählten charakteristischen Bildpunkte aus dem zweiten Bild zu einer Bildpunkt-Sammlung,
- e) Bestimmen von charakteristischen Bildpunkten in dem zweiten Bild,
- f) Hinzufügen der gemäß Schritt e) bestimmten charakteristischen Bildpunkte aus dem zweiten Bild zu der Bildpunkt-Sammlung,
- g) Suchen der in der Bildpunkt-Sammlung gemäß Schritt c) und Schritt f) hinzugefügten charakteristischen Bildpunkte in einem dritten Bild abhängig von dem Ähnlichkeitsmaß.
-
In Schritt e) können als charakteristische Bildpunkte im zweiten Bild neue charakteristische Bildpunkte bestimmt werden, welche andere charakteristische Bildpunkte als die charakteristischen Bildpunkte, wie sie in Schritt b) gesucht werden, sein können.
-
Durch das erfindungsgemäße Verfahren wird es möglich, aufgrund der Teilbereiche, die charakteristischen Bildpunkte besonders gleich verteilt in dem Bild zu bestimmen. Weiterhin wird es durch das erfindungsgemäße Verfahren möglich, besonders eindeutige bzw. starke charakteristische Bildpunkte zu bestimmen. Dies wird gewährleistet, da die charakteristischen Bildpunkte zumindest teilweise aus einem der vorherigen Bilder der Bildsequenz genutzt werden. Weiterhin ist es aber auch möglich, dass zusätzlich zu den charakteristischen Bildpunkten aus den vorherigen Bildern auch in jedem Bild der Bildsequenz neue charakteristische Bildpunkte bestimmt werden. Der Vorteil liegt nun darin, dass sowohl die charakteristischen Bildpunkte verwendet werden, welche in einem der vorherigen Bilder detektiert wurden und somit eine gewisse Zuverlässigkeit der charakteristischen Bildpunkte vorausgesetzt werden kann, aber auch in jedem Bild der Bildsequenz neue charakteristische Bildpunkte hinzugefügt werden. Das Hinzufügen der neuen charakteristischen Bildpunkte ist wichtig, weil bei einer fortlaufenden Änderung des Bildinhaltes über die Bildsequenz immer weniger der charakteristischen Bildpunkte aus den vorherigen Bildern zur Verfügung stehen bzw. verfolgt bzw. gesucht werden können. Die charakteristischen Bildpunkte aus dem vorherigen Bild bzw. dem ersten Bild werden in einem darauffolgenden Bild bzw. dem zweiten Bild derart gesucht, dass das Ähnlichkeitsmaß eine Aussage zulässt, ob es sich bei dem charakteristischen Bildpunkt in dem zweiten Bild um den charakteristischen Bildpunkt des ersten Bildes handelt. Das Ähnlichkeitsmaß beschreibt also einen Vergleich der Eigenschaften der charakteristischen Bildpunkte. Zu den Eigenschaften der charakteristischen Bildpunkte können sowohl Eigenschaften der charakteristischen Bildpunkte selbst zählen, als auch Eigenschaften von Bildpunkten aus dem Umgebungsbereich der charakteristischen Bildpunkte.
-
Insbesondere ist vorgesehen, dass die Schritte b) bis g) für zumindest ein viertes Bild der Bildsequenz wiederholt werden. Vorteilhaft daran ist, dass in den Schritten b) bis g) die Initialisierung von Schritt a) schon erfolgt ist. Somit liegen aus dem ersten Bild schon charakteristische Bildpunkte vor, welche in dem zweiten Bild gesucht werden können. Das erfindungsgemäße Verfahren ist also vorzugsweise dazu ausgelegt, um die charakteristischen Bildpunkte in einer Mehrzahl von Bildern der Bildsequenz zu detektieren bzw. zu bestimmen.
-
Weiterhin ist vorgesehen, dass das Ähnlichkeitsmaß als eine Differenz der Intensitäten der korrespondierenden charakteristischen Bildpunkte definiert wird, insbesondere als eine Summe der quadratischen Differenzen der korrespondierenden charakteristischen Bildpunkte, und/oder eine Summe der absoluten Differenzen der korrespondierenden charakteristischen Bildpunkte und/oder eine Mahalanobis-Distanz der korrespondierenden charakteristischen Bildpunkte und/oder eine Bhattacharyya-Distanz der korrespondierenden charakteristischen Bildpunkte. Vorteilhaft daran ist, dass dieses Ähnlichkeitsmaß schnell und einfach zu berechnen ist, wodurch eine hohe Bildwiederholrate der Bilder der Bildsequenz ermöglicht wird. Der Vorteil der quadratischen Differenzen ist, dass eine kleine Differenz weniger stark ins Gewicht für die Bestimmung des Ähnlichkeitsmaßes fällt als eine große Differenz. Es können jedoch auch andere Ähnlichkeitsmaße beziehungsweise Ähnlichkeitsmetriken genutzt werden.
-
Vorzugsweise wird bei dem Suchen in Schritt b) und Schritt g) ein die Wahrscheinlichkeit eines korrekt gefundenen charakteristischen Bildpunktes beschreibender erster Zuverlässigkeitswert berücksichtigt. Es kann also beispielsweise anhand des Ähnlichkeitsmaßes und/oder an anderen Eigenschaften, beispielsweise die Häufigkeit des Auftretens oder die Entfernung, eine Wahrscheinlichkeit berücksichtigt werden, wie zuverlässig der jeweilige charakteristische Bildpunkt aus dem ersten Bild in dem zweiten Bild gefunden wurde. Der erste Zuverlässigkeitswert kann beispielsweise in einem Wertebereich von 0 bis 1 liegen. Es könnte dann bedeuten, dass je näher der Wert des ersten Zuverlässigkeitswertes an 1 liegt, desto wahrscheinlicher ist die Zuordnung des charakteristischen Punktes aus dem ersten Bild zu dem charakteristischen Punkt in dem zweiten Bild korrekt. Insbesondere ist vorgesehen, dass die charakteristischen Bildpunkte abhängig von dem ersten Zuverlässigkeitswert zu der Bildpunkt-Sammlung in Schritt d) hinzugefügt werden. Das bedeutet, die charakteristischen Bildpunkte aus Schritt b) und/oder Schritt g) können abhängig von dem ersten Zuverlässigkeitswert sortiert werden und somit kann eine Reihenfolge für das Hinzufügen zu der Bildpunkt-Sammlung vorgegeben werden. So kann beispielsweise der charakteristische Bildpunkt mit dem höchsten ersten Zuverlässigkeitswert, also mit der höchsten Wahrscheinlichkeit für die Korrektheit der Suche, zuerst hinzugefügt werden. Die Bildpunkt-Sammlung wird also dadurch zuerst mit den zuverlässigsten charakteristischen Bildpunkten erweitert bzw. befüllt.
-
In einer weiteren Ausführungsform ist vorgesehen, dass bei dem Bestimmen der charakteristischen Bildpunkte in Schritt e) ein die Eindeutigkeit der charakteristischen Bildpunkte beschreibender zweiter Zuverlässigkeitswert berücksichtigt wird. Der zweite Zuverlässigkeitswert beschreibt also wie eindeutig ein charakteristischer Bildpunkt ist. Das bedeutet wie hoch die Wahrscheinlichkeit ist, dass der charakteristische Bildpunkt anders ist als die weiteren charakteristischen Bildpunkte in dem jeweiligen Bild. So kann der zweite Zuverlässigkeitswert beispielsweise davon abhängen, wie stark der Kontrast des charakteristischen Bildpunktes zu seinem Umfeld ist.
-
Insbesondere ist vorgesehen, dass die charakteristischen Bildpunkte von dem zweiten Zuverlässigkeitswert zu der Bildpunkt-Sammlung in Schritt f) hinzugefügt werden. Durch den zweiten Zuverlässigkeitswert können die bestimmten charakteristischen Bildpunkte abhängig von ihrer Eindeutigkeit geordnet bzw. sortiert werden. So können diese beispielsweise in einem Vektor so angeordnet werden, dass der eindeutigste bzw. der herausragendste charakteristische Bildpunkte an erster Stelle des Vektors steht und die weiteren charakteristischen Bildpunkte abhängig von dem zweiten Zuverlässigkeitswert angehängt werden. Der Vorteil ist nun, dass die Bildpunkts-Sammlung zuerst mit den charakteristischen Bildpunkten, welche den höchsten zweiten Zuverlässigkeitswert aufweisen, erweitert werden kann. Weiterhin ist vorzugsweise vorgesehen, dass die charakteristischen Bildpunkte gemäß Schritt c) abhängig von einem vorbestimmten ersten Grenzwert, welcher die maximale Anzahl der hinzuzufügenden charakteristischen Bildpunkte definiert, zu der Bildpunkt-Sammlung in Schritt d) hinzugefügt werden. Durch den ersten Grenzwert kann somit vorgegeben werden, wie viele charakteristische Bildpunkte, welche durch die Suche in dem zweiten Bild gefunden wurden, also in dem ersten Bild schon vorhanden waren, maximal zu der Bildpunkt-Sammlung hinzugefügt werden sollen. Vorteilhaft ist also, dass beispielsweise nur die charakteristischen Bildpunkte mit dem höchsten ersten Zuverlässigkeitswert hinzugefügt werden können. Somit kann sichergestellt werden, dass die charakteristischen Bildpunkte in der Bildpunkt-Sammlung besonders zuverlässig sind.
-
In einer weiteren Ausführungsform ist vorgesehen, dass die charakteristischen Bildpunkte gemäß Schritt e) abhängig von einem vorbestimmten zweiten Grenzwert, welcher die maximale Anzahl der hinzuzufügenden charakteristischen Bildpunkte definiert, zu der Bildpunkt-Sammlung in Schritt f) hinzugefügt werden. Durch den zweiten Grenzwert kann vorgegeben werden, wie viele der neu bestimmten charakteristischen Bildpunkte in dem zweiten Bild zu der Bildpunktsammlung hinzugefügt werden sollen. Die neu bestimmten charakteristischen Bildpunkte bzw. die bestimmten charakteristischen Bildpunkte in dem zweiten Bild gemäß Schritt e) sind also nicht in dem vorherigen Bild bzw. in dem ersten Bild aufgetreten. Vorteilhaft ist also, dass beispielsweise abhängig von der Änderung des Bildinhaltes der Bilder der Bildsequenz der zweite Grenzwert gesetzt werden kann, um dementsprechend weniger oder mehr neue charakteristische Bildpunkte in die Bildpunkt-Sammlung hinzuzufügen und diese somit für das Suchen gemäß Schritt g) zur Verfügung zu stellen.
-
In einer weiteren Ausführungsform ist vorgesehen, dass der erste Grenzwert und der zweite Grenzwert abhängig von einer Verhältniszahl, welche ein Verhältnis von dem ersten Grenzwert zu dem zweiten Grenzwert definiert und einem dritten Grenzwert, welcher eine maximal Anzahl von charakteristischen Bildpunkten in der Bildpunkt-Sammlung gemäß Schritt g) definiert bestimmt werden. Durch die Verhältniszahl kann also vorgegeben werden, wie das Verhältnis von vorhandenen charakteristischen Bildpunkten also charakteristischen Bildpunkten aus dem ersten Bild und neuen charakteristischen Bildpunkten also gemäß Schritt e) bestimmten charakteristischen Bildpunkten in dem zweiten Bild in die Bildpunkt-Sammlung eingeht, um die Bildpunkt-Sammlung für Schritt g) bereitzustellen. Weiterhin können anhand des dritten Grenzwerts und der Verhältniszahl, der erste Grenzwert und der zweite Grenzwert bestimmt werden. Es wird also ermöglicht, den ersten Grenzwert und den zweiten Grenzwert über die Verhältniszahl und den dritten Grenzwert zu bestimmen.
-
Insbesondere ist vorgesehen, dass bei dem Hinzufügen der charakteristischen Bildpunkte in Schritt d) zu der Bildpunkt-Sammlung ein Abstand, insbesondere eine euklidische Distanz oder eine Manhattandistanz, der charakteristischen Bildpunkte berücksichtigt wird. Es ist also insbesondere vorgesehen, dass bei dem Hinzufügen der charakteristischen Bildpunkte zu der Bildpunkt-Sammlung überprüft wird, welchen Abstand ein charakteristischer Bildpunkt zu den bereits in der Bildpunkt-Sammlung vorhandenen charakteristischen Bildpunkten aufweist. So kann beispielsweise sichergestellt werden, dass die charakteristischen Bildpunkte in der Bildpunkt-Sammlung eine gleichmäßige bzw. homogene Verteilung aufweisen. Es kann also vorgesehen sein, dass ein charakteristischer Bildpunkt, welcher einen zu geringen Abstand zu einem charakteristischen Bildpunkt, welcher sich bereits in der Bildpunkt-Sammlung befindet, aufweist, nicht zu der Bildpunkt-Sammlung hinzugefügt wird. Unter dem Begriff der Manhattandistanz wird auch der Begriff Von-Neumann-Nachbarschaft verstanden. Die Manhattandistanz beschreibt den Abstand zwischen zwei Punkten als die Summe der absoluten Differenzen ihrer Einzelkoordinaten. Die euklidische Distanz ist beispielsweise der Abstand zweier Punkte, die mit einer geraden Verbindungslinie gemessen werden kann.
-
Insbesondere ist vorgesehen, dass die charakteristischen Bildpunkte in Schritt f) nur hinzugefügt werden, falls jeder der charakteristischen Bildpunkte aus Schritt b) mindestens einen vorbestimmten Abstand zueinander aufweist. Vorteilhafterweise kann dadurch sichergestellt werden, dass eine Verteilung der charakteristischen Bildpunkte in der Bildpunkt-Sammlung bzw. in dem jeweiligen Teilbereich gleichmäßig bzw. homogen vorhanden ist. So kann beispielsweise eine Anhäufung von charakteristischen Bildpunkten an einem Bereich des Bildes verhindert werden. Weiterhin kann dadurch beispielsweise bestimmt werden, dass die charakteristischen Bildpunkte, welche neu bestimmt wurden bzw. in dem zweiten Bild gemäß Schritt f) bestimmt wurden, nur dann zu der Bildpunkt-Sammlung hinzugefügt werden, falls sich innerhalb des vorbestimmten Abstandes kein charakteristischer Bildpunkt aus dem Schritt d) an dieser Stelle bzw. in diesem Bereich der Bildpunkt-Sammlung befindet. Es kann also vorgesehen sein, dass einem charakteristischen Bildpunkt, welcher gemäß Schritt d) zu der Bildpunkt-Sammlung hinzugefügt wurde, mehr Vertrauen geschenkt wird bzw. dieser als zuverlässiger erachtet wird, als ein charakteristischer Bildpunkt, welcher gemäß Schritt f) hinzugefügt werden soll und in Schritt e) bestimmt wurde.
-
In einer weiteren Ausführungsform können die charakteristischen Bildpunkte gemäß Schritt a) und e) mit einem Eckendetektionsverfahren bestimmt werden. Das Eckendetektionsverfahren bestimmt Ecken in dem Bild, wobei die Ecke ein Schnittpunkt von zwei Kanten in dem Bild sein kann. Eine Kante wiederum weist eine vorbestimmte Intensitätsänderung in dem Bild auf. Vorteilhaft ist also, dass besonders markante charakteristische Bildpunkte bestimmt werden können.
-
Ein erfindungsgemäßes Fahrerassistenzsystem für ein Kraftfahrzeug umfasst zumindest ein Kamerasystem, welches dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen.
-
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems mit einem Kamerasystem;
-
2 in schematischer Darstellung ein Bild, welches mittels einer Kamera des Kamerasystems erfasst ist;
-
3 in schematischer Darstellung das Bild, in welchem eine vorbestimmte Anzahl von Teilbereichen ausgewählt sind;
-
4 ein Ablaufdiagramm von einem Teil des erfindungsgemäßen Verfahrens;
-
5 ein weiteres Ablaufdiagramm von einem weiteren Teil des erfindungsgemäßen Verfahrens;
-
6 ein weiteres Ablaufdiagramm mit einem weiteren Teil des erfindungsgemäßen Verfahrens; und
-
7 ein weiteres Ablaufdiagramm des erfindungsgemäßen Verfahrens.
-
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Fahrerassistenzsystem 2 umfasst im Ausführungsbeispiel ein Kamerasystem 3 mit einer Kamera 4 und einer Bildverarbeitungsvorrichtung 5. Gemäß dem Ausführungsbeispiel in 1 ist die Kamera 4 an einem Heck 6 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 4 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass ein Umgebungsbereich 7 des Kraftfahrzeugs 1 erfasst werden kann.
-
Die Kamera 4 kann eine CMOS Kamera oder aber eine CCD Kamera oder eine beliebige Bilderfassungseinrichtung sein, welche das Bild 11 – wie in 2 dargestellt – zur Verfügung stellt, in dem charakteristische Punkte bestimmt werden können. Es können auch mehrere solcher Kameras 4 eingesetzt werden. Die Bildverarbeitungsvorrichtung 5 kann mit mehreren Kameras 4 verbunden sein.
-
Die Kamera 4 ist eine Videokamera, welche kontinuierlich eine Bildsequenz von Bildern 8 bereitstellt. Das Bild 8 ist ein Einzelbild (Frame). Die Bildverarbeitungsvorrichtung 5 verarbeitet dann die Bildsequenz der Bilder 8 beispielsweise in Echtzeit. Es können auch mehrere Bildsequenzen von Bildern 8 bereitgestellt werden, welche dann parallel oder sequentiell mit der Bildverarbeitungsvorrichtung 5 prozessiert werden können.
-
Das in 2 dargestellte Bild 8 ist mit der Kamera 4 aufgenommen. Von dem Bild 8 werden mittels der Bildverarbeitungsvorrichtung 5 eine vorbestimmte Anzahl von Teilbereichen 9 ausgewählt. Die Teilbereiche 9 können beispielsweise mittels eines Gitters 10 ausgewählt werden.
-
Das Bild 8 gemäß 2 ist mittels eines Fischaugenobjektivs der Kamera 4 aufgenommen und deckt einen dementsprechenden horizontalen Erfassungsbereich der Kamera 4 ab. Der Erfassungsbereich kann beispielsweise 180° in horizontaler Richtung und mehr betragen. Grundsätzlich ist die Erfindung nicht auf Fischaugenobjektive beschränkt. Es können vielfältige Arten von Linsen vorgesehen sein.
-
3 zeigt das Bild 8 mit den Teilbereichen 9, wobei die Teilbereiche 9 mit Gitternummern 11 gekennzeichnet sind. Das Gitter 10 selbst ist durch eine Zeilennummern 12, eine Spaltennummern 13, eine Teilbereichbreite w und eine Teilbereichhöhe h beschrieben.
-
Die charakteristischen Bildpunkte, welche in einem ersten Bild bestimmt wurden und in einem zweiten Bild gesucht werden, können in einem Vektor abgelegt werden und dann wie folgt einem Teilbereich 9 mit der jeweiligen Gitternummer 11 zugeordnet werden.
-
Die Spaltennummer 12 kann folgendermaßen bestimmt werden:
Spaltennummer 12 = floor(Px/w),
wobei Px die x-Koordinate des Vektors ist und w die Breite des jeweiligen Teilbereiches 9. Durch floor wird ein Abrunden des Ergebnisses von (Px/w) auf die nächste ganze Zahl angegeben.
-
Die Zeilennummer 13 kann folgendermaßen bestimmt werden:
Zeilennummer 13 = floor(Py/h),
wobei Py die y-Koordinate des Vektors ist und h die Höhe des jeweiligen Teilbereiches 9. Durch floor wird ein Abrunden des Ergebnisses von (Py/h) auf die nächste ganze Zahl angegeben.
-
Und damit ist:
Gitternummer 11 = Spaltennummer 12 x Gesamtanzahl der Zeilen des Gitters 10 + Zeilennummer 12.
-
Das im Folgenden beschriebene Ausführungsbeispiel des erfindungsgemäßen Verfahrens bezieht sich auf zumindest einen der Teilbereiche 9.
-
In dem Ablaufdiagramm gemäß 4 werden in einem Schritt S0 charakteristische Bildpunkte in einem ersten Bild mittels eines Interest Punktoperators zur Initialisierung des Verfahrens bestimmt. In einem Schritt S1 werden die charakteristischen Bildpunkte in einem zweiten Bild mittels eines Verfahrens zum Verfolgen von Bildpunkten (Tracking), beispielsweise eines Lucas-Kanade (LK) Verfahrens gesucht. Somit liegen in dem Schritt S1 die charakteristischen Bildpunkte vor, welche in dem ersten Bild bestimmt wurden und durch die Suche in dem zweiten Bild wiedergefunden wurden. In einem Schritt S2 werden die charakteristischen Bildpunkte in die jeweiligen Teilbereiche 9 zugeordnet. In einem Schritt S3 werden die charakteristischen Bildpunkte von dem Schritt S2 für jeden der Teilbereiche 9 abhängig von einem ersten Zuverlässigkeitswert sortiert bzw. geordnet und abhängig davon ausgewählt. Der erste Zuverlässigkeitswert beschreibt eine Wahrscheinlichkeit eines korrekt gefundenen Bildpunktes in dem ersten Bild oder in einem dritten Bild. Der erste Zuverlässigkeitswert lässt also eine Aussage darüber zu, mit welcher Sicherheit ein charakteristischer Bildpunkt aus dem ersten Bild in dem zweiten Bild durch die Suche wiedergefunden werden konnte. In einem Schritt S4 werden die ausgewählten charakteristischen Bildpunkte aus dem vorherigen Schritt zu einer Bildpunkt-Sammlung hinzugefügt. Die Bildpunkt-Sammlung kann beispielsweise ein Vektor sein mit den Koordinaten der jeweiligen charakteristischen Bildpunkte. In einem Schritt S5 werden die charakteristischen Bildpunkte in dem zweiten Bild bestimmt. Die charakteristischen Bildpunkte werden also neu bestimmt mittels beispielsweise eines Interest Punktoperators. Der Interest Punktoperator kann beispielsweise ein FAST Operator und/oder ein Harris Operator und/oder ein SUSAN Operator und/oder ein Foerstner Operator und/oder ein SIFT Operator und/oder ein SURF Operator sein. Das Verfahren ist jedoch nicht auf einen bestimmten Interest Operator beschränkt. Der Interest Punktoperator ist dazu ausgelegt, markante Bildpunkte bzw. charakteristische Bildpunkte in dem Bild 8 zu bestimmen. Die charakteristischen Bildpunkte sind vorzugsweise Ecken bzw. Bildpunkte in dem Bild 8, welche den Schnittpunkt zweier Kanten darstellen.
-
In einem Schritt S6 werden die charakteristischen Bildpunkte, welche in dem Schritt S5 bestimmt bzw. detektiert wurden zu der Sammlung der Bildpunkte hinzugefügt. In einem Schritt S7 werden weiterhin charakteristische Bildpunkte zu der Bildpunkte-Sammlung hinzugefügt, falls in dem Schritt S4 nicht alle Punkte, welche in dem zweiten Bild gefunden worden sind, hinzugefügt worden sind. Es kann also vorkommen, dass in dem Schritt S4 nicht alle der charakteristischen Punkte, welche in dem zweiten Bild gesucht worden sind, ausgewählt wurden, weil der erste Zuverlässigkeitswert von bestimmten charakteristischen Bildpunkten zu gering gewesen ist. Weiterhin ist es auch möglich, dass in dem Schritt S4 nicht alle der charakteristischen Bildpunkte zu der Bildpunkt-Sammlung hinzugefügt worden sind, weil ein erster Grenzwert, welcher die maximale Anzahl der hinzuzufügenden charakteristischen Bildpunkte definiert, erreicht worden ist. In einem Schritt S8 wird die Bildpunkte-Sammlung für das Suchen in dem dritten Bild bereitgestellt. Das Suchen der charakteristischen Bildpunkte aus der in dem Schritt S8 bereitgestellten Bildpunkt-Sammlung in dem dritten Bild wird in einem Schritt S44 durchgeführt.
-
Analog dazu ist das Verfahren gemäß Schritt S1 bis S8 für ein weiteres, beispielsweise ein viertes Bild, anwendbar.
-
Das Suchen kann beispielsweise mit einem Lucas-Kanade (LK) Verfahren erfolgen, wobei einer der charakteristischen Bildpunkte aus dem ersten Bild in einem vorbestimmten Bildbereich, also eine vorbestimmte Entfernung, gesucht werden. Das Suchen erfolgt mittels eines Ähnlichkeitsmaßes, welches beispielsweise eine Summe der absoluten Differenzen sein kann. Alternativ kann auch ein Lucas-Kanade-Tomasi (KLT) Verfahren zur Suche verwendet werden. Auch kann ein anders Ähnlichkeitsmaß angewandt werden, welches beispielsweise eine Summe von quadratischen Differenzen sein kann.
-
In 5 wird genauer auf den Schritt S2 eingegangen. So beginnt das Ablaufdiagramm von 5 mit dem Schritt S1, welcher von einem Schritt S9 gefolgt wird. Der Schritt S9 führt eine Schleife für jeden der charakteristischen Punkte aus dem Schritt S1 aus. Ein Schritt S10 beschreibt das Zuordnen der Gitternummer 11 zu jedem der charakteristischen Punkte. In Schritt S11 werden die Daten des jeweiligen charakteristischen Bildpunktes in eine Liste des jeweiligen Teilbereichs 9 geschrieben. Die Schritte S9 bis S11 werden in einem Schritt S12 so lange durchgeführt, bis alle charakteristischen Bildpunkte aus dem Schritt S1 abgearbeitet sind. In dem Schritt S13 liegen die charakteristischen Bildpunkte nun teilbereichsweise gemäß der Teilbereiche 9 vor. In einem Schritt S14 wird für jeden der Teilbereiche 9 eine Schleife ausgeführt. In einem Schritt S15 wird analog zu dem Schritt S3 eine Sortierung der charakteristischen Punkte für jeden der Teilbereiche 9 in Abhängigkeit von dem ersten Zuverlässigkeitswert durchgeführt. So werden beispielsweise die charakteristischen Bildpunkte mit dem höchsten ersten Zuverlässigkeitswert an die erste Stelle des jeweiligen Vektors der Teilbereiche 9 gesetzt. In einem Schritt S16 wird überprüft, ob alle jeweiligen Teilbereiche 9 durchlaufen wurden. Falls nein, wird in dem Schritt S14 fortgefahren und falls ja, wird mit einem Schritt S17 fortgefahren, in welchem für jeden der Teilbereiche 9 die charakteristischen Bildpunkte gemäß dem ersten Zuverlässigkeitswert sortiert vorliegen.
-
Ein weiteres Ablaufdiagramm in 6 beginnt mit dem Schritt S17. In einem Schritt S18 werden in einer Schleife alle Teilbereiche 9 durchlaufen. Und auch in dem Schritt S19 werden alle Teilbereiche 9 durchlaufen. In einem Schritt S20 wird überprüft, ob alle charakteristischen Bildpunkte, welche von der Suche innerhalb der jeweiligen Zelle bzw. Teilbereichs 9 zu der Bildpunkt-Sammlung hinzugefügt wurden. Falls ja folgt ein Schritt S21, welcher überprüft, ob bereits alle charakteristischen Bildpunkte von allen Teilbereichen 9 durchlaufen sind. Falls nein folgt wieder der Schritt S19 und falls ja folgt ein Schritt S22, welcher das Ende der Bildpunktsammlung für das Bild 8 bzw. das zweite Bild beschreibt. Wird der Schritt S20 mit nein beantwortet, das heißt es wurden noch nicht alle charakteristischen Punkte des jeweiligen Teilbereichs 9 zu der Bildpunktsammlung hinzugefügt, so folgt ein Schritt S23, in welchem der nächste charakteristische Bildpunkt von dem jeweiligen Teilbereich 9 abhängig von dem höchsten noch verbliebenen ersten Zuverlässigkeitswert bzw. dem geringsten Fehler verarbeitet wird. Der charakteristische Punkt aus dem Schritt S23 wird anschließend in einem Schritt S24 mit den charakteristischen Punkten, welche sich bereits in der Bildpunkt-Sammlung des jeweiligen Teilbereichs 9 befinden, hinsichtlich eines Abstandes verglichen. Der Abstand kann beispielsweise eine Manhattandistanz bzw. eine Cityblockdistanz sein. Falls der Abstand unter einem vorbestimmten Abstandswert liegt, wird der charakteristische Bildpunkt aus dem Schritt S23 nicht zu der Bildpunkt-Sammlung hinzugefügt. Der charakteristische Bildpunkt aus dem Schritt S23 wird in dem Schritt S24 nur zu der Bildpunkt-Sammlung hinzugefügt, falls der Abstand zwischen dem charakteristischen Bildpunkt und jedem der Bildpunkte in der Bildpunkt-Sammlung größer ist als der vorbestimmte Abstandswert bzw. Abstandsmindestwert. Diese Überprüfung wird in einem Schritt S25 durchgeführt. Wird der charakteristische Bildpunkt in dem Schritt S25 nicht hinzugefügt, so folgt ein Schritt S26, in welchem überprüft wird, ob bereits alle Teilbereiche 9 durchlaufen sind. Sind alle Teilbereiche 9 durchlaufen, wird mit dem Schritt S18 fortgefahren, andererseits wird mit dem Schritt S19 fortgefahren. Wird der charakteristische Bildpunkt in dem Schritt S25 allerdings darin bestätigt, dass der Abstand zu einem der anderen charakteristischen Bildpunkte in der Bildpunkt-Sammlung über dem vorbestimmten Abstandswert liegt, so wird dieser in einem Schritt S27 zu der Bildpunktsammlung hinzugefügt. In einem Schritt S28 wird überprüft, ob die Anzahl der charakteristischen Bildpunkte, welche bereits zu der Bildpunkt-Sammlung hinzugefügt worden sind, einen ersten Grenzwert überschreiten. Der erste Grenzwert legt die maximale Anzahl der hinzuzufügenden charakteristischen Bildpunkte fest. Falls der erste Grenzwert nicht überschritten wird, folgt auf den Schritt S28 der Schritt S26 und falls der Grenzwert überschritten wird, so folgt der Schritt S22.
-
In 7 ist ein weiteres Ablaufdiagramm gezeigt, welches mit einem Schritt S29 beginnt. In dem Schritt S29 liegen die bestimmten charakteristischen Bildpunkte aus dem zweiten Bild vor. Dies sind die charakteristischen Bildpunkte, welche in dem zweiten Bild neu bestimmt worden sind, also nicht mittels beispielsweise des Lucas-Kanade Verfahrens gesucht wurden aber mittels eines Interest Punktoperators bestimmt worden sind. In einem Schritt S30 werden die Teilbereiche 9 solange durchlaufen, wie zumindest ein Teilbereich 9 noch charakteristische Bildpunkte zum Hinzufügen aufweist. In einem Schritt S31 wird eine Schleife für jeden Teilbereich 9 ausgeführt. In einem Schritt S32 wird abgefragt, ob alle charakteristischen Bildpunkte von dem jeweiligen Teilbereich 9 bereits zu der Bildpunkt-Sammlung hinzugefügt worden sind. Falls dies bestätigt werden kann und alle charakteristischen Bildpunkte des jeweiligen Teilbereichs 9 bereits hinzugefügt worden sind folgt ein Schritt S33. Wird in dem Schritt S33 festgestellt, dass nicht alle charakteristischen Bildpunkte von dem Teilbereich hinzugefügt worden sind, so folgt der Schritt S31 und falls festgestellt wurde, dass bereits alle charakteristischen Bildpunkte des Teilbereichs hinzugefügt worden sind, so folgt der Schritt S34, welcher das Ende bzw. die finale Bildpunkt-Sammlung zur Verfügung stellt. Sind in dem Schritt S32 noch nicht alle charakteristischen Bildpunkte von dem Teilbereich 9 hinzugefügt worden, so folgt ein Schritt S35, welcher den jeweiligen verbliebenen charakteristischen Bildpunkt mit dem höchsten zweiten Zuverlässigkeitswert auswählt. Der zweite Zuverlässigkeitswert beschreibt die Eindeutigkeit der charakteristischen Bildpunkte, welche mittels des Interest Operators bestimmt worden sind. Der zweite Zuverlässigkeitswert ist also ein Indikator, wie herausragend ein charakteristischer Bildpunkt ist. Der charakteristische Bildpunkt aus dem Schritt S35 wird also, wie schon aus dem Schritt S24 bekannt, mit den schon in der Bildpunkt-Sammlung vorhandenen charakteristischen Bildpunkten bezüglich seines Abstandes verglichen. Falls der Abstand zwischen dem charakteristischen Bildpunkt aus dem Schritt S35 größer als der Abstandsmindestwert ist, so wird dieser unter Vorbehalt zu der Bildpunkt-Sammlung hinzugefügt. Der charakteristische Bildpunkt wird also in einem Schritt S37 unter Vorbehalt bzw. vorläufig zu der Bildpunkt-Sammlung hinzugefügt. Vorläufig deshalb, weil in einem Schritt S38 überprüft wird, ob der charakteristische Bildpunkt aus dem Schritt S37 den Abstandsmindestwert bezüglich eines charakteristischen Bildpunktes, welcher gemäß dem Schritt S1 oder dem Schritt S17 vorliegt und noch nicht gemäß S27 zu der Bildpunkt-Sammlung hinzugefügt worden ist, unterschreitet. Dies entscheidet sich in einem Schritt S39. Hier wird überprüft, ob der charakteristische Bildpunkt aus dem Schritt S37 in einem Schritt S40 hinzugefügt wird oder ob ein verbliebener charakteristischer Bildpunkt, welcher von der Such stammt und sich noch nicht in der Bildpunkt-Sammlung befindet, unterhalb des Mindestabstandswertes befunden hat und somit anstelle des charakteristischen Bildpunktes von dem Schritt S37 in einem Schritt S41 zu der Bildpunkt-Sammlung hinzugefügt wird. In einem Schritt S42 wird überprüft, ob bereits so viele charakteristische Bildpunkte zu der Bildpunkt-Sammlung hinzugefügt wurden, dass ein zweiter Grenzwert erreicht ist. Der zweite Grenzwert definiert die maximale Anzahl der bestimmten charakteristischen Bildpunkte, welche zu der Bildpunkt-Sammlung hinzugefügt werden sollen. Ist der zweite Grenzwert noch nicht erreicht, folgt ein Schritt S43, in welchem überprüft wird, ob bereits alle Teilbereiche 9 durchlaufen sind. Ist dies nicht der Fall, folgt der Schritt S31 und ist dies der Fall, folgt der Schritt S30. Falls in dem Schritt S42 festgestellt wird, dass der zweite Grenzwert bereits erreicht ist, so folgt der Schritt S34, welcher die Bildpunkt-Sammlung bereitstellt. Die charakteristischen Bildpunkte aus der Bildpunkt-Sammlung werden in dem folgenden Schritt S44 in dem dritten Bild mittels beispielsweise des Lucas-Kanade Verfahrens gesucht.
-
Vorzugsweise ist ein dritter Grenzwert vorgesehen, welcher die maximale Anzahl der charakteristischen Bildpunkte in der Bildpunkt-Sammlung vorgibt. Abhängig von einer Verhältniszahl, welche ein Verhältnis von dem ersten Grenzwert zu dem zweiten Grenzwert definiert, kann somit ausschließlich mit Definition der Verhältniszahl und des dritten Grenzwertes der erste Grenzwert und der zweite Grenzwert definiert werden. So kann beispielsweise der dritte Grenzwert 500 betragen und die Verhältniszahl 0,66, dann ist der erste Grenzwert beispielsweise 330.
