DE102020201363A1

DE102020201363A1 - Verfahren und Vorrichtung zum Verarbeiten von Bildern

Info

Publication number: DE102020201363A1
Application number: DE102020201363.2A
Authority: DE
Inventors: Stephan Simon; Joern Jachalsky; Oliver Lange; Fabian Gigengack
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-02-05
Filing date: 2020-02-05
Publication date: 2021-08-05
Also published as: WO2021156249A1

Abstract

Verfahren zum Verarbeiten von mit einem System, insbesondere einem Fahrzeug, assoziierten, insbesondere digitalen, Bildern, aufweisend die folgenden Schritte: Bereitstellen mehrerer Bilder, wobei insbesondere die mehreren Bilder jeweils Teil wenigstens eines Videodatenstroms wenigstens einer Kamera des Systems sind, Ermitteln von Punktkorrespondenzen zwischen mindestens zwei, insbesondere mit unterschiedlichen Zeitpunkten assoziierten, Bildern der mehreren Bilder, Ermitteln wenigstens einer Eigenbewegung des Systems, Ermitteln von mit den mehreren Bildern assoziierten dynamischen Objekten.

Description

Stand der Technik
Die Offenbarung betrifft ein, insbesondere computerimplementiertes, Verfahren zum Verarbeiten von mit einem System, insbesondere einem Fahrzeug, assoziierten, insbesondere digitalen, Bildern.
Die Offenbarung betrifft ferner eine Vorrichtung zum Verarbeiten von mit einem System, insbesondere einem Fahrzeug, assoziierten, insbesondere digitalen, Bildern.
Offenbarung der Erfindung
Bevorzugte Ausführungsformen beziehen sich auf ein Verfahren, insbesondere computerimplementiertes Verfahren, zum Verarbeiten von mit einem System, insbesondere einem Fahrzeug, assoziierten, insbesondere digitalen, Bildern, aufweisend die folgenden Schritte: Bereitstellen mehrerer Bilder, wobei insbesondere die mehreren Bilder jeweils Teil wenigstens eines Videodatenstroms wenigstens einer Kamera des Systems sind, Ermitteln von Korrespondenzen, insbesondere Punktkorrespondenzen, zwischen mindestens zwei, insbesondere mit unterschiedlichen Zeitpunkten assoziierten, Bildern der mehreren Bilder, Ermitteln wenigstens einer Eigenbewegung des Systems, Ermitteln von mit den mehreren Bildern assoziierten dynamischen Objekten, wobei insbesondere das Verfahren bei einem Übergang von einem Stillstand zu einer Bewegung und umgekehrt verwendbar ist. Dadurch ist z.B. eine besonders effiziente Erkennung der dynamische Objekte, also z.B. von Objekten in einer Umgebung des Systems, die sich zumindest zeitweise selbst bewegen bzw. bezüglich derer sich das System zumindest zeitweise relativ bewegt, gegeben. Weitere bevorzugte Ausführungsformen ermöglichen die Bereitstellung eines einheitlichen, geschlossenen System zur Detektion von statischen und bewegten Hindernissen. Einheitlich und geschlossen meint dabei, dass ein und dasselbe System sowohl im Stillstand als auch in Bewegung gültige Hindernisdetektionen liefert. Insbesondere ermöglichen bevorzugte Ausführungsformen auch eine effiziente Erkennung von dynamischen Objekten bei einem Übergang von Stillstand zu Bewegung und umgekehrt.
Bei weiteren bevorzugten Ausführungsformen kann das Ermitteln vor Korrespondenzen alternativ oder ergänzend zu dem Ermitteln der Punktkorrespondenzen auch wenigstens eines der folgenden Elemente aufweisen: Ermitteln von Linienkorrespondenzen, Ermitteln von Flächenkorrespondenzen, Ermitteln von anderen Korrespondenzen.
Bei weiteren bevorzugten Ausführungsformen weisen die mit dem System assoziierten Bilder solche Bilder auf, die von der wenigstens einen Kamera des Systems erhalten werden. Bei weiteren bevorzugten Ausführungsformen kann das System auch mehrere Kameras aufweisen, die z.B. jeweils zumindest zeitweise mindestens einen Videodatenstrom und/oder, insbesondere digitale, Bilder bereitstellen. Mit anderen Worten können die Bilder bei weiteren bevorzugten Ausführungsformen z.B. basierend auf wenigstens einem Videodatenstrom erhalten bzw. ermittelt werden, bei weiteren bevorzugten Ausführungsformen auch als Bilder, die z.B. keinen Teil eines Videodatenstroms bilden (z.B. eine Folge von „Standbildern“ bzw. Einzelbildern, die z.B. mit einer hinreichend großen Frequenz erhalten werden, jedoch nicht notwendig basierend auf einem Videodatenstrom).
Bei weiteren bevorzugten Ausführungsformen ist die Kamera bzw. sind die Kameras dazu ausgebildet, zumindest zeitweise den genannten wenigstens einen Videodatenstrom und/oder die Bilder bereitzustellen. Weiter bevorzugt ist die Kamera bzw. sind die Kameras dazu ausgebildet, zumindest zeitweise hochaufgelöste Bilder bzw. entsprechende Videodatenströme bereitzustellen.
Bei weiteren bevorzugten Ausführungsformen kann auch wenigstens ein Multi-Kamera-System bei dem System vorgesehen sein, wodurch vorteilhaft effizient ein vergleichsweise großer Bereich des Umfelds des Systems erfassbar und/oder überwachbar ist.
Bei weiteren bevorzugten Ausführungsformen, bei denen das System z.B. als Gabelstapler ausgebildet ist, kann das System z.B. drei Kameras aufweisen, die z.B. an und/oder auf einem Dach einer Fahrerkabine des Gabelstaplers angeordnet sind, z.B. davon eine für eine rückwärtige Sicht, eine für eine linke und eine für eine rechte Seitensicht. Optional kann auch eine vierte Kamera z.B. an einem Hubmast des Gabelstaplers befestigt sein und so z.B. für eine Frontsicht sorgen.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass die mehreren Bilder mehreren Videodatenströmen (z.B. von einer oder mehreren Kameras) zugeordnet sind, wobei das Ermitteln von Korrespondenzen, insbesondere Punktkorrespondenzen für wenigstens zwei, vorzugsweise alle, der mehreren Videodatenströme, ausgeführt wird, wobei insbesondere das Ermitteln von Korrespondenzen, insbesondere Punktkorrespondenzen, die Verwendung wenigstens eines der folgenden Elemente aufweist: a) optischer Fluss, b) skaleninvariante Merkmalstransformation, SIFT, c) Kanade-Lucas-Tomasi, KLT, - Tracker. Bei weiteren bevorzugten Ausführungsformen ist die Anwendung weiterer dem Fachmann bekannter Verfahren alternativ oder ergänzend ebenfalls möglich.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Ermitteln von wenigstens einem mit wenigstens einem dynamischen Objekt assoziierten Bewegungsvektor, Ausführen einer Derotation, wobei insbesondere das Ausführen der Derotation eine Zerlegung des wenigstens einen Bewegungsvektors in einen rotatorischen Anteil und einen derotierten Anteil aufweist, beispielsweise basierend auf der folgenden Gleichung: $\vec{x} = {\vec{x}}_{r o t} + {\vec{x}}_{d e r o t},$
wobei $\vec{x}$
den wenigstens einen Bewegungsvektor charakterisiert, wobei ${\vec{x}}_{r o t}$
den rotatorischen Anteil charakterisiert, und wobei ${\vec{x}}_{d e r o t}$
den derotierten Anteil charakterisiert. Dabei wird der rotatorische Anteil insbesondere i.w. nur von einer Rotation der Kamera hervorgerufen, so dass der derotierte Anteil diese rotatorische Komponente eben gerade nicht mehr enthält.
Bei weiteren bevorzugten Ausführungsformen kann der genannte Bewegungsvektor auch für mehrere dynamische Objekte der Videodatenströme bzw. Bilder ermittelt werden, und für die so erhaltenen Bewegungsvektoren kann auch jeweils die genannte Derotation ausgeführt werden, wobei z.B. für jedes der betrachteten dynamischen Objekte ein entsprechender rotatorischer Anteil und ein derotierter Anteil erhaltbar ist. Diese Ausführungen sind ohne Beschränkung der Allgemeinheit in entsprechender Weise auch auf die weiteren nachstehend beispielhaft beschriebenen Ausführungsformen anwendbar.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Ermitteln eines epipolarkonformen Anteils des derotierten Anteils des wenigstens einen Bewegungsvektors, und, optional, Ermitteln eines zu dem epipolarkonformen Anteil orthogonalen Anteils des derotierten Anteils des wenigstens einen Bewegungsvektors, wobei insbesondere der orthogonale Anteil des derotierten Anteils des wenigstens einen Bewegungsvektors einen Epipolarfehler charakterisiert. Beispielsweise kann ein derotierter Bewegungsvektor gemäß der folgenden Gleichung charakterisiert werden: ${\vec{x}}_{d e r o t} = {\vec{x}}_{⊥} + {\vec{x}}_{∥},$
wobei ${\vec{x}}_{∥}$
den epipolarkonformen Anteil und wobei ${\vec{x}}_{⊥}$
den zu dem epipolarkonformen Anteil ${\vec{x}}_{∥}$
orthogonalen Anteil des derotierten Anteils ${\vec{x}}_{d e r o t}$
des wenigstens einen Bewegungsvektors $\vec{x}$
charakterisiert.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Ermitteln, ob eine eine translatorische Bewegung der wenigstens einen Kamera charakterisierende erste Größe einen vorgebbaren ersten Schwellwert übersteigt, und Ausführen des Ermittelns des epipolarkonformen Anteils und/oder des orthogonalen Anteils nur dann, wenn die erste Größe den ersten Schwellwert übersteigt.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Verwenden des orthogonalen Anteils des derotierten Anteils des wenigstens einen Bewegungsvektors zur Detektion von sich bewegenden Objekten, , wobei insbesondere das Verwenden aufweist: Vergleichen eines eine Größe des orthogonalen Anteils charakterisierenden ersten Werts mit einem ersten vorgebbaren Vergleichswert („Kriterium 1“), z.B. gemäß der Gleichung $‖ {\vec{x}}_{⊥} ‖ \geq t 1,$
wobei $‖ {\vec{x}}_{⊥} ‖$
der die Größe des orthogonalen Anteils charakterisierende erste Wert ist, und wobei t1 der erste Vergleichswert ist.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Verwenden des epipolarkonformen Anteils des derotierten Anteils des wenigstens einen Bewegungsvektors zur Detektion von sich bewegenden Objekten, wobei insbesondere das Verwenden aufweist: Vergleichen eines eine Größe des epipolarkonformen Anteils charakterisierenden Werts mit einem zweiten vorgebbaren Vergleichswert („Kriterium 2“), z.B. gemäß der Gleichung $‖ {\vec{x}}_{∥} ‖ \geq t 2,$
wobei $‖ {\vec{x}}_{∥} ‖$
der die Größe des epipolarkonformen Anteils charakterisierende Wert ist, und wobei t2 der zweite Vergleichswert ist. Bei z.B. einer Bewegung einer bzw. der wenigstens einen Kamera in Blickrichtung (z.B. Geradeausrichtung) entstammen weiteren bevorzugten Ausführungsformen zufolge insbesondere alle Bewegungsvektoren auf statischen Szenenpunkten einem Expansionspunkt („Epipol“) und zeigen von diesem Punkt weg. Bewegt sich ein Objekt in der betrachteten Szene mit hinreichender Geschwindigkeit auf den Epipol zu, zeigen auch dessen epipolarkonforme Bewegungsanteile auf den Epipol. Da diese bei weiteren bevorzugten Ausführungsformen nun ein anderes Vorzeichen aufweisen können als die Vektoren der statischen Welt (statischer Anteil der betrachteten Szene bzw. der betrachteten Bilder), ermöglicht dies gemäß weiteren bevorzugten Ausführungsformen eine Detektion dieser Objekte auch dann, wenn sie sich epipolarkonform bewegen.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Ermitteln, ob ein oder der eine Größe des epipolarkonformen Anteils des derotierten Anteils charakterisierende Wert größer ist als ein dritter vorgebbarer Vergleichswert („Kriterium 3“), z.B. gemäß der Gleichung $‖ {\vec{x}}_{∥} ‖ \geq t 3,$
wobei $‖ {\vec{x}}_{∥} ‖$
wie vorstehend bereits beschrieben der die Größe des epipolarkonformen Anteils charakterisierende Wert ist, und wobei t3 der dritte Vergleichswert ist, und, optional, Schließen auf das Vorhandensein eines sich bewegenden Objekts, wenn der die Größe des epipolarkonformen Anteils des derotierten Anteils charakterisierende Wert größer ist als der dritte vorgebbare Vergleichswert.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Anpassen des ersten Vergleichswerts und/oder des zweiten Vergleichswerts und/oder des dritten Vergleichswerts, insbesondere in Abhängigkeit von wenigstens einer eine Bewegung der wenigstens einen Kamera charakterisierenden Größe, und/oder basierend auf, insbesondere den, Pun ktkorrespondenzen.
Bei weiteren bevorzugten Ausführungsformen ist die Bestimmung der Epipolargeometrie bzw. des Epipolarfehlers dann besonders zweckmäßig, wenn sich die wenigstens eine Kamera hinreichend schnell translatorisch bewegt, weil anderenfalls Epipol und Epipolarlinien nicht definiert sind. Daher gilt bei weiteren bevorzugten Ausführungsformen bei verschwindender Kameratranslation anstelle der Gleichung ${\vec{x}}_{d e r o t} = {\vec{x}}_{⊥} + {\vec{x}}_{∥}$
die Gleichung ${\vec{x}}_{d e r o t} \approx {\vec{x}}_{∥} \approx 0,$
insbesondere für statische Szenenpunkte.
Bei weiteren bevorzugten Ausführungsformen können in diesen Fällen die vorstehend beschriebenen auf den zweiten und dritten Vergleichswert bezogenen Kriterien 2 und 3 dann zu einer Fragestellung zusammenfallen, ob die gemessenen Bewegungsvektoren allein durch die Rotation der wenigstens einen Kamera erklärt werden können bzw. ob es Vektoren auf dynamischen Objekten gibt, die nach Derotation signifikant länger als Null sind.
Vorteilhafterweise können in diesem Fall gemäß weiteren bevorzugten Ausführungsformen für die drei Kriterien 1, 2, 3 die drei Vergleichswerte t1, t2 und t3 angepasst werden, während insbesondere die beispielhaft genannten Berechnungsvorschriften nicht geändert werden müssen.
Beispielsweise kann gemäß weiteren bevorzugten Ausführungsformen wenigstens einer der drei Vergleichswerte t1, t2 und t3 dann angepasst werden, wenn eine Bewegung der wenigstens einen Kamera besser (also z.B. numerisch genauer) durch ausschließlich eine Rotation (insbesondere inklusive der Nullrotation) als eine Rotation plus Translation erklärt werden kann.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Modellieren wenigstens einer Referenzfläche, insbesondere einer Bodenfläche, wobei das Modellieren beispielsweise eines der folgenden Elemente aufweist: a) Transformation, insbesondere Homographie, der Referenzfläche, b) Modellieren der Referenzfläche mittels wenigstens einer zumindest bereichsweise planaren Beschreibung und/oder polynomialen Beschreibung. Alternativ oder ergänzend ist bei weiteren bevorzugten Ausführungsformen auch eine modellfreie Beschreibung der wenigstens einen Referenzfläche möglich, z.B. bei einer ausreichenden Verfügbarkeit von Punktkorrespondenzen auf der wenigstens einen Referenzfläche.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass z.B., insbesondere alle, Pixel (Bildelemente), die der Referenzfläche, insbesondere Bodenfläche, zugeordnet werden können („Bodenpixel“) in einem ersten (z.B. aktuellen) Bild mit den korrespondierenden Bodenpixeln aus dem vorherigen Zeitschritt (also z.B. entsprechend einem vorangehenden Bild) jeweils aneinander ausgerichtet werden. Bei weiteren bevorzugten Ausführungsformen werden Pixel auf Hindernissen über- oder unterhalb der Bodenebene insbesondere nicht aufeinander abgebildet, was z.B. mittels eines Änderungsdetektors erkennbar ist.
Bei weiteren bevorzugten Ausführungsformen kann eine Homographie der Bodenebene beispielsweise durch eine 3x3 Matrix charakterisiert werden, die (homogene) Bildkoordinaten (respektive Sichtstrahlen) x des einen Bildes in (homogene) Bildkoordinaten (respektive Sichtstrahlen) des anderen Bildes x' transformiert, z.B. charakterisierbar durch folgende Gleichung: $x' ≅ H_{π} x$
Das Symbol ≅ meint dabei Gleichheit bis auf Skalierung (z.B. werden die Punkte x und x' im Falle von homogenen Koordinaten auf die dritte Komponente (gleich eins) normiert und im Falle von Sichtstrahlen auf eine Vektorlänge von eins). Die Homographie der Bodenebene kann gemäß weiteren bevorzugten Ausführungsformen auf verschiedene Weisen bestimmt werden - etwa über 1. Punktkorrespondenzen zwischen den beiden Kamerabildern oder über die 2. Einbaukalibrierung in Kombination mit der Eigenbewegung.
Alternativ zur Homographie, die z.B. planare Flächen modelliert, wären auch komplexere Modelle der Grundebene möglich, wie z. B. eine polynomiale oder stückweise planare Beschreibung.
Bei weiteren bevorzugten Ausführungsformen kann ein der Transformation (z.B. Homographie) nachgeschalteter optionaler Änderungsdetektor ein (gemäß Ebenenmodell) transformiertes erstes Bild mit einem nicht transformierten zweiten Bild vergleichen. Alternativ kann bei weiteren bevorzugten Ausführungsformen eine Transformation auch aufgeteilt werden, z. B. je hälftig auf das erste und zweite Bild, was numerische Vorteile haben kann, da beide Bilder dann ähnlichen Quantisierungs- und Rundungseffekten unterliegen.
Bei weiteren bevorzugten Ausführungsformen kann, insbesondere bei langsamer Eigenbewegung des Systems, bzw. nahe dem Stillstand des Systems, die Transformation (z.B. Homographie) in die Einheitstransformation übergehen, d.h. das zu transformierende Bild wird auf sich selbst abgebildet. Somit kann eine Unterscheidung zwischen Stillstand und Eigenbewegung entbehrlich sein, weil insbesondere beide Fälle (Stillstand und (geringe) Eigenbewegung) hinsichtlich der Transformation i.d.R. nahtlos und problemlos ineinander übergehen.
Bei weiteren bevorzugten Ausführungsformen kann ein Änderungsdetektor vorgesehen sein, der z.B. auf transformierten Graustufen- oder Farbbildern arbeiten und z.B. diese miteinander vergleichen kann.
Bei weiteren bevorzugten Ausführungsformen kann der Änderungsdetektor in einem vergleichsweise einfachen (naiven) Fall pro Pixel Helligkeiten und/oder Farbwerte von Bild zu Bild vergleichen (z. B. durch Auswertung eines Differenzbilds).
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Umwandeln von wenigstens zwei Bildern, vorzugsweise auf Bildelementebene, in jeweilige lokale Deskriptoren-Bilder, Vergleichen der Deskriptoren-Bilder. Mit anderen Worten werden z.B. die beiden Bilder zunächst pixelweise in lokale Deskriptoren umgewandelt, und anschließend werden die so entstandenen Deskriptoren-Bilder miteinander verglichen. Die hierdurch realisierte Änderungsdetektion ist Untersuchungen der Erfinder zufolge somit wesentlich unempfindlicher gegenüber Änderungen der Beleuchtung bzw. Helligkeit von Bild zu Bild sowie Rauschen eines Bildsensors der wenigstens einen Kamera. Außerdem reagiert die so gebildete Änderungsdetektion weitgehend unabhängig von der Stärke des lokalen Kontrasts, so dass sie auf schwach texturierten Oberflächen ebenso gut funktioniert wie auf starken Kontrastkanten.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Zusammenfassen von lokal benachbarten Änderungen, insbesondere basierend auf dem Vergleichen der Deskriptoren-Bilder, insbesondere zu wenigstens einem Objekt, das beispielsweise durch eine rechteckige Berandung oder eine andersartige Berandung charakterisierbar ist, wobei das wenigstens eine Objekt als Kandidat für wenigstens eines der dynamischen Objekte, insbesondere Hindernisse, verwendbar ist.
Bei weiteren bevorzugten Ausführungsformen können, insbesondere bei ausreichender Bewegung des Systems („Ego-Fahrzeugs“), die wie vorstehend beschrieben ermittelten Hindernisse mit Informationen aus einer Eigenbewegungsschätzung des Systems angereichert werden, sodass z.B. zwischen einem eigenbewegten und einem statischen Hindernis unterschieden werden kann.
Weitere bevorzugte Ausführungsformen beziehen sich auf eine Vorrichtung zur Ausführung des Verfahrens gemäß den Ausführungsformen.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass die Vorrichtung aufweist: eine wenigstens einen Rechenkern aufweisende Recheneinrichtung („Computer“), eine der Recheneinrichtung zugeordnete Speichereinrichtung zur zumindest zeitweisen Speicherung wenigstens eines der folgenden Elemente: a) Daten, b) Computerprogramm, insbesondere zur Ausführung des Verfahrens gemäß den Ausführungsformen.
Bei weiteren bevorzugten Ausführungsformen können die Daten DAT zumindest zeitweise und/oder teilweise den wenigstens einen Videodatenstrom und/oder die Bilder und/oder daraus ableitbare Daten aufweisen.
Bei weiteren bevorzugten Ausführungsformen weist die Speichereinrichtung einen flüchtigen Speicher (z.B. Arbeitsspeicher (RAM)) auf, und/oder einen nichtflüchtigen Speicher (z.B. Flash-EEPROM).
Bei weiteren bevorzugten Ausführungsformen kann die Recheneinrichtung auch wenigstens eines der folgenden Elemente aufweisen: Mikroprozessor (µP), Mikrocontroller (µC), anwendungsspezifischer integrierter Schaltkreis (ASIC), System on Chip (SoC), programmierbarer Logikbaustein (z.B. FPGA, field programmable gate array), Hardwareschaltung, Grafikprozessor (GPU, graphics processing unit), oder beliebige Kombinationen hieraus.
Weitere bevorzugte Ausführungsformen beziehen sich auf ein computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere bevorzugte Ausführungsformen beziehen sich auf ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere bevorzugte Ausführungsformen beziehen sich auf ein Datenträgersignal, das das Computerprogramm gemäß den Ausführungsformen charakterisiert und/oder überträgt. Das Datenträgersignal ist beispielsweise über eine optionale Datenschnittstelle der Vorrichtung empfangbar.
Weitere bevorzugte Ausführungsformen beziehen sich auf eine Verwendung des Verfahrens gemäß den Ausführungsformen und/oder der Vorrichtung gemäß den Ausführungsformen und/oder des computerlesbaren Speichermediums gemäß den Ausführungsformen und/oder des Computerprogramms gemäß den Ausführungsformen und/oder des Datenträgersignals gemäß den Ausführungsformen für wenigstens eines der folgenden Elemente: a) Erfassung eines Umfelds des Systems, insbesondere eines Fahrzeugs, insbesondere Flurförderzeugs wie z.B. Gabelstapler und/oder Hubstapler, b) Detektion von statischen und/oder sich bewegenden Objekten, c) Detektion von Hindernissen, d) Vermeidung von Unfällen, insbesondere im Bereich des Systems bzw. in dem Umfeld, insbesondere bei vergleichsweise geringen Geschwindigkeiten des Systems, insbesondere kleiner gleich einer Schrittgeschwindigkeit eines Menschen, weiter insbesondere bei einem Übergang zwischen einem Stillstand und einer Bewegung oder umgekehrt, e) Anwendung sowohl beim Stillstand des Systems als auch bei einer Bewegung des Systems.
Unter einem Bild kann im Rahmen der vorliegenden Erfindung ein codierter Datensatz verstanden werden, welcher eine Darstellung des Bildes bzw. eine Bilddarstellung beschreibt bzw. repräsentiert. Unter Verwendung einer Dekodierungsvorschrift ist aus dem das Bild repräsentierenden Datensatz eine Ansteuervorschrift für eine Anzeigeeinrichtung mittels eines Computers derart bestimmbar, dass die Anzeigeeinrichtung unter Anwendung der Ansteuervorschrift das kodierte Bild darstellt. Die Anzeigeeinrichtung kann bspw. eine Displayeinheit oder eine Projektoreinheit sein. Die Anzeigeeinrichtung kann bspw. an oder in einer Fahrerkabine eines Fahrzeugs angeordnet sein.
Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung, die in den Figuren der Zeichnung dargestellt sind. Dabei bilden alle beschriebenen oder dargestellten Merkmale für sich oder in beliebiger Kombination den Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung sowie unabhängig von ihrer Formulierung bzw. Darstellung in der Beschreibung bzw. in der Zeichnung.
In der Zeichnung zeigt:

1 schematisch ein vereinfachtes Blockdiagramm gemäß bevorzugten Ausführungsformen,
2A schematisch ein vereinfachtes Flussdiagramm von Verfahren gemäß weiteren bevorzugten Ausführungsformen,
2B bis 2H jeweils schematisch ein vereinfachtes Flussdiagramm von Verfahren gemäß weiteren bevorzugten Ausführungsformen,
3 schematisch ein vereinfachtes Blockdiagramm gemäß weiteren bevorzugten Ausführungsformen,
4 schematisch ein vereinfachtes Blockdiagramm gemäß weiteren bevorzugten Ausführungsformen,
5 schematisch Aspekte einer Verwendung gemäß weiteren bevorzugten Ausführungsformen, und
6 schematisch ein Bild gemäß weiteren bevorzugten Ausführungsformen.

1 zeigt schematisch ein vereinfachtes Blockdiagramm eines Systems 10 gemäß bevorzugten Ausführungsformen. Das System 10 ist beispielsweise als Fahrzeug, insbesondere Flurförderzeug (z.B. Gabelstapler und/oder Hubstapler) ausgebildet und weist wenigstens eine Kamera 12 auf, die mehrere Bilder BV, insbesondere in Form eines Videodatenstroms VDS bzw. ableitbar aus wenigstens einem Videodatenstrom VDS, bereitstellt. Optional kann das System 10 auch wenigstens eine weitere Kamera 12' aufweisen. Das System 10 kann sich in einer Umgebung U beispielsweise selbst auf einer Referenzfläche RF wie z.B. einer Bodenfläche (z.B. einer Fertigungseinrichtung) bewegen. Des Weiteren können ein oder mehrere Objekte, die insbesondere auch Hindernisse H für das System 10 darstellen können, zumindest zeitweise in der Umgebung U vorhanden sein.
Weitere bevorzugte Ausführungsformen, vgl. 2A, beziehen sich auf ein Verfahren, insbesondere computerimplementiertes Verfahren, zum Verarbeiten von mit dem System 10, insbesondere Fahrzeug, assoziierten, insbesondere digitalen, Bildern VB, aufweisend die folgenden Schritte: Bereitstellen 100 mehrerer Bilder VB, wobei insbesondere die mehreren Bilder VB jeweils Teil wenigstens eines Videodatenstroms VDS (1) der wenigstens einen Kamera 12, 12' des Systems 10 sind, Ermitteln 102 (2A) von Punktkorrespondenzen PK zwischen mindestens zwei, insbesondere mit unterschiedlichen Zeitpunkten assoziierten, Bildern der mehreren Bilder VB, Ermitteln 104 wenigstens einer Eigenbewegung EB des Systems 10, Ermitteln 106 von mit den mehreren Bildern VB assoziierten dynamischen Objekten DO. Dadurch ist z.B. eine besonders effiziente Erkennung der dynamische Objekte DO, also z.B. von Objekten in der Umgebung U des Systems 10, die sich zumindest zeitweise selbst bewegen bzw. bezüglich derer sich das System 10 zumindest zeitweise relativ bewegt, gegeben.
Bei weiteren bevorzugten Ausführungsformen werden die Punktkorrespondenzen PK bevorzugt basierend auf den Bildern mindestens einer Kamera 12, besser mehrerer Kameras 12, 12', bevorzugt aller Kameras des Systems 10 gebildet. Die Punktkorrespondenzen PK können vorteilhaft für das Ermitteln 104 der wenigstens einen Eigenbewegung EB des Systems 10 und/oder für das Ermitteln einer jeweiligen Eigenbewegung einer individuellen Kamera 12, 12' verwendet werden, wobei z.B. dem Fachmann bekannte Verfahren aus dem Gebiet der visuellen Odometrie, insbesondere aus dem Bereich der (Multi-) Kamera-Bewegungsschätzung einsetzbar sind. Bei weiteren bevorzugten Ausführungsformen kann basierend auf den so erhaltenen Informationen eine Optimierung ausgeführt werden, die einen Epipolarfehler (s.u. für weitere Details) in den Bildern der einzelnen Kameras 12, 12' minimiert.
Bei weiteren bevorzugten Ausführungsformen kann eine Eigenbewegung wenigstens einer Kamera 12, 12' z.B. durch drei rotatorische und drei translatorische Freiheitsgrade beschrieben werden. Alternativ oder ergänzend können bei weiteren bevorzugten Ausführungsformen auch parametrische Beschreibungen der Eigenbewegung mit mehr oder weniger Freiheitsgraden verwendet werden oder die Anzahl der Freiheitsgrade reduziert werden, indem Annahmen an die Fahrzeugbewegung gemacht werden (z. B. planare und/oder zirkuläre Bewegung).
Bei weiteren bevorzugten Ausführungsformen kann eine sog. Skala, d. h. die Länge der translatorischen Bewegung der Kamera(s) 12, 12' durch Nutzung von Zusatzwissen, z. B. „Höhe der Kamera 12 über der Grundebene RF“, Abmessungen von Objekten H in der Szene, usw., ermittelt werden. Dies ist besonders bei Konfigurationen hilfreich, in denen eine einzige Kamera 12 verwendet wird. Alternativ oder zusätzlich können bei weiteren bevorzugten Ausführungsformen auch weitere zusätzliche Daten verwendet werden, um die Skala zu ermitteln, z. B. eine pro Rad gefahrene Wegstrecke aus einer Fahrzeugodometrie des Fahrzeugs 10.
Bei weiteren bevorzugten Ausführungsformen weisen die mit dem System 10 assoziierten Bilder VB Bilder auf, die von der wenigstens einen Kamera 12, 12' des Systems 10 erhalten werden. Bei weiteren bevorzugten Ausführungsformen kann das System 10 auch mehrere Kameras 12, 12' aufweisen, die z.B. jeweils zumindest zeitweise mindestens einen Videodatenstrom VDS und/oder, insbesondere digitale, Bilder VB bereitstellen. Mit anderen Worten können die Bilder VB bei weiteren bevorzugten Ausführungsformen z.B. basierend auf wenigstens einem Videodatenstrom VDS erhalten bzw. ermittelt werden, bei weiteren bevorzugten Ausführungsformen auch als Bilder, die z.B. keinen Teil eines Videodatenstroms VDS bilden (z.B. eine Folge von „Standbildern“ bzw. Einzelbildern, die z.B. mit einer hinreichend großen Frequenz erhalten werden, jedoch nicht notwendig basierend auf einem Videodatenstrom).
Bei weiteren bevorzugten Ausführungsformen ist die Kamera 12 bzw. sind die Kameras 12, 12' dazu ausgebildet, zumindest zeitweise den genannten wenigstens einen Videodatenstrom VDS und/oder die Bilder VB bereitzustellen. Weiter bevorzugt ist die Kamera 12 bzw. sind die Kameras 12, 12' dazu ausgebildet, zumindest zeitweise hochaufgelöste Bilder bzw. entsprechende Videodatenströme bereitzustellen.
Bei weiteren bevorzugten Ausführungsformen kann auch wenigstens ein mehrere Kameras 12, 12' aufweisendes Multi-Kamera-System bei dem System 10 vorgesehen sein, wodurch vorteilhaft effizient ein vergleichsweise großer Bereich des Umfelds U des Systems 10 erfassbar und/oder überwachbar ist.
Bei weiteren bevorzugten Ausführungsformen, bei denen das System 10 z.B. als Gabelstapler ausgebildet ist, kann das System 10 z.B. drei Kameras (nicht gezeigt) aufweisen, die z.B. an und/oder auf einem Dach einer Fahrerkabine des Gabelstaplers angeordnet sind, z.B. davon eine für eine rückwärtige Sicht, eine für eine linke und eine für eine rechte Seitensicht. Optional kann auch eine vierte Kamera z.B. an einem Hubmast des Gabelstaplers befestigt sein und so z.B. für eine Frontsicht sorgen.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass die mehreren Bilder VB mehreren Videodatenströmen VDS (z.B. von einer oder mehreren Kameras 12, 12') zugeordnet sind, wobei das Ermitteln 102 (2A) von Punktkorrespondenzen PK für wenigstens zwei, vorzugsweise alle, der mehreren Videodatenströme VDS, ausgeführt wird, wobei insbesondere das Ermitteln 102 von Punktkorrespondenzen PK die Verwendung wenigstens eines der folgenden Elemente aufweist: a) optischer Fluss, b) skaleninvariante Merkmalstransformation, SIFT, c) Kanade-Lucas-Tomasi, KLT, -Tracker.
Bei weiteren bevorzugten Ausführungsformen, vgl. 2B, ist vorgesehen, dass das Verfahren weiter aufweist: Ermitteln 110 von wenigstens einem mit wenigstens einem dynamischen Objekt DO assoziierten Bewegungsvektor BV, Ausführen 112 einer Derotation, wobei insbesondere das Ausführen 112 der Derotation eine Zerlegung des wenigstens einen Bewegungsvektors BV in einen rotatorischen Anteil BV_RA und einen derotierten Anteil BV_DA aufweist, beispielsweise basierend auf der folgenden Gleichung: $\vec{x} = {\vec{x}}_{r o t} + {\vec{x}}_{d e r o t},$
wobei $\vec{x}$
den wenigstens einen Bewegungsvektor BV charakterisiert, wobei ${\vec{x}}_{r o t}$
den rotatorischen Anteil BV_RA charakterisiert, und wobei ${\vec{x}}_{d e r o t}$
den derotierten Anteil BV_DA charakterisiert. Dabei wird der rotatorische Anteil BV_RA insbesondere i.w. nur von einer Rotation der Kamera 12 (1) hervorgerufen, so dass der derotierte Anteil BV_DA diese rotatorische Komponente nicht mehr enthält.
Bei weiteren bevorzugten Ausführungsformen kann der genannte bzw. ein jeweiliger Bewegungsvektor BV auch für mehrere dynamische Objekte DO der Videodatenströme VDS bzw. Bilder VB ermittelt werden, und für die so erhaltenen Bewegungsvektoren kann auch jeweils die genannte Derotation 112 (2B) ausgeführt werden, wobei z.B. für jedes der betrachteten dynamischen Objekte DO ein entsprechender rotatorischer Anteil und ein derotierter Anteil erhaltbar ist. Diese Ausführungen sind ohne Beschränkung der Allgemeinheit in entsprechender Weise auch auf die weiteren nachstehend beispielhaft beschriebenen Ausführungsformen anwendbar.
Bei weiteren bevorzugten Ausführungsformen, vgl. 2C, ist vorgesehen, dass das Verfahren weiter aufweist: Ermitteln 122 eines epipolarkonformen Anteils EP_KA des derotierten Anteils BV_DA des wenigstens einen Bewegungsvektors BV, und, optional, Ermitteln 124 eines zu dem epipolarkonformen Anteil EP_KA orthogonalen Anteils EP_OA des derotierten Anteils BV_DA des wenigstens einen Bewegungsvektors BV, wobei insbesondere der orthogonale Anteil EP_OA des derotierten Anteils des wenigstens einen Bewegungsvektors einen Epipolarfehler charakterisiert. Beispielsweise kann ein derotierter Anteil BV_DA des Bewegungsvektors BV gemäß der folgenden Gleichung charakterisiert werden: ${\vec{x}}_{d e r o t} = {\vec{x}}_{⊥} + {\vec{x}}_{∥},$
wobei $‖ {\vec{x}}_{∥} ‖$
den epipolarkonformen Anteil EP_KA und wobei $‖ {\vec{x}}_{⊥} ‖$
den zu dem epipolarkonformen Anteil $‖ {\vec{x}}_{∥} ‖$
orthogonalen Anteil EP_OA des derotierten Anteils ${\vec{x}}_{d e r o t}$
des wenigstens einen Bewegungsvektors $\vec{x}$
charakterisiert.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Ermitteln 120, ob eine eine translatorische Bewegung der wenigstens einen Kamera 12 (und damit z.B. auch des Systems 10) charakterisierende erste Größe einen vorgebbaren ersten Schwellwert übersteigt, und Ausführen des Ermittelns 122, 124 des epipolarkonformen Anteils EP_KA und/oder des orthogonalen Anteils EP_OA nur dann, wenn die erste Größe den ersten Schwellwert übersteigt.
Bei weiteren bevorzugten Ausführungsformen, vgl. 2D, ist vorgesehen, dass das Verfahren weiter aufweist: Verwenden 130 des orthogonalen Anteils EP_OA des derotierten Anteils BV_DA des wenigstens einen Bewegungsvektors BV zur Detektion von sich bewegenden Objekten BO1, H (1), deren Bewegungsrichtung einen Winkel zwischen 45 Grad und 135 Grad mit einer Translationsrichtung der wenigstens einen Kamera 12 einschließt, insbesondere einen Winkel zwischen 60 Grad und 120 Grad, weiter insbesondere einen Winkel zwischen 80 Grad und 100 Grad, wobei insbesondere das Verwenden 130 aufweist: Vergleichen 130a eines eine Größe des orthogonalen Anteils charakterisierenden ersten Werts mit einem ersten vorgebbaren Vergleichswert („Kriterium 1“), z.B. gemäß der Gleichung $‖ {\vec{x}}_{⊥} ‖ \geq t 1,$
wobei $‖ {\vec{x}}_{⊥} ‖$
der die Größe des orthogonalen Anteils charakterisierende erste Wert ist, und wobei t1 der erste Vergleichswert ist.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Verwenden 132 des epipolarkonformen Anteils EP_KA des derotierten Anteils BV_DA des wenigstens einen Bewegungsvektors BV zur Detektion von sich bewegenden Objekten BO2, H, wobei insbesondere das Verwenden 132 aufweist: Vergleichen 132a eines eine Größe des epipolarkonformen Anteils EP_KA charakterisierenden Werts mit einem zweiten vorgebbaren Vergleichswert („Kriterium 2“), z.B. gemäß der Gleichung $‖ {\vec{x}}_{∥} ‖ \geq t 2,$
wobei $‖ {\vec{x}}_{∥} ‖$
der die Größe des epipolarkonformen Anteils EP_KA charakterisierende Wert ist, und wobei t2 der zweite Vergleichswert ist. Bei z.B. einer Bewegung einer bzw. der wenigstens einen Kamera 12 in Blickrichtung (z.B. Geradeausrichtung, z.B. entsprechend einer Bewegung in 1 nach rechts) entstammen weiteren bevorzugten Ausführungsformen zufolge insbesondere alle Bewegungsvektoren auf statischen Szenenpunkten (z.B. weitere, nicht gezeigte, statische Objekte in der Umgebung U) einem Expansionspunkt („Epipol“) und zeigen von diesem Punkt weg. Bewegt sich ein Objekt in der betrachteten Szene mit hinreichender Geschwindigkeit auf den Epipol zu, zeigen Untersuchungen der Erfinder zufolge auch dessen epipolarkonforme Bewegungsanteile auf den Epipol. Da diese bei weiteren bevorzugten Ausführungsformen nun ein anderes Vorzeichen aufweisen können als die Vektoren der statischen Welt (statischer Anteil der betrachteten Szene bzw. der betrachteten Bilder), ermöglicht dies gemäß weiteren bevorzugten Ausführungsformen eine Detektion dieser Objekte auch dann, wenn sie sich epipolarkonform bewegen.
6 zeigt hierzu beispielhaft eine Szene aus einer möglichen Umgebung U (1) des Gabelstaplers 10, wie sie vorliegend beispielhaft durch ein Digitalbild VB charakterisierbar ist. Der Blockpfeil 30 charakterisiert beispielhaft eine aktuelle Bewegungsrichtung des Gabelstaplers 10 bzw. der Kamera 12, Bezugszeichen 31 bezeichnet den Epipol, Bezugszeichen 32 eine Epipolarlinie, Bezugszeichen 33 einen Bewegungsvektor BV (s. auch 2B) eines Objekts P (vorliegend z.B. eine fiktive Person P, die sich vor dem Gabelstapler 10 aufhält und sich in dem Bild VB gemäß 6 nach rechts bewegt), Bezugszeichen 33a einen epipolarkonformen Anteil EP_KA (s. auch 2C) des Bewegungsvektors BV, 33, Bezugszeichen 33b einen orthogonalen Anteil (Epipolarfehler) des Bewegungsvektors BV, 33, sowie Bezugszeichen 34 beispielhaft einen Bewegungsvektor eines statischen Szenenpunkts.
Bei weiteren bevorzugten Ausführungsformen, vgl. 2E, ist vorgesehen, dass das Verfahren weiter aufweist: Ermitteln 140, ob ein oder der eine Größe des epipolarkonformen Anteils EP_KA des derotierten Anteils BV_DA charakterisierende Wert größer ist als ein dritter vorgebbarer Vergleichswert („Kriterium 3“), z.B. gemäß der Gleichung $‖ {\vec{x}}_{∥} ‖ \geq t 3,$
wobei $‖ {\vec{x}}_{∥} ‖$
wie vorstehend bereits beschrieben der die Größe des epipolarkonformen Anteils EP_KA charakterisierende Wert ist, und wobei t3 der dritte Vergleichswert ist, und, optional, Schließen 142 auf das Vorhandensein eines sich bewegenden Objekts BO3, H, wenn der die Größe des epipolarkonformen Anteils des derotierten Anteils charakterisierende Wert größer ist als der dritte vorgebbare Vergleichswert.
Bei weiteren bevorzugten Ausführungsformen, vgl. 2F, ist vorgesehen, dass das Verfahren weiter aufweist: Anpassen 152 des ersten Vergleichswerts t1 und/oder des zweiten Vergleichswerts t2 und/oder des dritten Vergleichswerts t3, insbesondere in Abhängigkeit von wenigstens einer eine Bewegung der wenigstens einen Kamera 12 charakterisierenden Größe KT, und/oder basierend auf, insbesondere den, Punktkorrespondenzen PK (2A). Optional können die Größe KT und/oder die Punktkorrespondenzen PK zuvor in Schritt 150 ermittelt werden, vgl. bezüglich der Punktkorrespondenzen PK z.B. auch Schritt 102 gemäß 2A.
Bei weiteren bevorzugten Ausführungsformen ist die Bestimmung der Epipolargeometrie bzw. des Epipolarfehlers EP_OA, 33b dann besonders zweckmäßig, wenn sich die wenigstens eine Kamera 12 hinreichend schnell translatorisch bewegt (vgl. Pfeil 30 gemäß 6), weil anderenfalls Epipol 31 und Epipolarlinien 32 nicht definiert sind. Daher kann bei weiteren bevorzugten Ausführungsformen bei verschwindender Kameratranslation anstelle der Gleichung ${\vec{x}}_{d e r o t} = {\vec{x}}_{⊥} + {\vec{x}}_{∥}$
die Gleichung ${\vec{x}}_{d e r o t} \approx {\vec{x}}_{∥} \approx 0$
gelten, insbesondere für statische Szenenpunkte.
Bei weiteren bevorzugten Ausführungsformen können in diesen Fällen die vorstehend beschriebenen auf den zweiten und dritten Vergleichswert t2, t3 bezogenen Kriterien 2 und 3 dann zu einer Fragestellung zusammenfallen, ob die ermittelten bzw. gemessenen Bewegungsvektoren BV allein durch die Rotation der wenigstens einen Kamera 12 erklärt werden können bzw. ob es Vektoren auf dynamischen Objekten gibt, die nach Derotation 112 (2B) signifikant länger als Null sind.
Vorteilhafterweise können in diesem Fall gemäß weiteren bevorzugten Ausführungsformen für die drei Kriterien 1, 2, 3 die drei Vergleichswerte t1, t2 und t3 angepasst werden, während insbesondere die beispielhaft genannten Berechnungsvorschriften nicht geändert werden müssen.
Beispielsweise kann gemäß weiteren bevorzugten Ausführungsformen wenigstens einer der drei Vergleichswerte t1, t2 und t3 dann angepasst werden, wenn eine Bewegung der wenigstens einen Kamera 12 besser (also z.B. numerisch genauer) durch ausschließlich eine Rotation (insbesondere inklusive der Nullrotation) als eine Rotation plus Translation erklärt werden kann.
Bei weiteren bevorzugten Ausführungsformen, vgl. 2G, ist vorgesehen, dass das Verfahren weiter aufweist: Modellieren 160 wenigstens einer Referenzfläche RF (1), insbesondere einer Bodenfläche, wobei das Modellieren 160 wenigstens eines der folgenden Elemente aufweist: a) Transformation 162, insbesondere Homographie HG, der Referenzfläche RF, b) Modellieren 164 der Referenzfläche RF mittels wenigstens einer zumindest bereichsweise planaren Beschreibung BS und/oder polynomialen Beschreibung. Alternativ oder ergänzend ist bei weiteren bevorzugten Ausführungsformen auch eine modellfreie Beschreibung der wenigstens einen Referenzfläche RF möglich, z.B. bei einer ausreichenden Verfügbarkeit von Punktkorrespondenzen auf der wenigstens einen Referenzfläche RF.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass z.B., insbesondere alle, Pixel (Bildelemente), die der Referenzfläche RF, insbesondere Bodenfläche, zugeordnet werden können („Bodenpixel“) in einem ersten (z.B. aktuellen) Bild mit den korrespondierenden Bodenpixeln aus dem vorherigen Zeitschritt (also z.B. entsprechend einem vorangehenden Bild) jeweils aneinander ausgerichtet werden. Bei weiteren bevorzugten Ausführungsformen werden Pixel auf Hindernissen H (1) über- oder unterhalb der Bodenebene RF insbesondere nicht aufeinander abgebildet, was z.B. mittels eines Änderungsdetektors erkennbar ist.
Bei weiteren bevorzugten Ausführungsformen kann eine Homographie HG der Bodenebene RF beispielsweise durch eine 3x3 Matrix charakterisiert werden, die (homogene) Bildkoordinaten (respektive Sichtstrahlen) x des einen Bildes in (homogene) Bildkoordinaten (respektive Sichtstrahlen) des anderen Bildes x' transformiert, z.B. charakterisierbar durch folgende Gleichung: $x' ≅ H_{π} x$
Das Symbol ≅ meint dabei Gleichheit bis auf Skalierung (z.B. werden die Punkte x und x' im Falle von homogenen Koordinaten auf die dritte Komponente (gleich eins) normiert und im Falle von Sichtstrahlen auf eine Vektorlänge von eins.). Die Homographie der Bodenebene kann gemäß weiteren bevorzugten Ausführungsformen auf verschiedene Weisen bestimmt werden - etwa über 1. Punktkorrespondenzen PK zwischen den beiden Kamerabildern VB oder über die 2. Einbaukalibrierung in Kombination mit der Eigenbewegung.
Alternativ zur Homographie 162, HG, die z.B. planare Flächen modelliert, wären bei weiteren bevorzugten Ausführungsformen auch komplexere Modelle der Grundebene möglich, wie z. B. eine polynomiale oder stückweise planare Beschreibung.
Bei weiteren bevorzugten Ausführungsformen kann ein der Transformation (z.B. Homographie HG) nachgeschalteter optionaler Änderungsdetektor ein (gemäß Ebenenmodell) transformiertes erstes Bild mit einem nicht transformierten zweiten Bild vergleichen. Alternativ kann bei weiteren bevorzugten Ausführungsformen eine Transformation auch aufgeteilt werden, z. B. je hälftig auf das erste und zweite Bild, was numerische Vorteile haben kann, da beide Bilder dann ähnlichen Quantisierungs- und Rundungseffekten unterliegen.
Bei weiteren bevorzugten Ausführungsformen kann, insbesondere bei langsamer Eigenbewegung des Systems 10, bzw. nahe dem Stillstand des Systems, die Transformation (z.B. Homographie) in die Einheitstransformation übergehen, d.h. das zu transformierende Bild wird auf sich selbst abgebildet. Somit kann eine Unterscheidung zwischen Stillstand und Eigenbewegung entbehrlich sein, weil insbesondere beide Fälle (Stillstand und (geringe) Eigenbewegung) hinsichtlich der Transformation i.d.R. nahtlos und problemlos ineinander übergehen.
Bei weiteren bevorzugten Ausführungsformen kann ein Änderungsdetektor vorgesehen sein, der z.B. auf transformierten Graustufen- oder Farbbildern arbeiten und z.B. diese miteinander vergleichen kann.
Bei weiteren bevorzugten Ausführungsformen kann der Änderungsdetektor in einem vergleichsweise einfachen (naiven) Fall pro Pixel Helligkeiten und/oder Farbwerte von Bild zu Bild vergleichen (z. B. durch Auswertung eines Differenzbilds).
Bei weiteren bevorzugten Ausführungsformen, vgl. 2H, ist vorgesehen, dass das Verfahren weiter aufweist: Umwandeln 170 von wenigstens zwei Bildern, vorzugsweise auf Bildelementebene, in jeweilige lokale Deskriptoren-Bilder DB1, DB2, Vergleichen 172 der Deskriptoren-Bilder DB1, DB2. Mit anderen Worten werden z.B. die beiden Bilder zunächst pixelweise in lokale Deskriptoren umgewandelt, und anschließend werden die so entstandenen Deskriptoren-Bilder DB1, DB2 miteinander verglichen. Die hierdurch realisierte Änderungsdetektion 172 ist Untersuchungen der Erfinder zufolge somit wesentlich unempfindlicher gegenüber Änderungen der Beleuchtung bzw. Helligkeit von Bild zu Bild sowie Rauschen eines Bildsensors der wenigstens einen Kamera 12. Außerdem reagiert die so gebildete Änderungsdetektion 172 weitgehend unabhängig von der Stärke des lokalen Kontrasts, so dass sie auf schwach texturierten Oberflächen ebenso gut funktioniert wie z.B. auf starken Kontrastkanten.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass das Verfahren weiter aufweist: Zusammenfassen 174 von lokal benachbarten Änderungen, insbesondere basierend auf dem Vergleichen der Deskriptoren-Bilder DB1, DB2, insbesondere zu wenigstens einem Objekt OBJ, das beispielsweise durch eine rechteckige Berandung oder eine andersartige Berandung charakterisierbar ist, wobei das wenigstens eine Objekt OBJ als Kandidat für wenigstens eines der dynamischen Objekte DO (2A), insbesondere Hindernisse H (1), verwendbar ist.
Bei weiteren bevorzugten Ausführungsformen können, insbesondere bei ausreichender Bewegung des Systems 10 („Ego-Fahrzeugs“), die wie vorstehend beschrieben ermittelten Hindernisse H mit Informationen aus einer Eigenbewegungsschätzung des Systems 10 angereichert werden, sodass z.B. zwischen einem eigenbewegten und einem statischen Hindernis unterschieden werden kann.
Weitere bevorzugte Ausführungsformen beziehen sich auf eine Vorrichtung zur Ausführung des Verfahrens gemäß den Ausführungsformen, die nachstehend beispielhaft anhand der eine Mehrzahl funktionaler Blöcke aufweisenden schematischen Darstellung der 3 beschrieben ist. Block 50 bezeichnet die Vorrichtung, Block 51 eine Einheit zum Bereitstellen der Videobilder VB, vgl. auch die Kamera 12 gemäß 1, und die Blöcke 53, 54, 55, 56, 57 charakterisieren beispielhaft ein Subsystem zur Objektdetektion gemäß weiteren bevorzugten Ausführungsformen. Die Blöcke 53 charakterisieren ein oder mehrere (vorliegend beispielhaft drei) Einheiten zum Bereitstellen von Punktkorrespondenzen PK (s. z.B. auch 2A, Schritt 102) (z.B. eine Einheit 53 je Kamera 12, 12'), Block 54 charakterisiert eine Einheit zur Bestimmung einer Eigenbewegung EB des Systems 10 (s. z.B. auch 2A, Schritt 104), Block 55 charakterisiert eine Einheit zur Detektion von bewegten Objekten DO (s. z.B. auch 2A, Schritt 106), Block 56 charakterisiert eine Transformationseinheit z.B. zur Ausführung einer Fußbodenhomographie HG (s. z.B. auch 2G, Schritt 162), und Block 57 charakterisiert eine Einheit zur Änderungsdetektion, z.B. zur Erkennung erhabener Hindernisse H (1), s. z.B. auch 2H, Schritt 172.
Weitere bevorzugte Ausführungsformen beziehen sich auf eine Vorrichtung 200 zur Ausführung des Verfahrens gemäß den Ausführungsformen, vgl. 4, die z.B. dazu ausgebildet ist, ein oder mehrere der funktionalen Blöcke 50-57 gemäß 3 zu implementieren.
Bei weiteren bevorzugten Ausführungsformen ist vorgesehen, dass die Vorrichtung 200 aufweist: eine wenigstens einen Rechenkern 202a aufweisende Recheneinrichtung 202 („Computer“), eine der Recheneinrichtung 202 zugeordnete Speichereinrichtung 204 zur zumindest zeitweisen Speicherung wenigstens eines der folgenden Elemente: a) Daten DAT, b) Computerprogramm PRG, insbesondere zur Ausführung des Verfahrens gemäß den Ausführungsformen.
Bei weiteren bevorzugten Ausführungsformen können die Daten DAT zumindest zeitweise und/oder teilweise den wenigstens einen Videodatenstrom VDS und/oder die Bilder VB und/oder daraus ableitbare Daten, z.B. wenigstens eines der folgenden Elemente, aufweisen: PK, EB, DO, BV, BV_RA, BV_DA, EP_KA, EP_OA, BO1, BO2, BO3, KT, HG, BS, DB1, DB2, OBJ, s. 1 bis 4.
Bei weiteren bevorzugten Ausführungsformen weist die Speichereinrichtung 204 einen flüchtigen Speicher 204a (z.B. Arbeitsspeicher (RAM)) auf, und/oder einen nichtflüchtigen Speicher 204b (z.B. Flash-EEPROM).
Bei weiteren bevorzugten Ausführungsformen kann die Recheneinrichtung 202 auch wenigstens eines der folgenden Elemente aufweisen: Mikroprozessor (µP), Mikrocontroller (µC), anwendungsspezifischer integrierter Schaltkreis (ASIC), System on Chip (SoC), programmierbarer Logikbaustein (z.B. FPGA, field programmable gate array), Hardwareschaltung, Grafikprozessor (GPU, graphics processing unit), oder beliebige Kombinationen hieraus.
Bei weiteren bevorzugten Ausführungsformen weist die Vorrichtung 200 eine, vorzugsweise bidirektionale, Datenschnittstelle 206 auf, die z.B. zur Eingabe des wenigstens einen Videodatenstroms VDS und/oder der Bilder VB ausgebildet ist.
Weitere bevorzugte Ausführungsformen beziehen sich auf ein computerlesbares Speichermedium SM, umfassend Befehle PRG, die bei der Ausführung durch einen Computer 202 diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere bevorzugte Ausführungsformen beziehen sich auf ein Computerprogramm PRG, umfassend Befehle, die bei der Ausführung des Programms PRG durch einen Computer 202 diesen veranlassen, das Verfahren gemäß den Ausführungsformen auszuführen.
Weitere bevorzugte Ausführungsformen beziehen sich auf ein Datenträgersignal DCS, das das Computerprogramm PRG gemäß den Ausführungsformen charakterisiert und/oder überträgt. Das Datenträgersignal DCS ist beispielsweise über eine optionale Datenschnittstelle 208 der Vorrichtung 200 empfangbar.
Weitere bevorzugte Ausführungsformen, vgl. 5, beziehen sich auf eine Verwendung 300 des Verfahrens gemäß den Ausführungsformen und/oder der Vorrichtung 50, 200 gemäß den Ausführungsformen und/oder des computerlesbaren Speichermediums SM gemäß den Ausführungsformen und/oder des Computerprogramms PRG gemäß den Ausführungsformen und/oder des Datenträgersignals DCS gemäß den Ausführungsformen für wenigstens eines der folgenden Elemente: a) Erfassung 302 eines Umfelds U (1) des Systems 10, insbesondere eines Fahrzeugs, insbesondere Flurförderzeugs wie z.B. Gabelstapler und/oder Hubstapler, b) Detektion 304 (5) von statischen und/oder sich bewegenden Objekten H, P, c) Detektion 306 von Hindernissen H, P, d) Vermeidung 308 von Unfällen, insbesondere im Bereich des Systems 10 bzw. in dem Umfeld U, insbesondere bei vergleichsweise geringen Geschwindigkeiten des Systems 10, insbesondere kleiner gleich einer Schrittgeschwindigkeit eines Menschen P, weiter insbesondere bei einem Übergang zwischen einem Stillstand und einer Bewegung oder umgekehrt, e) Anwendung 309 sowohl beim Stillstand des Systems als auch bei einer Bewegung des Systems.
Weitere bevorzugte Ausführungsformen ermöglichen die Bereitstellung eines einheitlichen, geschlossenen System zur Detektion von statischen und bewegten Hindernissen. Einheitlich und geschlossen meint dabei, dass ein und dasselbe System sowohl im Stillstand als auch in Bewegung gültige Hindernisdetektionen liefert. Insbesondere greift es aber auch beim Übergang von Stillstand zu Bewegung des Ego-Fahrzeugs 10, und umgekehrt, was besonders vorteilhaft ist.
Im beispielhaften Kontext eines Gabelstaplers 10 können weitere bevorzugte Ausführungsformen es vorteilhaft ermöglichen, basierend auf einer Auswertung der Bilder BV zuverlässig auf ein Hindernis H, z.B. eine Person P (6), zu reagieren, die sich z.B. während des Zeitabschnitts des Rangierens und zweitweisen Stillstands des Staplers 10 (z. B. beim Aufnehmen einer Palette) in den Gefahrenbereich U begeben hat.

Claims

Verfahren, insbesondere computerimplementiertes Verfahren, zum Verarbeiten von mit einem System (10), insbesondere einem Fahrzeug, assoziierten, insbesondere digitalen, Bildern, aufweisend die folgenden Schritte: Bereitstellen (100) mehrerer Bilder (VB), wobei insbesondere die mehreren Bilder (VB) jeweils Teil wenigstens eines Videodatenstroms (VDS) wenigstens einer Kamera (12) des Systems (10) sind, Ermitteln (102) von Korrespondenzen, insbesondere Punktkorrespondenzen (PK), zwischen mindestens zwei, insbesondere mit unterschiedlichen Zeitpunkten assoziierten, Bildern der mehreren Bilder (VB), Ermitteln (104) wenigstens einer Eigenbewegung (EB) des Systems (10), Ermitteln (106) von mit den mehreren Bildern (VB) assoziierten dynamischen Objekten (DO).
Verfahren nach wenigstens einem der vorstehenden Ansprüche, wobei die mehreren Bilder (VB) mehreren Videodatenströmen (VDS) zugeordnet sind, und wobei das Ermitteln (102) von Korrespondenzen, insbesondere Punktkorrespondenzen (PK), für wenigstens zwei, vorzugsweise alle, der mehreren Videodatenströme (VDS), ausgeführt wird.
Verfahren nach wenigstens einem der vorstehenden Ansprüche, weiter aufweisend: Ermitteln (110) von wenigstens einem mit wenigstens einem dynamischen Objekt (DO) assoziierten Bewegungsvektor (BV), Kompensation (112) einer Kamerarotation, insbesondere Ausführen (112) einer Derotation, wobei insbesondere das Ausführen (112) der Derotation eine Zerlegung des wenigstens einen Bewegungsvektors (BV) in einen rotatorischen Anteil (BV_RA) und einen derotierten Anteil (BV_DA) aufweist, beispielsweise basierend auf der folgenden Gleichung: $\vec{x} = {\vec{x}}_{r o t} + {\vec{x}}_{d e r o t},$
wobei $\vec{x}$
den wenigstens einen Bewegungsvektor (BV) charakterisiert, wobei ${\vec{x}}_{r o t}$
den rotatorischen Anteil (BV_RA) charakterisiert, und wobei ${\vec{x}}_{d e r o t}$
den derotierten Anteil (BV_DA) charakterisiert.
Verfahren nach Anspruch 3, weiter aufweisend: Ermitteln (122) eines epipolarkonformen Anteils (EP_KA) des derotierten Anteils (BV_DA) des wenigstens einen Bewegungsvektors (BV), und, optional, Ermitteln (124) eines zu dem epipolarkonformen Anteil (EP_KA) orthogonalen Anteils (EP_OA) des derotierten Anteils (BV_DA) des wenigstens einen Bewegungsvektors (BV), wobei insbesondere der orthogonale Anteil (EP_OA) des derotierten Anteils (BV_DA) des wenigstens einen Bewegungsvektors (BV) einen Epipolarfehler charakterisiert.
Verfahren nach Anspruch 4, weiter aufweisend: Ermitteln (120), ob eine eine translatorische Bewegung der wenigstens einen Kamera (12) charakterisierende erste Größe einen vorgebbaren ersten Schwellwert übersteigt, und Ausführen des Ermittelns (122, 124) des epipolarkonformen Anteils (EP_KA) und/oder des orthogonalen Anteils (EP_OA) nur dann, wenn die erste Größe den ersten Schwellwert übersteigt.
Verfahren nach wenigstens einem der Ansprüche 4 bis 5, weiter aufweisend: Verwenden (130) des orthogonalen Anteils (EP_OA) des derotierten Anteils (BV_DA) des wenigstens einen Bewegungsvektors (BV) zur Detektion von sich bewegenden Objekten (BO1), wobei insbesondere das Verwenden (130) aufweist: Vergleichen (130a) eines eine Größe des orthogonalen Anteils (EP_OA) charakterisierenden ersten Werts mit einem ersten vorgebbaren Vergleichswert.
Verfahren nach wenigstens einem der Ansprüche 4 bis 6, weiter aufweisend: Verwenden (132) des epipolarkonformen Anteils (EP_KA) des derotierten Anteils (BV_DA) des wenigstens einen Bewegungsvektors (BV) zur Detektion von sich bewegenden Objekten (BO2), wobei insbesondere das Verwenden (132) aufweist: Vergleichen (132a) eines eine Größe des epipolarkonformen Anteils (EP_KA) charakterisierenden Werts mit einem zweiten vorgebbaren Vergleichswert.
Verfahren nach wenigstens einem der Ansprüche 4 bis 7, weiter aufweisend: Ermitteln (140), ob ein oder der eine Größe des epipolarkonformen Anteils (EP_KA) des derotierten Anteils (BV_DA) charakterisierende(r) Wert größer ist als ein dritter vorgebbarer Vergleichswert, und, optional, Schließen (142) auf das Vorhandensein eines sich bewegenden Objekts (BO3), wenn der die Größe des epipolarkonformen Anteils (EP_KA) des derotierten Anteils (BV_DA) charakterisierende Wert größer ist als der dritte vorgebbare Vergleichswert.
Verfahren nach wenigstens einem der Ansprüche 6 bis 8, weiter aufweisend: Anpassen (152) des ersten Vergleichswerts und/oder des zweiten Vergleichswerts und/oder des dritten Vergleichswerts, insbesondere in Abhängigkeit von wenigstens einer eine Bewegung der wenigstens einen Kamera (12) charakterisierenden Größe (KT), und/oder basierend auf, insbesondere den, Punktkorrespondenzen (PK).
Verfahren nach wenigstens einem der vorstehenden Ansprüche, weiter aufweisend: Modellieren (160) wenigstens einer Referenzfläche (RF), insbesondere einer Bodenfläche, wobei das Modellieren (160) beispielsweise eines der folgenden Elemente aufweist: a) Homographie (162) der Referenzfläche (RF), b) Modellieren (164) der Referenzfläche (RF) mittels wenigstens einer zumindest bereichsweise planaren Beschreibung (BS) und/oder polynomialen Beschreibung.
Verfahren nach Anspruch 10, weiter aufweisend: Transformation von wenigstens einem der Bilder (BV) gemäß der Modellierung (160) der wenigstens einen Referenzfläche (RF).
Verfahren nach wenigstens einem der vorstehenden Ansprüche, weiter aufweisend: Umwandeln (170) von wenigstens zwei Bildern (BV), vorzugsweise auf Bildelementebene, in jeweilige lokale Deskriptoren-Bilder (DB1, DB2), Vergleichen (172) der Deskriptoren-Bilder (DB1, DB2).
Verfahren nach Anspruch 12, weiter aufweisend: Zusammenfassen (174) von lokal benachbarten Änderungen, insbesondere basierend auf dem Vergleichen (172) der Deskriptoren-Bilder (DB1, DB2), insbesondere zu wenigstens einem Objekt (OBJ), das beispielsweise durch eine rechteckige Berandung oder eine andersartige Berandung charakterisierbar ist, wobei das wenigstens eine Objekt (OBJ) als Kandidat für wenigstens eines der dynamischen Objekte (DO) verwendbar ist.
Verfahren nach Anspruch 13, weiter aufweisend: Anreichern des wenigstens einen Objekts (OBJ) basierend auf Informationen wenigstens eines Verfahrensschritts eines in wenigstens einem der Ansprüche 3 bis 9 beschriebenen Verfahrens, insbesondere: Ermitteln (110) des wenigstens einem mit wenigstens einem dynamischen Objekt (DO) assoziierten Bewegungsvektors (BV), Kompensation (112) der Kamerarotation, Ermitteln (122) des epipolarkonformen Anteils (EP_KA), Ermitteln (124) des orthogonalen Anteils (EP_OA), Ermitteln (120), ob eine eine translatorische Bewegung der wenigstens einen Kamera (12) charakterisierende erste Größe einen vorgebbaren ersten Schwellwert übersteigt, Verwenden (130) des orthogonalen Anteils (EP_OA), Verwenden (132) des epipolarkonformen Anteils (EP_KA), Ermitteln (140), ob ein oder der eine Größe des epipolarkonformen Anteils (EP_KA) des derotierten Anteils (BV_DA) charakterisierende(r) Wert größer ist als ein dritter vorgebbarer Vergleichswert, Schließen (142) auf das Vorhandensein eines sich bewegenden Objekts (BO3), Anpassen (152) des ersten Vergleichswerts und/oder des zweiten Vergleichswerts und/oder des dritten Vergleichswerts.
Vorrichtung (200) zur Verarbeitung von, insbesondere digitalen, Bildern (VB), wobei die Vorrichtung (200) zur Ausführung des Verfahrens nach wenigstens einem der vorstehenden Ansprüche ausgebildet ist.
Computerlesbares Speichermedium (SM), umfassend Befehle (PRG), die bei der Ausführung durch einen Computer (202) diesen veranlassen, das Verfahren nach wenigstens einem der Ansprüche 1 bis 14 auszuführen.
Computerprogramm (PRG), umfassend Befehle, die bei der Ausführung des Programms (PRG) durch einen Computer (202) diesen veranlassen, das Verfahren nach wenigstens einem der Ansprüche 1 bis 14 auszuführen.
Datenträgersignal (DCS), das das Computerprogramm nach Anspruch 17 überträgt und/oder charakterisiert.
Verwendung (300) des Verfahrens nach wenigstens einem der Ansprüche 1 bis 14 und/oder der Vorrichtung (200) nach Anspruch 15 und/oder des computerlesbaren Speichermediums (SM) nach Anspruch 16 und/oder des Computerprogramms (PRG) nach Anspruch 17 und/oder des Datenträgersignals (DCS) nach Anspruch 18 für wenigstens eines der folgenden Elemente: a) Erfassung (302) eines Umfelds (U) des Systems (10), insbesondere eines Fahrzeugs, insbesondere Flurförderzeugs wie z.B. Gabelstapler und/oder Hubstapler, b) Detektion (304) von statischen und/oder sich bewegenden Objekten, c) Detektion (306) von Hindernissen (H), d) Vermeidung (308) von Unfällen, insbesondere im Bereich des Systems (10) bzw. in dem Umfeld (U), insbesondere bei vergleichsweise geringen Geschwindigkeiten des Systems (10), insbesondere kleiner gleich einer Schrittgeschwindigkeit eines Menschen, weiter insbesondere bei einem Übergang zwischen einem Stillstand und einer Bewegung oder umgekehrt, e) Anwendung (309) sowohl beim Stillstand des Systems (10) als auch bei einer Bewegung des Systems (10).