DE102016218213A1

DE102016218213A1 - Klassifizierung statischer Objekte mit beweglicher Kamera

Info

Publication number: DE102016218213A1
Application number: DE102016218213.7A
Authority: DE
Inventors: Alexander Stohr
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2016-09-22
Filing date: 2016-09-22
Publication date: 2018-03-22
Also published as: EP3516622A1; US20190311481A1; CN109716391A; WO2018054598A1

Abstract

Die Erfindung betrifft eine Anordnung mit mindestens einer Kamera (101), mindestens einer Auswerteinheit (303) und mindestens einem Sensor (301); wobei die Kamera (101) ausgebildet ist, ein erstes Bild (105) und ein zweites Bild (201) aufzunehmen; wobei der Sensor (301) ausgebildet ist, Bewegungen der Kamera (101) zu erfassen; wobei die Auswerteinheit (303) ausgebildet ist, mindestens ein von der Kamera (101) erfasstes Objekt (103) in dem ersten Bild (105) und dem zweiten Bild (201) zu identifizieren und als bewegt oder unbewegt zu klassifizieren. Die Klassifizierung des Objekts (103) erfolgt unter Berücksichtigung der Bewegungen der Kamera (101).

Description

Die Erfindung betrifft eine Anordnung nach dem Oberbegriff von Anspruch 1 und ein Verfahren nach dem unabhängigen Verfahrensanspruch.
Verschiedene Anwendungen aus dem Bereich des autonomen Fahrens erfordern es, bewegte von unbewegten Objekten in Videobildern zu unterscheiden. Dies ist problematisch, wenn sich die Kamera selbst bewegt, etwa wenn sie in einem sich bewegenden Fahrzeug angebracht ist. Infolge von Kamerabewegungen erscheinen auch unbewegte Objekte in dem Videobild bewegt.
Die Druckschrift US 4,959,725 offenbart einen Bildstabilisator. Die Videokamera ist dabei mit Bewegungssensoren versehen, deren Signale verwendet werden, um verwackelte Videobilder zu stabilisieren. Dies geschieht derart, dass von den Sensoren registrierte hohe Beschleunigungen, die einen vordefinierten Schwellwert überschreiten, verwendet werden, um ein stabilisiertes, um die Beschleunigungen bereinigtes Videobild zu berechnen. Beschleunigungen unterhalb des Schwellwerts, die etwa auftreten, wenn die Kamera bewusst verschwenkt wird, werden ignoriert.
Mittels eines Bildstabilisators lassen sich hochfrequente Störbewegungen der Kamera rausfiltern. Bei niederfrequenten Bewegungen bleibt ein Bildstabilisator allerdings wirkungslos.
Der Erfindung liegt die Aufgabe zugrunde, bewegte und unbewegte Objekte in einem Kamerabild zuverlässig zu klassifizieren. Insbesondere soll die Klassifizierung bei niederfrequenten Bewegungen der Kamera möglich sein.
Diese Aufgabe wird gelöst durch eine Anordnung nach Anspruch 1 und ein Verfahren nach dem unabhängigen Verfahrensanspruch. Bevorzugte Weitebildungen sind in den Unteransprüchen enthalten.
Die Anordnung umfasst mindestens eine Kamera, mindestens eine Auswerteeinheit und mindestens einen Sensor.
Bei einer Kamera handelt es sich allgemein um eine Vorrichtung zum Erzeugen von Bildern von Objekten. Die Bilder sind gewöhnlich zweidimensional, d. h. erstrecken sich über genau zwei Raumdimensionen. Die Kamera erfasst elektromagnetische Strahlen, die von den Objekten ausgesendet werden, etwa durch Reflektion. Die erfassten Strahlen werden von der Kamera in Bilder umgewandelt.
Bei der erfindungsgemäßen Kamera handelt es sich um eine Filmkamera. Diese zeichnet sich dadurch aus, dass sie bewegte Bilder aufnimmt. Bei einem bewegten Bild handelt es sich um eine Folge von Bildern, die vorliegend ein erstes Bild und ein zweites Bild umfasst.
Der Sensor ist ausgebildet, Bewegungen der Kamera relativ zu einem ortsfesten Bezugssystem zu erfassen. Insbesondere werden Bewegungen der Kamera vom Zeitpunkt der Aufnahme des ersten Bilds bis zum Zeitpunkt der Aufnahme des zweiten Bilds erfasst. Zur Erfassung der Bewegungen der Kamera eignen sich etwa ein oder mehrere Beschleunigungssensoren, die starr, d. h. ohne die Möglichkeit von Relativbewegungen mit der Kamera verbunden sind.
Die Auswerteeinheit ist ausgebildet, mindestens ein von der Kamera erfasstes Objekt in dem ersten Bild und dem zweiten Bild zu identifizieren und als bewegt oder unbewegt zu klassifizieren. Klassifizieren bedeutet hier die Einordnung des Objekts in eine Gruppe der bewegten Objekte oder in eine Gruppe der unbewegten Objekte.
Bewegte Objekte sind solche, die sich in dem ortsfesten Bezugssystem bewegen. Unbewegte Objekte sind entsprechend ortsfest angeordnet und bewegen sich in dem ortsfesten Bezugssystem nicht.
Wird das Objekt zu dem Zeitpunkt, in dem die Kamera das erste Bild aufnimmt und zu dem Zeitpunkt, in dem die Kamera das zweite Bild aufnimmt, von der Kamera erfasst, enthalten sowohl das erste Bild aus auch das zweite Bild ein Abbild des Objekts. Diese Abbilder werden von der Auswerteeinheit identifiziert. Dabei werden Bestandteile des ersten Bild und des zweiten Bild identifiziert, die zu dem jeweiligen Abbild gehören.
Das Objekt wird als bewegt klassifiziert, wenn es sich relativ zu dem ortsfesten Bezugssystem zwischen dem Zeitpunkt, in dem das erste Bild aufgenommen wurde und dem Zeitpunkt, in dem das zweite Bild aufgenommen wurde, bewegt. Andernfalls, d. h. wenn das Objekt zwischen dem Zeitpunkt, in dem das erste Bild aufgenommen wurde, und dem Zeitpunkt, in dem das zweite Bild aufgenommen wurde, keiner Bewegung relativ zu dem ortsfesten Bezugssystem unterliegt, wird es als unbewegt klassifiziert.
Erfindungsgemäß ist die Auswerteeinheit ausgebildet, die Klassifizierung des Objekts unter Berücksichtigung der von dem Sensor erfassten Bewegung der Kamera zu klassifizieren. Die Berücksichtigung der Bewegungen der Kamera ermöglicht es, auch unbewegte Objekte trotz einer sich bewegenden Kamera zuverlässig zu klassifizieren.
In einer bevorzugten Weiterbildung wird das Objekt als unbewegt klassifiziert, wenn eine Abweichung zwischen den Positionen des Objekts bzw. seines Abbilds in dem ersten Bild und dem zweiten Bild ausschließlich durch die Bewegungen der Kamera verursacht wird. Die Auswerteeinheit prüft also, ob eine Abweichung zwischen der Position des Objekts in dem ersten Bild und der Position des Objekts in dem zweiten Bild auf die mittels des Sensors erfassten Bewegungen der Kamera zurückzuführen ist, oder ob die Abweichung darüber hinaus auf einer Eigenbewegung des Objekts basiert. Im letzteren Fall wird das Objekt als bewegt klassifiziert.
Die Auswerteeinheit kann die Abweichungen der Position eines hypothetischen Objekts, das als unbewegt angenommen wird, unter Berücksichtigung der Bewegungen der Kamera berechnen. Die Abweichungen werden in alternativ bevorzugten Weiterbildungen relativ oder absolut berechnet.
Eine relative Berechnung erfolgt, in dem die Auswerteeinheit anhand der Bewegungen der Kamera eine hypothetische Abweichung zwischen den Positionen des Objekts in dem ersten Bild und dem zweiten Bild unter der Annahme berechnet, das Objekt sei unbewegt. Dies ist möglich, da die Abweichung im Falle eines unbewegten Objekts ausschließlich von den Bewegungen der Kamera abhängt. Diese wiederum werden von dem Sensor erfasst und der Auswerteeinheit zur Verfügung gestellt. Wenn eine tatsächliche Abweichung zwischen den Positionen des Objekts in dem ersten Bild und dem zweiten Bild, d. h. eine Abweichung zwischen einer tatsächlichen Position des Objekts in dem ersten Bild und einer tatsächlichen Position des Objekts in dem zweiten Bild mit der hypothetischen Abweichung übereinstimmt, wird das Objekt als unbeweglich klassifiziert. Ist keine Übereinstimmung feststellbar, klassifiziert die Auswerteeinheit das Objekt als bewegt.
Ausgehend von einer Position des Objekts in dem ersten Bild berechnet die Auswerteeinheit eine absolute Positionsabweichung in Gestalt einer hypothetischen Position des Objekts in dem zweiten Bild unter der Annahme, das Objekt sei unbeweglich. Bei der Position des Objekts in dem ersten Bild handelt es sich um die tatsächliche Position des Objekts bzw. seines Abbilds. Ausgehend davon berechnet die Kamera unter Berücksichtigung der von dem Sensor erfassten Bewegungen der Kamera die zu erwartende Position eines unbewegten Objekts in dem zweiten Bild. Die Auswerteeinheit geht also davon aus, das unbewegte Objekt befinde sich in dem ersten Bild in der Position des identifizierten Objekts und berechnet daraus die Position des unbeweglichen Objekts in dem zweiten Bild. Das Objekt wird als unbeweglich klassifiziert, wenn eine tatsächliche Position des Objekts in dem zweiten Bild mit der hypothetischen Position, d. h. mit der berechneten Position des als unbeweglich angenommenen Objekts in dem zweiten Bild übereinstimmt. Bei Abweichungen der Positionen wird das Objekt als bewegt klassifiziert.
Die absolute Berechnung kann sowohl auf Basis eines ersten Bilds durchgeführt werden, das vor dem zweiten Bild aufgenommen wurde, als auch auf Basis eines zweiten Bilds, das vor dem ersten Bild aufgenommen wurde.
Die Anordnung ist bevorzugt mit einem ersten Mittel zur Signalübertragung weitergebildet. Dieses dient der Übertragung von Signalen von der Kamera zu der Auswerteeinheit. Bei den Signalen handelt es sich um Bildsignale. Insbesondere sind das erste Bild und das zweite Bild in den von der Kamera zu der Auswerteeinheit übertragenen Signalen kodiert.
Ebenso ist die Anordnung bevorzugt mit einem zweiten Mittel zur Signalübertragung weitergebildet. Dieses dient dazu, Signale von dem Sensor zu der Auswerteeinheit zu übertragen. Dabei handelt es sich um Bewegungssignale, in denen die von dem Sensor erfassten Bewegungen der Kamera kodiert sind.
Die Anordnung ist bevorzugt Teil eines Fahrzeugs, insbesondere eines Kraftfahrzeugs. Dabei kann die Anordnung etwa in ein Fahrassistenzsystem integriert sein. Die Anordnung übermittelt dem Fahrassistenzsystem die Klassifizierung des Objekts als bewegt oder unbewegt.
Ein erfindungsgemäßes Verfahren zur Klassifizierung eines Objekts als bewegt oder unbewegt umfasst die Schritte

– Aufnehmen eines ersten Bilds und eines zweiten Bilds, wobei das Objekt in dem ersten Bild und dem zweiten Bild enthalten ist, mittels einer Kamera;
– Erfassen von Bewegungen der Kamera; und
– Klassifizieren des Objekts als beweglich oder unbeweglich unter Berücksichtigung der Bewegungen der Kamera.

Bevorzugt werden die Verfahrensschritte in der angegebenen Reihenfolge ausgeführt. Das Verfahren kann in bevorzugten Weiterbildungen einen oder mehrere der oben beschriebenen von der erfindungsgemäßen Anordnung oder einer ihrer Weiterbildungen ausgeführten Schritte enthalten.
Bevorzugte Ausführungsbeispiele der Erfindung sind in den Figuren dargestellt. Übereinstimmende Bezugsziffern kennzeichnen dabei gleiche oder funktionsgleiche Merkmale. Im Einzelnen zeigt:
1 eine Kamera in einer ersten Position;
2 die Kamera in einer zweiten Position; und
3 eine die Kamera enthaltende Anordnung.
Bei der in den 1 bis 3 dargestellten Kamera 101 handelt es sich um eine Videokamera, d. h. um eine Kamera, die bewegte Bilder aufnimmt. Die Kamera 101 ist so ausgerichtet, dass sie ein Objekt 103 erfasst. Dabei erzeugt die Kamera 101 ein in 1 dargestelltes erstes Abbild 105 des Objekts 103.
Gegenüber der Position aus 1 ist die Kamera 101 in 2 verkippt. Die Kamera 101 erfasst das Objekt 103 weiterhin, allerdings verschiebt sich dessen Abbild. Entsprechend unterscheidet sich die Position eines in 2 dargestellten zweiten Abbilds 201 des Objekts 103 innerhalb einer Bildebene der Kamera 101 von der Position des ersten Abbilds 105.
Die in 3 dargestellte Anordnung umfasst neben der Kamera 101 einen Beschleunigungssensor 301 und eine Auswerteeinheit 303. Der Beschleunigungssensor 301 ist starr mit der Kamera 101 verbunden und erfasst somit deren Bewegungen.
Die Bewegungen der Kamera 101 werden in Gestalt eines Bewegungssignals 305 zu der Auswerteeinheit 303 übertragen. Weiterhin wird ein Bildsignal 307 von der Kamera 101 zu der Auswerteeinheit 303 übertragen. Durch Abgleich des Bewegungssignals 305 mit den Positionen des in dem Bewegungssignal 305 enthaltenen ersten Abbilds 105 und zweiten Abbilds 203 kann die Auswerteeinheit 303 erkennen, ob es sich bei dem erfassten Objekt 103 um ein bewegtes oder unbewegtes Objekt handelt.
Bezugszeichenliste

101: Kamera
103: Objekt
105: erstes Abbild
201: zweites Abbild
301: Beschleunigungssensor
303: Auswerteinheit
305: Bewegungssignal
307: Bildsignal

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 4959725 [0003]

Claims

Anordnung mit mindestens einer Kamera (101), mindestens einer Auswerteinheit (303) und mindestens einem Sensor (301); wobei die Kamera (101) ausgebildet ist, ein erstes Bild (105) und ein zweites Bild (201) aufzunehmen; wobei der Sensor (301) ausgebildet ist, Bewegungen der Kamera (101) zu erfassen; und wobei die Auswerteinheit (303) ausgebildet ist, mindestens ein von der Kamera (101) erfasstes Objekt (103) in dem ersten Bild (105) und dem zweiten Bild (20) zu identifizieren und als bewegt oder unbewegt zu klassifizieren; dadurch gekennzeichnet, dass die Klassifizierung des Objekts (103) unter Berücksichtigung der Bewegungen der Kamera (101) erfolgt.
Anordnung nach Anspruch 1; dadurch gekennzeichnet, dass das Objekt (103) als unbewegt klassifiziert wird, wenn eine Abweichung zwischen den Positionen des Objekts (103) in dem ersten Bild (105) und dem zweiten Bild (201) ausschließlich auf den Bewegungen der Kamera (101) beruht.
Anordnung nach Anspruch 2; dadurch gekennzeichnet, dass die Auswerteinheit (303) anhand der Bewegungen der Kamera (101) eine hypothetische Abweichung zwischen den Positionen des Objekts (103) in dem ersten Bild (105) und dem zweiten Bild (201) unter der Annahme berechnet, das Objekt (103) sei unbewegt; wobei das Objekt (103) als unbewegt klassifiziert wird, wenn eine tatsächliche Abweichung zwischen den Positionen des Objekts (103) in dem ersten Bild (105) und dem zweiten Bild (201) mit der hypothetischen Abweichung übereinstimmt.
Anordnung nach Anspruch 2; dadurch gekennzeichnet, dass die Auswerteinheit (303) ausgehend von einer Position des Objekts (103) in dem ersten Bild (105) anhand der Bewegungen der Kamera (101) eine hypothetische Position des Objekts (103) in dem zweiten Bild (201) unter der Annahme berechnet, das Objekt (103) sei unbewegt; wobei das Objekt (103) als unbewegt klassifiziert wird, wenn eine tatsächliche Position des Objekts (103) in dem zweiten Bild (201) mit der hypothetischen Position übereinstimmt.
Anordnung nach einem der vorhergehenden Ansprüche; gekennzeichnet durch ein erstes Mittel zur Signalübertragung; wobei das erste Mittel ausgebildet ist, Signale (307) von der Kamera (101) zu der Auswerteinheit (303) zu übertragen.
Anordnung nach einem der vorhergehenden Ansprüche; gekennzeichnet durch ein zweites Mittel zur Signalübertragung; wobei das zweite Mittel ausgebildet ist; Signale (305) von dem Sensor (301) zu der Auswerteinheit (303) zu übertragen.
Fahrzeug mit einer Anordnung nach einem der vorhergehenden Ansprüche.
Verfahren zur Klassifizierung eines Objekts (103) als bewegt oder unbewegt mit den Schritten – Aufnehmen eines ersten Bildes (105) und eines zweiten Bildes (201) mittels einer Kamera (101), wobei das Objekt (103) in dem ersten Bild (105) und dem zweiten Bild (201) enthalten ist; – Erfassen von Bewegungen der Kamera (101); – Klassifizieren des Objekts (103) als beweglich oder unbeweglich unter Berücksichtigung der Bewegungen der Kamera (101).