DE102015115786A1

DE102015115786A1 - Doppler-basierte Segmentierung und optischer Fluss in Radarbildern

Info

Publication number: DE102015115786A1
Application number: DE102015115786.1A
Authority: DE
Inventors: Inna Stainvas Olshansky; Igal Bilik; Oded Bialer
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2014-09-19
Filing date: 2015-09-18
Publication date: 2016-03-24
Anticipated expiration: 2035-09-19
Also published as: US20160084956A1; CN105447881A; DE102015115786B4; US10042047B2; CN105447881B

Abstract

Bei einer Ausführungsform wird ein Verfahren zum Verarbeiten einer Sequenz von Bildern bereitgestellt. Das Verfahren empfängt eine Sequenz von Bildern, die durch ein Radar erzeugt werden. Jedes Bild umfasst eine Vielzahl von Pixeln. Jedes Pixel umfasst eine Radialgeschwindigkeitsinformation. Das Verfahren schätzt einen optischen Fluss für die Pixel in einem Bild in der Sequenz von Bildern durch Verwenden der Radialgeschwindigkeitsinformation für die Pixel als Beschränkung.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Diese Anmeldung ist eine nicht vorläufige der vorläufigen US-Patentanmeldung Nr. 62/052,696, die am 19. September 2014 eingereicht wurde und deren Offenbarungsgehalt hierin durch Bezugnahme vollständig mit eingeschlossen ist.
GEBIET DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf die Verarbeitung von digitalen Bildern unter Verwendung von Techniken eines maschinellen Sehens und spezieller auf die Verwendung von Techniken eines maschinellen Sehens, die modifiziert werden, um eine Information einer Radialgeschwindigkeit der Pixel der Bilder zu verwenden, wenn die Bilder verarbeitet werden.
HINTERGRUND
Viele Techniken eines maschinellen Sehens zur Verarbeitung von digitalen Bildern wurden verwendet, um nützliche Informationen aus den digitalen Bildern zu extrahieren. Beispielsweise teilen Bildsegmentierungstechniken ein Bild in mehrere Segmente auf, um Objekte und Grenzen (z. B. Linien und Kurven) in Bildern zu lokalisieren. Techniken eines optischen Flusses werden verwendet, um die Bewegung von Objekten, Flächen und Kanten in Bildern, die durch die relative Bewegung zwischen einem Betrachter (einem Auge oder einer Kamera) und der Szene verursacht werden, zu untersuchen. Insbesondere werden Techniken eines optischen Flusses verwendet, um einen optischen Fluss (d. h. die Geschwindigkeit der Bewegung eines Pixels eines Bilds zu einem anderen Ort in einem anderen Bild) zu schätzen. Techniken eines optischen Flusses werden zur Bewegungsschätzung, Datenkomprimierung, Roboternavigation und Objektverfolgung verwendet.
ZUSAMMENFASSUNG DER ERFINDUNG
Bei einer beispielhaften Ausführungsform der Erfindung wird ein Verfahren zum Verarbeiten einer Sequenz von Bildern bereitgestellt. Das Verfahren empfängt eine Sequenz von Bildern, die durch ein Radar erzeugt werden. Jedes Bild umfasst eine Vielzahl von Pixeln. Jedes Pixel umfasst eine Radialgeschwindigkeitsinformation. Das Verfahren schätzt einen optischen Fluss für die Pixel in einem Bild in der Sequenz von Bildern durch Verwenden der Radialgeschwindigkeitsinformation für die Pixel als Beschränkung.
Bei einer anderen beispielhaften Ausführungsform der Erfindung wird ein System zum Verarbeiten einer Sequenz von Bildern bereitgestellt. Das System umfasst ein Radar, das ausgestaltet ist, um eine Sequenz von Bildern zu erzeugen. Jedes Bild umfasst eine Vielzahl von Pixeln. Jedes Pixel umfasst eine Radialgeschwindigkeitsinformation. Das System umfasst auch ein Bildverarbeitungsmodul, das ausgestaltet ist, um einen optischen Fluss für die Pixel in einem Bild in der Sequenz von Bildern durch Verwenden der Radialgeschwindigkeitsinformation als Beschränkung zu schätzen.
Bei einer anderen beispielhaften Ausführungsform der Erfindung wird ein Computerprogrammprodukt zum Verarbeiten einer Sequenz von Bildern bereitgestellt. Das Computerprogrammprodukt umfasst ein von einem Computer lesbares Speichermedium mit darauf umfassten Programmanweisungen. Die Programmanweisungen können durch einen Verarbeitungsschaltkreis gelesen werden, um zu bewirken, dass der Verarbeitungsschaltkreis ein Verfahren durchführt. Das Verfahren empfängt eine Sequenz von Bildern, die durch ein Radar erzeugt werden. Jedes Bild umfasst eine Vielzahl von Pixeln. Jedes Pixel umfasst eine Radialgeschwindigkeitsinformation. Das Verfahren schätzt einen optischen Fluss für die Pixel in einem Bild in der Sequenz von Bildern durch Verwenden der Radialgeschwindigkeitsinformation für die Pixel als Beschränkung.
Die obigen Merkmale und Vorteile und andere Merkmale und Vorteile der Erfindung werden aus der folgenden detaillierten Beschreibung der Erfindung in Verbindung mit den begleitenden Zeichnungen leicht ersichtlich.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Andere Merkmale, Vorteile und Details werden, lediglich beispielhaft, in der folgenden detaillierten Beschreibung von Ausführungsformen ersichtlich, wobei sich die detaillierte Beschreibung auf die Zeichnungen bezieht, in denen:
1 ein Radar und ein Bildverarbeitungssystem gemäß Ausführungsformen der Erfindung zeigt;
2 ein Flussdiagramm, das ein Verfahren zum Verarbeiten eines Bilds darstellt, gemäß Ausführungsformen der Erfindung ist; und
3 ein Flussdiagramm, das ein Verfahren zum Verarbeiten einer Sequenz von Bildern darstellt, gemäß Ausführungsformen der Erfindung ist.
BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Beschreibung ist lediglich beispielhafter Natur und beabsichtigt nicht, die vorliegende Offenbarung, ihre Anwendung oder Verwendungen zu beschränken. Es ist zu verstehen, dass in den Zeichnungen entsprechende Bezugszeichen gleiche oder entsprechende Teile und Merkmale angeben.
Bilder, die durch hochauflösende bildgebende Radare erzeugt werden, tragen mehr Information als die durch herkömmliche Radarsysteme erzeugten Bilder oder die durch herkömmliche Kamerasysteme erzeugten Bilder. Dies liegt daran, dass ein Objekt, das in einem durch ein hochauflösendes bildgebendes Radar erzeugten Bild gezeigt ist, durch eine größere Anzahl von Pixeln, die mehr Details des Objekts zeigt, dargestellt wird, während ein Objekt, das in einem durch ein herkömmliches Radarsystem erzeugten Bild gezeigt ist, ein Bild mit niedrigerer Auflösung umfasst, bei dem eine kleinere Anzahl von Pixeln (z. B. ein Punkt) das Objekt darstellt. Ferner trägt ein durch ein hochauflösendes bildgebendes Radar erzeugtes Bild mehr Information als ein durch ein herkömmliches bildgebendes System erzeugtes Bild, da ein herkömmliches Kamerasystem keine Radialgeschwindigkeitsinformation für die Pixel in dem Bild erfasst.
Bei Ausführungsformen umfasst ein durch ein hochauflösendes bildgebendes Radar erzeugtes Bild eine Radialgeschwindigkeitsinformation zusätzlich zu einer Entfernungsinformation, einer Höheninformation und einer Azimutinformation, welche ein durch ein herkömmliches Radar erzeugtes Bild umfasst. Im Speziellen umfasst bei Ausführungsformen jedes Pixel in einem durch ein hochauflösendes Bildradar erzeugten Bild eine Radialgeschwindigkeitsinformation, eine Entfernungsinformation, eine Höheninformation, eine Azimutinformation und die gemessenen reflektierten Intensitäten. Die Radialgeschwindigkeitsinformation für ein Pixel gibt eine Radialgeschwindigkeit des Pixels, gemessen durch das Radar auf der Grundlage einer Bewegung eines Objekts relativ zu dem Radar, an. Die Entfernungsinformation für ein Pixel gibt eine Distanz zwischen dem Objekt und dem Radar an. Die Höheninformation gibt einen Höhenwinkel von dem Radar zu dem Objekt an. Die Azimutinformation gibt einen Azimutwinkel von dem Radar zu dem Objekt an. Die Radialgeschwindigkeitsinformation, die Entfernungsinformation, die Höheninformation und die Azimutinformation für ein Pixel werden durch das Radar unter Verwendung eines Kugelkoordinatensystems erzeugt. Das Radar kann jedoch ausgestaltet sein, um ein anderes Koordinatensystem, wie beispielsweise ein kartesisches Koordinatensystem, zu verwenden und Bilder zu erzeugen, deren Pixel eine Koordinateninformation gemäß dem anderen Koordinatensystem aufweisen.
Im Allgemeinen passen die Verfahren und Systeme der Ausführungsformen der Erfindung Techniken eines maschinellen Sehens an das Verwenden der Radialgeschwindigkeitsinformation für Pixel in den Bildern oder Frames, die durch ein hochauflösendes Bildradar erzeugt werden, an und verwenden sie die angepassten Techniken eines maschinellen Sehens, um eines oder mehrere der Bilder zu verarbeiten. Die Techniken eines maschinellen Sehens, die die Verfahren und Systeme der Ausführungsformen der Erfindung an das Verwenden der Radialgeschwindigkeitsinformation anpassen, umfassen Segmentierungstechniken und Techniken eines optischen Flusses.
Gemäß einer beispielhaften Ausführungsform der Erfindung zeigt 1 ein Bildverarbeitungssystem 100 und ein Radar 102. Bei Ausführungsformen umfasst das Bildverarbeitungssystem 100 ein oder mehrere Module, wie beispielsweise einen Datenspeicher 104, ein Segmentierungsmodul 106 und ein Modul 108 zur Schätzung eines optischen Flusses. Wie hierin verwendet bezieht sich der Ausdruck ”Modul” oder ”Submodul” auf einen anwendungsspezifischen Schaltkreis (ASIC von application specific integrated circuit), einen elektronischen Schaltkreis, einen Prozessor (gemeinsam genutzt, zugeordnet oder gruppiert) und einen Speicher, die ein oder mehrere Software- oder Firmwareprogramme ausführen, einen Schaltkreis mit kombinatorischer Logik und/oder andere geeignete Bauteile, die die beschriebene Funktionalität bereitstellen. Bei einer Realisierung in Software kann ein Modul oder ein Submodul in einem Speicher als ein nicht transitorisches maschinenlesbares Speichermedium ausgeführt sein, das durch einen Verarbeitungsschaltkreis gelesen werden kann und Anweisungen zur Ausführung durch den Verarbeitungsschaltkreis zum Durchführen eines Verfahrens speichert. Ferner können die in 1 gezeigten Module kombiniert und/oder weiter aufgeteilt werden. Bei Ausführungsformen arbeiten das Bildverarbeitungssystem 100 und das Radar 102 in einem Fahrzeug.
Das Radar 102 erzeugt hochauflösende Bilder oder Frames der Umgebung um das Bildverarbeitungssystem 100 herum. Das Radar 102 erfasst sequenzielle Bilder 114 von Radardaten, die für eine Bildverarbeitung und Analyse an das Bildverarbeitungssystem 100 weitergeleitet werden. Bei Ausführungsformen ist das Radar 102 ausgestaltet, um eine Doppler-Analyse an einem oder mehreren sich bewegenden Objekten 150, die in der Reichweite des Radars 102 vorhanden sein können, durchzuführen, um eine Radialgeschwindigkeitsinformation für jedes Pixel eines Bilds, das das Radar 102 erfasst, zu erzeugen. Das Radar 102 erzeugt zusätzlich zu der Radialgeschwindigkeitsinformation auch eine Entfernungsinformation, eine Höheninformation und eine Azimutinformation für jedes Pixel des Bilds. Ferner erzeugt das Radar 102 eine Intensitätsinformation für jedes Pixel, die einen oder mehrere Intensitäts- oder Helligkeitswerte des Pixels angibt.
Der Datenspeicher 104 des Bildverarbeitungssystems 100 speichert die Bilder 114, die von dem Radar 102 empfangen werden. Bei Ausführungsformen kann ein Codierermodul (nicht gezeigt) die Bilder 114 vor dem Speichern der Bilder in dem Datenspeicher 104 codieren und kann ein Decodierermodul die codierten Bilder decodieren, wenn das Segmentierungsmodul 106 und das Modul 108 zur Schätzung eines optischen Flusses die Bilder aus dem Datenspeicher 104 abrufen.
Das Segmentierungsmodul 106 realisiert eine oder mehrere Segmentierungstechniken zur Anwendung auf die Bilder von dem Radar 102, um Objekte und Grenzen in den Bildern zu identifizieren. Bei Ausführungsformen verwenden die Segmentierungstechniken, die das Segmentierungsmodul 106 realisiert, die Radialgeschwindigkeitsinformation der Pixel in einem Bild zusätzlich zu einer anderen Information, die den Pixeln zugehörig ist, wie beispielsweise die Intensitätsinformation. Das Segmentierungsmodul 106 sendet die verarbeiteten Bilder mit identifizierten Objekten und Grenzen zu einem anderen System (nicht gezeigt), das die verarbeiteten Bilder verwendet. Zum Beispiel sendet das Bildverarbeitungssystem 100 der Ausführungsformen, das in einem Fahrzeug arbeitet, die verarbeiteten Bilder an ein anderes System (nicht gezeigt), das Sicherheitsmerkmale (z. B. Detektieren von anderen Fahrzeugen, Fußgängern, anderen Hindernissen etc.) für das Fahrzeug realisiert.
Die Segmentierungstechniken, die das Segmentierungsmodul 106 realisiert, umfassen herkömmliche Segmentierungstechniken, die gemäß den Ausführungsformen der Erfindung an die Verwendung der Radialgeschwindigkeitsinformation angepasst werden. Es gibt zahlreiche herkömmliche Segmentierungstechniken, die an die Verwendung der Radialgeschwindigkeitsinformation angepasst werden können. Beispielhafte herkömmliche Segmentierungstechniken umfassen Bereichswachstumstechniken, Clustering-Techniken, kantenbasierte (oder Kantendetektions-)Techniken und modellbasierte Techniken.
Die Bereichswachstumstechniken beginnen mit einem oder mehreren Seed-Pixeln in einem Bild als repräsentative Pixel eines Objekts. Die Bereichswachstumstechniken wenden ein oder mehrere Ähnlichkeitskriterien auf die Pixel an, die zu den Seed-Pixeln benachbart sind, um zu ermitteln, ob die benachbarten Pixel den Seed-Pixeln ausreichend ähnlich sind, um das gleiche Objekt darzustellen. Bei Ausführungsformen umfassen die Ähnlichkeitskriterien die Tatsache, ob eine Differenz zwischen den Radialgeschwindigkeiten von zwei Pixeln kleiner als eine Schwellenwertradialgeschwindigkeitsdifferenz ist. Wenn die Differenz zwischen den Radialgeschwindigkeiten kleiner als die Schwellenwertdifferenz ist, ermitteln die Bereichswachstumstechniken, dass die beiden Pixel ausreichend ähnlich sind, um das gleiche Objekt darzustellen. Andere ähnliche Kriterien (z. B. ob eine Differenz zwischen den Intensitätswerten der beiden Pixel kleiner ist als eine Schwellenwertintensitätsdifferenz), können die Ermittlung, ob zwei Pixel ausreichend ähnlich sind, um das gleiche Objekt darzustellen, ergänzen. Die Bereichswachstumstechniken, die an die Verwendung der Radialgeschwindigkeitsinformation angepasst werden, können verwendet werden, um Objekte in dem Bild auf der Grundlage eines impulsgekoppelten neuronalen Netzes (PCNN von pulse-coupled neural network) zu detektieren.
Die Clustering-Techniken clustern Pixel eines Bilds basierend auf z. B. den Ähnlichkeiten hinsichtlich Intensitätswerten in einen oder mehrere Bereiche in dem Bild, die die gleichen Objekte darstellen. Bei Ausführungsformen werden die Clustering-Techniken an die Verwendung der Radialgeschwindigkeitsinformation der Pixel in einem Bild angepasst. Die Clustering-Techniken, die die Ausführungsformen der Erfindung an die Verwendung der Radialgeschwindigkeitsinformation anpassen, umfassen einen K-Means-Algorithmus, der eine iterative Technik ist, die verwendet wird, um ein Bild in K Cluster aufzuteilen, wobei K eine positive ganze Zahl ist. Der K-Means-Algorithmus (1) wählt K Cluster-Zentren, entweder zufällig oder basierend auf Heuristik, aus, (2) ordnet jedes Pixel in dem Bild dem Cluster, das die ”Distanz” zwischen dem Pixel und dem entsprechenden Cluster-Zentrum minimiert, zu, (3) berechnet die Cluster-Zentren durch Mittelungseigenschaften (z. B. Intensitäten) aller Pixel in dem Cluster neu und (4) wiederholt (2) und (3), bis eine Konvergenz erreicht wird (d. h. keine Pixel mehr Cluster verändern). Die ”Distanz” zwischen dem Pixel und dem Cluster-Zentrum ist die quadrierte oder absolute Differenz zwischen den Eigenschaften (z. B. Intensitäten, Farbwerte, Orte, etc.) oder einer gewichteten Kombination der Eigenschaften. K kann manuell, zufällig oder heuristisch ausgewählt werden. Bei Ausführungsformen wird der K-Means-Algorithmus an eine Verwendung der Radialgeschwindigkeitsinformation der Pixel angepasst, sodass die ”Distanz” zwischen dem Pixel und dem Cluster-Zentrum eine quadrierte oder absolute Differenz zwischen der Radialgeschwindigkeit des Pixels und der Radialgeschwindigkeit des Cluster-Zentrums umfasst.
Die kantenbasierten Techniken detektieren ein Objekt in einem Bild durch Identifizieren von diskreten Kanten in dem Bild und Verbinden der Kanten zu Grenzen der Objekte in dem Bild. Die Kanten treten beispielsweise an den Stellen auf, an denen sich Intensitätswerte nebeneinanderliegender Pixel abrupt ändern. Bei Ausführungsformen werden die kantenbasierten Techniken an eine Verwendung der Radialgeschwindigkeitsinformation für Pixel in einem Bild angepasst, um Kanten in dem Bild zu detektieren. Das heißt, die angepassten kantenbasierten Techniken betrachten abrupte Änderungen der Radialgeschwindigkeiten (z. B. eine Änderung oder eine Differenz zwischen Radialgeschwindigkeiten von zwei Pixeln ist größer als eine Schwellenwertradialgeschwindigkeitsdifferenz) als Hinweis auf eine Kante in dem Bild.
Die modellbasierten Techniken verwenden ein Wahrscheinlichkeitsmodell (z. B. Markov Random Field), um Objekte in einem Bild zu identifizieren. Das heißt, die modellbasierten Techniken definieren eine Wahrscheinlichkeit, dass ein Pixel in dem Bild zu einem bestimmten Objekt in dem Bild gehört, und zwar basierend auf den Wahrscheinlichkeitsmodellen der Objekte. Bei Ausführungsformen werden die modellbasierten Techniken an eine Verwendung der Radialgeschwindigkeitsinformation für die Pixel in einem Bild angepasst, um ein Wahrscheinlichkeitsmodell eines Objekts aufzubauen und um eine Wahrscheinlichkeit, dass ein Pixel zu dem Objekt gehört, zu definieren.
Das Modul 108 zur Schätzung eines optischen Flusses realisiert eine oder mehrere Techniken eines optischen Flusses zum Schätzen eines optischen Flusses jedes Pixels eines Bilds in einer Sequenz von Bildern, die durch das Radar 102 erzeugt werden. Bei Ausführungsformen werden die Techniken eines optischen Flusses, die das Modul 108 zur Schätzung eines optischen Flusses realisiert, für die Verwendung der Radialgeschwindigkeitsinformation der Pixel in einem Bild zusätzlich zu einer anderen Information, die den Pixeln zugehörig ist, wie beispielsweise die Intensitätsinformation, angepasst. Das Modul 108 zur Schätzung eines optischen Flusses sendet die verarbeiteten Bilder mit den geschätzten optischen Flüssen an ein anderes System (nicht gezeigt), das die verarbeiteten Bilder verwendet. Zum Beispiel sendet das Bildverarbeitungssystem 100 der Ausführungsformen, das in einem Fahrzeug arbeitet, die verarbeiteten Bilder an ein anderes System (nicht gezeigt), das Sicherheitsmerkmale (z. B. Reagieren auf Bewegungen von anderen Fahrzeugen, Fußgängern, anderen Hindernissen etc.) für das Fahrzeug realisiert.
Es gibt zahlreiche herkömmliche Techniken eines optischen Flusses, die durch die Ausführungsformen der Erfindung an die Verwendung der Radialgeschwindigkeitsinformation angepasst werden können. Beispielhafte herkömmliche Techniken eines optischen Flusses umfassen Lukas Kanade-(LK-)Techniken, gewichtete LK-Techniken, diskrete Optimierungstechniken, Shift Flow-Techniken und gewichtete LK-Techniken mit einbezogenen Bewegungsmodellen.
Die herkömmlichen Techniken eines optischen Flusses basieren auf einer Schätzung von momentanen Bildgeschwindigkeiten oder diskreten Bildverlagerungen unter Verwendung einer Sequenz von geordneten Bildern. Die momentanen Bildgeschwindigkeiten im kartesischen Koordinatensystem sind durch die folgende Gleichung 1 definiert: V(r) = [V_x(r), V_y(r), V_z(r)] Gleichung 1 wobei V(r) eine momentane Geschwindigkeit von Pixel r von einem Bild zum nächsten Bild in der Sequenz darstellt; r Pixelkoordinatenwerte (z. B. x-, y- und z-Koordinatenwerte im kartesischen Koordinatensystem) von jedem bestimmten Pixel eines Bilds in der Sequenz darstellt; V_x(r) die x-Koordinaten-Pixelgeschwindigkeit des bestimmten Pixels darstellt; V_y(r) die y-Koordinaten-Pixelgeschwindigkeit des bestimmten Pixels darstellt; und V_z(r) die z-Koordinaten-Pixelgeschwindigkeit des bestimmten Pixels darstellt. Die herkömmlichen Techniken eines optischen Flusses ermitteln eine Bildgeschwindigkeit für ein Bild durch Einführen einer Intensitätskonstanzbeschränkung hinsichtlich Gleichung 1. Die folgende Gleichung 2 stellt die Intensitätskonstanzbeschränkung dar, die umfasst, dass sich die Intensitäten oder die Helligkeit von Pixeln im ersten Bild von zwei aufeinanderfolgenden Bildern in der Sequenz und der entsprechenden Pixel in dem zweiten Bild der beiden aufeinanderfolgenden Bilder nicht ändern: I(r + V, t + Δt) = I(r, t) Gleichung 2 wobei I(r, t) die Intensitätswerte des ersten Bilds der beiden Bilder darstellt – die Intensität bei Zeitpunkt t und Position r (d. h. x-, y- und z-Koordinatenwerte); I(r + V, t + Δt) die Intensitätswerte des zweiten Bilds der beiden Bilder darstellt; V einen Koordinatenvektor mit x-, y- und z-Komponentenvektoren darstellt; und Δt einen zeitlichen Abstand zwischen zwei Zeitpunkten, zu denen die beiden Bilder erfasst wurden, darstellt. Eine Linearisierung von Gleichung 2 in der Taylorreihe führt zu einer Näherung, dargestellt durch die folgende Gleichung 3, die als die Intensitätskonstanzbeschränkungs-Gleichung bezeichnet wird: ∇I(r, t)·V(r, t) + I_t(r, t) = 0 Gleichung 3 wobei ∇I: [ ∂I / ∂x, ∂I / ∂y, ∂I / ∂z,] ist. In Gleichung 3 ist ∇I(r, t) ein Gradientenvektor der Intensitäten der Pixel des Bilds (d. h. I(r)) und ist I_t(r, t) eine partielle Ableitung über die Zeit t. (Im Folgenden wird die Zeit t in den Gleichungen und Termen weggelassen). Diese Werte werden aus aufeinanderfolgenden Bildern auf der Grundlage einer numerischen Diskretisierung berechnet. Die Intensitätskonstanzbeschränkung allein ist jedoch beim Auflösen nach den drei unbekannten Geschwindigkeitskomponenten (d. h. V_x, V_y und V_z) unzureichend. Daher sind, um nach diesen Unbekannten aufzulösen, zusätzliche Beschränkungen notwendig.
Verschiedene herkömmliche Techniken eines optischen Flusses unterscheiden sich darin, dass sie unterschiedliche zusätzliche Beschränkungen einführen. Beispielsweise führen die LK-Techniken eine Beschränkung einer lokalen Geschwindigkeitskonstanz ein, welche umfasst, dass angenommen wird, dass V, der Koordinatenvektor mit V_x, V_y und V_z, innerhalb einer räumlichen Nachbarschaft eines bestimmten Pixels bei r konstant ist (d. h. ein räumliches Fenster um ein bestimmtes Pixel bei r). Das heißt, es wird angenommen, dass Gleichung 3 für alle benachbarten Pixel des bestimmten Pixels gilt. Daher kann Gleichung 3 in Gleichung 4 umgeschrieben werden: ∇I(q)·V(r) + I_t(q) = 0 Gleichung 4 wobei q jedes der Pixel darstellt, die räumliche Nachbarn des bestimmten Pixels r in einem Bild in der Sequenz sind; und I_t(q) eine partielle Ableitung über die Zeit t ist. Die LK-Techniken erhalten dann eine Lösung auf der Grundlage der Methode der kleinsten Quadrate – die Gesamtlösung minimiert die Summe der Quadrate der Fehler, die bei den Ergebnissen jeder einzelnen Gleichung gemacht werden. Die Lösung wird als Gleichung 5 ausgedrückt: V = (A^TA)^–1A^Tb Gleichung 5 wobei A eine n×3-Matrix ist, bei der n die Anzahl von benachbarten Pixeln des bestimmten Pixels r ist, und durch Verknüpfen der Gradienten ∇I(q) für benachbarte Pixel q gebildet wird. Das heißt, die Matrix A ist bei dieser Lösung (bezeichnet als Matrix 1):
Der Vektor b ist gegeben durch (bezeichnet als Vektor 1): –[I_t(q₁) I_t(q₂) ... I_t(q_n)^T Vektor 1
Bei Ausführungsformen werden die herkömmlichen LK-Techniken an die Verwendung der Radialgeschwindigkeitsinformation für jedes Pixel in einem Bild als zusätzliche Beschränkung zum Auflösen nach der Bildgeschwindigkeit V(r) in Gleichung 3 angepasst. Im Speziellen stellt die Radialgeschwindigkeitsinformation die radiale Komponente der Bildgeschwindigkeit V(r) bereit. Die Radialgeschwindigkeitsinformation für jedes Pixel als zusätzliche Beschränkung kann als Gleichung 6 ausgedrückt werden: e_r·V(r) = V_D(r) Gleichung 6 wobei V(r) die Bildgeschwindigkeit eines Bilds in der Sequenz ist; V_D(r) die Radialgeschwindigkeit eines bestimmten Pixels bei r ist; und er ausgedrückt wird als: r / ||r||
Diese zusätzliche lineare Beschränkung, die in Gleichung 3 eingeführt wird, ermöglicht eine genauere und stabilere Schätzung des optischen Flusses für jedes Pixel. Mit dieser zusätzlichen in Gleichung 3 eingeführten Beschränkung ist Matrix A bei einer Lösung, die durch Gleichung 5 gegeben ist, eine 2n×3-Matrix:
wobei e_r,n ausgedrückt wird durch:
Dann ist Vektor b gegeben durch (bezeichnet als Vektor 2): –[I_t(q₁) I_t(q₂) ... I_t(q_n) –V_D(q₁) –V_D(q₂) ... –V_D(q_n)]^T Vektor 2
Ein Verdoppeln der Anzahl von Beschränkungen ermöglicht die Verwendung einer kleineren Anzahl von benachbarten Pixeln für jedes bestimmte Pixel (d. h. eine Reduzierung der. Fenstergröße um √2 für zweidimensionale Radarbilder oder um ∛2 für dreidimensionale Radarbilder). Auch ein Verwenden der Radialgeschwindigkeitsinformation als Beschränkung führt zu einer besseren Schätzung des optischen Flusses als ein Verwenden der Beschränkung der lokalen Geschwindigkeit, die durch die herkömmlichen LK-Techniken eingeführt wird.
Die Methode der kleinsten Quadrate stellt allen benachbarten Pixeln für ein bestimmtes Pixel die gleiche Bedeutung bereit. Bei den gewichteten LK-Techniken werden die benachbarten Pixel gewichtet. Daher wird bei Ausführungsformen Matrix 1 als Matrix 3 neu geschrieben, um Gewichte einzubeziehen:
Außerdem kann Vektor 1 als Vektor 3 neu geschrieben werden: –[w₁I_t(q₁) w₂I_t(q₂) ... w_nI_t(q_n)^T Vektor 3
Es ist anzumerken, dass bei Ausführungsformen Matrix 2 in ähnlicher Weise modifiziert wird, um die Gewichte einzubeziehen. Matrix 2, die neu geschrieben wird, um die Gewichte einzubeziehen, umfasst die folgende Matrix 4:
Vektor 3 wird neu geschrieben als (bezeichnet als Vektor 4): –[w₁I_t(q₁) w₂I_t(q₂) ... w_nI_t(q_n) –w₁V_D(q₁) –w₂V_D(q₂) ... –w_nI_tV_D(q_n)] Vektor 4
Bei Ausführungsformen werden die Gewichte in den Matrizen 3 und 4 und den Vektoren 3 und 4 als Kernel-Funktion modelliert und verringern sie sich mit der Distanz zwischen den benachbarten Pixeln und dem bestimmten Pixel bei r. Die als Kernel-Funktion modellierten Gewichte können als Gleichung 7 ausgedrückt werden: w_k = K_s(||q_k – r||) Gleichung 7 wobei K_s eine Kernel-Funktion ist.
Eine andere Möglichkeit des Verwendens der Radialgeschwindigkeitsinformation der Pixel als Beschränkung ist das Übertragen der Beschränkung der lokalen Geschwindigkeitskonstanz der LK-Techniken auf eine entsprechende Beziehung für eine Radialgeschwindigkeitsinformation und das Verwenden der entsprechenden Beziehung zum Modellieren der Gewichtungskoeffizienten w_k. Das heißt, die Gewichtungskoeffizienten können auf der Grundlage einer Annahme, dass die Radialgeschwindigkeiten von benachbarten Pixeln eines bestimmten Pixels konstant sind, ermittelt werden. Diese Annahme führt zu den folgenden Gleichungen 8 und 9: V_D(q_k) = ||V(r)||cos(e_k, V(r)) Gleichung 8 V_D(r) = ||V(r)||cos(e_r, V(r)) Gleichung 9 wobei V_D(q_k) die Radialgeschwindigkeit eines benachbarten Pixels bei q_k darstellt; und V_D(r) die Radialgeschwindigkeit eines bestimmten Pixels bei r ist. Eine Differenz zwischen radialen Komponenten wird durch Subtrahieren von Gleichung 9 von Gleichung 8 berechnet, wie es die folgende Gleichung 10 zeigt:
wobei δ_k ein Winkel zwischen e_r und e_qk ist. Diese Annahme, dass sich δ_k innerhalb der räumlichen Nachbarschaft eines bestimmten Pixels r nicht wesentlich ändert (d. h. δ_k klein ist), ermöglicht eine Modellierung der Gewichtungskoeffizienten, wie es die folgende Gleichung 11 zeigt: w_k = K_s(||q_k – r||)·K_D(||V_D(q_k) – V_D(r)||) Gleichung 11 wobei K_D eine Kernel-Funktion ist.
Bei Ausführungsformen werden die Gewichtungskoeffizienten, die basierend auf Gleichung 11 berechnet werden, in der Lösung, die durch Einführen der Beschränkung der lokalen Geschwindigkeitskonstanz berechnet wird, d. h. Matrix 1 und Vektor 1, sowie in der Lösung, die durch Einführen der Radialgeschwindigkeitsbeschränkung berechnet wird, d. h. Matrix 2 und Vektor 2, verwendet. Ferner kann bei Ausführungsformen die Kernel-Funktion K_D korrigiert werden, wie es in Gleichung 12 gezeigt ist:
Es sei angemerkt, dass die Radialgeschwindigkeitsbeschränkungen der Ausführungsformen der Erfindung auf den Horn-Schunck-Algorithmus zur Bewegungsschätzung anwendbar sind, welcher eine Glättebeschränkung hinsichtlich des Bewegungsfelds verwendet und unter Voraussetzung von nichtgauß'schen Annahmen mit Mittelwert Null zu stabileren Verfahren wechselt: ε(r) = ∇I(r, t)·V(r, t) + I_t(r, t) Gleichung 13
Der Horn-Schunck-Algorithmus ist in B.K.P. Horn und B.G. Schunk, Determining optical flow, Artificial Intelligence, Vol.17:185–203, 1981 beschrieben, dessen Offenbarungsgehalt hierin durch Bezugnahme vollständig mit eingeschlossen ist.
Die Radialgeschwindigkeitsbeschränkungen der Ausführungsformen der Erfindung können auch als Beschränkungen hinsichtlich des Bewegungsfelds bei der Wahrscheinlichkeitsformulierung der Bewegungsschätzung verwendet werden, die in D. J. Fleet und Y. Weiss, "Optical Flow Estimation", Kapitel 5, 2006 beschrieben ist, dessen Offenbarungsgehalt hierin durch Bezugnahme vollständig mit eingeschlossen ist. Die Radialgeschwindigkeitsbeschränkungen der Ausführungsformen der Erfindung können in die Mischmodelle einbezogen werden, die unter Verwendung eines Erwartungsmaximierungsansatzes (EM-Ansatzes von expectation-maximization approach) berücksichtigt werden und in A. Jepson und M. J. Black, "Mixture models for optical flow computation", In Proc. IEEE Computer Vision and Pattern Recognition, CVPR-93, Seiten 760–761, New York, Juni 1993 beschrieben sind, dessen Offenbarungsgehalt hierin durch Bezugnahme vollständig mit eingeschlossen ist.
Nun auf 2 Bezug nehmend und mit weiterer Bezugnahme auf 1 zeigt ein Flussdiagramm ein Verfahren zum Komprimieren einer Sequenz von Bildern. Bei Ausführungsformen kann das Verfahren durch das Bildverarbeitungssystem 100 von 1 durchgeführt werden. Wie es angesichts der Offenbarung zu erkennen ist, ist die Reihenfolge der Operationen in dem Verfahren nicht auf die sequentielle Ausführung wie in 2 dargestellt beschränkt, sondern kann nach Bedarf und gemäß der vorliegenden Offenbarung eine Durchführung in einer oder mehreren verschiedenen Reihenfolgen erfolgen. Bei Ausführungsformen kann geplant sein, dass das Verfahren auf der Grundlage von vorbestimmten Ereignissen ausgeführt wird und/oder während des Betriebs des Bildverarbeitungssystems 100 kontinuierlich ausgeführt wird.
In Kasten 210 empfängt das Bildverarbeitungssystem 100 ein Bild, das eine Vielzahl von Pixeln umfasst, von dem Radar 102. Jedes der Pixel umfasst eine Radialgeschwindigkeitsinformation. Die Radialgeschwindigkeitsinformation gibt eine Radialgeschwindigkeit jedes der Pixel der Vielzahl von Pixeln an, die durch das Radar 102 basierend auf einer Bewegung eines Objekts relativ zu dem Radar 102 gemessen wird. Jedes der Pixel umfasst auch eine Intensitätsinformation.
In Kasten 220 kategorisiert das Bildverarbeitungssystem 100 die Vielzahl von Pixeln des Bilds basierend auf der Radialgeschwindigkeitsinformation der Pixel sowie der Intensitätsinformation der Pixel in eine Vielzahl von Gruppen von Pixeln. Das Bildverarbeitungssystem 100 ermittelt, ob ein Pixel der Vielzahl von Pixeln einem anderen Pixel der Vielzahl von Pixeln ausreichend ähnlich ist, basierend auf der Radialgeschwindigkeitsinformation für die beiden Pixel, indem die Radialgeschwindigkeitsinformation für das eine Pixel und die Radialgeschwindigkeitsinformation für das andere Pixel verglichen werden. Bei Ausführungsformen verwendet das Bildverarbeitungssystem 100 eine Bildsegmentierungstechnik, die an eine Verwendung der Radialgeschwindigkeitsinformation der Pixel angepasst wird, um die Pixel zu kategorisieren.
In Kasten 230 bringt das Bildverarbeitungssystem 100 zumindest eine der Gruppen von Pixeln mit einem Objekt in Verbindung.
Nun auf 3 Bezug nehmend und mit weiterer Bezugnahme auf 1 zeigt ein Flussdiagramm ein Verfahren zum Komprimieren einer Sequenz von Bildern. Bei Ausführungsformen kann das Verfahren durch das Bildverarbeitungssystem 100 von 1 durchgeführt werden. Wie es angesichts der Offenbarung zu erkennen ist, ist die Reihenfolge der Operationen in dem Verfahren nicht auf die sequentielle Ausführung wie in 3 dargestellt beschränkt, sondern kann nach Bedarf und gemäß der vorliegenden Offenbarung eine Durchführung in einer oder mehreren verschiedenen Reihenfolgen erfolgen. Bei Ausführungsformen kann geplant sein, dass das Verfahren auf der Grundlage von vorbestimmten Ereignissen ausgeführt wird und/oder während des Betriebs des Bildverarbeitungssystems 100 kontinuierlich ausgeführt wird.
In Kasten 310 empfängt das Bildverarbeitungssystem 100 eine Sequenz von Bildern von dem Radar 102. Jedes Bild in der Sequenz umfasst eine Vielzahl von Pixeln. Jedes der Pixel umfasst eine Radialgeschwindigkeitsinformation. Die Radialgeschwindigkeitsinformation gibt eine Radialgeschwindigkeit jedes der Pixel der Vielzahl von Pixeln an, die durch das Radar 102 basierend auf einer Bewegung eines Objekts relativ zu dem Radar 102 gemessen wird. Jedes der Pixel umfasst eine Intensitätsinformation. Jedes Pixel bei der Vielzahl von Pixeln umfasst eine Ortsinformation, wie beispielsweise einen x-Koordinatenwert, einen y-Koordinatenwert und einen z-Koordinatenwert.
In Kasten 320 schätzt das Bildverarbeitungssystem 100 den optischen Fluss für die Pixel in einem Bild in der Sequenz von Bildern durch Verwenden der Radialgeschwindigkeitsinformation für die Pixel als Beschränkung. Die Radialgeschwindigkeitsinformation für jedes der Pixel wird als Beschränkung verwendet, um die Intensitätskonstanzbeschränkungs-Gleichung für den optischen Fluss für die Pixel aufzulösen, und zwar basierend auf der Annahme, dass die Radialgeschwindigkeiten einer Vielzahl von Pixeln, die räumlich neben einem bestimmten Pixel in einem Bild liegen, konstant sind. Das Bildverarbeitungssystem 100 verwendet auch die Intensitätsinformation als eine weitere Beschränkung. Das Bildverarbeitungssystem 100 verwendet eine Technik eines optischen Flusses, die an eine Verwendung der Radialgeschwindigkeitsinformation des Pixels angepasst wird, um den optischen Fluss für das Pixel zu schätzen.
Während die Erfindung in Bezug auf beispielhafte Ausführungsformen beschrieben wurde, wird Fachleuten deutlich, dass verschiedene Änderungen durchgeführt und Elemente durch Äquivalente von diesen ersetzt werden können, ohne vom Schutzumfang der Erfindung abzuweichen. Zusätzlich können viele Abwandlungen durchgeführt werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Erfindung anzupassen, ohne von dem wesentlichen Schutzumfang dieser abzuweichen. Daher soll die Erfindung nicht auf die bestimmten offenbarten Ausführungsformen beschränkt sein, sondern die Erfindung umfasst alle Ausführungsformen, die innerhalb des Schutzumfangs der Anmeldung liegen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

B.K.P. Horn und B.G. Schunk, Determining optical flow, Artificial Intelligence, Vol.17:185–203, 1981 [0041]
D. J. Fleet und Y. Weiss, ”Optical Flow Estimation”, Kapitel 5, 2006 [0042]
A. Jepson und M. J. Black, ”Mixture models for optical flow computation”, In Proc. IEEE Computer Vision and Pattern Recognition, CVPR-93, Seiten 760–761, New York, Juni 1993 [0042]

Claims

An einem Computer realisiertes Verfahren zur Verarbeitung einer Sequenz von Bildern, das umfasst, dass: eine Sequenz von Bildern empfangen wird, die durch ein Radar erzeugt werden, wobei jedes Bild eine Vielzahl von Pixeln umfasst, wobei jedes Pixel eine Radialgeschwindigkeitsinformation umfasst; und durch einen Computer ein optischer Fluss für die Pixel in einem Bild in der Sequenz von Bildern durch Verwenden der Radialgeschwindigkeitsinformation für die Pixel als Beschränkung geschätzt wird.
Verfahren nach Anspruch 1, wobei die Radialgeschwindigkeitsinformation eine Radialgeschwindigkeit des Pixels angibt, die durch ein Radar basierend auf einer Bewegung eines Objekts relativ zu dem Radar gemessen wird.
Verfahren nach Anspruch 1, das ferner umfasst, dass eine Technik eines optischen Flusses verwendet wird, die an eine Verwendung der Radialgeschwindigkeitsinformation der Pixel angepasst wird.
Verfahren nach Anspruch 1, wobei jedes Pixel ferner eine Intensitätsinformation umfasst, wobei die Schätzung durch Verwenden der Intensitätsinformation zusätzlich zu der Radialgeschwindigkeitsinformation für die Pixel durchgeführt wird.
Verfahren nach Anspruch 1, wobei die Radialgeschwindigkeitsinformation für das Pixel als Beschränkung verwendet wird, um die Intensitätskonstanzbeschränkungs-Gleichung für den optischen Fluss für das Pixel aufzulösen.
Verfahren nach Anspruch 1, wobei die Schätzung umfasst, dass angenommen wird, dass die Radialgeschwindigkeiten einer Vielzahl von Pixeln, die räumlich neben einem bestimmten Pixel in einem Bild liegen, konstant sind.
Verfahren nach Anspruch 1, wobei jedes Pixel ferner eine Ortsinformation umfasst, die einen x-Koordinatenwert, einen y-Koordinatenwert und einen z-Koordinatenwert umfasst.
System zur Verarbeitung einer Sequenz von Bildern, umfassend: ein Radar, das ausgestaltet ist, um eine Sequenz von Bildern zu erzeugen, wobei jedes Bild eine Vielzahl von Pixeln umfasst, wobei jedes Pixel eine Radialgeschwindigkeitsinformation umfasst; und ein Bildverarbeitungsmodul, das ausgestaltet ist, um einen optischen Fluss für die Pixel in einem Bild in der Sequenz von Bildern durch Verwenden der Radialgeschwindigkeitsinformation für die Pixel als Beschränkung zu schätzen.
System nach Anspruch 8, wobei die Radialgeschwindigkeitsinformation für das Pixel als Beschränkung verwendet wird, um die Intensitätskonstanzbeschränkungs-Gleichung für den optischen Fluss für das Pixel aufzulösen.
System nach Anspruch 8, wobei das Bildverarbeitungsmodul ausgestaltet ist um zu schätzen, indem angenommen wird, dass die Radialgeschwindigkeiten einer Vielzahl von Pixeln, die räumlich neben einem bestimmten Pixel in einem Bild liegen, konstant sind.