DE3328341C2 - - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur Videosignalcodierung gemäß dem Oberbegriff des Patentanspruchs 1.

Ein Verfahren der eingangs genannten Art ist z. B. bekannt aus DE-OS 20 62 922. Bei diesem Verfahren werden mittels eines Komparators die Bereiche eines augenblicklichen Bildes in sich bewegende und sich nicht bewegende Bereiche aufgeteilt. Jeder Punkt eines sich bewegenden Bereichs wird in Beziehung gesetzt zu geometrisch verlagerten Punkten im vorhergehenden Bild, um die durchschnittliche Verlagerung des sich bewegendes Bereiches zwischen dem vorhergehenden und dem augenblicklichen Bild zu bestimmen. Jeder Punkt in dem sich bewegenden Bereich wird mit einem um die durchschnittliche Verlagerung verschobenen Punkt im vorhergehenden Bereich verglichen, um für jeden Punkt in dem sich bewegenden Bereich ein Differenzsignal zu erzeugen.

Aus dem Aufsatz "Picture coding with Motion Analysis for Low Rate Transmission" (Conference Record Int. Conf. on Comm. 1982, Philadelphia, USA, Paper No. 267) ist ein weiteres Verfahren bekannt, bei dem ein oder mehrere bewegte Objekte in einer Bildszene erkannt werden. Für die bewegten Objekte wird ein repräsentativer Bewegungsvektor berechnet und mit diesem ein die wahrscheinliche Bewegung berücksichtigendes Schätzbild erzeugt.

Aus der Veröffentlichung in IEE Transactions on Communications, Vol. COM-30, No. 1, 1982, Seiten 201-211 ist die Berechnung eines Schätzbildes für das Originalbild mit kompensierter Objektbewegung bekannt, wobei der entsprechende Bewegungsvektor über ein interatives Verfahren bestimmt wird.

In der DE 30 36 769 C1 ist ein rekursives Verfahren zur Berechnung eines Schätzbildes bekannt, bei dem jeder Schätzwert der Bildverschiebung aktualisiert wird als Funktion eines früheren Schätzwertes mit den Schätzwerten, die aus dem Wert der tatsächlichen Bildverschiebung hervorgingen.

Ein Nachteil der bekannten Verfahren ist, daß bei Spurkreuzungen bewegter sich gegenseitig verdeckender Objekte, die Objekte nicht mehr getrennt werden können und dadurch kein repräsentativer Bewegungsvektor berechnet werden kann. Ein weiterer Nachteil der bekannten Verfahren ist, daß Kamerabewegungen, wie Schwenk und Zoom, sich nicht von Objektbewegungen trennen lassen und dadurch ebenfalls keine korrekte Bewegungsprädiktion der sich bewegenden Objekte möglich ist.

Der Erfindung liegt die Aufgabe zugrunde, den Stand der Technik zu verbessern. Insbesondere soll ein Verfahren angegeben werden, mit dem es möglich ist, auch bei Bildszenen mit Objektbewegungen und gleichzeitiger Kamerabewegung ein die unterschiedlichen Bewegungen berücksichtigendes Schätzbild zu erzeugen, so daß nur noch in den Bereichen, wo neuer Bildinhalt in der Szene sichtbar wird, größere Abweichungen zwischen Schätzbild und aktuellem Bild auftreten und codiert werden müssen.

Die Aufgabe wird durch die im Anspruch 1 angegebenen Merkmale gelöst. Es ist nunmehr möglich, Bildübertragungen von sich bewegenden Objekten, insbesondere sich im Bild kreuzender Objekte über schmalbandige Netze, wie z. B. das öffentliche Fernsprechnetz, mit guter Auflösung zu übertragen. Da auch Kameraschwenks durch einen Bewegungsvektor übertragen werden, ist dieses Verfahren mit Vorteil zur Überwachung von Straßenkreuzungen oder bei der Überwachung von Rettungsarbeiten einsetzbar.

Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.

Die Erfindung wird nun anhand von Zeichnungen und einem Ausführungsbeispiel näher erläutert. Es zeigen im einzelnen:

Fig. 1 Blockschaltbildung einer Videosignalcodiereinrichtung mit Bewegungsprädiktion,

Fig. 2 Blockschaltbildung der empfangsseitigen Bilddecodiereinrichtung,

Fig. 3 Blockschaltbildung einer Videosignalcodiereinrichtung mit zweistufiger Bewegungsprädiktion gemäß der Erfindung,

Fig. 4 Blockschaltbildung der empfangsseitigen Videosignal­ decodiereinrichtungen mit zweistufiger Bewegungsprädiktion.

In Fig. 1 ist zur einfacheren Erläuterung des erfindungsgemäßen Verfahrens zunächst ein Blockschaltbild einer Videosignalcodiereinrichtung mit Bewegungsprädiktion dargestellt, wie sie aus dem Aufsatz "Picture coding with Motion Analysis for Low Rate Transmission" (Conference Record Int. Conf. on Comm. 1982, Philadelphia, USA, Paper No. 267) bekannt ist. Die Codiereinrichtung besteht einerseits aus einem Prädiktor mit Subtrahierglied 12, Quantisierer 13 zur Quantisierung von Bilddifferenzsignalen DO_m, einem Addierglied 15 zur Erzeugung eines rekonstruierten Bildes R_m aus dem Schätzbild Sm und dem quantisierten Differenzsignalbild DO*_m des dem aktuellen Bild O_m+1 vorangegangenen Bildes O_m und einem Schätzbildrechner E sowie dem Kanalcodierer 14.

Andererseits ist zur Bewegungsprädiktion eine Separationseinrichtung 213 vorgesehen, die aus dem rekonstruierten Bild R_m und dem aktuellen Bild O_m+1 die Differenzbildsignale - im folgenden abgekürzt mit "Differenz" bezeichnet - berechnet und durch Aufsuchen von änderungsfreien horizontalen und vertikalen streifenförmigen Bildbereichen diejenigen Rechteckkoordinaten ermittelt, die die Bildänderungsbereiche in Gestalt von Fenster möglichst eng umgrenzen und beschreiben.

Die Einrichtung 213 ist über eine Steuersignalleitung mit einer Einrichtung 212 zur Ermittlung der Ecken verbunden. In der Einrichtung 212 wird zunächst durch Anwendung eines lokalen Konturoperators ein Gradientenbild erzeugt und anschließend werden mittels eines Eckenoperators die Orte gekennzeichnet, in denen die Kontur ihre Richtung ändert.

Die Einrichtung 212 ist ebenfalls über eine Steuerleitung mit einer Einrichtung 211 zur Bestimmung des Bewegungsvektors verbunden. In der Einrichtung 211 wird innerhalb der Fenster aus dem Ensemble von Verschiebungsvektoren ein repräsentativer Bewegungsvektor ermittelt.

Die Steuerinformation für den Kanalcodierer 14 besteht aus dem in der Separationseinrichtung 213 gefundenen Fensterkoordinaten und den in der Einrichtung 211 ermittelten, für jedes Fenster repräsentativen Bewegungsvektor. Vom Kanalcodierer 14 wird das vom Quantisierer 13 gelieferte verbleibende Fehlersignal DO*_m zusammen mit der Steuerinformation in einen kontinuierlichen seriellen Datenstrom codiert.

In Fig. 2 ist die empfangsseitige Videosignaldecodiereinrichtung zur Rekonstruktion des vom Kanalcodierer nach Fig. 1 codierten Videosignals dargestellt. Er umfaßt neben einem Kanaldecodierer 111 einen aus einem Schätzbildrechner 131 und einem Addierglied 112 bestehenden Prädiktor. Der Kanaldecodierer 111 trennt den ankommenden Datenfluß in Videosignale und in Steuersignale. Die abgeleitete Steuerinformation steuert den Schätzbildrechner in gleicher Weise wie im Sender.

Zur zeitgereichten Bildverarbeitung sind in der Codiereinrichtung (Fig. 1) die Verzögerungsglieder 11 und 42 und in der Decodiereinrichtung (Fig. 2) das Verzögerungsglied 142 vorgesehen. Sie verzögern die Videosignale um jeweils eine Bilddauer.

Die bis hier erläuterte, zum Stand der Technik gehörende Codier- und Decodiereinrichtung ist geeignet für Systeme, in denen sich höchstens ein sich bewegendes Objekt in einer ruhenden Umgebung befindet. Bei einem zusätzlichen Kameraschwenk oder bei zwei aufeinander sich zu bewegenden Objekten versagt das bekannte Verfahren insbesondere, wenn sich die gegeneinander oder voneinander bewegenden Objekte teilweise verdecken.

In Fig. 3 ist das Blockschaltbild einer Codierungseinrichtung zur Durchführung des erfindungsgemäßen Verfahrens dargestellt. Das Ausführungsbeispiel enthält eine zweistufige Bewegungsprädiktion. Die in Fig. 1 mit dem Bezugszeichen 211 bis 213 gekennzeichneten Baugruppen sind in Fig. 3 zur Einheit 21 zusammengefaßt. In gleicher Weise ist die Einheit 22 kompakt dargestellt und dient wie die Einheit 21 zur Ermittlung der Fensterkoordinaten bewegter Bildteile, zur Ermittlung der Ecken der bewegten Bildteile und zur Bestimmung des repräsentativen Bewegungsvektors. Die Einheiten 21 und 31 realisieren die Bewegungsanalyse und Schätzbildberechnung der ersten Prädiktionsstufe und die Einheiten 22 und 32 die der zweiten Stufe. Ein Klassifikator 51 trifft fensterweise, also jeweils für einen durch ein Rechteck umschriebenen sich bewegenden Bildbereich, die Auswahl über das beste Schätzbild und steuert den Quantisierer 13 zur Unterdrückung irrelevanter Bewegungsvorgänge.

Die Häufigkeitsverteilung der Verschiebungsvektoren innerhalb eines Fensters mit zwei unterschiedlich bewegten, sich teilweise verdeckenden Objekten weist grundsätzlich einen mehrgipfeligen Verlauf auf. Zunächst wird in der Einheit 21 ein repräsentativer Bewegungsvektor nur aus den Verschiebungsvektoren aus der Umgebung des Hauptmaximums der Häufigkeitsverteilung abgeleitet, welches die dominante Objektbewegung repräsentiert. Durch diese Vorgehensweise wird die Ableitung über einer Mischbewegung und damit ein starkes Fehlersignal über den ganzen Fensterbereich vermieden. Statt dessen wird nur die Bewegung des dominanten Objektes ermittelt und für die Prädiktion verwendet. Allerdings wird dadurch ein erhebliches Fehlersignal an den Orten nachrangiger Objektbewegungen hervorgerufen. Das erhöhte Fehlersignal in Bildbereichen nachrangig bewegter Objekte ist jedoch vorteilhaft für die Bewegungsanalyse der zweiten Stufe mit den Einheiten 22 und 32. Das Verfahren vollzieht sich nun in folgenden Schritten:

Zwischen dem aktuellen Bild O_m+1 und dem vorhergehenden rekonstruierten Bild R_m wird in der Einheit 21 ein erstes Differenzbild gebildet,
die Bildänderungsbereiche werden durch kleinste umschreibende Rechtecke (Fenster) eingegrenzt,
innerhalb dieser Rechtecke werden die Richtungsänderungen die Konturen der bewegten Objekte gesucht,
an den Orten dieser Richtungsänderungen wird der jeweilige Verschiebungsvektor bestimmt,
aus dem Ensemble von Verschiebungsvektoren werden innerhalb eines jeden Rechtecks die Verschiebungsvektoren der dominanten Bewegung durch eine zweidimensionale Fensterfunktion isoliert,
aus den Verschiebungsvektoren wird ein repräsentativer Bewegungsvektor ermittelt,
mittels des repräsentativen Bewegungsvektors wird aus dem vorhergehend rekonstruierten Bild R_m in der Einheit 31 ein erstes Schätzbild S1_m+1 berechnet,
zwischen aktuellem Bild O_m+1 und erstem Schätzbild S1_m+1 wird nun in der zweiten Stufe in der Einheit 22 ein zweites Differenzbild gebildet und wie bereits beschrieben, ein zweiter repräsentativer Bewegungsvektor für die zweitrangig bewegten Objekte ermittelt. Die Einheit 32 berechnet hiermit ein zweites Schätzbild S2_m+1.

Da die Bilder bei Schwenk und Zoom der Aufnahmekamera den gleichen Gesetzen der Zentralprojektion folgen wie die Abbildung bewegter Objekte, werden derartige Bild-zu- Bild-Änderungen von der ersten Stufe der Codiereinrichtung mit zweistufiger Bewegungsprädiktion zunächst als dominant erkannt und ausgewertet. Die zweite Stufe berücksichtigt dann Relativbewegungen evtl. vorhandener bewegter Objekte. Im allgemeinen reicht eine zweistufige Bewegungsprädiktion aus. Extremfälle, wie Spurkreuzung zweier Objekte mit teilweiser Verdeckung bei bleichzeitigem Schwenk oder Zoom der Kamera würde eine dritte und unter Umständen eine vierte Stufe vorteilhaft erscheinen lassen. Aufwand und Zweck entscheiden über die günstigste Anzahl der zu verwendenden Stufen.

Nach Anwendung der beschriebenen Prädiktionstechnik verbleiben Fehlersignale lediglich entlang der Randzonen der Änderungsbereiche und verteilte Fehler geringer Amplitude. Der größte Teil der verbleibenden Fehlersignale wird durch Bewegungsformen verursacht, die durch einen Bewegungsvektor nicht beschreibbar sind, wie dies beispielsweise für Bildszenen mit im Wind bewegten Blättern eines Baumes auftritt. Für die üblichen Beobachtungsaufgaben werden derartige Bewegungsvorgänge als insignifikant betrachtet und ihre Übertragung daher unterdrückt.

Eine Änderungsdetektion zwischen Originalbild O_m+1 und zweitem Schätzbild S2_m+1 liefert relativ kleine umschreibende Fenster, in denen zumeist ein einziger Fehlersignaltyp auftritt. Es ist daher vorteilhaft, aus den drei ermittelten Schätzbildern R_m, S1_m+1 und S2_m+1 für jedes Fenster das beste Schätzsignal auszuwählen, für jedes Fenster einen Merkmalsvektor zu bestimmen und mit diesem eine Signifikanzklassifikation im Klassifikator 51 durchzuführen. Als Eingangsdaten für den Klassifikator 51 stehen das Originalbild O_m+1, das vorhergehende rekonstruierte Bild R_m, die Schätzbilder S1_m+1 und S2_m+1 und die in den Einheiten 21 und 22 ermittelten Bewegungsdaten zur Verfügung.

Zur Klassifizierung der Bildänderungsbereiche sind folgende Komponenten des Merkmalsvektors wichtig:

• 1. Leistung des Differenzbildsignals nach der Bewegungsprädiktion.
• 2. Betrag des repräsentativen Bewegungsvektors.
• 3. Streuung des Bewegungsvektors (durch Abweichungen zwischen geschätzter und tatsächlicher Bewegung).
• 4. Gewinn durch die Bewegungsprädiktion.
• 5. Leistung des Gradientenbildes.

Die Tabelle zeigt das Verhalten dieser Merkmale für typische Bewegungsformen. Die Komponenten des Merkmalvektors sind bspw. in vier Stufen (0 bis 3) eingeteilt. Hierbei bedeutet die Stufe 0 eine vernachlässigbare kleine und die Stufe 3 eine sehr große Komponente. Zum Bewegungstyp 1 gehört beispielsweise ein fahrendes Auto, zum Bewegungstyp 2 ein gehender Mensch und zum Bewegungstyp 3 ein bewegtes Laub. Die Entscheidung des Klassifikators 51 steuert den Quantisierer 13, der das Fehlersignal in nicht signifikanten Fenstern unterdrückt. Die Tabelle zeigt, daß sich Merkmal 1 in gleicher Weise verhält wie Merkmal 3. Im allgemeinen genügt es daher, für die Signifikanzklassifikation die Merkmale 1, 4 und 5 zu verwenden.

Eine rechteckförmige Umschreibung (Fenster) der Bildänderungsbereiche ist nur eine grobe Annäherung an die wirklichen Umrisse dieser Bereiche. Eine verbesserte Ausgestaltung der Erfindung sieht daher vor, an den Bildänderungsbereich angepaßte kleinste umschreibende Vielecke, beispielsweise Achtecke zu verwenden.

Claims (5)

1. Verfahren zur Videosignalcodierung für Bildfolgen mit Bild- zu-Bild-Prädiktion und Bewegungsprädiktion, dadurch gekennzeichnet, daß eine Trennung dominanter und nachrangiger Objektbewegungen durch Berechnung mehrerer Schätzbilder durchgeführt wird, derart, daß in bewegten Bildbereichen von einer ersten Stufe (21, 31) die dominierende Objektbewegung kompensiert wird und ein erstes Schätzbild S1_m+1 erstellt wird und anschließend von einer zweiten Stufe (22, 32) oder noch von weiteren Stufen nachrangige Objektbewegungen ermittelt und verarbeitet werden und weitere Schätzbilder erstellt werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß eine erste Differenz zwischen dem aktuellen Bild (O_m+1) und dem vorhergehenden rekonstruierten Bild (R_m) gebildet wird,
daß die Bildänderungsbereiche durch kleinste umschreibende Rechtecke (Fenster) eingegrenzt werden,
daß innerhalb dieser Rechtecke Richtungsänderungen der Konturen der bewegten Objekte gesucht werden,
daß an den Orten der Richtungsänderungen der jeweilige Verschiebungsvektor bestimmt wird,
daß aus dem Ensemble von Verschiebungsvektoren innerhalb eines jeden Rechtecks die Verschiebungsvektoren der dominanten Bewegung isoliert werden,
daß aus den Verschiebungsvektoren der dominanten Bewegung ein repräsentativer Bewegungsvektor ermittelt wird,
daß mit dem repräsentativen Bewegungsvektor und dem vorhergehenden rekonstruierten Bild (R_m) das erste Schätzbild (S1_m+1) ermittelt wird,
daß mindestens eine zweite Differenz zwischen aktuellem Bild (O_m+1) und erstem Schätzbild (S1_m+1) gebildet wird,
daß mit der zweiten Differenz in gleicher Weise wie mit der ersten Differenz ein zweiter repräsentativer Bewegungsvektor und ein zweites Schätzbild (S2_m+1) ermittelt wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß statt der Rechtecke an die Bildänderungsbereiche angepaßte kleinste umschreibende Vielecke verwendet werden.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß innerhalb der durch die zweite und den weiteren Stufen gebildeten Unterbereichen die Leistung der Originalbildsignale,
die Leistung der Differenzbildsignale zwischen dem aktuellen Bild (O_m+1) und dem vorhergehenden rekonstruierten Bild (R_m) und
die Leistung der Differenzbildsignale zwischen dem ersten Schätzbild (S1_m+1) und dem zweiten Schätzbild (S2_m+1) berechnet werden
und anschließend vom Unterbereich die Bildsignale des aktuellen Bildes (O_m+1) oder die Differenzsignale mit der kleinsten Gesamtleistung übertragen werden.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß innerhalb eines Unterbereichs ein Merkmalsvektor berechnet wird, der die Leistung der Differenzsignale, den Betrag des repräsentativen Bewegungsvektors, die Streuung des repräsentativen Bewegungsvektors, die Leistung des Gradientenbildes kennzeichnet, und daß in Abhängigkeit von diesen Komponenten die Übertragung der zu codierenden Videosignale erfolgt.