DE19721032A1 - Vorrichtung und Verfahren zur Datenkodierung - Google Patents

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Datenkodierung.

Die Übertragung von Daten wie Fernsehsignaldaten, die ein abgetastetes Bild darstellen, erfordert gewöhnlich die Übertragung einer beträchtlichen Datenmenge, bevor eine hinreichend brauchbare Wie­ dergabe des Bildes durch einen die Daten empfangen­ den Empfänger erzielt werden kann. Es sind ver­ schiedene Systeme vorgeschlagen worden, in denen die vom Abtasten eines Bildes stammenden Daten vor der Übertragung komprimiert, beim Empfang expan­ diert und wiedergegeben werden. Der Betrachter am Empfänger muß immer noch auf einen Großteil der zu empfangenden und wiederzugebenden Daten warten, bevor er ein brauchbares Bild betrachten kann.

Aufgabe der Erfindung ist es, ein verbessertes Kodierverfahren und eine verbesserte Kodiervorrich­ tung bereitzustellen.

Gemäß der vorliegenden Erfindung wird eine Daten­ kodiervorrichtung mit einem ersten Speicher zum Speichern einer Datendarstellung eines Eingangs­ bildes und einem zweiten Speicher zum Speichern einer Datendarstellung eines Ausgangsbildes, mit einem Analysator zum Vergleichen der Daten in den beiden Speichern und zum Durchführen einer Vielzahl von verschiedenen Arbeitsschritten mit den Daten, um eine Vielzahl von Datenpaketen zu erzeugen, von denen jedes eine unterschiedliche auf das Ausgabe­ bild anzuwendende Veränderung darstellt, und um jedem Paket eine auf das Ausmaß, mit dem sich das Paket bei Anwendung auf das Ausgabebild verbessert, hinweisende Wertung zuzuordnen, mit Vorrichtungen zum Auswählen des Pakets, dessen Wertung dem Paket entspricht, das die bedeutsamste Verbesserung be­ reitstellt, und mit Vorrichtungen zum Bewirken, daß das ausgesuchte Paket die Veränderung, die es für die in dem zweiten Speicher gespeicherten Daten darstellt, durchführt, wobei die Daten in dem zwei­ ten Speicher als Folge von aufeinanderfolgenden Zyklen fortschreitend gegen die in dem ersten Spei­ cher gespeicherten Daten konvergieren, angegeben.

Gemäß der vorliegenden Erfindung ist weiterhin ein Verfahren zum Kodieren von Daten angegeben, das die Schritte Vergleichen eines Eingangsbildes mit einem im Aufbau befindlichen Bild, Verarbeiten der Unter­ schiede zwischen den Bildern gemäß einem oder mehreren unterschiedlichen Algorithmen, um eine Vielzahl von verschiedenen Datenpaketen zu erzeu­ gen, von denen jedes eine Teilveränderung dar­ stellt, die an dem im Aufbau befindlichen Bild vorgenommen werden kann, um dieses dem Eingangsbild anzunähern, Vergleichen der Auswirkungen der ver­ schiedenen Datenpakete, wenn sie auf die im Aufbau befindlichen Bilddaten einwirken, und Versehen eines jeden mit einer Wertung, die kennzeichnend für die Bedeutung der Teilveränderung ist, Aus­ wählen des Paketes mit der besten Wertung und an­ schließend Einsetzen dieses Paketes zur Veränderung des im Aufbau befindlichen Bildes und Wiederholen des Zyklus, um den Aufbau des Bildes zu bewirken, damit es fortschreitend auf das Eingangsbild kon­ vergiert, umfaßt.

Gemäß der vorliegenden Erfindung wird darüberhinaus ein Verfahren zum Komprimieren einer Datendarstel­ lung eines Bildes bereitgestellt, das die Schritte Abtasten eines Bildes entsprechend einer aus einer Vielzahl von vorher bestimmten Abtastvorschriften ausgesuchten Abtastvorschrift, Vergleichen der als Ergebnis des Abtastens erzeugten Daten mit Daten, die ein in dem Datenspeicher abgespeichertes Bild darstellen, Gewichten des erfaßten Unterschiedes und Auswählen einer der vielen Abtastvorschriften entsprechend dem Gewichten in Übereinstimmung mit einem vorbestimmten Kriterium und Erzeugen einer Differenzdatendarstellung mindestens einiger der Unterschiede zwischen dem abgetasteten Bild, das nach der ausgewählten Abtastvorschrift abgetastet wurde, und dem in dem Datenspeicher gespeicherten Bild, Verknüpfen der Differenzdaten mit den Daten des Datenspeichers zur Erzeugung einer Daten­ darstellung eines virtuellen Bildes, Vergleichen der virtuellen Bilddaten mit den Daten in dem Spei­ cher und Gewichten des gemäß dem vorbestimmten Algorithmus abgetasteten Unterschiedes, um eine in Übereinstimmung mit dem Algorithmus ausgewählte Ab­ tastvorschrift zum Abtasten des Bildes zu veran­ lassen, Erzeugen einer Differenzdatendarstellung mit mindestens einigen der Unterschiede zwischen dem nach der ausgewählten Abtastvorschrift abge­ tasteten Bild und dem in dem Datenspeicher gespei­ cherten Bild, Verknüpfen der Differenzdaten mit dem in dem Datenspeicher gespeicherten Bild zur Er­ zeugung eines neuen virtuellen Bildes, Wiederholen der Schritte der Erzeugung eines neuen virtuellen Bildes bis ein vorbestimmtes Kriterium erreicht wird, das zumindest teilweise durch den Vergleich der Gewichtungen bestimmt ist, und Übertragen der Differenzdaten, die zur Erzeugung eines bestimmten der virtuellen Bilder eingesetzt wurden, an eine Ausgangsdatenstation und an den Datenspeicher, um die Daten in dem Datenspeicher auf den neuesten Stand zu bringen, umfaßt.

Die Vorrichtung und das Verfahren zur Kodierung von zu übertragenden Daten wird nun anhand von Beispie­ len mit Bezug auf die beigefügten skizzenhaften Zeichnungen beschrieben, in denen

Fig. 1 ein Blockdiagramm der Datenkodiervorrich­ tung darstellt,

Fig. 2 ein Fließdiagramm darstellt, das die Vor­ gehensweise der Vorrichtung von Fig. 1 ver­ deutlicht,

Fig. 3 eine Verdeutlichung der Vorgehensweise der Vorrichtung an einem Bild darstellt,

Fig. 4 ein durch die Vorrichtung erzeugtes Daten­ paket darstellt und

Fig. 5 ein Blockdiagramm einer veränderten Daten­ kodiervorrichtung darstellt.

Das zu beschreibende Verfahren und die zu beschrei­ bende Vorrichtung zielen darauf ab, eine Folge von kodierten Datenpaketen eines abgetasteten Bildes zu erzeugen und zu übertragen, die beim Empfang de­ kodiert werden, um den gestaffelten Aufbau eines wiedergegebenen Bildes zu erlauben, so daß die bedeutsamsten Merkmale des Bildes zuerst darge­ stellt werden können und die weniger bedeutsamen Merkmale anschließend hinzugefügt werden, bis ein Bild mit allen Feinheiten sichtbar wird.

Daher könnten beispielsweise, wenn das Bild ein Fußballfeld umfaßt, die ersten übertragenen Infor­ mationspakete die Koordinaten eines Rechteckes sein, um zu gewährleisten, daß die Umrandung des Fußballfeldes von dem Empfänger sehr schnell wie­ dergegeben wird. Diese würden von Paketen gefolgt, die die Koordinaten der Torpfosten liefern, die kleineren, möglicherweise gekippten, dem Bild hin­ zuzufügenden Rechtecken entsprächen, gefolgt von Paketen, die die äußeren Konturlinien der Spieler auf dem Platz beinhalten und dann von Paketen, die die auf den Trikots der Spieler dargestellten alphanumerischen Daten bereitstellen, um möglicher­ weise mit Paketen zu enden, die die Gesichtszüge der verschiedenen Spieler festlegen.

Durch die Anwendung einer solchen Übertragungsart empfängt der Betrachter des wiedergegebenen Bildes brauchbare Informationen sehr viel früher, als dies sonst der Fall wäre, wodurch dem Betrachter erlaubt wird, die empfangene Information manchmal weit vor der vollständig detaillierten Erscheinung eines Bildes zu erfassen und gemäß dieser zu reagieren.

Das Verfahren und die Vorrichtung nutzt einen er­ sten Speicher, um eine Datendarstellung eines abge­ tasteten Bildes (Eingangsbild) zu erhalten und einen zweiten oder Haltespeicher, um eine Datendar­ stellung eines Zwischenbildes (Ausgangsbild) zu erhalten. Ein Analysator untersucht die Eingangs- und Ausgangsbilder (beispielsweise Pixel für Pixel), wobei er einen oder mehrere Algorithmen verwendet, um eine Anzahl von unterschiedlichen Datenpaketen zu erzeugen, wobei ein Algorithmus mehr als ein Paket erzeugen kann. Jedes Datenpaket kann dazu genutzt werden, Daten zu den in dem Haltespeicher gehaltenen Daten hinzuzufügen, um diese zu einer größeren Übereinstimmung mit den in dem ersten Speicher gehaltenen Daten zu bringen. Der Analysator teilt jedem Datenpaket eine Wertung zu, deren Bedeutung für die Verbesserung kennzeich­ nend ist, die es gegenüber den in dem Haltespeicher gehaltenen Daten bewirken kann. Das Datenpaket mit der höchsten Wertung wird dann auf den Empfänger oder für eine anschließende Übertragung auf einen Zwischenspeicher übertragen und gleichzeitig dazu genutzt, die Daten in dem Haltespeicher auf den neuesten Stand zu bringen. Sobald der Haltespeicher auf dem neuesten Stand ist, wird der Analysator einen neuen Vergleich durchführen und der Zyklus beginnt von neuem. Die Daten in dem Haltespeicher stellen daher ständig das Bild dar, das nach und nach aus den von dem Empfänger empfangenen Daten aufgebaut wurde.

Fig. 1 zeigt eine Anordnung zur Durchführung des oben beschriebenen Verfahrens.

Eine Videokamera 2 nimmt ein zu übertragendes, bewegliches oder stationäres Bild auf, wobei das erzeugte Videosignal in einen Analog/Digital-Wand­ ler 4 eingespeist wird, der das Signal in eine digitale Darstellung umwandelt. Das digitale Bild­ signal wird dann in einem ersten oder Bildspeicher 6 gespeichert. Ein zweiter oder Haltespeicher 8 hält die digitale Information eines Zwischen- oder Ausgabebildes fest. Anfänglich ist das Zwischenbild nur das Bild einer leeren Leinwand, aber nach und nach wird, wie anschließend beschrieben werden wird, das Bild aufgebaut, um gegen das in dem Bild­ speicher gespeicherte Bild zu konvergieren.

Ein Analysator 10 vergleicht die in den Speichern 6 und 8 gespeicherten Bilder. Der Analysator 10 ar­ beitet unter der Kontrolle einer Steuereinheit 12, um eine Reihe von Datenanalysen in den beiden Spei­ chern 6 und 8 durchzuführen.

Der Analysator 10 ist programmiert, den möglichen Beitrag auf das Ausgangsbild abzuschätzen, den jeder aus einer Reihe von in einem Algorithmusspei­ cher 16 gespeicherter Algorithmen beisteuert. Bei­ spielsweise könnte ein Algorithmus vorschlagen, daß das gesamte Bild bezüglich seiner Helligkeit um zehn Prozent verringert werden soll. Ein anderer Algorithmus könnte vorschlagen, daß die untere Hälfte des Bildes schwarz sein soll. Jeder Algo­ rithmus könnte mehr als einen Vorgang vorschlagen. Jeder Vorgang entspricht einem Datenpaket mit für einen Dekodierer zur Durchführung des Vorganges ausreichenden Daten. In einigen Fällen, in denen das Paket geometrische Figuren wie ein Rechteck beschreibt, kann das Paket sehr kompakt sein. In anderen Fällen, in denen eine komplexere Ver­ änderung erforderlich wird, wenn beispielsweise fraktale Information genutzt wird, werden die Pakete größer.

Jedem Paket wird eine Wertung gemäß dem Grad der Bedeutung zugeteilt, die seine Auswirkung auf das Bild im Speicher 8 haben würde, wenn das Paket dazu benutzt würde, das in dem Speicher 8 gespeicherte Bild auf den neuesten Stand zu bringen. Die Wertung kann beispielsweise gemäß der Größe der Verringe­ rung der totalen Anzahl der festgestellten unter­ schiedlichen Pixel gegeben werden, die das Paket erzeugen würde, aber andere Bewertungsschemata können ebenso genutzt werden. Für besondere Anfor­ derungen, beispielsweise für die Hervorhebung aus­ gewählter Merkmale, können die Wertungen gewichtet sein.

Jedes durch den Analysator 10 erzeugte Paket wird der Reihe nach in einem aktuellen Paketspeicher 18 gespeichert, und seine Wertung oder gewichtete Wer­ tung wird in einem aktuellen Paketwertungsspeicher 14 gespeichert. Ein bester Paketspeicher 22 ist zur Speicherung des zur Zeit besten Paketes vorgesehen, und dessen entsprechende Gewichtung oder Wertung wird in einem besten Paketwertungsspeicher 24 ge­ speichert. Ein Gleichheitsprüfer 20 vergleicht die Wertung, die in dem Speicher 14 gespeichert ist, mit der Wertung, die in dem Speicher 24 gespeichert ist. Wenn die Wertung, die in dem Speicher 14 ge­ speichert ist, höher ist als die der Wertung, die in dem Speicher 24 gespeichert ist, veranlaßt der Gleichheitsprüfer 20 den Austausch des Paketes im Speicher 22 mit dem Paket in Speicher 18 und den Austausch der Wertung im Speicher 24 mit der Wer­ tung im Speicher 14. Nach einer vorher bestimmten, durch die Steuereinheit 12 festgesetzten Zeit wird das Paket in dem besten Paketspeicher 22 auf einen Paketdekodierer 28 zur Dekodierung und Weiterüber­ tragung auf den Haltespeicher 8 übertragen, um das Bild darin auf den neuesten Stand zu bringen. Gleichzeitig kann das Paket in einem Zwischenspei­ cher 26 gespeichert werden, um die Übertragung auf einen entfernten Empfänger (nicht gezeigt) abzuwar­ ten. Statt dessen kann das Paket auf den entfernten Empfänger direkt über eine Ausgangsleitung 34 über­ tragen werden.

Die Steuerungseinheit 12 kann ebenso die Dauer jedes Zyklus, in dem das Paket erzeugt wird, gemäß den Systemanforderungen steuern.

Die Rückkopplung des Analysators 10 kann von der Steuerungseinheit 12 genutzt werden, um den Analy­ sator anzuweisen, nach einer Anzahl bestimmter Vorgehensweisen zu arbeiten.

Die Steuereinheit 12 kann anfordern, daß der Analy­ sator sich auf einen bestimmten Teil des Bildes konzentriert.

Die Kontrolleinheit kann einem Schnappschuß ent­ sprechend anfordern, daß der Analysator sich auf ein Standbild eines sich bewegenden Bildes konzen­ triert.

Die Steuerungseinheit kann anfordern, daß eine geringere Binärzeichenrate übertragen wird, um dem Analysator mehr Zeit zur Analyse zu geben, oder die Kontrolleinheit kann gegenteilig eine höhere Binär­ zeichenrate anfordern, um dem Analysator weniger Zeit zur Analyse zu geben.

Die Steuerungseinheit kann ein sogenanntes Hand­ shake-Protokoll (quittierendes Datenübertragungs­ format) auf den Analysator anwenden, das ein Signal für mehr Daten abgibt, wenn die Übertragungskette abgeschlossen ist.

Die Steuerungseinheit kann den Analysator auf­ fordern, Pakete zu formatieren, die weniger rechen­ intensive Dekodierungsverfahren erfordern. Unter einigen Umständen kann die Steuerungseinheit 12 auf Rückkopplungsdaten antworten, die von der Seite der Empfangseinheit (nicht gezeigt) empfangen werden.

Obwohl der Analysator 10 so beschrieben wurde, daß er die Differenzdaten unter Nutzung jedes Algorith­ mus der Reihe nach verarbeitet, soll deutlich ge­ macht werden, daß die Verarbeitung parallel durch­ geführt werden kann und eine Auswähleinheit (nicht gezeigt) zum Auswählen des Paketes mit der höchsten Wertung zur Weiterübertragung benötigt wird, anstatt die Speicher 18 und 22 und den Gleichheits­ prüfer 20 zu nutzen, um dieses Ziel zu erreichen.

Es wird erkennbar, daß das beschriebene System Farbbildern genauso wie beweglichen Bildern gewach­ sen ist.

Ein Beispiel von Algorithmen, die durch den Analy­ sator 10 genutzt werden können, werden nun in Ver­ bindung mit dem Fließdiagramm der Fig. 2 beschrie­ ben. Der Analysator wird grundsätzlich nach Formen der Gestalt von Rechtecken suchen, wobei das resultierende Paket übertragen werden kann, sobald die Koordinaten eines geeigneten Rechteckes festge­ stellt worden sind, um den Haltespeicher 8 auf den neuesten Stand zu bringen.

Der Analysator 10 tastet den Eingangsbildspeicher 6 auf der Suche nach einem Pixel ab, der sich von dem entsprechenden Pixel in dem Bildhalterahmen 8 un­ terscheidet. Diese Abtastung kann eine einfache Abtastung von links nach rechts und von oben nach unten sein, obwohl andere Abtastverfahren genutzt werden könnten. Sobald ein abweichender Pixel ge­ funden worden ist, betrachtet der Analysator 10 ihn als ein Rechteck. Er streckt dieses Rechteck hori­ zontal, um mehr Pixel zu umfassen. Die Streckung kann um einen Pixel erfolgen oder ein höher ent­ wickeltes Streckverfahren anwenden. Der Analysator 10 wertet dann das Rechteck aus, um den Nutzen dieses Rechtecks beim Hineinzeichnen in das Bild des Haltespeicher mit einer Farbe zu bestimmen, die dem Farbmittel der Pixel in dem entsprechenden Rechteck des Bildspeichers entspricht. Dies kann durch die Vergabe einer Wertung für des Rechtecks umgesetzt werden. Wenn das so gebildete Rechteck eine größere Verbesserung des Bildes in dem Haltespeicher 8 darstellen würde, dann wird ein ähnliches horizontal noch weiter gestrecktes Recht­ eck ausgewertet. Das Streckverfahren wird so oft wiederholt, bis keine Verbesserung mehr eintritt. Das vorherige und soweit beste Rechteck wird dann genutzt. Das Rechteck wird anschließend auf ähnliche Weise vertikal gestreckt und ausgewertet und das Streckverfahren so oft wiederholt, bis keine weitere Verbesserung mehr erreicht wird. Wenn dieses Rechteck, seit der Speicherung oder Übertragung des letzten Paketes, besser ist als das vorhergehende beste, dann wird es als bestes gespeichert. An diesem und/oder anderen Punkten kann ein Test durchgeführt werden, um zu überprüfen, ob für eine weitere Berechnung dieses nächsten Paketes noch genügend Zeit verbleibt. Wenn nicht, wird das beste Paket zur Übertragung oder Speicherung weitergegeben. Das Bild in dem Speicher 8 wird dann auf den neuesten Stand gebracht und der beste Paketspeicher zur Initialisierung mit einem Nullwert belegt.

Folglich wird das Rechteck horizontal gestreckt, bis keine weitere Verbesserung mehr erreicht wird. Es wird dann vertikal gestreckt, bis keine weitere Verbesserung mehr erreicht wird. Wenn dieses Recht­ eck besser bewertet wird als das vorherige am besten bewertete Rechteck, wird es als das bislang beste gespeichert. Das Abtasten wird fortgesetzt. Das Verfahren zum Auswählen der Startposition kann nicht beschränkend aus dem Auswählen des Pixels des oberen rechten Randes des letzten ausgewerteten Rechtecks bestehen. Für den Analysator kann eine Zeitbeschränkung gelten, so daß der Analysator nach einer vorgegebenen Zeitdauer das bis dahin höchst­ bewertete Rechteck nimmt und dieses zum Dekodieren auf einen Empfänger überträgt oder speichert. Ebenso zeichnet er dieses Rechteck in den Bild­ speicher des Haltespeichers 8.

Die Rechtecke können mit Hilfe einer Wertung ausge­ wertet und verglichen werden. Für das Rechteck der Fig. 3 kann die Wertung S gemäß:

S = R_Wertung + G_Wertung + B_Wertung

ausgewertet werden, wobei R_Wertung, G_Wertung und B_Wertung durch

gegeben sind. Der Absolutwert eines Ausdrucks A wird hierbei durch |A| gekennzeichnet.

R_ein[i,j], G_ein[i,j] und B_ein[i,j] entsprechen den Farbkomponentwerten eines Pixels in dem Eingangs­ bildraster an den Koordinaten (i,j). In ähnlicher Weise entsprechen R_aus[i,j], G_aus[i,j] und B_aus[i,j] den Farbkomponentwerten eines Pixels des Ausgangs­ bildrasters an den Koordinaten (i,j).

Die mittleren RGB(Rot, Grün, Blau)-Komponenten des Rechteckes des Eingangsbildes R_mit, B_mit und G_mit sind durch

gegeben, wobei N der Anzahl der Pixel in dem Recht­ eck entspricht:

N = (x₂ - x₁ + 1)(y₂ - y₁ + 1).

Die oberen Formeln dienen lediglich der Verdeut­ lichung. Andere Formeln arbeiten mit ähnlich gutem Erfolg. Insbesondere können in vielen Anwendungen Paletten und Nachschlagetabellen zur Hochgeschwin­ digkeitsberechnung genutzt werden.

Es sollte verdeutlicht sein, daß eine Vielzahl von verschiedenen Kodierungsverfahren für das Ein­ gangsbild in gleicher Weise genutzt werden können. Diese Verfahren können beispielsweise DCT-, soge­ nannte Wavelet- (Wellenpaket-) oder Fraktalkodie­ rung umfassen. Die Ergebnisse jedes Verfahrens können unter der Nutzung der oberen Formeln oder anderen geeigneten Formeln bewertet werden, die auf den bearbeiteten Bereich der Eingangs- und Aus­ gangsbilder angewendet werden. Die Wertung S jedes Verfahrens kann gewichtet werden, um eine gewich­ tete Wertung S_W bereitzustellen. Dies kann bei­ spielsweise durch die Division durch die Anzahl der Binärzeichen P erreicht werden, die zur Kodierung der Bildveränderungen in einem Paket erforderlich sind:

Das Paket mit der am besten gewichteten Wertung S_W wird dann zur Übertragung oder zur Speicherung ausgewählt. Die entsprechenden, seien es DCT, Wavelet, fraktale oder welche Veränderungen des Ausgangsbildes auch immer werden anschließend durchgeführt. In diesem Beispiel wurde die Wertung unter Einbeziehung der Paketgröße gewichtet. Sie könnte ebenso gut unter Berücksichtigung der vom Dekodierer geforderten Rechnerleistung gewichtet worden sein:

wobei T einer abgeschätzten Zeitdauer entspricht, die von dem Zieldekodierer zum Dekodieren des Pakets in Anspruch genommen wird. Andere Ge­ wichtungsformeln können unter anderen Randbe­ dingungen angewendet werden.

Das Rechteck kann beispielsweise in der Form des Paketes der Fig. 4 kodiert sein, wobei h einem Anfangsfeld und r, g und b den roten, grünen und blauen Farbkomponenten entsprechen.

Wie oben erwähnt, können höher entwickelte Mittel wie künstliche Intelligenz zum Erkennen von Objek­ ten in dem Eingangsbild genutzt werden, die kom­ plizierter als einfache Rechtecke sind. Weiterhin können die genutzten Pakete die Bewegung von Ele­ menten in dem Bild oder Videoeffekte wie Schwenken, Ausblenden und Löschen beschreiben. In jedem Fall sollte das gezeigte Paket mit der am höchsten ge­ wichteten Wertung versehen sein, die gemäß der Zeit und anderen Beschränkungen je nach Anforderung gewichtet ist.

Der Auswertungsprozeß kann zur Änderung seiner Vorgehensweise gesteuert sein. Beispielsweise kann die Abtastung auf eine Teilmenge des Bildes beschränkt sein. Der Kodierer kann ebenso angewiesen sein, sich lediglich auf ein Standbild zu konzentrieren.

Es soll deutlich gemacht werden, daß die Kodiervor­ richtung natürlich für sowohl, Stand- als auch bewegliche Bilder anwendbar ist, was einer Techno­ logie erlaubt, in beiden Fällen angewendet zu werden. Eine Implementierung der Kodiervorrichtung in einer sogenannten Hardware (Maschinenausrüstung) könnte entwickelt werden, die sowohl Stand- als auch sich bewegende Bilder schnell kodiert.

Da das Ausgangsbild auf das Eingangsbild konver­ giert, wird es schließlich genau mit dem Ein­ gangsbild übereinstimmen, wenn Zeit und Bandbreite dies erlauben. Es ist in der Praxis, wie beispiels­ weise beim Archivieren, äußerst wünschenswert, daß dies der Fall ist. Es ist weiterhin gestattet, daß ein Bild verlustfrei oder mit geringen Verlusten kodiert wird oder daß lediglich hochbewertete Pakete übertragen werden, wo die volle Bildqualität nicht notwendig ist.

Da der Kodierer die Bandbreite gut nutzt, ist er besonders für Anwendungen mit geringen Datenübertragungsraten geeignet, da er unmittelbar danach strebt, die zur Verfügung stehende Bandbreite bestmöglichst zu nutzen. Dort, wo eine hohe Bandbreite zur Verfügung steht, kann dies dazu genutzt werden, Bilder mit geringen Verlusten zu kodieren. Die Nutzung der Steuerung kann dem Kodierer erlauben, Informationen mit unter­ schiedlichen Datenübertragungsraten zu übertragen. Dies ist besonders dort nützlich, wo keine Band­ breitenstabilität vorliegt, wie beispielsweise im Internet.

Obwohl die Ausführungsbeispiele der Erfindung im allgemeinen Bildspeicher nutzen, stützt sich die Erfindung nicht auf Bewegungsvideos, bei denen eine Bilderserie vorgesehen ist. Ein Video wird mittels einer Reihe von Paketen mit einer Rate kodiert, die von der eintretenden Bildrate unabhängig ist. Daher kann die Vorrichtung veranlaßt werden, mit jeder Bildrate zu arbeiten und sogar mit sich verändern­ den Bildraten.

Darüberhinaus kann die Kodiervorrichtung regelmäßi­ ge Bildmarkierungen in den Bilddaten plazieren und die Entscheidung treffen, das Eingangsbild mit Bezug auf ein leeres Ausgangsbild zu kodieren. Dies könnte Anwendungen wie beispielsweise nichtlineares Bearbeiten oder Zurückspulen unterstützen.

Eine Unabhängigkeit von Auflösung und Bildformat ist erlaubt. Die Auflösung und das Bildformat könnten sich, falls erforderlich, sogar während eines Videostückes verändern.

Die Einfachheit der Vorrichtung macht sie für den Gebrauch mit interaktiven Technologien, wie bei­ spielsweise interaktiven Computerprogrammen, beson­ ders geeignet. Das auf Rechtecken basierende Ver­ fahren kann leicht in Verbindung mit einer soge­ nannten Animationssoftware (belebende Programm­ ausrüstung) implementiert werden.

Die Vorrichtung kann schnell an zukünftige Anforde­ rungen angepaßt werden. Die sich aufeinander zu bewegenden Fernseh- und Computerindustrien nutzen Technologien, die sich schnell entwickeln. Stan­ dards sind veraltet, bevor sie aufgegriffen werden können. Die Vorrichtung und das Verfahren erlauben jedoch, neue Einheiten und Verfahren in sich auf­ zunehmen, sobald sie erfunden und zugänglich ge­ macht sind. Die Vorrichtung könnte zunächst mit dem einfachen, auf dem Rechteck beruhenden Verfahren ausgerüstet sein. Später könnten dazu fraktale, Wavelet- oder DCT-Verfahren implementiert sein. Noch später könnten hochentwickelte, künstliche Intelligenz einbauende Verfahren genutzt werden, um der Vorrichtung die Möglichkeit zu geben, das Bild mit komplexen Formen oder Transformationen zu be­ schreiben, wobei, um das wirksamste Verfahren zu sein, Rechnungen angestellt werden sollten. Es sollte betont werden, daß ein Vergleich der Algo­ rithmen nicht für jedes Paket, sondern lediglich von Zeit zu Zeit notwendig ist. Es sollte natürlich erkennbar sein, daß es nicht notwendig ist, Algo­ rithmen zu vergleichen, während ein Algorithmus eine Folge von hohen Wertungen erzeugt. Alternative Algorithmen werden ausgewählt, wenn der aktuelle Algorithmus eine Folge von schlechten Ergebnissen erzielt. Die Anwendung eines für künstliche In­ telligenz programmierten Systems wird dem Analy­ sator ermöglichen, eine auf Informationen basieren­ de Abschätzung durchzuführen, welcher Algorithmus auszuwählen ist.

Die Unabhängigkeit der Auflösung, der Bildübertra­ gungsrate und des Bildformats zusammen mit der Möglichkeit, Weiterentwicklungen in die Kodier-Dekodiertechnologie mit einzubauen, erlauben der Vorrichtung, in zukünftigen Generationen von bild­ einfangenden und -aufnehmenden Vorrichtungen ge­ nutzt zu werden.

Die kodierten Pakete können verschlüsselt sein. Die Verschlüsselung bringt allerdings einen zusätzli­ chen Rechencode mit sich. Die Vorrichtung erlaubt jedoch, einige Pakete zu verschlüsseln und andere nicht, so daß ein verschlechtertes, aber immer noch erkennbares Bild ohne Entschlüsselung sichtbar ist, so daß bei sogenannten Pay-per-view (Einschalt­ gebühr-) und Einwilligungssystemen eine Schau-bevor-Du-kaufst-Möglichkeit besteht.

Da die Vorrichtung Bildinformationspakete nutzt, ist es leicht, Daten wie Zeitcode und Audioinforma­ tionen hinzuzufügen und diese zu synchronisieren.

Das Abspielen kann je nach verwendetem Verfahren einfach oder komplex sein. Bei dem einfachen Rechteckverfahren wird der Dekodierer einfach und schnell in einer Software implementiert und durch die Grafikhardware unterstützt, was die Wiedergabe billig macht. Die Kodierung kann rechenintensiv sein, aber aufgrund andauernden beträchtlichen Zuwächse der Verarbeitungsleistung, der Parallel­ verarbeitung und der Möglichkeit, den Kodierer in der Hardware zu implementieren, sollten diese Pro­ bleme nicht überbewertet werden.

Der Kodierer könnte in unterschiedlichen Fällen unterschiedliche Algorithmen entsprechend dem Un­ terschied zwischen den Eingangs- und Ausgangsbil­ dern und vielleicht in Übereinstimmung mit den Möglichkeiten des Empfangsgeräts nutzen.

Das Ausgangssignal könnte über Codes verfügen, um die Wichtigkeit jedes Stückes der kodierten Daten aufzuzeigen. Das Empfangsgerät, das nicht in der Lage ist, ein volles Bild darzustellen, könnte dann entscheiden, weniger wichtige Teile nicht zu de­ kodieren. Wie bereits vorher ausgeführt wurde, könnten einige Teile des Datenflusses verschlüsselt sein, so daß beispielsweise eine höhere Auflösung der Information eine Entschlüsselung und vielleicht die Zahlung einer Gebühr erforderliche macht.

Eine einfache Kodierungsart wäre es, einen Computer Eingangs- und Empfangsbilder Pixel für Pixel ver­ gleichen und die Bildverarbeitung auswählen zu lassen, die die kleinste Summe des Absolutbetrages des Unterschieds der über das ganze Bild gemessenen Farbkomponenten erzeugt. Eine Bildbearbeitung könnte so einfach sein, wie ein farbiges Rechteck zu zeichnen, könnte jedoch ebenso eine Anweisung sein wie "verringere die gesamte Helligkeit um einen bestimmten Betrag" sein oder DCT- oder Waveletinformation darstellen.

Ein abgewandeltes System nutzt einen Puffer-Speicher, so daß einige Algorithmen eine Analyse bezogen auf frühere Daten durchführen und demgemäße Datenpakete erzeugen. Zum Beispiel kann ein Datenpaket die Anordnung beinhalten, einen besonderen Bereich des aktuellen Ausgangsbildes mit Pixeln von dem Puffer-Speicher zu überschreiben.

Die Fig. 5 zeigt ein abgewandeltes System, das besonders in solchen Fällen nützlich ist, in denen die Kamera 2 einen statischen oder im wesentlichen unveränderlichen Hintergrund mit einem schmalen, sich im Vordergrund querbewegenden Objekt aufnimmt.

Die Kamera kann beispielsweise Überwachungszwecken dienen, um einen Autopark zu überwachen, in dem gelegentlich hindurchlaufende Personen zu beob­ achten sind.

In Fig. 5 sind die mit denen in Fig. 1 überein­ stimmenden Teile mit den gleichen Bezugszeichen versehen. In Fig. 5 ist eine Verzögerungseinheit 30 zwischen dem Paketdekodierer 28 und einem Hilfs­ haltespeicher 32 vorgesehen. Der Analysator 10 ist mit dem Hilfshaltespeicher 32 gekoppelt.

Während des Betriebs verzögert die Verzögerungs­ schaltung 30 die Versorgung des Hilfsspeichers 32 mit Datenpaketen (die Verzögerung kann beispiels­ weise 30 Paketen entsprechen, mit denen der Bild­ speicher 8 versorgt ist). Der Analysator 10 über­ wacht periodisch die Daten in dem Hilfsspeicher 32 und vergleicht sie mit den Daten in dem Eingangs­ speicher 6. Wenn dieser Vergleich gemäß einem vorher bestimmten Kriterium besser ist als der Vergleich zwischen den Speichern 6 und 8, liefert der Analysator 10 ein aufgefrischtes Datenpaket mit einer zugeordneten Wertung, die dann wie vorher weiterübertragen werden, um den Inhalt des Speichers 32 zu nutzen, damit der Speicher 8 auf den neuesten Stand gebracht wird.

Auf diesem Weg kann ein Hintergrunddetail, das zeitweise durch ein Objekt im Vordergrund verborgen wird, schnell wieder eingefügt werden.

Claims (17)

1. Datenkodiervorrichtung mit einem ersten Spei­ cher zum Speichern einer Datendarstellung eines Eingangsbildes und einem zweiten Speicher zum Speichern einer Datendarstellung eines Aus­ gangsbildes, mit einem Analysator zum Verglei­ chen der Daten in den beiden Speichern und zum Durchführen einer Vielzahl von verschiedenen Arbeitsschritten mit den Daten, um eine Viel­ zahl von Datenpaketen zu erzeugen, von denen jedes eine unterschiedliche auf das Ausgabebild anzuwendende Veränderung darstellt, und um jedem Paket eine auf das Ausmaß, mit dem sich das Paket bei Anwendung auf das Ausgabebild verbessert, hinweisende Wertung zuzuordnen, mit Vorrichtungen zum Auswählen des Pakets, dessen Wertung dem Paket entspricht, das die bedeut­ samste Verbesserung bereitstellt, und mit Vor­ richtungen zum Bewirken, daß das ausgesuchte Paket die Veränderung, die es für die in dem zweiten Speicher gespeicherten Daten darstellt, durchführt, wobei die Daten in dem zweiten Speicher als Folge von aufeinanderfolgenden Zyklen fortschreitend gegen die in dem ersten Speicher gespeicherten Daten konvergieren.

2. Vorrichtung nach Anspruch 1 mit einem zweiten Hilfsspeicher zum Empfangen der Datenpakete und einer Verzögerungsschaltung zum Verzögern des Ergänzens der Pakete zu dem Hilfsspeicher, wobei der Analysator zum Vergleich der Daten in dem zweiten Hilfsspeicher mit den Daten in dem ersten Speicher angekoppelt ist und um, wenn dieser Vergleich eine bessere Wertung als der Vergleich zwischen den ersten und zweiten Spei­ chern ergibt, den zweiten Hilfsspeicher zu ver­ anlassen, die Inhalte des zweiten Speichers in Übereinstimmung mit den Inhalten oder ausge­ suchten Abschnitten der Inhalte des Hilfs­ speichers zu verändern.

3. Vorrichtung nach Anspruch 1 oder Anspruch 2, wobei der Analysator einen Pixel für Pixel­ vergleich, der in den ersten und zweiten Spei­ chern gespeicherten Bilder durchführt.

4. Vorrichtung nach einem der Ansprüche 1 bis 3 mit einem Algorithmusspeicher zum Speichern einer Vielzahl von verschiedenen Algorithmen, um den Analysator die Verarbeitung der Daten, die die Eingangs- und Ausgangsbilder festlegen, mit den verschiedenen Algorithmen zu ermög­ lichen.

5. Vorrichtung nach Anspruch 4, wobei der Analy­ sator angewiesen ist, die Daten in den zwei Speichern mit den verschiedenen Algorithmen der Reihe nach zu verarbeiten.

6. Vorrichtung nach Anspruch 5 mit einem aktuellen Paketspeicher zum aufeinanderfolgenden Spei­ chern jedes von dem Analysator erzeugten Paketes, mit einem besten Paketspeicher und mit einem Gleichheitsprüfer zum Vergleichen der Wertung des Datenpaketes in dem aktuellen Paketspeicher mit der Wertung der Daten in dem besten Paketspeicher und zum Übertragen des Paketes in dem aktuellen Paketspeicher auf den besten Paketspeicher, wenn die Wertung des Paketes in dem aktuellen Paketspeicher besser ist als die Wertung des Paketes in dem besten Paketspeicher.

7. Vorrichtung nach Anspruch 4, wobei der Analysa­ tor angewiesen ist, die Daten in den zwei Spei­ chern mit den verschiedenen Algorithmen im wesentlichen gleichzeitig zu verarbeiten.

8. Vorrichtung nach Anspruch 4, wobei der Analysa­ tor angewiesen ist, die Daten in den zwei Spei­ chern mit verschiedenen Algorithmen zu verar­ beiten, wobei einige der Arbeitsschritte gleichzeitig und andere der Reihe nach statt­ finden.

9. Vorrichtung nach einem der vorhergehenden An­ sprüche mit einer Auswähleinheit zum Vergleich der Wertungen der verschiedenen in den ver­ schiedenen Speichern erzeugten Pakete und zum Auswählen des Paketes mit der besten Wertung zur Weiterübertragung auf den zweiten Speicher.

10. Verfahren zum Kodieren von Daten, das die Schritte Vergleichen eines Eingangsbildes mit einem im Aufbau befindlichen Bild, Verarbeiten der Unterschiede zwischen den Bildern gemäß einem oder mehreren unterschiedlichen Algorith­ men, um eine Vielzahl von verschiedenen Daten­ paketen zu erzeugen, von denen jedes eine Teil­ veränderung darstellt, die an dem im Aufbau befindlichen Bild vorgenommen werden kann, um dieses dem Eingangsbild anzunähern, Vergleichen der Auswirkungen der verschiedenen Datenpakete, wenn sie auf die im Aufbau befindlichen Bild­ daten einwirken, und Versehen eines jeden mit einer Wertung, die kennzeichnend für die Be­ deutung der Teilveränderung ist, Auswählen des Paketes mit der besten Wertung und anschließend Einsetzen dieses Paketes zur Veränderung des im Aufbau befindlichen Bildes und Wiederholen des Zyklus, um den Aufbau des Bildes zu bewirken, damit es fortschreitend auf das Eingangsbild konvergiert, umfaßt.

11. Verfahren nach Anspruch 10, wobei während des Vergleichsschrittes die zwei Bilder Pixel für Pixel verglichen werden.

12. Verfahren nach Anspruch 10 oder nach Anspruch 11, wobei während des Verarbeitungsschrittes die unterschiedlichen Datenpakete im wesent­ lichen gleichzeitig verarbeitet werden.

13. Verfahren nach Anspruch 10 oder nach Anspruch 11, wobei während des Verarbeitungsschrittes die unterschiedlichen Datenpakete der Reihe nach verarbeitet werden.

14. Verfahren nach Anspruch 10 oder Anspruch 11, wobei während des Verarbeitungsschrittes einige der verschiedenen Datenpakete der Reihe nach und andere gleichzeitig verarbeitet werden.

15. Verfahren nach einem der Ansprüche 10 bis 14, wobei jedes Datenpaket die Koordinaten einer geometrischen Form aufweist.

16. Verfahren nach Anspruch 15, wobei die geometri­ sche Form ein Rechteck ist.

17. Verfahren zum Komprimieren einer Datendarstel­ lung eines Bildes, das die Schritte Abtasten eines Bildes entsprechend einer aus einer Viel­ zahl von vorher bestimmten Abtastvorschriften ausgesuchten Abtastvorschrift, Vergleichen der als Ergebnis des Abtastens erzeugten Daten mit Daten, die ein in dem Datenspeicher abgespei­ chertes Bild darstellen, Gewichten des erfaßten Unterschiedes und Auswählen einer der vielen Abtastvorschriften entsprechend dem Gewichten in Übereinstimmung mit einem vorbestimmten Kri­ terium und Erzeugen einer Differenzdatendar­ stellung mindestens einiger der Unterschiede zwischen dem abgetasteten Bild, das nach der ausgewählten Abtastvorschrift abgetastet wurde, und dem in dem Datenspeicher gespeicherten Bild, Verknüpfen der Differenzdaten mit den Daten des Datenspeichers zur Erzeugung einer Datendarstellung eines virtuellen Bildes, Ver­ gleichen der virtuellen Bilddaten mit den Daten in dem Speicher und Gewichten des gemäß dem vorbestimmten Algorithmus abgetasteten Unter­ schiedes, um eine in Übereinstimmung mit dem Algorithmus ausgewählte Abtastvorschrift zum Abtasten des Bildes zu veranlassen, Erzeugen einer Differenzdatendarstellung mit mindestens einigen der Unterschiede zwischen dem nach der ausgewählten Abtastvorschrift abgetasteten Bild und dem in dem Datenspeicher gespeicherten Bild, Verknüpfen der Differenzdaten mit dem in dem Datenspeicher gespeicherten Bild zur Er­ zeugung eines neuen virtuellen Bildes, Wieder­ holen der Schritte der Erzeugung eines neuen virtuellen Bildes bis ein vorbestimmtes Kriterium erreicht wird, das zumindest teil­ weise durch den Vergleich der Gewichtungen be­ stimmt ist, und Übertragen der Differenzdaten, die zur Erzeugung eines bestimmten der virtuel­ len Bilder eingesetzt wurden, an eine Ausgangs­ datenstation und an den Datenspeicher, um die Daten in dem Datenspeicher auf den neuesten Stand zu bringen, umfaßt.