DE3828908C2 - Verfahren zur digitalen Bildübertragung - Google Patents

Description

Die vorliegende Erfindung betrifft ein Verfahren zur digi­ talen Bildübertragung unter Ausnutzung der Übereinstimmung von Elementen im Bildrahmen für die Codierung und Decodie­ rung.

Bildübertragungssysteme zum Videoconferencing und zur Vi­ deotelephonie erfordern die Übermittlung von Bildinformation mit geringer Bitrate, die typischerweise bei 64 kbits/s liegt. Die über derartige Systeme übertragene Bildinformation muß eine akzeptable Auflösung von Bilddetails sowie eine ak­ zeptable Frequenz bei der Aktualisierung und Aufbereitung, dem sogenannten Updating beim Empfänger ermöglichen. Aus die­ sem Grund können zu übertragende Bilder so dargestellt wer­ den, daß sie zur Codierung als Aufeinanderfolge von Bildüber­ tragungsrahmen, die jeweils aus 288 Zeilen von 360 Pixeln oder Pels (picture elements = Bildelementen) aufgebaut sind, mit einer Rate von zehn Rahmen pro Sekunde geeignet sind. Wenn die Helligkeit (Leuchtdichte) und Farbe jedes dieser Pixel überhaupt genau wiedergegeben werden sollen und wiederherstellbar sein sollen, würde eine volle Codierung der Aufeinanderfolge von Bildrahmen die Notwendigkeit einer Datenrate von 10 Mbit/s oder mehr bedingen. Es ist klar, daß nur ein sehr geringer Bruchteil dieser Daten über einen Kanal mit 64 kbit/s übertragen werden könnte.

Die Reduktion der Datenrate kann durch Ausnutzung von räumlicher oder örtlicher Redundanz innerhalb der individuel­ len Rahmen und zeitlicher Redundanz zwischen aufeinanderfol­ genden Rahmen erzielt werden. Eine Art der vorteilhaften Nut­ zung der zeitlichen Redundanz besteht darin, jeden laufenden Rahmen in Blöcken von 8 × 8 Pixeln zu zerlegen und bezüglich jedes derartigen Blockes in einem Bereich des darauffolgenden Rahmens in einem "Suchfenster" von beispielsweise ± 7 auf dem unter Prüfung stehenden Block zentrierten Pixeln nach einem ähnlichen Block zu suchen, um irgendeine Bewegung der Bilde­ lemente zwischen den Rahmen zu identifizieren. Dann kann ein Bewegungsvektor, der jeden Block auf den ähnlichen Block im darauffolgenden Rahmen abbildet (Mapping Vektor), mit jedem Block assoziiert werden, d. h. jedem Block zugeordnet werden. Diesem Schema folgend ist es möglich, den darauffolgenden Rahmen durch Translation von Blöcken vom augenblicklichen Rahmen entsprechend den assoziierten oder verknüpften Bewe­ gungsvektoren zu rekonstruieren.

Diese gattungsgemäße Technik ist beispielsweise von S. Kappagantula und K.R. Rao in IEEE Transactions on Communications, Volume Com-33, Nr. 9, Septem­ ber 1985, Seiten 1011 bis 1015 beschrieben worden.

Bei einer existierenden Strategie zur Wiederherstellung (d. h. zur Fehlerbehebung) von Bildinformation für den Fall, daß eine Fehlerübertragungsrate einen vorgegebenen Schwell­ wert überschritten hat, besteht die Wiederherstellung typi­ scherweise darin, daß die Decodiereinrichtung die Codierein­ richtung durch Setzen eines Kennzeichens dazu veranlaßt, die Übertragung mit dem ersten neuen, im Intramode codierten Rah­ men wieder zu beginnen. Die Decodiereinrichtung hält den letzten fehlerfreien Rahmen, bis der neue Rahmen empfangen und decodiert worden ist. Damit jedoch mit dieser Wiederher­ stellungsstrategie eine subjektiv akzeptable Bildqualität verarbeitet werden kann, muß die Fehlerbitrate des Kanals ge­ ring sein.

Ist beispielsweise aufgrund von Einschränkungen bezüglich des Datenkanals die Datenrate gering, so weist diese existie­ rende Fehlerbehebungsstrategie insofern Nachteile auf, daß ein einziger im Intramode codierter Rahmen oder Übertragungs­ block im Vergleich zu im Intermode codierten Rahmen subjektiv schlecht ist. In Kombination mit einer niedrigen Rahmenrate bedingt dies eine schlechte Sequenzrekonstruktion während der Fehlerbehebung bzw. -handhabung.

In der EP 0 154 125 A2 wird dagegen ein spezielles Inter­ polationsverfahren angegeben, mit dem zwei übertragene Fern­ sehbilder oder Rahmen, die zwischengespeichert werden, in stationäre Anteile, bewegte Anteile und bewegungsbedingt sichtbar werdenden und überdeckten Hintergrund zerlegt wer­ den, und dann diese vierfach differenzierte Segmentinforma­ tion zur Einstellung der Filterkoeffizienten eines bewegungs­ adaptiven Filters verwendet wird, das ein nicht übertragenes Bild durch Interpolation erzeugt.

In Proceedings of the IEEE, Bd. 73, Nr. 4, April 1985, Seiten 523 bis 548 ist eine Intra-Frame Prädiktionscodierung beschrieben. Dieses Verfahren ist auf einen einzelnen Prädik­ tions-Bezugsrahmen festgelegt. Der übertragene Rahmen (pel) wird mit Bezugnahme auf Information codiert, die aus mehreren vorhergehenden Frames (pels) derart codiert wird, daß die co­ dierte Differenz dazu verwendet wird, einen Prädiktions-Be­ zugsrahmen am Sender zu erzeugen. Dabei liegt die resultie­ rende Differenzinformation bezüglich dieses einzigen Prädik­ tions-Bezugsrahmens vor, und es werden sämtliche vorhergehen­ den Rahmen oder pels als isolierte Einheiten ignoriert. Dabei erfolgt die Prädiktion sowohl auf der Sender- als auch auf der Empfängerseite auf der Grundlage rekonstruierter Abtast­ werte.

Im Gegensatz zum aufgezeigten Stand der Technik mit Prä­ diktions-Codierung und Interpolationstechnik betrifft die Er­ findung ein Codier/Decodier-Verfahren, in dem die Überein­ stimmung von Elementen in Bildrahmen für die Codierung sowie auch die Decodierung ohne Prädiktion und ohne Interpolation direkt ausgenutzt werden. Bei diesem Stand der Technik gemäß dem Oberbegriff des Patentanspruchs 1 wird stets der vorher­ gehende Rahmen zum gegenwärtigen Rahmen in Beziehung gesetzt und der bestabgestimmte Teilblock als Anzeige für eine Bewe­ gung von Rahmen zu Rahmen herangezogen und auch für die Co­ dierung der Information benutzt. Wie jedoch dargelegt wurde, ergeben sich bei solchen Systemen Schwierigkeiten bei der Fehlerbehebung.

Der Erfindung liegt die Aufgabe zugrunde, ein gattungsge­ mäßes Verfahren anzugeben, mit dem diese Schwierigkeiten ver­ meidbar sind und das eine zufriedenstellende Codierung und Decodierung ermöglicht.

Diese Aufgabe wird durch den Gegenstand des Patentan­ spruchs 1 gelöst. Eine vorteilhafte Weiterbildung ist im Un­ teranspruch definiert.

Erfindungsgemäß ist ein Verfahren zur digitalen Codierung von Bildelementbewegungen in Videosignalen zwischen Übertra­ gungsrahmen angegeben, bei dem diese Bewegung mit Bezug auf einen oder mehrere von mehreren vorhergehenden Rahmen (Frames) erfolgt.

Im erfindungsgemäßen Verfahren wird die Bewegung von Bild­ elementen zwischen Übertragungsrahmen so aufbereitet, daß sie in codierten Signalen zur Übertragung unter Bezug auf einen oder mehrere mehrerer vorhergehender Rahmen dargestellt wird, so daß, wenn sich die Bildinformation innerhalb des Zeitin­ tervalls, das durch die mehreren Rahmen dargestellt wird, wiederholt, diese Information nicht wieder, d. h. wiederholt, codiert zu werden braucht.

Die erfindungsgemäße Codierung und Decodierung nutzt eine "ausgeweitete Suche", wobei beispielsweise als vorbestimmte Anzahl acht vorhergehende Rahmen auf eine Übereinstimmung von Elementen in den Bildrahmen untersucht werden, wobei dann be­ züglich einem oder auch mehreren dieser vorhergehenden Rahmen gefundene Übereinstimmungen für die Codierung zur Übertragung ausgenutzt werden. Hierdurch wird eine effektivere und auch vollständigere Codierung möglich. Darüber hinaus werden eben­ falls am Empfänger die Rahmen dieser vorbestimmten Anzahl vorhergehender Bildinformation gespeichert und es erfolgt eine Decodierung bezüglich ausgewählter Rahmen, wobei das Auswahlkriterium für einen oder mehrere solcher ausgewählter Rahmen die bereits gefundene Übereinstimmung im Codierer ist. Ein spezielles Element wird z. B. aus dem vierten vorhergehen­ den Rahmen decodiert, wenn im Codierer gefunden wurde, daß ein Element im gerade vorliegenden Rahmen bereits vier Rahmen zuvor vorgelegen hat. Auf diese Weise ist es möglich, Bewe­ gung sowohl auf der Codierer- als auch auf der Decodierersei­ te bei Haltung der Datenrate innerhalb akzeptierbarer Grenzen effektiv vollständig zu codieren und zu decodieren.

Darüber hinaus ermöglicht das Codier- und Decodierverfah­ ren der Erfindung, daß auch die Fehlerbehebung bei einem Rah­ menübertragungsverlust gegenüber dem Stand der Technik deut­ lich verbessert ist. So ist, wie weiter unten ausgeführt, im gattungsgemäßen Stand der Technik bisher von der Decodierein­ richtung der letzte fehlerfreie Rahmen so lange gehalten wor­ den, bis ein neuer im Intramode codierter Rahmen empfangen und decodiert worden war. Erfindungsgemäß wird für eine Feh­ lerbehebung anders vorgegangen, indem die Codiereinrichtung abhängig davon, welche der vorhergehenden Rahmen im Speicher der Decodiereinrichtung erfolgreich gespeichert wurden, ihren Codiervorgang, d. h. den Rahmenelementenvergleich usw. aus­ führt. Mit anderen Worten ermöglicht das erfindungsgemäße Verfahren der Codierung und Decodierung mit Speicherung je­ weils einer vorbestimmten Anzahl von vorhergehenden Rahmen in der Codiereinrichtung und Decodiereinrichtung, so daß die Co­ diereinrichtung für die Fehlerbehebung eine Auswahl in den in einem Speicher der Decodiereinrichtung gespeicherten Rahmen treffen kann und einen neuen ("frischen") Rahmen unter Bezug auf einen oder mehrere dieser Rahmen codieren kann. Hier­ durch wird das Fehlerbehebungsverfahren im Vergleich zum bekannten, oben aufgezeigten Verfahren deutlich verbessert und kann auch höhere Fehlerbitraten im Kanal bewältigen.

Im folgenden wird die Erfindung an Hand der bei liegenden Figur, die die Funktionsweise des erfindungs­ gemäßen Systems schematisch darstellt, näher erläutert.

Vorhandene Auslegungen gemäß dem Oberbegriff des Patentanspruchs 1 von Codier/Decodier-Anord­ nungen (Codex) erzielen Codiereinsparungen durch Codieren der Unterschiede zwischen aufeinanderfolgenden Rahmen von Bildin­ formation, und darüber hinaus wird das Differenzsignal weiterhin reduziert, indem jede mögliche Bewegung von Bildelementen, die zwischen aufeinanderfolgenden Rahmen erfaßt wird, durch sogenannte "side information" in Form von Bewegungsvektoren dargestellt oder wiedergegeben wird. Jeder Rahmen ist in Teilblöcke von beispielsweise 8 × 8 Pixel oder Pels aufgeteilt, und es wird eine Suche nach dem bestpassend­ sten oder abgestimmten Teilblock im vorhergehenden Rahmen innerhalb eines Suchfensters von beispielsweise 22 × 22 Pixeln oder Pels durchgeführt. Der am besten passende Teilblock liefert dann eine Anzeige jeglicher Bewegung von Rahmen zu Rahmen.

In der Erfindung wird die Suche nach dem bestpassendsten oder abgestimmten Teilblock in jedem von acht vorhergehenden Rahmen, die in einem Speicher 1 festgehalten bzw. gespeichert werden, durch­ geführt. Diese ausgeweitete Suche ergibt zweierlei Vorteile. Zunächst kann jedes Bildinformationselement im gerade vorliegenden Rahmen, welches eine Wiederholung eines Elements irgendeines der vorhergehenden acht Rahmen darstellt, effektiver codiert werden. Beispiels­ weise kann ein Element im gerade vorliegenden Rahmen bereits vier Rahmen zuvor vorgelegen haben, jedoch nicht in irgendeinem der dazwischenliegenden Rahmen. Somit kann dieses Element einfacher im Decodier­ prozeß aus dem vierten zurückliegenden Rahmen wiedergewonnen werden, als daß es erforderlich ist, dieses Element wiederum zu codieren. Der zweite Vorteil liegt darin, daß Bewe­ gungen eines Bruchteil s eines Pels oder Pixels eben­ falls effizienter codiert werden können, denn, wenn eine Bewegung mit einer Geschwindigkeit von einem halben Pel oder Pixel pro Rahmen vorliegt, so wird die Bildinformation des gerade vorliegenden Rahmens zwei Rahmen zuvor oder zurück vorgelegen haben, selbst wenn sie sich nicht im unmittelbar vorhergehenden Rahmen befand. Auf diese Weise kann zuvor nicht zugreif­ bare Bildinformation codiert werden und dazu verwendet werden, das Bild beim Decodieren zu erweitern und zu verbessern, oder die Codierung mit völliger Decodierbarkeit kann effizienter ausgeführt werden, um die Datenrate inner­ halb akzeptierbarer Grenzen zu halten.

Die Bewegungsvektorinformation in der vorliegen­ den Anordnung ist insofern dreidimensional, als daß sie Horizontal-Vertikal- und zeitliche Komponenten auf­ weist, und zwar wegen der Hinzufügung von drei Bit (Dreibitwort) als gültige Zeitwertinformation, (die einen von acht Rahmen anzeigt). Aus diesem Grund kann die Informationsmenge, die zu übertragen ist, signifi­ kant reduziert werden, wenn eine gute Anpassung oder Übereinstimmung für einen Block von Pels oder Pixeln in irgendeinem der acht vorhergehenden Rahmen gefun­ den werden kann. Die verwendete Suchstrategie besteht in einer logarithmischen (3-stufigen oder 3-Schritt-) Suche in jedem der acht Rahmen, gefolgt von einer Ent­ scheidung bezüglich der besten Anpassung oder Ab­ stimmung von jedem Rahmen. Das Korrelationskriterium für die Teilblockabstimmung (Subblock-Matching) ist der mittlere Absolutfehler (MAE = Mean Absolute Error).

Zur Wiederherstellung bzw. Fehlerbehebung am Emp­ fänger setzt die Decodiereinrichtung der Codierein­ richtung ein Kennzeichen (Flag), um anzuzeigen, welcher Rahmen verlorengegangen ist, und die Codiereinrichtung bestimmt daraufhin, welchen der vorhergehenden Rahmen, die in einem Speicher 2 festgehalten, d. h. gespeichert werden, falls überhaupt geeignete Rahmen vorhanden sind, sie zur Wiederherstellung bzw. Fehlerbehebung verwenden kann. Die Anzahl von vorhergehenden Rahmen, die ver­ wendet werden können, hängt von der Schleifenverzögerung ab, die wiederum selbst von der Übertragungsweg- oder Pfadverzögerung und den Verzögerungen der Codiereinrich­ tungs- und Decodiereinrichtungshardware und -software abhängt. Je größer die Schleifenverzögerung, um so größer ist die Anzahl von Rahmen, die am Decodierer verlorengehen werden.

Die Wiederherstellung nach Fehlern in der Über­ tragung kann unter Bezugnahme auf den zuletzt empfange­ nen ungestörten Rahmen der acht Rahmen ausgeführt werden.

Mit dem beschrie­ benen Verfahren können quantitative Signal/Rausch-Gewinne (-Verstärkungen) erzielt werden und insbesondere für Mund- und Armbewegungen subjektive Verbesserungen gewonnen werden.

Claims (2)

1. Verfahren zur digitalen Bildübertragung unter Ausnutzung der Übereinstimmung von Elementen in Bildrahmen für die Co­ dierung und Decodierung, dadurch gekennzeichnet, daß für die Codierung zu übertragender Bildinformation eines Rahmens Elemente dieses Rahmens mit Elementen jedes einer vorbestimmten Anzahl vorhergehender aufeinanderfolgender, hierzu gespeicherter Rahmen verglichen wird und daß bezüglich einem oder mehreren dieser vorhergehenden Rahmen gefundene Übereinstimmungen für die Codierung zur Übertragung aus ge­ nutzt werden, und daß die derart codierte übertragene Bildin­ formation in bezug auf einen oder mehrere, abhängig von der gefundenen Übereinstimmung ausgewählte Rahmen dieser vorbe­ stimmten Anzahl, hierzu auch am Empfänger gespeicherter Rah­ men decodiert wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß bei einem Rahmenübertragungsverlust bei der Codierung im Speicher des Empfängers fehlende Rahmen für den Rahmenele­ mentvergleich nicht berücksichtigt werden.