DE10231285B4

DE10231285B4 - Verfahren zur Komprimierung und Dekomprimierung von Videodaten

Info

Publication number: DE10231285B4
Application number: DE2002131285
Authority: DE
Inventors: Gerd Dipl.-Ing. Mossakowsk
Original assignee: T Mobile Deutschland GmbH
Current assignee: Telekom Deutschland GmbH
Priority date: 2001-03-21
Filing date: 2002-07-10
Publication date: 2004-10-21
Anticipated expiration: 2022-07-11
Also published as: DE10231285A1

Abstract

Verfahren zur Komprimierung von Videodaten, die aus einem Array einzelner Bildpunkte (Pixel) bestehen, wobei jedes Pixel (0-419) einen sich zeitlich verändernden Pixelwert aufweist, der Farb- oder Helligkeitsinformation des Pixels beschreibt, mit den Schritten:
a) Ermitteln eines Prioritätswertes für jedes Pixel des Arrays durch Berechnen eines Pixeldifferenzwertes anhand des jeweils momentanen Pixelwerts des Pixels in Bezug auf die momentanen Pixelwerte einer zuvor festgelegten Gruppe von benachbarten Pixeln;
b) Zusammenfassen der für die Berechnung des Prioritätswertes hinzugezogenen Pixel zu einer Pixelgruppe (P0-P4),
c) Sortieren der Pixelgruppen anhand ihres Prioritätswertes und Ablegen in einem Prioritätenarray; und
d) Abspeichern und/oder Übertragen der Pixelgruppen entsprechend ihrer Priorität im Prioritätenarray,
wobei die Schritte a) bis d) ständig wiederholt werden, wobei die Prioritätswerte der Pixelgruppen stets neu ermittelt werden und das Prioritätenarray zu jedem Zeitpunkt die nach aktuellen Prioritäten sortierten Pixelgruppen enthält,
nach dem Hauptpatent DE 101 13 880 ,...

Description

Die Erfindung betrifft ein Verfahren zur Komprimierung von Videodaten, die aus einem Array einzelner Bildpunkte (Pixel) bestehen, wobei jedes Pixel einen sich zeitlich verändernden Pixelwert aufweist, der Farb- oder Helligkeitsinformation des Pixels beschreibt, gekennzeichnet durch die Schritte:

a) Ermitteln eines Prioritätswertes für jedes Pixel des Arrays durch Berechnen eines Pixeldifferenzwertes anhand des jeweils momentanen Pixelwerts des Pixels in Bezug auf die momentanen Pixelwerte einer zuvor festgelegten Gruppe von benachbarten Pixeln;
b) Zusammenfassen der für die Berechnung des Prioritätswertes hinzugezogenen Pixel zu einer Pixelgruppe,
c) Sortieren der Pixelgruppen anhand ihres Prioritätswertes und Ablegen in einem Prioritätenarray; und
d) Abspeichern und/oder Übertragen der Pixelgruppen entsprechend ihrer Priorität im Prioritätenarray,

DE 101 13 880

Gleichermaßen betrifft die Erfindung ein Verfahren zur Rekonstruktion von Videodaten, die mit dem Verfahren gemäß den Ansprüchen 1 bis 8 komprimiert wurden, dadurch gekennzeichnet, dass die jeweils eingelesenen Pixelwerte in Form eines Bildarrays dargestellt werden, wobei die noch nicht übertragenden Pixel aus den schon übertragenden Pixeln berechnet werden, nach dem Hauptpatent DE 101 13 880 .
Um Videodateien über einen Kommunikationskanal flüssig übertragen zu können, sind hohe Übertragungsbandbreiten notwendig. Insbesondere bei Mobilkommunikationsnetzen stehen jedoch nur begrenzte Bandbreiten zur Verfügung. Bei der Übertragung und Echtzeitwiedergabe eines Videos, z.B. auf dem Display eines Mobilfunkendgeräts oder mobilen Computers, macht sich eine niedrige Bandbreite insbesondere bei schnellen Szenenwechseln bemerkbar, indem die Szenen nicht mehr flüssig wiedergegeben werden können.
Nach der heutigen Stand der Technik werden Videosignale in einer schnellen Abfolge von Einzelbildern aufgezeichnet und wiedergegeben. Beim Fernsehen (z.B. PAL-Norm) sind dies 25 Bilder pro Sekunde bzw. 50 Halbbilder. Bei digitalen Aufnahmen können das bis zu 30 Bilder pro Sekunde sein. Bei der Übertragung wird jedes Bild in Zeilen zerlegt und sequenziell an einen Empfänger übertragen und dort wieder zu einem Bild zusammengesetzt.
Bekannte Komprimierungsmethoden basieren im wesentlichen auf einer Reduzierung der Auflösung und der Verringerung der Anzahl der (zu speichernden oder zu übertragenden) Bilder pro Sekunde. Bei der digitalen Kompression werden im wesentlichen die Differenzbilder, d.h. nur die sich unterscheidenden Bildinformationen zwischen aufeinanderfolgenden Bildern, anstelle von kompletten Bildern übertragen.
Der neueste Standard für Videokodierung ist MPEG4.
Auch bei MPEG4 muss bei einem Szenenwechsel zunächst ein komplettes neues Bild übertragen werden, von dem ausgehend dann wieder Differenzbilder übertragen werden können. Steht nur eine geringe Bandbreite zur Verfügung, so benötigt man für die Übertragung des kompletten Bildes in aller Regel eine gewisse Zeit. Bei niedrigen Übertragungsraten kann diese Zeit im Bereich bis zu einigen Sekunden liegen. Damit in diesem Zeitraum ein für das menschliche Auge ununterbrochener Bildübergang entsteht, wird das zuletzt übertragene Bild solange angezeigt, bis das neue Bild vollkommen übertragen wurde. Der Betrachter empfindet dieses als kurzes Anhalten des Videos, sogenanntes Ruckeln, so als ob er an dem Videorekorder die Standbildfunktion benutzt. Um z.B. bei Videokonferenzsystemen mehrere Szenenbilder gleichzeitig ruckfrei anzeigen zu können, werden nach Möglichkeit jeweils eigene Übertragungskanäle für jede Szene geöffnet.

Zum Thema Bilddatenübertragung gibt es eine Reihe weiterer Veröffentlichungen.

Aus der DE 692 26 825 T2 ( EP 0 521 662 B1 ) ist ein Verfahren zum Bearbeiten von Bilddaten bekannt, die aus einem Array von einzelnen Bildpunkten bestehen. Dabei wird jedes Pixel eines Videobildes mit einer vorgewählten Gruppe von Nachbarpixel verglichen, und es werden Prioritätswerte derart ermittelt, dass Lokalbereich-Maxima und Lokalbereich-Minima dargestellt werden. Das Verfahren beruht auf der Anwendung von Autokorrelation.

Die DE 696 10 987 T2 ( EP 0 845 191 B1 ) betrifft ein Verfahren zur Kompression von Bilddaten, das im wesentlichen auf einer Vorhersage von Bilddaten aus bereits abgetasteten Bilddaten beruht.

Die DE 695 19 462 T2 ( EP 0 705 027 B1 ) offenbart ein Verfahren zur Datenreduktion von Farbbildern mittels Farbtabellen und Zusammenfassung von Bildbereichen

Die DE 694 25 047 T2 ( EP 0 685 137 B1 ) offenbart ein adaptives variables Längenkodierungs- und -Dekodierungsverfahren für Bilddaten, wobei hierfür eine Vielzahl von Variabellängen-Kodiertabellen verwendet werden.

Die DE 693 24 538 T2 ( EP 0 588 476 B1 ) betrifft ein Bilddatenkompressionsverfahren, das auf einer Aufspaltung der Bildfrequenzen mit nachfolgender Quantisierung der Frequenzanteile basiert.

Die DE 195 41 457 C1 lehrt ein Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz, das auf einer durchgeführten Bewegungsschätzung für jeden Bildblock basiert.

Die Aufgabe der Erfindung besteht darin, ein Verfahren nach dem Hauptpatent DE 101 13 880 derart weiterzubilden, dass eine Übertagung von zusätzlichen Daten innerhalb einer Videodatenübertragung, insbesondere eine flüssige Videoübertragung auch bei geringen Übertragungsbandbreiten, möglich wird.

Diese Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale der Patentansprüche 1 und 10 gelöst.

Gemäß dem Hauptpatent erfolgt vorzugsweise eine parallele Verarbeitung der Videoinformationen im Videoaufnahmechip. Die parallele Verarbeitung dient dem Zweck, zunächst die wichtigsten Pixel zu ermitteln und diese entsprechend einer Priorisierung in ein Prioritätenarray abzulegen. Dieses Array enthält zu jedem Zeitpunkt, die nach der Priorisierung sortierten Pixelwerte. Entsprechend der Priorisierung werden diese Pixel, und die für die Berechnung der Priorisierung benutzten Pixelwerte, übertragen bzw. abgespeichert. Ein Pixel bekommt eine hohe Priorität, wenn die Unterschiede zu seinen benachbarten Pixel sehr groß sind. Die Pixel werden in Pixelgruppen übertragen, deren Position im Array durch Positionswerte bestimmt ist.

Zur Rekonstruktion des Videobilds werden die jeweils aktuellen Pixelwerte auf dem Display dargestellt. Die noch nicht übertragenden Pixel werden aus den schon übertragenden Pixel berechnet. Entsprechend der Rechenleistung, der Übertragungsbandbreite und der Größe des Displays können unterschiedliche Verfahren zur Berechnung der noch nicht übertragenen Pixel eingesetzt werden. Steht eine sehr große Bandbreite zur Verfügung kann eine einfache lineare Interpolation durchgeführt werden. Steht nur eine sehr kleine Bandbreite zur Verfügung, kann dies bei der Übertragung der priorisierten Pixel berücksichtigt werden.

Erfindungsgemäß werden bei der Übertragung der zusätzlichen Daten Positionswerte verwendet, die nicht in den eigentlichen Videodaten vorkommen sondern einem Offset-Bereich des Arrays zugeordnet sind.

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.

Jede Pixelgruppe wird mit einem Positionswert übertragen, der die Position der Pixelgruppe in jedem Bild kennzeichnet. Jedes Bild besteht aus einem Array (Bildarray) von Bildpunkten, das durch die Werte Höhe h × Breite h, jeweils angegeben in Bildpunkten (Pixel), definiert ist.
Ausgehend von dem in der DE 101 13 880 beschriebenen, einfachen Beispiel ergeben sich bei einer Bildhöhe h von beispielsweise 21 und einer Bildbreite b von 20 Bildpunkten Positionswerte der Pixelgruppen zwischen 0... 419. Eine neue Bildszene würde beim Positionswert 420 beginnen und bei 839 enden, usw.
Erfindungsgemäß beginnt die Übertragung eines neuen Bildes nicht beim Positionswert 420, sondern es wird nun mit Offsets gearbeitet, so dass es möglich wird, schon im Vorfeld z.B. Informationen aus anderen Szenen zu übertragen. Dabei muss der Offset mindestens den Wert Höhe × Breite eines Bildes betragen. Mit einem Offset dessen Größe – n × Breite b × Höhe h ist, können Informationen aus verschiedenen Szenen im Voraus übertragen werden. Das Umschalten zu einer Szene mit einem bestimmten Offset kann durch Übertragung eines Positionswerts erfolgen, der im Wertebereich des Offsets liegt und somit in keiner der Szenen vorkommt bzw. vorkommen kann. Das prinzipielle Verfahren soll an einem einfachen Beispiel verdeutlicht werden.
Beispiel:

Bildbreite b: 20 Bildpunkte (Pixel)
Bildhöhe h: 21 Bildpunkt
Minimaler Offset = Bildbreite b × Bildhöhe h = 20 × 21 = 420

Damit würde sich ein minimaler Offset von 420 ergeben. Um eine optimale Performance zu erhalten, ist es ratsam, dem maximalen Offset einen Wert von 2ⁿ zu geben, wobei n eine natürliche Zahl ist. In diesem Fall würde sich n = 9 anbieten, da sich hieraus 2⁹ = 512 ergibt.
Die Positionswerte zwischen 420 und zum Beispiel 512 können nun für die Übertragung von zusätzlichen Informationen, d.h. für eine Inline-Signalisierung verwendet werden. Mittels der Inlinesignalisierung können zum Beispiel die Zeitpunkte von Szenenwechseln übertragen werden.
In dem oben beschriebenen Beispiel können den Positionswerten unterschiedliche Szenen eindeutig zugewiesen werden. Dieses Verfahren kann auch dazu benutzt werden, mehrere Szenen parallel zu übertragen, wie es zum Beispiel bei Videokonferenzsystemen hilfreich ist, um z.B. mehrer Kamerabilder gleichzeitig darzustellen, z.B. Kamera 1 = Übersichtskamera im Konferenzraum, Kamera 2 = Kamera auf aktuellen Sprecher, Kamera 3 = Dokumentenkamera, etc.
Beispiel:
Die Vorteile gegenüber dem Stand der Technik aufgrund der priorisierenden Pixelübertragung entsprechen zunächst den in der Patentanmeldung DE 101 13 880.6 beschriebenen Vorteilen, die unter anderem darin bestehen, dass eine adaptive Kompression der Videobilddaten an die vorhandene Übertragungsbandbreite und die Bildauflösung des verwendeten Endgeräts möglich wird.
Ein im voraus übertragender Szenenwechsel erlaubt es, insbesondere bei niedrigen Bandbreiten, die neue Szene ohne eine merkliche Verzögerung anzuzeigen.
Durch die Inlinesignalisierung entsteht weniger Overhead als dass für mehrere Kameras (z.B. Videokonferenzsystem) einzelne Übertragungskanäle geöffnet werden müssen.
Durch die Inlinesignalisierung ist auch zu jedem Zeitpunkt eine Synchronisation zwischen den Videodaten und den zusätzlichen Daten gewährleistet.

Claims

Verfahren zur Komprimierung von Videodaten, die aus einem Array einzelner Bildpunkte (Pixel) bestehen, wobei jedes Pixel (0-419) einen sich zeitlich verändernden Pixelwert aufweist, der Farb- oder Helligkeitsinformation des Pixels beschreibt, mit den Schritten: a) Ermitteln eines Prioritätswertes für jedes Pixel des Arrays durch Berechnen eines Pixeldifferenzwertes anhand des jeweils momentanen Pixelwerts des Pixels in Bezug auf die momentanen Pixelwerte einer zuvor festgelegten Gruppe von benachbarten Pixeln; b) Zusammenfassen der für die Berechnung des Prioritätswertes hinzugezogenen Pixel zu einer Pixelgruppe (P0-P4), c) Sortieren der Pixelgruppen anhand ihres Prioritätswertes und Ablegen in einem Prioritätenarray; und d) Abspeichern und/oder Übertragen der Pixelgruppen entsprechend ihrer Priorität im Prioritätenarray, wobei die Schritte a) bis d) ständig wiederholt werden, wobei die Prioritätswerte der Pixelgruppen stets neu ermittelt werden und das Prioritätenarray zu jedem Zeitpunkt die nach aktuellen Prioritäten sortierten Pixelgruppen enthält, nach dem Hauptpatent DE 101 13 880 , dadurch gekennzeichnet, dass die Position der Pixelgruppen im Array durch Positionswerte bestimmt ist, und dass bei der Übertragung der zusätzlichen Daten Positionswerte verwendet werden, die nicht in den eigentlichen Videodaten vorkommen sondern einem Offset-Bereich des Arrays zugeordnet sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Offsetbereich bei einem Positionswert h × b beginnt.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass der Offsetbereich bei einem Positionswert 2ⁿ >= h × b endet, wobei n eine natürliche Zahl ist.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Videodaten mit Positionswerten von < h × b und die zusätzlichen Daten mit Positionswerten von >= h × b übertragen werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass anhand der zusätzlichen Daten im voraus Videodaten aus anderen Szenen übertragen werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass anhand der zusätzlichen Daten Szenenwechelzeitpunkte übertragen werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die zusätzlichen Daten in Form von Pixelgruppen übertragen werden.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass den Pixelgruppen in Abhängigkeit von ihrer inhaltlichen, zeitlichen oder geräteabhängigen Relevanz Prioritäten zugeordnet werden.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Pixelgruppen in absteigender Reihenfolge ihrer Priorität übertragen werden.
Verfahren zur Rekonstruktion von Videodaten, die mit dem Verfahren gemäß den Ansprüchen 1 bis 9 komprimiert wurden, wobei die jeweils eingelesenen Pixelwerte in Form eines Bildarrays dargestellt werden, wobei die noch nicht übertragenden Pixel aus den schon übertragenden Pixeln berechnet werden, nachdem Hauptpatent DE 101 13 880 , dadurch gekennzeichnet, dass die zusätzlichen Daten im Empfänger anhand ihrer Positionswerte erkannt werden.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Szenen beim Empfänger anhand der ihnen zugeordneten Positionswerte identifiziert werden.