DE10162990A1 - Verfahren und Vorrichtung zur Kompression von Bildfolgen - Google Patents

Abstract

Der Anmeldungsgegenstand betrifft im Wesentlichen die Kompression von Videosequenzen, wobei eine Zerlegung in Videosegmenten erfolgt und stellvertretend für diese Segmente Schlüsselbilder gebildet werden, die anschließend zu einem Mosaikbild zusammengefasst werden, das dann durch ein Bildcodierungsverfahren codiert und gespeichert bzw. übertragen wird. Auf diese Weise kann ein Betrachter beispielsweise eine schnelle und repräsentative Übersicht einer beliebigen Videosequenz erhalten.

Description

• Die Erfindung betrifft ein Verfahren und eine Vorrichtung, bei dem/der bestimmte Bilder aus einer Bildfolge ausgewählt und übertragen bzw. gespeichert werden. Derartige Verfahren bzw. Vorrichtungen kommen vor allem dort zum Einsatz, wo nur eine begrenzte Übertragungsrate bzw. ein begrenztes Speichervermögen zur Verfügung steht.
• Ein typisches Beispiel hierfür sind moderne digitale Kameras, die zunehmend neben der Aufzeichnung von Einzelbildern auch ganze Videosequenzen aufzeichnen können. Einzelbilder werden dabei zumeist im JPEG-Format komprimiert und abgelegt, während Videosequenzen typischerweise mit MPEG-1 oder neuerdings auch MPEG-4 codiert werden. Die Bilddaten werden in der Regel lokal in der digitalen Kamera auf einer Speicherkarte abgelegt und später per Kabelschnittstelle auf einen PC zur Weiterverarbeitung übertragen. Zukünftige digitale Kameras werden allerdings zunehmend mit einer Funkschnittstelle ausgestattet sein, zum Beispiel weil die Kamera mit einem Mobiltelefon in einem Gehäuse integriert wird oder aber das klassische Mobiltelefon um eine Kamerafunktion erweitert wird. In diesem Fall ergibt sich die Möglichkeit, die aufgenommenen Bild- oder Videodaten neben der lokalen Speicherung auch unmittelbar über die Funkschnittstelle an einen Empfänger zu versenden. Hierbei tritt jedoch bei Videosequenzen das Problem auf, dass die zu übertragende Datenmenge sehr groß sein kann. So benötigt eine Minute digitales Video in ITU-R 601 Format bei vertretbarer Qualität eine Aufzeichnungsrate von 512 kbit/s unter Verwendung einer MPEG-1 Codierung und damit mehr als 3,8 MB Speicherplatz. Die Übertragung dieser Datenmenge über einen Funkkanal nach dem GPRS- oder HSCSD-Verfahren bei angenommenen 112 kbit/s verfügbarer Kanalkapazität würde in diesem Fall mehr als 4,5 Stunden dauern. Dieses Problem der ernormen Datenmengen bei Videosequenzen wird bei der Aufzeichnung in mobilen Endgeräte heute in der Regel so gelöst, dass die Daten nur lokal in der digitalen Kamera oder dem Bildtelefon gespeichert werden und später durch Kabel zur Weiterverarbeitung an zum Beispiel einen PC geschickt werden. Im Fall der Weiterleitung per Funk an einen Empfänger werden zum Beispiel die oben genannten bekannten Kompressionsverfahren verwendet. Die Übertragung erfolgt dann entweder zeitsynchron zur Aufnahme oder aber zeitlich versetzt und zusätzlich eventuell verlangsamt.
• Die der Erfindung zugrunde liegende Aufgabe besteht nun darin, ein Verfahren und eine Vorrichtung zur Kompression von Bildfolgen anzugeben, das/die bei begrenzter Übertragungsrate bzw. bei begrenztem Speichervermögen eine für den Menschen möglichst guten Überblick über die gesamte Bildfolge ermöglicht.
• Diese Aufgabe wird erfindungsgemäß hinsichtlich des Verfahrens durch die Merkmale des Patentanspruchs 1 und hinsichtlich der Vorrichtung durch die Merkmale des Patentanspruchs 8 gelöst.
• Die Erfindung besteht im Wesentlichen darin, dass aus einer Videosequenz beispielsweise aufgrund von Szenenwechseln Segmente gebildet und hieraus wiederum repräsentative Schlüsselbilder ermittelt werden, die anschließend zu einem einzigen Bildmosaik zusammengefasst und mit einem Bildcodierverfahren codiert werden. Das Verfahren lässt sich zur direkten Übertragung von Videos aus einer mobilen digitalen Kamera, bei der Abfrage von Videonachrichten aus dem Festnetz auf ein mobiles Endgerät oder aber zur Übersichterstellung jeder beliebigen Videosequenz anwenden. Die damit erreichten Vorteile bestehen in einer geringen Übertragungsrate, in einer einfachen Handhabung, in der geringen Komplexität und in einer höheren Effizienz eines großen Mosaikgesamtbildes in Folge der geringeren Overheadinformation.
• Die Erfindung wird nun anhand eines in der Zeichnung ausgeführten Darstellungsbeispiels näher erläutert.
• Die Zeichnung zeigt eine Kamera 1 zur Erfassung von Bildern und/oder Bildfolgen 12, wobei insbesondere die Bildfolgen beispielsweise durch eine einfache PCM-Codierung oder durch eine MPEG-Codierung in einer Codiereinheit 2 zu einer codierten Videosequenz 24 codiert werden. In der Codierungseinheit werden Signale 23 für eine Segmenterkennungseinheit 3 gebildet, in der ihrerseits Segmentgrenzen 34 für eine Schlüsselbilderzeugungseinheit 4 gebildet werden.
• Alternativ werden auch die Bildfolgen 12 selbst, ohne vorherige Codierung, zur Schlüsselbilderzeugung und Segmenterkennung herangezogen.
• In der Einheit 4 wird aus der codierten Videosequenz 24 mit Hilfe der Segmentgrenzen 34 aus den hierdurch festgelegten Videosegmenten eine vorgebbare Anzahl von Schlüsselbildern 45 ausgewählt. Diese ausgewählten Schlüsselbilder 45 werden daraufhin in einer Mosaikgenerierungseinheit 5 zu einem Bildmosaik 56 kombiniert und anschließend durch ein Bildcodierungsverfahren in einer Codierungseinheit 6 codiert und in einer Einheit 7 gespeichert oder übertragen. Nach dem Auslesen aus dem Speicher oder einer Übertragung erfolgt eine Decodierung in einer Decodiereinheit 8 und schließlich wird das Bildmosaik in einer Anzeige 9 dargestellt.
• Die Segmentgrenzen werden beispielsweise aufgrund des Wechsels der globalen Bildaktivität von einem Bild der Sequenz zum nächsten ermittelt. Übersteigt das Merkmal für diesen globalen Bildaktivitätswechsel einen vorgegebenen Schwellwert, so wird ein neues Videosegment initiiert.
• Es besteht beispielsweise die Möglichkeit, dass die gesamte Videosequenz gespeichert wird und entsprechend einer vorgegebenen Anzahl von Schlüsselbildern die längsten Segmente ausgewählt und pro Segment genau wiederum ein Schlüsselbild ausgewählt wird.
• Eine andere Erfindungsvariante besteht beispielsweise darin, dass ebenfalls die Videosequenz gespeichert wird und eine Unterschiedsschwelle zur Bildung der Segmentgrenzen derart geregelt wird, dass eine vorgegebene Anzahl von Schlüsselbildern der Anzahl aller so gebildeten Videosegmente entspricht und wiederum pro Segment genau ein Schlüsselbild ausgewählt wird.
• Die Auswahl eines Schlüsselbildes kann dabei beispielsweise dadurch erfolgen, dass ein Bild in der Mitte des jeweiligen Videosegments genommen wird oder dass ein Schlüsselbild dadurch ausgewählt wird, dass ein Bild ermittelt wird, das zu möglichst vielen Bildern dieses Videosegments einen möglichst geringen Unterschied aufweist.
• Durch die Erfindung wird eine deutliche Reduktion der zu übertragenden Datenmenge erreicht. In dem eingangs genannten Fall könnten zum Beispiel 6 Schlüsselbilder repräsentativ für die aufgezeichnete Sequenz sein, was einem Abstand von 10 Sekunden entspricht. Bei einer CIF-Auflösung dieser Schlüsselbilder und einem typischen Kompressionsfaktor von etwa 10 bei Anwendung einer JPEG-Codierung ergibt sich eine Gesamtdatenmenge von ca. 91 KB. Gegenüber der oben genannten MPEG-1 Codierung ist die Übertragung damit um den Faktor 41 kleiner und würde sich auf etwa 6,5 Sekunden reduzieren, was einen für die praktische Anwendung durchaus akzeptablen Wert darstellt. Ein weiterer Vorteil der Mosaikdarstellung ist, dass der Empfänger den Inhalt des Videostroms auf einen Blick und damit wesentlich schneller erfassen kann als durch die Betrachtung des vollständigen Videos.

Claims (8)

1. Verfahren zur Kompression von Bildfolgen, bei dem in der Videosequenz Segmentgrenzen (34) ermittelt werden,
bei dem aus den durch die Segmentgrenzen festgelegten Videosegmenten eine vorgebbare Anzahl von Schlüsselbildern (45) ausgewählt und zu einem Bildmosaik (56) kombiniert werden und
bei dem das Bildmosaik codiert (6) und übertragen/gespeichert (7) wird.

2. Verfahren nach Anspruch 1, bei dem Bildfolgen zuvor in eine codierte Videosequenz (24) umgewandelt werden.

3. Verfahren nach Anspruch 1 oder 2, bei dem die Segmentgrenzen auf der Basis der Unterschiede zweier oder mehrerer aufeinander folgender Bilder der Videosequenz gebildet werden.

4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem die Videosequenz gespeichert wird und bei dem entsprechend der vorgegebenen Anzahl von Schlüsselbildern die längsten Segmente ausgewählt und pro Segment genau ein Schlüsselbild ausgewählt wird.

5. Verfahren nach Anspruch 3, bei dem die Videosequenz gespeichert wird und eine Unterschieds-Schwelle zur Bildung der Segmentgrenzen derart geregelt wird, dass die vorgegebene Anzahl der Schlüsselbilder der Anzahl der Videosegmente entspricht und pro Segment genau ein Schlüsselbild ausgewählt wird.

6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem das Schlüsselbild dadurch ausgewählt wird, dass ein Bild in der Mitte der jeweiligen Videosequenz als Bestandteil des Bildmosaiks entnommen wird.

7. Verfahren nach einem der Ansprüche 1 bis 4, bei dem das Schlüsselbild dadurch ausgewählt wird, dass ein Bild ermittelt wird, das zu möglichst vielen Bildern dieses Videosegments einen möglichst geringen Unterschied aufweist.

8. Vorrichtung zur Kompression von Bildfolgen, bei der

a) eine Einheit (1, 2) zur Erfassung von Bildfolgen und deren Codierung,

b) eine Einheit (3) zur Bildung von Videosegmenten,

c) eine Einheit (4) zur Auswahl von Schlüsselbildern aus diesen Segmenten,

d) eine Einheit (5) zur Bildung eines Bildmosaiks aus diesen Schlüsselbildern und

e) eine Einheit (6, 7) zur Codierung und Übertragung/Speicherung dieses Bildmosaiks vorhanden sind.