DE3881213T2

DE3881213T2 - Bildübertragungssystem mit einer vorschaumode.

Info

Publication number: DE3881213T2
Application number: DE88905487T
Authority: DE
Inventors: Cheng-Tie Eastman Kodak C Chen; Scott Daly; Majid Eastman Kodak Co Rabbani
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1987-06-02
Filing date: 1988-05-23
Publication date: 1993-12-23
Anticipated expiration: 2008-05-24
Also published as: EP0364478B1; EP0364478A1; JPH02503853A; US4774562A; DE3881213D1; WO1988010051A1

Description

Die Erfindung betrifft Systeme zur Übertragung eines Bildes über einen Schmalband-Übertragungskanal mit räumlicher Transformationskodierung zum Komprimieren des Bildes und insbesondere ein System dieser Art mit Mitteln zur Erzeugung eines Vorbetrachtungsbildes mit geringer Auflösung während der Übertragung eines hochaufgelösten Bildes.
Es ist bekannt, daß bei der Übertragung eines Digitalbildes über einen Schmalband-Übertragungskanal durch eine Block- Transformationskodierung (wie z.B. eine diskrete Kosinus- Transformation) Kompressionsverhältnisse mit sehr hohen Bitraten erzielt werden können. Die Erklärung dafür, daß durch räumliche Transformationskodierung Kompressionsverhältnisse mit diesen hohen Bitraten erzielt werden können, ist in der Tatsache zu finden, daß bei der räumlichen Transformation der größte Teil der Energie eines Bildes auf die Transformationskoeffizienten mit den niedrigeren Raumfrequenzen konzentriert wird. Wenn die Transformationskoeffizienten in der Reihenfolge steigender Raumfrequenz angeordnet werden, wie dies zum Beispiel bei der bekannten Zickzack-Abtastung der Fall ist, ergeben sich Nullamplitudenkoeffizienten großer Lauflänge. Durch Huffmankodierung der Werte der Transformationskoeffizienten und Lauflängenkodierung der Nullamplitudenkoeffizientenstrings wird eine sehr effiziente Bildkompression erreicht. Eine Kompression dieser Art in einem Videobild-Kompressionssystem wird beispielsweise in US-A-4 302 775, Widergren et al, 1981 beschrieben.
Mit Hilfe einer blockweisen Transformationskodierung kann ein hochaufgelöstes Fernsehbild in weniger als einer Minute über eine Telefonleitung übertragen werden. Es ist auch bereits darauf hingewiesen worden (in dem Aufsatz "Image display techniques using the cosine transform" von King N. Ngan, IEEE transactions on acoustics and signal processing, Vol. ASSP-32 No. 1, February 1984), daß es bei Bildübertragungen mit niedriger Bitrate wünschenswert ist, dem empfängerseitigen Betrachter während der Übertragung des hochaufgelösten Bildes schnell (innerhalb weniger Sekunden) ein "Vorbetrachtungsbild" anzubieten, damit dieser die Brauchbarkeit des übertragenen Bildes unverzüglich beurteilen und die Übertragung beenden kann, wenn das hochaufgelöste Bild für ihn nicht von Interesse ist. Auf diese Weise werden Zeit und Kosten gespart. Das wäre z.B. sehr hilfreich, wenn es darum geht, aus einer gegegebenen Anzahl von Bildern (z.B. etwa 100) rasch ein bestimmtes Bild herauszusuchen. Ngan schlägt vor, ein solches Vorbetrachtungsbild mit geringer Auflösung aus den ersten Transformationskoeffizienten eines Bildes in der Weise zu entwickeln, daß man die Transformationskoeffizienten in der Reihenfolge steigender Raumfrequenz überträgt und die ersten empfangenen Koeffizienten zur Erzeugung eines Vorbetrachtungsbildes umgekehrt transformiert. In einem praktischen Bildübertragungssystem hat die von Ngan vorgeschlagene Technik zur Erzeugung eines Vorbetrachtungsbildes verschiedene Nachteile, die in dem Aufsatz von Ngan nicht behandelt wurden. Bei der Bildkompression durch Blocktransformation wird das Bild in Bildelementblöcke (beispielsweise Blöcke mit je 16 x 16 Pixeln) aufgeteilt. Aufeinanderfolgende Blöcke des Bildes werden transformiert und die kodierten Transformationskoeffizienten dann übertragen. Die Erfinder des in der vorliegenden Patentschrift beschriebenen Systems haben festgestellt, daß die von Ngan vorgeschlagene Technik der schrittweisen Übertragung, bei der nur einige wenige Koeffizienten am Anfang eines jeden Blocks zur Erzeugung eines Vorbetrachtungsbildes herangezogen werden, in einem realen Bildübertragungssystem insofern unpraktisch ist, als die Übertragung nur einiger weniger Koeffizienten am Anfang eines jeden Blocks der Lauflängenkodierung der Koeffizienten im Wege steht. Da für die empfängerseitige Wiedergabe des hochaufgelösten Bildes alle Koeffizienten benötigt werden, hat diese Technik außerdem den Nachteil, daß die Transformationskoeffizienten aller Blöcke mit der niedrigeren Frequenz bis zum Empfang der Koeffizienten mit der höheren Frequenz gespeichert werden müssen, so daß empfängerseitig eine entsprechend höhere Speicherkapazität erforderlich ist.
Der Erfindung liegt die Aufgabe zugrunde, ein System für die Übertragung von Stehbildern über einen Schmalband-Übertragungskanal, wie z.B. eine Telefonleitung, mit Mitteln zur Erzeugung eines geringaufgelösten Vorbetrachtungsbildes zu schaffen, bei dem die oben geschilderten Nachteile vermieden werden. Eine weitere Aufgabe der Erfindung besteht darin, ein System dieser Art für die Übertragung eines Farbbildes zu schaffen.
Gelöst werden diese Aufgaben erfindungsgemäß durch ein Stehbild-Kommunikationssystem mit senderseitigen Mitteln zur Durchführung einer Block-Kosinus-Transformation an einem Bild und einer Huffman- und Lauflängenkodierung der Transformationskoeffizienten zum Komprimieren der Bandbreite des Bildes und empfängerseitigen Mitteln zur Wiedergabe eines geringaufgelösten Vorbetrachtungsbildes während der Übertragung eines hochaufgelösten Bildes sowie empfängerseitigen Mitteln für die Übertragung eines Signals an den Sender zur Beendigung der Bildübertragung. Senderseitig sind ferner Mittel zur Datenreduktion eines hochaufgelösten Bildes zwecks Erzeugung eines geringaufgelösten Vorbetrachtungsbildes und zum Komprimieren und Übertragen des geringaufgelösten Bildes mit nachfolgender Übertragung des hochaufgelösten Bildes vorgesehen.
Zu den empfängerseitigen Mitteln gehören außerdem Mittel zur Wiedergabe des geringaufgelösten Bildes und zum blockweisen Ersetzen des geringaufgelösten Bildes durch das hochaufgelöste Bild bei dessen Empfang.
In einem bevorzugten Ausführungsbeispiel der Erfindung überträgt das System Farbbilder mit hochaufgelöstem Luminanzanteil und einem Chrominanzanteil. Durch Datenreduktion am Sender wird der Luminanzanteil eines geringaufgelösten Vorbetrachtungsbildes erzeugt. Der Vorbetrachtungsluminanzanteil, der Chrominanzanteil und der hochaufgelöste Luminanzanteil werden nacheinander übertragen. Der geringaufgelöste Luminanzanteil wird am Empfänger wiedergegeben. Der Chrominanzanteil wird der geringaufgelösten Luminanzwiedergabe bei Empfang des Chrominanzanteils blockweise hinzugefügt. Bei Empfang des hochaufgelösten Luminanzanteils wird der geringaufgelöste Luminanzanteil blockweise durch den hochaufgelösten Luminanzanteil ersetzt.
Fig. 1 zeigt ein Blockschaltbild eines erfindungsgemäßen Stehbild-Kommunikationssystems,
Fig. 2 zeigt ein Blockschaltbild mit weiteren Einzelheiten des Kompressions- und Kodierungsblocks in Fig. 1,
Fig. 3 zeigt ein Blockschaltbild mit weiteren Einzelheiten des Dekodierungs- und Dekompressionsblocks in Fig. 1,
Fig. 4 zeigt eine schematische Darstellung einer bevorzugten Ausführungsform der Erfindung in einem Kommunikationssystem mit Transceivern,
Fig. 5 zeigt ein Diagramm, in dem ein Feld des hochaufgelösten Luminanzanteils des Bildes dargestellt ist,
Fig. 6 zeigt ein Diagramm, das zum besseren Verständnis der Vorgänge bei der Datenreduktion des hochaufgelösten Luminanzanteils zur Erzeugung des Vorbetrachtungsluminanzanteils beitragen soll,
Fig. 7 zeigt ein Diagramm, das zum besseren Verständnis der Rekonstruktion des Luminanzanteils aus dem Vorbetrachtungsluminanzanteil für die Wiedergabe beitragen soll,
Fig. 8a und b zeigen Diagramme, die zum besseren Verständnis der Vorgänge bei der Datenreduktion des Chrominanzanteils des Bildes beitragen sollen,
Fig. 9 zeigt ein Diagramm, das zum besseren Verständnis der Rekonstruktion des Chrominanzanteils des Bildes am Empfänger beitragen soll,
Fig. 10a, b und c zeigen Diagramme, die zum besseren Verständnis der Wiedergabe des Bildes am Empfänger beitragen sollen, und
Fig. 11 - 15 zeigen Flußdiagramme, die zum besseren Verständnis der erfindungsgemäßen Arbeitsweise des in Fig. 4 gezeigten Transceivers beitragen sollen.
Das Blockschaltbild in Fig. 1 zeigt die wichtigsten Elemente eines erfindungsgemäßen Kommunikationssystems zum Komprimieren und Übertragen eines digitalen Farbbildsignals. Ein Sender 10 ist mit einem Bildspeicher 12 für die Speicherung eines Luminanzanteils Y und eines Chrominanzanteils C eines digitalen Farbbildes versehen. Von einer entsprechenden Quelle, wie z.B. einer Farbvideokamera oder einem Digitalbildrecorder (nicht dargestellt) empfängt der Sender ein digitales Farbbild Y, C. Der Sender 10 reduziert und mittelt (14) den Luminanzanteil Y des Bildes, um einen Vorbetrachtungsluminanzanteil Y' zu erzeugen, und reduziert und mittelt den Chrominanzanteil C. Ein Steuermittel 16 überträgt den Vorbetrachtungsluminanzanteil Y', den Chrominanzanteil C und den hochaufgelösten Luminanzanteil Y nacheinander an ein Kompressions- und Kodierungsmittel 18. Der Vorbetrachtungsluminanzanteil des Bildes wird unter Verwendung einer blockdiskreten Kosinustransformation mit Huffman- und Lauflängenkodierung der transformierten Koeffizienten komprimiert und kodiert. Die komprimierten und kodierten Transformationskoeffizienten werden über einen Schmalband-Übertragungskanal, wie z.B. eine Telefonleitung 20, übertragen. Da die diskrete Kosinustransformation und die Huffman- und Lauflängenkodierung Stand der Technik sind (siehe US-A-4 302 775), kann auf eine weitergehende Erörterung dieser Vorgänge hier verzichtet werden. Der komprimierte Vorbetrachtungsluminanzanteil Y' des Bildes wird von einem Empfänger 22 nach Empfang dekodiert und dekomprimiert (24). Das Steuermittel 28 überträgt den dekodierten und dekomprimierten Vorbetrachtungsluminanzanteil Y' an ein Interpolationsmittel 26. Das interpolierte Vorbetrachtungsluminanzsignal Y' wird in einem Luminanzanteil-Speicherbereich eines Bildspeichers 30 gespeichert. Eine Video-Schnittstelle 32 übernimmt den Vorbetrachtungsluminanzanteil aus dem Bildspeicher und erzeugt aus dem im Bildspeicher 30 gespeicherten digitalen Vorbetrachtungsluminanzanteil ein Vorbetrachtungsvideosignal. Das Vorbetrachtungsvideosignal wird auf einem Monitor 34 wiedergegeben.
Nach Übertragung und Empfang des Vorbetrachtungsluminanzanteils reduziert der Sender 10 einen Chrominanzanteil des farbigen Digitalbildes und komprimiert und überträgt diesen. Der Empfänger 22 empfängt und dekodiert den Chrominanzanteil des Digitalbildes und gibt diesen durch blockweise Hinzufügung zu dem Vorbetrachtungsluminanzanteil auf einem Monitor 34 wieder. Nach vollständiger Übertragung und vollständigem Empfang des Chrominanzanteils komprimiert und überträgt der Sender 10 den hochaufgelösten Luminanzanteil Y des digitalen Farbbildes. Der Empfänger 22 empfängt den hochaufgelösen Luminanzanteil Y und ersetzt den Vorbetrachtungsluminanzanteil am Monitor 34 blockweise synchron mit dem Empfang und der Dekodierung des hochaufgelösten Luminanzanteils. Wenn zu irgendeinem Zeitpunkt während des Empfangs des digitalen Farbbildes ein Betrachter am Empfänger 22 zu dem Schluß kommt, daß eine weitere Übertragung des Bildes nicht erforderlich ist, kann er dies dem Sender anzeigen, indem er eine Übertragungsende-Taste 36 am Empfänger 22 drückt. Dadurch wird ein Signal ausgelöst, das dem Sender 10 anzeigt, daß die Übertragung beendet werden soll. Auf diese Weise kann die sonst zur Beendigung der Bildübertragung erforderliche Zeit eingespart werden.
Weitere Einzelheiten des senderseitigen Mittels zum Komprimieren und Kodieren des Digitalbildes sind aus Fig. 2 ersichtlich. Zu dem Kompressions- und Kodierungsmittel gehört ein Mittel 38 für die Durchführung einer diskreten Kosinustransformation an einem Block I(x,y) digitaler Bildwerte (z.B. einem Block mit 16 x 16 Pixeln) zur Erzeugung eines Blocks transformierter Koeffizienten T(i,j). Die transformierten Koeffizienten T(i,j) werden in einer eindimensionalen Reihe T(k) in der Reihenfolge steigender Raumfrequenz geordnet (40), beispielsweise durch eine Zickzack-Abtastung der Transformationskoeffizienten des Blocks entlang diagonaler Linien, beginnend mit dem Koeffizienten für die Frequenz null, in horizontaler und vertikaler Richtung. Die eindimensionale Reihe der Transformationskoeffizienten T(k) wird zur Erzeugung einer Reihe normalisierter Koeffizienten TN(k) normalisiert und zur Erzeugung einer Reihe quantisierter "normalisierter Koeffizienten" N(k) quantisiert. Anschließend werden die quantisierten normalisierten Koeffizienten N(k) zur Erzeugung eines kodierten Block-Bildsignals CV(k) einer Huffman- und Lauflängenkodierung (46) unterzogen.
Das Mittel 24 zum Dekodieren und Dekomprimieren des kodierten Block-Bildsignals am Empfänger 22 wird nachstehend an Hand von Fig. 3 beschrieben. Das kodierte Block-Bildsignal CV(k) wird zur Erzeugung dekodierter Koeffizientensignale N(K) dekodiert (48). Zur Erzeugung denormalisierter Koeffizientensignale (k) werden die dekodierten Signale denormalisiert (50). Die denormalisierten Koeffizientenwerte (k) werden in einem Block (i,j) umformatiert (52) und durch eine inverse diskrete Kosinustransformation (DCT&supmin;¹) (53) wird aus dem Block mit den Koeffizientenwerten der Bildwerte-Block (x,y) erzeugt.
Fig. 4 zeigt die zur Zeit bevorzugten Geräte für die Durchführung der oben beschriebenen Signalverarbeitungsschritte. Das Digitalbild-Übertragungssystem in Fig. 4 besitzt zwei oder mehr mit einer Telefonleitung 70 gekoppelte Transceiver 68. Jeder Transceiver 68 ist an eine Videosignalquelle, z.B. eine Videokamera 72, und an ein Videowiedergabegerät, z.B. einen Videomonitor 74, angeschlossen. Zu jedem Transceiver 68 gehört eine Standard-Videoschnittstelle 76, die von der Videoquelle Videosignale empfängt, die Signale digitalisiert und die digitalen Bildsignale an einen digitalen Bildspeicher 78 überträgt. Die Videoschnittstelle 76 empfängt außerdem digitale Bildsignale aus dem digitalen Bildspeicher 78 und erzeugt ein Standard-Videosignal zur Wiedergabe auf dem Videomonitor 74. Jeder Transceiver 68 wird von einem Intel 80186 Mikroprozessor 80 mit einem herkömmlichen ROM- Speicher 82 zum Speichern der Steuerprogramme und einem herkömmlichen RAM-Speicher 84 zum Zwischenspeichern von Daten gesteuert. Der Mikroprozessor 80 übernimmt das Reduzieren der Daten und die Mittelwertbildung des Luminanzanteils des digitalen Farbbildes und das Reduzieren des Chrominanzanteils sowie die Huffman- und Lauflängenkodierung und Dekodierung und die Normalisierung und Denormalisierung der diskret-kosinustransformierten Koeffizienten. Die kodierten diskretkosinus-transformierten Koeffizienten werden über eine Telefonleitung 70 und ein R96 FT/SC Modem 86 gesendet und empfangen. Die diskrete Kosinustransformation (im Sendemodus) und die Umkehrtransformation (im Empfangsmodus) übernimmt ein TMS 32020 Digitalsignalprozessor 88 mit einem herkömmlichen RAM-Speicher 90 zum Speichern des Programms für die diskrete Kosinustransformation.
Im Sendemodus übernimmt der Mikroprozessor 80 nacheinander jeweils einen 16x16-Block digitaler Bildwerte aus einem Bildpuffer 92 in dem digitalen Bildspeicher 78. Der Bildpuffer 92 weist Zellen zum Speichern der Luminanz- und Chrominanzanteile des Bildes auf. Im Falle des Vorbetrachtungsbildes wird der 16x16-Block digitaler Bilddaten durch Reduktion und Mittelwertbildung aus einem 64x64-Block mit Bildwerten wie im folgenden beschrieben erzeugt. Die 16x16- Blöcke digitaler Bildwerte werden in einem Dual-Port-SRAM 94, zu dem sowohl der Mikroprozessor 80 als auch der Digitalsignalprozessor 88 Zugriff haben, zwischengespeichert. Der Digitalbild-Signalprozessor 88 führt die diskrete Kosinustransformation durch und überträgt den 16x16-Block mit Transformationskoeffzienten dann wieder an das Dual-Port SRAM 94. Die Transformationskoeffizienten dieses Blocks werden anschließend von dem Mikroprozessor 80 normalisiert und komprimiert (Huffman- und Lauflängenkodierung). Das komprimierte Signal wird in einem Kompressionsbildpuffer 96 im Digitalbildspeicher 78 gespeichert. Das komprimierte Signal wird synchron mit der Kompression über die Telefonleitung 70 und das Modem 86 blockweise übertragen. Dieser Ablauf wiederholt sich an jedem Block, bis das ganze Bild komprimiert und übertragen worden ist.
Im Empfangsmodus wird ein komprimiertes Digitalbild über das Modem 86 empfangen und in dem Kompressionsbildpuffer 96 gespeichert. Die komprimierten diskret-kosinustransformierten Koeffizienten werden blockweise nacheinander aus dem Kompressionsbildpuffer 96 abgerufen, denormalisiert und von dem Mikroprozessor 80 dekomprimiert. Der dekomprimierte Block mit den diskret-kosinustransformierten Koeffizienten wird an das Dual-Port SRAM 94 übertragen. Durch Umkehrtransformation der Koeffizienten erzeugt der Digitalsignalprozessor 88 einen 16x16-Block mit Digitalbildwerten, die im SRAM 94 zwischengespeichert werden. Der Mikroprozessor 80 überträgt den Block mit den Digitalbildwerten aus dem Dual-Port-SRAM 94 an den Bildpuffer 86. Der Inhalt des Bildpuffers 92 wird über die Videoschnittstelle 76 auf dem Videomonitor 74 wiedergegeben. In dem Maße, wie sich der Bildpuffer 92 mit Bildblöcken füllt, füllt sich auch der Schirm des Videomonitors 74 schrittweise mit dem Bild. An den Mikroprozessor 80 sind Bedienelemente 96 angeschlossen, mit denen der Bediener den Transceiver 68 steuern kann. An Hand von Fig. 5 und 6 wird im folgenden die Erzeugung des Vorbetrachtungsluminanzanteils des Bilds durch Reduzieren und Mitteln des hochaufgelösten Luminanzanteils beschrieben. Der hochaufgelöste Luminanzanteil des Bildes wird im Bildpuffer in der Form von zwei Feldern (Feld 1 und Feld 2) mit je 256 Zeilen und 512 Luminanzwerten Y(i,j) pro Zeile gespeichert. Fig. 5 zeigt eines dieser Felder. Zur Datenreduktion der Luminanzwerte dieses einen Feldes wird aus jeder Zeile jeder vierte Wert ausgewählt, Die ausgewählten Werte werden in vertikaler Richtung gemittelt, jeweils zwei Zeilen, um eine Matrix von 128x128 Vorbetrachtungsluminanzwerten zu erzeugen. Fig. 6 zeigt, wie dies im einzelnen erreicht wird. Wie schon erwähnt, wird der Vorbetrachtungsluminanzanteil in Blöcken von 16x16 Werten verarbeitet und übertragen.
Nach Eingang und Dekodierung wird das Vorbetrachtungsluminanzbild wie nachstehend beschrieben in zwei Felder mit 256 Zeilen und je 512 Werten pro Zeile dekomprimiert. Die 128 Luminanzwerte in jeder Zeile werden in horizontaler Richtung linear interpoliert, um 512 Werte pro Zeile zu erhalten. Anschließend werden die 128 Zeilen mit je 512 Werten in vertikaler Richtung linear interpoliert, um 256 Zeilen zu erhalten. Fig. 7 veranschaulicht den Interpolationsvorgang. Das sich daraus ergebende Feld mit 256 Zeilen zu je 512 Werten wird dupliziert, um im empfängerseitigen Bildpuffer zwei Felder (Feld 1 und Feld 2) zu erhalten. Dieser Vorgang läuft blockweise ab. Der Chrominanzanteil des digitalen Farbbildes wird im Bildpuffer in der Form von 512 Zeilen mit je 128 Rot-minus-Luminanz(R-Y)-Werten und 512 Zeilen mit je 128 Blau-minus-Luminanz(B-Y)-Werten gespeichert. Fig. 8a zeigt die Anordnung des Rot-Chrominanzanteils im Speicher, wobei hier der Einfachheit halber R-Y durch R ersetzt worden ist. Für den Blauanteil gilt sinngemäß das gleiche. Aus diesen Werten werden durch Datenreduktion 256 Zeilen gebildet, wobei nur die Werte aus einem Feld herangezogen werden. Die Werte aus diesem einen Feld werden durch Bildung des Mittelwerts aus jeweils zwei Zeilen weiter reduziert, um eine Matrix von 128 x 128 R-Y-Chrominanzwerten zu erhalten. Fig. 8b zeigt die Matrix von 128 x 128 Rot-Chrominanzanteilwerten nach der Reduktion. Für die Verarbeitung des Blau-Chrominanzanteils gilt sinngemäß das gleiche. Bei Anordnung dieser gemittelten Werte in 16x16-Blöcken ergeben sich für die Verarbeitung 64 R-Y-Chrominanzanteilblöcke und 64 B-Y-Chrominanzanteilblöcke. Die Chrominanzanteile werden blockweise nacheinander verarbeitet und übertragen, wobei auf einen Block mit Rotwerten jeweils ein Block mit Blauwerten und auf einen Block mit Blauwerten wieder ein Block mit Rotwerten folgt, bis der ganze Chrominanzanteil des Bildes komprimiert und übertragen worden ist.
Nach Empfang und Dekodierung werden die Blöcke mit den Chrominanzanteil-Transformationskoeffizienten einer Umkehrtransformation unterzogen und durch einfache lineare Interpolation in vertikaler Richtung dekomprimiert. Fig. 9 zeigt die Dekompression des Rot-Chrominanzanteils, wobei der dekodierte Rot-Chrominanzanteil die Bezeichnung R'(i,j) trägt. Die Dekompression des Blau-Chrominanzanteils erfolgt sinngemäß in der gleichen Weise. Die empfängerseitige Wiedergabe der Bildanteile ist aus Fig. 10a-c ersichtlich. Gemäß Fig. 10a werden dem wiedergegebenen Bild schrittweise Blöcke mit je 64 x 64 Pixeln des Vorbetrachtungsluminanzanteils hinzugefügt. Das geschieht spaltenweise, beginnend in der oberen linken Ecke des Bildschirms, von dort nach unten und dann in der nächsten Spalte rechts weiter, bis der Schirm voll ist. Fig. 10b zeigt, wie die Chrominanzanteile des Bildes blockweise nacheinander dem Vorbetrachtungsluminanzanteil hinzugefügt werden, auch hier wieder beginnend in der oberen linken Ecke, von dort nach unten, bis die Spalte voll ist, und dann rechts weiter mit der nächsten Spalte. Fig. 10c zeigt, wie der Vorbetrachtungsluminanzanteil nacheinander durch den hochaufgelösten Luminanzanteil mit Blöcken zu je 16 x 16 Pixeln ersetzt wird. Die Ersetzung erfolgt zeilenweise, beginnend in der oberen linken Ecke des Bildschirms, von dort nach rechts, bis die Zeile voll ist, und dann weiter mit der nächsten Zeile darunter, bis der ganze Schirm voll ist.
Bei der bevorzugten Verwirklichung der Erfindung kann der Sender wahlweise in einem Vorbetrachtungsmodus, bei dem nur der Vorbetrachtungsluminanzanteil und der Chrominanzanteil des Bildes komprimiert und übertragen werden, oder in einem hochaufgelösten Modus, bei dem nach Übertragung des Vorbetrachtungsluminanzanteils und des Chrominanzanteils der hochaufgelöste Luminanzanteil komprimiert und übertragen wird, betrieben werden. Die Wahl des Übertragungsmodus erfolgt über einen (nicht dargestellten) Umschalter an der in Fig. 4 gezeigten Bedienersteuerung 96. An Hand der folgenden Beschreibung kann der Fachmann den Mikroprozessor 80 (siehe Fig. 4) so programmieren, daß dieser den Transceiver im Vorbetrachtungsmodus oder im hochaufgelösten Modus steuern kann. Das Flußdiagramm in Fig. 11 zeigt die wichtigsten Schritte bei der Übertragung des Bildes. Nach dem Reduzieren, Komprimieren und Übertragen (100) des Bildes mit der Vorbetrachtungsluminanz in der oben beschriebenen Weise wird der Chrominanzanteil des Bildes wie oben beschrieben komprimiert und übertragen (102). Durch eine Kontrolle (104) wird festgestellt, ob die Übertragung im Vorbetrachtungsmodus erfolgt. Wenn dies der Fall ist, wird die Übertragung an diesem Punkt beendet. Wenn nicht, wird der hochaufgelöste Luminanzanteil komprimiert und übertragen (106).
Weitere Einzelheiten der Schritte Reduktion, Kompression und Übertragung des Vorbetrachtungsluminanzanteils des Digitalbildes sind Fig. 12 zu entnehmen. Ein Vorbetrachtungsluminanzblock mit 16 Werten in horizontaler Richtung (jeder vierte Wert der Zeilen eines Feldes) und 32 Werten in vertikaler Richtung wird aus dem im Bildpuffer gespeicherten Luminanzanteil übernommen (108). Anschließend werden die Werte in vertikaler Richtung paarweise gemittelt (110), um eine Matrix von 16 x 16 Vorbetrachtungsluminanzwerten zu erhalten (112). Die Matrix von 16 x 16 Luminanzwerten wird durch diskrete Kosinustransformation mit Huffman- und Lauflängenkodierung komprimiert. Die kodierten Transformationskoeffizienten werden in einen Übertragungspuffer geladen. Wenn dieser voll ist, wird sein Inhalt übertragen (114). Durch Kontrolle eines Index wird festgestellt, ob es sich um den letzten Block im Bild handelt (116). Wenn dies der Fall ist, wird das Programm verlassen. Wenn es sich nicht um den letzten Block im Bild handelt, springt das Programm zum ersten Schritt zurück (108) und liest den nächsten Block mit Bildwerten. Das Füllen des Übertragungspuffers und die Übertragung der komprimierten Koeffizienten werden nachstehend ausführlicher an Hand von Fig. 13 beschrieben. Zuerst wird durch eine Kontrolle festgestellt, ob es sich um den ersten Block des Bildes handelt (118). Wenn dies der Fall ist, werden die komprimierten und kodierten Transformationskoeffizienten aus dem ersten Block im Übertragungspuffer gespeichert (120). Das Programm springt dann auf den Schritt (116) in Fig. 12 zurück. Wenn es sich nicht um den ersten Block des Bildes handelt, wird durch eine Kontrolle festgestellt, ob der anstehende Block komprimierter Transformationskoeffizienten im Übertragungspuffer Platz hat (122). Wenn dies der Fall ist, werden die kodierten Koeffizienten dem Pufferinhalt hinzugefügt (124), worauf das Programm zurückspringt. Wenn der Puffer überlaufen würde, wird der vorhandene Pufferinhalt übertragen (126). Anschließend werden die kodierten Koeffizienten in den Puffer geladen (128).
Abschließend erfolgt eine Kontrolle um festzustellen, ob es sich um den letzten Block des Bildes handelt (130). Wenn dies der Fall ist, wird der vorhandene Inhalt des Puffers übertragen (132). Anschließend springt das Programm zurück. Wenn es sich nicht um den letzten Block des Bildes handelt, springt das Programm auf den Schritt (116) in Fig. 12 zurück.
Im folgenden wird der Empfang des Bildes an Hand von Fig. 14 beschrieben. Die kodierten und komprimierten Koeffizienten werden empfangen und im Kompressionsbildpuffer gespeichert (134). Beim Empfang des kodierten Bildes wird der Vorbetrachtungsluminanzanteil des Bildes blockweise dekomprimiert, im Bildpuffer gespeichert und auf dem Monitor wiedergegeben (136). Bei Empfang des komprimierten Chrominanzanteils des Bildes wird auch dieser blockweise dekomprimiert, im Bildpuffer gespeichert und zum wiedergegebenen Bild hinzugefügt (138). Durch eine Kontrolle wird festgestellt, ob es sich nur um ein Vorbetrachtungsbild handelt (140). Wenn dies der Fall ist, wird der Empfang beendet. Wenn nicht, wird der hochaufgelöste Luminanzanteil des Bildes blockweise dekomprimiert, im Bildspeicher gespeichert und auf dem Bildschirm wiedergegeben, wobei der Vorbetrachtungsluminanzanteil des Bildes blockweise durch den hochaufgelösten Luminanzanteil des Bildes ersetzt wird (142).
Wenn zu irgendeinem Zeitpunkt während der Übertragung der Empfänger dem Sender signalisiert, daß die Übertragung beendet werden soll, wird der Sender durch eine Unterbrechung des Mikroprozessors veranlaßt, die Bildübertragung zu beenden, siehe Fig. 15.
Die Erfindung ist eine wertvolle Hilfe für Kommunikationssysteme zur Übertragung von Bildern über Übertragungskanäle mit begrenzter Bandbreite, wie z.B. Telefonleitungen. Sie hat den Vorteil, daß sie während der Übertragung eines hochaufgelösten Bildes ein Vorbetrachtungsbild erzeugt, ohne daß die empfängerseitige Speicherkapazität zu diesem Zweck wesentlich erhöht werden muß.

Zeichnungsbeschriftung

Fig. 1

12 = FRAME STORE BILDSPEICHER CHROMINANCE CHROMINANZ LUMINANCE LUMINANZ
14 = SUBSAMPLE & AVERAGE REDUKTION UND MITTELN TRANSMITTER SENDER
18 = COMPRESS & ENCODE KOMPRESSION UND KODIERUNG
16 = CONTROL STEUERUNG
20 = CHANNEL KANAL
34 = DISPLAY WIEDERGABE
32 = VIDEO INTERFACE VIDEOSCHNITTSTELLE
30 = FRAMESTORE BILDSPEICHER CHROMINANCE CHROMINANZ LUMINANCE LUMINANZ
26 = INTERPOLATE INTERPOLATION RECEIVER EMPFÄNGER
24 = DECODE & EXPAND DEKODIERUNG UND DEKOMPRESSION
36 = STOP TRANS. ÜBERTRAGUNGSENDE
28 = CONTROL STEUERUNG

Fig. 2

18 = COMPRESS & ENCODE KOMPRESSION UND KODIERUNG
38 = DCT DISKRETE KOSINUSTRANSFORMATION
40 = I-D ORDER COEFFICIENTS KOEFFIZIENTEN ORDNEN
42 = NORMALIZE COEFFICIENTS KOEFFIZIENTEN NORMALISIEREN
44 = QUANTIZE COEFFICIENTS KOEFFIZIENTEN QUANTISIEREN
46 = HUFFMAN & RUN-LENGTH CODE COEFFICIENTS HUFFMANN- UND LAUFLÄNGENKODIERUNG DER KOFFIZIENTEN

Fig. 3

24 = DECODE & EXPAND DEKODIERUNG UND DEKOMPRESSION
48 = DECODE COEFFICIENTS KOEFFIZIENTEN DEKODIEREN
50 = DENORMALIZE COEFFICIENTS KOEFFIZIENTEN DENORMALISIEREN
52 = REFORMAT COEFFICIENTS ARRAY UMFORMATIERUNG DER KOEFFIZIENTENMATRIX
53 = DCT&supmin;¹ UMKEHR DER DISKRETEN KOSINUSTRANSFORMATION

Fig. 4

72 = VIDEO CAMERA VIDEOKAMERA VIDEO IN VIDEOEINGANG
86 = R96 FT/SC MODEM R96 FT/SC MODEM
68 = TRANSCEIVER TRANSCEIVER
76 = VIDEO INTERFACE VIDEOSCHNITTSTELLE
78 = FRAME STORE BILDSPEICHER
92 = IMAGE BUFFER BILDPUFFER
96 = COMPRESSED IMAGE BUFFER KOMPRESSIONSBILDPUFFER
94 = DUAL-PORT SRAM DUAL-PORT-SRAM
82 = ROM ROM-SPEICHER
84 =RAM RAM-SPEICHER
90 = RAM RAM-SPEICHER
88 = TMS 32020 DSP TMS 32020 DIGITALSIGNALPROZESSOR VIDEO OUT VIDEOAUSGANG
96 = USER CONTROLS BEDIENELEMENTE
74 = VIDEO MONITOR VIDEOMONITOR

Fig. 5

PIXEL PIXEL (BILDELEMENTE)
LINE ZEILE

Fig. 10a

PREVIEW LUMINANCE VORBETRACHTUNGSLUMINANZ

Fig. 10b

CHROMINANCE OVER PREVIEW LUMINANCE = PREVIEW IMAGE CHROMINANZ ÜBER VORBETRACHTUNGSLUMINANZ = VORBETRACHTUNGSBILD

Fig. 10c

SUBSTITUTE FULL RESOLUTION LUMINANCE FOR PREVIEW LUMINANCE = FULL RESOLUTION IMAGE ERSETZEN DER VORBETRACHTUNGSLUMINANZ DURCH DIE HOCHAUFGELÖSTE LUMINANZ = HOCHAUFGELÖSTES BILD

Fig. 11

TRANSMIT ÜBERTRAGUNG
100 = SUBSAMPLE, COMPRESS & TRANSMIT PREVIEW LUMINANCE COMPONENT VORBETRACHTUNGSLUMINANZANTEIL REDUKTION, KOMPRIMIEREN UND ÜBERTRAGEN
102 = COMPRESS & TRANSMIT CHROMINANCE COMPONENT CHROMINANZANTEIL KOMPRIMIEREN UND ÜBERTRAGEN
104 = PREVIEW MODE ? VORBETRACHTUNGSMODUS ?
106 = COMPRESS & TRANSMIT FULL LUMINANCE COMPONENT HOCHAUFGELOSTEN LUMINANZANTEIL KOMPRIMIEREN UND ÜBERTRAGEN

Fig. 12

108 = READ PREVIEW LUMINANCE BLOCK (16 X 32 VALUES) VORBETRACHTUNGSLUMINANZBLOCK LESEN (16 X 32 WERTE)
110 = AVERAGE PAIRS OF VALUES IN VERTICAL DIRECTION WERTE IN VERTIKALER RICHTUNG PAARWEISE MITTELN
112 = COMPRESS BLOCK BLOCK KOMPRIMIEREN
114 = FILL TRANSMIT BUFFER & TRANSMIT ÜBERTRAGUNGSPUFFER FÜLLEN UND ÜBERTRAGEN
116 = LAST BLOCK ? LETZTER BLOCK ?

Fig. 13

118 = FIRST BLOCK ? ERSTER BLOCK ?
120 = STORE BLOCK IN TRANSMIT BUFFER BLOCK IM ÜBERTRAGUNGSPUFFER SPEICHERN
122 = WILL PRESENT BLOCK FIT IN BUFFER ? HAT DER ANSTEHENDE BLOCK PLATZ IM PUFFER ?
124 = ADD BLOCK TO BUFFER BLOCK DEM PUFFERINHALT HINZUFÜGEN
126 = TRANSMIT CONTENTS OF BUFFER PUFFERINHALT ÜBERTRAGEN
128 = STORE PRESENT BLOCK IN BUFFER ANSTEHENDEN BLOCK IM PUFFER SPEICHERN
130 = LAST BLOCK ? LETZTER BLOCK ?
132 = TRANSMIT CURRENT CONTENTS OF BUFFER VORHANDENEN INHALT DES PUFFERS ÜBERTRAGEN

Fig. 14

134 = RECEIVE CODED COEFFICIENTS & STORE IN COMPRESSED IMAGE BUFFER EMPFANG DER KODIERTEN KOEFFIZIENTEN UND SPEICHERUNG IM KOMPRESSIONSBILDPUFFER
136 = EXPAND, STORE & DISPLAY PREVIEW LUMINANCE COMPONENT DEKOMPRESSION, SPEICHERUNG UND WIEDERGABEDES VORBETRACHTUNGSLUMINANZANTEILS
138 = EXPAND, STORE & ADD CHROMINANCE COMPONENT TO DISPLAY CHROMINANZANTEIL DEKOMPRIMIEREN, SPEICHERN UND DEM WIEDERGEGEBENEN BILD HINZUFÜGEN
140 = PREVIEW MODE ? VORBETRACHTUNGSMODUS ?
142 = EXPAND, STORE & REPLACE PREVIEW LUMINANCE COMPONENT WITH FULL LUMINANCE VORBETRACHTUNGSLUMINANZANTEIL DEKOMPRIMIEREN, SPEICHERN UND DURCH HOCHAUFGELÖSTEN LUMINANZANTEIL ERSETZEN

Fig. 15

INTERRUPT UNTERBRECHUNG
STOP TRANSMISSION ÜBERTRAGUNGSENDE

Claims

1. Stehbild-Kommunikationssystem mit senderseitigen Mitteln zur Durchführung einer Block-Kosinus-Transformation an einem Bild zur Bandbreitenkompression, empfängerseitigen Mitteln zur Wiedergabe eines geringaufgelösten Vorbetrachtungsbildes während der Übertragung eines hochaufgelösten Bildes, und einpfängerseitigen Mitteln zur Beendigung der Bildübertragung, gekennzeichnet durch senderseitige Mittel zum Untersampeln eines hochaufgelösten Bildes, um das Vorbetrachtungsbild mit geringer Auflösung zu erzeugen, und zur Kompression mittels Block-Kosinus-Transformation, und zur Übertragung des geringaufgelösten Vorbetrachtungsbildes, sowie zur nachfolgenden Kompression mit Hilfe der Block-Kosinus-Transformationsmittel und der Übertragung des hochaufgelösten Bildes; und

empfängerseitigen Mitteln zur Wiedergabe des geringaufgelösten Bildes und zum blockweisen Ersetzen des geringaufgelösten Bildes durch das hochaufgelöste Bild bei dessen Empfang.

2. Stehbild-Kommunikationssystem nach Anspruch 1, gekennzeichnet durch senderseitige Steuermittel zum wahlweisen Betrieb des Senders in einem Vorbetrachtungsmodus, in dein lediglich das Vorbetrachtungsbild übertragen wird.

3. Stehbild-Kommunikationssystem nach Anspruch 2, dadurch gekennzeichnet, daß es sich bei dem Bild um ein Farbbild mit hochaufgelöstem Luminanzanteil und einern Chrominanzanteil handelt, wobei

a) die senderseitigen Mittel zum Untersampeln, Komprimieren und Übertragen des Bildes die Luminanzanteile zur Erzeugung eines geringaufgelösten Vorbetrachtungs-Luminanzanteils untersampeln, und nacheinander den geringaufgelösten Vorbetrachtungs-Luminanzanteil, den Chrominanzanteil und den hochaufgelösten Luminanzanteil komprimieren und übertragen; und

b) die empfängerseitigen Mittel den geringaufgelösten Vorbetrachtungs-Luminanzanteil wiedergeben, den geringaufgelösten Luminanzanteil blockweise dem Chrominanzanteil hinzufügen, und den geringaufgelösten Luminanzanteil blockweise durch den hochaufgelösten Luminanzanteil ersetzen.

4. Farbstehbild-Kommunikationssystem nach Anspruch 3, dadurch gekennzeichnet, daß es sich bei dem hochaufgelösten Luminanzanteil des Bildes um eine Matrix von 512 x 512 Luminanz(Y)- Werten, bei dem Chrominanzanteil um eine Matrix von 128 x 128 Rot-minus-Luminanz(R-Y)-Werten und eine Matrix von 128 x 128 Blau-minus-Luminanz(B-Y)-Werten, und bei dem geringaufgelösten Vorbetrachtungs-Luminanzanteil um eine Matrix von 128 x 128 Luminanzwerten handelt.

5. Kommunikationssystem zur Übertragung eines hochaufgelösten digitalisierten Bildes über einen Übertragungskanal mit begrenzter Bandbreite, gekennzeichnet durch

a) Mittel zum Komprimieren und Übertragen eines Digitalbildes, welche aufweisen

a1) Mittel zum Untersampeln eines hochaufgelösten Digitalbildes, um ein geringaufgelöstes Vorbetrachtungsbild zu erzeugen,

a2) Mittel zum Komprimieren des Vorbetrachtungsbildes oder des hochaufgelösten Bildes durch Block-Kosinus-Transformation und Huffman- und Lauflängenkodierung von Transformationskoeffizienten,

a3) Mittel zum blockweisen Übertragen eines komprimierten Bildes, und

a4) Sender-Steuermittel, die einerseits in einem Vorbetrachtungsmodus arbeiten, um die Kompression und Übertragung des Vorbetrachtungsbildes zu bewirken, und andererseits in einem Hochauflösungsmodus arbeiten, um die Kompression und Übertragung des Vorbetrachtungsbildes und anschließend des hochaufgelösten Bildes zu bewirken, und die auf ein Übertragungsende-Signal ansprechen, um die Übertragung des Bildes zu beenden, und

b) Mittel zur Aufnahme, Dekompression und Wiedergabe eines Digitalbildes, die folgende Komponenten aufweisen:

b1) Mittel zum blockweisen Empfangen eines komprimierten Bildes,

b2) Mittel zur blockweisen Dekompression eines empfangenen Bildes,

b3) Mittel zur blockweisen Wiedergabe eines dekomprimierten Bildes,

b4) Steuermittel, die die Wiedergabe des Vorbetrachtungsbildes bewirken, um es auf dem Wiedergabe- Bildschirm blockweise durch ein hochaufgelöstes Bild zu ersetzen, sobald dieses empfangen wird, und

b5) Mittel, die auf eine Eingabe des Benutzers ansprechen, um ein Übertragungsende-Signal zu er zeugen und weiterzuleiten.

6. Kommunikationssystem nach Anspruch 5, dadurch gekennzeichnet, daß es sich bei dein hochaufgelösten Digitalbild um ein Farbdigitalbild mit einem hochaufgelösten Luminanzanteil und einem Chrominanzanteil handelt; wobei die Bilduntersamplingmittel den hochaufgelösten Luminanzanteil untersampeln, um einen geringaufgelösten Vorbetrachtungs-Luminanzanteil zu erzeugen; wobei die Kompressionsmittel den Luminanz- und Chrominanzanteil komprimieren; wobei die senderseitigen Steuermittel im vorbetrachtungsmodus arbeiten, um einen Vorbetrachtungs-Luminanzanteil und den Chrominanzanteil nacheinander zu komprimieren und zu übertragen; wobei die Steuermittel im Hochauflösungsmodus arbeiten, um den Vorbetrachtungs-Luminanzanteil, den Chrominanzanteil und den hochaufgelösten Luminanzanteil nacheinander zu komprimieren und zu übertragen; und wobei die empfängerseitigen Steuermittel die Wiedergabe des geringaufgelösten Vorbetrachtungs-Luminanzanteils bewirken, den Chrominanzanteil blockweise dem Vorbetrachtungs-Luminanzanteil hinzufügen, um ein geringaufgelöstes Vorbetrachtungs-Farbbild zu erzeugen und den geringaufgelösten Vorbetrachtungs-Luminanzanteil blockweise durch den hochaufgelösten Luminanzanteil zu ersetzen.

7. Kommunikationssystem nach Anspruch 2, dadurch gekennzeichnet, daß es sich bei dem hochaufgelösten Luminanzanteil um eine Matrix von 512 x 512 Luminanz(Y)-Werten, bei dem Chrominanzanteil um eine Matrix von 128 x 128 Rot-minus-Luminanz(R-Y)-Werten und eine Matrix von 128 x 128 Blau-minus-Luminanz(B-Y)-Werten handelt, und daß die Bilduntersamplingmittel die Matrix der Luminanzanteilwerte bis auf eine Matrix von 128 x 128 Luminanzwerten untersampeln.