DE69029976T2 - Verfahren und Einrichtung zur Bilddatenkompression durch mathematische Transformation - Google Patents

Verfahren und Einrichtung zur Bilddatenkompression durch mathematische Transformation

Info

Publication number
DE69029976T2
DE69029976T2 DE69029976T DE69029976T DE69029976T2 DE 69029976 T2 DE69029976 T2 DE 69029976T2 DE 69029976 T DE69029976 T DE 69029976T DE 69029976 T DE69029976 T DE 69029976T DE 69029976 T2 DE69029976 T2 DE 69029976T2
Authority
DE
Germany
Prior art keywords
matrix
pixels
tfr
coefficients
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69029976T
Other languages
English (en)
Other versions
DE69029976D1 (de
Inventor
H Jean-Claude Carlac
Pierre Duhamel
Christine Guillemot
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telediffusion de France ets Public de Diffusion
Orange SA
Original Assignee
Telediffusion de France ets Public de Diffusion
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telediffusion de France ets Public de Diffusion, France Telecom SA filed Critical Telediffusion de France ets Public de Diffusion
Application granted granted Critical
Publication of DE69029976D1 publication Critical patent/DE69029976D1/de
Publication of DE69029976T2 publication Critical patent/DE69029976T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Discrete Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Complex Calculations (AREA)
  • Color Television Systems (AREA)

Description

  • Die Erfindung betrifft ein Kompressionsverfahren für repräsentative Daten eines Bildsignals, von der Art, die darin besteht, das Bild in Blöcke zu zerlegen, wobei jeder Block eine Pixelmatrix (Bildelement) bildet, dann jede Pixelmatrix einer mathematischen Transformation gemäß einem Transformationsgesetz zu unterwerfen, welche als Ergebnis eine Matrix von Elementen liefert, die für die Bildaktivität repräsentativ sind, und in jeder sich ergebenden Matrix die Elemente schwacher psychovisueller Bedeutung zu eliminieren, durch Bildung eines Schwellenwertes mittels einer Matrix von Referenzschwellenwerten.
  • Genauer gesagt betrifft die Erfindung ein Verfahren für die Anwendung eines neuen Transformationsgesetzes für Pixelmatrizen, welches die Anwendung des Kompressionsverfahrens zu niedrigeren Kosten ermöglicht.
  • Die Erfindung wird vorteilhafterweise, aber nicht eingrenzend, auf die Kompression von Bildern angewandt, die als Bildfolgen mit reduziertem Durchsatz gesendet werden, von der Art, die bei Audio-Videoaufnahmen, Fotovideotext, Fernüberwachung oder bei Videophonie oder Videokonferenzen über das geschaltete Telefonnetz oder über das digitale Netz mit Dienstleistungsintegration angewandt werden. Die Erfindung betrifft ebenfalls jede andere Art von Bildern oder von Bildfolgen, einschließlich der Kodierung von Digitalfemsehbildern und sogar von Hochauflösungsfernsehbildern.
  • Zu diesem Zweck ist bereits die Patentschrift US-A-4 189 748 (REIS) bekannt, welche eine Vorrichtung zum Reduzieren des Durchsatzes eines Videosignals beschreibt, das eine Transformation und dann eine Trennung der transformierten Koeffizienten nach einem Bedeutungskriterium beschreibt. Die bedeutendsten Koeffizienten werden systematisch übertragen. Die anderen Koeffizienten werden nur übetragen, wenn sie größer als ein Schwellenwert sind. Die angewandte Transformation ist eine Kombination zweier monodimensionaler Transformationen.
  • Es sind ebenfalls verschiedene Transformationsgesetze für Pixelmatrizen bekannt, von denen die wichtigsten die schnelle Fourier-Transformierte (TFR), in Englisch FFT (Fast Fourier Transform und die diskrete Kosinustransformierte (TCD), in Englisch DCT (Discrete Cosinus Transform) sind.
  • Die Patentschrift US-A-4 764974(WOODS) stellt beispielsweise eine Berechnungsmethode einer bidimensionalen schnellen Fourier-Transformierten (FFT) dar.
  • Das Dokument IEEE PROCEEDINGS IP'79, Chicago, Illinois, 6. - 8. August 1 979, Seiten 233 - 238, IEEE, New York, US, (NACCARTO), stellt einen vereinfachten FFT Berechnungsalgorithmus dar, der die Bitumkehrung anwendet und direkt eine 2D-Transformation berechnet.
  • Diese zwei Dokumente betreffen spezifisch die Anwendung einer schnellen Fouriertransformation. Dagegen besteht ein Zweck der Erfindung in der Bereitstellung eines neuen Transformationsgesetzes (das insbesondere ein TFR anwendet), um die Leistungsfähigkeit (Qualität und/oder Menge der Operationen) der Datenkompression zu erhöhen.
  • Mindestens drei Parameter steuern die Wahl des Transformationsgesetzes für eine gegebene Anwendung:
  • - die Kompressionsrate des Bildsignals;
  • - die psychovisuelle Qualität des aus dem komprimierten Bildsignals wiederhergestellten Bildes;
  • - die Kosten für die "Verarbeitungsgeschwindigkeit x Halbleiterfläche" für die Anwendung des Transformationsgesetzes des integrierten Schaltkreises.
  • So wird derzeit üblicherweise die TCD als Transformationsgesetz für die Bildkompression bevorzugt, weil sie eine stärkere Konzentration der "Aktivität" ("Energie") des Bildes im Vergleich zur TFR ermöglicht. Anders gesagt umfaßt die Transformationsmatrix, die sich aus der TCD-Operation auf der Ausgangspixelmatrix ergibt, weniger bedeutende Elemente vom psychovisuellen Standpunkt. Die bildbezogene Menge von Informationen ist demnach geringer, was die Bildübertragung mit geringerem Durchsatz ermöglicht.
  • Dennoch impliziert die Anwendung der TCD auf Pixelmatrixen höhere "Verarbeitungsgeschwindigkeit x Halbleiterfläche"-Kosten als im Falle der TFR.
  • Die ganze Anstrengung der Fachleute auf diesem Gebiet in der letzten Zeit zielte demnach auf das Finden von Mitteln zur Anwendung der Kosten minimierenden TCD.
  • Die auf ein N × N Bilderblock angewandte TCD läßt sich durch die folgende Formel darstellen:
  • wobei:
  • i,j : Raumkoordinaten der Pixelmatrixelemente
  • u,v : Koordinaten der Koeffizienten der transformierten Matrix
  • C(u) = 1 / ² wenn u = 0
  • C(v) = 1 wenn u ≠ 0
  • f(i,j) : Amplitude des Pixels mit den Koordinaten (i,j)
  • Zweck der Wichtungskoeffizienten c(u) und c(v) ist die Berücksichtigung des Randeffektes im transformierten Block.
  • Die systematische Berechnung der doppelten Summe führt zu N² Multiplikationen, multipliziert mit N² Koeffizienten, d. h. N&sup4; zu summierende Werte.
  • Die Kosten für die Anwendung der TCD im integrierten Schaltkreis hängen direkt mit der Zahl der auszuführenden Additionen und Multiplikationen zusammen. Andererseits ist festzustellen, daß die Kosten für eine Multiplikation etwa 5 bis 7 mal höher als die Kosten einer Addition sind.
  • Es wurden versuchsweise zwei Ansätze angewandt, um die Kosten der Anwendung des Transformationsgesetzes zu verringern:
  • - die Zerlegung in Zeilen/Spalten der Anwendung der TCD über die Pixelmatrix;
  • - die Anwendung der TCD direkt in zwei Dimensionen, über eine Zerlegung in Elementarschritte, die insgesamt weniger kostspielig ist.
  • Der erste Ansatz wird durch die von CHEN et al. vorgeschlagene Methode veranschaulicht (s. Artikel W.H. CHEN, C.H. SMITH, S.C. FRALICK, "A fast computational algorithm for the Discrete Cosine Transform" (Ein schneller Rechenalgorithmus für die TCD), IEEE Trans. on Communication, vol. COM-25, Sept.1977). Die vorgestellte Methode besteht im wesentlichen in der Anwendung der Symmetrien, die in der Transformationsmatrix erscheinen, um die Zahl der Rechenoperationen zu verringern. Die Zerlegung in Zeilen/Spalten entspricht der aufeinanderfolgenden Durchführung zweier monodimensionaler Transformationssätze, jeweils nacheinander über die Zeilen, bzw. über die Spalten der Matrix. Die Zwischenmatrix zwischen den zwei Transformationssätzen wird einer Zeilen/Spalten-Transposition unterworfen, um dieselben mathematischen Indizes- Operationen für beide Transformationssätze anwenden zu können. Der Ansatz von CHEN ermöglicht die Verringerung der TCD-Kosten auf 256 Multiplikationen und 416 Additionen für Pixelmatrizen der Größe 8 × 8.
  • Es ist ebenfalls eine weitere Methode bekannt, die nach demselben Prinzip funktioniert, wie im Artikel von B.G. LEE "A new algorithm to compute the discrete cosine Transform" (Ein neuer Berechungsalgorithmus für die TCD), (IEEE trans. ASSP vol. ASSP.32) beschrieben. Dieser Ansatz ist insgesamt geringfügig weniger kostspielig, da er nur 1 92 Multiplikationen bedarf, um den Preis einer geringen Erhöhung der Zahl der Additionen (464 Additionen).
  • Zuletzt, abweichend von den vorhergehenden direkten Faktorisierungsmethoden, haben M. VETTERLY und H. NUSSBAUMER eine Methode zur Zerlegung der TCD in Elementarschritten vorgeschlagen, in "Algorithmen für die ein- und bidimensionale Fourier- und Kosinustransformation" (Ann. des Télécom. 40 nº 9 - 10, 1985º). Nach dieser Methode wird die TCD in drei aufeinanderfolgenden Operationen zerlegt:
  • - eine Permutation der Elemente der Ausgangspixelmatrix;
  • - eine auf der permutierten Matrix ausgefiihrte TFR;
  • - ein Satz Drehungen, die auf die durch die TFR transformierte Matrix angewandt werden, um die Endmatrix zu erreichen, die der TCD-Transformierten der Ausgangspixelmatrix entspricht. Die TFR über die permutierte Matrix erfolgt in der Form zweier monodimensionaler Transformationssätze, die nacheinander auf die Zeilen der permutierten Ausgangsmatrix und dann auf die Spalten der Zwischenmatrix, welche sich aus dem ersten Satz monodimensionaler Transformationen ergibt, angewandt werden. Diese Methode "kostet" 464 Additionen und 192 Multiplikationen, die aufgrund einer geschickten arithmetischen Operation auf 176 Multiplikationen reduziert werden.
  • Einen zusätzlichen Gewinn konnte VETTERLI erzielen, durch einen direkten bidimensionalen Ansatz, der auf der gleichen Art von Zerlegung in drei aufeinenaderfolgenden Operationen basiert (s. Artikel "Fast 2-D Discrete Cosine Transform" (schnelle TCD-2D), ICASSP 1985). Anders als beim monodimensionalen Ansatz, erfolgen die Permutations-, TFR- und Drehungsoperationen direkt bidimensional. Insbesondere wird die TFR durch einen Ansatz nach Polynomtransformation der ganzen Matrix bewirkt. Die Kosten dieser bidimensionalen Methode sind interessant, da sie auf 104 Multiplikationen und 460 Additionen beschränkt ist.
  • Zweck der vorliegenden Erfindung ist die Bereitstellung eines Kompressionsverfahrens für Bilddaten durch mathematische Transformation von Pixelmatrizen, das noch geringere Realisierungskosten ermöglicht. Der Kostenparameter ist sehr wichtig für Anwendungen, deren Ziel die breite Ausstrahlung ist und welche die Beschaffung von Bilddekodierterminals (Fotovideotext, Hochauflösungsfernsehen, ...) erfordern.
  • Genauer haben die Erfinder festgestellt, daß es möglich ist, nicht nur eine wirtschaftlichere, für die TCD-Transformation geeignete Bildkompressionsmethode anzuwenden, sondern daß einige Ausführungen dieser Methode, die noch wirtschaftlicher sind, vom psychovisuellen Standpunkt vollkommen zufriedenstellend und vom Standpunkt der Kompressionsrate leistungsfähig sind.
  • Diese Ausführungen sind besonders für die Bild kodierung bei reduziertem Durchsatz geeignet, obwohl sie nicht nur für diese Art von Anwendung brauchbar sind.
  • Das Verfahren der Erfindung wurde insbesondere für die Bildkodierung bei reduziertem Durchsatz ausgearbeitet und ist besonders für die Verarbeitung von 4×4, 8×8 oder 16×6 Pixel Bildblöcken geeignet. Im Falle der komplexeren Ausführung, welche einer neuen Methode der TCD-Anwendung entspricht, kann die größere Leistungsfähigkeit im Vergleich zur VETTERLI-Methode im nachhinein dadurch erklärt werden, daß obwohl der VETTERLI-Ansatz einer bidimensionalen TCD eine nur geringe arithmetische Komplexität aufweist, er den Nachteil hat, eine nicht regelmäßige Berechnungsstruktur anzuwenden.
  • Das Verfahren der Erfindung zeichnet sich in der Tat durch gleichzeitige geringe mathematische Komplexität und durch eine regelmäßige Struktur aus, was eine einfache Anwendung und somit eine kostengünstige materielle Ausführung gewährleistet.
  • Darüber hinaus kann die Erfindung in einer materiellen Vorrichtung angewandt werden, bei der das günstigste Verhältnis UV Funtionsfrequenz/Siliziumfläche" sichergestellt wird, sowohl für einen mit 256 kHz einkommenden Datenfluß (entsprechend der Übertragung kodierter fester Bilder mit 0,25 Bits je Pixel (bpp) über 64 kbit/s Netze), als auch für einen 27 MHz Datenfluß (entsprechend der Datenfolgefrequenz von Digitalfernsehen).
  • Gemäß der Erfindung werden diese vorteilhaften Aspekte dank eines Kompressionsverfahrens von Daten erzielt, die repräsentativ für ein Bildsignal sind, von der Art, die das Bild in Pixelmatrixblöcke zerlegt, eine mathematische Transformation einer jeden Pixelmatrix nach einem Transformationsgesetz durchführt, das eine resultierende Matrix ergibt, deren Elemente für die Bildaktivität repräsentativ sind und die in jeder resultierenden Matrix die Elemente geringer psychovisueller Bedeutung durch Bildung eines Schwellenwertes im Verhältnis zu einer Referenzschwellenwertmatrix eliminiert, wobei die mathematische Transformation aus einem ersten Schritt besteht, bei dem die Elemente der Pixelmatrix durch Permutation der Indizes der Elemente transponiert werden, um das Signal zu symmetrisieren, gefolgt von einem zweiten Transformationsschritt der transponierten Matrix durch schnelle Fouriertransformation (TFR).
  • Wie weiter unten gezeigt, kann die TFR entweder durch einen bidimensionalen oder durch einen monodimensionalen Ansatz, der teilweise oder vollständig ausgeführt wird, realisiert werden.
  • Gemäß einer ersten Ausführung der Erfindung ist die resultierende Matrix, auf die der Kompressionsschwellenwert und dann die Kodierung angewandt wird, die Matrix, die sich nach der teilweisen oder gesamten TFR ergibt, angewandt auf die Matrix der transponierten Pixel.
  • Vorteilhafterweise wird die TFR dadurch verwirklicht, daß auf die Matrix der transponierten Pixel eine Verkettung zweier Sätze monodimensionaler TFR mit reellen Werten angewandt wird, welche nacheinander jede Zeile der Matrix der permutierten Pixel und dann jede Spalte der Zwischenmatrix, die sich aus dem ersten Satz monodimensionaler TFR ergibt, betrifft. In diesem Falle erhält man zwei Untervarianten, je nachdem ob die Verkettung der zwei monodimensionalen TFR durch das Berechnungsgitter gefolgt wird oder nicht, mit welchem die durch TFR mit komplexen Werten transformierte Matrix, die der ursprünglichen Matrix transponierter Pixel entspricht, wiederhergestellt wird.
  • Bei diesen ersten zwei Ausführungen der Erfindung erhält man erstaunlich gute psychovisuelle Ergebnisse, was die überragende Stellung des Permutationsschrittes zur Symmetrisierung des Signals in der durch VETTERLI zusammengestellten Schrittkette zur Ausführung der TCD zeigt. Dies ermöglicht gegebenenfalls die Vernachlässigung der nachfolgenden VETTERLI-Schritte.
  • Bei einer dritten Ausführung der Erfindung ist es dennoch möglich, eine vollständige TCD der ursprünglichen Pixelmatrix auszuführen. Die neue Methode der Erfindung besteht in der Ausführung dieser vollständigen TCD durch einen bidimensionalen Ansatz für die Permutationen und die Rotationen, wobei jedoch die TFR durch einen monodimensionalen Ansatz durchgeführt wird. Dieser doppelte, ein- und bidimensionaler Ansatz, ermöglicht eine gleichmäßige Folge arithmetischer Operationen. Der Gewinn besteht nicht durch eine Verringerung der Kosten für Additionen und Subtraktionen, sondern in einem Vorteil bezüglich der Adressenverwaltung bei der Anwendung in integrierten Schaltkreisen. Dieser Vorteil ist entscheidend bei der angestrebten Minimierung der Kosten "Verarbeitungsgeschwindigkeit - Siliziumoberfläche".
  • Gemäß einer vierten und fünften Ausführung der Erfindung handelt es sich bei der resultierenden Matrix, auf welche die Schwellenwertbildung und dann die Kodierung angewandt wird, entweder um die Matrix, die sich aus der über dem monodimensionalen Ansatz ausgeführten TCD ergibt, in deren Verlauf man mindestens einen Teil der imaginären Koeffizienten annulliert, die sich nach mindestens einem der zwei Sätze monodimensionaler TFR mit reellen Werten ergeben (vierte Ausführung), oder es handelt sich um die sich aus einer bidimensionalen TFR ergebenden Matrix, bei der dieselbe Art der gesamten oder teilweisen Annullierung der imaginären Koeffizienten ausgeführt wurde (fünfte Ausführung).
  • Es sind noch weitere Ausführungen der Erfindung möglich, insbesondere durch Kombinieren der gesamten oder teilweisen Annullierung der imaginären Koeffizienten und der Tatsache, daß die TCD des Erfindungsverfahrens nicht zu Ende geführt wird.
  • Weitere Eigenschaften und Vorteile der Erfindung werden beim Lesen der nachfolgenden bevorzugten Ausführungen des Erfindungsverfahrens, die als Beispiel und ohne einschränkenden Charakter dargestellt werden sowie der beigefügten Figuren ersichtlich, wobei
  • Figur 1 die zeilenweise Abtastung der Pixelblöcke beim vorausgehenden Permutationsschritt der Erfindung schematisch darstellt;
  • Figur 2 die "Zickzack"-Abtastung der Koeffizientenblöcke vor der Anwendung bei der Dekodierung des Umkehrverfahrens der Erfindung im Falle einer Anwendung der Fotovideotext Art schematisch darstellt;
  • Figur 3 den Inhalt des ROM Transkodierspeichers bei der Zickzackabtastung über einen Koeffizientenblock schematisch darstellt;
  • Figur 4 den Permutationsschritt des vorausgehenden Permutationsschrittes der Erfindung durch Bitumkehrung schematisch darstellt;
  • Figur 5 die Reihenfolge der vier Schritte der monodimensionalen TFR für Zeilen und Spalten mit zwischenliegenden Matrixtranspositionen gemäß dem Transformationsverfahren der Erfindung schematisch darstellt;
  • Figur 6 eine "Schmetterling"-Grafik (Englisch "Butterfly") darstellt, welche die Logik der Ausführung der monodimensionalen TFR veranschaulicht, wie sie im Diagramm der Figur 5 angewandt wird;
  • Figur 7 die Unterschritte der Matrixpermutation durch Bitumkehrung schematisch darstellt, wie sie im Verfahren der Figur 5 angewandt werden;
  • Figur 8 die räumliche Verteilung der reellen und imaginären Teile in der durch zwei monodimensionale TFR mit reellen Werten transformierten Matrix darstellt;
  • Figur 9 die Operationen zur Wiederherstellung der Transformationswerte in TFR-2D mit komplexem Wert gemäß der geographischen Bereiche der Matrix schematisch darstellt;
  • Figur 10 die Regel zum Erhalt der symmetrischen Anordnung eines jeden Koeffizienten der N×N-Matrix im Verhältnis zum Punkt (N/2,N/2) durch Verarbeitung der Adressbits dieser Koeffizienten schematisch darstellt;
  • Figur 11 die sieben Familien der Endrotation bei der Wiederherstellung der TCD nach dem Verfahren der Erfindung lokalisiert;
  • die Figuren 12 bis 17 grafische Veranschaulichungen einiger Aspekte der Ausführung der Rotationen für jede der in Figur 11 lokalisierten sieben Familien darstellen;
  • Figur 18 einen vorteilhafte Schaltkreis für die Ausführung des Verfahrens der Erfindung darstellt;
  • die Figuren 19A und 19B den Pipeline-Betrieb des Schaltkreises der Figur 18 im Falle der 4/4- bzw. 1/1-Verschachtelung schematisch darstellen;
  • Figur 20 die wichtigsten Ausführungen der Erfindung nach den tatsächlich ausgeführten Verfahrensschritten schematisch symbolisiert.
  • Das Bilddatenkompressionsverfahren der Erfindung fällt vorteilhafterweise in einem Bildkodierprozeß mit reduziertem Durchsatz, für ein festes oder bewegtes Bild.
  • Ein solches Verfahren besteht im wesentlichen aus den folgenden Schritten:
  • - das Quellenbild wird in elementare Verarbeitungsblöcke zerteilt. Die Größe der Blöcke entspricht vorteilhafterweise einem Kompromiß, einerseits zwischen der Notwendigkeit zum Erhalt eines ausreichenden Dekorrelierungsniveaus der Pixel und somit eine ausreichende größe für jeden Block, wobei andererseits jeder Block nicht zu groß sein soll, um die Verarbeitungskomplexität zu minimieren. Bei der nachfolgend dargestellten Ausführung der Erfindung wird das vorhergehende Zerlegen des Bildes über Blöcke von 8×8 Pixel ausgeführt. Die Erfindung ist eindeutig auf Blöcke verschiedener Größen anwendbar.
  • - Jeder aus dem Bild ausgeschnittene Block wird einem mathematischen Transformationsschritt unterworfen. Zweck der Transformation ist das Konzentrieren der bedeutungsvollen Information bezüglich eines jeden Bildblocks auf ein Informationsvolumen, das kleiner ist als die Pixelmatrix, aus der ein jeder Ausgangsblock besteht. Die Transformation, die oft mittels einer TFR oder einer TCD erfolgt, konzentriert die Energie eines jeden Bildblocks im allgemeinen über höchstens die Hälfte des Blocks, mit Ausnahme von Bildblöcken großer psychovisueller Komplexität.
  • - Einen Schritt der Schwellenwertbildung und der Quantifizierung der in den transformierten Bildblöcken enthaltenen Information. Die Schwellenwertbildung besteht in der Eliminierung aus jeder transformierten Matrix der Informationselemente, die kleiner als empirisch festgestellte psychovisuelle Wahrnehmungsschwellenwerte sind. Dies erfolgt durch Überlagerung einer Schwellenwertkoeffizientenmatrix über jede transformierte Matrix. Dieser Schwellenwertfilterung folgt eine Quantifizierung eines jeden gefilterten transformierten Blocks, dargestellt durch eine nächstliegende Konfiguration, die in einem Wörterbuch der standardisierten Grundunterbilder gewählt wird.
  • - Ein Kodierschritt, bevorzugterweise entropischer Kodierung (s. beispielsweise den Artikel "A method for the construction of minimum redundancy codes", Davi A. HUFFMAN, proceedings of the I.R.E., September 1952, Seiten 1098 bis1101). Es können andere entropische Codes als der HUFFMAN-Code angewandt werden.
  • Die Ausführung des Bilddatenkompressionsverfahrens der Erfindung wie unten beschrieben bezieht sich auf den Transformationsschritt der Pixelmatrizen, die 8×8 Blöcke entsprechen, welche aus einem festen oder bewegten zu kodierenden Bild geschnitten wurden.
  • Die unten beschriebene Ausführung entspricht einem Bilddatenkompressionsverfahren, für welches einige Schritte selektiv beibehalten oder eliminiert werden können, als Funktion der Bedingungen und der Leistungen, die für jede Kompressionsanwendung gefordert werden.
  • Bei der komplexesten Ausführung der Erfindung umfaßt das Verfahren die folgende Schrittreihenfolge (Fig. 20):
  • 1) eine Transkodierung der Ausgangspixelmatrizen, die vorteilhafterweise in der Form von Pixelpermutationen erfolgt, kombiniert mit einer Femseh-Abtastlogik;
  • 2) ein mathematischer Transformationsschritt der transkodierten Pixelmatrix durch TFR-2D mit komplexen Werten, zerlegt in der Form einer doppelten TFR-1 D mit reellem Wert, gefolgt von einem Unterschritt der Wiederherstellung der TFR-2D mit komplexem Wert, oder genauer:
  • - 21) die doppelte TFR-1 D mit reellem Wert wird vorteilhafterweise wie folgt ausgeführt:
  • - 211) reelle TFR über jede Zeile der transkodierten Matrix;
  • - 212) Zeilen/Spalten-Matrixtransposition;
  • - 213) TFR mit reellem Wert über jede der nach der Transposition erhaltenen acht Zeilen;
  • - 214) Zeilen-/Spalten-Transposition der so erhaltenen Matrix;
  • - 22) Wiederherstellung der sich aus einer TFR-2D mit komplexen Werten ergebenden Matrix, durch einen Gleichungssatz arithmetischer Kombinationen der Koeffizienten der Matrix, die sich aus der doppelten TFR-1D mit reellem Wert ergibt. Die Zahl der zu berechnenden Gleichungen wird vorteilhafterweise durch Anwendung der hermitischen Symmetrie des Spektrums der Fourier-Transformierten eines reellen Signals reduziert;
  • 3) Wiederherstellung der diskreten Kosinustransformierten, vorteilhafterweise in der Form eines bidimensionalen Rotationssatzes. In einer bevorzugten Ausführung der Erfindung erfolgen diese bidimensionalen Rotationen durch Umgruppierung der entsprechenden Gleichungen in sieben verschiedenen Familien mit homogener Verarbeitung innerhalb einer jeden Familie.
  • Die Realisierung der Gesamtheit der oben detailliert aufgeführten Schritte und Unterschritte entspricht einer Ausführungsart der Erfindung, welche die Anwendung einer optimierten TCD über die Bildblöcke bei verringerten Kosten für "Verarbeitungsgeschwindigkeit x Halbleiterfläche" ermöglicht.
  • Dennoch ist es möglich, wie in der Präambel erläutert, einige Schritte selektiv zu eliminieren, nämlich:
  • - Eliminierung des Schrittes Nr.3 (Rotationen für die Wiederherstellung der TCD). In diesem Falle kann Schritt 2 der Ausführung der komplexen TFR entweder durch die Reihenfolge der oben im Detail erläuterten Schritte 21 und 22 oder durch Realisierung einer TFR-2D mit komplexen Werten gemäß der von VETTERLI vorgeschlagenen direkten Methode ausgeführt werden.
  • - In einer anderen Ausführung ist die Eliminierung des Schrittes 22 des Berechnungsgitters 22 für die Wiederherstellung der komplexen TFR-2D ebenfalls möglich.
  • - Zuletzt können, bei einer noch stärker vereinfachenden Ausführung, die aus der monodimensionalen TFR kommenden imaginären Koeffizienten der Schritte 211 und 213 annulliert werden. Eine solche Vereinfachung ist gerechtfertigt in dem Falle, in dem die Pixelmatrix, die einem jeden Bildblock entspricht, ein stark korreliertes Signal trägt.
  • Andererseits deckt die Erfindung, im Falle der Eliminierung des Endrotationsschrittes 23 und eventuell des Berechnungsgitterschrittes 22, ebenfalls die Ausführungsvariante bei der die so ausgeführte TCD einen komplexen bzw. reellen TFR 2-D Schritt 4 anstelle des Paares monodimensionaler TFR umfaßt.
  • Es soll nun genauer das Prinzip sowie eine bevorzugte Ausführungsart für jeden Schritt der kompletten Erfindungsausführung im Detail beschrieben werden.
  • Ausführung der Permutation und der Eingangstranskodierung:
  • Die Permutation wird als erstes ausgeführt. Sie erfolgt beim Schreiben der Eingangsdaten im 64 Wort-Speicher, welche einem zu transformierenden 8×8-Block entsprechen, in Kombination mit der Abtastung der Elemente der Pixelmatrix.
  • Die Daten des 8×8 Blocks werden gemäß einer Folge eingeführt, die dem zeilenweise Femsehabtasten ähnlich sein kann (Fig. 1), für den Fall der direkten Transformierten (beim Senden). Es wird darauf aufmerksam gemacht, daß eine "Zickzack"-Abtastung beim Empfang für Fotovideotext, Fotoüberwachung oder Videophonie Anwendungen erforderlich ist (Fig. 2), während eine einfache zeilenweise Abtastung für das Dekodieren bei Femsehanwendungen geeignet ist.
  • Die Tabellenindizes (in Fig. 1 und 2) sind die Zeilen- und Spaltennummern des wiederhergestellten Blocks und der Tabelleninhalt ist die Zahl des Datenwertes in der Folge.
  • Die Fernsehabtastung bedarf keiner Adressentranskodierung, da natürlicherweise gilt, daß Folgezahl = 8 * i + j, d. h., das binär kodierte Paar (i,j) ist auch der Binärcode der Folgezahl. Die Transkodierung der Zickzack-Abtastung wird vorteilhafterweise von einem 64 Bit-Wort ROM Speicher ausgeführt, dessen Eingangsadresse die Folgezahl und deren Ausgang das Paar (i,j), wo der Datenwert eingetragen wird, ist.
  • Der Inhalt des Zickzack-Transkodier-ROM-Speichers ist in der Fig. 3 dargestellt.
  • Die eigentliche Permutation besteht in der Transformation eines jeden Zeilen- bzw. Spaltenindexes i und j gemäß der in Fig. 4 schematisch dargestellten Art. Diese Transformation entspricht gewissermaßen einer Durchmischung der Koeffizienten, die das Signal symmetrisiert und in etwa das Dekorrelieren der Koeffizienten ermöglicht.
  • Sind i und j über 3 Bits B2, B1 und B0 kodiert, so werden die neuen berechneten Indizes i und j über 3 Bits B 2, B 1 und B 0 ausgedrückt, welche derart sind, daß folgendes gilt:
  • -B 0 : = B0 B1
  • -B 1 : = B0 B2
  • -B 2 : = B0
  • TFR 8×8 mit reellen Werten : (RVFFT)
  • Wie in Figur 5 schematisch dargestellt, erfolgt die schnelle Fourier-Transformierte (in Englisch: Fast Fourier Transform oder FFT) mit reellen Werten durch Ausführung einer TFR mit reellen Werten über jede der 8 Zeilen (211), gefolgt von einer Matrixtransposition 8×8 (212) und zuletzt von einer zweiten Reihe (213) von TFR über die 8 Zeilen, die sich nach der Transposition ergeben, vor der neuen Matrixtransposition 8×8 (214).
  • Es wird darauf aufmerksam gemacht, daß im Realisationsmodus der Erfindung, welcher in der Eliminierung des Berechnungsgitters (22) und der Rotation (3) besteht, es ebenfalls möglich ist, den Schritt 214 der Matrixtransposition zu übergehen, selbstverständlich unter der Voraussetzung, daß die Matrix psychovisueller Schwellenwerte des Quantifizierungsschrittes der Kodierung angepaßt sowie daß die Umkehrtransformierte der Dekodierung ausgeführt wird.
  • Fig. 6 gibt eine schematische Darstellung der Ausführungslogik der monodimensionalen TFR in Form einer "Schmetterlings"-Grafik, welche den Erhalt von transformierten Koeffizienten (X0, ..., X7) ausgehend von den Koeffizienten (x0, ..., x7) ermöglicht. Wie in Fig. 6 dargestellt, werden diese Indizes (X0, ..., X7) dadurch zugeordnet, daß die auf die monodimensionale TFR folgende Permutation integriert wird.
  • Die aus der TFR mit reelen Werten über jede Zeile sich ergebenden Daten müssen in der Reihenfolge der "bit-reverse" (Umkehrung der Adressbits) anstelle der natürlichen Reihenfolge aufgestellt werden. Diese "bit-reverse" Permutation vertauscht die Bits der Zeilen- und Spaltenbits i und j nach dem in Fig. 7 schematisch dargestellten Verfahren. Sie darf nicht mit einer über die Eingangsdaten ausgeführten Permutation verwechselt werden. Die Kombination dieser Permutation mit der Matrixtransposition in den Schritten 212, 214, bedarf keinen Transfer des Speicherinhaltes (und somit der Zeit), sondern einfach eine Transformation der Adresse (i,j) in eine Adresse (i ,j ). Sie erfolgt nach jeder Serie von 8 FFT Transformationen mit reellen Werten in Form der folgenden Operation:
  • (i ,j ) : = (bit-reverse (j), bit-reverse (i))
  • wobei (i,j) die Adresse vor der Permutation ist
  • (i ,j ) die Adresse nach der Permutation ist.
  • Die bit-reverse Permutation kann ebenfalls am Eingang der monodimensionalen TFR realisiert werden.
  • Wiederherstellung der TFR-2D mit komplexen Werten, ausgehend von der TFR-2D mit reellen Werten:
  • Die Ausgänge der FFT-1D mit reellen Werten sind aufgrund der hermitischen Symmetrie der komplexen Fourier-Transformierten eines reellen Signals reelle Teile (X0, X1, X2, X3, X4) und imaginäre Teile (X5, X6, X7).
  • Figur 8 veranschaulicht die räumliche Verteilung in der transformierten Matrix RVFFT der reellen und imaginären Teile. Es wird auf die hermitische Symmetrien gemäß der Achsen i 81 und j 82 aufmerksam gemacht.
  • Die Koeffizienten der transformierten Matrix RVFFT sind die reellen Daten, die eine zweideutige Wiederherstellung der Koeffizienten der komplexen Fourier-Transformierten gemäß folgendem Gesetz ermöglichen:
  • mit: ε&sub1; = +/-1 entsprechend der hermitischen Symmetrie
  • ε&sub2; = +/-1 entsprechend der hermitischen Symmetrie
  • Beispiel: Quadrant 1 (91) = ε&sub1; = ε&sub2; = +1
  • Die Schreibweisen Im[Re] oder Im[Im], Re, Re sind gemäß dem folgenden Beispiel zu deuten:
  • Beispiel: Re[Re] = Re[FFT-1D[Re[FFT-1D]]]
  • wobei: * FFT-1D : Ergebnisse FFT-1D über die Zeilen
  • * FFT-1D[Re[FFT-1D]] : Ergebnisse FFT-1D über die Spalten.
  • Um in allen Fällen die reellen und imaginären Teile der FFT-2D mit komplexen Werten zu erhalten, reicht es, die Terme Re[Re], Re[Im], Im[Re], Im[Im], die sich aus den zwei Reihen von FFT-1D mit rellen Werten ergeben durch die entsprechenden in Fig. 9 schematisch dargestellten Werte und gemäß der in Tabelle I vorgestellten Logik zu ersetzen. Die in Tabelle I dargestellten bedingten Abzweigungen identifizieren die Berechnungselemente, die nicht null sind, unter Re[Re], Re[Im], Im[Re], Im[Im]. Es wird darauf aufmerksam gemacht, daß eine gewisse Reihe von Vereinfachungen eingeführt werden können, insbesondere aufgrund der Tatsache, daß die imaginären Teile für die Elemente 0 und 4 null sind.
  • Die Wiederherstellung erfolgt bei Berücksichtigung der hermitischen Symmetrie, die man im bidimensionalen Fall wiederfindet und eine Symmetrie bezüglich des Paares (N/2,N/2) ist, d. h. (4,4) wenn N = 8 ist. Dies ermöglicht das direkte Deduzieren der komplexen Werte der TFR-2D der 3. und 4. Quadranten 93, 94 der Fig. 9, ausgehend von denjenigen der 1. und 2. Quadranten 91, 92.
  • Die Berechnungen der Werte der FFT-2D mit komplexen Werten, ausgehend von den Ausgängen der FFT-2D mit reellen Werten, kosten insgesamt 4 × (3×3) Additionen/Subtraktionen, d.h. 36 Additionen/Subtraktionen. Die Additionen und Subtraktionen werden ausgeführt, indem man die zwei bezüglich des Punktes (4,4) symmetrischen Wörter nimmt; die Adresse des symmetrischen Elementes erhält man durch Berechnung der Adresse, wie in der Fig. 10 schematisch dargestellt, nach der folgenden Symmetrielogik: B 0: = B0 und B 1: = B0 B1 TABELLE I
  • Endrotationen für die Wiederherstellung der TCD:
  • Die Werte der TCD 8×8 werden von den Werten der FFT 8×8 mittels folgender Matrizengleichung berechnet: Ausgänge DCT 8×8 Gitter nach Rotation 2 Rotationen Ausgänge FFT-2D 8×8 mit komplexenwerten
  • wobei ck = cos (kπ/16) und sk = sin (kπ/16)
  • Die besonderen Werte der sk und ck bringen Vereinfachungen in die Realisierung der Rotationen und die oben beschriebene Matrizengleichung kann somit in sieben verschiedenen Formen geschrieben werden, "Familien" genannt. Die sieben Familien sind in der komplexen FFT Matrix, wie in Fig. 11 dargestellt, lokalisiert.
  • Die Figuren 12 bis 17 sind grafische Darstellungen, die gewisse Aspekte der Anwendungsmodi der Rotationen fuir jede der sieben Familien F1, F2, ..., F7 veranschaulichen.
  • Familie F1
  • Dies ist die allgemeinste Rotation, weil ohne Vereinfachung.
  • Es wird der Ansatz gemacht: sk: = sin(kπ/16) und ck: = cos(kπ/16). Die grafische Darstellung der Fig. 12 stellt eine Anwendung mit drei Zellen vor: 101, 102, 103. Die Zelle 102 ist identisch mit Zelle 101 aber mit einem anderen Wert des Koeffizienten k (k = i + j bzw. k = i - j für die Zellen 101 und 102). Ab dem Paar (i,j) muß die Symmetrie bez"glich 4 verwendet werden, um 8-i/8-j zu erhalten.
  • (i , j) = (i,j)
  • (sym4(i) , j) = (8-i,j)
  • (Sym4(i) , sym4(j)) = (8-i,8-j)
  • (i , sym4(j)) = (i,8-j)
  • Die Familie F1 wird durch die Paare (1,2), (2,1), (2,3), (3,2) gemäß der folgenden Tabelle verwirklicht:
  • Die Familie F1 verwendet die Werte sin (3π/16), sin (π/16), cos (π/16), cos (3π/16), sin (5π/16), cos (5π/16). Um die Zahl der Multiplikationen zu minimieren, kann die Zelle CEL1 geändert werden, wie in Fig. 13 dargestellt. Die Version der Fig. 13 bedarf nur drei Multiplikationen und drei Additionen an Stelle von vier Multiplikationen und zwei Additionen für die Version der Fig. 12.
  • Für die anderen Familien wäre es möglich, die gleiche allgemeine Rotation anzuwenden, als diejenige, die soeben für Familie F1 beschrieben wurde. Dies würde jedoch die Erhöhung der Regelmäßigkeit des Algorithmus ermöglichen, unter Anwendung der gleichen Rotationszelle, auf Kosten einer leicht verlängerten Berechnungszeit.
  • Familie F2:
  • Diese Rotation wird für die Paare (i,j) ε {(1,3),(3,1)} verwirklicht. Ihre grafische Darstellung erfolgt durch Anwendung der Zelle 104 der Figur 14 anstelle der Zelle 101 der Figur 12.
  • Familie F2 verwendet die Werte sin (π/8) und cos (π/8) sowie cos (π/4), gemäß der Tabelle:
  • Familie F3:
  • Diese Rotation wird für die Paare (i,j) {(1,1),(3,3)} verwirklicht. Wie in Fig. 15 dargestellt, ist Zelle 105 identisch mit den Zeilen 101, 102 der Fig. 1 2 (und ggf. der gleichwertigen Zelle der Figur 13). Zelle 106 besteht aus zwei Linien ohne spezifische Verarbeitung. Familie F3 verwendet die Werte sin (π/8), sin (3π/8), cos (π/8), cos (3π/8) gemäß der Tabelle:
  • Familie F4:
  • In dieser Familie wird die Rotation durch das Paar (i,j) = (2,2) gemäß der grafischen Darstellung der Fig. 16 verwirklicht. Die Zellen zum Speisen des Gitters 103 sind die Zellen 104 und 106 der Figuren 14 bzw. 15. Familie F4 verwendet nur den Wert cos (π/4).
  • Familien F5 und F6:
  • Für die Familie F5 besteht die Rotation darin, anstelle des lokalen Berechnungsgitters 103 (Fig. 17), mit 2 zu multiplizieren.
  • Die Zellen 107, 108 sind identisch mit den Zellen 101, 102 der Figuren 12 und 13.
  • Familie F5 entspricht den Paaren (i, j) für welche
  • i = 0 und j = 1, 2, 3
  • j = 0 und i = 1, 2, 3
  • und wird nach der folgenden Tabelle ausgeführt:
  • Für Familie F6 beschränkt sich die Rotation auf die Zellen 107 und 108 der Figur 1 7, ohne Multiplikationen mal 2.
  • Familie F6 umfaßt die Paare (i,j) für welche:
  • i = 4 und j = 1, 2, 3 ; j = 4 und i = 1, 2, 3 und wird nach folgender Tabelle ausgeführt:
  • Familie 7:
  • Familie 7 besteht aus den folgenden, auf das Minimum reduzierte Rotationen:
  • DCT (0,0) = 2 F(0,0)
  • DCT (0,4) = 2 cos (π/4) F(0,4)
  • DCT (4,0) = 2 cos (π/4) F(4,0)
  • DCT (4,4) = 2 F(4,4)
  • In der obigen Beschreibung der Gesamtheit der Verfahrensschritte nach der Erfindung für die Anwendung einer DCT Transformierten, wird deutlich sichtbar, daß die Berechnungslast auf der Ebene der Rotationen liegt.
  • Andererseits hat die Permutation die Tendenz, die Eingangsdaten zu symmetrisieren. Der imaginäre Teil der FFT Koeffizienten strebt demnach gegen "0", wenn die Korrelation zwischen den Eingangsdaten wächst. Bei gewissen praktischen Anwendungen, wie die Bildkodierung bei verringertem Durchsatz, sind die Eingangssignale allgemein stark korreliert.
  • Die Rotationen werden demnach auf komplexe Zahlen angewandt, deren reeller Teil vorwiegt und demnach die Entropie des zu kodierenden Signals nicht ändern sollte.
  • Die Eliminierung dieser Rotationen führt demnach eine neue Transformierte ein, die als Bildkodierung anwendbar ist.
  • Konkret gesehen besteht dieser Schritt in der selektiven Annullierung von mindestens einigen oder gar allen Koeffizienten, die den imaginären Teilen der komplexen Koeffizienten entsprechen, bei jeder monodimensionaler TFR für die Schritte 211 und 213. Das selektive Annullierungskriterium kann eine Schwellenwertbildung sein. Die Annullierung eines Koeffizienten wirkt sich beispielsweise durch die nicht Ausführung der entsprechenden Additionen und/oder Subtraktionen (s. Fig. 6) aus.
  • Darüber hinaus sind die zu kodierenden Bildsignale reell (Grundhypothese, die das Einführen der Fouriertransformierten mit reellen Werten in die DCT-Berechnung ermöglicht), so daß das Spektrum der Fourier-Transformierten hermitische Symmetrie aufweist. Man kann demnach als andere Transformierte die Fourier- Transformierte mit reellen Werten des permutierten Signals nehmen. Diese Transformierte weist eine stark reduzierte arithmetische Komplexität auf, da sie bei einer Größe von 8×8 nur 32 Multiplikationen und 320 Additionen erfordert, was bedeutet, daß die Zahl der Multiplikationen durch 3,5 und die der Additionen durch 1,5 geteilt wurden.
  • Andererseits ist die Kompressionsleistung durchaus mit derjenigen der Kosinus- Transformierten vergleichbar.
  • Zum Vergleich werden einerseits die Leistungen bezüglich Zahl der Additionen und Multiplikationen, die mit den CHEN, LEE und VETTER LI-Verfahren aufkommen und andererseits die Leistungen der zwei Ausführungen der Erfindung (mit und ohne Rotationen) in Tabelle II dargestellt, als Funktion der Größe der Bildblöcke (N = 8 bis 64). TABELLE II
  • Im Falle der Eliminierung eines Schrittes des Berechnungsgitters wird die Zahl der Additionen um den Wert 4 × (N/2 - 1)² verringert, d. h. beispielsweise, daß 36 Additionen für N = 8 eliminiert werden.
  • Figur 18 stellt einen vorteilhaften Schaltkreis dar, mit dem das Verfahren der Erfindung realisiert werden kann.
  • Wie in der Figur 1 8 dargestellt, besteht der DCT-Operator aus einem Arbeitsspeicher 200 mit einer Kapazität von 64 Wörtern, entsprechend der 64 Elemente einer Matrix mit 8 Zeilen und 8 Spalten und einem "Datenpfad" 210, welcher, ausgehend von den aus dem Speicher gelesenen Daten, Additionen und Multiplikationen ausführt. Da die Berechnungen sorgfältig geordnet sind, werden die Ergebnisse des "Datenpfades" in dieselben Adressen als Leseadressen im Arbeitsspeicher 200 eingetragen. Man kann sagen, daß man die Daten zwischen Speicher 200 und Datenpfad 210 Vuherumlaufenuv läßt, bis zum Erreichen eines Endergebnisses. Die Daten werden vom DCT-Operator über Eingangs-FIFO 221 und Ausgangs-FIFO 222 eingeführt.
  • Angesichts der großen Zahl auszuführender elementarer Operationen von der "Schmetterlingsart" [bei denen beispielsweise (X0 + X4) und (X0 - X4) ausgeführt werden], wird der Speicher in zwei gleiche Teile 201, 202 aufgeteilt, genannt MA und MB. In MA werden die geraden Zeilen des 8×8 Blocks, in MB die ungeraden Zeilen gespeichert. Um andererseits diese beiden Speicher 201, 202 gleichzeitig anzusprechen, entweder beim Lesen oder beim Schreiben, sind MA und MB an zwei Datenbusse 203, 204 über Register 205, 206 angeschlossen, wobei einer der Datenbusse 203 systematisch beim Lesen und der andere, 204, beim Schreiben in dem Speicher aktiv sind.
  • Die Speicher MA 201 und MB 202 sind vorteilhafterweise RAM-Speicher mit 32 Wörtern und 20 Bits.
  • Der Datenpfad besteht hauptsächlich aus:
  • - vier Register A0, A1, A2, A3 (205, 206, 207, 208), in denen die aus dem Speicher gelesenen Daten (200, 201, 202) gespeichert werden;
  • - zwei Multiplikatoren (211, 212) mit "Kosinus", "Sinus" und diversen Konstanten (0, + 1, -1, ...), die aus einer Tabelle des ROM-Speichers 213 kommen. Bei diesem Speicher 213 handelt es sich um einen ROM-Speicher mit 16 Wörtern und 1 2 Bits, der die Sinus- und Kosinustabellen der Winkel 0 bis π/2 mit der Schrittweite π/16 enthält;
  • - ein Addierwerk 214;
  • - vier Ausgangsregister S0, S1, S2, S3 (215, 216, 217, 218) in denen die Ausgangsergebnisse des Addierwerkes 214 gespeichert werden.
  • Sie weisen ebenfalls Multiplexermodule Mx und Demultiplexermodule DMx auf.
  • Die Befehle des Speichers 200 und des "Datenpfades" 210 werden derart erzeugt, daß der Speicher und der Vvdatenpfadvv während 100 % der Ausführungszeit des DCT Berechnungsarlgorithmus genutzt werden. Dafür arbeiten die Speicherpartition MA und MB, die vier Eingangsregister A und die vier Register B des "Datenpfades" im Pipelinemodus, gemäß einer 4-4 oder 1-1 -Verschachtelung, je nachdem ob die zu behandelnden Daten aus derselben Zeile stammen oder nicht.
  • Der Betrieb des DCT-Operators im Pipelinemodus basiert auf der Partition des 64- Wort Datenspeichers (entsprechend der Elemente B(i,j) eines Blocks B der Größe 8×8, i = 0, ..., 7) in zwei Speicher MA und MB, wobei MA die geraden Zeilen, i = 0, 2, 4, 6 und MB die ungeraden Zeilen i = 1, 3, 5, 7 enthält. Hierdurch ist es möglich, entweder aus dem Speicher MA 201 zu lesen und parallel in den Speicher MB zu schreiben oder aus dem Speicher MB 202 zu lesen und parallel in den Speicher MA zu schreiben. Man teilt demnach die scheinbare Zugangszeit des Speichers durch 2.
  • Die elementaren Operatoren sind:
  • - entweder ein Schmetterling, der ausgehend von zwei Elementen A0 und A1, (A0 + A1) und (A0 - A1) erzeugt
  • - oder einfache Multiplikationspaare, die ausgehend von zwei Elementen A0, A1, α × A0 und β × A0 erzeugen,
  • - oder Rotationen um den Winkel θ, die, ausgehend von zwei Elementen A0 und A1, (A0 cos(θ)-A1 sin(θ)) und (A0 sin(θ)+A1 cos(θ)) erzeugen (s. Zeilen 101, Fig. 12).
  • Dies ist eindeutig in den Figuren 19A und 19B erläutert.
  • In den Figuren 19A und 19B stellen die linken Spalten der Tabellen die aufeinander folgenden Leseoperationen MA und MB, die mittleren Spalten die Berechnungen (Additionen, Subtraktionen, Multiplikationen) über den Inhalt der Register und die rechten Spalten die aufeinanderfolgenden Eintragungen in die Speicher MA, MB dar.
  • Die in Figur 19A dargestellte Funktion entspricht dem Fall, in dem die Rechengrößen der durchzuführenden Additionen und Multiplikationen aus einer selben Zeile stammen, da die Speicher MA 201 und MB 202 jeweils der Speicherung der Koeffizienten der geraden Zeilen und der ungeraden Zeilen entsprechen. Die einzig mögliche Kombination, die den Betrieb im Pipelinemodus ermöglicht, besteht in dem aufeinanderfolgenden Lesen von vier Koeffizienten aus dem Speicher MA 201 (Schritt 190), um sie in die Register A0, A1, A2, A3 (205 bis 208) einzugeben, dann von vier Koeffizienten aus dem Speicher MB 202 (Schritt 191), und so weiter abwechselnd. Diese Umgruppierung der Lesevorgänge in Gruppen von vier Elementen ermöglicht danach das abwechselnde Schreiben der Inhalte der Ausgangsregister S0, S1, S2, S3 (215 bis 218) in jeden Speicher MA 201 und MB 202 für die Schritte 192 und 193 der Figur 19A. Der Inhalt der Register S0, S1, S2 und S3 wird durch Anwendung 194 der oben im Detail erläuterten Elementaroperationen auf die Inhalte der Register A0, A1, A2, A3 realisiert. Somit ermöglicht der Pipelinebetrieb die Verwendung eines jeden Speichers MA und MB zu 100 % der Zeit.
  • In dem in Figur 19B schematisch dargestellten Fall stammen die Rechengrößen der Additionen oder der Subtraktionen zum einen aus einer geraden Zeile und zum anderen aus einer ungeraden Zeile. In diesem Fall ist die Verschachtelung für das Lesen der Speicher MA 201 und MB 202 eine 1-1 Verschachtelung. Die Bedeutung der in Figur 19B verwendeten Symbole entspricht den Symbolen der Figur 19A.
  • In einer weiteren vorteilhaften Ausführung können die Daten über zwei Speicher MA und MB in der Form zweier komplementärer Schachbretter verteilt sein. In diesem Falle umfaßt jeder Speicher für jede Zeile jeden zweiten Koeffizienten. Diese Verteilung ermöglicht ebenfalls das Optimieren der Anwendung der Speicher.
  • Es wird zuletzt darauf aufmerksam gemacht, daß die Operationen gemäß der "1-1"- Verschachtelung (Figur 19B) ohne Zeitverlust im Pipelinemodus verkettet werden können, mit den Operationen gemäß der "4-4"-Verschachtelung (Fig. 19A).

Claims (11)

1. Kompressionsverfahren für repräsentative Daten eines Bildsignals, von der Art, die darin besteht, das Bild in Blöcke zu zerlegen, wobei jeder Block eine Pixelmatrix bildet, dann jede Pixelmatrix einer mathematischen Transformation gemäß eines Transformationsgesetzes zu unterwerfen, welche als Ergebnis eine Matrix von Elementen liefert, die für die Bildaktivität repräsentativ sind, und in jeder sich ergebenden Matrix die Elemente schwacher psychovisueller Bedeutung zu eliminieren, durch Bildung eines Schwellenwertes mittels einer Matrix von Referenzschwellenwerten,
dadurch gekennzeichnet, daß die mathematische Transformation für jede Pixelmatrix folgendes umfaßt:
- einen Schritt zur Transposition der Elemente der Pixelmatrix durch Permutation, welcher folgendes umfaßt:
. einen Schritt zur Durchmischung der Pixel einer jeden Zeile der Matrix,
. einen Schritt zur Durchmischung der Pixel einer jeden Spalte der Matrix,
wobei die Durchmischungen derart durchgeführt werden, daß sie die Pixel dekorrelieren, und
- einen Schritt zur Anwendung einer schnellen Fourier-Transformierten (TFR) auf die permutierte Matrix.
2. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, daß der Schritt zur Anwendung einer schnellen Fourier- Transformierten dadurch verwirklicht wird, daß auf die Matrix der transponierten Pixel eine Verkettung zweier Sätze monodimensionaler TFR mit reellen Werten angewandt wird, die nacheinander jede Zeile der Matrix der permutierten Pixel und dann jede Spalte der Zwischenmatrix, die sich aus dem ersten Satz monodimensionaler TFR ergibt, betrifft.
3. Verfahren gemäß einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, daß mindestens eine der monondimensionalen TFR von einer Matrixtransposition mit Bitumkehrung ("bit-reverse") gefolgt wird.
4. Verfahren gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß man die transformierte Matrix, die sich aus den zwei verketteten monodimensionalen TFR ergibt, einem Berechnungsgitter unterwirft, welches die durch TFR mit komplexen Werten transformierte Matrix wiederherstellen soll, die der ursprünglichen Matrix transponierter Pixel entspricht.
5. Verfahren gemäß Anspruch 4, dadurch gekennzeichnet, daß die durch TFR mit komplexen Werten transformierte Matrix einer Rotationsbehandlung unterworfen wird, um eine resultierende Matrix zu erhalten, die der TCD-Transformierten mit reellen Werten der ursprünglichen Pixelmatrix entspricht.
6. Verfahren gemäß einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß man mindestens einen Teil der imaginären Koeffizienten annulliert, die sich nach mindestens einem der zwei Sätze monodimensionaler TFR mit reellen Werten ergeben.
7. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, daß der Anwendungsschritt einer schnellen Fourier- Transformierten durch Anwendung einer einzigen bidimensionalen TFR auf die Matrix transponierter Pixel angewandt wird.
8. Verfahren gemäß einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß das Permutationsgesetz der Indizes der Elemente der Pixelmatrix mit einer zeilenweisen Abtastung der Matrix kombiniert wird.
9. Anwendung des Verfahrens gemäß einem der Ansprüche 1 bis 8 für die Kompression von Bildern, die einer Bildfolge mit reduziertem Durchsatz angehören.
10. Anwendung des Verfahrens gemäß einem der Ansprüche 1 bis 8 für die Kodierung der Bildblöcke der Größe 8×8 und 16×16 Pixel.
11. Vorrichtung zur Anwendung des Verfahrens gemäß einem der Ansprüche 1 bis 8,
dadurch gekennzeichnet, daß sie insbesondere folgendes umfaßt:
- zwei verschiedene Speichereinheiten (201, 202), die jeweils die Koeffizienten der geraden und der ungeraden Zeilen der Matrix enthalten,
- Mittel zur Permutation der Zeilen- und der Spaltenindizes der Matrix, welche mit den Koeffizienten assoziiert sind, die in den Speichereinheiten enthalten sind,
- einen Datenpfad (210), der nach Art einer Pipeline die verschachtelten Lesevorgänge für die Koeffizienten in den Speichereinheiten (210, 202), die Berechnungen an diesen Koeffizienten und zuletzt die verschachtelten Schreibvorgänge der sich ergebenden Koeffizienten in den Speichereinheiten (201, 202) ausführt,
wobei die Mittel zur Permutation der Indizes einen Transpositionsschritt der Elemente der Pixelmatrix durch Permutation bewirken, welche einen Durchmischungsschritt der Pixel einer jeden Zeile der Matrix und einen Durchmischungsschritt der Pixel einer jeden Spalte der Matrix umfassen, wobei diese Durchmischungen derart erfolgen, daß sie die Pixel dekorrelieren und wobei die Speichereinheiten (201, 202) mit dem Datenpfad (210) derart zusammenarbeiten, daß mindestens die Schritte ausgeführt werden, die dem Transpositionsschritt folgen und ein Schritt zur Anwendung einer schnellen Fourier-Transformierten (TFR) ausgeführt wird, durch sukzessive Durchgänge der Koeffizienten durch den Datenpfad (210).
DE69029976T 1989-04-18 1990-04-17 Verfahren und Einrichtung zur Bilddatenkompression durch mathematische Transformation Expired - Fee Related DE69029976T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR8905298A FR2646046B1 (fr) 1989-04-18 1989-04-18 Procede et dispositif de compression de donnees d'image par transformation mathematique a cout reduit de mise en oeuvre, notamment pour la transmission a debit reduit de sequences d'images

Publications (2)

Publication Number Publication Date
DE69029976D1 DE69029976D1 (de) 1997-04-03
DE69029976T2 true DE69029976T2 (de) 1997-10-09

Family

ID=9380973

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69029976T Expired - Fee Related DE69029976T2 (de) 1989-04-18 1990-04-17 Verfahren und Einrichtung zur Bilddatenkompression durch mathematische Transformation

Country Status (5)

Country Link
US (1) US5031038A (de)
EP (1) EP0398830B1 (de)
JP (1) JPH0373689A (de)
DE (1) DE69029976T2 (de)
FR (1) FR2646046B1 (de)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3943880B4 (de) * 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digitales Codierverfahren
US5268853A (en) * 1989-12-01 1993-12-07 Ricoh Company, Ltd. Orthogonal transformation processor for compressing information
US5359549A (en) * 1989-12-01 1994-10-25 Ricoh Company, Ltd. Orthogonal transformation processor for compressing information
US5107345A (en) * 1990-02-27 1992-04-21 Qualcomm Incorporated Adaptive block size image compression method and system
JP3185214B2 (ja) * 1990-06-12 2001-07-09 日本電気株式会社 改良dctの順変換計算装置および逆変換計算装置
US5757973A (en) * 1991-01-11 1998-05-26 Sony Corporation Compression of image data seperated into frequency component data in a two dimensional spatial frequency domain
TW223690B (de) * 1991-02-13 1994-05-11 Ampex
JP2964172B2 (ja) * 1991-03-08 1999-10-18 富士通株式会社 Dctマトリクス演算回路
US5258941A (en) * 1991-12-13 1993-11-02 Edward Newberger Apparatus for utilizing a discrete fourier transformer to implement a discrete cosine transformer
WO1993023816A1 (en) * 1992-05-18 1993-11-25 Silicon Engines Inc. System and method for cross correlation with application to video motion vector estimation
CA2094524A1 (en) * 1992-07-30 1994-01-31 Ephraim Feig Digital image processor for color image compression
US5345408A (en) * 1993-04-19 1994-09-06 Gi Corporation Inverse discrete cosine transform processor
US5420942A (en) * 1993-09-21 1995-05-30 Levit; Itzhak Methods and devices for self-correcting video compression
US5467131A (en) * 1993-12-30 1995-11-14 Hewlett-Packard Company Method and apparatus for fast digital signal decoding
US5481487A (en) * 1994-01-28 1996-01-02 Industrial Technology Research Institute Transpose memory for DCT/IDCT circuit
US5831872A (en) * 1995-06-27 1998-11-03 Motorola, Inc. Method and system for compressing a video signal using dynamic frame recovery
US6094453A (en) * 1996-10-11 2000-07-25 Digital Accelerator Corporation Digital data compression with quad-tree coding of header file
KR100239349B1 (ko) * 1996-12-20 2000-01-15 구자홍 역이산 코사인 변환기의 데이타 포멧 변환 회로
AUPO521897A0 (en) * 1997-02-20 1997-04-11 Telstra R & D Management Pty Ltd Invisible digital watermarks
JPH10283343A (ja) * 1997-04-02 1998-10-23 Mitsubishi Electric Corp データ処理方法
US6058215A (en) * 1997-04-30 2000-05-02 Ricoh Company, Ltd. Reversible DCT for lossless-lossy compression
GB2329544B (en) * 1997-09-19 2001-11-21 Motorola Israel Ltd Video codec and method for encoding video frames
US6771264B1 (en) * 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
US6525737B1 (en) 1998-08-20 2003-02-25 Apple Computer, Inc. Graphics processor with pipeline state storage and retrieval
US6460061B1 (en) * 1999-10-29 2002-10-01 Xilinx Inc. 2-dimensional discrete cosine transform using a polynomial transform
US20030212721A1 (en) * 2002-05-07 2003-11-13 Infineon Technologies Aktiengesellschaft Architecture for performing fast fourier transforms and inverse fast fourier transforms
US7599044B2 (en) 2005-06-23 2009-10-06 Apple Inc. Method and apparatus for remotely detecting presence
US7242169B2 (en) * 2005-03-01 2007-07-10 Apple Inc. Method and apparatus for voltage compensation for parasitic impedance
US7577930B2 (en) 2005-06-23 2009-08-18 Apple Inc. Method and apparatus for analyzing integrated circuit operations
US9298311B2 (en) * 2005-06-23 2016-03-29 Apple Inc. Trackpad sensitivity compensation
US7433191B2 (en) * 2005-09-30 2008-10-07 Apple Inc. Thermal contact arrangement
US7598711B2 (en) * 2005-11-23 2009-10-06 Apple Inc. Power source switchover apparatus and method
GB2459339A (en) * 2008-04-25 2009-10-28 Univ Bradford Pipelined 2D fast Fourier transform with three permutation stages, two FFT processor units and a twiddle factor unit.
WO2011007265A1 (en) * 2010-02-10 2011-01-20 Andrew Batrac Method for lossless digital shearing and rotation with fine angular increments
FR3016764B1 (fr) * 2014-01-17 2016-02-26 Sagemcom Broadband Sas Procede et dispositif de transcodage de donnees video de h.264 vers h.265
CN108982964A (zh) * 2018-07-28 2018-12-11 华中科技大学 一种基于细化傅里叶变换的信号分析方法及设备
KR20220147339A (ko) * 2021-04-27 2022-11-03 성균관대학교산학협력단 이미지의 암호화 방법
CN113973203A (zh) * 2021-10-22 2022-01-25 上海济物光电技术有限公司 一种jpeg图像压缩加速方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4189748A (en) * 1977-08-23 1980-02-19 Northrop Corporation Video bandwidth reduction system using a two-dimensional transformation, and an adaptive filter with error correction
US4302775A (en) * 1978-12-15 1981-11-24 Compression Labs, Inc. Digital video compression system and methods utilizing scene adaptive coding with rate buffer feedback
JPS6297834A (ja) * 1985-10-25 1987-05-07 Kawasaki Heavy Ind Ltd プリプレグ材の積層装置
US4764974A (en) * 1986-09-22 1988-08-16 Perceptics Corporation Apparatus and method for processing an image
IT1207346B (it) * 1987-01-20 1989-05-17 Cselt Centro Studi Lab Telecom Sformata coseno discreta a coeffi circuito per il calcolo della tra cienti quantizzati di campioni di segnale numerico

Also Published As

Publication number Publication date
EP0398830B1 (de) 1997-02-26
FR2646046A1 (fr) 1990-10-19
FR2646046B1 (fr) 1995-08-25
DE69029976D1 (de) 1997-04-03
US5031038A (en) 1991-07-09
JPH0373689A (ja) 1991-03-28
EP0398830A1 (de) 1990-11-22

Similar Documents

Publication Publication Date Title
DE69029976T2 (de) Verfahren und Einrichtung zur Bilddatenkompression durch mathematische Transformation
DE19819198B4 (de) Reversible DCT für verlustfreie/verlustbehaftete Kompression
DE3750791T2 (de) Sehr schnelle Transformationsvorrichtung.
DE68914045T2 (de) Verfahren zur Kodierung von Hilfsdaten für die Rekonstruktion eines unterabgetasteten, elektronischen Bildes.
DE69737514T2 (de) System und verfahren zum bearbeiten wellenartiger und umgekehrten wellenartigen transformationen von digitalen daten
DE69425847T2 (de) Rechner für die inverse diskrete Cosinus-Transformation
DE2625973C3 (de) Verfahren und Anordnung zur redundanzvermindernden Transformation von Bildern
DE69406306T2 (de) Verfahren zur bildskalierung und zum filtern mit diskreter cosinustransformation
DE19983253B4 (de) Die Kompression von Farbbildern auf der Grundlage einer zweidimensionalen diskreten Wavelet-Transformation, die ein scheinbar verlustloses Bild hervorbringt
DE3750017T2 (de) Prozessor für orthogonale Transformation.
DE4133460C2 (de) Verfahren zum Verdichten von Bildern
DE69525127T2 (de) Gerät und Verfahren zur Kodierung und Dekodierung von Bildern unter Verwendung einer Kantensynthese und einer Wavelet-Rücktransformation
DE2640140C2 (de) Verfahren und Anordnung zur redundanzvermindernden Bildcodierung
DE69609842T2 (de) Jpeg-kompressionsschaltung mit filterung
DE69722495T2 (de) Adaptives Abtastverfahren für Wavelet-Videokodierung
DE19681687B4 (de) Manipulieren von Video- und Audiosignalen unter Verwendung eines Prozessors, welcher SIMD-Instruktionen unterstützt
DE2706080A1 (de) Verfahren und anordnung zur adaptiven transformationscodierung von bildern
DE3632639A1 (de) Einrichtung zum verarbeiten von bilddaten durch faltung
DE69424923T2 (de) Verfahren und Anordnung zur Bearbeitung eines dekodierten Bildsignals mit Verzerrung
DE69012021T2 (de) Vorrichtung zur Umwandlung einer Bewegungsinformation in ein Bewegungsdetektionssignal mit gewünschter Zeilenanzahl und Halbbildfrequenz für einen Hochauflösungsfernsehempfänger.
DE69802269T2 (de) Vorrichtung und verfahren zum vergleichen von pixelblöcken
EP0077089A2 (de) Anordnung zum Speichern oder Übertragen von transformationskodierten Bildsignalen und zum Rückgewinnen dieser Bildsignale
DE68908941T2 (de) Verfahren zur Kodierung und Dekodierung von Blockinformationen und Vorrichtung dazu.
DE69700865T2 (de) Blocktransformationskodierer für willkürlich geformte Bildsegmente
EP0956703B1 (de) Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes

Legal Events

Date Code Title Description
8332 No legal effect for de
8370 Indication related to discontinuation of the patent is to be deleted
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee