-
Die
vorliegende Erfindung betrifft ein Verfahren zum Dekomprimieren
von Bildern, die in Übereinstimmung
mit dem von der Joint Photographic Experts Group (JPEG) vorgeschlagenen
Standard zur Adaptiven Diskreten Kosinustransformation (ADTC) komprimiert
worden sind. Im Besonderen betrifft die Erfindung ein Verfahren
zum Reduzieren von Dekompressions-Artefakten in Bildern des Dokumententyps,
die aus der Dekompression der gemäß dem ADCT-Standard der JPEG
komprimierten Bilder resultieren.
-
Datenkompression
ist bei Datenhandlingprozessen dann erforderlich, wenn zu viele
Daten für praktische
Anwendungen vorhanden sind. Für
gewöhnlich
wird Datenkompression in den Kommunikationsverbindungen angewendet,
in denen die Zeit zum Übertragen
lang ist, oder dort, wo eine beschränkte Bandbreite vorliegt. Eine
weitere Verwendung für
die Datenkompression ist bei der Datenspeicherung zum erheblichen
Reduzieren der Menge an Platz auf dem Medium, der für das Speichern
der Daten erforderlich ist, vorzufinden. Darüber hinaus wird Datenkompression
auch in digitalen Kopierern angewendet, die für Kopierfunktionen wie beispielsweise für Sortierung
und erneutes Drucken eine Zwischenspeicherung erfordern. Im Allgemeinen
erfordern gescannte Bilder, das heißt elektronische Darstellungen von
Druckausgabendokumenten, große
Mengen an Daten und sind demzufolge wünschenswerte Kandidaten für Datenkompression.
-
Es
existiert eine Reihe verschiedener Kompressionsverfahren, und viele
dieser Verfahren sind durch den einzelnen Benutzer gesetzlich geschützt. Dennoch
sollten die Standards unter den verschiedenen Verfahren wünschenswerterweise
die Kommunikation zwischen den Datenhandlinggeräten ermöglichen. Mit der Einführung der
Multimediakommunikation sind ehemals artfremde Geräte nun und
in der Zukunft dazu angehalten, miteinander zu kommunizieren. So
ist es beispielsweise wünschenswert,
Faxgeräte
dazu zu befähigen,
direkt mit Druckern zu kommunizieren. Derzeit sind die Kompressionsstandards
im Allgemeinen für
unterschiedliche Datenhandlinggeräte so wie diese ge nannten jeweils
verschieden. Demzufolge besteht ein Bedarf an gemeinsamen Standards
für Datenkompression.
-
Aktuell
werden drei wichtige Schemata für die
Bildkompression durch internationale Standardisierungsgremien geprüft. Ein
erstes Schema für
die Bildübertragung
des Faksimiletyps, die vorwiegend binär ist, wird durch das JBIG-
(Joint Binary Image Group) Komitee geprüft. Ein zweites Schema wird
für Fernsehen
und Film von der MPEG (Motion Picture Expert Group) entwickelt.
Für nicht-bewegte
Bilder, das heißt
Standbilder, die allgemeiner sind, als die, die durch die JBIG abgedeckt
werden, entwickelt die JPEG (Joint Photographic Expert Group) einen
Vorrichtungs-unabhängigen
Kompressionsstandard, der ein ADCT-Schema verwendet.
-
Adaptive
Diskrete Kosinustransformation ADCT wird beispielsweise von W. H.
Chen und C. H. Smith in „Adaptive
Coding of Monochrome and Color Images", IEEE Trans. Comm., Vol. COM-25, Seiten 1285
bis 1292, November 1977 beschrieben. ADCT ist das Verfahren, das
durch das JPEG-Komitee verbreitet wurde, und es handelt sich dabei
um ein verlustbehaftetes System, das die Datenredundanzen auf Basis
von Pixel-zu-Pixel-Korrelationen
reduziert. Im Allgemeinen ändert
sich ein Bild nicht erheblich auf einer Pixel-zu-Pixel-Basis. Darüber hinaus
wird davon ausgegangen, dass ein Bild eine „natürliche räumliche Korrelation„ aufweist.
In natürlichen
Szenen wird Korrelation verallgemeinert, aber nicht genau, weil
sich aufgrund von Rauschen jedes Pixel in einer Weise von seinen
benachbarten Pixeln unterscheidet.
-
Typischerweise
verwendet, wie in 1 dargestellt ist, der Prozess
der Datenkompression einen Tile-Speicher 10, der einen
M × M
großen
Tile des Bildes speichert. Für
illustrative Zwecke werden in dieser Beschreibung quadratförmige Tiles
basierend auf JPEG-Empfehlungen verwendet, das Verfahren der Erfindung
kann jedoch auch mit einer beliebigen Form der Tiles durchgeführt werden.
Von dem Abschnitt des Bildes, der in dem Tile-Speicher 10 gespeichert
wird, wird in einem Transformator 12 unter Verwendung der
Diskreten Kosinustransformation (DCT) eine Frequenzraumdarstellung
des Bildes gebildet. Für
die Implementierung wird eine Hardware wie beispielsweise der C-Cube
Microsystems CL550A JPEG-Bild-Kompressesionsprozessor verwendet,
der entsprechend dem vorgeschlagenen JPEG-Standard entweder in dem
Kompressionsmodus oder in dem Dekompressionsmodus arbeitet. Eine
Divisor /Quantisierungsvorrichtung 14 erhält einen
quantisierten DCT-Wert von einem Satz von Werten, die als Q-Tabelle
bezeichnet wird und in einem Q-Tabellen-Speicher 16 gespeichert
wird, durch Teilen eines eindeutigen Q-Tabellen-Wertes in den DCT-Wert.
Der Integerzahlenabschnitt des geteilten Wertes wird als der quantisierte
DCT-Wert zurückgeführt. Anschließend führt ein
Huffman-Kodierer 20 ein statistisches Kodieren der quantisierten
DCT-Werte zum Erzeugen eines komprimierten Bildes durch, das für die Speicherung,
die Übertragung
oder Ähnliches
ausgegeben wird.
-
Das
derzeitige ADCT-Kompressionsverfahren unterteilt ein Bild in M × M-große nichtüberlappende
Pixelblöcke,
wobei M = 8 ist. Die Auswahl von 8 ist ein Kompromiss: je größer der
gegebene Block ist, desto höher
ist das erreichbare Kompressionsverhältnis. Ein größerer Block
weist jedoch mit höherer
Wahrscheinlichkeit nicht-korrelierende Pixel innerhalb des Blockes
auf, wodurch das Kompressionsverhältnis reduziert wird. Wenn
der Block kleiner ist, ist eine größere Korrelation zwischen den
Pixeln innerhalb des Blockes möglich,
jedoch wird insgesamt eine geringere Datenkompression erreicht.
Insbesondere Innerhalb eines Dokumentenbildes werden die Kanten
des Bildes mit höherer
Wahrscheinlichkeit innerhalb eines 8 × 8-großen Blockes vorzufinden sein,
als in einer Szene, die ein natürliches Bild
bildet. Demzufolge trifft die Annahme einer natürlichen räumlichen Korrelation auf Dokumentenbilder bis
zu einem gewissen Grad nicht zu. Aus diesem Grund funktionieren,
obgleich die Annahmen des ADCT-Vorschlags für Fotografien mit fortlaufenden Tönen und
vielen Graustufenpixeln gut funktioniert, diese Annahmen für die Wiedergabe
von Dokumentenbildern, die signifikant höhere Frequenzkomponenten und
viele Kanten hoher Kontraste aufweisen, oftmals nicht so gut.
-
Kompressionsschemata
verwenden im Allgemeinen einen Satz an Basisfunktionen zum Nutzen
von Korrelationen innerhalb eines Blockes. Die Basisfunktionen definieren
Bilddaten als ein Projizieren auf einen Satz von orthogonalen Funktionen
auf einem Intervall. ADCT verwendet Kosinusfunktionen als die Basisfunktionen
und DCT als den Schritt des Projizierens. In dem ersten Schritt
des ADCT-Standards wird das Bild in 8 × 8-große Blöcke unterteilt. Innerhalb eines
jeden Blockes wird ein Satz von 64 DCT-Koeffizienten für die Pixel in dem Block bestimmt.
Die DCT-Koeffizienten repräsentieren
die Koeffizienten einer jeden Kosinusbedingung der Diskreten Kosinustransformation
des 8 × 8-großen Blockes.
-
In
Bezug auf 2A wird eine Matrix von 64 Graustufenwerten,
die 64 Pixel in einem 8 × 8-großen Block
des Bildes darstellen, gezeigt. Dieser 8 × 8-große Block wird entsprechend
JPEG-Spezifizierungen für
ADCT transformiert, was die in 2B dargestellten
DCT-Koeffizienten zum Ergebnis hat. Diese Koeffizienten beschreiben
immer noch vollständig
die Bilddaten aus 2A, im Allgemeinen jedoch Cluster
höherer
Werte in der oberen linken Ecke in dem Bereich niedriger räumlicher
Frequenz. Zur gleichen Zeit tendieren die Koeffizientenwerte in dem
unteren rechten Bereich des Gitters gegen Null. Diese Clusterbildung
tritt in der großen
Mehrheit der Bilder auf, wenn die Frequenz der Bilder zunimmt.
-
Im
Allgemeinen sieht das menschliche Auge die niedrigen Frequenzen
in einem Bild am besten. Bei höheren
Frequenzen sind die Veränderungen von
Amplitude zu Amplitude nicht bemerkbar, es sei denn, solche Veränderungen
treten bei einem extrem hohen Kontrast auf. Dies ist ein gut bekannter
Effekt in dem menschlichen Sehsystem und ausführlich beschrieben, siehe beispielsweise „Visual
Performance and Image Coding",
von P. Roetling, Dokumente der S.I.D. 17/2, Seiten 111 bis 114 (1976).
Das ADCT-Verfahren
macht sich die Tatsache zu Nutzen, dass kleine Amplitudenänderungen
bei hohen Frequenzen nicht bemerkbar sind und aus diesem Grunde
im Allgemeinen ignoriert werden können.
-
Der
nächste
Schritt in dem ADCT-Verfahren verwendet eine Quantisierung oder
eine Q-Matrix. Die
in 2C dargestellte Q-Matrix ist eine von JPEG vorgeschlagene
Standardmatrix für
die Kompression, jedoch können
das ADCT-Verfahren ebenso wie das hierin beanspruchte Verfahren
auch unter Verwendung anderer Q-Matrizen (oder Q-Tabellen) ausgeführt werden. Die Matrix beinhaltet
den Effekt, dass durch das Einführen
von größeren Quantisierungsstufen,
das heißt,
größeren Einträgen für höhere Frequenzen,
niedrige Frequenzen im Großen
und Ganzen mehr Bedeutung haben als hohe Frequenzen. Die Tabelle
unternimmt jedoch auch den Versuch, intern einige wünschenswerte
Variationen der allgemeinen Annahme zu konstruieren. Dementsprechend
variieren die Werte in der Tabelle mit der Frequenz. Die exakt wahrgenommene
Variation wäre eine
Funktion des menschlichen Sehsystems entsprechend dem erwarteten
Dokumententyp, das heißt
Foto, Text oder Grafik, oder einiger anderer Anwendungsabhängiger Parameter.
Jeder der DCT-Werte aus 2B wird
durch einen entsprechen den Q-MATRIX-Wert aus 2C dividiert,
was durch die Verwendung der folgenden Gleichung die quantisierten
DCT- (QDCT) Werte zum Ergebnis hat: QDCT [m][n]
= INT {DCT [m][n] ÷ Q-Tabelle
(m)[n] ÷ ½}wobei
INT{} den Integerzahlenabschnitt der Funktion bezeichnet.
-
Die
hierbei verwendete Divisionsgleichung beschreibt ausführlich den
Prozess, der bei der ADCT durchgeführt wird, einschließlich der
Verfahren für
das Umgehen mit Trankierung und Ab/Aufrunden.
-
Die
quantisierten DCT-Werte sind in 2D dargestellt.
Der Rest des Divisionsprozesses wird entfernt, was zu einem Verlust
von Daten führt.
Da darüber
hinaus die Q-Werte in dem unteren rechten Abschnitt der in 2C dargestellten
Tabelle dazu tendieren, hoch zu sein, gehen die meisten Werte in diesem
Bereich, wie in 2D dargestellt ist, auf Null zu,
es sei denn, es waren extrem hohe Amplituden des Bildes bei den
höheren
Frequenzen vorhanden.
-
Nach
dem Erzielen des in 2D dargestellten quantisierten
Satzes von DCT-Werten, werden die Pixel in der Reihenfolge einer
raumfüllenden
Zickzackkurve angeordnet. Es wird ein statistisches Kodierverfahren
wie beispielsweise die Huffman-Kodierung angewendet, um das zu sendende
Signal zu erzeugen. Das statistische Kodieren wird ohne Verlust durchgeführt, und
der einzige Verlust, der in der Kompression verursacht wird, ist
der, der durch die Quantisierung der DCT-Koeffizienten unter Verwendung der
Q-Tabelle erzeugt
wird.
-
ADCT-Transformationen
sind weitläufig
bekannt, und vorhandene Hardware, die die Transformation an Bilddaten
durchführt,
ist beispielsweise in dem Dokument US-A-5.049.991 von Nihara, dem Dokument US-A-5.001.559
von Gonzales et al., und dem Dokument US-A-4.999.705 von Puri beschrieben.
Der vorrangige Gegenstand dieser bestimmten Patente besteht jedoch
in Bewegtbildern und nicht in Dokumentenbildern.
-
Um
das nun komprimierte Bild zu dekomprimieren, werden eine Reihe von
Funktionen oder Schritten in umgekehrter Art und Weise der Kompressionsschritte
aus 1 durchgeführt.
Die Huffman-Kodierung ist aus dem Dekodierer 50 entfernt. Das
Bildsignal stellt anschließend
die quantisierten DCT-Koeffizienten dar, die in der Signal-Multiplikationseinrichtung 52 mit
den in dem Speicher 54 vorhandenen Q-Tabellen-Werten in einem Prozess,
der der umgekehrte Prozess des Kompressionsprozesses ist, multipliziert
wurden. In dem inversen Transformator 56 wird die inverse
Transformation der Diskreten Kosinustransformation erzielt, und
das Ausgabebild in dem räumlichen
Bereich wird in dem Bildspeicher 58 gespeichert.
-
In
dem beschriebenen Dekompressionsverfahren wird die Huffman-Kodierung
weggelassen, um den Satz an quantisierten DCT-Koeffizienten zu erhalten.
Anhand der quantisierten DCT-Koeffizienten und der Q-Tabelle wird
das Quantisierungsintervall, das heißt die DCT-Beschränkungen,
bestimmt. Genauer gesagt bedeutet dies, dass die oberen und die unteren
Grenzen durch die folgenden Gleichungen bestimmt werden: untere Grenze DCT [m][n] = QDTC [m][n] – (0,5 × Q-Tabelle
[m][n]); und obere Grenze DCT [m][n] = QDTC
[m][n] + (0,5 × Q-Tabelle
[m][n])
-
Der
Mittelwert eines jeden Bereichs der oberen und der unteren Grenze
wird zum Berechnen des DCT-Koeffizienten verwendet. Mit anderen
Worten bedeutet dies, dass jedes Element des Satzes mit einem Q-Tabellen-Wert
multipliziert wird, was die in 3A dargestellten
DCT-Koeffizienten zum Ergebnis hat, wobei dabei die in den 2C und 2D dargestellten
Daten in der folgenden Gleichung verwendet werden: DCT
[m][n] = QDTC [m][n] × Q-Tabelle
[m][n]
-
Das
in 3A dargestellte Ergebnis ist jedoch nicht der
originale Satz aus DCT-Koeffizienten, der
in 2B dargestellt ist, da die Reste, die für die originale
Quantisierung der DCT-Koeffizienten mit der Q-Tabelle in dem Kompressionsprozess
berechnet wurden, verloren gegangen sind. In einem standardmäßigen ADCT-Dekompressionsprozess
wird die inverse Diskrete Kosinustransformation des Satzes von DCT-Koeffizienten
erzielt, um die in 2B dargestellten Bildwerte zu
erhalten.
-
Der
oben beschriebene Prozess ist nicht in der Lage, ein extrem genaues
Bild wiederzugeben. Das Originalbild kann deshalb nicht wiedergegeben werden,
da Daten inner halb des Bildes in dem Kompressions-Quantisierungs-Schritt
entfernt wurden. Eine schlechte Wiedergabe wird überall dort beobachtet, wo
scharfe Kanten erscheinen, die in Text weitläufig vorkommen. Insbesondere
treten „Klingelartefakte", auch „Mosquito
Noise" [dünne Striche]
genannt, an den scharfen Kanten auf. Diese Probleme treten in Text,
Grafiken und Halbtönen
auf, was Komponenten sind, die in Dokumentenbildern sehr weitläufig vorhanden
sind. Zusätzlich
zu Mosquito Noise und Klingelartefakten tritt oftmals ein blockierendes Artefakt
in Bildbereichen mit langsam variierenden Grautönen auf, wo jeder M × M-großer Block,
der die Berechnung der Kompressionsbasis bildete, sichtbar ist.
Beide Artefakte mindern die Genauigkeit und die Qualität der Wiedergabe.
-
Um
solche Artefakte zu entfernen, wurden drei Verfahren vorgeschlagen.
In einem ersten Verfahren wird das dekomprimierte Bild post-bearbeitet, das
heißt,
nachdem das Bild vollständig
dekomprimiert worden ist, und es wird ein Versuch unternommen, das
Bild zu verbessern. Es versteht sich von selbst, dass eine solche
Nachbearbeitung niemals das Originalbild hervorbringen kann, da
dieses Bild verlorengegangen ist. Darüber hinaus führt die
nach der Dekompression durchgeführte
Bearbeitung des Bildes zu einem rekonstruierten Bild, das sich von dem
wirklichen Quellenbild unterscheidet, und anschließende Kompressions-/Dekompressionsschritte,
die in elektronischen Bildanwendungen möglich sind, führen möglicherweise
zu immer größeren Abweichungen
zwischen dem rekonstruierten Bild und dem Orginalbild. Solch ein
Prozess ist in dem Artikel „Reduction
of Blocking Effects in Image Coding" von Reeve, III et al., in Optical Engineering,
Janua/Februar 1984, Vol. 23, No. 1, Seite 34 und in „Linear
Filtering for Reducing Blocking Effects in Orthogonal Transform
Image Coding", von
C. Avril et al., im Journal of Electronic Imaging, April 1992, Vol.
1(2), Seiten 183 bis 191 beschrieben.
-
Das
zweite Verfahren wendet einen iterativen Dekodierungsprozess unter
Verwendung der bekannten Bandbegrenzung der Daten an. Bei diesem Verfahren
werden unter Verwendung der komprimierten Form des Bildes erneut
verschiedene Blöcke, vielleicht
einer Größe von 32 × 32, zum
Dekodieren des Bildes verwendet. In einem Beispiel wurde ein Verfahren
des Blurrings [Verwischen] des gesamten Bildes mit dem Ziel in Betracht
gezogen, die blockierenden Artefakte auszuglätten. Siehe dazu „Iterative Procedures
for Reduction of Blocking Effects in Transform Image Coding", von Rozenholtz
et al., SPIE, Vol. 1452, Image Processing Algorithms and Techniques
II, (1991), Seiten 116 bis 126.
-
Ein
drittes Verfahren wird in dem Artikel „Iterative Procedures for
Reduction of Blocking Effects in Transform Image Coding", von A. Zakhor,
IEEE, Transactions on Circuit and Systems for Video Technology,
März 1992,
Vol. 2, No. 1, Seiten 91 bis 95 offenbart. In solch einem Verfahren
werden blockierende Effekte iterativ reduziert. In dem ersten Teil
einer jeden Iteration wird ein Tiefpassfiltern oder eine Bandbeschränkung des
Bildes durchgeführt.
In dem zweiten Teil der Iteration wird das Bild in Blöcke unterteilt
und DCT eines jeden Blockes durchgeführt. Anschließend werden
jegliche Koeffizienten außerhalb
seines Quantisierungsbereiches an der nächsten Grenze seines jeweiligen
Quantisierungsintervalls auf seinen geeigneten Wert projiziert.
Die Iterationen führen
schließlich
zu einer Konvergenz.
-
Auch
Dokument EP-A-590922, eingereicht am 28. September 1993 und unter
Priorität
vom 2. Oktober 1992, zeigt die Dekompression von DCT-komprimierten
Bildern, in denen blockierende Effekte iterativ reduziert werden.
Zunächst
wird das dekomprimierte Bild gefiltert. Anschließend wird DCT durchgeführt, und
die Koeffizienten außerhalb
ihrer Bereiche werden auf ihren geeigneten Wert projiziert.
-
In
Anbetracht der oben beschriebenen Probleme ist es eine Aufgabe der
vorliegenden Erfindung, ein Verfahren zum Reduzieren von Klingelartefakten
und/oder blockierenden Artefakten in einem dekomprimierten Bild
bereitzustellen.
-
Es
ist eine weitere Aufgabe dieser Erfindung, ein Verfahren zum Reduzieren
von Artefakten bereitzustellen, das mit JPEG-Kompression kompatibel
ist.
-
Eine
zusätzliche
Aufgabe dieser Erfindung ist es, ein Verfahren zum Reduzieren von
Artefakten bereitzustellen, das es einem verarbeiteten Bild ermöglicht,
mit denselben Ergebnissen, wie bei der Kompression eines Originalbildes
komprimiert werden zu können.
-
Es
ist weitere Aufgabe dieser Erfindung, ein Verfahren zum Reduzieren
von Artefakten bereitzustellen, das die Berechnungskosten nicht
erheblich erhöht.
-
Die
oben beschriebenen und weitere Aufgaben werden durch die Verfahren,
wie sie in den Ansprüchen
1 bis 10 definiert sind, erfüllt.
-
Das
Verfahren beinhaltet die Schritte zunächst des Bereitstellens einer
Vielzahl von Pixelblöcken
aus einem dekomprimierten Bild, optional gefolgt von dem Schritt
des Bestimmens eines ursprünglichen
Quantisierungsintervalls von den Werten der Diskreten Kosinustransformation
für die
Bilddaten. Als Nächstes
wird jeder Pixelblock auf Gleichförmigkeit geprüft. Jeder
Bereich wird geglättet,
vorzugsweise durch Ersetzen jedes Pixelwertes mit einem Mittelwert
der Pixel des Bereiches. Als Nächstes wird
eine Diskrete Kosinustransformation gefolgt von einem Projizieren
durchgeführt,
um zu garantieren, dass die Koeffizienten des geglätteten Bildes
innerhalb des ursprünglichen
Quantisierungsintervalls liegen. Schließlich werden die dekomprimierten
Daten durch eine inverse Diskrete Kosinustransformation erzeugt.
-
Um
das blockierende Artefakt zu reduzieren, wird das Verfahren modifiziert,
um ein großes
außenliegendes
Fenster, das ein kleines innenliegendes Fenster von Bilddaten umgibt,
zu erzeugen. Die Gleichförmigkeits-Prüfung auf,
das Unterteilen und das Glätten
werden in dem großen
Fenster durchgeführt.
Das kleine Fenster wird für
die DCT-Operationen
verwendet.
-
Vorzugsweise
umfasst das Verfahren darüber
hinaus das Bilden von einem erstem außenliegenden Fenster von Bilddaten
und einem zweiten innenliegenden Fenster innerhalb des ersten Fensters; das
Verwenden des ersten außenliegenden
Fensters von Bilddaten für
die Schritte des Prüfens
eines jeden Pixelblockes auf Gleichförmigkeit, für das Bilden der Bereiche und
für das
Glätten;
und das Verwenden des zweiten innenliegenden Fensters von Bilddaten für die Schritte
des Durchführens
der Diskreten Kosinustransformation, des Projizierens und des Durchführens der
inversen Diskreten Kosinustransformation.
-
Vorzugsweise
umfasst das Verfahren darüber
hinaus den Schritt des Dekomprimierens der Bilddaten.
-
Vorzugsweise
umfasst der Schritt des Bestimmens von Gleichförmigkeit das Vergleichen eines
dynamischen Bereiches von Pixeln in jedem Block mit einem voreingestellten
Schwellenwert.
-
Vorzugsweise
umfasst der Schritt des Projizierens das Vergleichen der resultierenden
DCT-Koeffizienten mit den eingerichteten DCT-Nebenbedingungen. Der
Schritt des Projizierens kann darüber hinaus das Korrigieren
der resultierenden DCT-Koeffizienten, um in die eingerichteten Nebenbedingungen zu
passen, umfassen. Vorzugsweise liegen die resultierenden DCT-Koeffizienten
außerhalb
der eingerichteten DCT-Nebenbedingungen,
wobei das Verfahren darüber
hinaus das Aufteilen eines Bereiches in zwei und das Wiederholen
der Schritte des Glättens,
des Transformierens und des Vergleichens umfasst.
-
Vorzugsweise
umfasst das Verfahren darüber
hinaus des Bilden der Bilddaten in ein erstes außenliegendes Fenster von Bilddaten
und ein zweites innenliegendes Fenster von Bilddaten innerhalb des ersten
Fensters; das Verwenden des ersten außenliegenden Fensters von Bilddaten
für die
Schritte des Bestimmens von Gleichförmigkeit, des Bildens von Bereichen;
und das Verwenden des zweiten innenliegenden Fensters von Bilddaten
für die
Schritte des Durchführens
der Diskreten Kosinustransformation und des Projizierens.
-
Vorzugsweise
umfasst der Schritt des Bildens von Bereichen die Schritte des:
Bildens von Anfangsbereichen von verbundenen Pixeln, wobei benachbarte
Pixel eine Helligkeitsdifferenz haben, die kleiner als ein vorgegebener
Schwellenwert ist, und dann des Verschmelzens jedes Bereiches in
Folge, beginnend durch Kombinieren von benachbarten Pixelpaaren,
die eine Mindestdifferenz im Mittelwert aufweisen.
-
Vorzugsweise
umfasst der Schritt des Ersetzens der Pixelwerte das Ersetzen von
Pixeln in einem Inneren eines Bereiches durch den Mittelwert von
Pixeln in dem Bereich und das Ersetzen von Pixeln an einem Rand
des Bereiches durch eine Kombination des originalen Pixelwertes
und des Mittelwertes von Pixeln in dem Bereich.
-
Diese
und weitere Aspekte der Erfindung werden anhand der folgenden Beschreibung
der bevorzugten Ausführungsbeispiele
der Erfindung offensichtlich, wenn diese zusammen mit den beigefügten Zeichnungen
betrachtet wird, in denen:
-
1 ein
funktionales Blockdiagramm für
einen ADCT-Kompressions/Dekompressionsprozess entsprechend dem Stand
der Technik zeigt;
-
2A zeigt
einen 8 × 8-großen Block
von Bilddaten, die durch den in 1 dargestellten
Prozess zu komprimieren sind;
-
2B zeigt
die bestimmten Diskrete-Kosinustransformations-Werte, die eine Darstellung
des Frequenzraumes des in 2A dargestellten
Bildes liefern;
-
2C zeigt
die Standard-Q-Tabelle, die in den Beispielen als den 2A und 2B verwendet
wird;
-
2D zeigt
die bestimmten quantisierten Diskreten Kosinustransformations-Werte
unter Verwendung der in 3C dargestellten
Q-Tabelle;
-
3A zeigt
die DCT-Werte, die von den in 2A dargestellten
Daten durch Verwendung der in 2C dargestellten
Q-Tabelle wiederhergestellt wurden;
-
3B zeigt
den entsprechenden 8 × 8-großen rekonstruierten
Bilddatenblock von durch den Stand der Technik entsprechenden Prozess
aus 1;
-
4 zeigt
einen Ablaufplan des Prozesses der vorliegenden Erfindung;
-
5 zeigt das Unterteilen in Übereinstimmung
mit der Erfindung;
-
6 zeigt
das Verfahren dieser Erfindung, das zum Reduzieren der blockierenden
Artefakte modifiziert worden ist;
-
7A zeigt
ein Beispiel eines Bildes, das entsprechend dem Stand der Technik
unter Verwendung eines standardmäßigen JPEG-Prozesses
wiedergegeben wird; und
-
7B zeigt
ein Beispiel eines Bildes, das unter Verwendung des Verfahrens in Übereinstimmung
mit dieser Erfindung wiedergegeben wird.
-
In
dem bevorzugten Ausführungsbeispiel wendet
die Erfindung ein Verfahren an, das JPEG und M × M-große Blocke verwendet, wobei
vorzugsweise M = 8 ist. Jeder Block wird als Fenster bezeichnet,
und das Verfahren arbeitet auf einer Fenster-pro-Fenster-Basis.
-
Wie
bereits in den einleitenden Ausführungen
zum Hintergrund der Technik erwähnt
wurde, werden die DCT-Werte für
die Pixel innerhalb eines Blockes, so wie in 2B dargestellt,
bestimmt. Anschließend
werden unter Verwendung einer Q-Tabelle, so wie in 2C dargestellt,
die DCT-Werte quantisiert, wie dies in 2D dargestellt
ist, wodurch ein Quantisierungsintervall zur Verfügung gestellt
wird. Anschließend
werden die ursprünglichen
DCT-Koeffizienten unter Verwendung der Q-Tabelle und der quantisierten
DCT-Werte berechnet. Die DCT-Koeffizienten stellen die Koeffizienten
einer jeden Kosinusbedingung der Diskreten Kosinustransformation
des Fensters dar.
-
In
Bezug auf 4 wird in Schritt S20 des Verfahrens
ein Fenster geprüft,
um festzustellen, ob Gleichförmigkeit
des Fensters vorliegt. Wenn der dynamische Bereich von Pixeln in
dem Fenster einen voreingestellten Schwellenwert nicht übersteigt,
wird das Fenster als gleichförmig
erachtet, und es ist keine weitere Verarbeitung erforderlich. Wenn
der voreingestellte Schwellenwert überschritten wird, das heißt, wenn
also das Fenster nicht gleichförmig
ist, wird das Fenster in Schritt S22 in mehrere Bereiche unterteilt.
Die Pixelwerte innerhalb eines Bereichs werden anschließend durch
eine in Schritt S24 durchgeführte
Glättungsoperation
verändert.
Die Glättungsoperation
wird durch ein Tiefpassfiltern erreicht. So ist beispielsweise eine
geeignete Glättungsoperation
das Ersetzen der einzelnen Pixelwerte durch den Mittelwert von Pixeln
in dem Bereich.
-
Als
Nächstes
wird in Schritt S26 eine DCT-Transformation an den "geglätteten" Bilddaten durchgeführt, um
die resultierenden DCT-Koeffizienten für die Pixel in dem Fenster
zu bestimmen. Im Anschluss an die DCT-Transformation wird in Schritt S28
ein Projizieren durchgeführt,
um zu garantieren, dass die resultierenden DCT-Koeffizienten des
re sultierenden Bildfensters innerhalb des ursprünglichen Quantisierungsintervalls
liegen. Schließlich
wird in Schritt S30 durch eine inverse DCT das Ergebnis erzeugt.
-
Die
vorangehende Beschreibung ist hauptsächlich konzeptionell, und die
eigentliche Umsetzung könnte
in vielerlei Hinsicht variieren. Wenn beispielsweise eine DCT-Bereichsfehlermessung
für das
Entscheiden zu der Anzahl der Bereiche verwendet wird, werden das
Glätten
und die DCT-Transformation als ein Teil der Unterteilung, wie oben
ausführlicher
beschrieben, durchgeführt.
-
Unterteilung
-
Es
sind zahlreiche Verfahren zur Unterteilung bekannt. Die meisten
Verfahren zum Unterteilen, selbst wenn es sich dabei um sehr einfache
Verfahren handelt, funktionieren ziemlich gut in der vorliegenden
Erfindung, da das Verfahren mit kleinen Fenstern arbeitet, innerhalb
denen der Bildinhalt relativ einfach ist. Zunächst muss die Anzahl gleichförmiger Bereiche
innerhalb eines Fensters bestimmt werden. Wenn dazu kein vorab vorhandenes
Wissen zur Verfügung
steht, wird die Anzahl typischerweise während des Unterteilens geschätzt.
-
Entsprechend
dem Stand der Technik wird herkömmlicherweise
die Anzahl der Bereiche durch Anwenden von räumlichen Bereichsfehlerkriterien wie
beispielsweise Entfernungen zwischen den Bereichen und Entfernungen
innerhalb von einem Bereich bestimmt. So wird beispielsweise in
der Splitting-Typ-Unterteilung ein Bereich dann nicht weiter aufgesplittet,
wenn festgestellt wird, dass der Bereich ziemlich homogen ist oder
die Entfernung innerhalb des Bereichs klein ist. Wohingegen in der
Verschmelzungs-Typ-Unterteilung
zwei Bereiche dann nicht zu einem Bereich verschmolzen werden, wenn
sie ziemlich unterschiedlich sind, oder wenn die Entfernung zwischen
den Bereichen groß ist.
Diese Ansätze
sind dann nicht von Nutzen, wenn das Kompressionsverhältnis hoch
ist.
-
Aus
diesem Grund werden in der vorliegenden Erfindung die räumlichen
Bereichsfehlerkriterien mit den DCT-Bereichsfehlermessungen kombiniert, um
zu prüfen,
wie genau die Unterteilungsergebnisse in die gegebenen DCT-Nebenbedingungen
passen. Dieses Verfahren nutzt die Stärke des DCT-Bereichs-Ansatzes
ohne ein Erhöhen
der Berechnungskosten aus.
-
In Übereinstimmung
mit dieser Erfindung ist das Unterteilen eine Vorgehensweise mit
zwei Schritten bestehend aus: einem von der untersten Ebene bis
zur obersten Ebene durchgeführten
Schritt des Verschmelzens gefolgt von einem von der obersten Ebene
bis zur untersten Ebene durchgeführten Schritt
des Verifizierens, so wie in 5 dargestellt. In
dem in S32 durchgeführten
Verschmelzungsschritt wird ein anfängliches Gruppieren gebildet,
so dass jede Gruppe, die als Bereich bezeichnet wird, verbundene
Pixel enthält,
wobei benachbarte Pixel innerhalb eines Bereiches eine Helligkeitsdifferenz
haben, die kleiner als ein voreingestellter Schwellenwert dmin ist. Die Bereiche werden dann in Folge
verschmolzen, beginnend durch Kombinieren von Pixeln benachbarter
Bereiche, die eine Mindestdifferenz im Mittelwert aufweisen (oder
andere Fehlermessungen). Dieser Verschmelzungsprozess wird so lange wiederholt,
bis die Anzahl der Bereiche Eins beträgt, oder die minimale Differenz
zwischen den benachbarten Bereichen einen Schwellenwert dmax übersteigt.
Am Ende des Schrittes des Verschmelzens wird angenommen, dass Nmin Bereiche vorhanden sind.
-
In
dem Schritt des Verifizierens S34 beginnt der Prozess mit den Nmin Bereichen. Die Pixelwerte innerhalb eines
jeden Bereiches werden durch eine Glättungsoperation S36 ersetzt,
die im Folgenden ausführlicher
beschrieben wird. Anschließend
wird in Schritt S38 eine DCT durchgeführt. In Schritt S40 wird bestimmt,
ob die resultierenden DCT-Koeffizienten
innerhalb der DCT-Nebenbedingungen liegen oder diesen annähernd sind.
Ist dies der Fall, ist der Schritt des Verifizierens S34 und damit
die gesamte Unterteilung abgeschlossen. Wenn dies nicht der Fall ist,
wird einer der Bereiche in Schritt S42 in zwei unterteilt, und der
Verifizierungsprozess S34 wird erneut durchgeführt.
-
Der
Unterteilungsprozess wird in der umgekehrten Reihenfolge des Verschmelzungsprozesses durchgeführt, das
heißt,
der zuletzt während
des Verschmelzungsschrittes gebildete Bereich wird zuerst unterteilt.
Der Prozess wird beendet, nachdem entweder eine Übereinstimmung mit den DCT-Nebenbedingungen
festgestellt wird, oder die Anzahl der Bereiche den Wert Nmin erreicht, der der Anzahl der Bereiche
in der ursprünglichen
Gruppierung entspricht.
-
Glättung
-
Nachdem
ein Fenster in beispielsweise K Bereiche unterteilt ist, wird jeder
Bereich gesondert geglättet.
Die Pixel an den Rändern
der Bereiche haben gewöhnlicherweise
größere Modellierungs-
und Unterteilungsfehler als die Pixel im Inneren. Aus diesem Grund
ist es vorzuziehen, die Pixel dementsprechend auf unterschiedliche
Art und Weise zu behandeln. Im Allgemeinen sollten die Pixel am
Rand weniger als die im Inneren angeordneten Pixel geglättet werden.
In dieser Erfindung nehmen die Pixel im Inneren den Mittelwert des
Bereiches an, während
die Werte der Pixel an dem Rand durch eine Kombination aus ihrem
ursprünglichen
Wert und dem Mittelwert von Pixeln in dem Bereich ersetzt werden,
und zwar in der folgenden Art und Weise: Y(m,n)
= α × y(m,n)
+ (1-α) × μ
-
Wobei
y(m,n) der Wert eines Pixels auf dem Rand an der Position (m,n)
ist, μ der
Mittelwert des Bereiches ist, zu dem das Pixel (m,n) gehört, und α ein voreingestellter
Faktor, der die Bedingung 0 ≤ a ≤ 1, erfüllt ist.
-
Es
gibt zahlreiche Alternativen. So können beispielsweise die Pixel
an dem Rand lokal mit einer kleinen benachbarten Umgebung geglättet werden. Ein
noch weiter ausgefeiltes Verfahren verwendet eine POCS- (Projections
Onto Convex Sets – Projizierungen
auf konvexen Sätzen)
Technik an, um die Pixelwerte der Pixel auf dem Rand interaktiv
zu verbessern, um eine bestmögliche Übereinstimmung
mit den DCT-Nebenbedingungen
zu finden.
-
Projizierung
-
Das
Ergebnis des Glättens
liefert ein wünschenswerteres
Bild (Fenster) hinsichtlich eines Passens in das Modell. Nichtsdestotrotz
erfüllt
die DCT dieses wünschenswerten
Bildfensters nicht notwendigerweise die DCT-Nebenbedingungen. Aus
diesem Grund wird anschließend
die Projizierungsoperation, wie durch die folgenden Gleichungen
ausgedrückt, durchgeführt:
Z(u,v)
= U(u,v), wenn Y(u,v) > U(u,v);
Z(u,v)
= L(u,v), wenn Y(u,v) < U(u,v);
Z(u,v)
= Y(u,v) anderenfalls.
wobei L(u,v) und U(u,v) jeweils die
unteren und die oberen DCT-Bereichsgrenzen sind, Y(u,v) der wünschenswerte
DCT-Wert ist, und Z(u,v) die Ausgabe des Projizierens für (u,v)
DCT-Komponenten ist.
-
Dementsprechend
enthält
der Schritt des Projizierens das Vergleichen der resultierenden DCT-Koeffizienten
mit dem ursprünglichen
Quantisierungsintervall und im Anschluss daran, wenn erforderlich,
das Korrigieren der resultierenden DCT-Koeffizienten zum Passen
in das ursprüngliche Quantisierungsintervall.
-
REDUZIERUNG
DER BLOCKIERENDEN ARTEFAKTE
-
Wenn
DCT-Komponenten mit niedriger Frequenz grob quantisiert werden,
kann ein blockierendes Artefakt auftreten. Um das blockierende Artefakt zu
reduzieren, kann das oben beschriebene grundlegende Verfahren wie
folgt modifiziert werden.
-
Zunächst wird,
wie in 6 dargestellt, ein Doppel-Fenster-Schema angewendet.
Wenn ein 8 × 8-großes Fenster
verarbeitet wird, wird ein großes außenliegendes
Fenster 62, typischerweise mit einer Größe von 10 bis 16 im Inneren
des innenliegenden Fensters 60 gebildet. Die Daten außerhalb
des kleinen innenliegenden Fensters 60 werden zum Reduzieren
des Blockierens verwendet und nach dem Verarbeiten nicht verändert. Sämtliche
räumliche
Bereichs-Vorgehensweisen verwenden das große Fenster 62, dazu
gehören
die Gleichförmigkeits-Prüfung auf,
das Unterteilen und das Glätten,
wie in 4 dargestellt, und das Prüfen auf Gleichförmigkeit,
das Verschmelzen, das Splitten und das Glätten, so wie in 5 dargestellt. Durch die Verwendung des
großen
Fensters 62 werden die Informationen in dem benachbarten
innenliegenden Fenster 60 oder der 8 × 8-großen Blöcke kombiniert. Die DCT-Bereichs-Vorgehensweisen
werden an dem innenliegenden Fenster durchgeführt und lassen die Daten außerhalb
des fett dargestellten Mittelblockes außer acht.
-
Als
Zweites wird die Behandlung der gleichförmigen Fenster modifiziert.
Wie oben beschrieben, wird die Gleichförmigkeits-Prüfung auf
in dem großen Fenster
durchgeführt.
-
Jedes
gleichförmige
Fenster wird zunächst durch
eine Anpassung nach der Fehlerquadratmethode (in dem großen Fenster)
geglättet.
Anschließend
werden eine Projizierung in DCT und eine inverse DCT durchgeführt (in
dem kleinen Fenster). Dieser Prozess des Arbeitens in dem großen Fenster für die Gleichförmigkeit
und das Glätten
und des anschließenden
Arbeitens in dem kleinen Fenster für eine DCT und ein Projizieren
reduziert die blockierenden Artefakte.
-
Experimentelle
Ergebnisse für
das Verwenden des Verfahrens in Übereinstimmung
mit dieser Erfindung sind in 7B dargestellt,
die das Reduzieren von Klingel- und blockierenden Artefakten verglichen
mit einem in 7A dargestellten standardmäßigen JPEG-Prozess
entsprechend dem Stand der Technik illustriert.
-
Andere
Abänderungen
und Modifizierungen der Erfindung werden den Personen mit gewöhnlicher
Erfahrung auf dem Gebiet der Technik offensichtlich sein. Die Erfindung
ist durch die angehängten
Ansprüchen
definiert.