DE60026925T2

DE60026925T2 - Einstellung des Kontrasts eines Digitalbildes mit einem adaptiven, rekursiven Filter

Info

Publication number: DE60026925T2
Application number: DE60026925T
Authority: DE
Inventors: c/o Eastman Kodak Company Andrew C. Rochester Gallagher
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1999-12-08
Filing date: 2000-11-22
Publication date: 2007-04-05
Anticipated expiration: 2020-11-23
Also published as: JP2001229377A; EP1107181A2; EP1107181A3; EP1107181B1; US6728416B1; DE60026925D1

Description

Die vorliegende Erfindung betrifft allgemein die Verbesserung des Kontrasts in Digitalbildern und insbesondere ein adaptives, rekursives Filter, das ein Schwarzabhebungssignal aus dem originalen Digitalbild erzeugt. Auf das Schwarzabhebungssignal wird eine Tonwertskalenfunktion angewandt und ein Textursignal wird hinzugefügt, um ein verarbeitetes Digitalbild zu erhalten.
Bekanntermaßen ist der Dynamikumfang von fotografischem Papier kleiner als der Dynamikumfang einer typischen Szene. Aus dieser Inkongruenz folgt, dass ein guter Teil des Szeneninhalts auf dem fotografischen Print schwarz oder weiß erscheint. Aus diesem Grund kann in einer Bildverarbeitungsumgebung eine Tonskalenfunktion verwendet werden, um den Dynamikumfang der Szene zu reduzieren und mehr Informationen auf dem Anzeigemedium abzubilden. Es gibt zahlreiche Prozesse zur Erstellung von bildabhängigen Tonskalenfunktionen (siehe beispielsweise US-A-5,471,987 von Nakazawa et al.). Jeder dieser konventionellen Tonskalenfunktionsprozesse prüft bestimmte statistische Eigenschaften des betreffenden Bildes, um die Tonskalenfunktion automatisch zu erstellen. Außerdem können Tonskalenfunktionen mit manuellen, interaktiven Instrumenten erzeugt werden.
Nachdem die Tonskalenfunktion erstellt worden ist, stellt sich die Frage, wie die Tonskalenfunktion auf das Digitalbild angewandt wird. Ziel der Komprimierung des Dynamikbereichs ist die Abstimmung des gesamten Dynamikbereichs des Bildes, nicht die Beeinflussung des Kontrasts eines in dem Bild gegebenen Objekts. Tonskalenfunktionen, die zur Reduzierung des Bilddynamikumfangs vorgesehen sind, sollten so angewandt werden, dass es zu minimalen Auswirkungen auf die Szenentextur kommt. Dieses Kriterium beinhaltet die Möglichkeit, die Tonskalenfunktion direkt auf den Bildhelligkeitskanal anzuwenden. Es ist üblich, die Tonskalenfunktion auf ein niedrigeres Frequenzunterband des Bildes anzuwenden, wodurch das oder die höheren Frequenzunterbänder als Bildtextur betrachtet werden (siehe beispielsweise US-A-5,012,333 von Lee et al.).
Wie bereits erwähnt, stellt sich nach Erstellen der Tonskalenfunktion die Frage, wie die Tonskalenfunktion auf das Digitalbild angewandt wird. Die direkte Anwendung einer Tonskalenfunktion, die zur Komprimierung des Dynamikbereichs vorgesehen ist, auf jeden Farbkanal eines Bildes führt zu einer Entsättigung. Es ist daher üblich, die Tonskalenfunktion auf eine Helligkeitsdarstellung (neutral) des Bildes anzuwenden. Die direkte Anwendung der Tonskalenfunktion auf den Bildneutralkanal bewirkt eine Detailkomprimierung zusätzlich zur Komprimierung des gesamten Bilddynamikumfangs, wodurch ein flach erscheinendes Bild entsteht.
US-A-5,012,333 beschreibt ein Verfahren zur Bewahrung der Hochfrequenzdetails eines Bildes durch Weichzeichnen des Bildneutralkanals zur Erzeugung eines Tiefpasssignals. Indem das Tiefpasssignal von dem Bildneutralkanal subtrahiert wird, erhält man ein Hochpasssignal. Das verarbeitete Bild wird durch Anlegen der Tonskalenfunktion an das Tiefpasssignal und Addieren des Ergebnisses zum Hochpasssignal erzeugt. Durch dieses Verfahren wird ein Segment des Bildfrequenzspektrums bewahrt, allerdings treten Artefakte an großen Grenzlinien auf.
A. Gallagher und E. Gindele bauten mit US-A-6,317,521 auf dieser Arbeit auf, gestützt auf die US-Anmeldung mit der Seriennummer 09/163,645, eingereicht am 30. September 1998. Insbesondere beschreibt US-A-6,317,521 die Einbeziehung eines Artefaktvermeidungsschemas zusammen mit einem einzelnen FIR-Standardfilter zur Erzeugung des Textursignals. In US-A-5,454,044 beschreibt Nakajima die Modifikation des Bildkontrasts durch die Formel S_proc = S_org + f(S_us). In US-A-5,454,044 wird das Niederfrequenzbild S_us durch die Funktion f() geführt, die eine monoton fallende Funktion ist. Dieses Signal wird dem Original S_org hinzugefügt, um das verarbeitete Bild S_proc zu erzeugen.
Ein weiteres bekanntes Beispiel eines auf einem FIR-Filter (Finite Impulse Response/Filter mit begrenztem Impulsansprechverhalten) basierenden Prozesses ist als homomorphe Filterung bekannt (siehe beispielsweise R. Gonzalez, R. Woods, Digital Image Processing, Addi son-Wesley Publishing Company, New York, USA, 1992, Seite 213–218, die die niedrigen Frequenzen eines Bildes zur Erzielung einer Kontrastmodifikation modifiziert. Bei der homomorphen Filterung werden die Hochfrequenzinformationen ebenfalls als Bildtextur betrachtet.
In US-A-5,905,817 beschreibt Matama ein IIR-Filter (Infinite Impulse Response/Filter mit unbegrenztem Impulsansprechverhalten) in im Wesentlichen demselben Rahmen wie von US-A-5,012,333 beschrieben. Der Vorteil dieses Ansatzes liegt in der Geschwindigkeit. Außerdem bleiben bei Verwendung eines IIR-Filters die berechnungstechnischen Anforderungen trotz einer möglichen Änderung des gewünschten Weichzeichnungsgrades gleich.
Jedes der genannten Verfahren zur Anwendung einer Tonskalenfunktion auf einen Bildkanal beruht auf einem einzelnen Weichzeichnen mit einem linearen Filter. Dem Prozess der Tonskalenfunktionsanwendung ist daher eine inhärente Größenauswahl zueigen. Bildstrukturen, die räumlich kleiner als ein bestimmtes Maß sind, bleiben erhalten, während Details, die größer als dieses Maß sind, von der Tonskalenfunktion betroffen werden. Außerdem kann die Bewahrung hoher Frequenzen in einem Bild zur Erzeugung von Unschärfemasken-Artefakten (Über- und Untersteuerung) in Nachbarschaft großer Kanten führen (charakteristisch für dunkle Schatten oder Dunkelfeldgrenzen).
Im Allgemeinen wurde beobachtet, dass große digitale Filter (zur Erzeugung des Tiefpasssignals) ein ansprechenderes verarbeitetes Bild erzeugen, ausgenommen der Tatsache, dass die Artefakte störender werden. Die Aufgabe besteht somit darin, größere Weichzeichnungsgrade zu erzielen, ohne an den Kanten Übersteuerungsartefakte zu erzeugen. Um diese Aufgabe zu lösen, wurden mehrere Pyramidenschemata entwickelt. Weil die Pyramidenschemata aus Darstellungen derselben Bildobjekte in mehreren Maßstäben bestehen, wird der bewahrte Detailgrößenbereich ggf. über das gesamte Bild modifiziert.
In US-A-5,467,404 beschreiben Vuylsteke et al. ein Verfahren zur Abstimmung der Koeffizienten einer Wavelet-Pyramide zur Modifikation des Kontrasts des Bildes bei Bewahrung der Details (und ohne Erzeugung von Artefakten). In US-A-5,881,181 beschreibt Ito einen allgemeinen Ansatz unter Verwendung mehrerer Auflösungen, der dieselben Ziele verfolgt. Diese Verfahren liefern zufriedenstellende Ergebnisse, benötigen jedoch eine große Zahl von Filteroperationen.
Ein weiterer Ansatz zur Lösung des Problems mit der Anwendung der Tonskalenfunktion ist die Verwendung nichtlinearer Filtertechniken, die Kanten im Wesentlichen erhalten, aber Details weichzeichnen. In US-A-5,796,870 beschreibt Takeo ein großes rechtwinkliges Filter, dessen lange Seite entlang der Richtung einer Kante und dessen kurze Seite quer zur Richtung einer Kante verläuft. Dieser Ansatz reduziert zwar die Artefakte an den Kanten, aber diagonale Kanten bleiben weiterhin ein Problem. US-A-5,471,987 beschreibt die Verwendung eines FIR-Filters, dessen Gewichte an jeder Pixelposition anhand des Absolutwerts der Differenz der Pixelintensitäten zwischen zwei Pixeln ermittelt werden, die unter das digitale Filter fallen. Dieses Verfahren berücksichtigt jedoch kein Rauschen in dem Bild und ist sehr zeitaufwändig.
Hadhoud, M. M. beschreibt in 'Image Contrast Enhancement Using Homomorphic Processing and Adaptive Filters', in: Proceedings of the Sixteenth National Radio Science Conference, NRSC'99, Kairo, Ägypten, 23.–25. Februar 1999, Seite C5/1–C5/7, XP002241362, ein Verfahren zur Abstimmung des Kontrasts eines Digitalbildes, bei dem ein Bild eingegeben und in ein Schwarzabhebungs- und in ein Textursignal geteilt wird. Ein Kontrastparametersignal wird auf das Schwarzabhebungssignal angewandt, um ein modifiziertes Schwarzabhebungssignal zu erzeugen. Das Textursignal wird zu dem modifizierten Schwarzabhebungssignal addiert, um einen verarbeiteten Digitalbildkanal zu erzeugen. Beim Teilen werden Pixel des Bildes adaptiv gefiltert.
EP-A-0 784 292 (veröffentlicht am 16. Juli 1997) beschreibt ein Bildverarbeitungsverfahren, das Vorwärts-/Rückwärts-Implementierungen eines rekursiven Filters benutzt, um ein Eingabebild in Tief- und Hochpasssignalanteile aufzuteilen.
Keines der vorstehend besprochenen konventionellen Verfahren ermöglicht eine relativ schnelle Filterung, das die Bewahrung von Details ermöglichen würde (ohne einen bestimmten Detailgrößenbereich zu verlangen). Ein Nachteil konventioneller Techniken besteht darin, dass die direkte Anwendung der Tonskalenfunktion auf den neutralen Bildkanal tendenziell eine Detailkomprimierung zusätzlich zur Komprimierung des gesamten Bilddynamikumfangs bewirkt, wodurch ein flach erscheinendes Bild entsteht. Die Erzeugung des verarbeiteten Bildes durch Anwenden der Tonskalenfunktion auf das Tiefpasssignal und Addieren des Ergebnisses zu dem Hochpasssignal bewahrt zwar ein Segment des Bildfrequenzspektrums, aber es erzeugt Artefakte, die an großen Grenzlinien sichtbar sind.
Dem Prozess der Tonskalenfunktionsanwendung ist eine inhärente Größenauswahl zueigen. Bildstrukturen, die räumlich kleiner als ein bestimmtes Maß sind, bleiben erhalten, während Details, die größer als dieses Maß sind, von der Tonskalenfunktion nachteilig betroffen werden. Außerdem kann die Bewahrung hoher Frequenzen in einem Bild zur Erzeugung von Unschärfemasken-Artefakten (Über- und Untersteuerung) in Nachbarschaft großer Kanten führen (charakteristisch für dunkle Schatten oder Dunkelfeldgrenzen).
Das nachstehend beschriebene, relativ schnelle adaptive, rekursive Filter ermöglicht die Anwendung einer Tonskalenfunktion auf ein Digitalbild, um den Makrokontrast des Bildes einzustellen, bewahrt die Details ohne Bezug zu einem bestimmten Detailgrößenbereich und verhindert Artefakte in Nachbarschaft großer Kanten.
Die vorliegende Erfindung umfasst einen Prozess, der als ARF-Tonskalenfunktionsprozess (Adaptive Recursive Filter/adaptives rekursives Filter) bezeichnet wird. Mit dem erfindungsgemäßen Tonskalenanwendungsprozess wird der Digitalbildkanal in Schwarzabhebungs- und Textursignale zerlegt. Auf das Schwarzabhebungssignal wird eine Tonwertskalenfunktion angewandt und das Textursignal wird addiert, um einen verarbeiteten Digitalbildkanal zu erhalten.
Ein wichtiges Merkmal der Erfindung ist das zur Erzeugung des Schwarzabhebungssignals implementierte Verfahren. Insbesondere umfasst die Erfindung ein rekursives Filter, das in relativ flachen Bereichen des Bildes adaptiv mehr und bei großen Diskontinuitäten weniger Weichzeichnung erzeugt.
Die nachstehend beschriebene Erfindung wurde entwickelt, um eine Tonskalenmodifikation für die dynamische Bereichskomprimierung bei reduzierten Artefakten und schneller Implementierung zu ermöglichen. Insbesondere wird eine erfindungsgemäße Bildzerlegung mit einem adaptiven rekursiven Filter (ARF) ermöglicht.
Erfindungsgemäß wird ein Bild eingegeben, in ein Schwarzabhebungs- und Textursignal unterteilt, eine Tonskalenfunktion an das Schwarzabhebungssignal angelegt, um ein modifiziertes Schwarzabhebungssignal zu erzeugen, und das Textursignal addiert, um einen verarbeiteten Digitalbildkanal zu erzeugen. Das Aufteilen führt eine Filterung des Bildes in einem oder in mehreren Durchgängen durch, wobei jeder Durchgang ein Filter anlegt, das rekursiv und adaptiv ist. Die Filterung eines Pixels aus dem Bild ist somit rekursiv und verwendet eine Gewichtung, die von Koeffizienten benachbarter Pixel in Nähe des Pixels abhängt. Die Filterung zeichnet das Schwarzabhebungssignal weich, so dass flache Bereiche des Bildes stärker weichgezeichnet werden als Kanten.
Die Filterung ist eine adaptive rekursive Filterung, die eine Filterung in vier Durchgängen umfasst, was eine Vorwärtsfilterung des Digitalbildkanals in einer ersten Richtung, die Filterung des Ergebnisses der ersten Filterungsstufe in der umgekehrten Richtung zur ersten Richtung, eine Vorwärtsfilterung des Ergebnisses dieser zweiten Filterungsstufe in einer zweiten Richtung, die zur ersten Richtung rechtwinklig ist und die Filterung des Ergebnisses der dritten Filterungsstufe in der umgekehrten Richtung zur zweiten Richtung umfasst.
Die adaptive rekursive Filterung kann zudem das Durchführen einer Vielzahl kaskadierter Filterungsprozesse in vier Durchgängen umfassen, wobei eine Ausgabe eines vorherigen Filterungsprozesses in vier Durchgängen eine Eingabe für einen nachfolgenden Filterungsprozess in vier Durchgängen umfasst. Alternativ hierzu könnte die adaptive rekursive Filterung das Durchführen einer Vielzahl kaskadierter Filterungsprozesse in vier Durchgängen umfassen, wobei eine Ausgabe eines ersten Filterungsprozesses in vier Durchgängen eine Eingabe für alle verbleibenden Filterungsprozess in vier Durchgängen umfasst.
Die Filterung umfasst das Berechnen von Gradienten der benachbarten Pixel, das Auffinden eines kleinsten Gradienten der benachbarten Pixel, das Anwenden des kleinsten Gradienten auf eine Transformationstabelle zur Ausgabe einer ersten Variablen, das Ermitteln eines Verhältnisses von horizontalen Gradienten zu vertikalen Gradienten und das Berechnen der Koeffizienten anhand der ersten Variablen und des Verhältnisses.
Die Erfindung kann zudem ein Verfahren zur Abstimmung der Tonskala eines Digitalbildes umfassen, was das Weichzeichnen einer Vielzahl von benachbarten Pixeln aus einem Digitalbild-Eingabesignal umfasst, das Filtern eines Pixels der benachbarten Pixel anhand der Gewichtung, die von Koeffizienten der benachbarten Pixel abhängt, und das Erzeugen eines Schwarzabhebungssignals basierend auf der Filterung und dem Weichzeichnen.
Ein Vorteil der Erfindung besteht darin, dass der Tonskalenfunktions-Anwendungsprozess relativ schnell ist. Außerdem werden Bilddetails bewahrt, während der Bildmakrokontrast abgestimmt wird. Die Bilddetails werden bewahrt, ohne Bezug auf einen bestimmten Detailgrößenbereich zu nehmen (im Unterschied zu den meisten einzelnen, linearen Filteransätzen), und Artefakte werden verhindert.
Die Erfindung wird im folgenden anhand in der Zeichnung dargestellter Ausführungsbeispiele näher erläutert.
Es zeigen
1 eine schematische Darstellung der Architektur eines Ausführungsbeispiels der vorliegenden Erfindung;
2 eine schematische Darstellung der Architektur eines Ausführungsbeispiels der vorliegenden Erfindung;
3 eine Kurve zur Darstellung einer exemplarischen Tonskalenfunktion;
4 einen exemplarischen Signalverlauf zur Darstellung des ARF;
5A eine grafische Darstellung des Phasenansprechverhaltens des IIR-Filters;
5B eine grafische Darstellung des Phasenansprechverhaltens der Vorwärts- und Rückwärtsfilter;
6 eine schematische Darstellung der Architektur des Schwarzabhebungsteilers;
7 eine schematische Darstellung der Architektur des ARF mit vier Durchgängen;
8A–D Anordnungen der ARF-Koeffizienten für die vier zweidimensionalen ARF mit einem Durchgang;
9 eine plane Darstellung der Anwendung eines ARF an einer einzelnen Position eines Digitalbildkanals;
10 eine Kurve zur Darstellung der Größe des Frequenzansprechverhaltens des ARF mit vier Durchgängen (mit dem zweidimensionalen ARF mit einem Durchgang) unter der Annahme, dass die Filterkoeffizienten konstant bleiben;
11 eine schematische Darstellung der Architektur des ARF für den ersten Signaldurchgang mit nicht trennbarem Kern;
12 eine grafische Darstellung einer exemplarischen Beziehung zwischen Δ_min(i, j) und α;
13A–D Anordnungen der ARF-Koeffizienten für die vier trennbaren ARF mit einem Durchgang;
14 eine Kurve zur Darstellung der Größe des Frequenzansprechverhaltens des trennbaren ARF mit vier Durchgängen unter der Annahme, dass die Filterkoeffizienten konstant bleiben;
15 eine schematische Darstellung der Architektur des trennbaren ARF für den ersten Signaldurchgang;
16 eine schematische Darstellung der Architektur eines alternativen Schwarzabhebungsteilers;
17 eine schematische Darstellung der Architektur eines weiteren Schwarzabhebungsteilers; und
18 ein Beispiel eines Digitalbildkanals an mehreren Verarbeitungsstufen.
Die vorliegende Erfindung kann beispielsweise ein Digitalbild der Größe 1024 Pixel mal 1536 Pixel verwenden, obwohl einschlägigen Fachleuten klar sein wird, dass Digitalbilder anderer Abmessungen mit gleichem Erfolg verwendbar sind. Das Digitalbild kann aus einer Reihe verschiedener Quellen stammen, ohne vom Geltungsbereich der vorliegenden Erfindung abzuweichen. Das Digitalbild kann eine Abtastung eines fotografischen Negativs, ein radiografisches Bild oder ein fotografisches Positiv sein (einschließlich von Kinefilmen). Das Digitalbild kann zudem ein mit einer Digitalkamera digital erfasstes Bild oder die Digitalisierung eines analogen Bildsignals sein, etwa ein Video-NTSC-Signal (Neutral Tone Scale Converter).
Der erfindungsgemäße Prozess zur Anwendung der ARF-Tonskalenfunktion (adaptives, rekursives Filter) verwendet das in 1 gezeigte Ablaufdiagramm zur Anwendung einer Tonskalenfunktion auf einen Digitalbildkanal. Ein digitales Farbbild, typischerweise im RGB-Farbraum, der aus getrennten roten, grünen und blauen Bildkanälen besteht, wird in einen Luminanz-Chrominanz-Farbraum mittels Farbraum-Matrixtransformation umgesetzt (z.B. Luminanz-/Chrominanzwandler 10), woraus ein Helligkeitsbildkanal neu 11 und zwei Farbbildkanäle gm und ill 12 entstehen. In einem bevorzugten Ausführungsbeispiel wirkt die vorliegende Erfindung nur auf den Helligkeitskanal oder einzeln auf jeden Farbkanal, beispielsweise auf den roten, grünen oder blauen Kanal. Die Transformation aus einem Satz aus roten, grünen und blauen Kanälen in einen Helligkeits- und zwei Farbkanäle lässt sich durch Matrixmanipulation erzielen (z.B. mittels der durch Gleichung A1 gegebenen Matrixrotation).
Die Rotation in einen Luminanz-Chrominanz-Raum verfolgt den Zweck, den einzelnen Kanal zu isolieren, auf den die Tonskalenfunktion wirkt. Ein Filmscanner zeichnet (für jedes Pixel) die rote, grüne und blaue Auflichtdichte auf. Diese drei Werte können als Lage eines Pixels im dreidimensionalen Raum betrachtet werden. Mit dem Luminanz-/Chrominanzwandler 10 kann eine Achsendrehung durchgeführt werden, wie in Gleichung A1 gezeigt.
Diese Matrixdrehung erzeugt eine neutrale Achse, auf der r = g = b, sowie zwei Farbdifferenzachsen (grün-purpurrot und Weißpunkt).
Eine geeignete Wahl von Tonskalenfunktionen zur dynamischen Bereichskomprimierung ist der neutrale Helligkeitskanal. Alternativ hierzu können auch andere Transformationen als die U-Raum-Matrix durchgeführt werden, beispielsweise kann eine dreidimensionale Transformationstabelle verwendet werden, um das Digitalbild in eine Luminanz-Chrominanzform zu bringen, wie einschlägigen Fachleuten bekannt ist.
Der Helligkeitskanal neu wird dann in einen detailerhaltenden Tonskalenfunktionsprozessor 20 eingegeben. Zweck und Aufgabe des Tonskalenfunktionsprozessors 20 besteht darin, einer Tonskalenfunktion zu ermöglichen, den Makrokontrast des Digitalbildkanals abzustimmen, aber den Detailgehalt oder die Textur des Digitalbildkanals zu bewahren. Die Strategie, mit der diese Aufgabe gelöst wird, kann unter Betrachtung von 2 nachstehend beschrieben werden. Die Farbkanäle werden konventionell von dem konventionellen Farbprozessor 40 verarbeitet. Der Farbprozessor 40 kann die Farbkanäle in einer Weise modifizieren, die mit der Tonskalenfunktion in Beziehung steht. Beispielsweise beschreibt US-A-6,438,264, basierend auf der Anmeldung mit der Seriennummer 09/224,028, eingereicht am 31. Dezember 1998, ein Verfahren zur Modifikation der Farbkanäle in Beziehung zur Steigung der angelegten Tonskalenfunktion. Der Betrieb des Farbprozessors ist kein zentraler Bestandteil der vorliegenden Erfindung und wird nicht weiter erläutert.
Nachdem die vorliegende Erfindung die betreffenden Vorgänge abgeschlossen hat, wird das Digitalbild mit einer inversen Farbraum-Matrixtransformation (RGB-Wandler 30) in den RGB-Farbraum zurückgewandelt, um eine Hardcopy auf einer Ausgabevorrichtung drucken oder daran anzeigen zu können.
Wie in 2 gezeigt, wird die Eingabe des Digitalbildkanals neu in den detailerhaltenden Tonskalenfunktionsapplikator 11 als Summe des Schwarzabhebungssignals neu_ped, des Textursignals neu_txt und eines Rauschsignals neu_n ausgedrückt: neu = neuped + neutxt + neun (1)
Wenn davon ausgegangen wird, dass das Rauschen vernachlässigt werden kann, dann ist: neu = neuped + neutxt (2)
Innerhalb des Tonskalenfunktionsprozessors 20 wird der Helligkeitsanteil der Digitalbildkanalausgabe des Luminanz-/Chrominanzwandlers 10 von einem Schwarzabhebungssignalteiler 50 in zwei Teile geteilt, um ein Schwarzabhebungssignal 51 und ein Textursignal 52 zu erzeugen, wie nachstehend beschrieben wird.
Die Tonskalenfunktion wird von einem Tonskalenapplikator 60 auf das Schwarzabhebungssignal 51 angewandt, um die Eigenschaften des Bildes zur Bildverbesserung zu ändern. Die Tonwertfunktion kann zwecks Änderung der relativen Helligkeit oder des Kontrasts des digitalen Bildes angewandt werden. Der Tonskalenapplikator 60 wird durch Anwenden einer Transformationstabelle auf ein Eingabesignal implementiert, wie in der Technik bekannt ist. 3 zeigt ein Beispiel einer Tonwertskala mit einer 1:1-Zuordnung zwischen Ein- und Ausgabewerten.
Das Textursignal 52 kann bei Bedarf von einem Texturmodifikator 70 verstärkt oder in anderer Weise nach den Vorstellungen von Fachleuten verändert werden. Der Texturmodifikator 70 kann als eine Multiplikation des Textursignals durch eine Zählerkonstante implementiert sein. Das modifizierte Textursignal und das modifizierte Schwarzwertsignal werden von einem Addierer 80 addiert und bilden ein transformiertes Bildsignal. Die Addition von zwei Signalen durch einen Addierer 80 ist in der Technik bekannt. Dieser Prozess lässt sich auch durch folgende Gleichung beschreiben: neup = f(neuped) + neutxt (3)wobei f() für die Tonskalenfunktion steht und wobei neu_p für den verarbeiteten Digitalbildkanal mit reduziertem Dynamikbereich steht. Die Detailinformation des Digitalbildkanals wird durch den Prozess der Tonskalenfunktionsanwendung bewahrt.
Der Schwarzabhebungssignalteiler 50 zerlegt den eingegebenen Digitalbildkanal neu in ein Schwarzabhebungssignal 51 neu_ped und ein Textursignal 52 neu_txt, deren Summe gleich dem originalen Digitalbildkanal ist (beispielsweise das Helligkeitssignal) 11. Der Betrieb des Ton skalenfunktionsprozessors 20 hat auf das ausgegebene Bild eine starke Wirkung. Der Schwarzabhebungssignalteiler wendet ein nicht lineares, adaptives, rekursives Filter (ARF) an, um das Schwarzabhebungssignal zu erzeugen. Als ein Ergebnis der Nichtlinearität des ARF sind die Fourier-Frequenzanalogien bestenfalls näherungsweise. Das Schwarzabhebungssignal 51 neu_ped ist glatt, ausgenommen großer Änderungen in Verbindung mit einer starken Szenenbeleuchtung oder mit Objektdiskontinuitäten. Das Textursignal 52 neu_txt ist die Differenz zwischen dem Originalsignal und dem Schwarzabhebungssignal. Das Textursignal umfasst Details.
Trotz der Darstellung aus 1 ist es nicht erforderlich, dass ein Helligkeitskanal der Modifikation durch den Tonskalenfunktionsprozessor 20 unterzogen wird. Beispielsweise könnte jeder Farbkanal eines RGB-Bildes dieser Verarbeitung unterzogen werden, oder ein monochromes Bild könnte von diesem Prozess ebenfalls umgewandelt werden. Für die weitere Beschreibung wird jedoch davon ausgegangen, dass nur der Helligkeitskanal und insbesondere der neutrale Kanal neu einer Verarbeitung seitens des detailerhaltenden Tonskalenfunktionsapplikators unterzogen wird.
Ein Vorteil des hier beschriebenen Prozesses liegt in der Formulierung des von dem Schwarzabhebungssignalteiler 50 implementierten ARF-Filterungsprozesses. Obwohl das ARF-Filter in dem Schwarzabhebungssignalteiler 50 wie ein IIR-Filter erscheinen mag (insofern, als dass der gewünschte Weichzeichnungsgrad einstellbar ist, ohne die Anzahl von Multiplikationen zu ändern, die zur Berechnung des weich gezeichneten Pixelwerts erforderlich sind), unterscheidet sich der Schwarzabhebungssignalteiler 50 grundsätzlich von einem herkömmlichen IIR-Filter. Der Schwarzabhebungssignalteiler 50 ist raumvariant und seine Eigenschaften entsprechen der lokalen Struktur des Bildes. Aus diesem Grund wird die Struktur eines IIR-Filters nachstehend kurz angesprochen, um den Unterschied des erfindungsgemäßen, adaptiven, rekursiven Filters in dem Schwarzabhebungssignalteiler 50 zu verdeutlichen.
Die allgemeine Formel für ein rekursives, kausales System lässt sich durch Gleichung (4) beschreiben (J. Proakis und D. Manolakis, Digital Signal Processing: Principles, Algorithms, and Applications, Macmillian Publishing Company, New York, USA, 1992.
In Gleichung (4), steht x(n) für das Eingangssignal und y(n) für das Ausgangssignal. Die ganzen Zahlen N und M stellen die Anzahl von Proben des Eingangs- und Ausgangssignals dar, die zum aktuellen Wert des Ausgangssignals beitragen. Die Koeffizienten a_k und b_k stellen die Gewichte dar, die multiplikativ auf Proben des letzten Ausgangssignals bzw. des Eingangssignals angewandt werden. Die Sammlung der Koeffizienten a_k und b_k kann als digitales Filter gesehen werden. Weil a_k und b_k als multiplikative Faktoren in Gleichung (4) verwendet werden, werden diese Koeffizienten auch als Gewichte bezeichnet.
Vorausgesetzt, dass a_k und b_k für alle n konstant bleiben, dann ist das Kausalsystem ein lineares, rauminvariantes Kausalsystem, und das System könnte zudem als FIR (Finite Impulse Response) oder IIR (Infinite Impulse Response) klassifiziert werden. Wenn alle Werte von a_k gleich 0 sind, ist das System FIR. Für alle FIR-Systeme ist y(n > M) = 0, wenn x(n) ein Impuls ist, der an n = 0 auftritt. Wenn einer von a_k ungleich 0 ist, dann ist die Dauer der Antwort in y(n) auf eine Impulseingabe unendlich. Dieses System hat den Typ IIR.
Für die meisten Bildverarbeitungsaufgaben, die die Verwendung eines Digitalfilters benötigen, ist es wünschenswert, dass das Filter kein Phasenansprechen aufweist. Dadurch ist gewährleistet, dass die allgemeine Lage der Strukturen in einem Digitalbild räumlich nicht mit der Anwendung des Filters wandert. Symmetrische FIR-Systeme in Form von
wobei b_k = b_–k, haben die Eigenschaft, dass sie ein Phasenansprechen von null aufweisen. Allerdings werden zur Erzielung eines großen Weichzeichnungsgrades viele Berechnungen einbezogen, weil die Anzahl von Koeffizienten b_k groß wird.
Der Vorteil der Implementierung eines IIR-Systems besteht darin, dass die effektive Weichzeichnungsgröße für kleine Werte von N (e.g. N = 1) sehr groß sein kann. Ähnliche Weichzeichnungsgrade in einem FIR-System erfordern große Werte von M. Da die Verarbeitungszeit direkt mit der Anzahl der Proben in Beziehung steht, die zur Berechnung jedes y(n) erforderlich sind, kann ein IIR-System große Weichzeichnungsgrade bei deutlicher Zeitersparnis im Verhältnis zu ähnlichen Weichzeichnungsgraden mit einem FIR-System implementieren. Allerdings haben IIR-Systeme von Natur aus nicht das gewünschte Phasenansprechverhalten von null.
Um eine unerwünschte Phasenverschiebung zu beseitigen, muss eine zweite Filterstufe in entgegengesetzter Richtung durchgeführt werden. Diese zweite Filterstufe erzeugt im Wesentlichen eine weitere Phasenverschiebung, die die erste widerruft. Die zweite Stufe kann ein Allpassfilter sein, das einfach eine weitere Phasenverschiebung induziert, oder es kann einfach die Umkehrung des originalen Filters sein.
Das erfindungsgemäße adaptive, rekursive Filter (ARF) wurde entwickelt, um Bilder zu glätten, in denen die Werte der Koeffizienten a_k und b_k abhängig von der lokalen Struktur des Bildes variieren. Somit ist das ARF ein nicht lineares, kausales Filter, das nicht durch typische Analyse beschrieben werden kann, wie beispielsweise die Fourier-Analyse. Das ARF glättet den eingehenden Digitalbildkanal durch Auswertung einer Gleichung ähnlich wie Gleichung 4, in der die Werte der Koeffizienten a_k. und b_k abhängig von der lokalen Struktur des weich gezeichneten Bildsignals variieren. Durch Variieren der Koeffizienten vermag das System weniger Weichzeichnung in Nachbarschaft der Kanten zu erzeugen und erzeugt nach vier Durchgängen des ARF ein Schwarzabhebungssignal.
Der Begriff „adaptiv" in Bezug auf die erfindungsgemäße Filterkonstruktion bezieht sich also auf die Konstruktion eines Filters, dessen Gewichte gemäß der Struktur in einer Nachbarschaft der Filterposition variieren. Mit anderen Worten filtert die Erfindung das Digitalbildsignal durch ein Filter mit Koeffizienten, die von statistischen Parametern von Pixelwerten in der umgebenden Nachbarschaft des jeweils gefilterten Pixels abhängen. Der Begriff „rekursiv" bezieht sich auf ein Filter, dessen Implementierung Rekursion umfasst, das heißt, dass der vorhandene Wert des Ausgabesignals von vorher berechneten Werten des Ausgabesignals abhängt, wie beispielsweise in Gleichung (4), in der mindestens ein Koeffizient a_k nicht null ist. Durch Variieren der Koeffizienten vermag das System weniger Weichzeichnung in Nachbarschaft von Kanten zu erzeugen und ein Schwarzabhebungssignal zu erzeugen (beispielsweise die untere Kurve in 4).
Die Nachbarschaftsgröße hängt mit der Berechnung von Gradienten des Steuersignals ab. Diese Bedingung ist selbstverständlich lediglich exemplarisch, und die Nachbarschaftsgröße kann auch unabhängig von der Größe des adaptiven, rekursiven Filters (ARF) gewählt werden. Begrifflich ist die optimale Nachbarschaftsgröße gleich der Größe des ARF. Da die Nachbarschaft jedoch von dem Steuersignal ausgeht (welches eine weich gezeichnete Version des Digitalbildkanals ist), ist die effektive Nachbarschaftsgröße in Bezug auf den originalen Digitalbildkanal größer als die Größe des ARF.
4 zeigt Beispielsignale, in denen das ARF anhand exemplarischer Signalkurven veranschaulicht wird. Es wird ein Signal aus 140 Pixeln gezeigt, das aus einer Kurve eines Bildes entnommen ist. Die obere Kurve ist eine tatsächliche Kurve aus einem Bild. Die zweite Kurve ist eine Kurve des ursprünglichen Signals nach Anwendung eines linearen IIR-Filters in nur einer Richtung. Wie gezeigt, scheint die Phasenverschiebung das Signal nach rechts zu verändern. Die dritte Kurve zeigt das Ergebnis nach Anwendung desselben linearen Filters auf die zweite Kurve in entgegengesetzter Richtung. Wie zu erkennen, ist die Phasenverschiebung aufgehoben. Die untere Kurve zeigt dieselben Bildpixel nach Anwendung eines ARF mit vier Durchgängen auf das Bildsignal. Relativ zur oberen Kurve wurde das Detail geglättet, während die Diskontinuitäten bewahrt wurden.
Die Anwendung der Gleichung (4) mit M = 0, N = 1, a₁ = 0,7 und b₀ = 0,3 führt zur zweiten Kurve, die eine deutliche Phasenverschiebung aufweist (das Signal scheint nach rechts bezogen worden zu sein). Für dieses IIR-System kann folgende Gleichung angewandt werden: y1(n) = 0,7y1(n – 1) + 0,3x(n) (5)
Das nicht null betragende Phasenansprechverhalten von Gleichung 5 ist in 5A und 5B veranschaulicht. In 5A wird das Phasenansprechverhalten des IIR-Filters durch Gleichung (5) beschrieben. In 5B wird das Phasenansprechverhalten der Kombination der Vorwärts- (5) und Rückwärtsgleichungsfilter (6) gezeigt. Die dritte Kurve in 4 ist das Ergebnis aus der Anwendung des IIR-Filters in beiden Richtungen (vorwärts und rückwärts). Die Anwendung des Filters in Vorwärtsrichtung erfolgt also, indem zunächst Gleichung (5) von links nach rechts angewandt wird. Die Rückwärtsrichtung wird durch Anwenden der Gleichung von rechts nach links berechnet: y2(n) = 0,7y2(n + 1) + 0,3y1(n) (6)
Dieses Signal weist keine Phasenverschiebung auf, wie in 5B gezeigt. Das untere Signal ist das Ergebnis der Anwendung des ARF auf das Eingangssignal. In diesem Fall wurde das Ausgangssignal geglättet, aber es wurde eine große Diskontinuität bewahrt.
6 zeigt eine auseinandergezogene Ansicht des Schwarzabhebungssignalteilers 50. Der Schwarzabhebungssignalteiler umfasst einen Weichzeichner 90, um ein geglättetes Signal zu erzeugen, das als Steuerungseingang des ARF 110 mit vier Durchgängen dient. Das ARF mit vier Durchgängen akzeptiert den originalen Digitalbild-Helligkeitskanal neu 11 und gibt das Schwarzabhebungssignal neu_ped 51 aus. Das Textursignal neu_txt 52 wird von dem Schwarzabhebungssignalgenerator 120 erzeugt, der das Schwarzabhebungssignal neu_ped 51 von dem Digitalbildkanal neu 11 subtrahiert.
Der Kanal neu 11 wird zudem direkt als Signaleingabe des ARF 110 mit vier Durchgängen übergeben, welches das Schwarzabhebungssignal neu_ped ausgibt. Die Differenz zwischen diesem Signal und dem ursprünglichen neutralen Kanal neu ist das Textursignal neu_txt in Gleichung (2).
Der Weichzeichner 90 stellt die Faltung des Digitalbildkanals mit einem FIR-Tiefpassfilter dar. Das ausgegebene, weich gezeichnete Bildsignal, das als z(i, j) bezeichnet wird, hat den Zweck, als Steuersignal zu dienen, von dem lokale Koeffizienten des ARF abgeleitet werden. Es ist wünschenswert, dass das Steuersignal nur zwei Rauschpegel aufweist, um ein schnelles Umschalten der Eigenschaften des ARF zu vermeiden. Das weich gezeichnete Signal ist äquivalent zu dem Digitalbildkanal minus der HF-Information. Das FIR-Filter wird durch Abtasten einer Gaußschen Wahrscheinlichkeitsdichtefunktion erzeugt und ist als Gaußsches Filter bekannt. Die zur Erzeugung der Kernwerte des Gaußschen Filters verwendeten Gleichungen sind unten aufgeführt.
Ein praktisches Tiefpassfilter h_G(k) lässt sich aus Proben einer Gaußschen Verteilung konstruieren. Ein Vorteil des zweidimensionalen Gaußschen Filters besteht darin, dass es in horizontale und vertikale Komponenten trennbar ist. Das Gaußsche Filter kann nur mit der Stan dardabweichung der Gaußschen Verteilung spezifiziert werden, unter der Annahme, dass die Gesamtzahl von Proben ungefähr gleich sechs Standardabweichungen ist. Das nicht normalisierte, eindimensionale Gaußsche Filter lässt sich ausdrücken als:
Wobei 1 eine ungerade ganze Zahl ist, die ungefähr gleich 6σ, c = (l – 1)/2, ist, und δ(x) ist die Deltafunktion. Die Deltafunktion ist δ(x) = 1 für x = 0, und δ(x) = 0 für alle anderen Werte x. Das Gaußsche Filter h_G(m) wird durch Normalisieren von h_U(m) erzielt, so dass die Summe der Filterkoeffizienten (und entsprechend die DC-Verstärkung) gleich 1,0 ist.
In einem bevorzugten Ausführungsbeispiel ist der Wert von σ, der zur Erzeugung des Gaußschen Filters verwendet wird, 2 Pixel je Standardabweichung. Wenn für σ der Wert 0,0 gewählt wird, dann gilt für das Gaußsche Filter standardmäßig die Deltafunktion. Wegen der bekannten Tatsache, dass die Faltung eines Signals mit einer Deltafunktion das Signal nicht verändert, ist die Wahl von σ = 0,0 gleichbedeutend mit der Einstellung des weich gezeichneten Bildsignals gleich dem Digitalbildsignal. Das Gaußsche Filter in dem Weichzeichner 90 aus 6 könnte durch viele weitere Arten von Filterverfahren ersetzt werden. Es gibt viele Verfahren zum Weichzeichnen eines Digitalbildkanals neben dem Weichzeichnen mit einem Gaußschen Filter, wie in der Technik bekannt ist (z.B. Weichzeichnen mit einem IIR-Filter, wie von Matama in US-A-5,905,817 beschrieben). Andere gängige nicht lineare Operationen, wie das morphologische Weichzeichnen oder das Medianfilter sind ebenfalls zum Weichzeichnen des Digitalbildkanals verwendbar. Von dem Weichzeichner 90 kann ein beliebiges Verfahren zum Weichzeichnen eines Digitalbildkanals verwendet werden, das einen Glättungseffekt auf den Digitalbildkanal hat, ohne von dem Geltungsbereich der Erfindung wesentlich abzuweichen.
Das weich gezeichnete Bildsignal z(i, j) 91 wird an den Steuersignaleingang des adaptiven, rekursiven Filters 110 mit vier Durchgängen angelegt. Darüber hinaus wird der digitale Bildkanal neu 11 an den Signaleingang des ARF mit vier Durchgängen angelegt. Das ARF 110 mit vier Durchgängen wendet auf den Digitalbildkanal ein rekursives Weichzeichnen an, das sich adaptiv auf den Bildinhalt stützt, wie anhand des Steuersignals z(i, j) ermittelt. Im Allgemeinen zeichnet der ARF-Applikator mit vier Durchgängen den Digitalbildkanal in den Bereichen des Bildes, die relativ glatt sind, stärker weich, und in anderen Bereichen des Bildes, die benachbart zu Kanten mit großen Einschlüssen angeordnet sind, weniger weich. Der ARF-Applikator mit vier Durchgängen nutzt Statistiken, die von dem Steuersignal z(i, j) abgeleitet sind, um die Eigenschaften des ARF positionsabhängig abzustimmen. Die Signalausgabe von dem ARF-Applikator mit vier Durchgängen ist das Schwarzabhebungssignal neu_ped 51, ein Signal, das ausgenommen der großen Kanten glatt ist.
Wie in 6 gezeigt, wird das Schwarzabhebungssignal 51 an einen Eingang des Textursignalgenerators 120 zusammen mit dem Digitalbildkanal angelegt. Die Ausgabe des Textursignalgenerators 120 ist das Textursignal 52, das durch Subtrahieren des Schwarzabhebungssignals 51 (aus dem ARF 110 mit vier Durchgängen ausgegeben) von dem Digitalbildkanal 11 erzeugt wird. Dies lässt sich in Form einer Gleichung folgendermaßen ausdrücken: neutxt(i, j) = neu(i, j) – neuped(i, j) (7)wobei neu_txt(i, j) für den Wert des Textursignals an der Pixelposition (i, j)^th steht, neu(i, j) für den Wert des Digitalbildkanals an der Pixelposition (i, j)^th steht und neu_ped(i, j) für den Wert des Schwarzabhebungssignals an der Pixelposition (i, j)^th steht.
7 zeigt eine auseinander gezogene Darstellung des ARF-Applikators 110 mit vier Durchgängen. Wie der Name besagt, besteht ein ARF mit vier Durchgängen als vier einzelnen ARF-Stufen 115₁ –115₄ . Das weich gezeichnete Bildsignal z(i, j) wird an den Steuersignaleingang des ersten ARF-Applikators 115₁ mit einem Durchgang angelegt. Der Digitalbildkanal neu 11 wird an den Signaleingang des ersten ARF mit einem Durchgang angelegt. Zur Verdeutlichung wird der Signaleingang des ARF mit vier Durchgängen als x(i, j) bezeichnet. Somit ist x(i, j) = neu(i, j). Das ARF mit einem Durchgang hat die Aufgabe, eine Gleichung auf ein Bildsignal anzuwenden, die ähnlich wie Gleichung (4) ist, deren Koeffizienten für jede Bildposition (i, j) von der Analyse des Steuersignals abgeleitet werden.
Es sind vier Durchgänge des ARF erforderlich, weil ein rekursives Filterungssystem eine Phasenverzerrung in dem Ausgabebild in Bezug zum Originalbild induziert. Um diesen Effekt zu beseitigen, werden sowohl das Filter als auch die Richtung in einem zweiten Durchgang des rekursiven Filters umgekehrt. Um ein Schwarzabhebungssignal ohne Phasenverzerrung zu erzeugen, müssen vier Durchgänge durch das adaptive, rekursive Filter erfolgen. Die vier Durchgänge gewährleisten, dass jede horizontale Pixelreihe von links nach rechts und von rechts nach links gefiltert worden ist. Außerdem muss jede vertikale Pixelspalte von oben nach unten und von unten nach oben gefiltert werden. Wie bereits erwähnt, ist die Schwarzabhebungssignalausgabe des ARF 110-Applikators mit vier Durchgängen mit Ausnahme großer Diskontinuitäten, die an großen Kanten des Bildes auftreten, glatt.
Im Betrieb eines ARF-Applikators mit einem Durchgang wird ein ARF an ein Bildsignal angewandt, dessen Koeffizienten von der Analyse der Steuersignale abgeleitet werden. Dasselbe Steuersignal z(i, j) wird von jedem ARF-Applikator mit einem Durchgang 115_1–4 verwendet, um die Gewichte a_k und b_k zu ermitteln, die an jede Position des Eingabebildsignals angewandt werden. Die Ausgabe des ARF-Applikators mit einem Durchgang 115₁ ist ein geglättetes Bildsignal, wobei die Glättung einer gewissen Phasenverzögerung unterworfen ist. Die Ausgabe des ersten ARF-Applikators 115₁ mit einem Durchgang wird an den Eingang des zweiten ARF-Applikators mit einem Durchgang 115₂ angelegt. Die Ausgabe des zweiten ARF-Applikators 115₂ mit einem Durchgang wird an den Eingang des dritten ARF-Applikators mit einem Durchgang 115₃ angelegt. Wie in 7 gezeigt, setzt sich dieser Prozess fort, bis die Ausgabe des vierten ARF mit einem Durchgang 115₄ , y₄(i, j), erzeugt ist.
Das ARF mit vier Durchgängen hat demnach vier einzelne ARF-Stufen. Eine ARF-Stufe mit einem Durchgang besteht aus den Koeffizienten a_k und b_k sowie einem Mechanismus zur Bestimmung deren Werte anhand einer lokalen Bildstruktur, wie durch eine Analyse der lokalen Struktur des Steuersignals z(i, j) bestimmt. Für ein ARF ist eine beliebige Zahl von Koeffizienten a_k und b_k verwendbar. Die Anordnung der Koeffizienten a_k und b_k bildet die ARF-Nachbarschaft der Pixel, die einer Filterung unterzogen werden. Zum Zwecke der vorliegenden Patentanmeldung werden zwei verschiedene ARF-Nachbarschaften dargestellt. Die erste ist eine zweidimensionale Nachbarschaft aus vier Koeffizienten. Diese ARF-Nachbarschaft wird als das zweidimensionale ARF bezeichnet. Die zweite ARF-Nachbarschaft hat den Vorteil, dass sie einfacher und schneller ist, und sie ist eine eindimensionale Nachbarschaft, die nur aus zwei Koeffizienten besteht, und wird als trennbares ARF bezeichnet.
Das erste zweidimensionale ARF mit einem Durchgang lässt sich durch folgende Gleichung ausdrücken: y1(i, j) = a1y1(i – 1, j) + a2y1(i – 1, j – 1) + a3y1(i, j – 1) + b0x(i, j) (8)wobei y₁(i, j) den Wert des Ausgabesignals an der Pixelstelle (i, j)^th und x(i, j) den Wert des Digitalbildkanals neu an der Pixelposition (i, j)^th darstellt, Gleichung (8) ist eine zweidimensionale Erweiterung der Gleichung (4). Die Wahl der Gewichtungskoeffizienten a₁, a₂, a₃, und b₀ wird nachstehend besprochen. An jeder Position in dem Bild werden die Werte dieser Gewichte neu berechnet.
Bezugnehmend auf die 8A–8D wird die Anordnung der Filterkoeffizienten in einem exemplarischen Bild aus 5 Reihen und 5 Spalten dargestellt, wobei der Bildursprung in der oberen linken Ecke liegt. 8A–8D zeigen den Betrieb jedes einzelnen ARF 115_1–4 in dem ARF 110 mit vier Durchgängen. Die durch Gleichung (8) referenzierten Pixelpositionen bilden eine quadratische Nachbarschaft aus 2 × 2 Pixeln. Der Filterungsprozess beginnt in der Ecke, die den Koeffizienten b₀ am nächsten zum Bildmittelpunkt anordnet und setzt sich in Richtung zur gegenüberliegenden Ecke fort. Dies gewährleistet das Vorhandensein möglichst vieler Terme y₁(i₀, j₀). Im Falle der Gleichung (8) beginnt der Filterungsprozess in der oberen linken Ecke des Bildes und setzt sich über jede Reihe von Pixeln (von links nach rechts) und nach unten in jeder Spalte fort. Somit ändert sich zwar die Filterposition während des Filterungsprozesses, aber das ARF deckt 4 Pixelpositionen ab.
Bei Anwendung des ARF mit einem Durchgang wird ein beliebiger Wert von y₁(i₀j₀), der nicht bekannt ist, wenn er für die Berechnung von y₁(i, j) benötigt wird, durch Wert von x(i₀j₀) ersetzt. In der in 8A–8D gezeigten Position werden die Koeffizienten a_k zur Skalierung der Werte y₁(0, 0), y₁(0, 1) und y₁(1, 0) verwendet. Der Koeffizient b₀ wird dann als ein Skalierungsfaktor auf den Wert von x(1, 1) angewandt. Der Wert von y₁(1, 1) wird dann gleich der Summe aller skalierten Werte gesetzt, die unter die Koeffizienten a_k und b₀ fallen. Dieser Prozess wird noch einmal in 9 gezeigt.
9 zeigt eine Darstellung der Anwendung eines ARF an einer einzelnen Position eines Digitalbildkanals. Zuerst werden die ARF-Koeffizienten a₁, a₂, a₃ und b₀ ermittelt. Dann werden die Koeffizienten mit den Pixelwerten des eingegebenen Digitalbildkanals multipliziert (in diesem Fall von b₀) und des Ausgabesignals (in diesem Fall a₁, a₂, und a₃.) Diese Werte werden dann summiert, um den Wert des Ausgabesignals für diese Position des ARF zu erzeugen.
Diese Darstellung bezieht sich auf die Ausführung der Gleichung (11) an einer einzelnen Position im Digitalbildkanal. Wie gezeigt, erfordert die Berechnung jeder Probe in dem Ausgabesignal y1(i, j) drei vorherige Werte des Ausgabesignals sowie den aktuellen Wert des Eingabesignals. In dem zweiten ARF-Applikator 115₂ mit einem Durchgang wird das Ausgabesignal y2(i, j) durch Auswertung folgender Gleichung erzeugt: y2(i, j) = a1y2(i + 1, j) + a2y2(i + 1, j + 1) + a3y2(i, j + 1) + b0y1(i, j) (9)
In 8B beginnt der Filterungsprozess in der unteren rechten Ecke und setzt sich über jede Reihe von Pixeln (von rechts nach links) und nach oben in jeder Spalte fort. Der Effekt des zweiten ARF-Applikators mit einem Durchgang besteht darin, den Gesamtgrad der Weichzeichnung relativ zum eingegebenen Bildsignal neu zu erhöhen und die von dem ersten ARF-Applikator mit einem Durchgang induzierte Phasenverzerrung (ungefähr) zu beseitigen.
Es sei darauf hingewiesen, dass die Werte von a₁, a₂, a₃ und b₀ an einer bestimmten Position im Digitalbildkanal nicht unbedingt zwischen zwei Durchgängen gleich sein müssen, da die Werte der Koeffizienten mit jedem Durchgang neu berechnet werden. In einer schnelleren Implementierung werden die Koeffizienten möglicherweise nur einmal berechnet und dann zur Verwendung in nachfolgenden Durchgängen gespeichert, um Verarbeitungszeit zu sparen. Als weiteres alternatives Ausführungsbeispiel können die Koeffizienten im ersten vertikalen Durchgang berechnet und dann zur Verwendung in dem zweiten vertikalen Durchgang gespeichert werden. Ebenso könnten die Koeffizienten im horizontalen Durchgang erzeugt und für jeden der beiden Durchgänge verwendet werden. Die Eingabe in diesen zweiten ARF-Applikator mit einem Durchgang ist das Ausgabesignal des ersten ARF-Applikators mit einem Durchgang. Zusätzlich werden ein dritter und vierter ARF-Applikator mit einem Durchgang in Reihe auf die Ausgabe des zweiten ARF-Applikators mit einem Durchgang angewandt, wie in 7 gezeigt. Diese beiden zusätzlichen Filterungsstufen verarbeiten das Bildsignal beginnend mit einer AR-Filterung mit einem Durchgang an den beiden letzten verbliebenen Ecken des Bildes, erzeugen erneut eine Phasenverschiebung im dritten Durchgang und heben die Phasenverschiebung im vierten Durchgang ungefähr auf. Die Gleichungen für den dritten und vierten ARF-Applikator mit einem Durchgang lauten wie folgt: y3(i, j) = a1y3(i + 1, j) + a2y3(i + 1, j – 1) + a3y3(i, j – 1) + b0y2(i, j) + ab (10) (y4(i, j) = a1y4(i – 1, j) + a2y4(i – 1, j + 1) + a3y4(i, j + 1) + b0y3(i, j) + ab (11)
In 8C beginnt die dritte AR-Filterung mit einem Durchgang in der oberen rechten Ecke des Bildes und setzt sich über jede Reihe von Pixeln (von rechts nach links) und nach unten in jeder Spalte fort. Abschließend beginnt die vierte AR-Filterung mit einem Durchgang in der unteren linken Ecke und setzt sich über jede Reihe von Pixeln (von rechts nach links) und nach oben in jeder Spalte fort (8D).
Im Vergleich von 6 und 7 wird deutlich, dass die Signalausgabe y₄(i, j) ab dem vierten Durchgang des adaptiven rekursiven Filters das Schwarzabhebungssignal neu_ped 51 ist. Die Verarbeitung des Bildes mit dem rekursiven Filter ausgehend von jeder der vier Ecken gewährleistet, dass die Phasenverzerrung minimal ist.
Das ARF ist ein nicht lineares Filter, weil die Koeffizienten a_k und b_k über dem gesamten Bild variieren. Daher ist die gesamte Frequenzanalyse ungefähr. Zum Zwecke dieser Darstellung ist es wichtig, das ARF-Frequenzansprechverhalten zu ermitteln, wobei vorausgesetzt wird, dass die Filterkoeffizienten konstant bleiben. Unter der Voraussetzung, dass b₀ = 0,3, a₁ = 0,28, a₂ = 0,14, und dass a₃ = 0,28, zeigt 10 die Größe des Frequenzansprechverhaltens des ARF-Filters mit vier Durchgängen.
10 zeigt die Größe des Frequenzansprechverhaltens des ARF mit vier Durchgängen (mit dem zweidimensionalen ARF mit einem Durchgang) unter der Annahme, dass die Filterkoeffizienten konstant bleiben. Dies weist für die Bereiche des Digitalbildkanals darauf hin, dass die ARF-Koeffizienten konstant bleiben und dass das Frequenzansprechverhalten in allen Richtungen nahezu gleich ist. Die ARF-Gewichte werden einzeln an jeder Position (i, j) im Bild gewählt.
Dieser Prozess wird mit Bezug auf 11 beschrieben, die eine auseinandergezogene Ansicht eines zweidimensionalen ARF mit einem Durchgang zeigt, einschließlich des Verfahrens zur Bestimmung der ARF-Koeffizienten, welches für jede Position des ARF in dem Digitalbildkanal ausgeführt wird. 11 zeigt insbesondere eine auseinandergezogene Ansicht der ersten ARF mit einem Durchgang.
Zuerst werden die lokalen Gradienten Δ_h und Δ_v eines Kontrollbildsignals z(i, j) (z.B. das weichgezeichnete Bildsignal 91) mithilfe des Gradientenberechners 130 ermittelt. Das Minimum dieser Gradienten wird von einem Minimumfinder 132 Δ_min ermittelt und über einen Alpha-Bestimmer 134 zur Erzielung des Werts von α übergeben. Das Verhältnis r der lokalen Gradienten wird von einem Verhältnisberechner 138 ermittelt. Das von dem Verhältnisberechner 138 berechnete Verhältnis r ist das Verhältnis des horizontalen Gradienten zum vertikalen Gradienten, wie nachstehend detaillierter beschrieben.
Die ARF-Koeffizienten werden mit α und r von dem Koeffizientenberechner 136 ermittelt. Abschließend werden diese Koeffizienten verwendet, um die Gleichung (8) (im Falle des ersten ARF mit einem Durchgang) auszuwerten, indem die lokalen Pixelwerte des Signaleingangs x(i, j) und des Signalausgangs y₁(i, j) in einem Ausgabewertberechner 140 multipliziert werden. Zur Verdeutlichung wird die Ableitung der Werte der Koeffizienten des ARF mit einem Durchgang mit Bezug auf den ersten ARF mit einem Durchgang beschrieben. Fachleuten ist deren Anwendung auf die übrigen ARF-Einheiten selbstverständlich klar.
Die Ausdehnung der vorliegenden Beschreibung auf die übrigen Durchgänge des ARF erfolgt wie nachfolgend beschrieben. Um eine DC-Verstärkung von eins zu erhalten, werden die Filtergewichte so ausgelegt, dass a₁ + a₂ + a₃ + b₀ = 1. Mit dieser Wahl der Gewichte ist beab sichtigt, das ARF so zu entwerfen, dass weniger Glättung durchgeführt wird, wenn sich das Filter einer große Kante in dem originalen Digitalbildkanal nähert.
Die adaptive Glättung des Digitalbildkanals ist für die Anwendung der Tonskalenfunktion auf einen Digitalbildkanal aus mehreren Gründen sinnvoll. Da die Kanten relativ ungeglättet bleiben, ist das Schwarzabhebungssignal neu_ped(x, y) in diesen Bereichen dem Digitalbildkanal neu(x, y) sehr ähnlich. Unter Berücksichtigung von Gleichung 2 kann man sehen, dass das Textursignal in Kantenbereichen neu_txt(x, y) nahezu null wird. Dadurch ist gewährleistet, dass sogar nach Anwendung einer Tonskalenfunktion auf den Kantenbereich des Schwarzabhebungssignals neu_ped(x, y) und Hinzufügen des Textursignals neu_txt(x, y) zu dem Ergebnis das Profil des Kantenbereichs in dem verarbeiteten Digitalbildkanal neu_p(x, y) weiterhin ähnlich dem Profil des ursprünglichen Signals neu(x, y) ist.
Alternativ hierzu gewährleistet ein nicht adaptives Glätten eines Kantenbereichs, dass das Schwarzabhebungssignal neu_ped(x, y) in Bezug auf das ursprüngliche Signal neu(x, y) relativ geglättet erscheint. Das bedeutet, dass das Textursignal neu_txt(x, y) eine starke Modulation im Kantenbereich enthält. In diesem Fall bewirkt das Komprimieren des Schwarzabhebungssignals neu_ped(x, y) und das Addieren des Ergebnisses zu dem Textursignal neu_txt(x, y), welches eine große Modulation aus dem originalen Digitalbildkanal neu(x, y) enthält, die Erstellung eines Ringartefakts in dem verarbeiteten Digitalbildkanal neu_p(x, y).
Obwohl es, wie beschrieben, wünschenswert ist, in den Kantenbereichen nur eine geringe Weichzeichnung zu erzeugen, wird eine bessere Bewahrung der Bilddetails erzielt, wenn relativ flache Bereiche in dem Digitalbildkanal einer starken Weichzeichnung unterzogen werden. Das ARF ist in der Lage, relativ flache Bereiche des Digitalbildkanals stärker weichzuzeichnen und Bereiche des Digitalbildkanals, die größere Kanten enthalten, weniger stark oder überhaupt nicht weichzuzeichnen machen.
Das adaptive Weichzeichnen, das eine Eigenschaft des adaptiven, rekursiven Filters ist, ist eine sehr vorteilhafte Eigenschaft in einem Tonskalenanwendungsalgorithmus.
Eine geringere Glättung wird erzielt, wenn b₀ nahezu 1,0 ist. Eine weitere Aufgabe besteht darin, dass das ARF, wenn es sich einer großen vertikalen Kante nähert, eine Weichzeichnung in Richtung der Kante (vertikal) durchführt, nicht aber in Richtung quer zur Kante (horizontal).
Die beiden konstruktiven Aufgaben werden nachstehend erneut formuliert:

1. Weichzeichnen in Richtung des kleinsten Gradienten (da der Gradient ein Kantendetektor ist)
2. Moderates Weichzeichnen, wenn in vertikaler und horizontaler Richtung hohe Gradienten vorliegen.

Die Gewichte werden folgendermaßen definiert: a1 = αA (12) a2 = αB (13) a3 = αC (14) b0 = (1 – α) (15)
In diesem Rahmen bezeichnet der Term α eine gesamte Dämpfung des Weichzeichnungsprozesses im Bereich von 0 <= α < 1,0. Ein bestimmtes Pixel wird nicht weichgezeichnet, wenn für diese Position des ARF α = 0. Der Wert 1 – α ist das relative Gewicht am aktuellen Pixelwert des Eingangssignals. Mit Zunahme von α wird mehr Gewicht auf den aktuellen Eingabewert gelegt, und der Gesamtbetrag der lokalen Weichzeichnung nimmt ab. (Wenn beispielsweise α = 0, wird ein Gewicht von 1,0 an den aktuellen Eingabewert angelegt, und bei Auswertung von (5) erfolgt Weichzeichnen.) A, B und C werden zur Steuerung der Richtung des Filters gewählt. Außerdem ist die Summe A + B + C = 1. Durch Erfüllung dieser Bedingungen ist gewährleistet, dass a₁ + a₂ + a₃ + b₀ = 1 (d.h. dass der mittlere Signalpegel gewahrt bleibt.)
Um die Werte A, B, C und α zu wählen, werden bestimmte Statistiken aus dem weichgezeichneten Bildsignal berechnet. Diese Statistiken umfassen die lokalen horizontalen und vertikalen Gradienten. Es sei jedoch darauf hingewiesen, dass auch andere Maße der lokalen Bildstruktur zum Zwecke der Berechnung der Filtergewichte berechnet werden könnten, ohne vom Gegenstand und Umfang der vorliegenden Erfindung wesentlich abzuweichen.
Der Gradientenberechner 130 ermittelt die horizontalen und vertikalen Gradienten in der Nachbarschaft der Filterposition aus einer Analyse des Steuersignals und gibt diese aus.
Das Steuersignal stellt die Nachbarschaft des vom ARF verarbeiteten Pixels dar, weil das Steuersignal z(x₀, y₀) ein weichgezeichnetes Digitalbildsignal darstellt neu(x₀, y₀). Der Wert an jeder Position des Steuersignals z(x₀, y₀) entsteht daher aus einer linearen Kombination der Werte des entsprechenden Pixels des Digitalbildkanals neu(x₀, y₀) und der Pixel in Nachbarschaft von neu(x₀, y₀). Ein Gaußsches Filter wird von dem Weichzeichner 90 verwendet, um das Steuersignal 90 zu erzeugen. Das Gaußsche Filter reicht von 5 × 5 bis 15 × 15 Pixel.
Die Gewichte des ARF werden aus dem Steuersignal z(x, y) ermittelt (d.h. einer weichgezeichneten Version des Digitalbildkanals neu(x, y)), nicht aus dem Digitalbildkanal neu(x, y), weil das Steuersignal viel weniger Rauschen als der das originale Digitalbildkanal aufweist. Das Rauschen bewirkt eine schnelle Schwankung der ARF-Gewichte, was unerwünscht ist. Wenn der Gradientenberechner 130 ein viel größeres Fenster verwendete, um den lokalen Gradienten zu berechnen, könnte der Digitalbildkanal als Steuersignal z(x, y) verwendet werden, weil die größere Nachbarschaft, über der der Gradient berechnet wird, die gleiche Glättung wirksam durchführen könnte, die von dem Weichzeichner 90 durchgeführt wurde.
Die auf den Digitalbildkanal angewandte Weichzeichnung zur Erzeugung des Steuersignals z(i, j) gewährleistet, dass der Gradient über dem Bild nur ganz allmählich variiert. Der horizontale Gradient Δ_h(i, j), ist einfach gleich dem Absolutwert der Differenz der Pixelwerte des geglätteten Bildes an der Position der Filterkernwerte b₀ und a₁. In ähnlicher Weise ist der vertikale Gradient Δ_v(i, j) gleich dem Absolutwert der Differenz der Pixelwerte des geglätteten Bildes an der Position der Filterkernwerte b₀ und a₃.
Im Falle des ersten Durchgangs des adaptiven, rekursiven Filters ist beispielsweise Δh(i, j) = |z(i, j) – z(i, j – 1)| Δv(i, j) = |z(i, j) – z(i – 1, j)|wobei Δ_h(i, j) und Δ_v(i, j) lokale Maße des Gradienten des Steuersignals an Position (i, j) sind, und z(i, j) ist der Wert des Steuersignals an der Position (i, j)'.
An jeder gegebenen Position (i, j) nimmt der Maximumfinder 132 die beiden Maße der Gradienten Δ_h(i, j) und Δ_v(i, j) als Eingabe entgegen, die vom Gradientenberechner 130 ausgegeben wurden. Die Ausgabe des Maximumfinders 132 ist Δ_min(i, j), also der kleinste Gradientenwert an einer gegebenen Position.
Der Tem α wird von dem Alpha-Bestimmer 134 erzeugt, indem die Ausgabe des Gradientenberechners Δ_min(i, j) durch eine Transformationstabelle geführt wird, wie beispielsweise die Transformationstabelle in 12. Die Eingabe in die Transformationstabelle ist Δ_min(i, j), die Ausgabe ist α. Es sei darauf hingewiesen, dass α positionsabhängig ist, da es vollständig von Δ_min(i, j) abgeleitet wird. Der Einfachheit halber wird die Ausgabe hier aber als α und nicht als α(i, j) bezeichnet.
Die in 12 dargestellte Transformationstabelle wird von zwei Werten parametrisiert. Der erste ist Δ₀, also der kleinste Gradientenwert, für den α = 0. Im Falle der in 12 gezeigten Transformationstabelle beträgt der Wert des ersten Parameters 110. Der zweite Parameter ist α_max, also der maximal mögliche Wert von α. Dieser Wert steuert im Wesentlichen die maximale Weichzeichnung, die in sehr flachen Bereichen des Bildes auftritt. In dem bevorzugten Ausführungsbeispiel beträgt der Wert α_max 0,94.
Die Transformationstabelle basiert auf empirischen Versuchen (und bleibt über das gesamte Bild gleich), obwohl Fachleuten selbstverständlich bekannt ist, dass die Transformationstabelle in adaptiver Form für ein gegebenes Bild oder eine Nachbarschaft von Pixeln bestimmt werden könnte.
In der vorliegenden Version des Prozesses wird die Transformationstabelle, die zur Bestimmung des Wertes von α entsprechend dem Wert von Δ_min verwendet wird, durch folgende Beziehung definiert: Wenn Δmin(i, j) <= 0,13Δ0 – 18, dann α = αmax wenn 0,13Δ0 – 18 < Δmin(i, j) < Δ0 dann α = 0,5αmax(1 + cos(π(Δmin(i, j) – 0,13Δ0 + 18)) (18)
Andernfalls
α = 0
Fachleute werden selbstverständlich anhand dieser Beschreibung erkennen, dass viele andere Funktionen verwendbar sind, um die Transformationstabelle zu erstellen, die von dem Alpha-Bestimmer 134 angewandt wird. Im Allgemeinen sollte die LUT monoton absteigend sein. Der Parameter Δ₀ bezieht sich auf den maximal zulässigen Wert von Δ_min(i, j), bevor das Weichzeichnen insgesamt gestoppt wird (da α = 0 wenn Δ_min(i, j) > Δ₀ ). Es gibt eine starke Beziehung zwischen dem Wert von Δ₀ und der Größe des Gaußschen Filters (parametrisiert durch σ, der Anzahl von Pixeln je Standardabweichung.) Bei einer Schrittfunktion der Höhe s lässt sich der maximale Gradient Δ_max der Weichzeichnungs-Schrittfunktion folgendermaßen darstellen: Δmax ≈ s/n wobei n = max(1, σ√2π) (19)
Gleichung (19) besagt, dass wenn eine bestimmte Größe einer Kante, die einen Einschluss begrenzt, das effektive Weichzeichnen des ARF stoppen soll (indem α = 0 gesetzt wird), sollten die Parameter Δ₀ und σ als invers proportional betrachtet werden. Als nächstes müssen die Terme A, B und C bestimmt werden. Um die vorstehende Beziehung (18) zu erfüllen, wird das Verhältnis von A:C gleich dem Verhältnis von Δ_v:Δ_h gewählt (zur besseren Übersicht wurden auch hier die Indizes (i, j) weggelassen). Das Verhältnis der horizontalen zu den vertikalen Filtergewichten ist invers proportional zu dem Verhältnis der horizontalen und vertikalen Gradienten. Die Regel geht mit einer Ausnahme wie folgt: wenn sowohl der horizontale als auch der vertikale Gradient kleiner als ein Schwellenwert T sind (standardmäßig ist T = 10), dann wird das Verhältnis von A:C auf 1,0 gesetzt, weshalb A = C. Diese Regel soll ein schnelles Umschalten der Kerngewichte in Rauschbereichen (d.h. kleine Gradienten) vermeiden. Das von dem Verhältnisberechner 138 berechnete Verhältnis r, das zur Bestimmung der relativen Gewichte A, B und C verwendet wird, ist gleich Δ_h/Δ_v, ausgenommen in dem Fall, in dem Δ_v < T und Δ_h < T, wenn r = 1. Um den Term B zu wählen, ist eine abschließende Bedingung die, dass B kleiner als A und C ist.
Es gibt somit drei Gleichungen und drei Unbekannte: A + B + C = 1 (20) B < A&B < C (21)
Der Wert der Ausgabe α vom Alpha-Bestimmer 134 und der Ausgabe r vom Verhältnisberechner 138 werden in den Koeffizientenberechner 136 eingegeben, um die Werte von a₁, a₂, a₃ und b₀ zu berechnen. Der Koeffizientenberechner 136 erfüllt die Gleichungen (20), (21) und (22), indem zunächst wie folgt gerechnet wird:
wobei r = Δh/Δv (sofern nicht Δv < T und Δh < T, in welchem Fall r = 1,0) (26) f = r + 1 (27)
Die Ausgabe des Koeffizientenberechners 136 sind die vier ARF-Koeffizienten für die aktuelle Filterposition, berechnet aus den Werten A, B, C und α, wie unten gezeigt: a1 = αA (28) a2 = αB (29) a3 = αC (30) b0 = (1 – α) (31)
Der Ausgabewertberechner 140 nimmt als Eingabe die Koeffizienten entgegen, die vom Koeffizientenberechner 136 ausgegeben werden, das Eingabebildsignal sowie alle zuvor berechneten Werte des Ausgabebildsignals, die notwendig sind, um den nächsten Ausgabebildsignalwert zu berechnen. Der Ausgabewertberechner 140 berechnet den Wert des Ausgabesignals und gibt diesen aus gemäß Gleichung 8, 9, 10 oder 11 (entsprechend der ARF-Applikatoren 115₁ , 115₂ , 115₃ und 115₄ mit einem Durchgang).
Im Falle des ARF-Applikators 115₁ mit einem Durchgang werden beispielsweise das Bildeingabesignal, die von dem Koeffizientenberechner 136 ausgegebenen Koeffizienten und alle vorherigen Ausgaben des Ausgabewertberechners 140 in den Ausgabewertberechner 140 eingegeben. Wenn die Bestimmung des vom Ausgabewertberechner 140 ausgegebenen Werts einen Wert des Ausgabebildsignals erfordert, der noch nicht existiert, wird der Wert des Bildeingabesignals an derselben Position ersetzt, wie zuvor erwähnt.
An jedem Pixel des Bildes (und für jede der vier Stufen des ARF mit vier Durchgängen) werden die Filtergewichte A, B und C abgeleitet, indem zunächst der horizontale Gradient Δ_h und der vertikale Gradient Δ_v (mit dem Gradientenberechner 130) des Steuersignals z(i, j) (z.B. das weichgezeichnete Bildsignal) an der gleichen Position berechnet werden, an der das Filter in dem Bild positioniert ist. Das Verhältnis r wird durch den Verhältnisberechner 138 mittels Gleichung (26) bestimmt. Das Minimum von Δ_v und Δ_h (wie mit dem Minimumfinder 132) wird durch eine Transformationstabelle geführt, ähnlich wie in 12 gezeigt, um einen Wert für α zu ermitteln. Da r und α bekannt sind, werden a₁, a₂, a₃ und b₀ von dem Koeffizientenberechner 136 berechnet, der die Gleichungen (23) bis (31) verwendet. Diese Filtergewichte werden dann an Proben des Eingabebildsignals (in dem Fall von b₀) und des Ausgabebildsignals (im Fall von a₁, a₂ und a₃) angelegt, um einen Ausgabesignalwert an der aktuellen Pixelposition zu erzeugen.
In der vorherigen Beschreibung wurde ein ARF besprochen, in der die Anzahl der Koeffizienten vier ist. Es sei jedoch darauf hingewiesen, dass Abwandlungen und Modifikationen von Fachleuten vorgenommen werden können, ohne vom Geltungsbereich und Umfang der Erfindung abzuweichen. Beispielsweise kann die Anzahl von Koeffizienten in dem Filter ohne weiteres erhöht werden, sofern Regeln erzeugt werden, um Werte jedes Koeffizienten des ARF zu ermitteln. Trotz der Anzahl von Koeffizienten sollte die Summe der Koeffizienten 1,0 (Σa_k + Σb_k = 1,0) betragen. Außerdem ist es wünschenswert, dass kein Koeffizient negativ ist, obwohl dies keine Bedingung ist.
Als Beispiel eines alternativen Ausführungsbeispiels des ARF mit vier Durchgängen kann die Erfindung eine Version des ARF umfassen, die in vertikaler und horizontaler Richtung des Digitalbildkanals trennbar ist. Der Vorteil dieses Ausführungsbeispiels besteht darin, dass die Berechnung der Werte der ARF-Koeffizienten erheblich vereinfacht und die Verarbeitungszeit drastisch verkürzt wird. In diesem Fall kann der erste ARF-Applikator mit einem Durchgang (z.B. 13A) durch folgende Gleichung ausgedrückt werden: y1(i, j) = a1y1(i – 1, j) + b0x(i, j) (32)wobei y₁(i, j) für den Wert des Ausgabesignals an der Pixelstelle (i, j) und x(i, j) für den Wert des Digitalbildkanals neu an der Pixelstelle (i, j) steht. Die Auswahl der Gewichtungskoeffizienten a₁ und b₀ wird später beschrieben (obwohl sie ähnlich der vorausgehenden Beschreibung ist). An jeder Position in dem Bild werden die Werte dieser Gewichte wieder neu berechnet.
Bezugnehmend auf 13A–D wird die Anordnung der Filterkoeffizienten in einem exemplarischen Bild aus 5 Reihen und 5 Spalten dargestellt, wobei der Bildursprung in der oberen linken Ecke liegt. 13A–D zeigen die Anordnungen der ARF-Koeffizienten für die vier trennbaren ARF mit einem Durchgang. Die Pfeile bezeichnen den Pfad, auf dem die Filterung über dem Bild vorgenommen wird.
In 13A beginnt der Filterungsprozess für den ersten ARF mit einem Durchgang an der oberen linken Ecke und setzt sich in jeder Spalte nach unten fort, bis jede Spalte verarbeitet worden ist. Es sei darauf hingewiesen, dass die Reihenfolge der Filterung der Spalten das Ergebnis nicht beeinflusst. Das Filter kann über jeder Spalte vor Beginn der nächsten Reihe nach rechts wandern, oder es kann in der ersten Spalte nach unten wandern, bevor es zur zweiten wechselt. In beiden Fällen ist das Ergebnis gleich.
Über den gesamten Filterungsprozess ändert sich die Filterposition, aber das ARF benötigt lediglich zwei Werte (einen von dem Eingabebildsignal und einen von dem Ausgabebildsignal), um den nächsten Ausgabebildsignalwert zu berechnen. Diese einzelne Filterungsstufe induziert eine Phasenverzerrung, die sich durch Anwenden des ARF in umgekehrter Richtung ungefähr kompensieren lässt. Dies erledigt der zweite ARF-Applikator mit einem Durchgang, was durch folgende Gleichung ausgedrückt werden kann: y2(i, j) = α1y2(i + 1, j) + b0y1(i, j) (33)
Das zweite ARF mit einem Durchgang ist in 13B dargestellt. Der Filterungsprozess beginnt unten an einer Spalte und setzt sich nach oben in jeder Spalte fort, bis jede Spalte verarbeitet worden ist. Der dritte und vierte ARF-Applikator mit einem Durchgang legt das ARF an jede Reihe des Bildes von jeder Richtung aus an. Der dritte und vierte ARF-Applikator mit einem Durchgang wertet folgende Gleichungen aus: y3(i, j) = a1y3(i, j + 1) + b0y2(i, j) (34) y4(i, j) = a1y4(i, j – 1) + b0y3(i, j) (35)
Jedes dieser ARF mit einem Durchgang ist in 13C–D dargestellt. In dem dritten ARF mit einem Durchgang (13C) beginnt der Filterungsprozess rechts an einer Reihe von Pixeln und setzt sich nach links in jeder Reihe fort, bis jede Reihe verarbeitet worden ist. In dem vierten ARF mit einem Durchgang (13D) beginnt der Filterungsprozess links an einer Reihe von Pixeln und setzt sich nach rechts in jeder Reihe fort, bis jede Reihe verarbeitet worden ist.
Das trennbare ARF ist ein nicht lineares Filter, weil die Koeffizienten a₁ und b₀ über dem gesamten Bild variieren. Zum Zwecke dieser Darstellung ist es wichtig, das ARF-Frequenzansprechverhalten zu ermitteln, wobei vorausgesetzt wird, dass die Filterkoeffizienten konstant bleiben. Unter der Voraussetzung, dass b₀ = 0,3, a₁ = 0,7 zeigt 14 die Größe des Frequenzansprechverhaltens des ARF-Filters mit vier Durchgängen. 14 zeigt insbesondere die Größe des Frequenzansprechverhaltens des trennbaren ARF mit vier Durchgängen unter der Annahme, dass die Filterkoeffizienten konstant bleiben. Es sei darauf hingewiesen, dass das Ansprechverhalten nicht annähernd so radial symmetrisch wie das des in 14 gezeigten, nicht trennbaren ARF mit vier Durchgängen ist.
Diese radiale Nichtsymmetrie ist relativ klein und ist mit keinen Artefakten in Prints verbunden. Die maximale Differenz beträgt für die gleiche Frequenz ca. 0,05, verglichen mit 0, einer Differenz, die keinen Artefakten in verarbeiteten Bildern zugeordnet worden ist.
In dem alternativen Ausführungsbeispiel werden die ARF-Gewichte ebenfalls einzeln an jeder Position (i, j) im Bild gewählt. In diesem Fall bedingt die Forderung, dass die Summe der Filterkoeffizienten gleich eins sein muss, dass a₁ + b₀ = 1.
Das ARF mit einem Durchgang und zwei Koeffizienten erleichtert den Prozess zur Bestimmung der Koeffizienten erheblich, wie in 15 gezeigt. 15 zeigt eine auseinandergezogene Darstellung eines ARF-Applikators mit einem Durchgang mit einem Zwei-Koeffizienten-Filter. Der lokale Gradient Δ (im Falle dieses Filters mit zwei benachbarten Pixeln gibt es nur einen lokalen Gradienten) des an den Steuerungseingang eines ARF-Applikators mit einem Durchgang angelegten Signals wird berechnet. Das an den Steuerungseingang des ARF-Applikators 115 mit einem Durchgang angelegte Signal wird an den Gradientenberechner 160 angelegt. Der Gradientenberechner 160 ermittelt den lokalen Gradienten Δ in der Nachbarschaft der Filterposition aus einer Analyse des weichgezeichneten Bildsignals und gibt diesen aus. Im Falle des ersten ARF-Applikators mit einem Durchgang: Δ(i, j) = |z(i, j) – z(i – 1, j)| (36)wobei Δ (i, j) das lokale Maß des Gradienten des Steuersignals ist (z.B. des weichgezeichneten Bildsignals), das an den Steuerungseingang des ARF-Applikators mit einem Durchgang an der Pixelposition (i, j) angelegt wird, und z(i, j) ist der Wert des an den Steuerungseingang des ARF-Applikators an der Pixelposition (i, j)^th angelegten Steuersignals.
Da es in diesem Ausführungsbeispiel nur ein Maß des lokalen Gradienten gibt, ist der Maximalfinder 132 aus 11 nicht erforderlich. Der Term α wird in ähnlicher Weise wie im vorherigen Fall erzeugt, indem der Alpha-Bestimmer 134 auf den Wert Δ angewandt wird. (Der Unterschied liegt darin, dass die Transformationstabelle an den Wert Δ(i, j) und nicht an den Wert Δ_min(i, j) angelegt wird.) Die ARF-Koeffizienten werden anhand der Gleichungen (37) und (38) von dem Koeffizientenberechner 136 ermittelt. Diese Koeffizienten werden von dem Ausgabewertberechner 140 verwendet, der die lokalen Pixelwerte des Signaleingangs x(i, j) und des Signalausgangs y₁(i, j) multipliziert. Der Wert α ist direkt verwendbar, um die Koeffizienten für das ARF mit einem Durchgang a₁ und b₀ zu ermitteln. Diese Koeffizienten werden durch folgende Formel berechnet: a1 = α; (37) b0 = 1 – α; (38)
Der Ausgabewert wird anhand der Gleichungen (32), (33), (34) oder (35) berechnet, und zwar abhängig von der jeweiligen Filterungsstufe. Im Falle der ersten Filterungsstufe wird der Wert von y₁(i, j) gefunden.
Als alternatives Ausführungsbeispiel kann der Schwarzabhebungssignalteiler 50 mehr als einen ARF-Applikator mit vier Durchgängen enthalten, die hintereinander geschaltet sind und jeweils die Eingabe für den nächsten bereitstellen. Dies lässt sich durch verschiedene Verfahren erreichen. Ein Verfahren wird in 16 dargestellt.
16 zeigt insbesondere eine auseinandergezogene Ansicht eines alternativen Schwarzabhebungssignalteilers. In diesem Ausführungsbeispiel kann der Schwarzabhebungssignalteiler 50 mehr als einen ARF-Applikator mit vier Durchgängen enthalten, die hintereinander geschaltet sind, so dass die Ausgabe eines ARF-Applikators die Steuerungseingabe für den nächsten wird. Dies lässt sich durch verschiedene Verfahren erreichen. Ein solches Verfahren wird in 16 dargestellt. Die Ausgabe eines ersten ARF-Applikators 110₁ mit vier Durchgängen ist ein Schwarzabhebungs-Zwischensignal, das als weichgezeichnetes Bildsignal betrachtet wird. Im Wesentlichen tritt die Kombination aus Weichzeichner 90 und erstem ARF-Applikator mit vier Durchgängen (im operativen Sinne) an die Stelle des in 6 gezeigten Weichzeichners 90.
Wie in 16 gezeigt, wird die Ausgabe des ersten ARF-Applikators 110 mit vier Durchgängen an die Eingabe des zweiten ARF-Applikators 110₂ mit vier Durchgängen gelegt, der das weichgezeichnete Bildsignal entgegen nimmt. Darüber hinaus wird der digitale Bildkanal an den anderen Eingang des zweiten ARF-Applikators 110₂ mit vier Durchgängen angelegt. Dass die Schwarzabhebungssignalausgabe des ersten ARF-Applikators 110₁ mit vier Durchgängen an den Eingang des zweiten ARF-Applikators 110₂ mit vier Durchgängen für das weichgezeichnete Bildsignal gelegt wird, hat die Wirkung, dass die ARF-Filterkoeffizienten von einem Bild abgeleitet werden, das bereits die Eigenschaften eines Schwarzabhebungssignals aufweist. Somit variieren die Filterkoeffizienten in Nachbarschaft großer Kanten genauer. Die Ausgabe des zweiten ARF-Applikators 110₂ mit vier Durchgängen kann als Schwarzabhebungssignal betrachtet werden, oder sie kann an den Eingang für das weichgezeichnete Bildsignal des anderen ARF-Applikators mit vier Durchgängen angelegt werden. Dieser Prozess setzt sich bis zur letzten Filterungsstufe fort, also den ARF-Applikator 110₄ mit vier Durchgängen. Die Schwarzabhebungssignalausgabe von diesem ARF-Applikator 110₄ mit vier Durchgängen ist das Schwarzabhebungssignal 51.
Die Anzahl der Iterationen N des ARF mit vier Durchgängen ist vorwählbar, oder N kann die Iterationsanzahl sein, an der die Ausgabe der zwei benachbarten Anwendungen des ARF mit vier Durchgängen äquivalent ist. Zusätzlich dazu können die Parameter α_max und Δ₀ jeder Iteration der ARF-Applikatoren mit vier Durchgängen variieren oder konstant bleiben.
In einem weiteren alternativen Ausführungsbeispiel kann der Schwarzabhebungssignalteiler mehr als einen ARF-Applikator mit vier Durchgängen enthalten, die hintereinander geschaltet sind und jeweils die Signaleingabe für den nächsten bereitstellen. Dies lässt sich durch verschiedene Verfahren erreichen. Ein solches Verfahren wird in 17 dargestellt. Die Ausgabe des ersten ARF-Applikators 110₁ mit vier Durchgängen wird an den Signaleingang und den Steuersignalimport des zweiten ARF-Applikators 110₂ mit vier Durchgängen angelegt, der das weichgezeichnete Bildsignal entgegennimmt.
Dass die Schwarzabhebungssignalausgabe y₄(i, j)₁ des ersten ARF-Applikators 110₁ mit vier Durchgängen an den Eingang des zweiten ARF-Applikators 110₂ mit vier Durchgängen für das weichgezeichnete Bildsignal gelegt wird, hat die Wirkung, dass mehrere Weichzeichnungsdurchgänge erfolgen, was in relativ glatten Bereichen des Digitalbildsignals neu recht stark deutlich wird. Die Ausgabe y₄(i, j)₂ des zweiten ARF-Applikators 110₂ mit vier Durchgängen kann als Schwarzabhebungssignal betrachtet werden, oder – wie gezeigt – sie kann an den Signaleingang und den Steuerungseingang eines anderen ARF-Applikators 110₃ mit vier Durchgängen angelegt werden.
Dieser Prozess setzt sich bis zur letzten ARF-Stufe 110_i fort, also den i^ten ARF mit vier Durchgängen. Die Schwarzabhebungssignalausgabe y₄(i, j)_N des i^ten ARF 110_i mit vier Durchgängen ist das Schwarzabhebungssignal neu_ped 51, das vom Schwarzabhebungssignalteiler (6) ausgegeben wird und wird benutzt, um das Textursignal neu_txt der Gleichung (7) zu erzeugen. Die Anzahl der Iterationen i des adaptiven, rekursiven Filters mit vier Durchgängen ist vorwählbar, oder N kann die Iterationsanzahl sein, an der die Ausgabe der zwei benachbarten Anwendungen des ARF mit vier Durchgängen N – 1 und N äquivalent ist.
Zusätzlich dazu können die Parameter α_max und Δ₀ jeder Iteration der ARF-Applikatoren mit vier Durchgängen variieren oder von einer Iteration zur nächsten konstant bleiben. Die zusätzlichen Weichzeichnungsstufen ermöglichen den Verbleib immer weniger Frequenzdetails im Textursignal, wodurch das endgültige verarbeitete Bild noch bessere Textureigenschaften aufweist.
In einem Beispiel wurde der erfindungsgemäße ARF-Tonskalenfunktionsprozess an mehrere hundert Bilder angelegt, wobei die Tonskalenfunktionen mit einer Vielzahl manueller und automatischer Werkzeuge erzeugt worden sind. Die Ergebnisse waren exzellent. Es wurde eine kleine Optimierung vorgenommen, um die empfohlenen Betriebsparameter für die Anwendung einer komprimierenden Tonskalenfunktion auf ein Bild mit (1024 Pixeln × 1536 Pixeln) zu erzielen. Mit der vorliegenden Erfindung konnten nur wenige nachteilige Wirkungen beobachtet werden.
Die Bildsignale in mehreren Stufen der Anwendung der ARF-Tonskalenfunktion sind in 18 zu sehen. 18 zeigt ein Beispiel eines Digitalbildkanals an mehreren Verarbeitungsstufen. Die linke obere Darstellung ist der originale Digitalbildkanal neu. Die obere rechte Darstellung ist das Schwarzabhebungssignal neu_ped, das von dem trennbaren ARF erzeugt und von dem Schwarzabhebungssignalteiler ausgegeben worden ist (6.). Es sei darauf hingewiesen, dass ein Großteil der Glättung in relativ flachen Bereichen erfolgt, wobei die Kanten mit großen Einschlüssen noch nicht weichgezeichnet sind. Unten links wird das Textursignal neu_txt dargestellt, wie vom Schwarzabhebungssignalteiler ausgegeben (6.) Es sei darauf hingewiesen, dass Details mehrerer Grade vorhanden sind. Beispielsweise enthält das Textursignal feine Details, wie den Teppich, mittleren Detailgrades, wie das Haar des Mannes, und größere Detailgrade, wie die Schatten über dem Sweatshirt und Gesicht des Mannes. Zudem gibt es sehr wenige Inhalte, die Bereichen von Kanten mit großen Einschlüssen im originalen Digitalbildkanal neu entsprechen, etwa der Übergang zwischen dem hellen Sweatshirt des Mannes und dem dunklen Hintergrund. Unten rechts wird das Ergebnis der Anwendung einer Tonskalenfunktion auf das Schwarzabhebungssignal und das Hinzufügen des Textursignals zur Erzeugung von neu_p gemäß Gleichung (3) gezeigt. Hier sind die Schatten und Lichter wesentlich besser zu sehen als in dem Originalbild, wobei die Textur weiterhin natürlich erscheint.
Der originale Digitalbildkanal neu, das vom Schwarzabhebungssignalteiler (6) ausgegebene Schwarzabhebungssignal neu_ped, das vom Schwarzabhebungssignalteiler (6) ausgegebene Textursignal neu_txt und der verarbeitete Digitalbildkanal neu_p (2) werden alle in 18 dargestellt.
Die vorliegende Erfindung umfasst damit ein adaptives, rekursives Filter im Rahmen einer Tonskalenfunktionsanwendung. Das ARF-Filter ist von Natur aus rekursiv und adaptiv in dem Sinne, dass die Filterkoeffizienten gemäß der lokalen Bildstruktur variieren, wodurch das Filter in der Nachbarschaft von Kanten mit großen Einschlüssen weniger Weichzeichnung durchzuführen vermag. Diese Eigenschaft ermöglicht die Erzeugung eines Schwarzabhebungs- und Textursignals.
Die Verwendung des ARF für Tonskalenfunktionsanwendungen ermöglicht die Bewahrung von Bilddetails mit weniger Abhängigkeit von der Detailgröße als bei konventionellen Verfahren unter Verwendung einer einzelnen FIR-Filterstufe und vermeidet die Erzeugung von Artefakten an Einschlussgrenzen. In einem Ausführungsbeispiel ist es zudem gerechtfertigt, eine Bedingung auf die mindestens zulässige Steigung in einer Tonskalenfunktion zu formulieren (bei ca. 0,3).
Die rekursive Konstruktion der Erfindung ermöglicht eine schnelle Berechnung. Vorstehend wurde eine zweidimensionale und eine trennbare Version des ARF besprochen. Die schnellere Berechnung bei vergleichbarer Qualität des trennbaren ARF macht dieses jedoch zur bevorzugten Wahl für eine gegebene Anwendung. Es wurde eine vorläufige Menge von Betriebsparametern ermittelt (α_max = 0,955, Δ₀ = 160, σ = 2).
Es sei darauf hingewiesen, dass ein einschlägiger Fachmann anhand dieser Beschreibung zahlreiche Abwandlungen des in 2 gezeigten Tonskalenfunktionsprozessors 20 vornehmen kann, die durch Permutation der Positionen des Tonskalenapplikators 60 und des Schwarzabhebungssignalteilers 50 und verschiedener Kombinationen von Addierern 80 und Texturmodifikatoren 70 abgeleitet werden können. Einschlägige Fachleute werden daher erkennen, dass der erfindungsgemäße Schwarzabhebungssignalteiler in vielen Situationen verwendbar ist, um ein System zu schaffen, das überlegene Ergebnisse für die Anwendung einer Tonskalenfunktion auf ein Digitalbild liefert.

Claims

Verfahren zum Einstellen des Kontrasts eines Digitalbildes mit folgenden Schritten: Eingabe eines Bildes (11); Trennen des Bildes (11) in ein Schwarzabhebungssignal (51) und ein Textursignal (52); Anwenden einer Tonskalenfunktion auf das Schwarzabhebungssignal (51), um ein modifiziertes Schwarzabhebungssignal zu erzeugen; Addieren des Textursignals (52) zu dem modifizierten Schwarzabhebungssignal (51), um einen verarbeiteten Digitalbildkanal zu erzeugen; worin das Trennen das Filtern des Bildes (11) in einem oder mehreren Durchgängen umfasst, wobei jeder Durchgang das Anwenden sowohl des rekursiven als auch des adaptiven Filters (110) und das Filtern eines Pixels des Bildes mittels einer Gewichtung umfasst, welche von Koeffizienten abhängt, die von einer Analyse der zu diesem Pixel benachbarten Pixel abgeleitet sind, dadurch gekennzeichnet, dass das Filtern folgendes umfasst: Berechnen der Gradienten der benachbarten Pixel; Auffinden eines kleinsten Gradienten der benachbarten Pixel; Anwenden des kleinsten Gradienten auf eine Transformationstabelle zur Ausgabe einer ersten Variablen; Ermitteln eines Verhältnisses von horizontalen Gradienten zu vertikalen Gradienten; und Berechnen der Koeffizienten auf Basis der ersten Variablen und des Verhältnisses.
Verfahren nach Anspruch 1, worin das Filtern mit einer Vielzahl von Durchgängen implementiert ist und worin mindestens zwei der Durchgänge ein rekursives und adaptives Filter (110) mithilfe verschiedener Filtergewichte anwenden.
Verfahren nach Anspruch 1, worin das Filtern mit einer Vielzahl von Durchgangspaaren implementiert ist und worin jedes Durchgangspaar das rekursive und adaptive Filter (110) mithilfe verschiedener Filtergewichte anwendet.
Verfahren nach Anspruch 2 oder 3 mit zudem Unscharfzeichnen des Bildes (11) zur Bereitstellung eines Kontrollsignals und zur Erzeugung von Filtergewichten aus diesem Kontrollsignal.
Verfahren nach Anspruch 1, worin das Filtern das Unscharfzeichnen des Bildes (11) derart umfasst, dass flache Bereiche des Bildes (11) stärker unscharf gezeichnet werden als Kantenbereiche in dem Bild (11).
Verfahren nach Anspruch 1, worin das Filtern eine Filterung in vier Durchgängen ist, wobei diese vier Durchgänge folgendes umfassen: Vorwärtsfilterung des Bildes (11) in einer ersten Richtung zur Erzeugung eines ersten Zwischensignals; Rückwärtsfilterung des ersten Zwischensignals in einer Richtung, die zur ersten Richtung entgegengesetzt ist, um ein zweites Zwischensignal zu erzeugen; Vorwärtsfilterung des zweiten Zwischensignals in einer zweiten Richtung, die rechtwinklig zur ersten Richtung ist, um ein drittes Zwischensignal zu erzeugen; und Rückwärtsfilterung des dritten Zwischensignals in einer Richtung, die zur zweiten Richtung entgegengesetzt ist.
Verfahren nach Anspruch 6, worin das Filtern das Durchführen einer Vielzahl kaskadierter Filterungsprozesse in vier Durchgängen umfasst, wobei eine Ausgabe eines vorherigen Filterungsprozesses in vier Durchgängen eine Eingabe für einen nachfolgenden Filterungsprozess in vier Durchgängen umfasst.
Verfahren nach Anspruch 6, worin das Filtern das Durchführen einer Vielzahl kaskadierter Filterungsprozesse in vier Durchgängen umfasst, wobei eine Ausgabe eines ersten Prozesses in vier Durchgängen eine Eingabe aller verbleibenden Filterungsprozesse in vier Durchgängen umfasst.