-
Die
Erfindung bezieht sich auf das Gebiet der elektronischen Reproduktionstechnik
und betrifft ein Verfahren zur automatischen Entfernung von Fehlerstellen
in einem digital gespeicherten Bild.
-
In
der Reproduktionstechnik werden Druckvorlagen für Druckseiten erzeugt, die
alle zu druckenden Seitenelemente wie Texte, Grafiken und Bilder enthalten.
Im Fall der elektronischen Herstellung der Druckvorlagen liegen
diese Elemente in Form von digitalen Daten vor. Für ein Bild
werden die Daten z.B. erzeugt, indem die Bildvorlage in einem Scanner punkt-
und zeilenweise abgetastet wird, jeder Bildpunkt in Farbkomponenten
zerlegt wird und die Farbwerte dieser Komponenten digitalisiert
werden. Je nach dem später
verwendeten Ausgabeprozeß,
z.B. Ausgabe auf einem Farbdrucker oder Drucken in einer konventionellen
Druckmaschine, werden die Daten für die Seitenelemente in den
Farbkomponenten Rot, Grün
und Blau (RGB) oder in den Druckfarben des Vierfarbdrucks Cyan,
Magenta, Gelb und Schwarz (CMYK) erzeugt und gespeichert.
-
Im
weiteren Arbeitsablauf werden die digitalisierten Bilder zusammen
mit den Texten und Grafiken an einem Computer Arbeitsplatz unter
Sichtkontrolle auf einem Farbmonitor oder automatisch nach gespeicherten
Layoutvorgaben elektronisch montiert. Die fertige Druckseite wird
dabei in ein für
die Ausgabe geeignetes Datenformat umgewandelt und gespeichert.
Die Druckseitendaten für
jede der Druckfarben (RGB bzw. CMYK) werden als Farbauszugdaten
bezeichnet. Mit den Farbauszugdaten werden Druckplatten für eine konventionelle Druckmaschine
hergestellt oder sie werden direkt zu einem Farbdrucker oder zu
einer digitalen Druckmaschine überfragen
und dort ausgedruckt.
-
Es
kommt vor, daß die
Bilddaten der gescannten Bilder fehlerhafte Stellen aufweisen, wie z.B.
Kratzer in der Originalvorlage oder Fehlerstellen, die durch Haare,
Fasern usw. entstehen, die der Bildvorlage während des Scanvorgangs anhaften.
Solche Fehler müssen
bei der Reproduktion korrigiert werden, bevor die Bilder gedruckt
werden können. Dazu
werden nach dem Stand der Technik verschiedene elektronische Retuscheverfahren
eingesetzt.
-
Ein
bekanntes Retuscheverfahren ist die kopierende Retusche, wie sie
in der Europäischen
Patentschrift 0 111 026 beschrieben ist. Sie wird genutzt, um Informationen
eines Bildbereichs auf einen anderen Bildbereich Bildpunkt für Bildpunkt
zu übertragen.
Damit können
Fehlerstellen im Bild beseitigt werden, indem in den beschädigten Bildbereich
Bildpunkte aus einem benachbarten Bildbereich mit ähnlicher
Farbe und Struktur kopiert werden. Zur Ausführung der Retusche bewegt der
Bediener an einem Computer Arbeitsplatz, in dem das zu retuschierende Bild
gespeichert ist, mittels einer Computermaus gleichzeitig eine Lesemarke
und eine Schreibmarke, die auf dem Bildschirm eingeblendet sind.
Die Lesemarke zeigt auf einen Lesebereich des Bildes, und die Schreibmarke
zeigt auf einen Schreibbereich, in dem sich die Fehlerstelle befindet.
Dabei werden in dem gespeicherten Bild laufend die unter der Lesemarke
befindlichen Bildpunkte in die entsprechenden Bildpunkte unter der
Schreibmarke übertragen.
-
Ein
weiteres für
die Beseitigung von Fehlerstellen geeignetes Verfahren ist unter
der Bezeichnung "Verlaufsretusche" bekannt. Dabei werden
vom Bediener ebenfalls zwei im Bildschirm eingeblendete Marken mit
der Computermaus bewegt. Eine Marke befindet sich auf der einen
Seite der Fehlerstelle, z.B. eines Kratzers, und die andere Marke
befindet sich auf der gegenüberliegenden
Seite der Fehlerstelle. Aus dem gespeicherten Bild werden zwei Bildpunkte gelesen,
die an den von den Marken gekennzeichneten Stellen liegen. Für alle Bildpunkte,
die auf der Verbindungslinie zwischen den beiden Marken liegen,
werden aus den Farbauszugswerten der gelesenen Bildpunkte Zwischenwerte
interpoliert und in die Bildpunkte auf der Verbindungslinie geschrieben. Auf
diese Weise wird die Fehlerstelle mit Farbwerten überdeckt,
die an die Farben in der Nachbarschaft der Fehlerstelle angeglichen
sind.
-
In
der europäischen
Patentschrift 0 768 621 wird ein teilweise automatisiertes Verfahren
zur Beseitigung von Fehlerstellen beschrieben. Zunächst werden
vom Bediener die Fehlerstellen manuell in einem Maskenspeicher als
Bitmap gekennzeichnet. Dann werden die in der Bitmap gekennzeichneten Bildpunkte
der Fehlerstellen mit einem speziellen Fensteroperator korrigiert.
Der Fensteroperator legt unter verschiedenen Winkeln Liniensegmente über jeden
Bildpunkt der Fehlerstelle, wobei die äußeren Enden der Liniensegmente
in nicht-defekte Nachbarbereiche der Fehlerstelle hineinragen. Die
Farbwerte der nicht-defekten Bildpunkte werden entlang jedes Liniensegments
mit Farbwerten verglichen, die aus einem Interpolationsmodell gewonnen
wurden. Dann wird das Liniensegment ausgewählt, das den geringsten Interpolationsfehler
aufweist. Schließlich wird
das defekte Pixel der Fehlerstelle entlang des ausgewählten Liniensegments
nach dem Interpolationsmodell interpoliert.
-
In
der europäischen
Patentschrift 0 614 154 wird vom Bediener über eine Fehlerstelle eine schmale
Begrenzungsmaske gelegt und die Bildpunkte innerhalb der Maske werden
weiß gefärbt. In einer
Bearbeitungsfläche
um die Begrenzungsmaske herum werden die kontinuierlichen Farbwerte
in eine Folge von Binärbildern
umgewandelt, indem die Farbwerte mit stufenweise wachsenden Schwellwerten
verglichen werden. Der Umriß jedes
Binärbilds wird
um eine Randbreite, die der Breite der Begrenzungsmaske entspricht,
verkleinert. Dabei wird die Form der Begrenzungsmaske eliminiert.
Danach wird die veränderte
Form jedes Binärbildes
wiederum die gleiche Randbreite vergrößert, und die Folge der Binärbilder
wird in ein Bild mit kontinuierlichen Farbwerten zurückgewandelt.
In diesem Bild ist die Fehlerstelle dann eliminiert.
-
In
der
EP 0 624 848 A2 wird
ein automatisches Verfahren zum Entfernen von Bildfehlern beschrieben,
bei dem die Fehlerstellen zunächst
in einer Konturmaske (classmap) markiert werden, die mit weiteren
bekannten Informationen über
die räumliche
Verteilung von Bildfehlern verknüpft
wird, um zu einer für
die Korrektur verwendbaren Fehlermaske (conditioned classmap) zu
gelangen. Zur Erzeugung der Konturmaske werden Bildpunkte, deren
Farbwerte eine minimale Schwelle unterschreiten oder eine maximale
Schwelle überschreiten,
einer nichtlinearen Histogramm-Filterfunktion unterworfen, d.h.
in dem Filterfenster wird ein Histogramm gebildet und aufgrund eines
begrenzten Ausschnitts des Histogramms wird ein Mittelwert für den zentralen
Bildpunkt des Filterfensters festgelegt. Das so gefilterte Bild
wird von dem Originalbild subtrahiert, und in der Konturmaske werden
die Bildpunkte als mögliche Fehlerstellen
markiert, bei denen der Farbwert des Differenzbildes bestimmte Schwellwerte überschreitet.
Die Fehlerbildpunkte werden im Originalbild korrigiert, indem sie
beispielsweise mit den bei der Histogramm-Filterfunktion bestimmten
Mittelwerten überschrieben
werden. Alternativ kann ein Mittelwert aus den jeweils benachbarten
Bildpunkten berechnet werden, die nicht als Fehlerpunkte klassifiziert
wurden.
-
Die
EP 0 831 421 A2 offenbart
ein halbautomatisches Verfahren zum Entfernen von Bildfehlern. In
einem zentralen Filterfenster und in einem umliegenden Ringbereich
werden jeweils Mittelwert und Standardabweichung der Luminanzwerte
bestimmt. Wenn die Differenz der beiden Mittelwerte einen Schwellwert
T1 überschreitet
und zugleich die beiden Standardabweichungen jeweils Schwellwerte
T2 bzw. T3 unterschreiten, wird der Bildpunkt im Zentrum des Filters
in einer Liste von Kandidaten-Fehlerstellen gespeichert. Die Fehlerstellen
werden dem Bild überlagert
und zur Kontrolle durch eine Bedienperson auf einem Monitor dargestellt.
Die Bedienperson kann die Liste der Kandidaten-Fehlerstellen interaktiv editieren,
indem beispielsweise die Schwellwerte oder Filtergrößen verändert werden,
oder indem einige Kandidaten-Fehlerstellen manuell aus der Liste
entfernt werden. Die verbleibenden Fehlerstellen werden durch Überschreiben
mit einem Mittelwert korrigiert, der aus den Umgebungsbildpunkten der
Fehlerstellen gewonnen wird.
-
Vielfach
werden in einzelnen Vorverarbeitungsschritten zur Erkennung und
Korrektur von Fehlerstellen, die eine lange und dünne Struktur
haben, wie beispielsweise Haare oder Kratzer, Verfahren zur Erkennung
von Kanten herangezogen, wobei die Breite der gefundenen Kantenbereiche
noch mit einem Ausdünnungsverfahren
auf die Breite eines oder weniger Bildpunkte reduziert werden kann.
Solche Verfahren sind in der Fachliteratur beschrieben, z.B. in
Gonzalez, R.C.; Woods, R.E.: Digital Image Processing, Addison-Wesley,
1992, S. 416–425
und S. 491–494.
-
Die
meisten nach dem Stand der Technik bekannten Verfahren zur Entfernung
von Bildfehlern haben den Nachteil, daß ein Bediener zunächst die Lage
der Fehlerstellen im Bild suchen und kennzeichnen muß, was sehr
zeitaufwendig ist. Außerdem
können
Fehlerstellen dabei vom Bediener übersehen werden. Anschließend muß der Bediener
bei den meisten Verfahren die Fehlerstellen manuell durch interaktive
Retusche korrigieren, indem er auf dem Bildschirm ein geblendete
Marken über
die Fehlerstellen bewegt. Das erfordert zusätzlichen Zeitaufwand.
-
Es
ist daher die Aufgabe der vorliegenden Erfindung, die Nachteile
der bekannten Verfahren zur Entfernung von Bildfehlern in digitalen
Bilddaten zu vermeiden und ein neues verbessertes Verfahren anzugeben,
das eine automatisierte Entfernung der Fehlerstellen ermöglicht.
Damit können
Fehlerstellen in einem Bild wesentlich schneller entfernt werden, als
es mit den bekannten Verfahren möglich
ist.
-
Diese
Aufgabe wird durch die Merkmale des Anspruchs 1 und der Unteransprüche 2 bis
6 gelöst.
-
Die
Erfindung wird nachfolgend anhand der 1 bis 9 näher beschrieben. Es zeigen:
-
1 ein Ablaufdiagramm für die erfindungsgemäße Folge
der Verarbeitungsschritte,
-
2 ein Beispiel für ein Bild
mit Fehlerstellen,
-
3 ein Beispiel für ein Konturfilter,
-
4 ein Beispiel für eine Konturmaske,
-
5 ein Beispiel für eine Farbmaske,
-
6 ein Beispiel für ein Fehlermaske,
-
7 die Überfüllung einer Kontur,
-
8 das Absparen und Vektorisieren
einer Kontur, und
-
9 die automatische Verlaufsretusche über ein
vektorisierte Kontur.
-
Bei
dem erfindungsgemäßen Verfahren
der Entfernung von Bildfehlern werden die Fehlerstellen durch eine
Folge von automatisch ablaufenden Schritten gefunden und beseitigt,
wobei der Bediener im wesentlichen nur eine Kontrollfunktion hat.
-
1 zeigt die Folge der Schritte
als Ablaufdiagramm. Im ersten Schritt (1) wird eine Konturmaske
als Bitmap erzeugt, d.h. als ein Bild mit nur zwei Helligkeitswerten,
schwarz und weiß.
In der Konturmaske zeigen die schwarzen Bildpunkte an, an welchen
Stellen in dem ursprünglichen
Bild Konturen vorhanden sind.
-
2 zeigt ein Beispiel für ein Bild,
das zwei Fehlerstellen (8) enthält. Da sich solche Fehlerstellen in
der Regel deutlich vom Hintergrund abheben, werden sie von der Konturmaske
zusammen mit den übrigen
Konturen des Bildes erfaßt.
Die Konturmaske wird erzeugt, indem ein digitales Konturfilter auf
eine Bildkomponente angewendet wird, die möglichst deutlich die Umrisse
des Bildes wiedergibt. Vorzugsweise wird dazu eine Helligkeitskomponente
verwendet, die z.B. durch die Transformation der Bilddaten in das
CIELAB-Farbsystem gewonnen werden kann (CIE = Commission Internationale
d'Éclairage).
Eine Helligkeitskomponente kann aber auch durch eine gewichtete
Addition der Farbauszugkomponenten (RGB bzw. CMYK) gewonnen werden.
Ersatzweise kann auch eine einzelne Farbkomponente, z.B. die Magenta-Komponente,
als Helligkeitskomponente verwendet werden. Als Konturfilter wird
ein Filter mit Hochpaßcharakteristik
verwendet, d.h. ein Filter, das an Konturen einen hohen Ausgangswert
und in detailarmen Bildbereichen einen niedrigen Ausgangswert erzeugt.
-
3 zeigt als Beispiel ein
einfaches digitales Konturfilter (9) mit einem Filterfenster,
das sich über
3 × 3
Pixel erstreckt. Der eingekreiste Punkt P bezeichnet die Position
des aktuellen Pixels. Die Werte hij an jeder
Position des Filterfen sters sind die Filterkoeffizienten. Die Filterung
wird durchgeführt, indem
der Punkt P des Filterfensters über
jedes Pixel der Helligkeitskomponente gelegt wird und die unter den
jeweiligen Fensterpositionen liegenden Pixelwerte Lij mit
den Koeffizienten hij multipliziert und
aufaddiert werden. Der Filterwert F jedes Pixels ergibt sich also
zu: F = F (hij × Lij) (1)
-
Für die vorliegende
Erfindung sind die Form des Filterfensters und die genauen Werte
der Koeffizienten des in 3 gezeigten
Konturfilters nicht wesentlich. Es können auch Filterfenster mit
mehr als 3 × 3
Pixel und mit anderen Werten für
die Koeffizienten verwendet werden. Wichtig ist nur, daß durch
die Filterung vorwiegend die Konturen im Bild hervorgehoben werden.
-
Aus
dem gefilterten Helligkeitsbild wird die Konturmaske als Bitmap
gewonnen, indem die Filterwerte F mit Schwellwerten verglichen werden.
Da das Konturfilter je nach der Richtung des Helligkeitssprungs
an einer Kontur positive und negative Ausgangswerte erzeugt, ist
es zweckmäßig, nur
einen oberen Schwellwert S1 festzulegen, mit dem die Helligkeitssprünge von
hell nach dunkel in der Konturmaske erfaßt werden. Da außerdem die
Fehlerstellen sehr dunkel sind, ist es weiter vorteilhaft, den Schwellwert
S1 relativ hoch zu legen, damit vorwiegend die Fehlerstellen erfaßt werden
und weniger die natürlichen
Konturen des Bildes. Dann wird die Bitmap der Konturmaske erzeugt,
indem Filterwerte F, die über
dem Schwellwert S1 liegen, in den Binärwert 1 umgesetzt werden und
Filterwerte, die unter dem Schwellwert S1 liegen, in den Binärwert 0.
Bitmap
= 1 für
F > S1 (2)
Bitmap
= 0 für
F ≤ S1
-
4 zeigt die so gewonnene
Konturmaske für
das Beispielbild von 2.
Man sieht, daß die Konturmaske
sowohl einen Teil der natürlichen
Bildkonturen als auch die Konturen der Fehlerstellen (8) enthält.
-
Im
nächsten
Verarbeitungsschritt (Schritt 2 in 1) wird aus dem ursprünglichen Bild eine Farbmaske
als Bitmap erzeugt, in der dunkle Farben als schwarze Punkte gekennzeichnet
sind. Dem liegt die Beobachtung zugrunde, daß typische Fehlerstellen im
Bild, wie Kratzer und Haare, sehr dunkel sind. Die Farbmaske wird
beispielsweise aus der Helligkeitskomponente gewonnen, die schon
der Erzeugung der Konturmaske diente, indem die Bildpunkte der Helligkeitskomponente
mit einem Schwellwert verglichen werden. Alternativ kann für jede Farbauszugskomponente
ein separater Schwellwert festgelegt werden. In der Farbmaske werden
dann die Bildpunkte gekennzeichnet, bei denen alle Farbauszugskomponenten
dunkler als der jeweilige Schwellwert sind. Statt mit einer einfachen
Schwellwertentscheidung kann die Farbmaske aber auch mittels eines Verfahrens
zur selektiven Farberkennung gewonnen werden. Beispielsweise werden
in der Farbmaske alle Bildpunkte gekennzeichnet, die im RGB-System, CMYK-System,
LAB-System oder einem anderen Farbsystem in einem kleinen Volumen
um eine typische Farbe einer Fehlerstelle herum liegen. Die Form des
Volumens kann z.B. eine Kugel oder ein Ellipsoid sein.
-
5 zeigt die Farbmaske für das Beispielbild
von 2. Hierbei wurde
der Normalfall angenommen, daß die
Fehlerstellen im Bild dunkler sind als die Bereiche um die meisten
natürlichen
Konturen des Bildes, so daß in
der Farbmaske die Bereiche um die Fehlerstellen (10) herum
enthalten sind und einige wenige Bereiche um die natürlichen
Konturen herum. In diesem Beispiel gibt es einen Bereich (11)
im Tennisschläger,
der von der Farbmaske zusätzlich erfaßt wird.
-
Im
nächsten
Verarbeitungsschritt (Schritt 3 in 1) wird eine Fehlermaske erzeugt, indem
die Konturmaske und die Farbmaske durch die logische UND-Funktion miteinander
verknüpft
werden. Dadurch werden fast alle natürlichen Konturen des Bildes,
die in der Konturmaske noch enthalten sind, unterdrückt. 6 zeigt das Ergebnis, in
dem nur noch die Fehlerstellen (8) und einige Konturen
im Tennisschläger
(12) enthalten sind.
-
Im
nächsten
Verarbeitungsschritt (Schritt 4 in 1) werden die in der Fehlermaske verbliebenen Bereiche überfüllt. Dazu
wird um die Konturen der Fehlermaske ein Rahmen von bestimmter Breite
gelegt, die von der Auflösung
des Bildes abhängt.
Die Rahmenbreite beträgt
vorzugsweise einige Pixel. Während
des Überfüllens wird
geprüft,
ob der Rahmen andere vorhandene Pixel der Fehlermaske berührt. Ist
das der Fall, werden die sich berührenden Teile der überfüllten Fehlermaske
eliminiert. Der Verarbeitungsschritt (4) hat die Aufgabe,
Bereiche aus der Fehlermaske zu eliminieren, in denen natürliche Konturen
in einem dunklen Teil des Bildes eng beieinander liegen, z.B. ein
Bereich, in dem echte Haare abgebildet sind.
-
7 zeigt schematisch die Überfüllung einer
Kontur (13). An einem beliebigen Anfangspunkt A wird begonnen,
z.B. entgegen dem Uhrzeigersinn einen Rahmen (14) definierter
Breite um die Kontur (13) herum zu erzeugen. Dazu wird
ein beliebiger der bekannten und in der Fachliteratur beschriebenen
Algorithmen zur Rahmenbildung verwendet. Für den erfindungsgemäßen Ablauf
der Verarbeitungsschritte ist der genaue Algorithmus für die Rahmenerzeugung
nicht wesentlich. Wenn der Rahmen an irgendeinem Punkt B die Kontur
(13) berührt,
wird die Kontur einschließlich
des schon erzeugten Teilrahmens gelöscht. Wenn der Rahmen eine
andere benachbarte Kontur berührt,
werden beide Konturen gelöscht.
Nur wenn die Rahmenerzeugung ohne Berührung um die gesamte Kontur
bis zum Anfangspunkt A zurück
möglich
ist, bleibt die Kontur erhalten. In der 7 sind die Kontur (13) und der
Rahmen (14) mit verschiedenen Schraffuren gezeichnet worden,
damit sie unterscheidbar sind. In die Bitmap der Fehlermaske werden
beide als schwarze Pixel geschrieben.
-
In
dem Beispiel von 6 wird
angenommen, daß mit
der Überfüllung und
Eliminierung von sich berührenden
Konturen, die restlichen natürlichen
Konturen im Tennisschläger
(12) aus der Fehlermaske gelöscht werden können. Als
Ergebnis sind dann nur noch die Konturen der Fehlerstellen (8)
in der Fehlermaske erhalten.
-
Zur
Kontrolle für
den Bediener wird im nächsten
Verarbeitungsschritt (Schritt 5 in 1) die Fehlermaske auf dem Bildschirm
dargestellt, z.B. indem sie in einer transparenten Farbe dem Bild überlagert wird.
Falls in der Fehlermaske noch restliche Konturen enthalten sind,
die nicht zu Fehlerstellen gehören,
kann sie der Bediener manuell mit einer Pinselretuschefunktion an
dieser Stelle der Verarbeitungsfolge löschen. Ebenso kann der Bediener
Fehlerstellen, die möglicherweise
durch die automatische Verarbeitung nicht erkannt worden sind, mit
der Pinselretuschefunktion in der Fehlermaske hinzufügen.
-
Im
nächsten
Verarbeitungsschritt (Schritt 6 in 1) werden die Konturen in der Fehlermaske
abgespart, indem vom äußeren Rand
der Konturen solange Pixel entfernt werden, bis eine Kontur mit
der Breite von nur noch einem Pixel übrig bleibt. Diese abgesparte
Kontur wird dann vektorisiert, indem lineare Stücke der abgesparten Kontur
jeweils in einen Vektor umgewandelt werden. Für die Teilprozesse Absparen
und Vektorisieren wird jeweils ein beliebiger von den bekannten
und in der Fachliteratur beschriebenen Algorithmen verwendet. Für den erfindungsgemäßen Ablauf
der Verarbeitungsschritte sind die genauen Algorithmen nicht wesentlich.
-
8 zeigt eine vergrößerte Kontur
einer Fehlerstelle (15) aus der Fehlermaske, die auf eine Pixelbreite
abgesparte Kontur (16) und die vektorisierte Kontur (17).
-
Im
letzten Verarbeitungsschritt (Schritt 7 in 1) wird in dem ursprünglichen Bild entlang der vektorisierten
Konturen (17) der Fehlermaske automatisch eine Verlaufsretusche
ausgeführt
und so die Fehlerstellen entfernt.
-
9 zeigt die Verlaufsretusche.
Für jedes Pixel,
das auf der vektorisierten Kontur (17) liegt, wird ein
Liniensegment (18) annähernd
senkrecht zu dem jeweiligen Vektor gebildet. Aus dem gespeicherten Bild
werden zwei Bildpunkte gelesen, die an den Enden C und D des Liniensegments
(18) liegen. Für
alle Bildpunkte, die auf dem Liniensegment (18) zwischen
den beiden Endpunkten C und D liegen, werden aus den Farbauszugswerten
der gelesenen Bildpunkte korrigierte Farbauszugswerte interpoliert
und in die Bildpunkte auf dem Liniensegment geschrieben. Auf diese
Weise wird die Fehlerstelle mit Farbwerten überdeckt, die an die Farben
in der Nachbarschaft der Fehlerstelle angeglichen sind. Die Länge des
Liniensegments (18) wird zweckmäßigerweise so gewählt, daß die Endpunkte
C und D außerhalb der
typischen Breite von Fehlerstellen, wie Kratzern und Haaren, liegen.