-
Die
Erfindung bezieht sich allgemein auf Vorlagenscanner und insbesondere
auf elektronische Bildverarbeitungsalgorithmen, wie sie in Vorlagenscannern
und anderen Büro-Bilderzeugungsgeraten
verwendet werden.
-
Bei
der elektronischen Farbentfernung handelt es sich um ein Verfahren,
bei dem farbige Bereiche einer gescannten Vorlage, die den Linien-
und Hintergrundbereichen der Dateneingabe-Vorlagen entsprechen,
aus dem Bild "gelöscht" werden. Wird ein
Dateneingabeformular mit Trennlinien zwischen den Farbfeldern und
einem die Farbfelder bezeichnenden Text verwendet, wird bei dieser
Verarbeitung der gesamte überflüssige Farbinhalt
effektiv aus dem Formular entfernt, so dass nur die darüber eingetragenen
Daten zurückbleiben.
Anders ausgedrückt, macht
das Verfahren die Formularbereiche des verarbeiteten Bildes unsichtbar,
so dass nur der darüber eingetragene
Text zurückbleibt.
Die Durchführung dieses
Schritts macht später
angewandte optische Zeichenerkennungsalgorithmen effektiver, verringert den
benötigten
Bildspeicherplatz und verbessert die Wiederaufruf-Effizienz, indem
sie unnötigen
Bildinhalt entfernt.
-
Bei
der heute üblichen
Technologie wird diese Aufgabe dadurch erfüllt, dass jedes Pixel des Eingabebildes
einzeln geprüft
wird. Dabei wird jedes Pixel mit einer oder mehreren vorhandenen
Farben verglichen und dann entschieden, ob das Pixel entfernt, in
einer bestimmten Weise bearbeitet oder unverändert bleiben soll. Bei manchen
Verfahren werden die Werte des digitalen Farbsignals an eine Vergleichstabelle
angelegt, und anhand des Inhalts der Vergleichstabelle wird dann
bestimmt, was mit dem Pixel zu geschehen hat. Dies bedeutet zwar
im Wesentlichen immer noch die Prüfung jeder einzelnen Pixelfarbe,
die Entscheidung über die
Eliminierung einer Farbe wird jedoch nicht "im Flug" getroffen, sondern im voraus festgelegt
und tabellenmäßig erfasst.
-
Zum
besseren Verständnis,
wie die beschriebene Erfindung den bisherigen Stand der Technik verbessert,
muss man die bei den bestehenden Techniken beobachteten Probleme
untersuchen. Normalerweise wird ein Farbentfernungsalgorithmus auf
ein vollfarbiges digitales Eingangsbild angewandt und wandelt dies
in ein Grauskalenbild um. Während dieses
Vorgangs setzt er die meisten Pixel in die direkt entsprechenden
normalen Grauskalenwerte um, wobei jedoch einige Pixel wegen ihrer
Farbe als "zu entfernende" Pixel angesehen
und nicht in ihren normalen Grauskalenwert, sondern in eine Hintergrundfarbe
umgesetzt werden. Anschließend
wird auf das Grauskalenbild ein adaptives Schwellenwertverfahren
(ATP) angewandt, so dass das Grauskalenbild in ein bitonales Bild
umgewandelt wird. Im Ergebnis soll das erhaltene bitonale Bild dann
schwarz sein. In den "entfernten" Bereichen soll das
bitonale Bild jedoch weiß sein.
Diese Technik ist mit den folgenden Problemen verbunden:
- • Wird
die zu entfernende Farbe erkannt, ersetzt das Verfahren sie im Allgemeinen
durch eine Hintergrundfarbe oder eine Grauskalenstufe. Allerdings
ist der Hintergrund jedoch nicht unbedingt weiß, sondern kann auch dunkel
und fleckig sein. Welche Farbe soll man also einsetzen? Setzt man die
falsche Farbe oder einen einheitlichen Hintergrund ein, der dem
lokalen Hintergrund des Bildes nicht entspricht, kann dies zu Flanken
in der Ausgabe führen,
die ein anschließendes
adaptives Schwellenwertverfahren (APT) auslösen. Dies kann in der endgültigen Ausgabe
zu bitonalen Flecken an Stellen führen, an denen im Original
keine vorhanden waren.
- • Bei
einem verblassten Formular haben einige der farbigen Bereiche nicht
denselben Farbton wie die Kernfarbe der Linien des Formulars. Solche
Pixel in einem eigentlich "roten" Bereich sind unter
Umständen
nicht roter als der Text, und die Luminanz der Pixel ist tatsächlich schwächer als die
des Textes. In diesem Fall werden die Pixel entweder nicht entfernt
oder, wenn die Toleranz für
das Entfernen hoch genug eingestellt wird, weist der Text später Leerstellen
auf.
- • Unscharfe
Ränder
von Formularlinien werden unter Umständen nicht entfernt, weil die
Farbe dort nicht so lebhaft ist wie im Rest des Formulars. Im Extremfall
kann dies zu einer Verdoppelung der Linien führen, wenn die Mitte oder der
Kern einer Linie entfernt wird, die Ränder aber nicht, so dass eine
Doppellinie zurückbleibt.
-
Bei
der Verarbeitung der einzelnen Pixel können Ungleichmäßigkeiten
in der Farbgebung von Formularbereichen dazu führen, dass Teile des Formulars
erhalten bleiben, d. h. nicht entfernt werden. Wird die Toleranz
bei der zu entfernenden Farbe zu hoch eingestellt (in dem Bemühen, die
Formularbereiche vollständig
zu entfernen) können
in unerwünschter
Weise auch Teile des tatsächlich
gewünschten
Textes mit entfernt werden. Ferner kann ein Ersatz der entfernten
Bereiche durch eine falsche Hintergrundfarbe zu Stufen in der Farbe
des Hintergrundbereiches führen
mit der Folge, dass der ATP-Prozess unerwünschte Artefakte in der Ausgabe erzeugt.
-
Aufgabe
der Erfindung ist es, das Entfernen von Farbe dadurch zu verbessern,
dass man bei der Verarbeitung elektronischer Bilder nicht nur die
einzelnen Pixel, sondern auch die umgebenden Pixel betrachtet.
-
Kurz
zusammengefasst, enthält
gemäß einem
Aspekt der Erfindung ein Verfahren zur elektronischen Farbentfernung
unter Nutzung räumlicher Beziehungen
zur Verbesserung der Genauigkeit den Schritt des Scannens einer
Vorlage zum Erzeugen eines digitalen Farbbildes. Auf das digitale
Farbbild wird ein Schwellenwertverfahren zum Erzeugen eines bitonalen
Bildes angewandt. Es wird ein Bereich des digitalen Farbbildes ausgewählt, der
einem Merkmal des bitonalen Bildes entspricht. Die mittlere Farbe
des Bereichs wird berechnet und mit einer vorgegebenen zu entfernenden
Farbe verglichen. Wenn die mittlere Farbe der vorgegebenen zu entfernenden
Farbe entspricht, wird der Bereich aus dem bitonalen Bild gelöscht. Wenn
festgestellt wird, dass alle Merkmale des bitonalen Bildes geprüft sind,
ist der Vorgang abgeschlossen. Sind noch nicht alle Merkmale des
bitonalen Bildes geprüft,
wird der nächste Bereich
des digitalen Farbbildes ausgewählt,
der einem Merkmal des bitonalen Bildes entspricht.
-
Zwar
erhöht
die Farbentfernung unter Nutzung räumlicher Beziehungen die Komplexität des Systems
und wirkt sich damit auf die Kosten des Geräts aus, sie ist jedoch geeignet,
verschiedene ernste Leistungsprobleme, die sich bei Einzelpixel-Verarbeitungsalgorithmen
ergeben, dramatisch zu verbessern.
-
Durch
die Betrachtung auch benachbarter Pixel und deren geometrischer
Beziehung zu dem gerade untersuchten Pixel können die beschriebenen Algorithmen
eine mittlere Farbe über
das gesamte Merkmal (oder den nahe gelegenen Teil des Merkmals)
der ursprünglichen
Vorlage, zu der das gerade untersuchte Pixel gehört, bestimmen. Diese mittlere Farbe
gibt die Gesamtfarbe des Merkmals insgesamt besser wieder und kann
mit größerer Wahrscheinlichkeit
korrekt als zu entfernende oder nicht zu entfernende Farbe beurteilt
werden. Bei den beschriebenen Algorithmen ist die Farbe des gerade
ausgewerteten Pixels mit der Farbe anderer nahe gelegener Pixel
vermischt, die mit ihm im bitonalen Bild verbunden sind. Die gemischte
Farbe gibt eine mittlere Farbe der verbundenen Pixel wieder.
-
In
einer bitonalen Version eines Pixels bestimmt die Verbindung schwarzer
Pixel, was als "Merkmal" anzusehen ist. Da
die ein Zeichen darstellenden Pixel miteinander verbunden (benachbart) sind,
werden sie von diesen Algorithmen nicht einzeln, sondern gemeinsam
betrachtet. Ebenso sind die Pixel, die eine Formularlinie, ein Feld
oder einen Hintergrundbereich bilden, alle miteinander verbunden,
so dass auch sie nicht einzeln sondern zusammen betrachtet werden.
Dies dient dazu, in der Farbe nahe den Rändern eines Merkmals und über eine Seite
hinweg auftretende Uneinheitlichkeiten auszumitteln. Dadurch dass
sie Farbschwankungen ausmitteln und die Entscheidungen über das
Entfernen aus der mittleren Farbe von Merkmalen und nicht aus den
Farben einzelner Pixel herleiten, bestimmen die Algorithmen mit
größerer Genauigkeit,
ob Merkmale zu entfernen oder im Ausgabebild beizubehalten sind.
-
Die
Erfindung wird im Folgenden anhand eines in der Zeichnung dargestellten
Ausführungsbeispiels
näher erläutert.
-
Es
zeigen:
-
1 ein
Flussdiagramm eines verallgemeinerten elektronischen Farbentfernungsverfahrens, das
Merkmale aufgrund einer bitonalen Version der Vorlage identifiziert
und löscht;
-
2 ein
Flussdiagramm eines Konturfolgealgorithmus zum Lokalisieren von
Bereichen in der Vorlage, die zu entfernenden farbigen Merkmalen entsprechen;
und
-
3 eine
schematische Darstellung eines kleinen Pixelbereichs, der mittels
eines Fenster-Bereichsalgorithmus
zum Lokalisieren solcher Bereiche in der Vorlage verarbeitet wird,
die zu entfernenden farbigen Merkmalen entsprechen.
-
Ein
elektronisches Scansystem, das in der Lage ist, ein Bild in Farbe
zu erfassen, erzeugt eine digitale Farbbildvorlage. Die digitale
Bildvorlage besteht aus verschiedenen Teilen und Merkmalen, darunter
auch farbigen Dateneingabe-Formularlinien, farbigem Formulartext,
vom Benutzer eingegebenem Text und schattierten Farbbereichen.
-
Nach
dem Erfassen führt
die Bildverarbeitungselektronik oder Software, beginnend mit der
digitalen Bildvorlage 12, die in 1 dargestellte
Operationsfolge aus. Um das Bild in einer Luminanz/Chrominanz-Form
darzustellen, kann dabei eine vorherige Farbraumtransformation erforderlich sein.
Der Luminanzkanal der Bildvorlage wird mit einem adaptiven Schwellenwertalgorithmus
(ATP-Algorithmus) 14 verarbeitet, um ein bitonales Basisbild 16 zu
erhalten. Durch einen Prozess 18 zur Identifizierung eines
Farbentfernungsbereichs werden Entfernungsbereiche festgestellt,
welche Farbmerkmale des Dateneingabeformulars im Vorlagebild darstellen.
Die Pixelkoordinaten aller Punkte in diesen Regionen werden einem
Entfernungsbereich-Löschprozess 20 zugeführt, der
die entsprechenden Pixel im bitonalen Basisbild von schwarz auf
weiß setzt
und so das farbbereinigte bitonale Bild 22 als letzte Ausgabe
des Systems erzeugt.
-
Die
Entfernung von Farbe erfolgt nicht durch Ersetzen einer Hintergrundfarbe
vor Durchführung des
ATP-Prozesses, sondern in der Weise, dass schwarze Pixel im bitonalen
Basisbild nach Ausführung
des ATP-Prozesses in weiße
Pixel umgewandelt werden. Durch diese Veränderung der ATP-Folge und der
Farbentfernung wird das durch das Einsetzen eines falschen Hintergrundpegels
bedingte Artefaktpotential ausgeschlossen.
-
Erstes Verfahren zur Identifizierung der
von der Farbentfernung betroffenen Pixel
-
In 2 ist
die Verarbeitungsfolge des ersten Verfahrens zur Identifizierung
von durch die Farbentfernung betroffenen Bereichen dargestellt.
Zunächst
wird ein Konturfolgealgorithmus 30 auf das bitonale Basisbild
angewandt. Beim Verfolgen der Kontur wird ein Satz von Datenstrukturen
aufgebaut, welche die Positionen verbundener (benachbarter) schwarzer
Pixel im Bild wiedergeben. Die Datenstrukturen gruppieren die Pixel
in zum selben Pixel merkmal gehörende
Pixelsätze.
Bei der Überprüfung jedes
Pixels wird seine Position mit der Position jener Pixel verglichen,
die die einzelnen bereits identifizierten Merkmale wiedergeben.
Wird ein Merkmal gefunden, dass ein dem gerade bearbeiteten Pixel
benachbartes Pixel enthält,
wird das gerade bearbeitete Pixel als mit diesem Pixel verbunden
und als Teil des Merkmals angesehen. Das verbundene Pixel wird dem
bestehenden Merkmal hinzugefügt,
wonach die Verarbeitung mit dem nächsten Pixel im Bild fortgesetzt
wird. Wird ein Pixel gefunden, dass keinem der bereits identifizierten
Merkmale angehört,
wird es als Beginn eines neuen Merkmals angesehen, und es wird eine
neue Datenstruktur für
die Verfolgung des neuen Merkmals angelegt.
-
Ein
vollständiger
Konturfolgealgorithmus enthält
normalerweise eine Funktion zum Zusammenführen von Merkmalen. Diese Funktion
behandelt Merkmale, die V-artige Formen enthalten. Eine V-Form führt zu zwei
Konturen, die im oberen Bereich des V beginnen, und später dann
zu der Entdeckung, dass diese Konturen im unteren Bereich zu einer
einzigen Kontur zusammengeführt
werden müssen.
Für die
Zwecke der Farbentfernung erweist es sich als besser, diese Funktion
nicht zu implementieren. Die Rolle von Merkmalen bei der Farbentfernung
besteht darin, die Farbe über
den Bereich des Merkmals hinweg zu mitteln, nicht unbedingt darin,
das gesamte Merkmal perfekt zu identifizieren. Wäre die Funktion des Zusammenführens von
Merkmalen vorgesehen, würden
Zeichen in einer gescannten Vorlage, die auf einer Formularlinie
stehen, mit der Formularlinie verschmolzen. Für die Zwecke der Farbentfernung
ist es eindeutig besser, die Zeichen (nicht zu entfernende Merkmale)
mit der Formularlinie (zu entfernendes Merkmal) nicht zu verschmelzen.
Außerdem
wurde festgestellt, dass ein gewisser Leistungsgewinn durch Begrenzung
der physikalischen Abmessungen oder der zulässigen Größe der Kontur erzielt werden kann.
Dies kann in der Weise geschehen, dass man die Konturen in einer
maximalen Größe teilt
oder bei der anschließenden
Farbentfernung die Farbe nur über
den nahe gelegenen Teil von Konturen hinweg mittelt.
-
Nach
Abschluss der Konturverfolgung werden die Pixel an den Koordinaten,
die die einzelnen durch die Bestimmung der Konturen im bitonalen
Basisbild identifizierten Merkmale ausmachen, im farbigen Vorlagebild
untersucht. Die Farbe des farbigen Vorlagebildes wird über den
durch den Konturfolgeprozeß 32 ermittelten
Umfang der einzelnen Merkmale hinweg gemittelt, und der so erhaltene
Mittelwert wird als Farbe des gesamten Merkmals bestimmt. Anschließend wird
die mittlere Farbe jedes Merkmals mit der zu entfernenden Farbe
verglichen um zu bestimmen, ob das gesamte Merkmal zu entfernen
ist – Schritt 34.
Kommt die mittlere Farbe des Merkmals der beabsichtigten zu entfernenden
Farbe nahe genug (wobei dieser Vergleich in unterschiedlicher Weise
erfolgen kann), werden die Koordinaten im bitonalen Bild 36,
die das gesamte Merkmal ausmachen, gelöscht oder von schwarz in weiß umgewandelt.
Dies wiederholt sich für
jedes Merkmal des Bildes, und das sich daraus ergebende bitonale
Bild stellt die abschließende
Ausgabe des Algorithmus dar. Es ist dies im Wesentlichen das bitonale
Basisbild, in dem sämtliche
Bereiche zu entfernender Farbe gelöscht wurden. Diese Bereiche
ergeben sich aus jenen Bereichen der Vorlage, deren mittlere Farbe
der zu entfernen Farbe nahe genug kam.
-
Als
weitere Verbesserung des Algorithmus kann die Farbmittelung statt
nur einmal für
das gesamte Merkmal für
jedes Pixel innerhalb eines Merkmals erfolgen und eine Gewichtung
(oder ein Auswahlprozess) auf der Grundlage des Abstandes von den
Koordinaten des aktuellen Pixels durchgeführt werden. Dies dient dazu,
den Mittelungsprozess auf jene Pixel zu begrenzen, die sich in physischer
Nähe zu
der gerade beurteilten Position befinden.
-
Zweites Verfahren zur Identifizierung
der von der Farbentfernung betroffenen Pixel
-
Bei
dem zweiten beschriebenen Verfahren zur Identifizierung der von
der Farbentfernung betroffenen Pixel wird ein in 3 dargestelltes
Auswertungsfenster über
das bitonale Basisbild hinweg verschoben. Bei jedem Satz von Pixelkoordinaten
wird das zentrale Pixel des Auswertungsfensters daraufhin beurteilt,
ob es ein zu entfernendes Pixel ist oder nicht. Diese Beurteilung
basiert nur auf den Pixeln innerhalb des Auswertungsfensters. Infolgedessen sind
die bei diesem Verfahren verwendeten räumlichen Beziehungen in der
Größe durch
die Fenstergröße begrenzt.
Das Auswertungsfenster kann jede Größe aufweisen, die für die Scanner-Auflösung und andere
Charakteristika als geeignet erscheint, bei den vorliegenden Musterbildern
hat sich jedoch eine Größe von 7×7 Pixeln
als gut erwiesen.
-
Das
zentrale Pixel 40 im Auswertungsfenster wird daraufhin überprüft, ob es
schwarz ist. Ist dies nicht der Fall, werden keine weiteren Operationen ausgeführt. Wenn
das Pixel jedoch schwarz ist, muss es gegebenenfalls entfernt (gelöscht oder
in weiß umgewandelt)
werden. Als Kriterium für
das Entfernen des zentralen Pixels wird zunächst versucht, die Farbe im
Farbbild über
jenen Bereich hinweg zu mitteln, der durch mit dem zentralen Pixel
verbundene schwarze Pixel im bitonalen Bild definiert ist. Für die Lokalisierung
der verbundenen Pixel betrachtet der Algorithmus jedes an das zentrale
Pixel angrenzende (ihm benachbarte) Pixel. Diese Pixel sind in 3 als Gruppe
A 42 bezeichnet. Bei jedem benachbarten Pixel, das im bitonalen
Bild schwarz ist, wird die Farbe der entsprechenden Koordinaten
in der Farbbildvorlage einem Farbmittelungs-Akkumulator zugeführt. Diese
Operationsfolge wird bei jedem benachbarten schwarzen Pixel wiederholt.
Im Verlauf dieser Operation werden die Pixel der in der Figur mit
B 44 bezeichneten Gruppe untersucht, wodurch sich der untersuchte
Bereich nach außen
zum Rand des Auswertungsfensters hin ausdehnt. Die Auswertung beginnt
somit in der Mitte des Auswertungsfensters, wobei die Operationsfolge
vom Mittelpunkt ausgehend wiederholt wird, bis entweder der Rand
des Auswertungsfensters erreicht ist oder keine verbundenen schwarzen
Pixel im bitonalen Bild mehr gefunden werden. Sobald die Operationsfolge
für das
gesamte Auswertungsfenster abgeschlossen ist, wird der Wert des
Farbmittelungs-Akkumulators durch die Anzahl der hinzugefügten Pixel
dividiert, um so die mittlere Farbe aller innerhalb des Auswertungsfensters
vorliegenden verbundenen Pixel zu erhalten.
-
Anschließend wird
das Ergebnis der Mittelung der Farbe der Bildvorlage über die
verbundenen schwarzen Pixel im bitonalen Bild innerhalb des Auswertungsfensters
hinweg mit der zu entfernenden Farbe verglichen. Liegt die mittlere
Farbe nahe genug bei der beabsichtigten zu entfernenden Farbe (wobei
dieser Vergleich auf unterschiedliche Weise durchgeführt werden
kann), wird das zentrale Pixel des Auswertungsfensters im bitonalen
Ausgabebild von schwarz auf weiß umgesetzt.
-
Nach
Durchführung
dieses Prozesses an allen Pixeln im Bild stellt die Ausgabe des
Algorithmus das aus der Bildvorlage nach der Verarbeitung mittels des
ATP-Prozesses erhaltene bitonale Bild dar, bei dem alle entfernten
Bereiche weiß erscheinen
(gelöscht
wurden). Auch hier bestehen die gelöschten Bereiche aus jenen Pixeln,
die im bitonalen Bild als verbundene schwarze Bereiche erkannt wurden,
deren mittlere lokalisierte Farbe (im Farbbild) der zu entfernenden
Farbe nahe genug kommt.
-
Vergleich einer Farbe mit der zu entfernenden
Farbe
-
Allen
Farbentfernungsalgorithmen ist gemeinsam, dass sie eine Farbe mit
einer beabsichtigten zu entfernenden Farbe vergleichen müssen. Bei der
zu entfernenden Farbe handelt es sich um die Farbe von Merkmalen
in der Bildvorlage, die im fertigen Ausgabebild nicht erscheinen
soll. Bei Dateneingabeformularen ist dies die Farbe der Formularlinien und
des Hintergrun des. Der Vergleich kann auf unterschiedliche Arten
erfolgen, zum Beispiel auch in der folgenden Weise:
- • Die
Farbkanäle
werden einzeln verglichen, und die mittlere quadratische Differenz
wird mit einem Schwellenwert verglichen.
- • Die
Farbkanäle
werden einzeln verglichen, und die größte Differenz wird mit einem
Schwellenwert verglichen.
- • Die
Farbkanäle
werden einzeln verglichen, und die Differenz jedes Kanals wird mit
einem anderen Schwellenwert verglichen. Die Vergleichswerte der
einzelnen Kanäle
werden dann logisch zum Endergebnis kombiniert.
- • Die
Farbkanäle
werden in einen Luminanz/Chrominanz-Farbraum umgesetzt, und anschließend werden
zwei Schwellenwerte für
die Entfernung entlang der Luminanzachse und dem entsprechenden
Radius angelegt.
- • Es
wird eine Vergleichstabelle verwendet, die die zu entfernenden Werte
auf der Grundlage der Farbkanal-Eingabewerte auflistet. Dieses Verfahren
kann in Verbindung mit jeder Funktion, einschließlich der oben beschriebenen,
durchgeführt werden.