DE19517178C1 - Hintergrundbereinigung bei elektronisch abgetasteten Bildern - Google Patents
Hintergrundbereinigung bei elektronisch abgetasteten BildernInfo
- Publication number
- DE19517178C1 DE19517178C1 DE19517178A DE19517178A DE19517178C1 DE 19517178 C1 DE19517178 C1 DE 19517178C1 DE 19517178 A DE19517178 A DE 19517178A DE 19517178 A DE19517178 A DE 19517178A DE 19517178 C1 DE19517178 C1 DE 19517178C1
- Authority
- DE
- Germany
- Prior art keywords
- image
- information
- restoration
- template
- filtered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004140 cleaning Methods 0.000 title description 2
- 238000001914 filtration Methods 0.000 claims description 13
- 239000012634 fragment Substances 0.000 claims description 6
- 238000007792 addition Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 241001313099 Pieris napi Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/16—Image preprocessing
- G06V30/164—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Description
Die Erfindung betrifft die Trennung einer Vordergrundinformation
von einer Hintergrundinformation in einer Vorlage.
Um eine Bild- oder Zeichenerkennung (Optical Character
Recognition) in einem elektronisch abgetasteten und
digitalisierten Dokument durchführen zu können, müssen häufig in
einem ersten Vorverarbeitungsschritt (image preprocessing), die
Informationen des Vordergrundes von den Informationen des
Hintergrundes getrennt werden. Dabei stellen die Informationen
des Vordergrundes oftmals die eigentlichen, für die
Zeichenerkennung zu betrachtenden Bilddaten dar, während die
Informationen des Hintergrundes vielfach störend wirken und auch
zu Fehlinterpretationen der Vordergrundinformationen führen
können. Auch tragen die Daten des Hintergrund des Bildes häufig
zu einer Herabsetzung der Erkennungsleistung der
Vordergrundinformation bei. Die Informationen des Hintergrundes
sollten daher vorzugsweise vor der Bild- oder Zeichenerkennung
entfernt werden. Daten des Vordergrundes die eine Schrift
repräsentieren sollen in vielen Anwendungen durch die
anschließende Zeichenerkennung, vorzugsweise in ASCII-Daten,
umgewandelt werden.
Die Hintergrunddaten in einem Bild setzen sich zumeist aus den
folgenden Gruppen zusammen: Störungen bei der Digitalisierung
(wie Rauschen) und optisch nicht herausfilterbare Bestandteile
des digitalisierten Dokumentes (z. B. Verschmutzungen,
Schriftteile, Stempel, usw.). Um eine bestmögliche
Erkennungsrate in einer anschließenden Bildverarbeitung
erreichbar zu machen, sollten die Bilddaten nach einer
Bildaufbereitung vorzugsweise nur noch die Daten enthalten, die
später durch die Zeichenerkennung verarbeitet werden sollen. Je
besser die Bildaufbereitung vor der Erkennung ist, desto
günstiger sind auch die Erkennungsergebnisse zu erwarten.
Viele Bildverarbeitungseinheiten erwarten als Eingang ein in den
Graustufen reduziertes Bild, z. B. ein binarisiertes Schwarz/Weiß
Bild. Zur Erzeugung eines elektronisch abgetasteten Bildes von
einer Vorlage werden vielfach Lesegeräte (Scanner) herangezogen,
die mit einer vorgegebenen Abtastfrequenz (z. B. 200 bis 300
Bildpunkte pro Quadratzoll) Bilder mit einer Vielzahl von
Graustufen (z. B. 16 oder 256 Graustufen) liefern.
Bedingt durch eine Reihe von Fehlermöglichkeiten beim
elektronischen Einlesen einer Vorlage, wie beispielsweise
Scannertoleranzen oder ein mangelhafter Abgleich einzelner Lese-Elemente
eines Scanners, können bereits hier eine Reihe von
Einflußgrößen auftreten, die eine Bilderkennung nachteilig
beeinträchtigen können. Auch die Art und Qualität der Vorlage
selbst kann die Bilderkennung entscheidend prägen. So gehen bei
einer Wandlung eines Farbbildes in ein Graubild eventuell
vorhandene Farbkontraste verloren. Bei handschriftlichen, aber
auch bei maschinellen Eintragungen auf einer Vorlage hängt die
Les- und Erkennbarkeit auch insbesondere von deren
Kontrastierung, bedingt beispielsweise durch mehr oder minder
starkes Andrücken beim Schreiben, ab.
Für eine Reihe von Anwendungen besteht die Anforderung,
zusätzlich zu der Zeichenerkennung ein sogenanntes Archivbild zu
erzeugen, um beispielsweise den Papieraufwand zu reduzieren. Es
müssen also zwei Bilder erzeugt werden, was nach Möglichkeit
ohne Durchsatzverlust durchgeführt werden sollte. Von den
momentan verfügbaren Anwendungen werden hierfür Schwarz/Weiß
Bilder, sowohl für die Erkennungseinheit als auch für
Archivierungszwecke, verwendet. Graustufenbilder müssen
rechenintensiv komprimiert und dekomprimiert werden und haben
dennoch einen höheren Speicherbedarf als Schwarz/Weiß Bilder.
Durch eine elektronische Abtastung einer Vorlage erhält man ein
elektronisches Bild der Vorlage, worin jedem Bildpunkt (Pixel)
ein Bildwert, beispielsweise ein Grauwert, ein Schwarz- oder
Weißwert oder ein Farbwert, zugeordnet ist. Durch die Verwendung
von Filtern lassen sich diese Zuordnungen beeinflussen. Bei
Anwendung eines Schwellwert-Filters lassen sich beispielsweise
die Bildwerte ober- bzw. unterhalb eines vorgegebenen
Schwellwertes aus dem elektronischen Bild heraus filtern. So
lassen sich z. B. die für eine Bildverarbeitung nicht gewünschten
Hintergrundinformationen oder Störeffekte eliminieren.
Die herausgefilterten Bildwerte stehen jedoch danach auch nicht
mehr für eine Bilderkennung zur Verfügung. Eventuell
unbeabsichtigt ausgefilterte Vordergrundinformationen können so
das Ergebnis einer anschließenden Bilderkennung verfälschen. Je
nach Wert des Schwellwertes gehen mehr oder minder viele
Informationen verloren. Der Wahl des Schwellwertes kommt so eine
eminente Bedeutung für die Qualität der Bilderkennung zu.
Zur Erzeugung von Binärbildern aus Graustufenbildern werden
vielfach statische oder dynamische Konvertierungsalgorithmen
verwendet. Für eine Hintergrundbereinigung werden oft Farbfilter
angewandt oder die Vorlage wird mit entsprechend farbigem Licht
beleuchtet. Klassische Filteroperationen (wie morphologische)
werden zur Beseitigung von ausgewählten Strukturen (wie etwa
gerade horizontale oder vertikale Striche) eingesetzt und sind
auf bestimmte Vorkommnisse in einer bestimmten Umgebung
(Dokumententyp) maßgeschneidert.
Aus dem Buch von Peter Haberäcker, "Digitale Bildverarbeitung",
Carl Hanser Verlag München Wien, ISBN 3-446-14442-0, 1985, sind
eine Reihe von Verfahren zur Bildverarbeitung bekannt, die auch
für eine Bildvorverarbeitung angewandt werden können. Es werden
dort insbesondere als Operationen im Ortsbereich (Kap. 8)
Verfahren zur Glättung der Grauwerte (Kap. 8.1) und die
Anwendung von Differenzenoperatoren (Kap. 8.2) vorgestellt sowie
Verfahren zur dynamischen Schwellwertbestimmung (Kap. 12.3).
Eine Übersicht über die bekanntesten Verfahren zur Ermittlung
eines Schwellwertes ist in P.K.Sahoo, S.Soltani and A.K.C.Wong
"A Survey of Thresholding Techniques", Computer Vision,
Graphics and Image Processing 41, 233-260, 1988 zu finden. Es
wird dort zwischen Histogram Transformations Methoden, die
zur Ermittlung des Schwellwertes die Form eines Histogramms
einer Grauwertverteilung verändern und Algorithmen zur
Schwellwertberechnung unterschieden.
Aus US-A 4,590,606 und US-A 5,038,381 sind weitere Verfahren
zur Bildverarbeitung, wie z. B. Vordergrundfilter durch
Laufzeitverhalten, bekannt.
EP-A 0.505.729 beschreibt ein System zur Binarisierung von
Bildern, das ein Lesen von Dokumenten mit einer normalen
Printqualität ermöglicht.
Die Druckschrift J. M. White und G. D. Rohrer: "Image
Thresholding for Optical Character Recognition and Other
Applications Requiring Character Image Extraction",
IBM J. Res. Develop., Vol. 27, No. 4, July 1983, Seiten 400
bis 411, beschreibt wirkungsvolle Filteralgorithmen für den
Einsatz bei der optischen Zeichenerkennung von maschinen- oder
handgeschriebenen Dokumenten.
Die Patentschrift DE 38 26 285 C2, Anmeldetag 30. Juli 1988,
beschreibt ein Verfahren zur Ermittlung von anormalen
anatomischen Bereichen in einem digitalen Röntgenbild, wobei
aus einem gespeicherten digitalen Bild mittels Verstärkungs- bzw.
Unterdrückungsfilterung zwei gefilterte Bilder erzeugt
werden, und anschließend durch Subtraktion dieser beiden
gefilterten Bilder ein Differenzbild erzeugt wird, welches die
Grundlage der abschließenden Auswertung unter Verwendung
vorgegebener Suchprofile darstellt.
Die Patentschrift DE 38 26 285 C2 stellt den nächstliegenden
Stand der Technik im Hinblick auf die vorliegende Erfindung
dar.
Allen Verfahren mit einer Ausfilterung von Informationen aus
einer elektronischen Vorlage ist jedoch gemein, daß durch das
Filtern auch eventuell solche Informationen, die für eine
Bilderkennung notwendig sind, verlorengehen können.
Es ist Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zur Behandlung von
Vorlagen zu schaffen, das eine möglichst gute Trennung von
Vordergrund- und Hintergrundinformation ermöglicht,
insbesondere ein Verfahren und eine Vorrichtung zur Vorbehandlung von Vorlagen vor
einer Bildverarbeitung zu schaffen, das in einem
elektronischen Bild einer Vorlage eine möglichst gute
Erkennung der Informationen ermöglicht.
Die Aufgaben der Erfindung werden durch die unabhängigen
Ansprüche 1 und 16 gelöst. Weitere, vorteilhafte Ausführungen der
Erfindung finden sich in den Unteransprüchen.
Erfindungsgemäß werden zunächst mindestens zwei elektronische
Bilder von einer Vorlage mit einer jeweils unterschiedlichen
Filterung, z. B. einer Schwellwert-Filterung, erzeugt. Ein Bild
sollte dabei so gefiltert werden, daß im wesentlichen nur noch
Vordergrundinformationen, oder Fragmente davon, darin vorhanden
sind. Dieses Bild dient als Ausgangsbild für eine anschließende
Bildrestauration. Aufgabe der Bildrestauration ist es, möglichst
viele der eventuell in diesem Ausgangsbild verlorengegangenen
Vordergrundinformationen wieder zu erhalten. Die verbleibenden
und weniger stark als das Ausgangsbild gefilterten Bilder dienen
hierfür als Referenzbilder. Dabei ist zu verstehen, daß als
Referenzbild auch ein ungefiltertes Bild der Vorlage oder die
Vorlage selbst verwendet werden kann.
Die Bildrestauration geschieht dadurch, daß, ausgehend von
Informationen in dem Ausgangsbild, durch Vergleichen der
Informationen des Ausgangsbildes mit den Informationen zumindest
eines der Referenzbilder in der, den Informationen des
Ausgangsbildes entsprechenden Umgebung, die Informationen des
Ausgangsbildes durch die Informationen des zumindest einen
Referenzbildes ergänzt werden. Dabei können diese Ergänzungen
entweder als neue Informationen in das Ausgangsbild
mitaufgenommen werden, oder, separat davon, zusammen mit den
Informationen des Ausgangsbildes in einem neuen Ergebnisbild
abgelegt werden.
Die Auswahl der zu ergänzenden Informationen aus den
Referenzbildern geschieht mit Hilfe eines geeigneten
Auswahlschemas. Als Auswahlschemata lassen sich vorzugsweise
eine Reihe von Nachbarpunktbetrachtungen oder auch andere
Kriterien wie z. B. Informationsdichte anwenden. Bei einer
Verwendung der Informationsdichte als Auswahlschema werden
beispielweise nur solche Bildpunkte rekonstruiert, die in einer
Umgebung größer oder kleiner einer vorgegebenen Bildpunktdichte
liegen. Auf diese Weise werden vereinzelt liegende Punkte von
der Restauration ausgeschlossen. Die Informationsdichte als
Auswahlschema kann auch in Kombination mit anderen
Auswahlschemata wie der Nachbarpunktbetrachtung eingesetzt
werden.
Für eine Nachbarpunktbetrachtung werden einzelne Bereiche mit
einer bestimmten Größe um solche Punkte (Informationspunkte),
die im Ausgangsbild einen Informationsgehalt besitzen, sowohl im
Ausgangsbild als auch in jedem der Referenzbilder entsprechend
angelegt. Informationen, die in dem jeweils entsprechenden
Bereich eines der Referenzbilder zusätzlich zu den
Informationspunkten vorhanden sind, werden als neue
Informationen entweder in das Ausgangsbild ergänzt oder
anderweitig zusammen mit den Informationen des Ausgangsbildes
abgelegt. Hierbei ist zu verstehen, daß solche Bildpunkte, deren
Information durch eine Filterung aus der ursprünglichen Vorlage
herausgefiltert wurden, Bildpunkte ohne Informationsgehalt
darstellen.
Die Größe der einzelnen Bereiche um die Informationspunkte kann
entweder für alle Informationspunkte gleich oder adaptiv, z. B.
entsprechend einer jeweiligen Informationsdichte, festgelegt
werden. Mit der Wahl der Größe und der Form der Bereiche läßt
sich der Restaurierungsgrad pro Durchlauf beeinflussen. Wird die
Größe der Bereiche klein gewählt (z. B. nur die unmittelbaren
Nachbarpunkte zu einem Informationspunkt), so werden
insbesondere bereits vorhandene, jedoch durch die Filterung
schwächer dargestellte Bildinhalte unmittelbar ergänzt. Ein in
seiner Dicke reduzierter Linienzug wird so verstärkt. Wird die
Größe der Bereiche zu groß gewählt, können eventuell bereits
ausgefilterte Störpunkte wieder zurückerhalten werden, ohne daß
dies gewünscht ist.
Für bestimmte Anwendungen kann es je nachdem günstiger sein, als
Informationspunkte entweder nur diejenigen zu betrachten, die in
dem Ausgangsbild ursprünglich vorhanden waren, oder auch die
durch die Ergänzungen all neue Informationen in das Ausgangsbild
mitaufgenommen Bildpunkte als Informationspunkte zu verwenden.
Durch die letztere Vorgehensweise lassen sich eventuell
fragmentierte Linienzüge vorteilhafter restaurieren, jedoch
können so auch ungewünschte Bereiche "wiedererstehen". Ergänzte
neue Informationen in einem Bild müssen jedoch nicht unbedingt
wieder neue Informationspunkte darstellen.
Als Vorlage der elektronischen Bilder lassen sich auch von dem
Originalbild abgewandelte Bilder, wie einzelne farbgefilterte
Bilder verwenden. Dadurch lassen sich bei Vielfarbenbildern
jeweils farbcodierte Informationen einzeln restaurieren oder aus
einem Vergleich mit Referenzbildern der unterschiedlichen Farben
geeignete Erkenntnisse für die Restauration gewinnen.
Durch das erfindungsgemäße Verfahren wird es möglich, ein
Archiv-Bild und ein Bild zur Zeichenerkennung durch einen
Scanvorgang zu erzeugen. Hierzu kann ein beliebiger Scanner
eingesetzt werden, solange ein geringer Grauwertunterschied
zwischen den Hintergrunddaten und dem Vordergrund besteht. Die
Erkennungsraten lassen sich durch das erfindungsgemäße Verfahren
erheblich gegenüber einem einfachen, nicht restaurierten
Schwarz/Weiß-Bild steigern. Erkennungsraten auf Zeichenbasis
ließen sich in einer Ausführungsform von 75% auf 81% erhöhen.
Das erfindungsgemäße Verfahren läßt sich vorzugsweise als
Programm (Software) in einer elektronischen Datenverarbeitung
implementieren.
Zur näheren Erläuterung der Erfindung sind im folgenden
Ausführungsbeispiele mit Bezugnahme auf die Zeichnungen
beschrieben. Funktionsgleiche Elemente sollen gleiche
Bezugszeichen tragen.
Fig. 1a zeigt einen Ausschnitt eines schwach gefilterten
Referenzbildes einer Vorlage;
Fig. 1b zeigt den, Fig. 1a entsprechenden Ausschnitt eines
so stark gefilterten Ausgangsbildes der Vorlage, daß
darin nur noch Fragmente der Vordergrundinformation,
hier des Linienzuges, enthalten sind;
Fig. 2a-b zeigen die Nachbarpunktrestauration mit einem 3×3
Bildpunkte enthaltenden Restaurationsbereich;
Fig. 3a-b zeigen die entsprechende Nachbarpunktrestauration
mit einem 5×3 Bildpunkte und einem 4×3 Bildpunkte
enthaltenden Restaurationsbereich;
Fig. 4a-f zeigen als Sequenz eine sukzessive Restauration;
Fig. 5a-d zeigen eine beispielhafte Anwendung der Erfindung.
Für eine erfindungsgemäße Trennung von Vordergrund- und
Hintergrundinformation werden in einer Ausführungsform zunächst
zwei elektronische Bilder aus einer Vorlage mit jeweils
unterschiedlichem Informationsgehalt erzeugt. Dies geschieht
vorzugsweise, indem zwei Schwarz/Weiß-Bilder aus einem Grauwert-Bild
der Vorlage mit jeweils unterschiedlichem Schwellwert
erzeugt werden. Das erste der Schwarz/Weiß-Bilder soll die
Hintergrunddaten im wesentlichen nicht mehr enthalten, während
das zweite Schwarz/Weiß-Bild im wesentlichen alle Bilddaten
enthalten soll, also auch die Hintergrunddaten. Beispielhaft
ließe sich ein statischer erster Schwellwert für das erste
Schwarz/Weiß-Bild von etwa 50% anwenden, d. h. Informationen mit
einem Grauwert oberhalb von 50% eines maximalen Grauwertes gehen
verloren. Entsprechend könnte ein statischer zweiter Schwellwert
für das zweite Schwarz/Weiß-Bild von etwa 90% angewandt werden.
Vorteilhafterweise werden jedoch dynamische Schwellwerte
verwandt. Es ist zu verstehen, daß das zweite Bild auch ohne
eine Schwellwertfilterung unmittelbar verwendet werden kann.
Bei der Herstellung des ersten Schwarz/Weiß-Bildes (im
wesentlichen ohne Hintergrunddaten) gehen jedoch auch eventuell
eine Reihe von Daten verloren, die zum Vordergrund gehören und
für eine Zeichenerkennung benötigt werden. Das erste
Schwarz/Weiß-Bild wird nun als Ausgangsbild für eine
Bildrestauration verwendet mit dem Ziel, möglichst viele der in
diesem Bild verloren gegangenen Vordergrundinformationen wieder
zu erhalten. Das zweite Schwarz/Weiß-Bild dient hierfür als
Referenzbild. Für die Bildrestauration eignet sich vorzugsweise
eine Nachbarpunktbetrachtung, wie sie im folgenden beschrieben
ist.
Die Nachbarpunktbetrachtung beruht darauf, daß, ausgehend von
den Informationen in dem Ausgangsbild, die ja im wesentlichen
die Vordergrund-Informationen oder Fragmente davon darstellen,
durch Vergleichen dieser Ausgangsbild-Informationen mit den
entsprechenden Informationen des Referenzbildes, die
Informationen des Ausgangsbildes durch die Informationen des
Referenzbildes mit Hilfe eines geeigneten Vergleichschemas
ergänzt werden. Die im Ausgangsbild nicht mehr vorhandenen
Informationen können so wieder restauriert werden.
Für eine Nachbarpunktbetrachtung werden einzelne Bereiche mit
einer bestimmten Größe um solche Punkte, die im Ausgangsbild
einen Informationsgehalt besitzen (Informationspunkte), sowohl
im Ausgangsbild als auch im Referenzbild entsprechend angelegt.
Informationen, die in dem jeweils entsprechenden Bereich des
Referenzbildes, nicht jedoch im Ausgangsbild, vorhanden sind,
werden als neue Informationen entweder in das Ausgangsbild
ergänzt oder anderweitig, z. B. in einem neuen Ergebnisbild,
zusammen mit den Informationen des Ausgangsbildes abgelegt.
Hierbei ist zu verstehen, daß solche Bildpunkte, deren
Information durch die (Schwellwert-)Filterung aus der
ursprünglichen Vorlage herausgefiltert wurden, Bildpunkte ohne
Informationsgehalt darstellen.
Die Größe der einzelnen Bereiche um die Informationspunkte kann
entweder für alle Informationspunkte gleich oder adaptiv, z. B.
entsprechend der jeweiligen Informationsdichte, festgelegt
werden. Auch kann es für eine jeweilige Anwendung entweder
günstiger sein, als Informationspunkte nur diejenigen zu
betrachten, die in dem Ausgangsbild ursprünglich vorhanden
waren, oder auch die durch die Ergänzungen als neue
Informationen in das Ausgangsbild mitaufgenommen Bildpunkte als
Informationspunkte zu verwenden.
Damit der Restaurierungsprozeß mehrfach für ein Bild oder
Teilbild wiederholbar ist, wird für einen eventuell notwendigen
zweiten Lauf das gerade erzeugte Bild verwendet. Um ein
Restaurieren von ungewünschten Hintergrunddaten, was durch den
beschriebenen Vorgang durchaus auch möglich ist, zu unterbinden,
werden vorzugsweise isolierte Bildpunkte aus dem Referenzbild
während der Restaurierung unbeachtet gelassen, indem die Größe
der Bereiche nicht zu groß gewählt wird. Dies ist jedoch nur bei
einem ersten Zyklus über das Bild notwendig, da isolierte
Bildpunkte bereits dort eliminiert werden.
Es ist zu verstehen, daß die Erfindung nicht auf die Verwendung
von Schwarz/Weiß-Bildern beschränkt ist, sondern daß beliebige
Bilder mit jeweils unterschiedlichem Informationsgehalt
verwendet werden können. Auch können anstatt zweier Bilder noch
weitere Bilder verwendet werden, so daß jede beliebige
Bildeigenschaft, z. B. horizontale oder vertikale Linien,
Hintergrundmuster usw., extrahiert und später zu dem gewünschten
Ergebnisbild restauriert bzw. kombiniert werden kann.
Im folgenden ist eine Ausführungsform einer
Nachbarpunktsbehandlung gezeigt. Es sei angemerkt, daß, zur
Illustration einer möglichen Anwendung der Erfindung, die
Bildpunkte B2, C2, B3, C4 und B5 einen Linienzug darstellen
sollen, während die Bildpunkte F1 und E3 auf zufällige
Verunreinigungen der Vorlage zurückzuführen sein sollen. Fig. 1a
zeigt einen Ausschnitt 10 eines schwach gefilterten
Referenzbildes von einer, nicht gezeigten, Vorlage. Fig. 1b
zeigt den entsprechenden Ausschnitt 100 eines so stark
gefilterten Ausgangsbilds der Vorlage, daß darin nur noch
Fragmente der Vordergrundinformation, hier des Linienzuges,
enthalten sind.
Die gezeigten Koordinaten A-F geben die horizontale Position und
die Koordinaten 1-5 die vertikale Position eines Bildpunktes an.
Wie aus Fig. 1a zu entnehmen ist, weist der Ausschnitt 10 des
Referenzbildes die Bildpunkte F1, B2, C2, B3, E3, C4 und B5 auf.
Der entsprechende Ausschnitt 100 des Ausgangsbildes in Fig. 1b
enthält nur noch die Bildpunkte B2 und C4. Die in Fig. 1b
fehlenden Bildpunkte F1, C2, B3, E3 und B5 sind durch eine
entsprechende Filterung verlorengegangen.
Um jeden der Bildpunkte des Ausgangsbildes Fig. 1b, der eine
Information enthält, also die Informationspunkte B2 und B5, wird
nun, sowohl in Ausschnitt 10 als auch in Ausschnitt 100, ein
jeweiliger Restaurationsbereich angelegt. Im weiteren sollen
Informationspunkte die einen Restaurationsbereich aufspannen zur
besseren Erkennbarkeit in den Figuren mit einem x markiert
werden. Die Fig. 2 zeigen die Nachbarpunktrestauration mit
einem 3×3 Bildpunkte enthaltenden Restaurationsbereich. Die
Fig. 3 zeigen die entsprechende Nachbarpunktrestauration mit
einem 5×3 Bildpunkte und einem 4×3 Bildpunkte enthaltenden
Restaurationsbereich.
Aus Fig. 2a ist zu erkennen, daß der 3×3 Bildpunkte enthaltende
Restaurationsbereich um den Informationspunkt B2 die Bildpunkte
C2 und B3 mitumfaßt. Der ebenfalls 3×3 Bildpunkte enthaltende
Restaurationsbereich um den Informationspunkt C4 hingegen umfaßt
die Bildpunkte B3 und B5. Diese Bildpunkte C2, B3 und B5 werden
als neu-restaurierte Bildpunkte nun entweder in das Ausgangsbild
nach Fig. 2b mitaufgenommen oder zusammen mit den
Informationspunkten B2 und C4 getrennt abgelegt. Aus den Fig.
2a und 2b wird ersichtlich, daß durch die Wahl der 3×3
Bildpunkte enthaltende Restaurationsbereiche der Linienzug B2,
C2, B3, C4 und B5 vollständig restauriert werden konnte, die
entfernter liegenden Bildpunkte F1 und E3 (z. B. die zufälligen
Verunreinigungen) hingegen ausgefiltert wurden.
Aus Fig. 3a ist zu erkennen, daß der 4×3 Bildpunkte enthaltende
Restaurationsbereich um den Informationspunkt B2 ebenfalls die
Bildpunkte C2 und B3 mitumfaßt. Der 5×3 Bildpunkte enthaltende
Restaurationsbereich um den Informationspunkt C4 hingegen umfaßt
neben den Bildpunkten B3 und B5 hier auch den Bildpunkt E3.
Damit wird durch die Wahl eines größeren Restaurationsbereiches
als in den Fig. 2 neben dem Linienzug B2, C2, B3, C4 und B5
auch der nicht unmittelbar benachbarte Bildpunkt E3 restauriert
und die neu-restaurierten Bildpunkte können entweder in das
Ausgangsbild nach Fig. 3b mitaufgenommen oder zusammen mit den
Informationspunkten B2 und C4 getrennt abgelegt werden.
Durch die Beispiele der Fig. 2 und 3 wird deutlich, daß der
Wahl der Größe der Restaurationsbereiches eine bedeutende Rolle
zukommt. Es ist jedoch auch zu betonen, daß einzelne, zufällige
Verunreinigungen, die nicht in unmittelbarer Nachbarschaft zu
den Hauptinformationen einer Vorlage liegen, selbst bei relativ
großen Restaurationsbereichen durch das erfindungsgemäße
Verfahren gut unterdrückt werden können.
Werden die neu-restaurierten Bildpunkte in das Ausgangsbild
mitaufgenommen und bilden so ein neues Ausgangsbild für einen
weiteren Restaurationsvorgang, so lassen sich dadurch
insbesondere zusammenhängende Linienzüge vorteilhaft
restaurieren. Eine sukzessive Restauration kann beispielsweise
so durchgeführt werden, daß die Restaurationen um alle
ursprünglich in dem Ausgangsbild vorhandenen Informationspunkte
gleichzeitig in einem ersten Schritt durchgeführt werden und die
neu gewonnenen Informationen in das Ausgangsbild geschrieben
werden. Dieses ergänzte Ausgangsbild, in dem die ergänzten
Bildpunkte nun neue Informationspunkte darstellen, kann dann als
Ausgangsbild für einen weiteren Restaurationsschritt dienen und
so weiter. Dabei ist zu verstehen, daß ein neuer
Restaurationsschritt jeweils nur mit den neu erhaltenen
Informationspunkten des vorangegangenen Restaurationsschrittes
durchgeführt werden muß. Die Fig. 4a-f zeigen als Sequenz eine
solche sukzessive Restauration.
Fig. 4a zeigt das Referenzbild und Fig. 4b das entsprechende
ursprüngliche Ausgangsbild. Ausgehend von den
Informationspunkten aus Fig. 4b wird, wie in Fig. 4c gezeigt,
mit 3×3 Bildpunkte enthaltenden Restaurationsbereichen um die
jeweiligen Informationspunkte eine erste Restauration
durchgeführt. Die hierdurch neu gewonnenen Bildpunkte werden in
das Ausgangsbild geschrieben und das so erhaltene, modifizierte
ursprüngliche Ausgangsbild als neues Ausgangsbild (Fig. 4d)
verwendet. Ein weiterer Restaurationsschritt, ausgehend von den
neu gewonnenen Informationspunkten, ergibt weitere
Informationspunkte (Fig. 4e), die erneut in das Ausgangsbild
geschrieben werden (Fig. 4f). Das in Fig. 4f dargestellte Bild
ist das Ergebnis der sukzessiven Restauration. Dabei ist zu
bemerken, daß der zusammenhängende Linienzug, gebildet aus den
Bildpunkten F2, E2, D2, D3, C4, D5, ES, E6, D7, C8 und B7,
vollständig rekonstruiert wurde, während einzelne Punkte, wie
die Punkte A2, H5, F9 und I9, nicht rekonstruiert und so
eliminiert wurden.
Eine andere sukzessive Restauration kann beispielsweise so
durchgeführt werden, daß die Restaurationen an einem
ursprünglichen Informationspunkt (z. B. einem Eckpunkt) beginnt.
Die durch die Restauration um den ersten Informationspunkt neu
gewonnenen Informationen werden unmittelbar in das Ausgangsbild
geschrieben. Dieses ergänzte Ausgangsbild, in dem die ergänzten
Bildpunkte nun neue Informationspunkte darstellen, dient dann
als Ausgangsbild für den nächsten Informationspunkt und so
weiter. So läßt sich beispielsweise eine Restauration
zeilenweise rekursiv durchführen. Dabei ist zu verstehen, daß
dieser zeilenweise Prozeß eventuell mehrfach durchlaufen werden
muß.
Die Fig. 5a-d zeigen eine beispielhafte Anwendung der
Erfindung. Fig. 5a zeigt die Vorlage für den erfindungsgemäßen
Restaurationsprozeß. Fig. 5b zeigt ein mit einem Schwellwert von
etwa 90% gefiltertes binarisiertes Schwarz/Weiß Bild der Vorlage
aus Fig. 5a, das als Referenzbild für die Restauration dienen
soll. Fig. 5c zeigt ein mit einem Schwellwert von etwa 50%
gefiltertes und binarisiertes Schwarz/Weiß Bild der Vorlage aus
Fig. 5a, das als Ausgangsbild für die Restauration dient. Fig.
5d zeigt das Ergebnis der mit Hilfe des Referenzbildes
durchgeführten Restauration des Ausgangsbildes. Daraus wird
ersichtlich, daß das erfindungsgemäße Verfahren eine geeignete
Trennung von Vordergrund- und Hintergrundinformationen
ermöglicht, so daß sich nachfolgende Bildverarbeitungsschritte
erfolgreich durchführen lassen.
Claims (17)
1. Verfahren zur Trennung einer Vordergrundinformation von
einer Hintergrundinformation in einer Vorlage, worin
in einem ersten Schritt
mindestens zwei Bilder von der Vorlage mit jeweils unterschiedlicher Filterung erzeugt werden,
dadurch gekennzeichnet, daß
ein erstes der Bilder so gefiltert wird, daß im wesentlichen nur noch Vordergrundinformationen, oder Fragmente davon, darin vorhanden sind,
dieses erste gefilterte Bild als Ausgangsbild für eine anschließende Bildrestauration dient, und
das mindestens eine verbleibende, zweite gefilterte Bild ein Referenzbild für die Bildrestauration darstellt; und
in einem zweiten Schritt
die Bildrestauration durchgeführt wird, so daß möglichst viele der in dem Ausgangsbild verlorengegangenen Vordergrundinformationen wieder restauriert werden, wobei
die Bildrestauration so bewerkstelligt wird, daß, ausgehend von Informationen in dem Ausgangsbild, durch Vergleichen der Informationen des Ausgangsbildes mit den Informationen des zumindest einen Referenzbildes die Informationen des Ausgangsbildes durch die Informationen des zumindest einen Referenzbildes ergänzt werden.
in einem ersten Schritt
mindestens zwei Bilder von der Vorlage mit jeweils unterschiedlicher Filterung erzeugt werden,
dadurch gekennzeichnet, daß
ein erstes der Bilder so gefiltert wird, daß im wesentlichen nur noch Vordergrundinformationen, oder Fragmente davon, darin vorhanden sind,
dieses erste gefilterte Bild als Ausgangsbild für eine anschließende Bildrestauration dient, und
das mindestens eine verbleibende, zweite gefilterte Bild ein Referenzbild für die Bildrestauration darstellt; und
in einem zweiten Schritt
die Bildrestauration durchgeführt wird, so daß möglichst viele der in dem Ausgangsbild verlorengegangenen Vordergrundinformationen wieder restauriert werden, wobei
die Bildrestauration so bewerkstelligt wird, daß, ausgehend von Informationen in dem Ausgangsbild, durch Vergleichen der Informationen des Ausgangsbildes mit den Informationen des zumindest einen Referenzbildes die Informationen des Ausgangsbildes durch die Informationen des zumindest einen Referenzbildes ergänzt werden.
2. Verfahren nach Anspruch 1, worin die Auswahl der zu
ergänzenden Informationen aus dem zumindest einen
Referenzbild in dem zweiten Schritt durch eine
Nachbarpunktbetrachtung durchgeführt wird.
3. Verfahren nach Anspruch 2, worin für die
Nachbarpunktbetrachtung einzelne Bereiche mit einer
bestimmten Größe um solche Punkte (Informationspunkte),
die im Ausgangsbild einen Informationsgehalt besitzen,
sowohl im Ausgangsbild als auch in dem mindestens einen
Referenzbild entsprechend angelegt werden, und in dem
Informationen, die in dem jeweilig entsprechenden Bereich
des mindestens einen Referenzbildes zusätzlich zu den
Informationspunkten vorhanden sind, als neue Informationen
ergänzt werden.
4. Verfahren nach Anspruch 3, worin die Größen der einzelnen
Bereiche um die Informationspunkte für alle
Informationspunkte gleich oder adaptiv festgelegt werden.
5. Verfahren nach Anspruch 3, worin die Größe eines Bereiches
durch die nähere Umgebung eines jeweiligen
Informationspunktes festgelegt ist.
6. Verfahren entsprechend einem der vorstehenden Ansprüche,
worin die Auswahl der zu ergänzenden Informationen aus den
Referenzbildern in dem zweiten Schritt durch eine Analyse
der Informationsdichte durchgeführt wird.
7. Verfahren entsprechend einem der vorstehenden Ansprüche,
worin die Ergänzungen in dem zweiten Schritt als neue
Informationen in das Ausgangsbild mitaufgenommen werden.
8. Verfahren entsprechend einem der vorstehenden Ansprüche,
worin die Ergänzungen in dem zweiten Schritt zusammen mit
den Informationen des Ausgangsbildes in einem neuen
Ergebnisbild abgelegt werden.
9. Verfahren nach Anspruch 7 oder 8, worin die Ergänzungen
als neue Informationspunkte betrachtet werden.
10. Verfahren nach Anspruch 9, bei dem ein sukzessives
Ergänzen des Ausgangsbildes durch ein Auswählen und
Ablegen der zu ergänzenden Informationen und einem
erneuten Auswählen und Ablegen der zu ergänzenden
Informationen aus dem jeweils neu erhaltenen
Ausgangsbildes durchgeführt wird.
11. Verfahren entsprechend einem der vorstehenden Ansprüche,
worin das Referenzbild ein ungefiltertes Bild der Vorlage
ist.
12. Verfahren entsprechend einem der vorstehenden Ansprüche,
worin die Vorlage ein von dem Orginalbild abgewandeltes
Bild, vorzugsweise ein farbgefiltertes Bild ist.
13. Verfahren entsprechend einem der vorstehenden Ansprüche,
worin die Filterung eine Schwellwert-Filterung ist.
14. Verwendung des Verfahrens entsprechend einem der
vorstehenden Ansprüche für eine Vorverarbeitung der
Vorlage vor einer nachfolgenden Bildverarbeitung.
15. Verwendung des Verfahrens entsprechend einem der
vorstehenden Ansprüche in einem Programm für eine
elektronische Datenverarbeitung.
16. Vorrichtung zur Trennung einer Vordergrundinformation von
einer Hintergrundinformation in einer Vorlage,
aufweisend:
erste Mittel zur Erzeugung von mindestens zwei Bildern
der Vorlage mit jeweils unterschiedlicher Filterung,
wobei
ein erstes der Bilder so gefiltert wird, daß im wesentlichen nur noch Vordergrundinformationen, oder Fragmente davon, darin vorhanden sind,
dieses erste gefilterte Bild als Ausgangsbild für eine anschließende Bildrestauration dient, und
das mindestens eine verbleibende, zweite gefilterte Bild ein Referenzbild für die Bildrestauration darstellt; und
zweite Mittel zur Bildrestauration, wobei
die zweiten Mittel möglichst viele der in dem Ausgangsbild verlorengegangenen Vordergrundinformationen wieder restaurieren, und
die zweiten Mittel einen Vergleicher aufweisen, der ausgehend von Informationen in dem Ausgangsbild, durch Vergleichen der Informationen des Ausgangsbildes mit den Informationen des zumindest einen Referenzbildes, die Informationen des Ausgangsbildes durch die Informationen des zumindest einen Referenzbildes ergänzt werden.
ein erstes der Bilder so gefiltert wird, daß im wesentlichen nur noch Vordergrundinformationen, oder Fragmente davon, darin vorhanden sind,
dieses erste gefilterte Bild als Ausgangsbild für eine anschließende Bildrestauration dient, und
das mindestens eine verbleibende, zweite gefilterte Bild ein Referenzbild für die Bildrestauration darstellt; und
zweite Mittel zur Bildrestauration, wobei
die zweiten Mittel möglichst viele der in dem Ausgangsbild verlorengegangenen Vordergrundinformationen wieder restaurieren, und
die zweiten Mittel einen Vergleicher aufweisen, der ausgehend von Informationen in dem Ausgangsbild, durch Vergleichen der Informationen des Ausgangsbildes mit den Informationen des zumindest einen Referenzbildes, die Informationen des Ausgangsbildes durch die Informationen des zumindest einen Referenzbildes ergänzt werden.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19517178A DE19517178C1 (de) | 1995-05-09 | 1995-05-09 | Hintergrundbereinigung bei elektronisch abgetasteten Bildern |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19517178A DE19517178C1 (de) | 1995-05-09 | 1995-05-09 | Hintergrundbereinigung bei elektronisch abgetasteten Bildern |
Publications (1)
Publication Number | Publication Date |
---|---|
DE19517178C1 true DE19517178C1 (de) | 1996-11-21 |
Family
ID=7761577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19517178A Expired - Fee Related DE19517178C1 (de) | 1995-05-09 | 1995-05-09 | Hintergrundbereinigung bei elektronisch abgetasteten Bildern |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE19517178C1 (de) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10017081A1 (de) * | 2000-04-06 | 2001-10-11 | Cgk Comp Ges Konstanz Mbh | Verfahren und Vorrichtung zur automatischen Zeichenerkennung |
DE10023931A1 (de) * | 2000-05-17 | 2001-11-22 | Heidelberger Druckmasch Ag | Verfahren zur Binarisierung von Bildvorlagen |
DE112006003272B4 (de) | 2005-11-30 | 2022-08-18 | Adobe Inc. | Verfahren und Vorrichtung zum Entfernen von Rauschen aus einem digitalen Bild |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4590606A (en) * | 1982-12-13 | 1986-05-20 | International Business Machines Corporation | Multi-function image processing system |
US5038381A (en) * | 1988-07-11 | 1991-08-06 | New Dest Corporation | Image/text filtering system and method |
EP0505729A2 (de) * | 1991-03-29 | 1992-09-30 | EASTMAN KODAK COMPANY (a New Jersey corporation) | Bildbinarisierungssystem |
DE3826285C2 (de) * | 1988-07-30 | 1995-02-16 | Univ Chicago | Verfahren und Anordnung zur Ermittlung von anormalen anatomischen Bereichen in einem digitalen Röntgenbild |
-
1995
- 1995-05-09 DE DE19517178A patent/DE19517178C1/de not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4590606A (en) * | 1982-12-13 | 1986-05-20 | International Business Machines Corporation | Multi-function image processing system |
US5038381A (en) * | 1988-07-11 | 1991-08-06 | New Dest Corporation | Image/text filtering system and method |
DE3826285C2 (de) * | 1988-07-30 | 1995-02-16 | Univ Chicago | Verfahren und Anordnung zur Ermittlung von anormalen anatomischen Bereichen in einem digitalen Röntgenbild |
EP0505729A2 (de) * | 1991-03-29 | 1992-09-30 | EASTMAN KODAK COMPANY (a New Jersey corporation) | Bildbinarisierungssystem |
Non-Patent Citations (3)
Title |
---|
Computer Vision, Graphics and Image Processing 41, 233-260, 1988 * |
HABERÄCKER, P.: "Digitale Bildverarbeitung", Carl Hanser Verlag München/Wien 1985, Kap. 8, 8.1, 8.2., 12.3 * |
IBM J.Res.Develop., Vol. 27, No. 4, July 1983, S. 400-411 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10017081A1 (de) * | 2000-04-06 | 2001-10-11 | Cgk Comp Ges Konstanz Mbh | Verfahren und Vorrichtung zur automatischen Zeichenerkennung |
DE10023931A1 (de) * | 2000-05-17 | 2001-11-22 | Heidelberger Druckmasch Ag | Verfahren zur Binarisierung von Bildvorlagen |
DE112006003272B4 (de) | 2005-11-30 | 2022-08-18 | Adobe Inc. | Verfahren und Vorrichtung zum Entfernen von Rauschen aus einem digitalen Bild |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0131676B1 (de) | Verfahren zum automatischen Digitalisieren des Umrisses von Strichgraphiken z.B. Buchstaben | |
DE19814075B4 (de) | Verfahren zum Abtasten und Erkennen mehrerer Fotografien und zum Beseitigen von Randfehlern | |
DE3716787C2 (de) | ||
DE60118240T2 (de) | Methode zur bildanalyse | |
DE4311172C2 (de) | Verfahren und Einrichtung zum Identifizieren eines Schrägenwinkels eines Vorlagenbildes | |
DE69926205T2 (de) | Artefaktentfernungstechnik für schiefenkorrigierte bilder | |
DE69631009T2 (de) | Bildverarbeitung mit angrenzenden Beziehungen zwischen Bildelementen | |
DE19956158A1 (de) | Bild-Binärisierungsverfahren auf Bereichsbasis | |
DE69925354T2 (de) | Bildverarbeitungssystem um vertikale Muster auf abgetasteten Bildern zu reduzieren | |
DE3923449A1 (de) | Verfahren zum bestimmen von kanten in bildern | |
DE102007040070B4 (de) | Bilddichteumwandlungsverfahren, Bildverbesserungsverarbeitungseinrichtung und dafür geeignetes Programm | |
WO1996019778A1 (de) | Verfahren zur trennung einer vordergrundinformation von einer hintergrundinformation in einer vorlage | |
DE3113555A1 (de) | Verfahren zum automatischen erkennen von weissbloecken sowie text-, graphik- und/oder graubildbereichen auf druckvorlagen | |
DE3633743A1 (de) | Zeichenerkennungssystem | |
DE102008013789A1 (de) | Vorrichtung, Verfahren und Programm zum Eliminieren von Zeichenstörungen | |
DE3789091T2 (de) | Bildverarbeitungsverfahren und -system zur Bildrekonstruktion. | |
DE68904611T2 (de) | Verfahren und vorrichtung zur erzeugung von gemischten bildern. | |
EP0402868B1 (de) | Verfahren zur Erkennung von vorab lokalisierten, in digitalen Grauwertbildern vorliegenden Zeichen, insbesondere zum Erkennen von in Metalloberflächen eingeschlagenen Zeichen | |
DE2435982A1 (de) | Verfahren und vorrichtung zur verarbeitung von durch abtastung eines mehrfarbigen musters erhaltenen informationen | |
DE3312050A1 (de) | Verfahren zum herstellen einer photographischen maske | |
DE19517178C1 (de) | Hintergrundbereinigung bei elektronisch abgetasteten Bildern | |
EP0950310A1 (de) | Verfahren zur bestimmung der geometriedaten von abtastvorlagen | |
WO1996036008A1 (de) | Hintergrundbereinigung bei elektronisch abgetasteten bildern | |
DE19536170A1 (de) | Ermittlung von Schwellwerten bei der Digitalisierung von Bildern durch eine Verteilungsanalyse der Informationen | |
DE69017500T2 (de) | Verfahren zur elektronischen Bildverarbeitung von Linienumrandungen. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8100 | Publication of patent without earlier publication of application | ||
D1 | Grant (no unexamined application published) patent law 81 | ||
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |