DE4308245C1

DE4308245C1 - Verfahren zur Erkennung von Schriftzeichen oder Schriftzügen

Info

Publication number: DE4308245C1
Application number: DE4308245A
Authority: DE
Inventors: Friedemann Groh
Original assignee: Individual
Current assignee: Individual
Priority date: 1993-03-16
Filing date: 1993-03-16
Publication date: 1994-11-03
Anticipated expiration: 2013-03-17

Description

Die Erfindung betrifft ein Verfahren zur Erkennung von Schriftzeichen oder Schriftzügen gemäß der Gattung des ersten Patentanspruchs.

Zur Erkennung von Schriftzeichen bedient man sich i. a. des Soll-Ist- Vergleichs. So ist es aus der EP 0079251 A22 und Philips Technische Rundschau, 33. Jg. (1973/74), Nr. 4, Seiten 93 bis 105 und Nr. 5, Seiten 134 bis 142 bekannt, ein Schriftzeichen durch eine Anzahl von markanten Punkten, ihre Lagen zueinander und die Linienführungen zwischen ihnen zu erfassen. Ausgehend von Pixeln (Pixelgeneration) der Umrißlinie eines Schriftzeichens wird dieses nach innen gehend so lange verdünnt, skelettiert, bis nur noch eine Pixelbreite übrig bleibt. Abgesehen davon, daß dieses Verdünnungsverfahren umständlich ist und in Abhängigkeit von der jeweiligen, alternierenden Strichbreite es Pixel gibt, die mehrfach erfaßt werden, erkennt das Verdünnungsverfahren häufig Strukturen, die für ein Schriftzeichen untypisch sind, so daß die Erkennung eines Schriftzeichens nicht oder fehlerhaft zustande kommt.

Aus der DE 38 25 582 A1 sind ein Verfahren und eine Anordnung zum Erkennen von Zeichen bekannt, bei denen die Zeichen abgerastert, digi talisiert und mit Referenzzeichen verglichen werden. Hierbei geht es um die Herstellung einer höchstmöglichen Übereinstimmung zwischen je weils zwei Zeichen in ihrer Gesamtheit. Eine Erfassung von hand schriftlichen Zeichen ist wegen der unterschiedlichen Schreibweisen da mit kaum oder nicht möglich.

Aus der EP 0261997 A1 ist ein Verfahren zur Erkennung von Handschriften bekannt, das für das direkte Maschinenschreiben eines handschriftlichen Textes benutzt werden kann. Das Verfahren erfordert zunächst die Ermittlung von charakteristischen Elementen des Verlaufs der Handschrift, um danach den Vergleich dieser charakteristischen Elemente mit Referenzelementen vornehmen zu können und ist daher recht umständlich.

Die DE 34 25 449 A1 offenbart ein Verfahren und eine Vorrichtung zur alphanumerischen Handschriftenerkennung; das jeweilige Zeichen wird über seine Randlinien erfaßt, die bekanntlich starken unregelmäßigen Störungen unterworfen sind. Auch dieses Verfahren arbeitet deshalb nicht zuverlässig.

Ebenfalls ein Bilderkennungssystem beinhaltet die EP 0519737 A2, bei der unabhängig von der Größe Bilder auf Grund von inneren Strukturen charakterisiert und verglichen werden. Der Vergleich findet über Knoten, Linien und Kurven und an Hand von Summenkriterien statt. Auch in diesem Fall werden die Bilder skelettiert. Das Verfahren ist daher mit den Mängeln der Skelettierung behaftet und darüber hinaus umständlich.

Schließlich offenbart die EP 0288266 B1 einen Diskriminator für handgeschriebene und maschinengedruckte Buchstaben, der aus dem Zählergebnis der horizontalen, vertikalen und schrägen Schriftelemente darauf Rückschlüsse zuläßt, ob es sich bei dem ermittelten Dokument um ein maschinengeschriebenes oder handgeschriebenes handelt.

Der Erfindung liegt nun die Aufgabe zugrunde, ein Verfahren zur Erkennung von Schriftzeichen oder Schriftzügen mit Hilfe eines Soll-Ist- Vergleichs zu schaffen, auf das einerseits individuelle Eigenarten wie Schriftgröße, Schriftdicke, Schriftneigung und Schriftführung keinen Einfluß haben, sofern nur die handgeschriebenen Schriftzeichen als solche lesbar und aneinandergefügt erscheinen. Andererseits soll es die Unsicherheiten und Unregelmäßigkeiten der Schriftzeichenerkennung ausschalten, die durch Benutzung der Umrißlinie eines Schriftzeichens als Ausgangskriterium zu seiner Erkennung entstehen.

Gemäß der Erfindung wird diese Aufgabe durch die Merkmale des ersten Patentanspruchs gelöst. Es werden also, wie bereits bekannt, die jeder Schreibschrift eigentümlichen Punkte eines Buchstabens oder einer Buchstabenfolge einer Schrift teilweise oder vollständig sowie weitere generelle Schrifteigentümlichkeiten zur Erkennung herangezogen. Solche Eigentümlichkeiten sind im wesentlichen die Differenz zwischen Groß- und Kleinbuchstaben, die bei Großbuchstaben fehlenden Anstriche, die in denselben Punkt zurückkehrende Schleifen bei lateinischen Schrift zeichen. Die Punkte und Eigentümlichkeiten müssen nicht sämtlich bei jedem Schriftzeichen berücksichtigt werden. Es genügt z. B. die Ver wendung der Knotenpunkte (Eingangs-, Kreuzungs-, Verzwei gungspunkte) beim handgeschriebenen "a", die Hinzunahme eines Teils oder aller Extrempunkte beim handgeschriebenen "b" und die Hinzunahme der geschlossenen Schleife beim handgeschriebenen "l".

Die markanten Punkte umfassen bekanntlich Eingangs-, Kreuzungs-, Verzweigungs-, End-, Ausgangs- und Extrempunkte. Die Eingangspunkte befinden sich am Beginn eines Schriftzeichens oder Schriftzuges, z. B. am Beginn eines Anstrichs. Die Kreuzungs- oder Verzweigungspunkte werden von sich kreuzenden oder verzweigenden bzw. zusammentreffenden Buchstabenlinien gebildet. Ausgangspunkte sind die letzten Punkte der Buchstaben, die zu neuen Buchstaben überleiten, deren Eingangspunkte bilden, oder sich am Ende eines Wortes befinden. Endpunkte sind Umkehrpunkte in der Schriftführung; an ihnen ist das Schriftzeichen nicht zu Ende, sondern es findet eine abrupte Umkehrung der Linienführung um 180° statt. Extrempunkte sind die am weitesten nach oben, unten, rechts oder links ausladenden Punkte einer stetigen Schriftlinienführung. Im folgenden werden die Eingangs-, Kreuzungs- und Verzweigungspunkte als Knotenpunkte bezeichnet und die End- und Ausgangspunkte zu den Extrempunkten gerechnet.

Beim Soll-Ist-Vergleich werden nun die näheren und die ferneren Umgebungen der Ist- und Soll-Knotenpunkte miteinander verglichen, die in einem Ist- und Soll-Netzwerk liegen. Beim Nichtübereinstimmen der näheren und ferneren Umgebung eines in den Vergleich einbezogenen markanten Ist-Punktes mit den entsprechenden Umgebungen des zuge hörigen markanten Soll-Punktes wird auf den nächsten zurückliegenden Ist-Punkt zurückgegangen, bei dem die Übereinstimmung der näheren und ferneren Umgebungen von Ist- und Soll-Punkt bereits festgestellt wurde. Die nähere Umgebung eines Knotenpunktes geht nur bis zu den unmittelbaren Nachbarknotenpunkten, während die fernere Umgebung darüber hinaus geht und alle zu vergleichenden Knotenpunkte einbe zieht. Gelangt man bei diesem Vergleichsverfahren auf den Eingangs punkt als Knotenpunkt zurück und stellt auch dann keine Über einstimmung fest, so ist das Schriftzeichen oder der Schriftzug nicht erkennbar.

Vor dem Soll-Ist-Vergleich wird das jeweilige Schriftzeichen oder der entsprechende Schriftzug in ein Pixelfeld eingefügt und in einem Netzwerk dargestellt. Erfindungsgemäß werden ausgehend von einem markanten Anfangspunkt Feldpixel eines Linienzugs in Generationen erfaßt, wobei im Verlauf des Vergleichs jede Generation von Pixeln nur einmal erfaßt wird. Jeder Punkt einer Generation von Pixeln befindet sich von einem Punkt der vorangehenden Pixelgeneration und von mindestens einem benachbarten Punkt der eigenen Pixelgeneration innerhalb eines begrenzten Abstands. Mit anderen Worten wird ein Linienzug von vorgegebenen Pixeln aus erfaßt, die die erste Generation darstellen. Von einer n-ten Generation einer Menge von Pixeln gelangt man zur nächsten Generation, indem man alle Pixel sucht, die zu den Pixeln der n-ten Generation einen begrenzten Abstand nicht überschreiten und die nicht zur (n-1)-ten Generation gehören. Auf diese Weise werden alle Pixel erreicht, die mit den vorgegebenen Pixeln zusammenhängen. Wenn demnach die Pixel einer Generation nicht mehr vollständig, jedoch in Teilen zusammenhängen, die untereinander nicht verbunden sind, liegt eine Verzweigung vor. Die zusammenhängenden Teile stellen die vorge gebenen Pixel dar, von denen aus die abzweigenden Linien in der vorstehend beschriebenen Weise untersucht werden. Das Verfahren kann grundsätzlich die Behandlung von jedem Punkt des Schriftzugs aus beginnen.

Treten Verbreiterungen in den Schriftzeichen oder Schriftzügen auf, so werden diese vorteilhaft vor dem Soll-Ist-Vergleich in Clustern zusammengefaßt, die aus mehreren Pixeln bestehen, welche alle zur selben Generation gehören und gespeichert werden. Durch die Clusterbildung wird das erfindungsgemäße Verfahren insbesondere an Kreuzungs- und Verzweigungspunkten, an denen mehrere Linien zusammentreffen, erheblich stabilisiert. Zur Clusterbildung werden alle Pixel erfaßt, die in einer Fläche liegen, deren Schwärzung über einem Schwellwert, z. B. 70%, liegt.

Zur Durchführung des erfindungsgemäßen Verfahrens wird vorteilhaft ein Rechner verwendet.

Die Zeichnung wird nachstehend an Hand der schematischen Zeichnung näher erläutert. Es zeigt

Fig. 1 ein Pixelfeld mit einem eingeschriebenen "a",

Fig. 2 die markanten Punkte am Schriftzeichen "a",

Fig. 3 eine Verzweigungsdarstellung in einem Pixel feld,

Fig. 4 eine Extremwertdarstellung in einem Pixelfeld,

Fig. 5 ein Cluster und

Fig. 6 eine Variation der Linien zwischen markanten Punkten eines "a".

In Fig. 1 ist ein Schriftzeichen "a" 1 handschriftlich aufgezeichnet und in einem Pixelfeld 2 dargestellt. Dabei weist das Schriftzeichen 1 gemäß Fig. 2 einen Anfangspunkt 3 und drei Verzweigungs- oder Kreuzungspunkte 4, 5, 6 als Knotenpunkte sowie einen Endpunkt 7, einen Ausgangspunkt 8 und vier Extrempunkte 9, 10, 11, 12 auf, von denen die Extrempunkte 9, 10, 11, 12 nur im Bedarfsfall zur Erfas sung des Schriftzeichens oder Schriftzuges herangezogen werden. Zur Erfassung des "a" genügen grundsätzlich die zwischen den Knotenpunkten bestehenden einfachen Linien 1 und die von diesen Linien belegten quadratischen Pixel des Pixelfelds 2. Der Anfangspunkt 3 der das Schriftzeichen 1 darstellenden Linie befindet sich in einem Flächenelement der nullten Generation. Alle Punkte, die zum Anfangspunkt 3 einen bestimmten Abstand haben, gehören zur Linie 1, sie bilden die erste Generation. Im selben Abstand von den Punkten der ersten Generation befinden sich die Punkte der zweiten Generation usw. bis zur neunten Generation. Dabei werden die Linienpunkte jeder Generation nur einmal erfaßt und danach markiert, so daß der Algorithmus zur Erfassung neuer Generationen sich nur vorwärts bewegen kann, und zwar so lange, bis der Ausgangspunkt 8 am Ende des Linien zugs 1 erreicht worden ist. Statt am Ausgangspunkt 8 können die Generationen auch an einem Knotenpunkt enden, der nicht Eingangspunkt ist, und dort kann eine neue Generationsfolge beginnen. Grundsätzlich gilt, daß alle Pixel zu einer Generation (n+1) gehören, die von der vorhergehenden Generation n einen Abstand e haben. Ist der Abstand größer als e, wird die Generationenfolge unterbrochen. Das kann am Ende eines Schriftzeichens oder an einem Verzweigungs- bzw. Kreuzungspunkt der Fall sein. Die Pixel im gleichen Abstand zu einem Zentrum bilden im vorliegenden Fall Quadrate. In gleicher Weise könnten sie auch Kreise oder Dreiecke bilden, wobei allerdings von vornherein Überlappungseffekte zustande kämen. Der Abstand zwischen den aufeinanderfolgenden Generationen innerhalb einer Generationenfolge ist i. a. gleich; er kann auch variieren. Ist er relativ groß, so arbeitet das erfin dungsgemäße Verfahren auch dann stabil, wenn Lücken im Linienzug sind, die maximal die Größe des Abstands haben. Dafür sind Kreuzungen, Verzweigungen oder kurze Enden im Linienzug weniger gut oder nicht erfaßbar.

Tritt gemäß Fig. 3 mindestens eine Generation in Teilen 13, 14 an verschiedenen Stellen eines Pixelfeldes 2 auf, so ist eine Verzweigung angezeigt. Von den Teilen 13, 14 aus beginnen erneut Generationenfolgen jeweils mit der Generation Null als Ursprung.

Zur Bestimmung der Extrempunkte 9 bis 12 einer Linie des Schriftzeichens 1 wird das Vorzeichen des Anstiegs der Linie jeweils über mehrere Generationen abgeleitet (Fig. 4). Die Anzahl der hierzu verwendeten Generationen darf nicht zu klein sein, weil sonst das Ergebnis schon bei kleinen Störungen im Schriftzug erheblichen Schwankungen unterworfen ist. Sie darf aber auch nicht zu groß sein, weil sonst Richtungsänderungen zu träge oder überhaupt nicht wahrgenommen werden. Die Anzahl der Generationen, die für die Bestimmung des Anstieges notwendig ist, hängt von der Größe der Schrift ab. Je nachdem, ob bei der Bestimmung des Anstiegs die Anzahl der positiven oder negativen Ergebnisse überwiegt, verkörpert die Generatio nenfolge eine steigende oder fallende Linie. An den Stel len, an denen beim Abfahren der Anstieg das Vorzeichen wechselt, befindet sich der jeweilige Extrem wert 9, 10, 11, 12.

Die Erfassung einer Linie in Pixelgenerationen geschieht gemäß einer rekursiven Prozedur, bei der von einer n-ten Generation ausgehend eine (n+1)-te Generation erfaßt wird, sofern die Pixel nicht schon von der n-ten Generation erfaßt worden sind. Bei der Erfassung der Generationenfolge wird nicht nur die Lage der Extrempunkte, sondern es werden auch das Ende einer Linie sowie die Kreuzungen oder Verzweigungen im Linienzug bestimmt und markiert; bereits markierte Knoten- oder Extrempunkte werden als solche erkannt und berücksichtigt.

Treffen in einem Schriftzeichen mehrere Linienzüge in einem Knoten zusammen, in Fig. 5 sind es sieben Linienzüge 18 bis 24, oder liegen die Linienzüge sehr eng beieinan der, so daß ihre Grenzen verschwimmen, oder befinden sich in einem Linienzug ungewollte Verdickungen, so bereitet die Erfassung dieser Stelle des Linienzugs mit Hilfe von Pixelgenerationen Schwierigkeiten. Das ist bspw. beim geschriebenen "k" der Fall. In diesem Fall muß die be trachtete Fläche um das Pixel quer zur Linie größer sein als die mittlere Linienbreite. Die Pixel werden zu einem Cluster 15 zusammengefaßt, wobei alle zu dem Cluster 15 gehörenden Pixel als zur selben Generation gehörend ange sehen werden. Die Clusterbildungg wird vor der eigentlichen Schriftzeichenerkennung durchgeführt. Die Cluster werden im Pixelfeld markiert und in Listen gespeichert. Jedes Pixel wird nur einmal in einem Cluster erfaßt.

Zur Charakterisierung eines Schriftzeichens (Buchstabens) 1 sind im allgemeinen Fall nicht nur die Knotenpunkte und Extrempunkte, sondern auch die Wege zwischen ihnen von Bedeutung. Für die Relativlage zweier Knotenpunkte a und b gilt es, folgende Fälle zu unterscheiden:

1. Knotenpunkt b liegt links vom Knotenpunkt a,
2. Knotenpunkt b liegt rechts vom Knotenpunkt a,
3. Knotenpunkt b liegt über dem Knotenpunkt a,
4. Knotenpunkt b liegt unter dem Knotenpunkt a.

Diese Fälle lassen sich auch sinnvoll miteinander kombi nieren, z. B. kann Knotenpunkt b links von und über Knoten punkt a liegen.

Zwischen zwei Knotenpunkten kann ein Linienzug in vier Richtungen über Extrempunkte verlaufen, und zwar

5. der Extrempunkt liegt oben im nach rechts ge krümmten Linienzug,
6. der Extrempunkt liegt unten im nach rechts ge krümmten Linienzug,
7. der Extrempunkt liegt oben im nach links ge krümmten Linienzug,
8. der Extrempunkt liegt unten im nach links ge krümmten Linienzug.

Als weitere Kriterien zur Erfassung eines handschriftlich geschriebenen Zeichens sind die Buchstabenhöhen der großen und kleinen Buchstaben sowie die Tatsache zu nennen, daß eine Linie keinen Extrempunkt außer dem Ausgangspunkt des Schriftzeichens besitzt. Ferner ist für die Erkennung eines Schriftzeichens oder eines Schriftzuges von Bedeu tung, daß bei einer von einem Knotenpunkt a nach einem Knotenpunkt b verlaufenden Linie der Knotenpunkt b kein Schriftzeicheneingang ist, und ob die Linie von a zum Eingang bzw. zum Ausgang oder zu einem Ende des Buchsta bens führt oder ob eine von a ausgehende Linie nach einer Schleife zum Knotenpunkt a zurückkehrt.

Schließlich sind gewisse Steuerungen hinsichtlich des Vergleichs der Soll- und Ist-Linie vorzunehmen. Dadurch ergeben sich 18 Kriterien, die maximal bei der Erkennung eines Schriftzeichens oder Schriftzuges zu be rücksichtigen sind. Nicht alle Kriterien müssen bei einem Schriftzeichen zur Anwendung kommen; bspw. genügen zur Erkennung des "a" gemäß Fig. 2 die Knotenpunkte 3, 4, 5, 6 sowie das Ende 7 und der Ausgangspunkt 8. Zunächst wird also die Lage der Knotenpunkte untereinander ermittelt und wenn damit kein Buchstabe erkannt wird, werden weitere Kriterien herangezogen. Auf diese Weise werden strengere Forderungen an die Form des Linienzuges gestellt.

Wie in Fig. 6 angedeutet ist, sind viele Variationen zur Führung der Linienzüge 16, 17 zwischen den markanten Punk ten 3 bis 8 des geschriebenen "a" möglich; es wird bei Einhaltung der relativen Lage dieser Punkte zueinander immer als "a" erkannt, weil folgende Bedingungen eingehal ten werden:

- Knotenpunkt 4 liegt rechts vom Knotenpunkt 3,
- Knotenpunkt 3 liegt links vom Knotenpunkt 4,
- Knotenpunkt 5 liegt rechts vom Knotenpunkt 4,
- Knotenpunkt 6 liegt rechts unter dem Knotenpunkt 4,
- Knotenpunkt 4 liegt links vom Knotenpunkt 5,
- Knotenpunkt 6 liegt unter dem Knotenpunkt 5,
- im Knotenpunkt 3 befindet sich ein kurzes Ende 7,
- Knotenpunkt 4 liegt links über Knotenpunkt 6,
- Knotenpunkt 5 liegt über Knotenpunkt 6,
- Extrempunkt 8 ist Ausgangspunkt.

Mit der Anzahl der Knotenpunkte, ihren Beziehungen unter einander und ggf. der Beschreibung der Wege zwischen ihnen ist jedes Schriftzeichen eindeutig definiert.

Zur Feststellung der Übereinstimmung zweier Knotenpunkte A und B in einem Soll-Ist-Netzwerk werden eine rekursiv arbeitende Funktion "Umwelt" und eine Liste benötigt, deren Elemente Nachbarknoten von B sind. Sie ist wahr, wenn die beiden näheren Umgebungen der Knotenpunkte A und B übereinstimmen, und falsch, wenn sie nicht übereinstim men. Vor dem Vergleich ist die Liste leer. Die Funktion nimmt einen Nachbarknotenpunkt A_i von A auf und sucht danach einen passenden Nachbarknotenpunkt B_z von B, mit dem die Wege zwischen B und B_z sowie A und A_i gleich sind. B_z darf nicht in der Liste der Nachbarknoten von B erwähnt sein. Findet die Funktion keinen solchen Nachbarknoten von B_z, so ist sie falsch. Anderenfalls wird der gefundene Knoten B_z in der Liste gespeichert. Danach wird die Funktion mit dem nächsten Nachbarknoten A_i+1 aufgerufen. Ergibt sich dabei ein negatives Resultat, wird der vorher in der Liste gespeicherte Knoten B_z gelöscht, und es wird ein anderer Knoten B_u gesucht, der die Forderung erfüllt. Findet sich kein Knoten B_u mehr, so ist die Funktion falsch. Die Funktion ist wahr, wenn alle Nachbarknoten von A aufgerufen worden sind.

Die ferneren Umgebungen der Knotenpunkte A und B werden im Rahmen eines Soll-Ist-Vergleichs analog zur Fig. 2 verglichen. Die Soll-Knotenpunkte B_{3 bis 6} werden dabei jeder nur einmal und so aufgerufen, daß jeder neu aufgerufene Knotenpunkt direkter Nachbar eines früher aufgerufenen Knotenpunktes ist. Demzufolge werden nacheinander die Soll- und Ist-Knotenpunkte in der Reihenfolge 3, 4, 5, 6 oder 3, 4, 6, 5 verglichen und Übereinstimmung festge stellt.

Claims

1. Verfahren zur Erkennung von Schriftzeichen oder Schriftzügen mit Hilfe eines Soll-Ist-Vergleiches, bei dem jedes Schriftzeichen oder jeder Schriftzug durch eine Anzahl markanter Punkte, ihre Lage zueinander und die Linienführung zwischen ihnen definiert und in ein Pixelfeld einfügbar ist, das in Generationen erfaßt wird, dadurch gekennzeichnet, daß die erste Generation der Pixelerfassung von einem Punkt ausgeht, jedes Pixel nur einmal erfaßt wird und jedes Pixel einer Generation von einem Pixel der vorangehenden Generation einen definierten Abstand nicht überschreitet.

2. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, daß die Unterbrechungen in den Pixelgenerationen erfaßt werden.

3. Verfahren gemäß Anspruch 2, dadurch gekennzeichnet, daß das Ausbleiben von Pixelgenerationen erfaßt wird.

4. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, daß mehrere aufeinanderfolgende Pixelgenerationen zur Bestimmung von markanten Punkten benutzt werden.

5. Verfahren gemäß mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß Verbreiterungen in den Schriftzeichen oder Schriftzügen in Clustern zusammengefaßt werden, welche zur selben Pixelgeneration gehören und gespeichert werden.

6. Verfahren gemäß Anspruch 5, dadurch gekennzeichnet, daß alle Pixel erfaßt werden, die sich in einer Fläche befinden, deren Schwärzung über einem Schwellwert liegt.