-
Verfahren für die maschinelle Zeichen-
-
erkennung mittels Schätzwert-Polynomen Die Erfindung bezieht sich
auf ein Verfahren für die maschinelle Zeichenerkennung zur Auswahl von Bildelementen
und Bildelementkombinationen innerhalb eines Zeichenfensters, in Polynomen dienen,
welche die als mit Gewichtungskoeffizienten zu versehende Argumente / Klassenzugehörigkeits-Schätzwerte
bestimmen, bei dem vorgegebene, entsprechend ihrer Klassenzugehörigkeit gekenn--zeichnete
Zeichenmuster ("Stichproben") abgetastet werden, anhand der Abtastergebnisse den
Mustern zugeordnete Merkmalsgesamtheiten registriert werden und die Anzahl der Merkmale
dieser Merkmalsgesamtheiten mit einer rechnerischen Transformation reduziert wird.
-
Es ist das Zeichenerkennungsverfahren bekannt, vgl. etwa die deutschen
Offenlegungsschriften 2 262 873 und 2 341 387, das darin besteht, zu Zeichen, die
in der Erkennungsmaschine in einem in Rasterelemente aufgeteilten Zeichenfenster
gelesen werden, die jeweilige Klassenzugehörigkeit des gelesenen Zeichens durch
Klassenzugehörigkeits-schätzwerte d, zu
ermitteln, die für alle
Zeichenklassen k des Zichenvorrats durch jeweils die Formel
errechnet werden, wobei die Argumente x. entweder jeweils ein einzelnes Bildelement
in dem Raster des nldfensters sein können (lineares Glied des Polynoms, wobei Xi
= 1 wenn zum Zeichen gehörig und x. = 0 wenn nicht zum Zeichen gehörig) oder aber
auch das Produkt aus zwei solchen Bildelementen, welches ebenfalls O oder 1 ist
(quadratisches Glied). Die aik-Verte sind Gewichtungs-Koeffizienten.
-
Bei der Bildung der Glieder derartiger Polynomklassifikatoren können
auch höhere Potenzen, d.i. Kombinationen von mehr als zwei Bildelementen berücksichtigt
werden. Bei der Kombinationsbildung ist stets die Kombination eines Elements mit
sich selbst eingeschlossen. Die Koeffizienten aik können durch ein Optimi.erungsverfahren
auf der Basis VOll mit ihrer Klassenzugehörigkeit gekennzeichneten Lernstichproben
eingestellt werden (Adaption des Erkennungssystems), vgl. "Die Adaption von Zeichenerkennungssystemen
mit Hilfe der Regressionsanalyse" in "lektronisce Rechenanlagen" 11 (1969) 5. 21
- 28.
-
Schwierigkeiten bereitet jedoch der Ansatz der zugrunde zu legenden
Polynomstruktur. Im Fall eines quadratischen Klassifikators mit etwa 200 Bildelementen
liegt die Anzahl der möglichen Merkmalspaare bei 20 000, jedoch kann man bei der
Adaption aus Gründen des Aufwands bzw. der Berechnungszeit keine längeren Polvnomansätze
als etwa 1200 zulassen. Bei willkürlicher Auswahl von nur 1200 Elementen aus z.B.
etwa 20 000 möglichen muß damit gerechnet werden, daß die Leistungsfähigkeit des
Xlassifikators unangemessen beschränkt wird.
-
Aufgabe der vorliegenden Erfindung ist die Schaffung eines Merkmalsauswahlverfahrens,
das die Auswahl an die zu erkennenden Zeichen eines vorgegebenen Zeichenvorrats
angepaßt so durchführt, daß die Schätzwertberechnungen in einfacher Weise, insbesondere
nur mit Binäradditionen (wie bei den weiter oben genannten deutschen Offenlegungsschriften)
durchgeführt werden können.
-
Es ist bereits bekannt - vgl. den Aufsatz "Zum Problem der Merknialsreduzierung
ei der Zeichenerkennung" in 18Wissenschaftliche Berichte AEG-Telefunken" 47 (1974),
S. 100 - 110 -, zum Zwecke der Merknialsreduktion von entsprechend ihrer Klassenzugehörigkeit
gekennzeichneten vorgegebenen Zeichenmustern (Stichproben) ausgehend anhand der
Abtastergebnisse den einzelnen Mustern zugeordnete Merkmalsgesamtheiten (Merkmalsvektoren)
zu ermitteln, bei denen alle im Zeichenfenster abtastbaren einzelnen Bildelemente
berücksichtigt sind, und dann, verbunden mit einer Koordinatentransformation, insbesondere
Hauptachsentransformation, eine (Vektor-)Koordinaten-"Verstümmelung" durch Auswahl
einer geringeren Anzahl von Koordinaten vorzunehmen. Die Auswahl soll nach Maßgabe
der Größe der Eigenlferte 2 i der Eigenvektoren b i der Kovarianzmatrix g getroffen
werden, die sich nach der ohne Riicksicht auf die Klassenzugehörigkeit der Muster
berechneten Formel bestimmt, wobei, wenn mit {V} die Menge der vorgenannten Merkmalsvektoren
bezeichnet ist, daraus der Erwartungswert und daraus g zu bestimmen ist.
-
Erfindungsgemäß wird ein Verfahren der eingangs genannten Art in der
Weise durchgeführt, daß 1) die Abtastergebnisse in einem Rechenwerk ausgewertet
werden, das a) zu der reduzierten Anzahl von Merkinalen für alle Zeichenklassen
je ein Schätzwert-Polynom unter Verwendung nur dieser Merkmale und ihrer Kombinationen
mindestens der Potenz 2 ermittelt, b) diese Polynome dann umrechnet in solche, denen
alle im Zeichenfenster abtastbaren Bildelemente nebst deren Kombinationen mindestens
der Potenz 2 zugrunde gelegt sind, c) zu den einzelnen Bildelementen und Bildelementkombinationen
jeweils einen Wichtigkeitswert aus den zugehörigen Gewichtungskoeffizienten sämtlicher
Polynome berechnet, daß 2) aus den Wichtigkeitswerten eine Teilmenge abgrenzbar
gemacht wird, deren einzelne Mitlieder dem Betrage nach größer sind als die der
Restmenge, und daß 3) diejenigen Bildelemente und Bildelementkombinationen, die
den einzelnen Mitgliedern der Teilmenge zugeordnet sind, in einen Speicher zur Registrierung
übermittelt werden.
-
Vorzugsweise ist dabei vorgesehen, daß als Wichtigkeitswerte die Summe
der Quadrate der einzelnen Gewichtungskoeffizienten ermittelt wird, die jeweils
zu demselben Bildelement bzw.
-
derselben Bildelementkombination gehören.
-
Anhand der Zeichnungen wird ein Ausführungsbeispiel des erfindungsgemäßen
Verfahrens nachfolgend näher erläutert.
-
Fig. 1 zeigt Einrichtungen, mit denen das erfindungsgemäße Verfahren
durchgeführt wird, in schematischer Darstellung, Figuren 2 und 3 zeigen Diagramme
zu Rechenvorgängen.
-
In Fig. 1 ist 1 ein optischer Abtaster z.B. einer Zeichenerkennungsmaschine,
der z.B. eine Fotodiodenzeile enthält und durchlaufende Zeichen je in einem Zeichenfenster
abtastet, das in z.B. 12x18 Rasterquadrate aufgeteilt sein kann, deren jedes eines
der vorgenannten Bildelemente ergibt.
-
Es werden zunächst Zeichenmuster des später zu lesenden Zeichenergebnisse
numerisch vorrats abgetastet und die Abtast- / (durch die Rasterquadratnummer und
zugehörigen "schwarz" oder "weiß" Vermerk) nebst den Kennzeichnungen der jeweiligen
Zeichenklasse-in einem Speicher 2 gespeichert. Die Merkmalsgesamtheiten der einzelnen
Muster, nämlich "Schwarz" (=1) oder "Weiß" (=O) Beschreibungen der einzelnen (hier
216) Rasterelemente, können wie bekannt als Merkmalsvektoren aufgefaßt werden.
-
Vom Inhalt des Speichers 2 abgeleitet wird in einem Speicher 3 eine
gleiche Menge von den einzelnen Mustern zugeordneten Merkmalsgesamtheiten~eingetragrn,
deren jeweilige Merkmalsanzahl, m.a.W. Merkmalsvektor-Dimßnsion, gegenüber der des
Speichers 2 nach dem Vorgehen des weiter oben genannten Aufsatzes über Merkmalsreduzierung
vermindert ist. Dies geschieht dadurch, daß mittels eines Rechenwerks 4 im Wege
des bereits weiter
nach der Reduktion verbliebenen vorgenannten,
Merkmale und möglichen Merkmalspaarungen berücksichtigen. Die Berechnung der Koeffizienten
kann nach dem bekannten Vorgehen der Quadratmitteladaption ausgeführt werden1 wie
es in dem eingangs genannten, die Adaption von Zeichenerkennungssystemen behandelnden
Aufsatz angegeben ist.
-
Bei der zugrunde gelegten reduzierten Merkmalsanzahl von ca.
-
40 ist diese Berechnung mit vertretbarem Aufwand durchführbar.
-
Jedoch würde die Gewinnung von Klassenzugehörigkeits-Schätz werten
auf dieser Basis außer der Tranformation echte Multipli kationen erfordern, da die
transformierten Merkmale nicht mehr einfache Binärverte 0 oder 1 sind.
-
oben angegebenen Rechenverfahrens über die Kovarianzmatrix die Eigenwerte
/|i von Merkmalsvektoren bi berechnet und dann durch eine Auswahl einrichtung 5
die z.B. 40 größten Eigenwerte herausgesucht und mit den zugehörigen Eigenvektoren
bi in einem Transformationsrechenwerk 6 die Menge der Merkmalsvektoren aus Speicher
2 in die der genannten koordinatenreduzierten, z.B. 40-dimensionalen tierkmalsvektoren
im Speicher 3 umgesetzt wird.
-
Auf der Grundlage der nach dem bekannten Verfahren erhaltenen Merkmalsvektoren
des Speichers 3, die sich nach wie vor auf die vorgegebenen Lern-Muster beziehen,
d.h. deren Merkmale - wenn auch in unvollständiger Form - wiedergeben, wird nunmehr
in einem Rechenwerk 7 (Arbeitsstufe a) ein sog.
-
"zweistufiger" (weil nicht unmittelbar auf die Bildelemente des Speichers
2 bezogener) Klassifikator, nämlich die Gesamtheit der Schätzwert-Polynome berechnet,
deren Glieder alle
wie vorstehend angegeben anschließend
Die / erhaltene Polynomgesamtheit wird daherin dem Rechenwerk 7 (Arbeitsstufe b)
umgerechnet in einen "einstufigen", nämlich wieder auf alle Bildelement-Merkmale
des Speichers 2 direkt bezogenen Elassifikator, also eine Polynomgesamtheit, deren
Polynome bei Benjcksichtigung aller einzelnen Merkmale und möglichen Merkmalspaarungen
jeweils aus ca. 20.000 Gliedern bestehen.
-
Wenn die Vektordimension der Merkmalsgesamtheiten im Speicher 2 gleich
n und die reduzierte Vektordimension der Merkmalsgesamtheiten im Speicher 3 gleich
m ist, wobei mn, und der reduzierte (transformierte) m-dimensionale Merkmalsvektor
wie in dem genannten Aufsatz mit « bezeichnet wird, W = (w1 w2 ..... wm)T , (3)
und der inW vollständig quadratische Polynomansatz mit
so hat dieser,
wenn m = 40 vorgesehen ist, insgesamt 861 Komponenten. Mit diesem wird in der Rechnerstufe
7a die Schätzgleichung
(vgl. Gleichung 5 des o.a. Aufsatzes) und der Polynombildung nach Gleichung (5)
mit (4). Da beide Schritte eindeutig beschrieben sind, kann man das System in ein
äquivalentes einstufiges System umrechnen. Es ergibt sich damit, also in der Arbeitsstufe
b des Rechenwerks 7, ein in den urspriinglichen Merkmalen w gebildet und im quadratischen
Mittel adaptiert, so daß also A ind. die anhand der abgetasteten Muster ermittelte
Koeffizientenmatrix der auf der Basis der reduzierten Merkmalsgesamtheiten gebildeten
Schätzpolynome ist.
-
Der aus diesen Polynomen bestehende vollständig quadratische Klassifikator
entsteht aus der Aufeinanderfolge zweier Berechnungsstufen, nämlich der Transformation
/vollstandlger quaurallscner niassiriKator, wobei die Ansatziange den Betrag von
23436 Merkmalen und Merkmalspaarungen annimmt.
-
Der Rechenweg ist folgender: Wenn K Zeichenklassen vorhanden sind,
hat der Schätzvektori K Komponenten, nämlich die eingangs bereits genannten K skalaren
Schätzfunktionen nach Gleichung (1), und entsprechend zerfällt auch die KoeffizientenmatrixAind
in
K Spaltenvektoren (klassenweise Zerlegung), also
und muß sich daher als quadratische Form in (1 WT) schreiben lassen
Der Unterschied zwischen den beiden Schreibweisen G1.(9) und Gl.(io) liegt im wesentlichen
in der Anordnung der Koeffizienten des Polynoms. In Gl.(9) sind sie in Form eines
Spaltenvektors angeordnet, in Gl.(lo) in Form einer symmetrischen Matrix
Die überführung der eindimensionalen Darstellung CLind,k in die zweidimensionale
Ak* geschieht in zwei leicht nachvollziehbaren Schritten.
-
Man schreibt den Spaltenvektor aind,k zunächst abschnittsweise in
die untere Hälfte einer Dreiecksmatrix, so daß die ersten m+1 Glieder die erste
Spalte, die nächsten m Glieder die zweite Spalte bilden und fährt entsprechend fort,
bis das letzte Glied aus cLind,k in das Hauptdiagonalelement der (m+1)-ten Spalte
eingetragen ist. Die entstandene Dreiecksmatrix, Fig. 2, wird dann in einem zweiten
Schritt halbiert und die eine Hälfte nach Transponierung auf die andere addiert.
-
Jede der K skalaren Schätzfunktionen dk(V) aus dem Schätzvektor d
= (d1 d2 ... dK)T (8) ist nach den Gleichungen (4) und ( 5) ein vollständig quadratisches
Polynom in AN
Der transformierte Merkmalsvektor kr geht nacn Cl.t6)
durch eine lineare Transformation aus dem Vektor y der direkt gemessenen Zeichenmerkmale
hervor. Daher läßt sich der in Gl.(10) gebrauchte Vektor (1 wT) ausdrücken durch
Zur Vereinfachung der Schreibweise wird die Matrix dieser linearen Abbildung abgekürzt
durch
Damit kann Gl.(12) geschrieben werden als
Überträgt man die Schreibweise von Gl. (14) in die Gleichung der quadratischen Form,
Gl.(10), dann ergibt sich die zur Klasse k gehörende skalare Schätzfunktion als
quadratische Form in (1 VT)
Die wieder symmetrische Matrix dieser quadratischen Form ist
Sie enthält in zweidimensionaler Anordnung sämtliche Koeffizienten des vollständig
quadratischen Polynoms in den direkt gemessenen Zeichenmerkmalen. Diese Art der
Darstellung kann in die gestrekte Form zurücküberführt werden,
Die Komponenten der nach Gleichung (13) in dem Ausdruck enthaltenen
Transformationmatrix 8, vgl. hierzu Gleichung (6), bei werdender Berechnung der
Transformationsstufe 6 entnommen.
-
Lu beachten ist dabei, daß die Zeichenmerkmale v. binäre Variable
sind, und daher die Koeffizienten der rein quadratischen Terme mit denen der linearen
zusammengefaßt werden müssen. Abgesehen von dieser Besonderheit sind jedoch im wesentlichen
nur die Operationen rückgängig zu machen, die aind,k aus der gestreckten Form in
die Matrixdarstellung Ak* überführt haben.
-
Fig. 3a, b, c Die notwendigen Operationen vollziehen sich in drei
Teilschritten, vgl. / Im ersten Schritt werden sämtliche Elemente der oberen Dreiecksmatrix
aus Ck* den symmetrisch korrespondierenden Elementen der unteren Dreiecksmatrix
zugeschlagen. Da Ck* symmetrisch ist, läuft das darauf hinaus, die Werte in den
Positionen der unteren Dreiecksmatrix - jedoch ohnedie Hauptdiagonale - zu verdoppeln.
Im zweiten Schritt werden die Werte sämtlicher Hauptdiagonalelemente unter Ausschluß
des ersten Hauptdiagonalelementes in die korrespondierenden Positionen der ersten
Spalte hineinaddiert. Dadurch vereinigen sich die Koeffizienten bei Polynomgliedern
v2i mit den Koeffizienten bei den linearen Polynomgliedern vi. Durch 1 1 diese Maßnahmen
haben sich im ursprünglich gegebenen Zahlenschema obere Dreiecksmatrix und Hauptdiagonale
- jedoch nicht das erste Hauptdiagonalelement - entleert. Übrig geblieben ist eine
untere Dreiecksmatrix ohne Hauptdiagonale - abgesehen vom ersten Hauptdiagonalelement.
In einem dritten Verarbeitungsschritt werden schlieBlich die Spaltenvektoren dieses
Restschemas nacheinander in den Spaltenvektor Q äqu k übertragen.
-
Dabei entstehen aus der ersten Spalte die ersten n+ 1 Elemente von
aäqu,k, aus der zweiten Spalte die nächsten n-1 Elemente, bis schließlich das eine
Element der vorletzten Spalte zum letzten Glied in wird.
-
äqu,k Der auf diese Weise entstandene Koeffizientenvektor 0Lä.qu,k
ist Spaltenvektor aus der Koeffizientenmatrix Aäqu eines vollständig quadratischen
Klassifikators mit direktem Polynomansatz
der genau dieselben Schätzungen erzeugt wie der vollständig quadratische Klassifikator
mit indirektem Polynomansatz, der als Ausgangspunkt benutzt wurde,
mit
Man erhält die Koeffizientenmatrix 1A.. dieses Klassifikators, aqu indem man die
beschriebenen Operationen nacheinander auf die K Spaltenvektoren der Koeffizientenmatrix
A inds Gleichung (7), anwendet. Die so errechneten Koeffizienten werden nachfolgend
wieder mit aik bezeichnet.
-
Nach Vorliegen der so ermittelten Schätzpolynomgesamtheit werden nun
in dem Rechenwerk 7, Rechenstufe c, aus sämtlichen Polynomen die Koeffizienten aik
zusammengestellt und einzeln quadriert, die jeweils zu demselben Bildelement bzw.
derselben Bildelementpaarung gehören, und diese jeweils zu demselben
Bildelement
bzw. demselben Bildelementpaar gehörenden Quadrate werden jeweils zusammenaddiert
zu einer Summe Si, wobei also
Es werden nun die Beträge der Polynomkoeffizienten als Indikatoren für die Wichtigkeit
der zugehörigen Polynomglieder verwendet. Zu diesem Zweck werden in einer Bewertungsstufe
8 die Größen der Beträge S. - in dem die Koeffizienten, weil quadriert, immer positiv
kumuliert sind (man könnte statt dessen auch die absoluten Beträge der jeweiligen
aik kumulieren) - bewertet durch Zusammenstellung in absteigender Reihenfolge, so
daß eine Teilmenge von z.B. N Si-Werten abgrenzbar wird, die alle größer sind als
die der Restmenge.
-
Zu jedem 5 ist das zugehörige Bildelement bzw. Bildelementpaar ebenfalls
in der Bewertungsstufe 8 gespeichert.
-
Um Schätzpolynome mit jeweils N Gliedern1 z.B. wie eingangs genannt
1.200 Gliedern, für eine endgültige Adaptierlng anhand der vorgegebenen Muster zwecks
einstufiger Klassifizierungen von Zeichen des Fonts zu gewinnen, werden schließlich
durch eine Auswahleinrichtung 9 diejenigen Bildelemente bzw. Bildelementpaarungen
selektiert und einem Speicher 10 zur Registrierung zugeführt, die zu den N größten
Si-Werten gehören, was also z.B. durch serielle Zuführung in der vorgenannten Reihenfolge
mit Abzählung durch einen Zähler der Auswahleinrichtung durchgeführt werden kann.
-
Leerseite