AT502095B1 - Verfahren zur prüfung von gegenständen - Google Patents

Description

2 AT 502 095 B1

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruches 1.

Ziel der Erfindung ist es, Druckfehler auf Gegenständen, insbesondere Druckwerken, z.B. Banknoten, Briefmarken, Wertpapieren, Schriftstücken usw. zu erkennen. Das Verfahren kann bei allen Arten von Druck, so auch für Verpackungsdruck, Barcodedruck usw. angewendet werden, wenn es auf hohe Druckqualität ankommt. Ganz allgemein richtet sich die Erfindung auf die Prüfung von Gegenständen bzw. deren Oberflächen. Es können Aufdrucke, Bilder oder entsprechende Oberflächengestaltungen von Gegenständen mit dem erfindungsgemäßen Verfahren überprüft werden.

Je nach dem Herstellungsprozess, der Oberflächengestaltung bzw. des Druckverfahrens kommt es zu unterschiedlichen Arten von Fehlern. Üblicherweise werden zur Fehlerfeststellung die Oberflächen der Gegenstände bzw. die Bilder und Aufdrucke mit Flächen- oder Zeilenkameras aufgenommen und mit einem Sollmuster verglichen. Dabei soll das Fehlen von Teilen des Druckes als auch ein Zuviel an Druck, z.B. Flecken, Kratzer, Farbschmierer, erkannt werden. Auch Druckunregelmäßigkeiten oder sonstige Abweichungen von einer Vorlage sollen erkannt werden. Abweichungen, die vom menschlichen Auge noch nicht als Fehler wahrgenommen werden, sollen eher toleriert werden, sofern dies zulässig ist. Abweichungen von Vorlagen, die eine gewisse Toleranz überschreiten, sollen als Fehler angezeigt werden. Zumeist erfolgt die optische Prüfung von Druckwerken durch einen punktweisen Vergleich des aufgenommenen Bildes gegenüber Sollwerten, die vorgegeben oder durch Gutmuster eingelernt worden sind. Die Toleranz soll gerade so eng gesetzt werden, dass störende oder vorgegebene Abweichungen als Fehler erkannt werden, aber für das menschliche Auge nicht störende Abweichungen toleriert werden. Ähnlich verhält es sich mit Fehlern, die vom menschlichen Auge nicht erkannt werden können.

An sich ist das Auge tolerant gegenüber großflächigen Helligkeitsänderungen, die z.B. von einer Variation im Farbaufdruck der Druckfarbe hervorgerufen werden. Diese Helligkeitsschwankungen können als zulässige Anomalie toleriert werden, sofern sie nicht zu stark ausgeprägt sind.

Ein weiteres Problem ergibt sich bei der Betrachtung bzw. Bildaufnahme von Gegenständen dadurch, dass die Beleuchtung nicht konstant ist und daher Beleuchtungsschwankungen zu tolerieren sind, solange die Beleuchtung für die Fehlerprüfung ausreichend ist. Sowohl Beleuchtungsschwankungen als großflächige leichte Helligkeitsanomalien die tolerierbar sind, müssen bei der Überprüfung des Gegenstandes berechnet bzw. berücksichtigt werden, indem der Helligkeitswert korrigiert wird. Dies erleichtert das Prüfungsverfahren.

Ziel der Erfindung ist es, die Nachteile der bekannten Vorgangsweisen auszuschalten.

Das eingangs genannte Verfahren, mit dem das angegebene Ziel erreicht wird, ist erfindungsgemäß durch die Merkmale des Anspruches 1 gekennzeichnet.

Mit der erfindungsgemäßen Vorgangsweise werden Mittelwerte für Helligkeiten, insbesondere bzw. zumindest für die hellen Bereiche des Gegenstandes, festgelegt, die von einer bestimmten vorgegebenen Anzahl von Punkten bzw. Bildregionen des vom Gegenstand oder von einem Soll-Gegenstand bzw. dem von ihm aufgenommenen digitalen Bild stammen und eine Basis für einen Helligkeitsvergleich darstellen. Die Lage der Punkte bzw. Bildregionen am Gegenstand bzw. am Sollgegenstand entsprechen einander völlig oder kommen einander sehr nahe.

Die erfindungsgemäße Vorgangsweise wird durch die Merkmale des Anspruches 2 unterstützt, da damit auch für dunkle Bereiche des Gegenstandes derartige Mittelwerte für Vergleichszwecke bzw. Toleranzbewertungen zur Verfügung gestellt werden können, die insbesondere zum Vergleich bzw. der Bewertung des Kontrastes verwendet werden können. 3 AT 502 095 B1

Die Merkmale des Anspruchs 3 erhöhen die Genauigkeit der erfindungsgemäßen Vorgangsweise.

Die Merkmale des Anspruches 4 ermöglichen eine einfache und wirkungsvolle Auswahl für die Anzahl und Lage der vorzugebenden Punkte, indem sie stabile Helligkeitsverhältnisse aufweisende Bereiche bzw. Punkte auffinden.

Die Merkmale der Ansprüche 5 und 6 ermöglichen, Helligkeitsunterschiede zwischen zu prüfenden Gegenständen und Soll-Gegenständen exakter zu bestimmen und auszuwerten.

In Fig. 1 ist ein Prinzipschaltbild einer erfindungsgemäßen Einrichtung dargestellt. Fig. 2 und Fig. 3 zeigen die Auswertung von Histogrammen. Fig. 4 zeigt Binärbilder eines Gegenstandes, die mit unterschiedlichen Schwellwerten gebildet werden. Fig. 5 zeigt die Transformation von Helligkeitswerten.

Bei der erfindungsgemäßen Vorgangsweise wird ein Bild eines zu prüfenden Gegenstand 1 mit einer Bildaufnahmeeinheit 2 aufgenommen und ein digitales Bild erstellt. Wie schematisch angedeutet, wird ein Vergleichs- bzw. Soll-Bild eines Soll-Gegenstandes T mit einer weiteren oder derselben Bildaufnahmeeinheit 2 aufgenommen und die Bilddaten werden einer Auswahleinheit 3 zugeführt. In dieser Auswahleinheit wird eine vorgegebene Anzahl von Punkten bzw. Pixeln bzw. Bildregionen am Gegenstand 1 und am Soll-Gegenstand mit einer jeweils vorgegebene, insbesondere derselben oder mit entsprechender bzw. zugeordneter Lage ausgewählt, gegebenenfalls unter Zuhilfenahme einer MSER-Einrichtung 4. Unter einer MSER-Einrichtung wird eine Einrichtung zur Erstellung von "Maximally Stable Extremal Regions" verstanden. Ein MSER-Verfahren ist in J. Matas, O. Chum, M. Urban, T. Pajdla; Robust wide baseline Stereo from maximally stable extremal regions; im International Journal of Computer Vision; vol. 22; no. 10; pp. 761-767; 2004 beschrieben.

Von diesen Bildpunkten bzw. Bildregionen sowohl des Gegenstandes 1 als auch des Soll-Gegenstandes T wird jeweils ein Histogramm in einem Histogrammbildner 5 erstellt.

Der Histogrammbildner 5 erstellt somit Histogramme für die gegebenenfalls durch die MSER-Einrichtung 4 vorgegebenen Bildpunkte bzw. Bildregionen, und zwar für die einander entsprechenden Punkte auf dem zu überprüfenden Gegenstand 1 und auf dem Soll-Gegenstand T. Es ist vorgesehen, dass die Einrichtung eine Auswahleinheit 3 zur Ermittlung der Helligkeitswerte einer vorgegebenen Anzahl von eine vorgegebene, insbesondere am Gegenstand und im Sollbild derselben Lage besitzenden Punkten bzw. Bildregionen im Bild zumindest eines zu prüfenden Gegenstandes 1 und im Bild eines Soll-Gegenstandes aufweist, dass der Auswahleinheit 3 ein Histogrammbildner 5 nachgeschaltet ist, der jeweils ein Histogramm der für die Punkte bzw. Bildregion des Gegenstandes und des Soll-Gegenstandes ermittelten Helligkeiten erstellt und ausgehend vom hellen Endbereich des jeweiligen Histogramms eine einem vorgegebenen Prozentsatz der Gesamtfläche des Histogramms entsprechende und durch einen Grenzhelligkeitswert abgegrenzte Teilfläche ermittelt und für diese Teilfläche den jeweiligen Mittelwert der Helligkeitswerte berechnet, und dass diese beiden Mittelwerte als mittlere Helligkeitswerte für diese Punkte bzw. Bildregionen im hellen Bereich des Bildes des zumindest einen zu prüfenden Gegenstandes und des Soll-Gegenstandes für das weitere Prüfungsverfahren einer Auswerteeinheit 6, insbesondere einem Vergleicher 7, zugeführt sind.

Der Histogrammbildner 5 erstellt ein Histogramm der für die Punkte bzw. Bildregionen des Gegenstandes 1 und des Soll-Gegenstandes T ermittelten Helligkeiten und ausgehend vom hellen und vom dunklen Endbereich des jeweiligen Histogramms wird eine einem vorgegebenen Prozentsatz der Gesamtfläche des Histogramms entsprechende Teilfläche ermittelt bzw. abgrenzt und für diese Teilfläche wird der Mittelwert der jeweiligen Helligkeitswerte berechnet.

Fig. 2 zeigt ein Histrogramm, das von einem Soll-Gegenstand erstellt wurde. Vor der Ermittlung 4 AT 502 095 B1 der am hellen und/oder am dunklen Ende des Histogramms liegenden Teilflächen 9, 10 werden eine helle 7 und eine dunkle Endfläche 8 des Histogramms abgetrennt bzw. entfernt und zwar im Ausmaß eines vorgegebenen Prozentsatzes der Gesamtfläche. Die abgetrennte Endfläche 7 bzw. 8 beträgt jeweils maximal 20 %, insbesondere maximal 10 %, der Gesamtfläche und ausgehend von dem sich dadurch ergebenden End-Helligkeitswerten werden die helle bzw. die dunkle Teilfläche 9, 10 bestimmt, die jeweils einem vorgegebenen Prozentanteil an der Gesamtfläche ausmachen. Sowohl der helle Endbereich 7 als auch der dunkle Endbereich 8 enden mit einer zur Ordinate parallelen Linie, die den End-Helligkeitswert festlegt.

In Folge werden für den hellen Teilbereich 9 und für den dunklen Teilbereich 10 jeweils ein Wert für die mittlere Helligkeit Hh und H0 ermittelt.

Fig. 3 zeigt das Histogramm, das vom Histogrammbildner 5 erstellt wurde und die von dem zu prüfenden Gegenstand 1 abgeleiteten Bilddaten enthält. Nach Abtrennen der Bereiche bzw. Endflächen 7’ und 8' und Ermittlung der Teilflächen 9', 10’ sowie Ermittlung der Mittelwerte Hh' und Hd' wird die Lage dieser Mittelwerte bezüglich der Lage der Mittelwerte Hh und HD überprüft. Es ergibt sich in Hinblick auf die Abszisse des Histogramms eine Verschiebung VH bzw. VD im Vergleich mit der Vorgabe durch das Histogramm des Soll-Gegenstandes T gemäß Fig. 2. Entsprechend werden die in Folge im Prüfungsverfahren gemessenen Helligkeitswerte der zu überprüfenden Gegenstände 1 korrigiert. Es wird eine Anpassungsfunktion bzw. Helligkeitstransformation erstellt und der Kurvenverlauf wird angepasst und verschoben; der Helligkeitswert Hh' wird um VH und der Helligkeitswert HD' für die dunklen Bereiche des Histogramms um den Wert VD verschoben.

Sofern die Verschiebungen VD und VH für die beiden Helligkeitswerte HD und Hh für den hellen Bereich 9 und für den dunklen Bereich 10 nicht ident sind, kann eine Stauchung bzw. Streckung, d.h. eine Verzerrung der Histogramme, die von den zu überprüfenden Gegenständen aufgenommen werden, erfolgen, um diese zur Deckung zu bringen. Mit der sich ergebenden Transformationsfunktion können zulässige Helligkeitsänderungen bzw. Unterschiede rechnerisch berücksichtigt werden.

Von Vorteil ist es, wenn die Lage des mittleren Helligkeitswertes in der hellen und/oder dunklen Teilfläche im Histogramm des zu prüfenden Gegenstandes in Übereinstimmung mit der Lage des mittleren Helligkeitswertes in der hellen und/oder dunklen Teilfläche des Histogramms des Soll-Gegenstandes gebracht wird, in dem eine, insbesondere proportionale oder über die Kurvenlänge gleichmäßig erfolgende, Streckung oder Stauchung und/oder Verschiebung zumindest von Teilen der, insbesondere der gesamten, Histogrammkurve erfolgt und diese erhaltene rechnerische Berichtigung des Kurvenverlaufes auf alle für den zu prüfenden Gegenstand ermittelten Helligkeitswerte angewendet wird.

Fig. 5 zeigt schematisch die Ermittlung einer Helligkeitstransformationsfunktion, mit der den auf der Abszisse aufgetragenen gemessenen Helligkeitswerten, die auf der Ordinate ablesbaren Helligkeitswerte zugeordnet werden.

Um die Punkte bzw. Pixel bzw. Bildregionen in vorgegebener Anzahl und Lage zu erhalten, um die Histogramme gemäß Fig. 2 bzw. 3 von den zu untersuchenden Gegenständen 1 bzw. von Soll-Gegenständen T zu erstellen, kann ein MSER-Ermittlungsverfahren im MSER-Bildner 4 durchgeführt werden.

Die auszuwählenden Pixel bzw. Regionen sollen automatisch ausgewählt werden können. Die für diese Aufgabe geeigneten Pixel sollen möglichst stabil sein, d.h. ihre Helligkeitswerte sollen über eine Vielzahl von Gegenständen gemittelt möglichst gleich sein, d.h. ihre Varianz bzw. Standardabweichung sollte minimal sein. Des weiteren sollen die Pixel in Hinblick auf die aufnahmetechnischen Gegebenheiten für Helligkeitsänderungen nicht anfällig sein. Derartige Anfälligkeit ergibt sich insbesondere durch Beleuchtungsgegebenheiten bzw. -Schwankungen

Claims (8)

1. 5 AT 502 095 B1 und diese Schwankungen hängen mitunter auch von der Position der Punkte auf dem zu überprüfenden Gegenständen bzw. auf dem Soll-Gegenstand ab. Wenn sich Pixel in homogenen Regionen befinden, so spielen diese Effekte keine sonderliche Rolle und die Pixel werden nur dann größere Helligkeitsschwankungen aufweisen, wenn sie fehlerhaft sind. Im Zuge eines MSER-Verfahrens wird ein Bild immer wieder in unterschiedliche Binärbilder umgesetzt, und zwar jedes Mal mit einem anderen Schwellwert, der kontinuierlich einen anderen Wert, z.B. zwischen 1 bis 254, annimmt. In Fig. 4 ist jeweils jedes 16. Binärbild dargestellt. Man erkennt, dass einige Bildregionen in allen Binärbildern gut detektierbare und abbildbare Bildbereiche enthalten. Auf jedes dieser Binärbilder wird ein Blob-Algorithmus angewendet. Jeder Blob ist ein potenzieller MSER. Wenn sich ein Blob über viele Schwellwertbildungen hinweg nicht wesentlich verändert, und zwar insbesondere in Form und Größe, dann kann dieser Blob als MSER angesehen werden. Dies bedeutet, dass ein Blob dann ein MSER wird, wenn er stabil bleibt, d.h. wenn er in einer homogenen Region liegt. Bei der Abbildung in Fig. 4 erkennt man, dass der Torbogen im Zehn-Euro-Schein kein MSER ist, die Europaflagge hingegen ist ein stabiler MSER. Vorteilhafterweise werden die stabilsten MSER ausgewählt, und zwar mit einer festzulegenden Mindestanzahl von hellen und dunklen Pixeln bzw. Punkten. Bei der Suche nach MSER wird immer in zwei Durchgängen gesucht, d.h. einmal werden helle MSER auf dunklem Grund und dann dunkle MSER auf hellem Grund gesucht, wobei in jedem Durchgang etwa gleich viele Pixel bzw. Bildpunkte im hellen und dunklen Bereich aufgefunden werden sollten. Vorteilhafterweise werden die Randpixel des MSER nicht verwendet. Diese Auswahl von stabilen bzw. homogenen Regionen kann auch in anderer Weise vorgenommen werden; die Suche mittels MSER-Verfahren ist jedoch von Vorteil. Patentansprüche: 1. Verfahren zur optischen Prüfung von Gegenständen, insbesondere Druckwerken, Bildern, Abbildungen, bei dem von den Gegenständen digitale Bilder erstellt und durch einen Vergleich mit Sollbildern ausgewertet werden, dadurch gekennzeichnet, - dass für die Durchführung eines Helligkeitsvergleiches zum Ausgleich bzw. zur Berücksichtigung von an den Gegenständen auftretenden unterschiedlichen Helligkeitswerten bzw. Helligkeitsabweichungen gegenüber an Soll-Gegenständen ermittelten Sollwerten, die Helligkeitswerte einer vorgegebenen Anzahl von eine vorgegebene, insbesondere am Gegenstand und im Sollbild dieselbe Lage besitzenden Punkten bzw. Bildregionen im Bild zumindest eines zu prüfenden Gegenstandes einerseits und des Soll-Gegenstandes anderseits ermittelt werden, - dass jeweils ein Histogramm der für diese Punkte bzw. Bildregionen ermittelten Helligkeitswerte des Gegenstandes sowie des Soll-Gegenstandes erstellt wird, - dass ausgehend vom hellen Endbereich des jeweiligen Histogramms eine einem vorgegebenen Prozentsatz der Gesamtfläche des Histogramms entsprechende und mit dem sich durch die Abtrennung ergebenden Grenzhelligkeitswert abgegrenzte Teilfläche ermittelt und für diese beiden, insbesondere jeweils gleich großen, Teilflächen der beiden Histogramme jeweils der Mittelwert der Helligkeitswerte berechnet wird, - dass diese beiden Mittelwerte jeweils als mittlerer Helligkeitswert für die Punkte bzw. Bildregionen im hellen Bereich des Bildes des Gegenstandes sowie des Soll-Gegenstandes für den im weiteren Prüfungsverfahren erfolgenden Vergleich angesehen werden, und in der weiteren Prüfung eine Korrektur der ermittelten Helligkeitswerte der zu prüfenden Gegenstände basierend auf der Relation bzw. dem Verhältnis dieser beiden mittleren Helligkeits- 6 AT 502 095 B1 werte erfolgt.
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ausgehend vom dunklen Endbereich des jeweiligen Histogramms eine einem vorgegebenen Prozentsatz der Gesamtfläche des Histogramms entsprechende mit dem sich durch die Abtrennung ergebenden Grenzhelligkeitswert abgegrenzte Teilfläche ermittelt und für diese beiden, insbesondere jeweils gleich großen, Teilflächen der beiden Histogramme jeweils der Mittelwert der Helligkeitswerte berechnet wird, - dass diese beiden Mittelwerte jeweils als mittlerer Helligkeitswert für die Punkte bzw. Bildregionen im dunklen Bereich des Bildes des Gegenstandes sowie des Soll-Gegenstandes für das weitere Prüfungs- bzw. Auswerteverfahren angesehen werden, und - dass eine Korrektur der ermittelten Helligkeitswerte der zu prüfenden Gegenstände basierend auf Relation bzw. dem Verhältnis dieser beiden mittleren Helligkeitswerte erfolgt.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der vorgegebene Prozentsatz 10 bis 90 %, vorzugsweise 20 bis 60 %, der Teilfläche des jeweiligen Histogramms beträgt.
4. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass vor Ermittlung der am hellen und/oder am dunklen Ende des(r) Histogramme(s) liegenden Teilfläche(n) eine helle und/oder eine dunkle, von einem ermittelten Helligkeitswert begrenzte Endfläche des jeweiligen Histogramms abgetrennt bzw. entfernt wird und zwar im Ausmaß eines vorgegebenen Prozentsatzes der Gesamtfläche, der vorzugsweise maximal 20 %, insbesondere maximal 10 %, der Gesamtfläche beträgt und dass ausgehend von dem sich dadurch ergebenden End-Helligkeitswert, der das Ende des jeweiligen Histogramms bestimmt, die helle oder die dunkle Teilfläche(n) bestimmt bzw. bemessen wird (werden).
5. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, - dass zur Ermittlung der Anzahl und der Lage der vorzugebenden Punkte bzw. Bildpunkte ein MSER-Ermittlungsverfahren eingesetzt wird, bei dem das Bild zumindest eines zu prüfenden Gegenstandes oder das Bild des Soll-Gegenstandes in eine Anzahl Binärbilder unter Einsatz von unterschiedlichen, insbesondere kontinuierlich veränderten, Schwellwerten für die Bildhelligkeit umgesetzt wird, - dass auf jedes Binärbild ein Blob-Algorithmus angewendet wird, und - dass die Blob-Bereiche der einzelnen Binärbilder in Hinblick auf Unterschiede ihrer Helligkeitswerte überprüft werden und bei Feststellung einer ausreichenden Invarianz die diesem Blob-Bereich zugeordneten Punkte bzw. Bildregionen als MSER angesehen werden und im jeweils anderen Bild bezüglich Lage zugeordnete Punkte bestimmt werden.
6. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, - dass mit den am hellen und/oder am dunklen Ende der beiden Histogramme ermittelten Mittelwerten eine insbesondere lineare Helligkeitstransformationsfunktion für die an den zu prüfenden Gegenständen gemessenen Helligkeiten erstellt wird, mit welcher die am zu prüfenden Gegenstand ermittelten hellen und/oder dunklen Helligkeitswertswerte für ein nachfolgendes Auswerteverfahren transformiert werden.
7. 7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Lage des mittleren Helligkeitswertes in der hellen und/oder dunklen Teilfläche im Histogramm des zu prüfenden Gegenstandes in Übereinstimmung mit der Lage des mittleren Helligkeitswertes in der hellen und/oder dunklen Teilfläche des Histogramms des Soll-Gegenstandes gebracht wird, indem eine, insbesondere proportionale oder über die Kurvenlänge gleichmäßig erfolgende, Streckung oder Stauchung und/oder Verschiebung zumindest von Teilen der, insbesondere der gesamten, Histogrammkurve erfolgt und diese sich ergebende rechnerische Berichtigung des Kurvenverlaufes auf alle für den zu prüfenden Gegenstand ermittelten Helligkeitswerte angewendet wird. 7 AT 502 095 B1
8. 8. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach jedem beliebigen der Ansprüche 1 bis 7 durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird. Hiezu 3 Blatt Zeichnungen