DE102019120938B4

DE102019120938B4 - Druckinspektionsvorrichtung und Verfahren zur optischen Inspektion eines Druckbildes eines Druckobjekts

Info

Publication number: DE102019120938B4
Application number: DE102019120938.2A
Authority: DE
Inventors: Lucas Franek; Ralf Grieser; Christoph Schultheiss
Original assignee: Bundesdruckerei GmbH
Current assignee: Bundesdruckerei GmbH
Priority date: 2019-08-02
Filing date: 2019-08-02
Publication date: 2023-12-21
Anticipated expiration: 2039-08-03
Also published as: DE102019120938A1; EP3771564A1

Abstract

Verfahren (800) zur optischen Inspektion eines Druckbildes (120) eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild (121) zugeordnet ist, mit folgenden Schritten:Bestimmen (801) einer jeweiligen Mehrzahl von Rasterzellenbildern (111) für das Druckbild (120) und das Soll-Druckbild (121) basierend auf einer Unterteilung des Druckbildes und des Soll-Druckbilds in Rasterzellen (130);Bestimmen (802) eines Delta-E Rasterzellenbildes (112) für jede Rasterzelle (130) basierend auf einem Farbabstand zwischen einem Rasterzellenbild (111) des Druckbildes (120) und einem Rasterzellenbild (111) des Soll-Druckbildes (121);Bestimmen (803) für jedes Pixel des Delta-E Rasterzellenbildes (112), basierend auf einer pixelspezifischen Schwellenwertfunktion (140), ob ein Pixeldefekt (113) vorliegt, wobei die pixelspezifische Schwellenwertfunktion (140) auf einem vorherigen Training (150) einer Datenbasis (160) von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Rasterzellenbildern beruht;Zusammensetzen (804) der zuvor bestimmten Pixeldefekte (113) in den jeweiligen Delta-E Rasterzellenbildern (112) zu einem Defektbild (114), welches einen Überblick über die Pixeldefekte (113) des Druckbildes (120) gibt; undAusgeben (805) eines Inspektionsergebnisses (116) basierend auf einer benutzerspezifischen Klassifikation (115) des Defektbildes (114).

Description

Die vorliegende Erfindung betrifft das Gebiet der optischen Inspektion eines Druckbildes eines Druckobjekts.
Nach dem Druck werden Druckbilder auf Druckfehler geprüft. Zur Beurteilung eines Druckbildes eines Druckobjekts, beispielsweise zur Qualitätskontrolle von Druckprozessen, werden typischerweise Systeme zur optischen Inspektion eingesetzt. Bestehende Verfahren und Systeme beruhen häufig auf Differenzbildverfahren. Ihre Ergebnisse hängen stark von der manuellen Parametrisierung ab und führen zum Teil zu Pseudofehlern.
Die Patentschrift DE 103 14 071 B3 offenbart ein Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal.
Die Patentschrift US 6 024 018 A offenbart ein Farbsteuersystem zum Erhalten einer Farbe einer gedruckten Seite.
Die Offenlegungsschrift US 2019/0 003 985 A1 offenbart eine Inspektionsvorrichtung zum Überprüfen eines Druckresultats.
Die Druckschrift DE 10 2017 116 882 A1 betrifft eine Druckinspektionsvorrichtung zur optischen Inspektion eines Druckbildes eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckobjekt zugeordnet ist. Die Druckinspektionsvorrichtung umfasst eine Bildkamera zum optischen Aufnehmen des Druckobjekts und einen Prozessor zur Weiterverarbeitung des aufgenommenen Druckobjekts.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein effizientes Konzept zur optischen Inspektion eines Druckbildes eines Druckobjekts zu schaffen.
Insbesondere ist es eine Aufgabe der Erfindung, ein Konzept zur optischen Inspektion von Druckbildern zu schaffen, das weniger stark von der manuellen Parametrisierung abhängig ist und zu weniger Druckfehlern, insbesondere Pseudo-Druckfehlern führt als herkömmliche Verfahren.
Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungsformen sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Zeichnungen.
Die Erfindung löst diese Aufgabe durch das Erkennen von Anomalien im Druckbild, Vermessen von Fehlergrößen und Klassifikation der Fehler. Insbesondere ermöglicht die Erfindung eine kundenspezifische Fehlerdetektion im Druckbild mittels maschinellem Lernen. Die Aufgabe wird insbesondere durch eine Architektur mit mehreren Schichten gelöst, welche eine kundenspezifische Erkennung von Druckfehlern ermöglicht. Die mehreren Schichten umfassen Farb-Kalibrierung, Bestimmung des Defektbildes aus einem kalibrierten Delta E Bild, kundenspezifische Klassifikation durch maschinelles Lernen sowie Erkennung unterschiedlicher Defektgrade.
Damit verbunden sind die technischen Vorteile einer Reduktion von Parametern durch Verwendung des Farbabstandes und von maschinellem Lernen zum Training von kundenspezifischen Anforderungen. Die Fehlerklassen können effizient durch Grenzmuster trainiert werden.
Gemäß einem ersten Aspekt betrifft die Erfindung eine Druckinspektionsvorrichtung zur optischen Inspektion eines Druckbildes eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild zugeordnet ist, mit: einem Prozessor, der ausgebildet ist, für das Druckbild und das Soll-Druckbild jeweils eine Mehrzahl von Rasterzellenbildern basierend auf einer Unterteilung des Druckbilds und des Soll-Druckbilds in Rasterzellen zu bestimmen; für jede Rasterzelle ein Delta-E Rasterzellenbild basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes und einem Rasterzellenbild des Soll-Druckbildes zu bestimmen; für jedes Pixel des Delta-E Zellenbildes basierend auf einer pixelspezifischen Schwellenwertfunktion zu bestimmen ob ein Pixeldefekt vorliegt, wobei die pixelspezifische Schwellenwertfunktion auf einem vorherigen Training einer Datenbasis von Delta-E Zellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern beruht; die zuvor bestimmten Pixeldefekte in den jeweiligen Delta-E Zellenbildern zu einem Defektbild zusammenzusetzen, welches einen Überblick über die Pixeldefekte des Druckbildes gibt; und ein Inspektionsergebnis basierend auf einer benutzerspezifischen Klassifikation des Defektbildes auszugeben.
Eine solche Druckinspektionsvorrichtung bietet dem Benutzer eine effiziente optische Inspektion eines Druckbildes eines Druckobjekts. Aufgrund des vorhergehenden Trainings hängt die optische Inspektion dabei weniger stark von der manuellen Parametrisierung ab als es bei bisherigen Vorrichtungen der Fall ist und es kommt zu weniger falsch erkannten Druckfehlern, insbesondere werden Pseudo-Druckfehler als solche erkannt.
Die Druckinspektionsvorrichtung erkennt Anomalien im Druckbild und gibt dem Benutzer ein Mittel zum Vermessen von Fehlergrößen und Klassifikation der Fehler zur Hand. Insbesondere ermöglicht die Druckinspektionsvorrichtung eine kundenspezifische Fehlerdetektion im Druckbild mittels maschinellem Lernen.
Das Druckbild bildet ein zu inspizierendes Ist-Druckbild eines Druckobjekts, welches auf einem Substrat aufgedruckt sein kann. Das Soll-Druckbild kann beispielsweise als Vektorfont oder als Vektorgrafik oder als digitales Bild vorliegen, und kann beispielsweise aus einer Druckvorstufe vorbekannt sein.
Das Raster kann ein äquidistantes Raster sein, es kann aber auch aus beliebigen Polygonen zusammengesetzt sein. Ferner können einzelne Zellen im Raster deaktiviert sein. Dadurch wird der Vorteil erzielt, dass Regionen in denen eine Prüfung nicht erwünscht ist, sehr flexibel angepasst werden können.
Die Rasterzellen des Rasters überlagern sich und pro Zelle kann eine lokale Ausrichtung durchgeführt werden. Dadurch wird der Vorteil erzielt, dass im Falle von nicht optimal gespannter Folie, im Falle von Laminationsverzug oder in ähnlichen Situationen durch eine lokale Ausrichtung Ist-Druckbild und Soll-Druckbild lokal besser zur Deckung gebracht werden können.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, die Mehrzahl von Rasterzellenbildern basierend auf farbkalibrierten und aufeinander ausgerichteten Druckbildern und Soll-Druckbildern zu bestimmen.
Damit wird der technische Vorteil erzielt, dass es zu weniger falsch erkannten Druckfehlern kommt, da ein Farbabstand zwischen farbkalibrierten Bildern genauer bestimmt werden kann. Ferner führt die gegenseitige Ausrichtung der Bilder aufeinander dazu, dass es zu weniger Streifen bzw. Schraffuren im Defektbild kommt, welche aus einer Fehlausrichtung zueinander entstehen.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, die Mehrzahl von Rasterzellenbildern für einen jeweiligen Farbkanal einer Mehrzahl von Farbkanälen eines Farbraumes zu bestimmen.
Damit wird der technische Vorteil erzielt, dass es zu weniger falsch erkannten Druckfehlern kommt, da ein auftretender Druckfehler aufgrund eines Farbkanaldefektes des Druckers im entsprechenden Farbkanal leichter erkennbar ist.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, das Delta-E Rasterzellenbild basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild des Druckbildes und dem entsprechenden Rasterzellenbild des Soll-Druckbildes zu bestimmen.
Damit wird der technische Vorteil erzielt, dass die Euklidische Distanz sich für die jeweiligen Rasterzellenbilder genauer bestimmen lässt als im Bild mit Originalgröße. Es kommt somit zu weniger falsch erkannten Druckfehlern. Das Inspektionsergebnis der Druckinspektionsvorrichtung ist genauer.
Gemäß einer Ausführungsform erfolgt das vorhergehende Training der Datenbasis von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern basierend auf Neuronalen Netzen (NN), Support Vector Machine (SVM) und/oder Multi-Layer Perceptron (MLP) Verfahren.
Damit wird der technische Vorteil erzielt, dass derartige maschinelle Lernverfahren einen guten Lernerfolg bieten und außerdem skalierbar sind, d.h. je nachdem mit welcher Komplexität das Netz modelliert wird, desto genauer wird das Inspektionsergebnis.
Gemäß einer Ausführungsform spezifiziert die pixelspezifische Schwellenwertfunktion ein Fragment in dem Delta-E Rasterzellenbild, welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes in Bezug auf das Soll-Druckbild basiert, als keinen Pixelfehler.
Damit wird der technische Vorteil erzielt, dass die Druckinspektionsvorrichtung fehlertolerant gegenüber Fehlpositionierungen des Druckbildes gegenüber dem Soll-Druckbild ist, welche beispielsweise dadurch verursacht werden, dass das Druckbild nicht genau positioniert ist, z.B. durch eine Fehlpositionierung der aufnehmenden Kamera oder einem schiefen Einzug beim Einlesen oder Einscannen des Druckbildes.
Gemäß einer Ausführungsform spezifiziert die pixelspezifische Schwellenwertfunktion einen zusammenhängenden Bereich von Pixeln in dem Delta-E Rasterzellenbild, der eine vorgegebene Größe überschreitet, als Pixelfehler.
Damit wird der technische Vorteil erzielt, dass Druckfehler, welche auf Fehldrucken basieren, z.B. Punkten, Farbklecksen oder anderen Unregelmäßigkeiten genau erkannt werden können.
Gemäß einer Ausführungsform basieren sowohl das Training der Datenbasis von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern als auch die benutzerspezifische Klassifikation des Defektbildes auf demselben Trainingsvorgang.
In solch einem Trainingsvorgang werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Basierend auf dem gleichen Trainingsvorgang können somit sowohl Rasterzellenbilder, die einen kleinen Ausschnitt des Bildes anzeigen, als auch das Defektbild, welches den gesamten Bereich des Bildes darstellt, klassifiziert werden. Dies vereinfacht die Ausführung der Klassifikation. Die Druckinspektionsvorrichtung ist weniger komplex.
Gemäß einer Ausführungsform beruht der Trainingsvorgang auf einer Klassifikation einer Datenbasis von Druckbildern gegenüber zugehörigen Sollwert-Druckbildern basierend auf einer subjektiven Fehlererkennung eines Benutzers.
Damit wird der technische Vorteil erzielt, dass menschliches Expertenwissen in die Klassifikation miteinbezogen werden kann, welches die Fehlererkennungsquote steigert.
Gemäß einer Ausführungsform ordnet die pixelspezifische Schwellenwertfunktion jedem Grauwert des Delta-E Rasterzellenbildes einen Binärwert 0 oder 1 zu.
Damit wird der technische Vorteil erzielt, dass die Schwellenwertfunktion Bereiche mit hohem Vertrauenslevel von Bereichen mit niedrigem Vertrauenslevel effizient unterscheiden kann und leicht in Form einer Schwelle darstellen kann.
Gemäß einer Ausführungsform umfasst die pixelspezifische Schwellenwertfunktion eine logistische Funktion, z.B. eine Sigmoid-Funktion oder eine Stufenfunktion bezüglich der Grauwerte des Delta-E Rasterzellenbildes.
Damit wird der technische Vorteil erzielt, dass eine logistische Funktion oder eine Stufenfunktion gut dazu geeignet ist, um Farbübergänge, wie sie bei Druckfehlern auftreten, abzubilden und darzustellen.
Gemäß einer Ausführungsform basiert die Defektklassifikation auf folgenden Merkmalen: einer Fläche von zusammenhängenden Komponenten des Delta-E Zellenbildes, einem Innenradius der zusammenhängenden Komponenten des Delta-E Zellenbildes, einer Korrelation zwischen dem Ist-Druckbild und dem Soll-Druckbild, einem Kontrast zwischen Hintergrund und Vordergrund in Bezug auf das Delta-E Zellenbild. Zur Feststellung der Streifigkeit in horizontaler Richtung wird zusätzlich als Merkmal die Anzahl der Defektpixel pro Zeile in Betracht gezogen. Analog werden für die vertikale Streifigkeit Spalten betrachtet.
Damit wird der technische Vorteil erzielt, dass anhand dieser Merkmale zusammenhängende Komponenten im Delta-E Zellenbild leicht und automatisiert erkannt werden können, welche auf einen Druckfehler hindeuten. Damit kann die Inspektion auf zuverlässige Weise Druckfehler erkennen und von Artefakten aufgrund Fehlpositionierung der Druckbilder unterscheiden.
Gemäß einer Ausführungsform umfasst die Druckinspektionsvorrichtung eine Kamera, die ausgebildet ist, das Druckobjekt optisch aufzunehmen, um das Druckbild zu erhalten.
Damit wird der technische Vorteil erzielt, dass die Kamera das Druckbild leicht bereitstellen kann. Alternativ kann das Druckbild über einen Scanner oder ein Lesegerät bereitgestellt werden.
Gemäß einer Ausführungsform ist der Prozessor ausgebildet, als Inspektionsergebnis einen Druckfehler beim Druck des Druckbildes mit einem Farbdrucker auszugeben, wobei der Druckfehler in Form eines Farbpunktes oder Farbstreifens auftritt, der auf einer Fehlfunktion eines Farbkanals des Farbdruckers basiert.
Damit wird der technische Vorteil erzielt, dass eine Fehlfunktion des Farbdruckers leicht erkannt werden kann. Nach einer Reparatur oder Auswechslung des Druckers werden wieder fehlerfreie Druckbilder erzeugt.
Gemäß einem zweiten Aspekt betrifft die Erfindung ein Verfahren zur optischen Inspektion eines Druckbildes eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild zugeordnet ist, mit folgenden Schritten: Bestimmen einer jeweiligen Mehrzahl von Rasterzellenbildern für das Druckbild und das Soll-Druckbild basierend auf einer Unterteilung des Druckbilds und des Soll-Druckbilds in Rasterzellen; Bestimmen eines Delta-E Rasterzellenbilds für jede Rasterzelle basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes und einem Rasterzellenbild des Soll-Druckbildes; Bestimmen für jedes Pixel des Delta-E Zellenbildes, basierend auf einer pixelspezifischen Schwellenwertfunktion, ob ein Pixeldefekt vorliegt, wobei die pixelspezifische Schwellenwertfunktion auf einem vorherigen Training einer Datenbasis von Delta-E Zellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern beruht; Zusammensetzen der zuvor bestimmten Pixeldefekte in den jeweiligen Delta-E Zellenbildern zu einem Defektbild, welches einen Überblick über die Pixeldefekte des Druckbildes gibt; und Ausgeben eines Inspektionsergebnisses basierend auf einer benutzerspezifischen Klassifikation des Defektbildes.
Ein solches Verfahren bietet dem Benutzer eine effiziente optische Inspektion eines Druckbildes eines Druckobjekts. Aufgrund des vorhergehenden Trainings hängt die optische Inspektion dabei weniger stark von der manuellen Parametrisierung ab als es bisher der Fall war und es kommt zu weniger falsch erkannten Druckfehlern, insbesondere werden Pseudo-Druckfehler als solche erkannt.
Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens gemäß dem zweiten Aspekt der Erfindung. Dadurch wird der Vorteil erreicht, dass das Verfahren automatisiert ausgeführt werden kann.
Die Druckinspektionsvorrichtung kann programmtechnisch eingerichtet sein, um den Programmcode oder Teile des Programmcodes auszuführen.
Die Erfindung kann in Hardware und Software realisiert werden.
Weitere Ausführungsbeispiele werden Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:

1 ein schematisches Diagramm einer Druckinspektionsvorrichtung 100 zur optischen Inspektion eines Druckbildes 120 eines Druckobjekts gemäß einer Ausführungsform;
2 ein Architekturdiagramm einer Druckinspektionsvorrichtung 200 zur optischen Inspektion eines Druckbildes 250 eines Druckobjekts gemäß einer Ausführungsform;
3 Druckbilder 301, 302 einer Person, bei denen jeweils ein durch einen Drucker verursachten Druckfehler auftritt;
4 drei beispielhafte Serien von Rasterzellenbildern, jeweils mit Eingang 401, 411, 421, Modell 402, 412, 422 bzw. Sollwert und manuell spezifiziertem Ground-Truth 403, 413, 423;
5 ein schematisches Diagramm eines pixelbezogenen Trainings 500 eines Delta E Rasterzellenbildes gemäß einer Ausführungsform;
6 eine beispielhafte Bildsequenz eines Soll-Druckbildes 601, eines realen Druckbildes 602 und eines zugehörigen Defektbildes 603;
7 ein schematisches Diagramm eines Trainings 700 der Klassifikationsschicht zum Erzeugen eines Defekt-Klassifikators gemäß einer Ausführungsform; und
8 ein schematisches Diagramm eines Verfahrens 800 zur optischen Inspektion eines Druckbildes eines Druckobjekts gemäß einer Ausführungsform.

1 zeigt ein schematisches Diagramm einer Druckinspektionsvorrichtung 100 zur optischen Inspektion eines Druckbildes 120 eines Druckobjekts gemäß einer Ausführungsform. Dem Druckobjekt ist ein Soll-Druckbild 121 zugeordnet, welches die ideale Abbildung des Druckobjekts darstellt.
Die Druckinspektionsvorrichtung 100 umfasst einen Prozessor 110, der ausgebildet ist, für das Druckbild 120 und das Soll-Druckbild 121 jeweils eine Mehrzahl von Rasterzellenbildern 111 basierend auf einer Unterteilung des Druckbildes 120 und des Soll-Druckbilds 121 in Rasterzellen 130 zu bestimmen. Der Prozessor 110 ist ferner ausgebildet, für jede Rasterzelle 130 ein Delta-E Rasterzellenbild 112 basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes 120 und einem Rasterzellenbild des Soll-Druckbildes 121 zu bestimmen. Der Prozessor 110 ist ferner ausgebildet, für jedes Pixel des Delta-E Rasterzellenbildes 112 basierend auf einer pixelspezifischen Schwellenwertfunktion 140 zu bestimmen ob ein Pixeldefekt 113 vorliegt. Dabei beruht die pixelspezifische Schwellenwertfunktion 140 auf einem vorherigen Training 150 einer Datenbasis 160 von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern. Der Prozessor 110 ist ferner ausgebildet, die zuvor bestimmten Pixeldefekte 113 in den jeweiligen Delta-E Rasterzellenbildern 112 zu einem Defektbild 114 zusammenzusetzen, welches einen Überblick über die Pixeldefekte 113 des Druckbildes 120 gibt, und ein Inspektionsergebnis 116 basierend auf einer benutzerspezifischen Klassifikation 115 des Defektbildes 114 auszugeben.
Ein Prozessor, wie in dieser Offenbarung beschrieben, ist ein programmierbares Rechenwerk, also eine Maschine oder eine elektronische Schaltung, die gemäß übergebenen Befehlen andere Maschinen oder elektrische Schaltungen steuert und dabei einen Algorithmus oder Prozess ausführt, was meist Datenverarbeitung beinhaltet. Der Prozessor kann z.B. ein Mikrocontroller oder ein digitaler Signalprozessor oder eine CPU, beispielsweise in einem eingebetteten System sein. Unter dem Begriff Prozessor wird hier sowohl das Bauteil verstanden, d.h. der Halbleiter-Chip als auch die datenverarbeitende Logik-Einheit. Der Begriff Prozessor umfasst auch einen oder eine Mehrzahl von Prozessorkernen, die heutzutage in vielen Prozessor-Chips enthalten sind, wobei jeder Kern für sich eine (weitgehend) eigenständige Logik-Einheit darstellt.
Ground-Truth ist ein Begriff, der in der Statistik und im maschinellen Lernen verwendet wird. Dies bedeutet, dass die Ergebnisse des maschinellen Lernens auf ihre Richtigkeit im Vergleich zur realen Welt überprüft werden. Der Begriff stammt aus der Meteorologie, wobei sich „Grundwahrheit“ auf Informationen bezieht, die vor Ort erhalten wurden. Der Begriff impliziert eine Art Realitätsprüfung für maschinelle Lernalgorithmen.
Delta E, oft als dE oder ΔE geschrieben, ist ein Maß für den empfundenen Farbabstand, das möglichst für alle auftretenden Farben „gleichabständig“ ist. Das Delta steht hierbei als Zeichen der Differenz. Damit können Arbeiten, die sich mit Farben befassen, quantifiziert werden.
Der L*a*b*-Farbraum (auch: CIELAB) beschreibt alle wahrnehmbaren Farben. Er nutzt einen dreidimensionalen Farbenraum, bei dem der Helligkeitswert L* senkrecht auf der Farbebene (a*, b*) steht. Zu den wichtigsten Eigenschaften des L*a*b*-Farbmodells zählen die Geräteunabhängigkeit und die Wahrnehmungsbezogenheit, das heißt: Farben werden unabhängig von der Art ihrer Erzeugung oder Wiedergabetechnik so definiert, wie sie von einem Normalbeobachter bei einer Standard-Lichtbedingung wahrgenommen werden. Das Farbmodell ist in der EN ISO 11664-4 „Colorimetry -- Part 4: CIE 1976 L*a*b* Colour space“ genormt.
Der Farbabstand wird normalerweise als Delta E angegeben. In EN ISO 11664-4 wird der Begriff Farbabstand gegenüber dem Begriff Farbdifferenz bevorzugt. Gegenüber Farbunterschied steht er für die quantifizierte Form. Jeder real auftretenden Farbe, auch jeder von einem Gerät abgegebenen oder gemessenen Farbe, lässt sich in einem dreidimensionalen Raum ein Farbort zuordnen. Der Wert von Delta E zwischen den Farborten (L*, a*, b*)_p und (L*, a*, b*)_q wird nach EN ISO 11664-4 als euklidischer Abstand berechnet.
Das Raster 130 kann ein rechteckförmiges oder quadratisches Raster sein, d.h. ein Raster mit rechteckförmigen oder quadratischen Gitterelementen. Alternativ kann jede andere Gitterform genutzt werden, z.B. Hexagon, dreieckförmig, etc.
Der Prozessor 110 ist in einer Ausführungsform ausgebildet, die Mehrzahl von Rasterzellenbildern 111 basierend auf farbkalibrierten 255 und aufeinander ausgerichteten 256 Druckbildern 120 und Soll-Druckbildern 121 zu bestimmen.
Das Ziel der Farbkalibrierung 255 besteht darin, das Farbverhalten eines Geräts (Eingabe oder Ausgabe) in einem bekannten Zustand zu messen und / oder anzupassen. Die Kalibrierung bezieht sich auf das Herstellen einer bekannten Beziehung zu einem Standardfarbraum. Eingabedaten können von Gerätequellen wie Digitalkameras, Bildscannern oder anderen Messgeräten stammen. Diese Eingänge können entweder monochrom oder in mehrdimensionaler Farbe angegeben werden - am häufigsten im dreikanaligen RGB (Rot/Grün/Blau)-Modell.
Der Prozessor 110 kann eine Ausrichtung des Druckbildes relativ zum Soll-Druckbild bestimmen und das Druckbild auf Basis der Ausrichtung drehen. Dadurch wird der Vorteil erreicht, dass eine Ausrichtung des Druckbildes bezüglich des Soll-Druckbildes bzw. der Maskierungsschablone korrigiert werden kann.
Der Prozessor 110 kann in einer Ausführungsform ausgebildet sein, die Mehrzahl von Rasterzellenbildern 111 für einen jeweiligen Farbkanal einer Mehrzahl von Farbkanälen 246 eines Farbraumes 247 zu bestimmen, wie z.B. zu 2 gezeigt.
Der Prozessor 110 kann in einer Ausführungsform ausgebildet sein, das Delta-E Rasterzellenbild 112 basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 111 des Druckbildes 120 und dem entsprechenden Rasterzellenbild 111 des Soll-Druckbildes 121 zu bestimmen.
Jeder real auftretenden Farbe, auch jeder von einem Gerät abgegebenen oder gemessenen Farbe, lässt sich in einem dreidimensionalen Raum ein Farbort zuordnen. Der Wert von Delta E zwischen den Farborten (L*, a*, b*)₁ und (L*, a*, b*)₂ wird nach EN ISO 11664-4 als euklidischer Abstand berechnet: $Δ E_{a b}^{*} = \sqrt{{(L_{2}^{*} - L_{1}^{*})}^{2} + {(a_{2}^{*} - a_{1}^{*})}^{2} + {(b_{2}^{*} - b_{1}^{*})}^{2}} .$
In einer Ausführungsform erfolgt das vorhergehende Training 150 der Datenbasis 160 von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern basierend auf Neuronalen Netzen (NN), Support Vector Machine (SVM) und/oder Multi-Layer Perceptron (MLP) Verfahren.
(Künstliche) neuronale Netze (NNs) basieren meist auf der Vernetzung vieler Neuronen. Die Topologie eines Netzes, d.h. die Zuordnung von Verbindungen zu Knoten muss abhängig von seiner Aufgabe gut durchdacht sein. Nach der Konstruktion eines Netzes folgt die Trainingsphase, in der das Netz „lernt“. Ein neuronales Netz durch folgende Methoden lernen: Entwicklung neuer Verbindungen, Löschen existierender Verbindungen, Ändern der Gewichtung (der Gewichte von Neuron zu Neuron), Anpassen der Schwellenwerte der Neuronen, sofern diese Schwellenwerte besitzen, Hinzufügen oder Löschen von Neuronen, Modifikation von Aktivierungs-, Propagierungs- oder Ausgabefunktion. Außerdem verändert sich das Lernverhalten bei Veränderung der Aktivierungsfunktion der Neuronen oder der Lernrate des Netzes. Praktisch gesehen „lernt“ ein Netz hauptsächlich durch Modifikation der Gewichte der Neuronen. Dadurch sind NNs in der Lage, komplizierte nichtlineare Funktionen über einen „Lern“-Algorithmus, der durch iterative oder rekursive Vorgehensweise aus vorhandenen Ein- und gewünschten Ausgangswerten alle Parameter der Funktion zu bestimmen versucht, zu erlernen.
Eine Support Vector Machine (SVM) dient als Klassifikator und Regressor. Eine Support Vector Machine unterteilt eine Menge von Objekten so in Klassen, dass um die Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt. Ausgangsbasis für den Bau einer Support Vector Machine ist eine Menge von Trainingsobjekten, für die jeweils bekannt ist, welcher Klasse sie zugehören. Jedes Objekt wird durch einen Vektor in einem Vektorraum repräsentiert. Aufgabe der Support Vector Machine ist es, in diesen Raum eine Hyperebene einzupassen, die als Trennfläche fungiert und die Trainingsobjekte in zwei Klassen teilt. Der Abstand derjenigen Vektoren, die der Hyperebene am nächsten liegen, wird dabei maximiert. Dieser breite, leere Rand soll später dafür sorgen, dass auch Objekte, die nicht genau den Trainingsobjekten entsprechen, möglichst zuverlässig klassifiziert werden.
Das Perzeptron ist ein vereinfachtes künstliches neuronales Netz. Es besteht in der Grundversion (einfaches Perzeptron) aus einem einzelnen künstlichen Neuron mit anpassbaren Gewichtungen und einem Schwellenwert. Unter diesem Begriff werden heute verschiedene Kombinationen des ursprünglichen Modells verstanden, dabei wird zwischen einlagigen und mehrlagigen Perzeptronen (engl. multi-layer perceptron, MLP) unterschieden. Perzeptron-Netze wandeln einen Eingabevektor in einen Ausgabevektor um und stellen damit einen einfachen Assoziativspeicher dar.
In einer Ausführungsform der Druckinspektionsvorrichtung 100 spezifiziert die pixelspezifische Schwellenwertfunktion 140 ein Fragment 224, 611 (wie z.B. in 2 oder 6 dargestellt) in dem Delta-E Rasterzellenbild 112, welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes 120 in Bezug auf das Soll-Druckbild 121 basiert, als keinen Pixeldefekt 113. Damit kann vermieden werden, dass Fehlausrichtungen des Druckbildes in Bezug auf das Soll-Druckbild 121 als Druckfehler bzw. Defekt bestimmt werden. Solche Fragmente treten meist in Form von Linien oder Schraffuren auf, insbesondere an Stellen, an denen das Druckbild 120 leicht verschoben ist in Bezug auf das Soll-Druckbild 121.
In einer Ausführungsform der Druckinspektionsvorrichtung 100 spezifiziert die pixelspezifische Schwellenwertfunktion 140 einen zusammenhängenden Bereich 214, 610 von Pixeln in dem Delta-E Rasterzellenbild 112 (z.B. wie in 2 oder 6 dargestellt). Damit werden Fehldruckstellen, die meist eine gewisse Fläche einnehmen, als Druckfehler bzw. Defekte erkannt.
In einer Ausführungsform der Druckinspektionsvorrichtung 100 basiert sowohl das Training 150 der Datenbasis 160 von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern als auch die benutzerspezifische Klassifikation 115 des Defektbildes 114 auf demselben Trainingsvorgang 150. In solch einem Trainingsvorgang werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Die von dem Benutzer fehlermarkierten Druckbilder mit zugehörigen (Ist)-Druckbildern werden in der Trainingsphase mittels eines maschinellen Lernverfahrens, wie z.B. NN, MLP oder SVM, gelernt. Damit wird das maschinelle Lernverfahren in die Lage versetzt, aufgrund des erlernten Musters auch neue Bilder auf Druckfehler zu klassifizieren.
In einer Ausführungsform der Druckinspektionsvorrichtung 100 beruht der Trainingsvorgang 150 auf einer Klassifikation einer Datenbasis von Druckbildern (siehe z.B. 401, 411, 421 in 4) gegenüber zugehörigen Sollwert-Druckbildern (siehe z.B. 402, 412, 422 in 4) basierend auf einer subjektiven Fehlererkennung eines Benutzers, wie oben beschrieben.
In einer Ausführungsform der Druckinspektionsvorrichtung 100 ordnet die pixelspezifische Schwellenwertfunktion 140, 505 (siehe auch 5) jedem Farbwert des Delta-E Rasterzellenbildes 112 einen Schwellenwert im Bereich von 0 bis 1 zu. Die pixelspezifische Schwellenwertfunktion 140, 505 kann z.B. eine logistische Funktion, z.B. eine Sigmoid-Funktion oder eine Stufenfunktion bezüglich der Grauwerte des Delta-E Rasterzellenbildes 503 umfassen.
Insbesondere kann die Klassifikation 115 auf folgenden Merkmalen basieren: einer Fläche von zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 503 (siehe 5), einem Innenradius der zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 503, einer Korrelation zwischen Ist-Druckbild und Soll-Druckbild, einem Kontrast des Delta-E Rasterzellenbildes 503, insbesondere einer Farbdifferenz zwischen Hintergrund und Vordergrund.
Die Druckinspektionsvorrichtung 100 kann ferner eine Kamera umfassen, die ausgebildet ist, das Druckobjekt optisch aufzunehmen, um das Druckbild zu erhalten. Alternativ kann die Druckinspektionsvorrichtung 100 einen Scanner oder ein Lesegerät umfassen, um das Druckbild einzuscannen oder einzulesen.
In einer Ausführungsform ist der Prozessor 110 ausgebildet, als Inspektionsergebnis 116 einen Druckfehler beim Druck des Druckbildes 120 mit einem Farbdrucker auszugeben, wobei der Druckfehler in Form eines Farbpunktes oder Farbstreifens auftritt, der auf einer Fehlfunktion eines Farbkanals 246 (siehe 2) des Farbdruckers basiert.
2 zeigt ein Architekturdiagramm einer Druckinspektionsvorrichtung 200 zur optischen Inspektion eines Druckbildes 250 eines Druckobjekts gemäß einer Ausführungsform. Die Druckinspektionsvorrichtung 200 ist eine spezielle Ausführungsform der oben zu 1 beschriebenen Druckinspektionsvorrichtung 100.
Ein Eingangsbild 250 entspricht dem Druckbild 120 aus 1. Das Eingangsbild 250 ist einem Soll-Druckbild 241 eines Modells 240 zugeordnet, welches dem idealen Bild des Druckobjekts entspricht, d.h. dem Bild ohne Druckfehler. In einer Farbkalibrierungsstufe 255 werden Eingangsbild 250 und Soll-Druckbild 241 farblich kalibriert.
Wie bereits oben zu 1 beschrieben, besteht das Ziel der Farbkalibrierung 255 darin, das Farbverhalten des Eingangsbildes 250 an das Farbverhalten des Soll-Druckbildes 241 anzupassen. Die Kalibrierung bezieht sich auf das Herstellen einer bekannten Beziehung zu einem Standardfarbraum. Eingänge sind das Eingangsbild 250 und das Soll-Druckbild 241. Diese Eingänge können entweder monochrom oder in mehrdimensionaler Farbe angegeben werden - am häufigsten im dreikanaligen RGB (Rot/Grün/Blau)-Modell. Nach der Farbkalibrierung 255 wird ein farbkalibriertes Eingangsbild 251 erzeugt, z.B. mit Weiß-Abgleich, wie in 2 dargestellt. Auch das Soll-Druckbild 241 kann als farbkalibriertes Soll-Druckbild dargestellt werden.
Nach der Farbkalibrierung 255 werden Soll-Druckbild 241 bzw. farbkalibriertes Soll-Druckbild und farbkalibriertes (Ist)-Druckbild 251 aufeinander ausgerichtet 256. Dabei werden die Bilder zueinander verschoben bzw. gedreht, so dass beide Bilder schließlich aufeinander aufliegend ausgerichtet sind. D.h. der Prozessor 110 rechnet die Positionsdaten beider Bilder entsprechend um, so dass die Positionsdaten aufeinander ausgerichtet sind. Nach der Ausrichtung 256 liegen ein Soll-Druckbild 242 und ein Ist-Druckbild 252 vor, die zueinander bzw. aufeinander ausgerichtet sind.
Beide Bilder (Soll-Druckbild 242 und ein Ist-Druckbild 252) werden dann im vorliegenden Farbraum 247, z.B. RGB, in jeweilige Farbkanäle 246 aufgespalten, so dass ein Ist-Druckbild 253 und ein entsprechendes Soll-Druckbild pro Farbkanal 246 erzeugt wird.
Über das Druckbild 253 und das zugehörige Soll-Druckbild 242 wird ein Gitter 244 bzw. Raster gelegt, um das Druckbild 253 und das zugehörige Soll-Druckbild 242 in eine Mehrzahl von Rasterzellenbildern 254 aufzuteilen, welche jeweils Teilausschnitte des jeweiligen Druckbildes darstellen. Die Gittergröße ist vorgegeben oder frei wählbar. Über die Gitterschicht kann eine lokale Positionskorrektur 245 vorgenommen werden. Jede Zelle bzw. Rasterzelle des Gitters 244 wird in der Druckinspektionsvorrichtung 200 als eigenständige Schicht 210, 220, 230 behandelt, in 2 sind beispielhaft die drei Schichten 210, 220, 230 dargestellt.
Für jede Schicht 210, 220, 230 wird ein Delta E Rasterzellenbild 201 bestimmt anhand eines Vergleichs zwischen Modell und Bild. So kann das Delta-E Rasterzellenbild 215 einer ersten Schicht 210 z.B. basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 214 des Druckbildes 253 und dem entsprechenden Rasterzellenbild 213 des Soll-Druckbildes 242 bestimmt werden. Das Delta E Rasterzellenbild 201 bzw. 215 kann beispielsweise nach der folgenden Formel bestimmt werden: $Δ E_{a b}^{*} = \sqrt{{(L_{2}^{*} - L_{1}^{*})}^{2} + {(a_{2}^{*} - a_{1}^{*})}^{2} + {(b_{2}^{*} - b_{1}^{*})}^{2}} .$
Dabei wird der Wert von Delta E als euklidischer Abstand zwischen den Farborten (L*, a*, b*)₁ und (L*, a*, b*)₂ berechnet.
Entsprechend kann das Delta-E Rasterzellenbild 225 einer zweiten Schicht 220 z.B. basierend auf der Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 224 des Druckbildes 253 und dem entsprechenden Rasterzellenbild 223 des Soll-Druckbildes 242 bestimmt werden. Entsprechend kann das Delta-E Rasterzellenbild 235 einer n-ten Schicht 230 z.B. basierend auf der Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 234 des Druckbildes 253 und dem entsprechenden Rasterzellenbild 233 des Soll-Druckbildes 242 bestimmt werden.
Für jede Schicht 210, 220, 230 wird eine Datenbasis anhand einer Aktivierungsfunktion 202 pro Pixel trainiert. Die Aktivierungsfunktion 202 kann z.B. auf dem folgenden Zusammenhang basieren: $\begin{array}{l} P (p_{i} = D) = \\ \frac{1}{1 + e^{\frac{p_{i} - μ}{σ}}} \end{array}$
wobei p_l eine Wahrscheinlichkeitsgröße angibt, µ deren Mittelwert und σ deren Varianz. Die Wahrscheinlichkeitsverteilung ist folglich durch eine Sigmoidfunktion charakterisiert.
Es folgt eine Klassifikation in einer Klassifikationsschicht 203 einer Trainingsdatenbank, z.B. der Trainingsdatenbank 160 mit Delta-E und Ground-Truth Bildern, wie in 1 beschrieben, um eine Detektion auf einen Fehler bzw. auf keinen Fehler vorzunehmen.
Für jede Schicht 210, 220, 230 werden so Zusammenhangskomponenten im Delta E Rasterzellenbild 201 detektiert und als fehlerhaft oder nicht fehlerhaft klassifiziert. So wird z.B. eine Zusammenhangskomponente 216 des Delta E Rasterzellenbilds 215 der ersten Schicht 210 als nicht fehlerhaft klassifiziert und eine Zusammenhangskomponente 217 des Delta E Rasterzellenbildes 215 der ersten Schicht 210 als fehlerhaft klassifiziert.
Für die zweite Schicht 220 wird eine Zusammenhangskomponente 226 des Delta E Rasterzellenbildes 225 als nicht fehlerhaft klassifiziert und eine Zusammenhangskomponente 227 des Delta E Rasterzellenbildes 225 als nicht fehlerhaft klassifiziert.
Für die n-te Schicht 230 wird eine Zusammenhangskomponente 236 des Delta E Rasterzellenbilds 235 als nicht fehlerhaft klassifiziert und eine Zusammenhangskomponente 237 des Delta E Rasterzellenbildes 235 als fehlerhaft klassifiziert.
Wie oben zu 1 beschrieben, kann eine pixelspezifische Schwellenwertfunktion so z.B. ein Fragment 224 in dem Delta-E Rasterzellenbild 201, welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes 250 in Bezug auf das Soll-Druckbild 242 basiert, als keinen Pixeldefekt klassifizieren. Damit kann vermieden werden, dass Fehlausrichtungen des Druckbildes 250 in Bezug auf das Soll-Druckbild 242 als Druckfehler bzw. Defekt bestimmt werden. Solche Fragmente treten meist in Form von Linien oder Schraffuren auf, insbesondere an Stellen, an denen das Druckbild 120 leicht verschoben ist in Bezug auf das Soll-Druckbild 121. Ferner kann die pixelspezifische Schwellenwertfunktion einen zusammenhängenden Bereich 214 von Pixeln in dem Delta-E Rasterzellenbild 215, der eine vorgegebene Größe bzw. Ausdehnung überschreitet, als Pixeldefekt klassifizieren. Damit werden Fehldruckstellen, die meist eine gewisse Fläche einnehmen, als Druckfehler bzw. Defekte erkannt.
Beim Training werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Die von dem Benutzer fehlermarkierten Druckbilder mit zugehörigen (Ist)-Druckbildern werden in der Trainingsphase mittels eines maschinellen Lernverfahrens, wie z.B. NN, MLP oder SVM, gelernt. Damit wird das maschinelle Lernverfahren in die Lage versetzt, aufgrund des erlernten Musters auch neue Bilder auf Druckfehler zu klassifizieren. Die Aktivierungsfunktion 202, auch als pixelspezifische Schwellenwertfunktion bezeichnet, kann dabei auf folgenden Merkmalen basieren: einer Fläche von zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 215, 225, 235, einem Innenradius der zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 215, 225, 235, einer Korrelation zwischen Farbkanälen 246 des Delta-E Rasterzellenbildes 215, 225, 235, einem Kontrast des Delta-E Rasterzellenbildes 215, 225, 235, insbesondere einer Farbdifferenz zwischen Hintergrund und Vordergrund. Zur Feststellung der Streifigkeit in horizontaler Richtung wird zusätzlich als Merkmal die Anzahl der Defektpixel pro Zeile in Betracht gezogen. Analog werden für die vertikale Streifigkeit Spalten betrachtet.
Aus den so bestimmten Defekten 212, 232 bzw. Nicht-Defekten 211, 221, 222, 231 wird ein Fehlerbild 204 erzeugt, welches dem Betrachter einen Überblick über Druckfehler im Druckbild gibt.
Schließlich folgt eine kundenspezifische Klassifizierung, in der aus dem Fehlerbild 204 ein Inspektionsergebnis 206 abgeleitet wird.
In einer Ausführungsform der Druckinspektionsvorrichtung 200 basiert sowohl das Training der Klassifizierungsschicht 203 mit Aktivierungsfunktion anhand einer Datenbasis als auch die kundenspezifische Klassifizierung 205 des Defektbildes 204 auf demselben Trainingsvorgang 150, wie z.B. oben zu 1 beschrieben. In solch einem Trainingsvorgang werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Die von dem Benutzer fehlermarkierten Druckbilder mit zugehörigen (Ist)-Druckbildern werden in der Trainingsphase mittels eines maschinellen Lernverfahrens, wie z.B. NN, MLP oder SVM, gelernt. Damit wird das maschinelle Lernverfahren in die Lage versetzt, aufgrund des erlernten Musters auch neue Bilder auf Druckfehler zu klassifizieren, so dass die Druckinspektionsvorrichtung 200 eine höhere Fehlererkennungsrate aufweist.
Die Druckinspektionsvorrichtung 200 wurde mit verschiedenen Datensätzen von Portrait-Bildern getestet. Ein erster Datensatz wies 72 Portrait-Bildern auf, wobei 64 Bilder Farbpunkte innerhalb des Portraits hatten und 8 Bilder frei von Druckfehlern waren. Ein zweiter Datensatz wies 600 Portrait-Bilder auf, wobei 480 Bilder Farbpunkte innerhalb des Portraits hatten, 117 Bilder Streifen hatten und nur 3 Bilder frei von Druckfehlern waren. Jedes Bild hatte dabei nur einen Druckfehler und zwar in einem Farbkanal. Im Testdatensatz wurden die Druckfehler über die einzelnen Farbkanäle variiert.
Die Farbpunkte hatten bei beiden Datensätzen dabei Flächen von 0,4 mm², 0,5 mm² und 0,6 mm². Dabei wurden Nebenfehler, d.h. Druckfehler der Fläche 0,4 mm², mit einer Detektionsrate von 85,53 % erkannt und kritische Fehler, d.h. Druckfehler der Flächen 0,5 mm² und 0,6 mm², mit einer Detektionsrate von 98,39 % erkannt.
3 zeigt zwei Druckbilder 301, 302 einer weiblichen Person, bei denen jeweils ein durch einen Drucker verursachter Druckfehler auftritt. In dem Druckbild 301 ist ein Druckfehler an der Stelle 311, d.h. im Bereich der rechten Wange, durch manuelle Inspektion erkannt worden. In dem Druckbild 302 sind Druckfehler an den Stellen 312 und 313, d.h. helle horizontal verlaufende Streifen im Gesichtsbereich, durch manuelle Inspektion erkannt worden.
Bei den Druckfehlern handelt es sich jeweils um Druckfehler einer zweiten Klasse, welche aufgrund eines Fehlverhaltens des Druckers entstehen und sich als farbige Punkte oder Streifen bemerkbar machen. In diesem Fall fehlt entweder ein Farbkanal ganz oder ein Farbkanal druckt obwohl er nicht drucken sollte. Diese Klasse von Defekten kann genauer spezifiziert werden. Druckfehler der zweiten Klasse unterscheiden sich von Druckfehlern einer ersten Klasse, bei denen es sich um Anomalien handelt, wie z.B. Kratzer, Schmutz, etc. Druckfehler dieser ersten Klasse können nicht weiter spezifiziert werden.
Druckfehler der ersten Klasse können mittels statistischer Anomalie-Detektion erkannt werden, während Druckfehler der zweiten Klasse dazu genutzt werden können, um einen Klassifikator zu trainieren, wie oben zu den 1 und 2 beschrieben, der diese Defekte dann detektieren kann.
4 zeigt drei beispielhafte Serien von Rasterzellenbildern, jeweils mit Eingang 401, 411, 421, Modell 402, 412, 422 bzw. Sollwert und manuell spezifiziertem Ground-Truth 403, 413, 423.
In der ersten Serie mit dem Ist-Rasterzellenbild 401, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, dem Modell 402, welches den Sollwert für das Rasterzellenbild darstellt, und dem Ground-Truth Rasterzellenbild 403, ist der Druckfehler im Ist-Rasterzellenbild 401, d.h. der punkt- bzw. kreisförmige Bereich, welcher die ganze Mitte des Bildes 401 einnimmt, sehr ausgeprägt und kann daher manuell von einem Benutzer leicht erkannt werden. Der Benutzer kann damit das Ground-Truth Rasterzellenbild 403 kennzeichnen bzw. labeln. Weiße Flächen im Ground-Truth Rasterzellenbild 403 stellen Flächen mit hohem Vertrauenslevel dar, während schwarze Flächen solche mit niedrigem Vertrauenslevel darstellen. Der Vertrauenslevel im Ground-Truth Rasterzellenbild 403 ist skaliert von 0 bis 240, wobei 0 den schwarzen Bereich mit niedrigem Vertrauenslevel und 240 den weißen Bereich mit hohem Vertrauenslevel darstellt. Auch wenn im Ground-Truth Rasterzellenbild 403 keine grauen Bereiche erkennbar sind, kann der Benutzer auch Vertrauenslevel zwischen 0 und 240 (d.h. Grau-Abstufungen von dunkelgrau bis hellgrau) labeln.
In der zweiten Serie mit dem Ist-Rasterzellenbild 411, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, dem Modell 412, welches den Sollwert für das Rasterzellenbild darstellt, und dem Ground-Truth Rasterzellenbild 413, ist der Druckfehler im Ist-Rasterzellenbild 411, d.h. der punkt- bzw. kreisförmige Bereich, welcher die ganze Mitte des Bildes 411 einnimmt, nur wenig ausgeprägt und kann daher manuell von dem Benutzer nur schwer nach intensiver Prüfung erkannt werden. Nach genauer Inspektion des Benutzers kann er damit das Ground-Truth Rasterzellenbild 413 kennzeichnen bzw. labeln. Aufgrund der sorgfältigen Prüfung des Benutzers entspricht das Ground-Truth Rasterzellenbild 413 in etwa dem das Ground-Truth Rasterzellenbild 403 aus der ersten Serie, d.h. trotz der schlechteren Eingangsdaten 411, ist das Ergebnis das gleiche.
In der dritten Serie mit dem Ist-Rasterzellenbild 421, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, dem Modell 422, welches den Sollwert für das Rasterzellenbild darstellt, und dem Ground-Truth Rasterzellenbild 423, ist der Druckfehler im Ist-Rasterzellenbild 421, d.h. der punkt- bzw. kreisförmige Bereich, welcher die ganze Mitte des Bildes 421 einnimmt, auch nur wenig ausgeprägt und kann daher manuell von dem Benutzer nur schwer nach intensiver Prüfung erkannt werden. Während die zweite Serie einen Hellgraufehler in einem Hellgraubild aufweist, weist die dritte Serie einen Dunkelgraufehler in einem Dunkelgraubild auf. Auch hier muss der Benutzer das Bild genau inspizieren, um danach das Ground-Truth Rasterzellenbild 423 labeln zu können. Auch hier entspricht das Ground-Truth Rasterzellenbild 423 aufgrund der sorgfältigen Prüfung des Benutzers in etwa dem Ground-Truth Rasterzellenbild 403 aus der ersten Serie, d.h. trotz der schlechteren Eingangsdaten 421, ist das Ergebnis das gleiche.
5 zeigt ein schematisches Diagramm eines pixelbezogenen Trainings 500 eines Delta E Rasterzellenbildes gemäß einer Ausführungsform.
Aus dem Eingangsbild, d.h. dem Ist-Rasterzellenbild 502, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, und dem Modell 501, welches den Sollwert für das Rasterzellenbild darstellt, wird das Delta E Rasterzellenbild 503 bestimmt, wie oben zu den 1 und 2 beschrieben. Das Ground-Truth Rasterzellenbild 504, welches aus einem vorherigen Labeling-Prozess wie oben zu 4 beschrieben ist, zur Verfügung steht, wird zusammen mit dem Delta E Rasterzellenbild 503 als Eingangsgrößen für das Training 507 genutzt, um eine Schwellenwertfunktion 505 zu trainieren, auf Basis welcher eine optimale Schwelle 506 bestimmt werden kann.
Dabei wird eine Helligkeitsskala im Delta E Rasterzellenbild 503, welche von 0 (schwarz) bis 48 (weiß) reicht in Form einer Schwellenwertfunktion 505 dargestellt. Helligkeitswerte von 0 bis etwa 25 werden mit dem Schwellenwert 1 gewichtet, was einem hohen Vertrauenslevel entspricht. Helligkeitswerte von etwa 30 bis 50 werden mit dem Schwellenwert 0 gewichtet, was einem niedrigen Vertrauenslevel entspricht. Dazwischen, d.h. von etwa 25 bis etwa 30 fällt die Schwelle monoton von 1 auf 0. Solche Werte entsprechen einem mittlerem Vertrauenslevel, welcher sich im Grenzbereich zwischen einem Bereich, der als Druckfehler und einem Bereich der als kein Druckfehler erkannt wird, einstellt.
Der optimale Schwellenwert 506 liegt somit im Bereich zwischen 25 bis 30, z.B. bei 27 oder 28.
6 zeigt eine beispielhafte Bildsequenz eines Soll-Druckbildes 601, eines realen Druckbildes 602 und eines zugehörigen Defektbildes 603.
Das Soll-Druckbild 601 stellt ein Portrait einer weiblichen Person dar. Im realen Druckbild 602 ist auf der rechten Wange der Person ein farblicher Fleck bzw. Punkt zu erkennen, der einen Druckfehler darstellt. Im zugehörigen Defektbild 603, das beispielsweise dem zu 1 beschriebenen Defektbild 114 entspricht oder auch dem zu 2 beschriebenen Fehlerbild 204, sind zwei verschiedene Arten von Druckfehlern zu erkennen. Zum einen wird der oben besagte farbliche Fleck bzw. Punkt 610 als Druckfehler erkannt, zum anderen werden Striche bzw. Schraffierungen 611 im Bereich des Haaransatzes als Druckfehler erkannt, welche aufgrund einer nicht exakten Ausrichtung der beiden Bilder 601, 602 zueinander entstanden sein können.
Mit Hilfe der oben zu den 1 und 2 beschriebenen kundenspezifischen Klassifizierung 115, 205 können die Striche bzw. Schraffierungen 611 als Druckfehler ausgeschlossen werden, so dass nur der farbliche Fleck bzw. Punkt 610 als Druckfehler erkannt wird.
7 zeigt ein schematisches Diagramm eines Trainings 700 der Klassifikationsschicht zum Erzeugen eines Defekt-Klassifikators gemäß einer Ausführungsform.
Links in der Figur sind reale Defekte 701 dargestellt, während auf der rechten Seite Pseudo-Defekte 702 illustriert sind. Bei den realen Defekten 701 handelt es sich um farbliche Flecken oder Punkte, während es sich bei den Pseudo-Defekten 702 um Striche oder Schraffuren handelt, welche üblicherweise aufgrund einer Fehlausrichtung von Ist-Bild zu Soll-Bild entstehen. Beim Training der Klassifikationsschicht 703, z.B. mit den oben zu 2 beschriebenen Verfahren wie NN, MLP, SVM, etc. wird der Defekt-Klassifikator bestimmt, welcher eine Unterscheidung der beiden Arten von Defekten 701 und 702 bewirken kann. Mit diesem Defekt-Klassifikator 704 ist es dann möglich, nur die Flecken 610 im Defektbild 603 der 6 als Druckfehler zu klassifizieren, nicht jedoch die Streifen 611 bzw. Schraffuren.
8 zeigt ein schematisches Diagramm eines Verfahrens 800 zur optischen Inspektion eines Druckbildes eines Druckobjekts gemäß einer Ausführungsform. Wie oben zu 1 beschrieben, ist dem Druckobjekt ein Soll-Druckbild 121 zugeordnet. Das Verfahren führt die Schritte des Prozessors 110 aus, welche oben zu 1 und 2 näher beschrieben wurden.
Das Verfahren 800 umfasst ein Bestimmen 801 einer jeweiligen Mehrzahl von Rasterzellenbildern 111 für das Druckbild 120 und das Soll-Druckbild 121 basierend auf einer Unterteilung des Druckbildes und des Soll-Druckbilds in Rasterzellen 130, wie z.B. oben zu den 1 und 2 beschrieben.
Das Verfahren 800 umfasst ein Bestimmen 802 eines Delta-E Rasterzellenbildes 112 für jede Rasterzelle 130 basierend auf einem Farbabstand zwischen einem Rasterzellenbild 111 des Druckbildes 120 und einem Rasterzellenbild 111 des Soll-Druckbildes 121, wie z.B. oben zu den 1 und 2 beschrieben
Das Verfahren 800 umfasst ein Bestimmen 803 für jedes Pixel des Delta-E Rasterzellenbildes 112, basierend auf einer pixelspezifischen Schwellenwertfunktion 140, ob ein Pixeldefekt 113 vorliegt, wobei die pixelspezifische Schwellenwertfunktion 140 auf einem vorherigen Training 150 einer Datenbasis 160 von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Rasterzellenbildern beruht, wie z.B. oben zu den 1 und 2 beschrieben.
Das Verfahren umfasst ein Zusammensetzen 804 der zuvor bestimmten Pixeldefekte 113 in den jeweiligen Delta-E Rasterzellenbildern 112 zu einem Defektbild 114, welches einen Überblick über die Pixeldefekte 113 des Druckbildes 120 gibt, wie z.B. oben zu den 1 und 2 beschrieben.
Ferner umfasst das Verfahren 800 ein Ausgeben 805 eines Inspektionsergebnisses 116 basierend auf einer benutzerspezifischen Klassifikation 115 des Defektbildes 114, wie z.B. oben zu den 1 und 2 beschrieben.
Alle in Verbindung mit einzelnen Ausführungsformen der Erfindung gezeigten oder beschriebenen Merkmale können in beliebiger Kombination in dem erfindungsgemäßen Gegenstand vorgesehen sein, um gleichzeitig deren vorteilhafte Wirkungen zu realisieren.
BEZUGSZEICHENLISTE

100: Druckinspektionsvorrichtung
110: Prozessor
111: Rasterzellenbilder
112: Delta-E Rasterzellenbilder
113: Pixeldefekte
114: Defektbild
115: (kundenspezifische) Klassifikation
116: Inspektionsergebnis
120: Druckbild
121: Soll-Druckbild
130: Raster
140: Schwellenwertfunktion
150: Training
160: Datenbasis mit Delta-E Bildern und Ground-Truth Bildern
170: Benutzer
200: Druckinspektionsvorrichtung
201: Delta E Rasterzellenbild
202: Aktivierungsfunktion pro Pixel
203: Klassifizierungsschicht
204: Fehlerbild
205: kundenspezifische Klassifizierung
206: Inspektionsergebnis
210: erste Schicht
211: erster Zweig der ersten Schicht mit keinem Defekt
212: zweiter Zweig der ersten Schicht mit Defekt
213: Rasterzellenbild des Soll-Druckbildes (erste Schicht)
214: Rasterzellenbild des (Ist)-Druckbildes (erste Schicht)
215: Delta E Rasterzellenbild (erste Schicht)
220: zweite Schicht
221: erster Zweig der zweiten Schicht mit keinem Defekt
222: zweiter Zweig der zweiten Schicht mit keinem Defekt
223: Rasterzellenbild des Soll-Druckbildes (zweite Schicht)
224: Rasterzellenbild des (Ist)-Druckbildes (zweite Schicht)
225: Delta E Rasterzellenbild (zweite Schicht)
230: n-te Schicht
231: erster Zweig der n-ten Schicht mit keinem Defekt
232: zweiter Zweig der n-ten Schicht mit Defekt
233: Rasterzellenbild des Soll-Druckbildes (n-te Schicht)
234: Rasterzellenbild des (Ist)-Druckbildes (n-te Schicht)
235: Delta E Rasterzellenbild (n-te Schicht)
236: Zusammenhangskomponente
237: Zusammenhangskomponente
240: Modell
241: Soll-Druckbild
242: Soll-Druckbild nach Farbkalibrierung
243: Unterteilung des Soll-Druckbildes in Rasterzellen
244: Gitter bzw. Raster
245: Gitterschicht, lokale Positionskorrektur
246: Farbkanäle
247: Farbraum, hier RGB
250: Eingangsbild bzw. (Ist) Druckbild
251: Eingangsbild nach Weiss-Abgleich
252: Eingangsbild nach Ausrichtung gegenüber Soll-Druckbild
253: Eingangsbild nach Farbkanalaufspaltung
254: Eingangsbild nach Gitterzellenaufspaltung
255: Farbkalibrierung
256: Ausrichtung (Eingangsbild bzgl. Soll-Druckbild)
301: erstes Bild
302: zweites Bild
311: Stelle mit Druckfehler im ersten Bild
312: Stelle mit Druckfehler im zweiten Bild
313: Stelle mit Druckfehler im zweiten Bild
401: Ist-Rasterzellenbild der ersten Serie
402: Modell der ersten Serie
403: Ground-Truth Rasterzellenbild der ersten Serie
411: Ist-Rasterzellenbild der zweiten Serie
412: Modell der zweiten Serie
413: Ground-Truth Rasterzellenbild der zweiten Serie
421: Ist-Rasterzellenbild der dritten Serie
422: Modell der dritten Serie
423: Ground-Truth Rasterzellenbild der dritten Serie
500: Training eines Delta E Rasterzellenbildes
501: Modell, d.h. Sollwert Rasterzellenbild
502: Eingang, d.h. Istwert Rasterzellenbild
503: Delta E Rasterzellenbild
504: Ground-Truth Rasterzellenbild
505: Schwellenwertfunktion
506: optimale Schwelle
507: Training
601: Soll-Druckbild
602: (Ist)-Druckbild
603: Defektbild bzw. Fehlerbild
610: Druckfehler als farblicher Fleck bzw. Punkt
611: Druckfehler als Striche bzw. Schraffierungen
700: Training der Klassifikationsschicht
701: Reale Defekte
702: Pseudo-Defekte
703: Klassifikationsschicht
704: Defekt-Klassifikator
800: Verfahren zur optischen Inspektion eines Druckbildes
801: erster Verfahrensschritt
802: zweiter Verfahrensschritt
803: dritter Verfahrensschritt
804: vierter Verfahrensschritt
805: fünfter Verfahrensschritt

Claims

Verfahren (800) zur optischen Inspektion eines Druckbildes (120) eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild (121) zugeordnet ist, mit folgenden Schritten: Bestimmen (801) einer jeweiligen Mehrzahl von Rasterzellenbildern (111) für das Druckbild (120) und das Soll-Druckbild (121) basierend auf einer Unterteilung des Druckbildes und des Soll-Druckbilds in Rasterzellen (130); Bestimmen (802) eines Delta-E Rasterzellenbildes (112) für jede Rasterzelle (130) basierend auf einem Farbabstand zwischen einem Rasterzellenbild (111) des Druckbildes (120) und einem Rasterzellenbild (111) des Soll-Druckbildes (121); Bestimmen (803) für jedes Pixel des Delta-E Rasterzellenbildes (112), basierend auf einer pixelspezifischen Schwellenwertfunktion (140), ob ein Pixeldefekt (113) vorliegt, wobei die pixelspezifische Schwellenwertfunktion (140) auf einem vorherigen Training (150) einer Datenbasis (160) von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Rasterzellenbildern beruht; Zusammensetzen (804) der zuvor bestimmten Pixeldefekte (113) in den jeweiligen Delta-E Rasterzellenbildern (112) zu einem Defektbild (114), welches einen Überblick über die Pixeldefekte (113) des Druckbildes (120) gibt; und Ausgeben (805) eines Inspektionsergebnisses (116) basierend auf einer benutzerspezifischen Klassifikation (115) des Defektbildes (114).
Verfahren (800) nach Anspruch 1, wobei die Mehrzahl von Rasterzellenbildern (111) basierend auf farbkalibrierten (255) und aufeinander ausgerichteten (256) Druckbildern (120) und Soll-Druckbildern (121) bestimmt wird.
Verfahren (800) nach Anspruch 1 oder 2, wobei die Mehrzahl von Rasterzellenbildern (111) für einen jeweiligen Farbkanal einer Mehrzahl von Farbkanälen (246) eines Farbraumes (247) bestimmt wird.
Verfahren (800) nach einem der vorstehenden Ansprüche, wobei das Delta-E Rasterzellenbild (112) basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild (111) des Druckbildes (120) und dem entsprechenden Rasterzellenbild (111) des Soll-Druckbildes (121) bestimmt wird.
Verfahren (800) nach einem der vorstehenden Ansprüche, wobei das vorhergehende Training (150) der Datenbasis (160) von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern basierend auf Neuronalen Netzen (NN), Support Vector Machine (SVM) und/oder Multi-Layer Perceptron (MLP) Verfahren erfolgt.
Verfahren (800) nach einem der vorstehenden Ansprüche, wobei die pixelspezifische Schwellenwertfunktion (140) ein Fragment (224, 611) in dem Delta-E Rasterzellenbild (112), welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes (120) in Bezug auf das Soll-Druckbild (121) basiert, als keinen Pixeldefekt (113) spezifiziert.
Verfahren (800) nach einem der vorstehenden Ansprüche, wobei die pixelspezifische Schwellenwertfunktion (140) einen zusammenhängenden Bereich (214, 610) von Pixeln in dem Delta-E Rasterzellenbild (112), der eine vorgegebene Größe überschreitet, als Pixeldefekt (113) spezifiziert.
Verfahren (800) nach einem der vorstehenden Ansprüche, wobei sowohl das Training (150) der Datenbasis (160) von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern als auch die benutzerspezifische Klassifikation (115) des Defektbildes (114) auf demselben Trainingsvorgang (150) basieren.
Verfahren (800) nach Anspruch 8, wobei der Trainingsvorgang (150) auf einer Klassifikation einer Datenbasis von Druckbildern (401, 411, 421) gegenüber zugehörigen Sollwert-Druckbildern (402, 412, 422) basierend auf einer subjektiven Fehlererkennung eines Benutzers beruht.
Verfahren (800) nach einem der vorstehenden Ansprüche, wobei die pixelspezifische Schwellenwertfunktion (140, 505) jedem Grauwert des Delta-E Rasterzellenbildes (112) einen Binärwert 0 oder 1 zuordnet.
Verfahren (800) nach Anspruch 10, wobei die pixelspezifische Schwellenwertfunktion (140, 505) eine logistische Funktion oder eine Stufenfunktion bezüglich der Grauwerte des Delta-E Rasterzellenbildes (503) umfasst.
Verfahren (800) nach einem der vorstehenden Ansprüche, wobei die Klassifikation (115) des Defektbildes (114) auf folgenden Merkmalen basiert: einer Fläche von zusammenhängenden Komponenten des Delta-E Rasterzellenbildes (503), einem Innenradius der zusammenhängenden Komponenten des Delta-E Rasterzellenbildes (503), einer Korrelation zwischen Ist-Druckbild (120) und Soll-Druckbild (121), einem Kontrast des Delta-E Rasterzellenbildes (503), insbesondere einer Farbdifferenz zwischen Hintergrund und Vordergrund.
Verfahren (800) nach einem der vorstehenden Ansprüche, wobei: das Druckobjekt mittels einer Kamera optisch aufgenommen wird, um das Druckbild zu erhalten.
Verfahren (800) nach einem der vorstehenden Ansprüche, wobei als Inspektionsergebnis (116) ein Druckfehler beim Druck des Druckbildes (120) mit einem Farbdrucker ausgegeben wird, wobei der Druckfehler in Form eines Farbpunktes oder Farbstreifens auftritt, der auf einer Fehlfunktion eines Farbkanals (246) des Farbdruckers basiert.
Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens (800) nach einem der Ansprüche 1 bis 14.
Druckinspektionsvorrichtung (100, 200) zur optischen Inspektion eines Druckbildes (120) eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild (121) zugeordnet ist, mit: einem Prozessor (110), der ausgebildet ist, für das Druckbild (120) und das Soll-Druckbild (121) jeweils eine Mehrzahl von Rasterzellenbildern (111) basierend auf einer Unterteilung des Druckbilds (120) und des Soll-Druckbilds (121) in Rasterzellen (130) zu bestimmen; für jede Rasterzelle (130) ein Delta-E Rasterzellenbild (112) basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes (120) und einem Rasterzellenbild des Soll-Druckbildes (121) zu bestimmen; für jedes Pixel des Delta-E Rasterzellenbildes (112) basierend auf einer pixelspezifischen Schwellenwertfunktion (140) zu bestimmen ob ein Pixeldefekt (113) vorliegt, wobei die pixelspezifische Schwellenwertfunktion (140) auf einem vorherigen Training (150) einer Datenbasis (160) von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern beruht; die zuvor bestimmten Pixeldefekte (113) in den jeweiligen Delta-E Rasterzellenbildern (112) zu einem Defektbild (114) zusammenzusetzen, welches einen Überblick über die Pixeldefekte (113) des Druckbildes (120) gibt; und ein Inspektionsergebnis (116) basierend auf einer benutzerspezifischen Klassifikation (115) des Defektbildes (114) auszugeben, wobei die Druckinspektionsvorrichtung (100, 200) programmtechnisch eingerichtet ist, um den Programmcode des Computerprogramms nach Anspruch 15 auszuführen.