EP3771564A1 - Druckinspektionsvorrichtung und verfahren zur optischen inspektion eines druckbildes eines druckobjekts - Google Patents

Druckinspektionsvorrichtung und verfahren zur optischen inspektion eines druckbildes eines druckobjekts Download PDF

Info

Publication number
EP3771564A1
EP3771564A1 EP20188815.3A EP20188815A EP3771564A1 EP 3771564 A1 EP3771564 A1 EP 3771564A1 EP 20188815 A EP20188815 A EP 20188815A EP 3771564 A1 EP3771564 A1 EP 3771564A1
Authority
EP
European Patent Office
Prior art keywords
image
print
print image
delta
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20188815.3A
Other languages
English (en)
French (fr)
Inventor
Dr. Lucas FRANEK
Dr. Ralf GRIESER
Christoph Schultheiss
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bundesdruckerei GmbH
Original Assignee
Bundesdruckerei GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bundesdruckerei GmbH filed Critical Bundesdruckerei GmbH
Publication of EP3771564A1 publication Critical patent/EP3771564A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41F—PRINTING MACHINES OR PRESSES
    • B41F33/00—Indicating, counting, warning, control or safety devices
    • B41F33/0036—Devices for scanning or checking the printed matter for quality control

Definitions

  • the present invention relates to the field of optical inspection of a print image of a print object.
  • the pamphlet DE 10 2017 116 882 A1 relates to a print inspection device for the optical inspection of a print image of a print object, a target print object being assigned to the print object.
  • the print inspection device comprises an image camera for optically recording the print object and a processor for further processing the recorded print object.
  • the invention solves this problem by recognizing anomalies in the print image, measuring error sizes and classifying the errors.
  • the invention enables customer-specific error detection in the print image by means of a machine Learn.
  • the object is achieved in particular by an architecture with several layers, which enables customer-specific detection of printing errors.
  • the multiple layers include color calibration, determination of the defect image from a calibrated Delta E image, customer-specific classification using machine learning and detection of different degrees of defects.
  • the invention relates to a print inspection device for optically inspecting a print image of a print object, a target print image being assigned to the print object, with: a processor which is designed to each based on a plurality of raster cell images for the print image and the target print image to determine a subdivision of the print image and the target print image into raster cells; for each raster cell to determine a delta-E raster cell image based on a color distance between a raster cell image of the print image and a raster cell image of the target print image; to determine for each pixel of the Delta-E cell image based on a pixel-specific threshold value function whether a pixel defect is present, the pixel-specific threshold value function being based on a previous training of a database of Delta-E cell images with associated manually specified ground truth cell images; assemble the previously determined pixel defects in the respective Delta-E cell images to form a defect image which gives an overview of the pixel defects of the print image; and output an
  • Such a print inspection device offers the user an efficient optical inspection of a print image of a print object. Due to the previous training, the optical inspection is less dependent on the manual parameterization than is the case with previous devices and there are fewer misrecognized printing errors, in particular pseudo-printing errors are recognized as such.
  • the print inspection device detects anomalies in the print image and provides the user with a means of measuring defect sizes and classifying the defects.
  • the print inspection device enables customer-specific error detection in the print image by means of machine learning.
  • the print image forms an actual print image of a print object to be inspected, which can be printed on a substrate.
  • the target print image can be present, for example, as a vector font or as a vector graphic or as a digital image, and can be known from a prepress stage, for example.
  • the grid can be an equidistant grid, but it can also be composed of any polygons. Individual cells in the grid can also be deactivated. This has the advantage that regions in which an examination is not desired can be adapted very flexibly.
  • the grid cells of the grid overlap and a local alignment can be carried out for each cell. This has the advantage that in the case of not optimally tensioned film, in the case of lamination distortion or in similar situations, local alignment allows the actual print image and the target print image to be better brought into local coincidence.
  • the processor is designed to determine the plurality of raster cell images based on color-calibrated and mutually aligned print images and target print images.
  • the processor is designed to determine the plurality of raster cell images for a respective color channel of a plurality of color channels of a color space.
  • the processor is designed to determine the delta-E raster cell image based on a Euclidean distance in the color space between the raster cell image of the print image and the corresponding raster cell image of the target print image.
  • the previous training of the database of Delta-E cell images with associated ground truth cell images takes place based on neural networks (NN), support vector machine (SVM) and / or multi-layer perceptron (MLP) methods.
  • NN neural networks
  • SVM support vector machine
  • MLP multi-layer perceptron
  • the pixel-specific threshold value function specifies a fragment in the Delta-E raster cell image, which is based on an irregularity in an alignment of the print image with respect to the target print image, as not a pixel error.
  • the print inspection device is fault-tolerant to incorrect positioning of the print image compared to the target print image, which is caused, for example, by the fact that the print image is not precisely positioned, e.g. due to incorrect positioning of the recording camera or an inclined indentation when reading or Scanning the print image.
  • the pixel-specific threshold value function specifies a contiguous area of pixels in the Delta-E raster cell image that exceeds a predetermined size as a pixel error.
  • both the training of the database of Delta-E cell images with associated ground truth cell images and the user-specific classification of the defect image are based on the same training process.
  • the training process is based on a classification of a database of print images against associated target value print images based on a subjective error detection of a user.
  • the pixel-specific threshold value function assigns a binary value 0 or 1 to each gray value of the delta-E raster cell image.
  • the threshold function can efficiently distinguish areas with a high level of confidence from areas with a low level of confidence and can easily represent it in the form of a threshold.
  • the pixel-specific threshold value function comprises a logistic function, e.g. a sigmoid function or a step function with regard to the gray values of the Delta-E raster cell image.
  • the defect classification is based on the following features: an area of connected components of the Delta-E cell image, an inner radius of the connected components of the Delta-E cell image, a correlation between the actual print image and the target print image, a contrast between the background and Foreground in relation to the Delta-E cell image.
  • the number of defect pixels per line is also taken into account as a feature. Columns are considered analogously for vertical streakiness.
  • the print inspection device comprises a camera which is designed to optically record the print object in order to obtain the print image.
  • the camera can easily provide the print image.
  • the print image can be provided via a scanner or a reading device.
  • the processor is designed to output a printing error when printing the print image with a color printer as the inspection result, the printing error occurring in the form of a color point or color stripe based on a malfunction of a color channel of the color printer.
  • the invention relates to a method for the optical inspection of a print image of a print object, wherein the print object is assigned a target print image, with the following steps: Determining a respective plurality of raster cell images for the print image and the target print image based on a subdivision of the Print image and the target print image in raster cells; Determining a delta-E raster cell image for each raster cell based on a color distance between a raster cell image of the print image and a raster cell image of the target print image; Determining for each pixel of the Delta-E cell image, based on a pixel-specific threshold value function, whether a pixel defect is present, the pixel-specific threshold value function being based on a previous training of a database of Delta-E cell images with associated manually specified ground-truth cell images; Combining the previously determined pixel defects in the respective Delta-E cell images to form a defect image which gives an overview of the pixel defects of the print image; and
  • Such a method offers the user an efficient optical inspection of a print image of a print object. Due to the previous training, the optical inspection is less dependent on the manual parameterization than was previously the case and there are fewer misrecognized printing errors, in particular pseudo-printing errors are recognized as such.
  • the invention relates to a computer program with a program code for executing the method according to the second aspect of FIG Invention. This has the advantage that the method can be carried out in an automated manner.
  • the pressure inspection device can be set up in terms of programming to execute the program code or parts of the program code.
  • the invention can be implemented in hardware and software.
  • Fig. 1 shows a schematic diagram of a print inspection device 100 for the optical inspection of a print image 120 of a print object according to one embodiment.
  • a target print image 121 which represents the ideal image of the print object, is assigned to the print object.
  • the print inspection device 100 comprises a processor 110 which is designed to determine a plurality of raster cell images 111 for the print image 120 and the target print image 121 based on a subdivision of the print image 120 and the target print image 121 into raster cells 130.
  • the processor 110 is further designed to determine a delta-E raster cell image 112 for each raster cell 130 based on a color distance between a raster cell image of the print image 120 and a raster cell image of the target print image 121.
  • the processor 110 is also designed to determine for each pixel of the Delta-E raster cell image 112 based on a pixel-specific threshold value function 140 whether a pixel defect 113 is present.
  • the pixel-specific threshold value function 140 is based on a previous training 150 of a database 160 of Delta-E raster cell images with associated manually specified ground truth cell images.
  • the processor 110 is also designed to combine the previously determined pixel defects 113 in the respective Delta-E raster cell images 112 to form a defect image 114, which gives an overview of the pixel defects 113 of the print image 120, and an inspection result 116 based on a user-specific classification 115 of the defect image 114 output.
  • a processor is a programmable arithmetic unit, that is to say a machine or an electronic circuit that controls other machines or electrical circuits in accordance with transferred commands and thereby executes an algorithm or process, which usually includes data processing.
  • the processor can, for example, be a microcontroller or a digital signal processor or a CPU, for example in an embedded system.
  • the term processor is used here understood both the component, ie the semiconductor chip and the data-processing logic unit.
  • the term processor also includes one or a plurality of processor cores which are nowadays contained in many processor chips, each core representing a (largely) independent logic unit.
  • Ground truth is a term used in statistics and machine learning. This means that the results of the machine learning are checked for their correctness compared to the real world. The term comes from meteorology, where "basic truth" refers to information obtained on site. The term implies a kind of reality check for machine learning algorithms.
  • Delta E is a measure of the perceived color difference, which is "equally spaced” for all colors that occur as far as possible.
  • the delta stands as a sign of the difference. This allows work that deals with colors to be quantified.
  • the L * a * b * color space (also: CIELAB) describes all perceptible colors. It uses a three-dimensional color space in which the brightness value L * is perpendicular to the color plane (a *, b *).
  • the most important properties of the L * a * b * color model include device independence and perception-relatedness, i.e. colors are defined as they are perceived by a normal observer under a standard lighting condition, regardless of how they are generated or how they are reproduced.
  • the color model is standardized in EN ISO 11664-4 "Colorimetry - Part 4: CIE 1976 L * a * b * Color space".
  • the color difference is usually given as Delta E.
  • the term color distance is preferred to the term color difference.
  • color difference it stands for the quantified form. Every color that actually occurs, including every color emitted or measured by a device, can be assigned a color location in a three-dimensional space.
  • the value of Delta E between the color coordinates (L *, a *, b *) p and (L *, a *, b *) q is calculated as the Euclidean distance according to EN ISO 11664-4.
  • the grid 130 can be a rectangular or square grid, i.e. a grid with rectangular or square grid elements. Alternatively, any other grid shape can be used, e.g. hexagon, triangular, etc.
  • the processor 110 is designed to determine the plurality of raster cell images 111 based on color-calibrated 255 and 256 print images 120 and target print images 121 that are aligned with one another.
  • the goal of color calibration 255 is to measure and / or adjust the color behavior of a device (input or output) in a known state.
  • Calibration refers to establishing a known relationship with a standard color space.
  • Input data can come from device sources such as digital cameras, image scanners, or other measuring devices. These inputs can be specified in either monochrome or multidimensional color - most commonly in the three-channel RGB (red / green / blue) model.
  • the processor 110 can determine an alignment of the print image relative to the target print image and rotate the print image on the basis of the alignment. This has the advantage that an alignment of the print image with respect to the target print image or the masking template can be corrected.
  • the processor 110 can be designed to determine the plurality of raster cell images 111 for a respective color channel of a plurality of color channels 246 of a color space 247, for example to Figure 2 shown.
  • processor 110 can be designed to determine delta-E raster cell image 112 based on a Euclidean distance in the color space between raster cell image 111 of print image 120 and the corresponding raster cell image 111 of target print image 121.
  • Every color that actually occurs can be assigned a color location in a three-dimensional space.
  • the preceding training 150 of the database 160 of Delta-E cell images with associated ground truth cell images takes place based on neural networks (NN), support vector machine (SVM) and / or multi-layer perceptron (MLP) methods.
  • NN neural networks
  • SVM support vector machine
  • MLP multi-layer perceptron
  • Ns artificial neural networks
  • the topology of a network i.e. the assignment of connections to nodes, must be well thought out depending on its task.
  • the training phase follows, in which the network "learns”. Learning a neural network through the following methods: developing new connections, deleting existing connections, changing the weighting (the weights from neuron to neuron), adjusting the threshold values of the neurons, if these have threshold values, adding or deleting neurons, modifying activation, Propagation or output function.
  • the learning behavior changes when the activation function of the neurons or the learning rate of the network changes.
  • a network "learns” mainly by modifying the weights of the neurons.
  • NNs are able to learn complicated non-linear functions using a "learning" algorithm that tries to determine all parameters of the function from existing input and desired output values using an iterative or recursive procedure.
  • a support vector machine serves as a classifier and regressor.
  • a support vector machine divides a number of objects into classes in such a way that the broadest possible area around the class boundaries remains free of objects.
  • the starting point for building a support vector machine is a set of training objects, for which it is known which class they belong to. Each object is represented by a vector in a vector space.
  • the task of the support vector machine is to fit a hyperplane into this space, which acts as a separating surface and divides the training objects into two classes. The distance between those vectors that are closest to the hyperplane is maximized. That wide, empty margin should later ensure that objects that do not exactly correspond to the training objects are classified as reliably as possible.
  • the perceptron is a simplified artificial neural network.
  • simple perceptron it consists of a single artificial neuron with adjustable weightings and a threshold value.
  • This term various combinations of the original model (MLP English. Multi-layerperceptron,) be understood today, it will ply between and multilayer perceptrons distinguished.
  • Perceptron networks convert an input vector into an output vector and thus represent a simple associative memory.
  • the pixel-specific threshold value function 140 specifies a fragment 224, 611 (as, for example, in FIG Figure 2 or Figure 6 shown) in the Delta-E raster cell image 112, which is based on an irregularity in an alignment of the print image 120 with respect to the target print image 121, as not a pixel defect 113. This can prevent misalignments of the print image with respect to the target Print image 121 can be determined as a printing error or defect. Such fragments mostly occur in the form of lines or hatching, in particular at points at which the print image 120 is slightly shifted in relation to the target print image 121.
  • the pixel-specific threshold function 140 specifies a contiguous area 214, 610 of pixels in the Delta-E raster cell image 112 (eg as in FIG Figure 2 or Figure 6 shown). This means that misprints, which usually take up a certain area, are recognized as printing errors or defects.
  • both the training 150 of the database 160 of Delta-E cell images with associated ground truth cell images and the user-specific classification 115 of the defect image 114 are based on the same training process 150.
  • a training process for example, a user is provided with different pressure images associated target print images. The user recognizes errors in the print images based on his subjective impression and marks them (labeling process). Those flagged as errors by the user Print images with associated (actual) print images are learned in the training phase by means of a machine learning process such as NN, MLP or SVM. This enables the machine learning process to also classify new images for printing errors based on the learned pattern.
  • the training process 150 is based on a classification of a database of print images (see, for example, 401, 411, 421 in FIG Figure 4 ) compared to the corresponding setpoint pressure images (see e.g. 402, 412, 422 in Figure 4 ) based on a subjective error detection of a user, as described above.
  • the pixel-specific threshold value function 140, 505 assign a threshold value in the range from 0 to 1 to each color value of the delta-E raster cell image 112.
  • the pixel-specific threshold value function 140, 505 can include, for example, a logistic function, for example a sigmoid function or a step function with respect to the gray values of the delta-E raster cell image 503.
  • the classification 115 can be based on the following features: an area of connected components of the delta-E raster cell image 503 (see FIG Figure 5 ), an inner radius of the connected components of the Delta-E raster cell image 503, a correlation between the actual print image and the target print image, a contrast of the Delta-E raster cell image 503, in particular a color difference between background and foreground.
  • the print inspection device 100 can furthermore include a camera which is designed to optically record the print object in order to obtain the print image.
  • the print inspection device 100 can comprise a scanner or a reading device in order to scan or read in the print image.
  • the processor 110 is designed to output a print error when printing the print image 120 with a color printer as the inspection result 116, the print error occurring in the form of a color point or color stripe which is due to a malfunction of a color channel 246 (see FIG Fig. 2 ) of the color printer.
  • Fig. 2 shows an architectural diagram of a print inspection device 200 for optical inspection of a print image 250 of a print object according to an embodiment.
  • the pressure inspection device 200 is a specific embodiment of the above Figure 1 pressure inspection device 100 described.
  • An input image 250 corresponds to the print image 120 from Figure 1 .
  • the input image 250 is assigned to a target print image 241 of a model 240 which corresponds to the ideal image of the print object, ie the image without printing errors.
  • a color calibration stage 255 input image 250 and target print image 241 are color-calibrated.
  • the aim of the color calibration 255 is to adapt the color behavior of the input image 250 to the color behavior of the target print image 241.
  • Calibration refers to establishing a known relationship with a standard color space.
  • Inputs are the input image 250 and the target print image 241. These inputs can be specified either monochrome or in multidimensional color - most often in the three-channel RGB (red / green / blue) model.
  • a color-calibrated input image 251 is generated, for example with white balance, as in FIG Fig. 2 shown.
  • the target print image 241 can also be displayed as a color-calibrated target print image.
  • the target print image 241 or the color-calibrated target print image and color-calibrated (actual) print image 251 are aligned 256 with one another.
  • the images are shifted or rotated with respect to one another so that both images are finally aligned so that they lie on top of one another. That is, the processor 110 converts the position data of both images accordingly, so that the position data are aligned with one another.
  • a target print image 242 and an actual print image 252 are available, which are aligned with one another or with one another.
  • Both images are then split into respective color channels 246 in the present color space 247, e.g. RGB, so that an actual print image 253 and a corresponding target print image are generated for each color channel 246.
  • present color space 247 e.g. RGB
  • a grid 244 or raster is placed over the print image 253 and the associated target print image 242 in order to divide the print image 253 and the associated target print image 242 into a plurality of raster cell images 254, each of which represents partial sections of the respective print image.
  • the grid size is preset or freely selectable.
  • a local position correction 245 can be carried out via the grid layer.
  • Each cell or raster cell of the grid 244 is treated in the pressure inspection device 200 as an independent layer 210, 220, 230, in FIG Figure 2 the three layers 210, 220, 230 are shown by way of example.
  • a Delta E raster cell image 201 is determined on the basis of a comparison between model and image.
  • the Delta-E raster cell image 215 of a first layer 210 can be determined based on a Euclidean distance in the color space between the raster cell image 214 of the print image 253 and the corresponding raster cell image 213 of the target print image 242.
  • Delta E is calculated as the Euclidean distance between the color locations (L *, a *, b *), and (L *, a *, b *) 2 .
  • the delta-E raster cell image 225 of a second layer 220 can be determined e.g. based on the Euclidean distance in the color space between the raster cell image 224 of the print image 253 and the corresponding raster cell image 223 of the target print image 242.
  • the delta-E grid cell image 235 of an n-th layer 230 can be determined, e.g. based on the Euclidean distance in the color space between the grid cell image 234 of the print image 253 and the corresponding grid cell image 233 of the target print image 242.
  • a database is trained using an activation function 202 per pixel.
  • the activation function 202 can be based, for example, on the following relationship: where p l indicates a probability variable, ⁇ its mean value and ⁇ its variance. The probability distribution is therefore characterized by a sigmoid function.
  • a classification in a classification layer 203 of a training database for example the training database 160 with Delta-E and Ground-Truth images, as in FIG Figure 1 described in order to make a detection for an error or for no error.
  • related components are thus detected in the Delta E raster cell image 201 and classified as faulty or non-faulty. For example, a related component 216 of the Delta E grid cell image 215 of the first layer 210 is classified as not defective and a related component 217 of the Delta E grid cell image 215 of the first layer 210 is classified as defective.
  • a related component 226 of the delta E grid cell image 225 is classified as not defective and a related component 227 of the delta E grid cell image 225 is classified as not defective.
  • a related component 236 of the delta E raster cell image 235 is classified as not defective and a related component 237 of the delta E raster cell image 235 is classified as defective.
  • a pixel-specific threshold value function can classify a fragment 224 in the delta-E raster cell image 201, which is based on an irregularity in an alignment of the print image 250 with respect to the target print image 242, as no pixel defect. It can thus be avoided that misalignments of the print image 250 with respect to the target print image 242 are determined as a printing error or defect. Such fragments usually appear in the form of lines or hatching, in particular in places where the print image 120 is light is shifted with respect to the target print image 121. Furthermore, the pixel-specific threshold value function can classify a coherent area 214 of pixels in the delta-E raster cell image 215, which exceeds a predetermined size or extent, as a pixel defect. This means that misprints, which usually take up a certain area, are recognized as printing errors or defects.
  • a user is presented with various print images with associated target print images.
  • the user recognizes errors in the print images based on his subjective impression and marks them (labeling process).
  • the print images marked with errors by the user with associated (actual) print images are learned in the training phase by means of a machine learning method such as NN, MLP or SVM. This enables the machine learning process to also classify new images for printing errors based on the learned pattern.
  • the activation function 202 also referred to as a pixel-specific threshold value function, can be based on the following features: an area of connected components of the Delta-E grid cell image 215, 225, 235, an inner radius of the connected components of the Delta-E grid cell image 215, 225, 235, a Correlation between color channels 246 of the Delta-E raster cell image 215, 225, 235, a contrast of the Delta-E raster cell image 215, 225, 235, in particular a color difference between background and foreground.
  • the number of defect pixels per line is also taken into account as a feature. Columns are considered analogously for vertical streakiness.
  • an error image 204 is generated which gives the viewer an overview of printing errors in the print image.
  • both the training of the classification layer 203 with activation function on the basis of a database and the customer-specific classification 205 of the defect image 204 are based on the same training process 150, for example as above Figure 1 described.
  • Training process for example, a user is presented with various print images with associated target print images. The user recognizes errors in the print images based on his subjective impression and marks them (labeling process). The print images marked with errors by the user with associated (actual) print images are learned in the training phase by means of a machine learning method such as NN, MLP or SVM. This enables the machine learning method to also classify new images for printing errors on the basis of the learned pattern, so that the print inspection device 200 has a higher error detection rate.
  • the print inspection device 200 was tested with various data sets of portrait images.
  • a first data set had 72 portrait images, with 64 images having color points within the portrait and 8 images being free from printing errors.
  • a second data set had 600 portrait images, 480 images having color points within the portrait, 117 images having stripes and only 3 images being free from printing errors. Each image had only one misprint, namely in a color channel. In the test data set, the printing errors were varied across the individual color channels.
  • the color points had areas of 0.4 mm 2 , 0.5 mm 2 and 0.6 mm 2 . Additional errors, ie printing errors of the area 0.4 mm 2 , were detected with a detection rate of 85.53% and critical errors, ie printing errors of the areas 0.5 mm 2 and 0.6 mm 2 , with a detection rate of 98.39 % recognized.
  • Fig. 3 shows two print images 301, 302 of a female person, each of which has a printing error caused by a printer.
  • a printing error at point 311, ie in the area of the right cheek has been recognized by manual inspection.
  • print defects at points 312 and 313, that is to say light horizontal stripes in the face area have been detected by manual inspection.
  • the printing errors are in each case printing errors of a second class, which arise due to incorrect behavior of the printer and are noticeable as colored dots or stripes. In this case, either a color channel is missing completely or a color channel is printing although it should not be printing.
  • This class of defects can be specified more precisely.
  • Second class typographical errors are different from typographical errors of a first class, which are anomalies, such as scratches, dirt, etc. Printing errors of this first class cannot be specified further.
  • Printing errors of the first class can be recognized by means of statistical anomaly detection, while printing errors of the second class can be used to train a classifier, as with the above Figures 1 and 2 described, who can then detect these defects.
  • Fig. 4 shows three exemplary series of raster cell images, each with input 401, 411, 421, model 402, 412, 422 or nominal value and manually specified ground truth 403, 413, 423.
  • the printing error in the actual Raster cell image 401 that is to say the point-like or circular area which occupies the entire center of the image 401, is very pronounced and can therefore easily be recognized manually by a user.
  • the user can thus identify or label the ground truth grid cell image 403.
  • White areas in the ground truth grid cell image 403 represent areas with a high level of confidence, while black areas represent areas with a low level of confidence.
  • the confidence level in the ground truth grid cell image 403 is scaled from 0 to 240, where 0 represents the black area with a low confidence level and 240 the white area with a high confidence level. Even if no gray areas can be seen in the ground truth grid cell image 403, the user can also label confidence levels between 0 and 240 (i.e. gray levels from dark gray to light gray).
  • the printing error in the actual Raster cell image 411 that is to say the point-like or circular area which occupies the entire center of the image 411, is not very pronounced and can therefore only be recognized manually by the user with difficulty after intensive examination. After carefully inspecting the user, he can use it to identify or identify the ground truth grid cell image 413. label. Due to the careful examination of the user, the ground-truth grid cell image 413 corresponds approximately to the ground-truth grid cell image 403 from the first series, ie despite the poorer input data 411, the result is the same.
  • the printing error in the actual Raster cell image 421, ie the point-like or circular area which occupies the entire center of the image 421, is also only slightly pronounced and can therefore only be recognized manually by the user with difficulty after intensive examination.
  • the second series has a light gray error in a light gray image
  • the third series has a dark gray error in a dark gray image.
  • the user must carefully inspect the image in order to then be able to label the ground truth raster cell image 423.
  • the ground-truth grid cell image 423 corresponds roughly to the ground-truth grid cell image 403 from the first series due to the careful examination by the user, i.e. despite the poorer input data 421, the result is the same.
  • FIG. 11 shows a schematic diagram of a pixel-related training 500 of a Delta E raster cell image according to an embodiment.
  • the Delta E grid cell image 503 is determined, as above for the Figures 1 and 2 described.
  • the ground truth raster cell image 504, which is from a previous labeling process as above Figure 4 is available, is used together with the Delta E grid cell image 503 as input variables for the training 507 in order to train a threshold value function 505, on the basis of which an optimal threshold 506 can be determined.
  • Brightness values from 0 to around 25 are weighted with threshold value 1, which corresponds to a high level of confidence.
  • Brightness values of around 30 to 50 are weighted with the threshold value 0, which corresponds to a low confidence level.
  • the threshold falls monotonically from 1 to 0.
  • Such values correspond to an average confidence level which is established in the border area between an area which is recognized as a printing error and an area which is not recognized as a printing error.
  • the optimal threshold value 506 is thus in the range between 25 and 30, e.g. 27 or 28.
  • Fig. 6 shows an exemplary image sequence of a target print image 601, a real print image 602 and an associated defect image 603.
  • the target print image 601 represents a portrait of a female person.
  • a colored spot or point can be seen on the right cheek of the person, which represents a printing error.
  • Defect image 114 described corresponds or also to that Figure 2 described error image 204, two different types of printing errors can be recognized.
  • the above-mentioned colored spot or point 610 is recognized as a printing error;
  • lines or hatching 611 in the area of the hairline are recognized as printing errors, which may have arisen due to an inexact alignment of the two images 601, 602 with one another.
  • the lines or hatching 611 can be excluded as printing errors, so that only the colored spot or point 610 is recognized as a printing error.
  • FIG. 3 shows a schematic diagram of a training 700 of the classification layer for generating a defect classifier according to an embodiment.
  • Real defects 701 are shown on the left in the figure, while pseudo defects 702 are shown on the right.
  • the real defects 701 are colored spots or points, while the pseudo-defects 702 are lines or hatching, which usually arise due to a misalignment of the actual image to the desired image.
  • the defect classifier is determined, which can bring about a differentiation between the two types of defects 701 and 702. With this defect classifier 704 it is then possible to only identify the spots 610 in the defect image 603 of the Figure 6 to be classified as printing errors, but not the stripes 611 or hatching.
  • FIG. 8 shows a schematic diagram of a method 800 for the optical inspection of a print image of a print object according to an embodiment.
  • a target print image 121 is assigned to the print object.
  • the method performs the steps of processor 110 referred to above Figure 1 and Figure 2 have been described in more detail.
  • the method 800 includes determining 801 a respective plurality of raster cell images 111 for the print image 120 and the target print image 121 based on a subdivision of the print image and the target print image into raster cells 130, such as for example above Figures 1 and 2 described.
  • the method 800 comprises determining 802 a delta-E raster cell image 112 for each raster cell 130 based on a color distance between a raster cell image 111 of the print image 120 and a raster cell image 111 of the target print image 121, such as for example above Figures 1 and 2 described
  • the method 800 comprises determining 803 for each pixel of the Delta-E grid cell image 112, based on a pixel-specific threshold value function 140, whether a pixel defect 113 is present, the pixel-specific threshold value function 140 on a previous training 150 of a database 160 of Delta-E grid cell images with associated manually specified ground truth grid cell images, such as above for the Figures 1 and 2 described.
  • the method comprises an assembly 804 of the previously determined pixel defects 113 in the respective delta-E raster cell images 112 to form a defect image 114, which gives an overview of the pixel defects 113 of the print image 120, such as the above Figures 1 and 2 described.
  • the method 800 comprises outputting 805 an inspection result 116 based on a user-specific classification 115 of the defect image 114, such as, for example, regarding the above Figures 1 and 2 described.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft eine Druckinspektionsvorrichtung (100) zur optischen Inspektion eines Druckbildes (120) eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild (121) zugeordnet ist, mit: einem Prozessor (110), der ausgebildet ist, für das Druckbild (120) und das Soll-Druckbild (121) jeweils eine Mehrzahl von Rasterzellenbildern (111) basierend auf einer Unterteilung des Druckbilds (120) und des Soll-Druckbilds (121) in Rasterzellen (130) zu bestimmen; für jede Rasterzelle (130) ein Delta-E Rasterzellenbild (112) basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes (120) und einem Rasterzellenbild des Soll-Druckbildes (121) zu bestimmen; für jedes Pixel des Delta-E Rasterzellenbildes (112) basierend auf einer pixelspezifischen Schwellenwertfunktion (140) zu bestimmen ob ein Pixeldefekt (113) vorliegt, wobei die pixelspezifische Schwellenwertfunktion (140) auf einem vorherigen Training (150) einer Datenbasis (160) von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern beruht; die zuvor bestimmten Pixeldefekte (113) in den jeweiligen Delta-E Rasterzellenbildern (112) zu einem Defektbild (114) zusammenzusetzen, welches einen Überblick über die Pixeldefekte (113) des Druckbildes (120) gibt; und ein Inspektionsergebnis (116) basierend auf einer benutzerspezifischen Klassifikation (115) des Defektbildes (114) auszugeben.

Description

  • Die vorliegende Erfindung betrifft das Gebiet der optischen Inspektion eines Druckbildes eines Druckobjekts.
  • Nach dem Druck werden Druckbilder auf Druckfehler geprüft. Zur Beurteilung eines Druckbildes eines Druckobjekts, beispielsweise zur Qualitätskontrolle von Druckprozessen, werden typischerweise Systeme zur optischen Inspektion eingesetzt. Bestehende Verfahren und Systeme beruhen häufig auf Differenzbildverfahren. Ihre Ergebnisse hängen stark von der manuellen Parametrisierung ab und führen zum Teil zu Pseudofehlern.
  • Die Druckschrift DE 10 2017 116 882 A1 betrifft eine Druckinspektionsvorrichtung zur optischen Inspektion eines Druckbildes eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckobjekt zugeordnet ist. Die Druckinspektionsvorrichtung umfasst eine Bildkamera zum optischen Aufnehmen des Druckobjekts und einen Prozessor zur Weiterverarbeitung des aufgenommenen Druckobjekts.
  • Es ist daher eine Aufgabe der vorliegenden Erfindung, ein effizientes Konzept zur optischen Inspektion eines Druckbildes eines Druckobjekts zu schaffen.
  • Insbesondere ist es eine Aufgabe der Erfindung, ein Konzept zur optischen Inspektion von Druckbildern zu schaffen, das weniger stark von der manuellen Parametrisierung abhängig ist und zu weniger Druckfehlern, insbesondere Pseudo-Druckfehlern führt als herkömmliche Verfahren.
  • Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungsformen sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Zeichnungen.
  • Die Erfindung löst diese Aufgabe durch das Erkennen von Anomalien im Druckbild, Vermessen von Fehlergrößen und Klassifikation der Fehler. Insbesondere ermöglicht die Erfindung eine kundenspezifische Fehlerdetektion im Druckbild mittels maschinellem Lernen. Die Aufgabe wird insbesondere durch eine Architektur mit mehreren Schichten gelöst, welche eine kundenspezifische Erkennung von Druckfehlern ermöglicht. Die mehreren Schichten umfassen Farb-Kalibrierung, Bestimmung des Defektbildes aus einem kalibrierten Delta E Bild, kundenspezifische Klassifikation durch maschinelles Lernen sowie Erkennung unterschiedlicher Defektgrade.
  • Damit verbunden sind die technischen Vorteile einer Reduktion von Parametern durch Verwendung des Farbabstandes und von maschinellem Lernen zum Training von kundenspezifischen Anforderungen. Die Fehlerklassen können effizient durch Grenzmuster trainiert werden.
  • Gemäß einem ersten Aspekt betrifft die Erfindung eine Druckinspektionsvorrichtung zur optischen Inspektion eines Druckbildes eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild zugeordnet ist, mit: einem Prozessor, der ausgebildet ist, für das Druckbild und das Soll-Druckbild jeweils eine Mehrzahl von Rasterzellenbildern basierend auf einer Unterteilung des Druckbilds und des Soll-Druckbilds in Rasterzellen zu bestimmen; für jede Rasterzelle ein Delta-E Rasterzellenbild basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes und einem Rasterzellenbild des Soll-Druckbildes zu bestimmen; für jedes Pixel des Delta-E Zellenbildes basierend auf einer pixelspezifischen Schwellenwertfunktion zu bestimmen ob ein Pixeldefekt vorliegt, wobei die pixelspezifische Schwellenwertfunktion auf einem vorherigen Training einer Datenbasis von Delta-E Zellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern beruht; die zuvor bestimmten Pixeldefekte in den jeweiligen Delta-E Zellenbildern zu einem Defektbild zusammenzusetzen, welches einen Überblick über die Pixeldefekte des Druckbildes gibt; und ein Inspektionsergebnis basierend auf einer benutzerspezifischen Klassifikation des Defektbildes auszugeben.
  • Eine solche Druckinspektionsvorrichtung bietet dem Benutzer eine effiziente optische Inspektion eines Druckbildes eines Druckobjekts. Aufgrund des vorhergehenden Trainings hängt die optische Inspektion dabei weniger stark von der manuellen Parametrisierung ab als es bei bisherigen Vorrichtungen der Fall ist und es kommt zu weniger falsch erkannten Druckfehlern, insbesondere werden Pseudo-Druckfehler als solche erkannt.
  • Die Druckinspektionsvorrichtung erkennt Anomalien im Druckbild und gibt dem Benutzer ein Mittel zum Vermessen von Fehlergrößen und Klassifikation der Fehler zur Hand. Insbesondere ermöglicht die Druckinspektionsvorrichtung eine kundenspezifische Fehlerdetektion im Druckbild mittels maschinellem Lernen.
  • Das Druckbild bildet ein zu inspizierendes Ist-Druckbild eines Druckobjekts, welches auf einem Substrat aufgedruckt sein kann. Das Soll-Druckbild kann beispielsweise als Vektorfont oder als Vektorgrafik oder als digitales Bild vorliegen, und kann beispielsweise aus einer Druckvorstufe vorbekannt sein.
  • Das Raster kann ein äquidistantes Raster sein, es kann aber auch aus beliebigen Polygonen zusammengesetzt sein. Ferner können einzelne Zellen im Raster deaktiviert sein. Dadurch wird der Vorteil erzielt, dass Regionen in denen eine Prüfung nicht erwünscht ist, sehr flexibel angepasst werden können.
  • Die Rasterzellen des Rasters überlagern sich und pro Zelle kann eine lokale Ausrichtung durchgeführt werden. Dadurch wird der Vorteil erzielt, dass im Falle von nicht optimal gespannter Folie, im Falle von Laminationsverzug oder in ähnlichen Situationen durch eine lokale Ausrichtung Ist-Druckbild und Soll-Druckbild lokal besser zur Deckung gebracht werden können.
  • Gemäß einer Ausführungsform ist der Prozessor ausgebildet, die Mehrzahl von Rasterzellenbildern basierend auf farbkalibrierten und aufeinander ausgerichteten Druckbildern und Soll-Druckbildern zu bestimmen.
  • Damit wird der technische Vorteil erzielt, dass es zu weniger falsch erkannten Druckfehlern kommt, da ein Farbabstand zwischen farbkalibrierten Bildern genauer bestimmt werden kann. Ferner führt die gegenseitige Ausrichtung der Bilder aufeinander dazu, dass es zu weniger Streifen bzw. Schraffuren im Defektbild kommt, welche aus einer Fehlausrichtung zueinander entstehen.
  • Gemäß einer Ausführungsform ist der Prozessor ausgebildet, die Mehrzahl von Rasterzellenbildern für einen jeweiligen Farbkanal einer Mehrzahl von Farbkanälen eines Farbraumes zu bestimmen.
  • Damit wird der technische Vorteil erzielt, dass es zu weniger falsch erkannten Druckfehlern kommt, da ein auftretender Druckfehler aufgrund eines Farbkanaldefektes des Druckers im entsprechenden Farbkanal leichter erkennbar ist.
  • Gemäß einer Ausführungsform ist der Prozessor ausgebildet, das Delta-E Rasterzellenbild basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild des Druckbildes und dem entsprechenden Rasterzellenbild des Soll-Druckbildes zu bestimmen.
  • Damit wird der technische Vorteil erzielt, dass die Euklidische Distanz sich für die jeweiligen Rasterzellenbilder genauer bestimmen lässt als im Bild mit Originalgröße. Es kommt somit zu weniger falsch erkannten Druckfehlern. Das Inspektionsergebnis der Druckinspektionsvorrichtung ist genauer.
  • Gemäß einer Ausführungsform erfolgt das vorhergehende Training der Datenbasis von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern basierend auf Neuronalen Netzen (NN), Support Vector Machine (SVM) und/oder Multi-Layer Perceptron (MLP) Verfahren.
  • Damit wird der technische Vorteil erzielt, dass derartige maschinelle Lernverfahren einen guten Lernerfolg bieten und außerdem skalierbar sind, d.h. je nachdem mit welcher Komplexität das Netz modelliert wird, desto genauer wird das Inspektionsergebnis.
  • Gemäß einer Ausführungsform spezifiziert die pixelspezifische Schwellenwertfunktion ein Fragment in dem Delta-E Rasterzellenbild, welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes in Bezug auf das Soll-Druckbild basiert, als keinen Pixelfehler.
  • Damit wird der technische Vorteil erzielt, dass die Druckinspektionsvorrichtung fehlertolerant gegenüber Fehlpositionierungen des Druckbildes gegenüber dem Soll-Druckbild ist, welche beispielsweise dadurch verursacht werden, dass das Druckbild nicht genau positioniert ist, z.B. durch eine Fehlpositionierung der aufnehmenden Kamera oder einem schiefen Einzug beim Einlesen oder Einscannen des Druckbildes.
  • Gemäß einer Ausführungsform spezifiziert die pixelspezifische Schwellenwertfunktion einen zusammenhängenden Bereich von Pixeln in dem Delta-E Rasterzellenbild, der eine vorgegebene Größe überschreitet, als Pixelfehler.
  • Damit wird der technische Vorteil erzielt, dass Druckfehler, welche auf Fehldrucken basieren, z.B. Punkten, Farbklecksen oder anderen Unregelmäßigkeiten genau erkannt werden können.
  • Gemäß einer Ausführungsform basieren sowohl das Training der Datenbasis von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern als auch die benutzerspezifische Klassifikation des Defektbildes auf demselben Trainingsvorgang.
  • In solch einem Trainingsvorgang werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Basierend auf dem gleichen Trainingsvorgang können somit sowohl Rasterzellenbilder, die einen kleinen Ausschnitt des Bildes anzeigen, als auch das Defektbild, welches den gesamten Bereich des Bildes darstellt, klassifiziert werden. Dies vereinfacht die Ausführung der Klassifikation. Die Druckinspektionsvorrichtung ist weniger komplex.
  • Gemäß einer Ausführungsform beruht der Trainingsvorgang auf einer Klassifikation einer Datenbasis von Druckbildern gegenüber zugehörigen Sollwert-Druckbildern basierend auf einer subjektiven Fehlererkennung eines Benutzers.
  • Damit wird der technische Vorteil erzielt, dass menschliches Expertenwissen in die Klassifikation miteinbezogen werden kann, welches die Fehlererkennungsquote steigert.
  • Gemäß einer Ausführungsform ordnet die pixelspezifische Schwellenwertfunktion jedem Grauwert des Delta-E Rasterzellenbildes einen Binärwert 0 oder 1 zu.
  • Damit wird der technische Vorteil erzielt, dass die Schwellenwertfunktion Bereiche mit hohem Vertrauenslevel von Bereichen mit niedrigem Vertrauenslevel effizient unterscheiden kann und leicht in Form einer Schwelle darstellen kann.
  • Gemäß einer Ausführungsform umfasst die pixelspezifische Schwellenwertfunktion eine logistische Funktion, z.B. eine Sigmoid-Funktion oder eine Stufenfunktion bezüglich der Grauwerte des Delta-E Rasterzellenbildes.
  • Damit wird der technische Vorteil erzielt, dass eine logistische Funktion oder eine Stufenfunktion gut dazu geeignet ist, um Farbübergänge, wie sie bei Druckfehlern auftreten, abzubilden und darzustellen.
  • Gemäß einer Ausführungsform basiert die Defektklassifikation auf folgenden Merkmalen: einer Fläche von zusammenhängenden Komponenten des Delta-E Zellenbildes, einem Innenradius der zusammenhängenden Komponenten des Delta-E Zellenbildes, einer Korrelation zwischen dem Ist-Druckbild und dem Soll-Druckbild, einem Kontrast zwischen Hintergrund und Vordergrund in Bezug auf das Delta-E Zellenbild. Zur Feststellung der Streifigkeit in horizontaler Richtung wird zusätzlich als Merkmal die Anzahl der Defektpixel pro Zeile in Betracht gezogen. Analog werden für die vertikale Streifigkeit Spalten betrachtet.
  • Damit wird der technische Vorteil erzielt, dass anhand dieser Merkmale zusammenhängende Komponenten im Delta-E Zellenbild leicht und automatisiert erkannt werden können, welche auf einen Druckfehler hindeuten. Damit kann die Inspektion auf zuverlässige Weise Druckfehler erkennen und von Artefakten aufgrund Fehlpositionierung der Druckbilder unterscheiden.
  • Gemäß einer Ausführungsform umfasst die Druckinspektionsvorrichtung eine Kamera, die ausgebildet ist, das Druckobjekt optisch aufzunehmen, um das Druckbild zu erhalten.
  • Damit wird der technische Vorteil erzielt, dass die Kamera das Druckbild leicht bereitstellen kann. Alternativ kann das Druckbild über einen Scanner oder ein Lesegerät bereitgestellt werden.
  • Gemäß einer Ausführungsform ist der Prozessor ausgebildet, als Inspektionsergebnis einen Druckfehler beim Druck des Druckbildes mit einem Farbdrucker auszugeben, wobei der Druckfehler in Form eines Farbpunktes oder Farbstreifens auftritt, der auf einer Fehlfunktion eines Farbkanals des Farbdruckers basiert.
  • Damit wird der technische Vorteil erzielt, dass eine Fehlfunktion des Farbdruckers leicht erkannt werden kann. Nach einer Reparatur oder Auswechslung des Druckers werden wieder fehlerfreie Druckbilder erzeugt.
  • Gemäß einem zweiten Aspekt betrifft die Erfindung ein Verfahren zur optischen Inspektion eines Druckbildes eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild zugeordnet ist, mit folgenden Schritten: Bestimmen einer jeweiligen Mehrzahl von Rasterzellenbildern für das Druckbild und das Soll-Druckbild basierend auf einer Unterteilung des Druckbilds und des Soll-Druckbilds in Rasterzellen; Bestimmen eines Delta-E Rasterzellenbilds für jede Rasterzelle basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes und einem Rasterzellenbild des Soll-Druckbildes; Bestimmen für jedes Pixel des Delta-E Zellenbildes, basierend auf einer pixelspezifischen Schwellenwertfunktion, ob ein Pixeldefekt vorliegt, wobei die pixelspezifische Schwellenwertfunktion auf einem vorherigen Training einer Datenbasis von Delta-E Zellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern beruht; Zusammensetzen der zuvor bestimmten Pixeldefekte in den jeweiligen Delta-E Zellenbildern zu einem Defektbild, welches einen Überblick über die Pixeldefekte des Druckbildes gibt; und Ausgeben eines Inspektionsergebnisses basierend auf einer benutzerspezifischen Klassifikation des Defektbildes.
  • Ein solches Verfahren bietet dem Benutzer eine effiziente optische Inspektion eines Druckbildes eines Druckobjekts. Aufgrund des vorhergehenden Trainings hängt die optische Inspektion dabei weniger stark von der manuellen Parametrisierung ab als es bisher der Fall war und es kommt zu weniger falsch erkannten Druckfehlern, insbesondere werden Pseudo-Druckfehler als solche erkannt.
  • Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens gemäß dem zweiten Aspekt der Erfindung. Dadurch wird der Vorteil erreicht, dass das Verfahren automatisiert ausgeführt werden kann.
  • Die Druckinspektionsvorrichtung kann programmtechnisch eingerichtet sein, um den Programmcode oder Teile des Programmcodes auszuführen.
  • Die Erfindung kann in Hardware und Software realisiert werden.
  • Weitere Ausführungsbeispiele werden Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
    • Fig. 1
    ein schematisches Diagramm einer Druckinspektionsvorrichtung 100 zur optischen Inspektion eines Druckbildes 120 eines Druckobjekts gemäß einer Ausführungsform;
    Fig. 2
    ein Architekturdiagramm einer Druckinspektionsvorrichtung 200 zur optischen Inspektion eines Druckbildes 250 eines Druckobjekts gemäß einer Ausführungsform;
    Fig. 3
    Druckbilder 301, 302 einer Person, bei denen jeweils ein durch einen Drucker verursachten Druckfehler auftritt;
    Fig. 4
    drei beispielhafte Serien von Rasterzellenbildern, jeweils mit Eingang 401, 411, 421, Modell 402, 412, 422 bzw. Sollwert und manuell spezifiziertem Ground-Truth 403, 413, 423;
    Fig. 5
    ein schematisches Diagramm eines pixelbezogenen Trainings 500 eines Delta E Rasterzellenbildes gemäß einer Ausführungsform;
    Fig. 6
    eine beispielhafte Bildsequenz eines Soll-Druckbildes 601, eines realen Druckbildes 602 und eines zugehörigen Defektbildes 603;
    Fig. 7
    ein schematisches Diagramm eines Trainings 700 der Klassifikationsschicht zum Erzeugen eines Defekt-Klassifikators gemäß einer Ausführungsform; und
    Fig. 8
    ein schematisches Diagramm eines Verfahrens 800 zur optischen Inspektion eines Druckbildes eines Druckobjekts gemäß einer Ausführungsform.
  • Fig. 1 zeigt ein schematisches Diagramm einer Druckinspektionsvorrichtung 100 zur optischen Inspektion eines Druckbildes 120 eines Druckobjekts gemäß einer Ausführungsform. Dem Druckobjekt ist ein Soll-Druckbild 121 zugeordnet, welches die ideale Abbildung des Druckobjekts darstellt.
  • Die Druckinspektionsvorrichtung 100 umfasst einen Prozessor 110, der ausgebildet ist, für das Druckbild 120 und das Soll-Druckbild 121 jeweils eine Mehrzahl von Rasterzellenbildern 111 basierend auf einer Unterteilung des Druckbildes 120 und des Soll-Druckbilds 121 in Rasterzellen 130 zu bestimmen. Der Prozessor 110 ist ferner ausgebildet, für jede Rasterzelle 130 ein Delta-E Rasterzellenbild 112 basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes 120 und einem Rasterzellenbild des Soll-Druckbildes 121 zu bestimmen. Der Prozessor 110 ist ferner ausgebildet, für jedes Pixel des Delta-E Rasterzellenbildes 112 basierend auf einer pixelspezifischen Schwellenwertfunktion 140 zu bestimmen ob ein Pixeldefekt 113 vorliegt. Dabei beruht die pixelspezifische Schwellenwertfunktion 140 auf einem vorherigen Training 150 einer Datenbasis 160 von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern. Der Prozessor 110 ist ferner ausgebildet, die zuvor bestimmten Pixeldefekte 113 in den jeweiligen Delta-E Rasterzellenbildern 112 zu einem Defektbild 114 zusammenzusetzen, welches einen Überblick über die Pixeldefekte 113 des Druckbildes 120 gibt, und ein Inspektionsergebnis 116 basierend auf einer benutzerspezifischen Klassifikation 115 des Defektbildes 114 auszugeben.
  • Ein Prozessor, wie in dieser Offenbarung beschrieben, ist ein programmierbares Rechenwerk, also eine Maschine oder eine elektronische Schaltung, die gemäß übergebenen Befehlen andere Maschinen oder elektrische Schaltungen steuert und dabei einen Algorithmus oder Prozess ausführt, was meist Datenverarbeitung beinhaltet. Der Prozessor kann z.B. ein Mikrocontroller oder ein digitaler Signalprozessor oder eine CPU, beispielsweise in einem eingebetteten System sein. Unter dem Begriff Prozessor wird hier sowohl das Bauteil verstanden, d.h. der Halbleiter-Chip als auch die datenverarbeitende Logik-Einheit. Der Begriff Prozessor umfasst auch einen oder eine Mehrzahl von Prozessorkernen, die heutzutage in vielen Prozessor-Chips enthalten sind, wobei jeder Kern für sich eine (weitgehend) eigenständige Logik-Einheit darstellt.
  • Ground-Truth ist ein Begriff, der in der Statistik und im maschinellen Lernen verwendet wird. Dies bedeutet, dass die Ergebnisse des maschinellen Lernens auf ihre Richtigkeit im Vergleich zur realen Welt überprüft werden. Der Begriff stammt aus der Meteorologie, wobei sich "Grundwahrheit" auf Informationen bezieht, die vor Ort erhalten wurden. Der Begriff impliziert eine Art Realitätsprüfung für maschinelle Lernalgorithmen.
  • Delta E, oft als dE oder ΔE geschrieben, ist ein Maß für den empfundenen Farbabstand, das möglichst für alle auftretenden Farben "gleichabständig" ist. Das Delta steht hierbei als Zeichen der Differenz. Damit können Arbeiten, die sich mit Farben befassen, quantifiziert werden.
  • Der L*a*b*-Farbraum (auch: CIELAB) beschreibt alle wahrnehmbaren Farben. Er nutzt einen dreidimensionalen Farbenraum, bei dem der Helligkeitswert L* senkrecht auf der Farbebene (a*, b*) steht. Zu den wichtigsten Eigenschaften des L*a*b*-Farbmodells zählen die Geräteunabhängigkeit und die Wahrnehmungsbezogenheit, das heißt: Farben werden unabhängig von der Art ihrer Erzeugung oder Wiedergabetechnik so definiert, wie sie von einem Normalbeobachter bei einer Standard-Lichtbedingung wahrgenommen werden. Das Farbmodell ist in der EN ISO 11664-4 "Colorimetry -- Part 4: CIE 1976 L*a*b* Colour space" genormt.
  • Der Farbabstand wird normalerweise als Delta E angegeben. In EN ISO 11664-4 wird der Begriff Farbabstand gegenüber dem Begriff Farbdifferenz bevorzugt. Gegenüber Farbunterschied steht er für die quantifizierte Form. Jeder real auftretenden Farbe, auch jeder von einem Gerät abgegebenen oder gemessenen Farbe, lässt sich in einem dreidimensionalen Raum ein Farbort zuordnen. Der Wert von Delta E zwischen den Farborten (L*, a*, b*)p und (L*, a*, b*)q wird nach EN ISO 11664-4 als euklidischer Abstand berechnet.
  • Das Raster 130 kann ein rechteckförmiges oder quadratisches Raster sein, d.h. ein Raster mit rechteckförmigen oder quadratischen Gitterelementen. Alternativ kann jede andere Gitterform genutzt werden, z.B. Hexagon, dreieckförmig, etc.
  • Der Prozessor 110 ist in einer Ausführungsform ausgebildet, die Mehrzahl von Rasterzellenbildern 111 basierend auf farbkalibrierten 255 und aufeinander ausgerichteten 256 Druckbildern 120 und Soll-Druckbildern 121 zu bestimmen.
  • Das Ziel der Farbkalibrierung 255 besteht darin, das Farbverhalten eines Geräts (Eingabe oder Ausgabe) in einem bekannten Zustand zu messen und / oder anzupassen. Die Kalibrierung bezieht sich auf das Herstellen einer bekannten Beziehung zu einem Standardfarbraum. Eingabedaten können von Gerätequellen wie Digitalkameras, Bildscannern oder anderen Messgeräten stammen. Diese Eingänge können entweder monochrom oder in mehrdimensionaler Farbe angegeben werden - am häufigsten im dreikanaligen RGB (Rot/Grün/Blau)-Modell.
  • Der Prozessor 110 kann eine Ausrichtung des Druckbildes relativ zum Soll-Druckbild bestimmen und das Druckbild auf Basis der Ausrichtung drehen. Dadurch wird der Vorteil erreicht, dass eine Ausrichtung des Druckbildes bezüglich des Soll-Druckbildes bzw. der Maskierungsschablone korrigiert werden kann.
  • Der Prozessor 110 kann in einer Ausführungsform ausgebildet sein, die Mehrzahl von Rasterzellenbildern 111 für einen jeweiligen Farbkanal einer Mehrzahl von Farbkanälen 246 eines Farbraumes 247 zu bestimmen, wie z.B. zu Figur 2 gezeigt.
  • Der Prozessor 110 kann in einer Ausführungsform ausgebildet sein, das Delta-E Rasterzellenbild 112 basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 111 des Druckbildes 120 und dem entsprechenden Rasterzellenbild 111 des Soll-Druckbildes 121 zu bestimmen.
  • Jeder real auftretenden Farbe, auch jeder von einem Gerät abgegebenen oder gemessenen Farbe, lässt sich in einem dreidimensionalen Raum ein Farbort zuordnen. Der Wert von Delta E zwischen den Farborten (L*, a*, b*)1 und (L*, a*, b*)2 wird nach EN ISO 11664-4 als euklidischer Abstand berechnet: Δ E ab * = L 2 * − L 1 * 2 + a 2 * − a 1 * 2 + b 2 * − b 1 * 2 .
    Figure imgb0001
  • In einer Ausführungsform erfolgt das vorhergehende Training 150 der Datenbasis 160 von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern basierend auf Neuronalen Netzen (NN), Support Vector Machine (SVM) und/oder Multi-Layer Perceptron (MLP) Verfahren.
  • (Künstliche) neuronale Netze (NNs) basieren meist auf der Vernetzung vieler Neuronen. Die Topologie eines Netzes, d.h. die Zuordnung von Verbindungen zu Knoten muss abhängig von seiner Aufgabe gut durchdacht sein. Nach der Konstruktion eines Netzes folgt die Trainingsphase, in der das Netz "lernt". Ein neuronales Netz durch folgende Methoden lernen: Entwicklung neuer Verbindungen, Löschen existierender Verbindungen, Ändern der Gewichtung (der Gewichte von Neuron zu Neuron), Anpassen der Schwellenwerte der Neuronen, sofern diese Schwellenwerte besitzen, Hinzufügen oder Löschen von Neuronen, Modifikation von Aktivierungs-, Propagierungs- oder Ausgabefunktion. Außerdem verändert sich das Lernverhalten bei Veränderung der Aktivierungsfunktion der Neuronen oder der Lernrate des Netzes. Praktisch gesehen "lernt" ein Netz hauptsächlich durch Modifikation der Gewichte der Neuronen. Dadurch sind NNs in der Lage, komplizierte nichtlineare Funktionen über einen "Lern"-Algorithmus, der durch iterative oder rekursive Vorgehensweise aus vorhandenen Ein- und gewünschten Ausgangswerten alle Parameter der Funktion zu bestimmen versucht, zu erlernen.
  • Eine Support Vector Machine (SVM) dient als Klassifikator und Regressor. Eine Support Vector Machine unterteilt eine Menge von Objekten so in Klassen, dass um die Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt. Ausgangsbasis für den Bau einer Support Vector Machine ist eine Menge von Trainingsobjekten, für die jeweils bekannt ist, welcher Klasse sie zugehören. Jedes Objekt wird durch einen Vektor in einem Vektorraum repräsentiert. Aufgabe der Support Vector Machine ist es, in diesen Raum eine Hyperebene einzupassen, die als Trennfläche fungiert und die Trainingsobjekte in zwei Klassen teilt. Der Abstand derjenigen Vektoren, die der Hyperebene am nächsten liegen, wird dabei maximiert. Dieser breite, leere Rand soll später dafür sorgen, dass auch Objekte, die nicht genau den Trainingsobjekten entsprechen, möglichst zuverlässig klassifiziert werden.
  • Das Perzeptron ist ein vereinfachtes künstliches neuronales Netz. Es besteht in der Grundversion (einfaches Perzeptron) aus einem einzelnen künstlichen Neuron mit anpassbaren Gewichtungen und einem Schwellenwert. Unter diesem Begriff werden heute verschiedene Kombinationen des ursprünglichen Modells verstanden, dabei wird zwischen einlagigen und mehrlagigen Perzeptronen (engl. multi-layerperceptron, MLP) unterschieden. Perzeptron-Netze wandeln einen Eingabevektor in einen Ausgabevektor um und stellen damit einen einfachen Assoziativspeicher dar.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 100 spezifiziert die pixelspezifische Schwellenwertfunktion 140 ein Fragment 224, 611 (wie z.B. in Figur 2 oder Figur 6 dargestellt) in dem Delta-E Rasterzellenbild 112, welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes 120 in Bezug auf das Soll-Druckbild 121 basiert, als keinen Pixeldefekt 113. Damit kann vermieden werden, dass Fehlausrichtungen des Druckbildes in Bezug auf das Soll-Druckbild 121 als Druckfehler bzw. Defekt bestimmt werden. Solche Fragmente treten meist in Form von Linien oder Schraffuren auf, insbesondere an Stellen, an denen das Druckbild 120 leicht verschoben ist in Bezug auf das Soll-Druckbild 121.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 100 spezifiziert die pixelspezifische Schwellenwertfunktion 140 einen zusammenhängenden Bereich 214, 610 von Pixeln in dem Delta-E Rasterzellenbild 112 (z.B. wie in Figur 2 oder Figur 6 dargestellt). Damit werden Fehldruckstellen, die meist eine gewisse Fläche einnehmen, als Druckfehler bzw. Defekte erkannt.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 100 basiert sowohl das Training 150 der Datenbasis 160 von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern als auch die benutzerspezifische Klassifikation 115 des Defektbildes 114 auf demselben Trainingsvorgang 150. In solch einem Trainingsvorgang werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Die von dem Benutzer fehlermarkierten Druckbilder mit zugehörigen (Ist)-Druckbildern werden in der Trainingsphase mittels eines maschinellen Lernverfahrens, wie z.B. NN, MLP oder SVM, gelernt. Damit wird das maschinelle Lernverfahren in die Lage versetzt, aufgrund des erlernten Musters auch neue Bilder auf Druckfehler zu klassifizieren.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 100 beruht der Trainingsvorgang 150 auf einer Klassifikation einer Datenbasis von Druckbildern (siehe z.B. 401, 411, 421 in Figur 4) gegenüber zugehörigen Sollwert-Druckbildern (siehe z.B. 402, 412, 422 in Figur 4) basierend auf einer subjektiven Fehlererkennung eines Benutzers, wie oben beschrieben.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 100 ordnet die pixelspezifische Schwellenwertfunktion 140, 505 (siehe auch Figur 5) jedem Farbwert des Delta-E Rasterzellenbildes 112 einen Schwellenwert im Bereich von 0 bis 1 zu. Die pixelspezifische Schwellenwertfunktion 140, 505 kann z.B. eine logistische Funktion, z.B. eine Sigmoid-Funktion oder eine Stufenfunktion bezüglich der Grauwerte des Delta-E Rasterzellenbildes 503 umfassen.
  • Insbesondere kann die Klassifikation 115 auf folgenden Merkmalen basieren: einer Fläche von zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 503 (siehe Figur 5), einem Innenradius der zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 503, einer Korrelation zwischen Ist-Druckbild und Soll-Druckbild, einem Kontrast des Delta-E Rasterzellenbildes 503, insbesondere einer Farbdifferenz zwischen Hintergrund und Vordergrund.
  • Die Druckinspektionsvorrichtung 100 kann ferner eine Kamera umfassen, die ausgebildet ist, das Druckobjekt optisch aufzunehmen, um das Druckbild zu erhalten. Alternativ kann die Druckinspektionsvorrichtung 100 einen Scanner oder ein Lesegerät umfassen, um das Druckbild einzuscannen oder einzulesen.
  • In einer Ausführungsform ist der Prozessor 110 ausgebildet, als Inspektionsergebnis 116 einen Druckfehler beim Druck des Druckbildes 120 mit einem Farbdrucker auszugeben, wobei der Druckfehler in Form eines Farbpunktes oder Farbstreifens auftritt, der auf einer Fehlfunktion eines Farbkanals 246 (siehe Fig. 2) des Farbdruckers basiert.
  • Fig. 2 zeigt ein Architekturdiagramm einer Druckinspektionsvorrichtung 200 zur optischen Inspektion eines Druckbildes 250 eines Druckobjekts gemäß einer Ausführungsform. Die Druckinspektionsvorrichtung 200 ist eine spezielle Ausführungsform der oben zu Figur 1 beschriebenen Druckinspektionsvorrichtung 100.
  • Ein Eingangsbild 250 entspricht dem Druckbild 120 aus Figur 1. Das Eingangsbild 250 ist einem Soll-Druckbild 241 eines Modells 240 zugeordnet, welches dem idealen Bild des Druckobjekts entspricht, d.h. dem Bild ohne Druckfehler. In einer Farbkalibrierungsstufe 255 werden Eingangsbild 250 und Soll-Druckbild 241 farblich kalibriert.
  • Wie bereits oben zu Figur 1 beschrieben, besteht das Ziel der Farbkalibrierung 255 darin, das Farbverhalten des Eingangsbildes 250 an das Farbverhalten des Soll-Druckbildes 241 anzupassen. Die Kalibrierung bezieht sich auf das Herstellen einer bekannten Beziehung zu einem Standardfarbraum. Eingänge sind das Eingangsbild 250 und das Soll-Druckbild 241. Diese Eingänge können entweder monochrom oder in mehrdimensionaler Farbe angegeben werden - am häufigsten im dreikanaligen RGB (Rot/Grün/Blau)-Modell. Nach der Farbkalibrierung 255 wird ein farbkalibriertes Eingangsbild 251 erzeugt, z.B. mit Weiß-Abgleich, wie in Fig. 2 dargestellt. Auch das Soll-Druckbild 241 kann als farbkalibriertes Soll-Druckbild dargestellt werden.
  • Nach der Farbkalibrierung 255 werden Soll-Druckbild 241 bzw. farbkalibriertes Soll-Druckbild und farbkalibriertes (Ist)-Druckbild 251 aufeinander ausgerichtet 256. Dabei werden die Bilder zueinander verschoben bzw. gedreht, so dass beide Bilder schließlich aufeinander aufliegend ausgerichtet sind. D.h. der Prozessor 110 rechnet die Positionsdaten beider Bilder entsprechend um, so dass die Positionsdaten aufeinander ausgerichtet sind. Nach der Ausrichtung 256 liegen ein Soll-Druckbild 242 und ein Ist-Druckbild 252 vor, die zueinander bzw. aufeinander ausgerichtet sind.
  • Beide Bilder (Soll-Druckbild 242 und ein Ist-Druckbild 252) werden dann im vorliegenden Farbraum 247, z.B. RGB, in jeweilige Farbkanäle 246 aufgespalten, so dass ein Ist-Druckbild 253 und ein entsprechendes Soll-Druckbild pro Farbkanal 246 erzeugt wird.
  • Über das Druckbild 253 und das zugehörige Soll-Druckbild 242 wird ein Gitter 244 bzw. Raster gelegt, um das Druckbild 253 und das zugehörige Soll-Druckbild 242 in eine Mehrzahl von Rasterzellenbildern 254 aufzuteilen, welche jeweils Teilausschnitte des jeweiligen Druckbildes darstellen. Die Gittergröße ist vorgegeben oder frei wählbar. Über die Gitterschicht kann eine lokale Positionskorrektur 245 vorgenommen werden. Jede Zelle bzw. Rasterzelle des Gitters 244 wird in der Druckinspektionsvorrichtung 200 als eigenständige Schicht 210, 220, 230 behandelt, in Figur 2 sind beispielhaft die drei Schichten 210, 220, 230 dargestellt.
  • Für jede Schicht 210, 220, 230 wird ein Delta E Rasterzellenbild 201 bestimmt anhand eines Vergleichs zwischen Modell und Bild. So kann das Delta-E Rasterzellenbild 215 einer ersten Schicht 210 z.B. basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 214 des Druckbildes 253 und dem entsprechenden Rasterzellenbild 213 des Soll-Druckbildes 242 bestimmt werden. Das Delta E Rasterzellenbild 201 bzw. 215 kann beispielsweise nach der folgenden Formel bestimmt werden: Δ E ab * = L 2 * − L 1 * 2 + a 2 * − a 1 * 2 + b 2 * − b 1 * 2 .
    Figure imgb0002
  • Dabei wird der Wert von Delta E als euklidischer Abstand zwischen den Farborten (L*, a*, b*), und (L*, a*, b*)2 berechnet.
  • Entsprechend kann das Delta-E Rasterzellenbild 225 einer zweiten Schicht 220 z.B. basierend auf der Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 224 des Druckbildes 253 und dem entsprechenden Rasterzellenbild 223 des Soll-Druckbildes 242 bestimmt werden. Entsprechend kann das Delta-E Rasterzellenbild 235 einer n-ten Schicht 230 z.B. basierend auf der Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild 234 des Druckbildes 253 und dem entsprechenden Rasterzellenbild 233 des Soll-Druckbildes 242 bestimmt werden.
  • Für jede Schicht 210, 220, 230 wird eine Datenbasis anhand einer Aktivierungsfunktion 202 pro Pixel trainiert. Die Aktivierungsfunktion 202 kann z.B. auf dem folgenden Zusammenhang basieren:
    Figure imgb0003
     wobei pl eine Wahrscheinlichkeitsgröße angibt, µ deren Mittelwert und σ deren Varianz. Die Wahrscheinlichkeitsverteilung ist folglich durch eine Sigmoidfunktion charakterisiert.
  • Es folgt eine Klassifikation in einer Klassifikationsschicht 203 einer Trainingsdatenbank, z.B. der Trainingsdatenbank 160 mit Delta-E und Ground-Truth Bildern, wie in Figur 1 beschrieben, um eine Detektion auf einen Fehler bzw. auf keinen Fehler vorzunehmen.
  • Für jede Schicht 210, 220, 230 werden so Zusammenhangskomponenten im Delta E Rasterzellenbild 201 detektiert und als fehlerhaft oder nicht fehlerhaft klassifiziert. So wird z.B. eine Zusammenhangskomponente 216 des Delta E Rasterzellenbilds 215 der ersten Schicht 210 als nicht fehlerhaft klassifiziert und eine Zusammenhangskomponente 217 des Delta E Rasterzellenbildes 215 der ersten Schicht 210 als fehlerhaft klassifiziert.
  • Für die zweite Schicht 220 wird eine Zusammenhangskomponente 226 des Delta E Rasterzellenbildes 225 als nicht fehlerhaft klassifiziert und eine Zusammenhangskomponente 227 des Delta E Rasterzellenbildes 225 als nicht fehlerhaft klassifiziert.
  • Für die n-te Schicht 230 wird eine Zusammenhangskomponente 236 des Delta E Rasterzellenbilds 235 als nicht fehlerhaft klassifiziert und eine Zusammenhangskomponente 237 des Delta E Rasterzellenbildes 235 als fehlerhaft klassifiziert.
  • Wie oben zu Figur 1 beschrieben, kann eine pixelspezifische Schwellenwertfunktion so z.B. ein Fragment 224 in dem Delta-E Rasterzellenbild 201, welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes 250 in Bezug auf das Soll-Druckbild 242 basiert, als keinen Pixeldefekt klassifizieren. Damit kann vermieden werden, dass Fehlausrichtungen des Druckbildes 250 in Bezug auf das Soll-Druckbild 242 als Druckfehler bzw. Defekt bestimmt werden. Solche Fragmente treten meist in Form von Linien oder Schraffuren auf, insbesondere an Stellen, an denen das Druckbild 120 leicht verschoben ist in Bezug auf das Soll-Druckbild 121. Ferner kann die pixelspezifische Schwellenwertfunktion einen zusammenhängenden Bereich 214 von Pixeln in dem Delta-E Rasterzellenbild 215, der eine vorgegebene Größe bzw. Ausdehnung überschreitet, als Pixeldefekt klassifizieren. Damit werden Fehldruckstellen, die meist eine gewisse Fläche einnehmen, als Druckfehler bzw. Defekte erkannt.
  • Beim Training werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Die von dem Benutzer fehlermarkierten Druckbilder mit zugehörigen (Ist)-Druckbildern werden in der Trainingsphase mittels eines maschinellen Lernverfahrens, wie z.B. NN, MLP oder SVM, gelernt. Damit wird das maschinelle Lernverfahren in die Lage versetzt, aufgrund des erlernten Musters auch neue Bilder auf Druckfehler zu klassifizieren.
    Die Aktivierungsfunktion 202, auch als pixelspezifische Schwellenwertfunktion bezeichnet, kann dabei auf folgenden Merkmalen basieren: einer Fläche von zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 215, 225, 235, einem Innenradius der zusammenhängenden Komponenten des Delta-E Rasterzellenbildes 215, 225, 235, einer Korrelation zwischen Farbkanälen 246 des Delta-E Rasterzellenbildes 215, 225, 235, einem Kontrast des Delta-E Rasterzellenbildes 215, 225, 235, insbesondere einer Farbdifferenz zwischen Hintergrund und Vordergrund. Zur Feststellung der Streifigkeit in horizontaler Richtung wird zusätzlich als Merkmal die Anzahl der Defektpixel pro Zeile in Betracht gezogen. Analog werden für die vertikale Streifigkeit Spalten betrachtet.
  • Aus den so bestimmten Defekten 212, 232 bzw. Nicht-Defekten 211, 221, 222, 231 wird ein Fehlerbild 204 erzeugt, welches dem Betrachter einen Überblick über Druckfehler im Druckbild gibt.
  • Schließlich folgt eine kundenspezifische Klassifizierung, in der aus dem Fehlerbild 204 ein Inspektionsergebnis 206 abgeleitet wird.
  • In einer Ausführungsform der Druckinspektionsvorrichtung 200 basiert sowohl das Training der Klassifizierungsschicht 203 mit Aktivierungsfunktion anhand einer Datenbasis als auch die kundenspezifische Klassifizierung 205 des Defektbildes 204 auf demselben Trainingsvorgang 150, wie z.B. oben zu Figur 1 beschrieben. In solch einem Trainingsvorgang werden z.B. einem Benutzer verschiedene Druckbilder mit zugehörigen Soll-Druckbildern vorgelegt. Der Benutzer erkennt aufgrund seines subjektiven Eindrucks Fehler in den Druckbildern und kennzeichnet diese (Labeling-Vorgang). Die von dem Benutzer fehlermarkierten Druckbilder mit zugehörigen (Ist)-Druckbildern werden in der Trainingsphase mittels eines maschinellen Lernverfahrens, wie z.B. NN, MLP oder SVM, gelernt. Damit wird das maschinelle Lernverfahren in die Lage versetzt, aufgrund des erlernten Musters auch neue Bilder auf Druckfehler zu klassifizieren, so dass die Druckinspektionsvorrichtung 200 eine höhere Fehlererkennungsrate aufweist.
  • Die Druckinspektionsvorrichtung 200 wurde mit verschiedenen Datensätzen von Portrait-Bildern getestet. Ein erster Datensatz wies 72 Portrait-Bildern auf, wobei 64 Bilder Farbpunkte innerhalb des Portraits hatten und 8 Bilder frei von Druckfehlern waren. Ein zweiter Datensatz wies 600 Portrait-Bilder auf, wobei 480 Bilder Farbpunkte innerhalb des Portraits hatten, 117 Bilder Streifen hatten und nur 3 Bilder frei von Druckfehlern waren. Jedes Bild hatte dabei nur einen Druckfehler und zwar in einem Farbkanal. Im Testdatensatz wurden die Druckfehler über die einzelnen Farbkanäle variiert.
  • Die Farbpunkte hatten bei beiden Datensätzen dabei Flächen von 0,4 mm2, 0,5 mm2 und 0,6 mm2. Dabei wurden Nebenfehler, d.h. Druckfehler der Fläche 0,4 mm2, mit einer Detektionsrate von 85,53 % erkannt und kritische Fehler, d.h. Druckfehler der Flächen 0,5 mm2 und 0,6 mm2, mit einer Detektionsrate von 98,39 % erkannt.
  • Fig. 3 zeigt zwei Druckbilder 301, 302 einer weiblichen Person, bei denen jeweils ein durch einen Drucker verursachter Druckfehler auftritt. In dem Druckbild 301 ist ein Druckfehler an der Stelle 311, d.h. im Bereich der rechten Wange, durch manuelle Inspektion erkannt worden. In dem Druckbild 302 sind Druckfehler an den Stellen 312 und 313, d.h. helle horizontal verlaufende Streifen im Gesichtsbereich, durch manuelle Inspektion erkannt worden.
  • Bei den Druckfehlern handelt es sich jeweils um Druckfehler einer zweiten Klasse, welche aufgrund eines Fehlverhaltens des Druckers entstehen und sich als farbige Punkte oder Streifen bemerkbar machen. In diesem Fall fehlt entweder ein Farbkanal ganz oder ein Farbkanal druckt obwohl er nicht drucken sollte. Diese Klasse von Defekten kann genauer spezifiziert werden. Druckfehler der zweiten Klasse unterscheiden sich von Druckfehlern einer ersten Klasse, bei denen es sich um Anomalien handelt, wie z.B. Kratzer, Schmutz, etc. Druckfehler dieser ersten Klasse können nicht weiter spezifiziert werden.
  • Druckfehler der ersten Klasse können mittels statistischer Anomalie-Detektion erkannt werden, während Druckfehler der zweiten Klasse dazu genutzt werden können, um einen Klassifikator zu trainieren, wie oben zu den Figuren 1 und 2 beschrieben, der diese Defekte dann detektieren kann.
  • Fig. 4 zeigt drei beispielhafte Serien von Rasterzellenbildern, jeweils mit Eingang 401, 411, 421, Modell 402, 412, 422 bzw. Sollwert und manuell spezifiziertem Ground-Truth 403, 413, 423.
  • In der ersten Serie mit dem Ist-Rasterzellenbild 401, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, dem Modell 402, welches den Sollwert für das Rasterzellenbild darstellt, und dem Ground-Truth Rasterzellenbild 403, ist der Druckfehler im Ist-Rasterzellenbild 401, d.h. der punkt- bzw. kreisförmige Bereich, welcher die ganze Mitte des Bildes 401 einnimmt, sehr ausgeprägt und kann daher manuell von einem Benutzer leicht erkannt werden. Der Benutzer kann damit das Ground-Truth Rasterzellenbild 403 kennzeichnen bzw. labeln. Weiße Flächen im Ground-Truth Rasterzellenbild 403 stellen Flächen mit hohem Vertrauenslevel dar, während schwarze Flächen solche mit niedrigem Vertrauenslevel darstellen. Der Vertrauenslevel im Ground-Truth Rasterzellenbild 403 ist skaliert von 0 bis 240, wobei 0 den schwarzen Bereich mit niedrigem Vertrauenslevel und 240 den weißen Bereich mit hohem Vertrauenslevel darstellt. Auch wenn im Ground-Truth Rasterzellenbild 403 keine grauen Bereiche erkennbar sind, kann der Benutzer auch Vertrauenslevel zwischen 0 und 240 (d.h. Grau-Abstufungen von dunkelgrau bis hellgrau) labeln.
  • In der zweiten Serie mit dem Ist-Rasterzellenbild 411, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, dem Modell 412, welches den Sollwert für das Rasterzellenbild darstellt, und dem Ground-Truth Rasterzellenbild 413, ist der Druckfehler im Ist-Rasterzellenbild 411, d.h. der punkt- bzw. kreisförmige Bereich, welcher die ganze Mitte des Bildes 411 einnimmt, nur wenig ausgeprägt und kann daher manuell von dem Benutzer nur schwer nach intensiver Prüfung erkannt werden. Nach genauer Inspektion des Benutzers kann er damit das Ground-Truth Rasterzellenbild 413 kennzeichnen bzw. labeln. Aufgrund der sorgfältigen Prüfung des Benutzers entspricht das Ground-Truth Rasterzellenbild 413 in etwa dem das Ground-Truth Rasterzellenbild 403 aus der ersten Serie, d.h. trotz der schlechteren Eingangsdaten 411, ist das Ergebnis das gleiche.
  • In der dritten Serie mit dem Ist-Rasterzellenbild 421, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, dem Modell 422, welches den Sollwert für das Rasterzellenbild darstellt, und dem Ground-Truth Rasterzellenbild 423, ist der Druckfehler im Ist-Rasterzellenbild 421, d.h. der punkt- bzw. kreisförmige Bereich, welcher die ganze Mitte des Bildes 421 einnimmt, auch nur wenig ausgeprägt und kann daher manuell von dem Benutzer nur schwer nach intensiver Prüfung erkannt werden. Während die zweite Serie einen Hellgraufehler in einem Hellgraubild aufweist, weist die dritte Serie einen Dunkelgraufehler in einem Dunkelgraubild auf. Auch hier muss der Benutzer das Bild genau inspizieren, um danach das Ground-Truth Rasterzellenbild 423 labeln zu können. Auch hier entspricht das Ground-Truth Rasterzellenbild 423 aufgrund der sorgfältigen Prüfung des Benutzers in etwa dem Ground-Truth Rasterzellenbild 403 aus der ersten Serie, d.h. trotz der schlechteren Eingangsdaten 421, ist das Ergebnis das gleiche.
  • Fig. 5 zeigt ein schematisches Diagramm eines pixelbezogenen Trainings 500 eines Delta E Rasterzellenbildes gemäß einer Ausführungsform.
  • Aus dem Eingangsbild, d.h. dem Ist-Rasterzellenbild 502, bei dem es sich um eine Gitterzelle eines Ist-Druckbildes handelt, und dem Modell 501, welches den Sollwert für das Rasterzellenbild darstellt, wird das Delta E Rasterzellenbild 503 bestimmt, wie oben zu den Figuren 1 und 2 beschrieben. Das Ground-Truth Rasterzellenbild 504, welches aus einem vorherigen Labeling-Prozess wie oben zu Figur 4 beschrieben ist, zur Verfügung steht, wird zusammen mit dem Delta E Rasterzellenbild 503 als Eingangsgrößen für das Training 507 genutzt, um eine Schwellenwertfunktion 505 zu trainieren, auf Basis welcher eine optimale Schwelle 506 bestimmt werden kann.
  • Dabei wird eine Helligkeitsskala im Delta E Rasterzellenbild 503, welche von 0 (schwarz) bis 48 (weiß) reicht in Form einer Schwellenwertfunktion 505 dargestellt. Helligkeitswerte von 0 bis etwa 25 werden mit dem Schwellenwert 1 gewichtet, was einem hohen Vertrauenslevel entspricht. Helligkeitswerte von etwa 30 bis 50 werden mit dem Schwellenwert 0 gewichtet, was einem niedrigen Vertrauenslevel entspricht. Dazwischen, d.h. von etwa 25 bis etwa 30 fällt die Schwelle monoton von 1 auf 0. Solche Werte entsprechen einem mittlerem Vertrauenslevel, welcher sich im Grenzbereich zwischen einem Bereich, der als Druckfehler und einem Bereich der als kein Druckfehler erkannt wird, einstellt.
  • Der optimale Schwellenwert 506 liegt somit im Bereich zwischen 25 bis 30, z.B. bei 27 oder 28.
  • Fig. 6 zeigt eine beispielhafte Bildsequenz eines Soll-Druckbildes 601, eines realen Druckbildes 602 und eines zugehörigen Defektbildes 603.
  • Das Soll-Druckbild 601 stellt ein Portrait einer weiblichen Person dar. Im realen Druckbild 602 ist auf der rechten Wange der Person ein farblicher Fleck bzw. Punkt zu erkennen, der einen Druckfehler darstellt. Im zugehörigen Defektbild 603, das beispielsweise dem zu Figur 1 beschriebenen Defektbild 114 entspricht oder auch dem zu Figur 2 beschriebenen Fehlerbild 204, sind zwei verschiedene Arten von Druckfehlern zu erkennen. Zum einen wird der oben besagte farbliche Fleck bzw. Punkt 610 als Druckfehler erkannt, zum anderen werden Striche bzw. Schraffierungen 611 im Bereich des Haaransatzes als Druckfehler erkannt, welche aufgrund einer nicht exakten Ausrichtung der beiden Bilder 601, 602 zueinander entstanden sein können.
  • Mit Hilfe der oben zu den Figuren 1 und 2 beschriebenen kundenspezifischen Klassifizierung 115, 205 können die Striche bzw. Schraffierungen 611 als Druckfehler ausgeschlossen werden, so dass nur der farbliche Fleck bzw. Punkt 610 als Druckfehler erkannt wird.
  • Fig. 7 zeigt ein schematisches Diagramm eines Trainings 700 der Klassifikationsschicht zum Erzeugen eines Defekt-Klassifikators gemäß einer Ausführungsform.
  • Links in der Figur sind reale Defekte 701 dargestellt, während auf der rechten Seite Pseudo-Defekte 702 illustriert sind. Bei den realen Defekten 701 handelt es sich um farbliche Flecken oder Punkte, während es sich bei den Pseudo-Defekten 702 um Striche oder Schraffuren handelt, welche üblicherweise aufgrund einer Fehlausrichtung von Ist-Bild zu Soll-Bild entstehen. Beim Training der Klassifikationsschicht 703, z.B. mit den oben zu Figur 2 beschriebenen Verfahren wie NN, MLP, SVM, etc. wird der Defekt-Klassifikator bestimmt, welcher eine Unterscheidung der beiden Arten von Defekten 701 und 702 bewirken kann. Mit diesem Defekt-Klassifikator 704 ist es dann möglich, nur die Flecken 610 im Defektbild 603 der Figur 6 als Druckfehler zu klassifizieren, nicht jedoch die Streifen 611 bzw. Schraffuren.
  • Fig. 8 zeigt ein schematisches Diagramm eines Verfahrens 800 zur optischen Inspektion eines Druckbildes eines Druckobjekts gemäß einer Ausführungsform. Wie oben zu Figur 1 beschrieben, ist dem Druckobjekt ein Soll-Druckbild 121 zugeordnet. Das Verfahren führt die Schritte des Prozessors 110 aus, welche oben zu Figur 1 und Figur 2 näher beschrieben wurden.
  • Das Verfahren 800 umfasst ein Bestimmen 801 einer jeweiligen Mehrzahl von Rasterzellenbildern 111 für das Druckbild 120 und das Soll-Druckbild 121 basierend auf einer Unterteilung des Druckbildes und des Soll-Druckbilds in Rasterzellen 130, wie z.B. oben zu den Figuren 1 und 2 beschrieben.
  • Das Verfahren 800 umfasst ein Bestimmen 802 eines Delta-E Rasterzellenbildes 112 für jede Rasterzelle 130 basierend auf einem Farbabstand zwischen einem Rasterzellenbild 111 des Druckbildes 120 und einem Rasterzellenbild 111 des Soll-Druckbildes 121, wie z.B. oben zu den Figuren 1 und 2 beschrieben
  • Das Verfahren 800 umfasst ein Bestimmen 803 für jedes Pixel des Delta-E Rasterzellenbildes 112, basierend auf einer pixelspezifischen Schwellenwertfunktion 140, ob ein Pixeldefekt 113 vorliegt, wobei die pixelspezifische Schwellenwertfunktion 140 auf einem vorherigen Training 150 einer Datenbasis 160 von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Rasterzellenbildern beruht, wie z.B. oben zu den Figuren 1 und 2 beschrieben.
  • Das Verfahren umfasst ein Zusammensetzen 804 der zuvor bestimmten Pixeldefekte 113 in den jeweiligen Delta-E Rasterzellenbildern 112 zu einem Defektbild 114, welches einen Überblick über die Pixeldefekte 113 des Druckbildes 120 gibt, wie z.B. oben zu den Figuren 1 und 2 beschrieben.
  • Ferner umfasst das Verfahren 800 ein Ausgeben 805 eines Inspektionsergebnisses 116 basierend auf einer benutzerspezifischen Klassifikation 115 des Defektbildes 114, wie z.B. oben zu den Figuren 1 und 2 beschrieben.
  • Alle in Verbindung mit einzelnen Ausführungsformen der Erfindung gezeigten oder beschriebenen Merkmale können in beliebiger Kombination in dem erfindungsgemäßen Gegenstand vorgesehen sein, um gleichzeitig deren vorteilhafte Wirkungen zu realisieren.
    • BEZUGSZEICHENLISTE
    • 100
    Druckinspektionsvorrichtung
    110
    Prozessor
    111
    Rasterzellenbilder
    112
    Delta-E Rasterzellenbilder
    113
    Pixeldefekte
    114
    Defektbild
    115
    (kundenspezifische) Klassifikation
    116
    Inspektionsergebnis
    120
    Druckbild
    121
    Soll-Druckbild
    130
    Raster
    140
    Schwellenwertfunktion
    150
    Training
    160
    Datenbasis mit Delta-E Bildern und Ground-Truth Bildern
    170
    Benutzer
    200
    Druckinspektionsvorrichtung
    201
    Delta E Rasterzellenbild
    202
    Aktivierungsfunktion pro Pixel
    203
    Klassifizierungsschicht
    204
    Fehlerbild
    205
    kundenspezifische Klassifizierung
    206
    Inspektionsergebnis
    210
    erste Schicht
    211
    erster Zweig der ersten Schicht mit keinem Defekt
    212
    zweiter Zweig der ersten Schicht mit Defekt
    213
    Rasterzellenbild des Soll-Druckbildes (erste Schicht)
    214
    Rasterzellenbild des (Ist)-Druckbildes (erste Schicht)
    215
    Delta E Rasterzellenbild (erste Schicht)
    216
    Zusammenhangskomponente
    217
    Zusammenhangskomponente
    220
    zweite Schicht
    221
    erster Zweig der zweiten Schicht mit keinem Defekt
    222
    zweiter Zweig der zweiten Schicht mit keinem Defekt
    223
    Rasterzellenbild des Soll-Druckbildes (zweite Schicht)
    224
    Rasterzellenbild des (Ist)-Druckbildes (zweite Schicht)
    225
    Delta E Rasterzellenbild (zweite Schicht)
    226
    Zusammenhangskomponente
    227
    Zusammenhangskomponente
    230
    n-te Schicht
    231
    erster Zweig der n-ten Schicht mit keinem Defekt
    232
    zweiter Zweig der n-ten Schicht mit Defekt
    233
    Rasterzellenbild des Soll-Druckbildes (n-te Schicht)
    234
    Rasterzellenbild des (Ist)-Druckbildes (n-te Schicht)
    235
    Delta E Rasterzellenbild (n-te Schicht)
    236
    Zusammenhangskomponente
    237
    Zusammenhangskomponente
    240
    Modell
    241
    Soll-Druckbild
    242
    Soll-Druckbild nach Farbkalibrierung
    243
    Unterteilung des Soll-Druckbildes in Rasterzellen
    244
    Gitter bzw. Raster
    245
    Gitterschicht, lokale Positionskorrektur
    246
    Farbkanäle
    247
    Farbraum, hier RGB
    250
    Eingangsbild bzw. (Ist) Druckbild
    251
    Eingangsbild nach Weiss-Abgleich
    252
    Eingangsbild nach Ausrichtung gegenüber Soll-Druckbild
    253
    Eingangsbild nach Farbkanalaufspaltung
    254
    Eingangsbild nach Gitterzellenaufspaltung
    255
    Farbkalibrierung
    256
    Ausrichtung (Eingangsbild bzgl. Soll-Druckbild)
    301
    erstes Bild
    302
    zweites Bild
    311
    Stelle mit Druckfehler im ersten Bild
    312
    Stelle mit Druckfehler im zweiten Bild
    313
    Stelle mit Druckfehler im zweiten Bild
    401
    Ist-Rasterzellenbild der ersten Serie
    402
    Modell der ersten Serie
    403
    Ground-Truth Rasterzellenbild der ersten Serie
    411
    Ist-Rasterzellenbild der zweiten Serie
    412
    Modell der zweiten Serie
    413
    Ground-Truth Rasterzellenbild der zweiten Serie
    421
    Ist-Rasterzellenbild der dritten Serie
    422
    Modell der dritten Serie
    423
    Ground-Truth Rasterzellenbild der dritten Serie
    500
    Training eines Delta E Rasterzellenbildes
    501
    Modell, d.h. Sollwert Rasterzellenbild
    502
    Eingang, d.h. Istwert Rasterzellenbild
    503
    Delta E Rasterzellenbild
    504
    Ground-Truth Rasterzellenbild
    505
    Schwellenwertfunktion
    506
    optimale Schwelle
    507
    Training
    601
    Soll-Druckbild
    602
    (Ist)-Druckbild
    603
    Defektbild bzw. Fehlerbild
    610
    Druckfehler als farblicher Fleck bzw. Punkt
    611
    Druckfehler als Striche bzw. Schraffierungen
    700
    Training der Klassifikationsschicht
    701
    Reale Defekte
    702
    Pseudo-Defekte
    703
    Klassifikationsschicht
    704
    Defekt-Klassifikator
    800
    Verfahren zur optischen Inspektion eines Druckbildes
    801
    erster Verfahrensschritt
    802
    zweiter Verfahrensschritt
    803
    dritter Verfahrensschritt
    804
    vierter Verfahrensschritt
    805
    fünfter Verfahrensschritt

Claims (15)

  1. Druckinspektionsvorrichtung (100, 200) zur optischen Inspektion eines Druckbildes (120) eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild (121) zugeordnet ist, mit:
    einem Prozessor (110), der ausgebildet ist,
    für das Druckbild (120) und das Soll-Druckbild (121) jeweils eine Mehrzahl von Rasterzellenbildern (111) basierend auf einer Unterteilung des Druckbilds (120) und des Soll-Druckbilds (121) in Rasterzellen (130) zu bestimmen;
    für jede Rasterzelle (130) ein Delta-E Rasterzellenbild (112) basierend auf einem Farbabstand zwischen einem Rasterzellenbild des Druckbildes (120) und einem Rasterzellenbild des Soll-Druckbildes (121) zu bestimmen;
    für jedes Pixel des Delta-E Rasterzellenbildes (112) basierend auf einer pixelspezifischen Schwellenwertfunktion (140) zu bestimmen ob ein Pixeldefekt (113) vorliegt, wobei die pixelspezifische Schwellenwertfunktion (140) auf einem vorherigen Training (150) einer Datenbasis (160) von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Zellenbildern beruht;
    die zuvor bestimmten Pixeldefekte (113) in den jeweiligen Delta-E Rasterzellenbildern (112) zu einem Defektbild (114) zusammenzusetzen, welches einen Überblick über die Pixeldefekte (113) des Druckbildes (120) gibt; und
    ein Inspektionsergebnis (116) basierend auf einer benutzerspezifischen Klassifikation (115) des Defektbildes (114) auszugeben.
  2. Druckinspektionsvorrichtung (100, 200) nach Anspruch 1,
    wobei der Prozessor (110) ausgebildet ist, die Mehrzahl von Rasterzellenbildern (111) basierend auf farbkalibrierten (255) und aufeinander ausgerichteten (256) Druckbildern (120) und Soll-Druckbildern (121) zu bestimmen.
  3. Druckinspektionsvorrichtung (100, 200) nach Anspruch 1 oder 2,
    wobei der Prozessor (110) ausgebildet ist, die Mehrzahl von Rasterzellenbildern (111) für einen jeweiligen Farbkanal einer Mehrzahl von Farbkanälen (246) eines Farbraumes (247) zu bestimmen.
  4. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei der Prozessor (110) ausgebildet ist, das Delta-E Rasterzellenbild (112) basierend auf einer Euklidischen Distanz im Farbraum zwischen dem Rasterzellenbild (111) des Druckbildes (120) und dem entsprechenden Rasterzellenbild (111) des Soll-Druckbildes (121) zu bestimmen.
  5. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei das vorhergehende Training (150) der Datenbasis (160) von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern basierend auf Neuronalen Netzen (NN), Support Vector Machine (SVM) und/oder Multi-Layer Perceptron (MLP) Verfahren erfolgt.
  6. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei die pixelspezifische Schwellenwertfunktion (140) ein Fragment (224, 611) in dem Delta-E Rasterzellenbild (112), welches auf einer Unregelmäßigkeit in einer Ausrichtung des Druckbildes (120) in Bezug auf das Soll-Druckbild (121) basiert, als keinen Pixeldefekt (113) spezifiziert.
  7. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei die pixelspezifische Schwellenwertfunktion (140) einen zusammenhängenden Bereich (214, 610) von Pixeln in dem Delta-E Rasterzellenbild (112), der eine vorgegebene Größe überschreitet, als Pixeldefekt (113) spezifiziert.
  8. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei sowohl das Training (150) der Datenbasis (160) von Delta-E Zellenbildern mit zugehörigen Ground-Truth Zellenbildern als auch die benutzerspezifische Klassifikation (115) des Defektbildes (114) auf demselben Trainingsvorgang (150) basieren.
  9. Druckinspektionsvorrichtung (100, 200) nach Anspruch 8,
    wobei der Trainingsvorgang (150) auf einer Klassifikation einer Datenbasis von Druckbildern (401, 411, 421) gegenüber zugehörigen Sollwert-Druckbildern (402, 412, 422) basierend auf einer subjektiven Fehlererkennung eines Benutzers beruht.
  10. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei die pixelspezifische Schwellenwertfunktion (140, 505) jedem Grauwert des Delta-E Rasterzellenbildes (112) einen Binärwert 0 oder 1 zuordnet.
  11. Druckinspektionsvorrichtung (100, 200) nach Anspruch 10,
    wobei die pixelspezifische Schwellenwertfunktion (140, 505) eine logistische Funktion oder eine Stufenfunktion bezüglich der Grauwerte des Delta-E Rasterzellenbildes (503) umfasst.
  12. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche, wobei die Klassifikation (115) des Defektbildes (114) auf folgenden Merkmalen basiert:
    einer Fläche von zusammenhängenden Komponenten des Delta-E Rasterzellenbildes (503),
    einem Innenradius der zusammenhängenden Komponenten des Delta-E Rasterzellenbildes (503),
    einer Korrelation zwischen Ist-Druckbild (120) und Soll-Druckbild (121),
    einem Kontrast des Delta-E Rasterzellenbildes (503), insbesondere einer Farbdifferenz zwischen Hintergrund und Vordergrund.
  13. Druckinspektionsvorrichtung nach einem der vorstehenden Ansprüche, mit:
    einer Kamera, die ausgebildet ist, das Druckobjekt optisch aufzunehmen, um das Druckbild zu erhalten.
  14. Druckinspektionsvorrichtung (100, 200) nach einem der vorstehenden Ansprüche,
    wobei der Prozessor (110) ausgebildet ist, als Inspektionsergebnis (116) einen Druckfehler beim Druck des Druckbildes (120) mit einem Farbdrucker auszugeben, wobei der Druckfehler in Form eines Farbpunktes oder Farbstreifens auftritt, der auf einer Fehlfunktion eines Farbkanals (246) des Farbdruckers basiert.
  15. Verfahren (800) zur optischen Inspektion eines Druckbildes (120) eines Druckobjekts, wobei dem Druckobjekt ein Soll-Druckbild (121) zugeordnet ist, mit folgenden Schritten:
    Bestimmen (801) einer jeweiligen Mehrzahl von Rasterzellenbildern (111) für das Druckbild (120) und das Soll-Druckbild (121) basierend auf einer Unterteilung des Druckbildes und des Soll-Druckbilds in Rasterzellen (130);
    Bestimmen (802) eines Delta-E Rasterzellenbildes (112) für jede Rasterzelle (130) basierend auf einem Farbabstand zwischen einem Rasterzellenbild (111) des Druckbildes (120) und einem Rasterzellenbild (111) des Soll-Druckbildes (121);
    Bestimmen (803) für jedes Pixel des Delta-E Rasterzellenbildes (112), basierend auf einer pixelspezifischen Schwellenwertfunktion (140), ob ein Pixeldefekt (113) vorliegt, wobei die pixelspezifische Schwellenwertfunktion (140) auf einem vorherigen Training (150) einer Datenbasis (160) von Delta-E Rasterzellenbildern mit zugehörigen manuell spezifizierten Ground-Truth Rasterzellenbildern beruht;
    Zusammensetzen (804) der zuvor bestimmten Pixeldefekte (113) in den jeweiligen Delta-E Rasterzellenbildern (112) zu einem Defektbild (114), welches einen Überblick über die Pixeldefekte (113) des Druckbildes (120) gibt; und
    Ausgeben (805) eines Inspektionsergebnisses (116) basierend auf einer benutzerspezifischen Klassifikation (115) des Defektbildes (114).
EP20188815.3A 2019-08-02 2020-07-31 Druckinspektionsvorrichtung und verfahren zur optischen inspektion eines druckbildes eines druckobjekts Pending EP3771564A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019120938.2A DE102019120938B4 (de) 2019-08-02 2019-08-02 Druckinspektionsvorrichtung und Verfahren zur optischen Inspektion eines Druckbildes eines Druckobjekts

Publications (1)

Publication Number Publication Date
EP3771564A1 true EP3771564A1 (de) 2021-02-03

Family

ID=71899531

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20188815.3A Pending EP3771564A1 (de) 2019-08-02 2020-07-31 Druckinspektionsvorrichtung und verfahren zur optischen inspektion eines druckbildes eines druckobjekts

Country Status (2)

Country Link
EP (1) EP3771564A1 (de)
DE (1) DE102019120938B4 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1384580A1 (de) * 2002-07-27 2004-01-28 serv-o-tec Druck- und Papierverarbeitungsmaschinen GmbH Verfahren sowie Vorrichtung zur Einstellung der Register einer Druckmaschine
WO2004056570A1 (de) * 2002-12-20 2004-07-08 Océ Document Technologies GmbH Verfahren und vorrichtung zur echzeitkontrolle von druckbildern
DE102017116882A1 (de) 2017-07-26 2019-01-31 Bundesdruckerei Gmbh Druckinspektionsvorrichtung zur optischen Inspektion eines Druckbildes eines Druckobjekts

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6024018A (en) * 1997-04-03 2000-02-15 Intex Israel Technologies Corp., Ltd On press color control system
DE10314071B3 (de) * 2003-03-28 2004-09-30 Koenig & Bauer Ag Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
JP6487866B2 (ja) * 2016-03-09 2019-03-20 富士フイルム株式会社 印刷結果検査装置、方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1384580A1 (de) * 2002-07-27 2004-01-28 serv-o-tec Druck- und Papierverarbeitungsmaschinen GmbH Verfahren sowie Vorrichtung zur Einstellung der Register einer Druckmaschine
WO2004056570A1 (de) * 2002-12-20 2004-07-08 Océ Document Technologies GmbH Verfahren und vorrichtung zur echzeitkontrolle von druckbildern
DE102017116882A1 (de) 2017-07-26 2019-01-31 Bundesdruckerei Gmbh Druckinspektionsvorrichtung zur optischen Inspektion eines Druckbildes eines Druckobjekts

Also Published As

Publication number Publication date
DE102019120938A1 (de) 2021-02-04
DE102019120938B4 (de) 2023-12-21

Similar Documents

Publication Publication Date Title
DE10314071B3 (de) Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
DE69125700T2 (de) Benutzeraktive verminderung von farbgleichgewichtsfehlern
DE3937950C2 (de)
DE69113654T2 (de) Verfahren zur Vorbereitung von polychromatischen Druckplatten.
DE69910631T2 (de) Bildanpassung um die Empfindlichkeit auf Falschregistrierung zu vermindern
EP3948688B1 (de) Training für künstliche neuronale netzwerke mit besserer ausnutzung der lern-datensätze
DE10221318A1 (de) Verfahren zur Farbvariationskorrektur und Defekterkennung für Wafer
EP2787485B1 (de) Verfahren und Vorrichtung zur automatischen Fehlerstellenerkennung bei biegeschlaffen Körpern
DE102021201124A1 (de) Trainieren von bildklassifizierernetzen
DE102016109030A1 (de) Verfahren zum Bewerten eines Scheinwerfers
EP1578609B1 (de) Verfahren und vorrichtung zur echzeitkontrolle von druckbildern
WO2018007619A1 (de) Verfahren und einrichtung zur kategorisierung einer bruchfläche eines bauteils
DE102019120938B4 (de) Druckinspektionsvorrichtung und Verfahren zur optischen Inspektion eines Druckbildes eines Druckobjekts
EP3435056B1 (de) Druckinspektionsvorrichtung zur optischen inspektion eines druckbildes eines druckobjekts
WO2005106792A2 (de) Verfahren zum vergleich eines bildes mit mindestens einem referenzbild
EP0978097A1 (de) Verfahren zur grössenänderung von strichelementen
DE102008033171A1 (de) Verfahren und Vorrichtung zur Inline-Qualitätssicherung an Druckmaschinen
WO2011082798A1 (de) Verfahren und vorrichtung zur kontrolle von zeichenketten auf einer mehrzahl bedruckter bögen
DE102021130505A1 (de) Verfahren zur Bestimmung einer Beleuchtungsfarbe, Bildverarbeitungsvorrichtung und Aufnahmesystem
DE102021204343A1 (de) Steuergerät zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens
DE202021102338U1 (de) Steuergerät zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens
EP4152206A1 (de) Kabelverarbeitungsvorrichtung und verfahren
DE102022209113A1 (de) Training von instanzsegmentierungsalgorithmen mit partiell annotierten bildern
DE102022212818A1 (de) Verfahren zum Erzeugen von zusätzlichen Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens zum Erkennen von Anomalien in Bilddaten
DE202004020463U1 (de) Systeme zur Beurteilung einer Qualität einer von einer Druckmaschine produzierten Drucksache

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210730

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220202

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230526