EP1578609B1 - Method and device for the real time control of print images - Google Patents

Method and device for the real time control of print images Download PDF

Info

Publication number
EP1578609B1
EP1578609B1 EP03795939A EP03795939A EP1578609B1 EP 1578609 B1 EP1578609 B1 EP 1578609B1 EP 03795939 A EP03795939 A EP 03795939A EP 03795939 A EP03795939 A EP 03795939A EP 1578609 B1 EP1578609 B1 EP 1578609B1
Authority
EP
European Patent Office
Prior art keywords
pixels
image
segments
segment
colour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
EP03795939A
Other languages
German (de)
French (fr)
Other versions
EP1578609A1 (en
Inventor
Bernhard Frei
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oce Document Technologies GmbH
Original Assignee
Oce Document Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oce Document Technologies GmbH filed Critical Oce Document Technologies GmbH
Publication of EP1578609A1 publication Critical patent/EP1578609A1/en
Application granted granted Critical
Publication of EP1578609B1 publication Critical patent/EP1578609B1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41F—PRINTING MACHINES OR PRESSES
    • B41F33/00—Indicating, counting, warning, control or safety devices
    • B41F33/0036—Devices for scanning or checking the printed matter for quality control

Definitions

  • the invention relates to a method and a device for real-time control of printed images.
  • Video cameras with stroboscopic lighting are used for the so-called online print control.
  • the images supplied by these cameras can then be visually inspected and fed to an automatic monitoring unit.
  • a known method for the automatic monitoring of printed products is described in DE 199 40 879 A1.
  • a reference image is generated, or, if it is already in digital form, provided.
  • An actual image is made by means of a stroboscopic flash of light detected.
  • the position of the actual image is mapped to the reference image by means of a suitable correlation method. Since an exact superposition of the reference image and the actual image is practically impossible, the reference image is subdivided into subregions. The individual subareas can join each other without gaps or even overlap. In each subarea, the differences of the color values of the pixels are determined.
  • the Structure indicator is assigned to the subarea, and if the differences in the subarea are less than a specified tolerance threshold, the color area is assigned to the subarea.
  • the actual image is compared with the target color values in subregions to which the color code is assigned on the basis of the actual color values.
  • the mean values or the sum of the amplitudes of all gray levels are determined and compared.
  • the invention is therefore based on the object to provide a method and apparatus for controlling printed images, with which the reliability and quality of control over conventional methods or devices is substantially increased.
  • a reference image is used which is segmented into a plurality of segments such that the segments each have a specific color property.
  • segments each comprising in the reference image an area with substantially the same color property.
  • the segments thus reflect the morphology of the image.
  • Color properties in the sense of the following invention can be, for example, gray levels and / or color values.
  • edge regions of the segments are not taken into account when comparing the pixels of the actual image with the corresponding reference values of the reference image, whereby small Passerverschiebonne, which are often unavoidable and not recognized by a viewer as an error, do not lead to unwanted error data.
  • a result image is generated in which the error data can be assigned to the individual pixels of the resulting image in binary form.
  • the result image can thus be represented as a binary image in which the areas are marked in which errors occur.
  • Such a binary image can be easily displayed on a display device and displays to an operator the defects of a printed image. This allows the operator to quickly and easily discover the errors and, if necessary, take corrective action.
  • Such a binary result image can also be compressed very strongly with compression methods known per se, since it only has large-area binary (white / black) regions. This allows the result images to be transmitted in real time to a monitoring station via a data line with limited transmission capacity. At the monitoring station, the compressed result images can be decompressed again and displayed on a display device.
  • the invention also provides a method for segmenting a reference image, in which regions with the same color characteristic are determined, wherein these regions each form a segment. Each of these segments is assigned a reference value which describes the color property of the respective segment.
  • the inventive method for real-time control of printed images is used in a printing system ( Figure 4).
  • a printing system comprises a printing device 1.
  • the method according to the invention is used in high-performance printers and in particular on continuous-paper printing printers.
  • Such a continuous paper is withdrawn from a paper roll 2 and fed to the printing device 1.
  • the printing device 1 is usually followed by a post-processing device 3, in which, for example, the continuous paper is cut into individual sheets.
  • the paper is guided by the printing device 1 to the post-processing device 3 along a paper path (shown schematically in Figure 3 by two pairs of rollers 4).
  • a line camera 5 is arranged, which is directed with its lens on the printed paper web. With such a line camera, the paper passed by can be detected electro-optically and these digital images can be created individually on the paper web of printed pages. These digital images each represent an actual image.
  • a line scan camera it is also possible to use another electro-optical detection device, such as a camera for recording a two-dimensional image in combination with a stroboscope, wherein the paper web is illuminated with light flashes emitted by the stroboscope, so that the respective individual sides are detected by the moving paper web ,
  • the camera 5 is connected to an evaluation device 6, which is usually a computer with a memory device and a central computing device.
  • the evaluation device 6 is connected to a display device 7.
  • the actual image generated by the camera 5 is stored in an image memory in the evaluation device 6 (step S2).
  • the position of the stored ACTUAL image relative to a desired position is determined. This can be done using registration marks or specific markings in the image itself. For this purpose, various correlation methods are known in the prior art.
  • an affine transformation is determined (step S3) with which the individual pixels of the actual image can be mapped to the desired position.
  • the individual pixels of the desired image or their color properties are compared with the reference values of a reference image in a loop (step S4).
  • the pixel to be compared with the reference image is first mapped to the corresponding location in the reference image by means of the affine transformations.
  • the reference image is divided into segments. This subdivision will be explained below. Each segment is assigned a reference value. In this comparison it is determined in which segment the affine transformed pixel lies, in which case the comparison value assigned to the segment is used. If the color characteristic of the pixel of the ACTUAL image deviates from the correspondingly selected reference value by a predetermined threshold (result of the comparison: no), this means that the pixel does not have the desired color characteristic.
  • a pixel at the corresponding position in the image is given a value representing the error (step S5). If the color characteristic of the pixel of the ACTUAL image within the range specified by the threshold lies around the reference value (result of the comparison: yes), this means that this pixel has the desired color characteristic and the corresponding pixel in the resulting image is assigned a value indicating the correctness of this pixel.
  • the error values are set with a "1" and the correct values with a "0".
  • step S7 it is checked whether all pixels of the target image have been compared with corresponding reference values.
  • step S8 the result image is prepared.
  • single or few connected pixels marked as defective are reset to the correct value.
  • a single or a few contiguous pixels, the number of which depends on the resolution of the image, are not recognized by a viewer of a printed image and are therefore not considered in the present method.
  • the result image is displayed on the display device 7 (step S9), so that the result image can be viewed by the operator of the printing system.
  • the result image may be provided to compress the result image after its preparation, for example, to transmit it via a local network to a control station, where the result image is decompressed and displayed on a display device. It has been shown that the binary result image, which usually consists of large areas with error values or correction values, can be compressed very strongly and therefore can be transmitted quickly and simply via data lines of lesser data capacity as a small amount of data.
  • the color properties can be represented by gray values and / or by color values. If color values are used, a color property can be described by several values. For example, if the color property is displayed in RGB space, then for each Color property to specify a color value for red, green and blue. In such multi-dimensional color properties, a distance value is used as the threshold value. This can be, for example, a specific Euclidean distance in the color space. However, it may also be expedient to vary the distance according to the human perception, which is designed differently with different colors, according to. For this purpose, for example, the RGB data of the actual image is converted into a color space which takes into account the properties of the human color space perception (eg CIELa * b *).
  • the desired values are then also provided in such a color space, so that here too the Euclidean distance can be used.
  • the edge regions of the segments are not taken into account in the comparison of the pixels of the actual image in step S4 with the corresponding reference values.
  • This is expedient because, despite the affine transformations, residual cover errors can arise. These can arise due to uncertainties of localization or non-linear changes of the actual and target images against each other, eg due to moisture expansion or sagging. That is, in the edge region, individual pixels could be mistakenly assigned to an adjacent segment, which would result in a misjudgment of the pixel. These problems in the edge area are thus eliminated by the non-consideration of the edge area.
  • the width of the border area depends on the resolution of the reference image. Suitable widths of the edge region are in the range of 1 to 10 pixels, preferably in the range of 1 to 4 pixels.
  • the assignment of the reference values is achieved by assigning a label to each segment and assigning the color property to each label. If the color property is a gray level, this assignment can be shown, for example, according to the following table: label Grayscale 0 nop 1 100 2 130 3 215 4 190 5 160 6 235 7 80 8th 55 9 30 10 255
  • the label 0 is assigned to the border areas and instead of a gray level the label 0 is assigned a code "nop" which means “no operation”. If a pixel is in the edge area, then the code is called for "no operation" during the comparison, whereby the comparison is not executed. For the other labels 1-10, the respective gray levels are called in comparison. In the comparison itself, the absolute value between the gray level of the reference value and the gray level of the pixel to be compared is formed and it is checked whether this absolute value is smaller than the threshold value. If this is the case, the gray level of the pixel lies within the desired range and the correct value is set in the result image. Otherwise, the error value is set in the result image.
  • each label is assigned a set of color values that describe the respective color.
  • a reference image must be provided (step S10).
  • the provision or generation of a reference image can take place in that a flawless printout of the image with the optical detection device 5, which is also used to acquire the ACTUAL image, is detected in order to generate a digital image file from the image.
  • the image to be printed already exists as a digital image file, it is also possible to use this image file directly.
  • the resolution of the actual image should be somewhat coarser than that of the image file serving as a print template, which is why the resolution is correspondingly reduced by means of suitable and known interpolation methods.
  • this pixel can not be assigned to any of the adjacent segments. This pixel forms the core for a new segment, creating a new label of the mapping table and entering that new label in the reference image at the pixel's location.
  • the new label is first assigned the color property of the one pixel in the allocation table, which triggered the formation of the new segment.
  • This color property can be assigned as a reference value to this label (step S12).
  • the reference image consists of contiguous areas whose pixels are each assigned a specific label.
  • the pixels of the edge regions of the segments are now assigned the label for the edge region, namely the label "0" (step S13).
  • the image is examined whether there are segments which have less than a predetermined number of pixels and are thus smaller than a predetermined size. If such segments are present, it is checked whether the color properties of adjacent segments do not differ from the color characteristic of this small segment by a predetermined second threshold. If so, these two segments are combined into a single segment, with a new label being assigned to this new segment. The weighted average of the reference values of the two original labels is assigned to this new label as the reference value. With this union of small segments with further segments, the subdivision into very small segments is avoided, as far as possible, since such small segments, especially if an edge region is provided which is not tested, is not appropriate for the control of the printed image.
  • FIG. 5 shows a reference image which has two rectangles.
  • the top rectangle is completely black and the bottom rectangle has a black-and-white gradient from bottom to top.
  • FIG. 6 shows the boundaries of the segments of the reference image shown in FIG.
  • the black rectangle forms a single segment 9.
  • the lower rectangle with the linear color gradient is subdivided into a plurality of strip-shaped segments 9 whose reference value describes the mean color characteristic of the respective strip, ie the average brightness or gray level of this strip.
  • FIG. 8 shows an actual image in which certain regions 8 are not printed correctly.
  • the result image ( Figure 8) which has been determined according to the method explained above, these are not Correctly printed areas 8 are shown in black and the remaining area of the result image is white.
  • An operator of the printing system who sees the black areas of the result image immediately recognizes that there is a misprint and can initiate appropriate action to correct the misprint.
  • FIG. 9 shows another reference image.
  • FIG. 10 shows the reference image from FIG. 9 after the segmentation according to step S11.
  • Each segment is assigned a specific color property.
  • the individual segments are here represented in each case by the color property, which in the present case is a gray level.
  • the color properties are displayed here with false colors, that is, the brightness of the individual segments in FIG. 10 does not permit any statement about the actual gray level of the respective segment.
  • Figure 10 one recognizes many small "spots", each forming a segment.
  • FIG. 11 shows the image segmented according to FIG. 10 after the union of segments according to step S14. Here it can be clearly seen that many areas with small different spots have been connected to large uniform areas.
  • the image of FIG. 11 has been further processed by assigning the label 0 according to step S13 to the edge regions which have been detected.
  • the edge regions are shown in white in FIG.
  • the remaining areas are shown in black.
  • Figure 12 it can be clearly seen that the segmentation corresponds to the original morphology ( Figure 9) of the image.
  • the method according to the invention is carried out on the printing system shown in FIG.
  • the method can be used as a computer program, which is stored executable on the computer of the evaluation, be realized.
  • This computer program can be stored on a data medium and executed on other printing systems.
  • the quality in the automatic monitoring of printed images in real time is improved by using a reference image which is segmented such that the pixels of the segments have approximately the same color characteristic.
  • the segments of the reference image approximately reproduce the morphology of the reference image, wherein each segment is associated with a color property of the segment very well descriptive reference value.
  • the pixels of the actual image are each compared with the reference value of the corresponding segment. This comparison is very reliable due to the high quality of the reference value.
  • Edge areas of the segments are not taken into account in the comparison.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Echtzeitkontrolle von Druckbildern.The invention relates to a method and a device for real-time control of printed images.

Beim Herstellen von Druckerzeugnissen können auf Grund der hohen Geschwindigkeit, mit welcher Druckerzeugnisse in Drucksystemen bewegt werden, durch rein visuelle Beobachtung Druckfehler erst zu einem späten Zeitpunkt erkannt werden. Das visuelle Kontrollieren von Druckbildern ist insbesondere beim Endlosdruck schwierig, da es nicht möglich ist, ein Probeexemplar herauszugreifen und zu prüfen. Werden Fehldrucke zu spät oder gar nicht erkannt, entstehen hohe Kosten.Due to the high speed at which printed products are moved in printing systems, it is only possible to detect printing errors at a later time during the production of printed products by purely visual observation. The visual control of printed images is particularly difficult in continuous printing, since it is not possible to pick out and examine a sample. If misprints are detected too late or not at all, high costs arise.

Aber auch nicht korrekt arbeitende Überwachungsvorrichtungen, die einen Fehlalarm auslösen, können durch den Stillstand einer Druckstraße unerwünschte Kosten verursachen.But also incorrectly operating monitoring devices that trigger a false alarm can cause unwanted costs by the stoppage of a printing line.

Es besteht daher ein erheblicher Bedarf nach einem robusten Verfahren, das im Betrieb einer Druckstraße Druckfehler zuverlässig, sicher und schnell erkennt.There is therefore a significant need for a robust method that detects printing errors reliably, safely and quickly during the operation of a printing line.

Für die sogenannte Online-Druckkontrolle werden Videokameras mit Stroboskop-Beleuchtung eingesetzt. Die von diesen Kameras gelieferten Bilder können dann visuell kontrolliert und einer automatischen Überwachungseinheit zugeführt werden.Video cameras with stroboscopic lighting are used for the so-called online print control. The images supplied by these cameras can then be visually inspected and fed to an automatic monitoring unit.

Ein bekanntes Verfahren zum automatischen Überwachen von Druckerzeugnissen ist in der DE 199 40 879 A1 beschrieben. Bei diesem Verfahren wird ein Referenzbild erzeugt, beziehungsweise, wenn es bereits in digitaler Form vorliegt, bereit gestellt. Ein IST-Bild wird mittels eines Stroboskop-Lichtblitzes erfasst. Die Lage des IST-Bildes wird mittels eines geeigneten Korrelationsverfahren auf das Referenzbild abgebildet. Da eine exakte Überlagerung des Referenzbildes und des IST-Bildes praktisch nicht möglich ist, wird das Referenzbild in Teilbereiche unterteilt. Die einzelnen Teilbereiche können sich lückenlos aneinander anschließen oder sich sogar überlappen. In jedem Teilbereich werden die Differenzen der Farbwerte der Pixel ermittelt. Ist die Differenz in einem Teilbereich größer als eine vorgegebene Toleranzschwelle, so wird dem Teilbereich das Kennzeichen Struktur zugeordnet und im Fall, dass alle Differenzen im Teilbereich kleiner als eine vorgegebene Toleranzschwelle sind, wird dem Teilbereich das Kennzeichen Farbe zugeordnet. Das IST-Bild wird in Teilbereichen, denen das Kennzeichen Farbe zugeordnet ist, auf Grund der IST-Farbwerte mit den Soll-Farbwerten verglichen. Bei Teilbereichen, denen das Kennzeichen Struktur zugeordnet ist, werden die Mittelwerte oder die Summe der Amplituden aller Graustufen ermittelt und verglichen.A known method for the automatic monitoring of printed products is described in DE 199 40 879 A1. In this method, a reference image is generated, or, if it is already in digital form, provided. An actual image is made by means of a stroboscopic flash of light detected. The position of the actual image is mapped to the reference image by means of a suitable correlation method. Since an exact superposition of the reference image and the actual image is practically impossible, the reference image is subdivided into subregions. The individual subareas can join each other without gaps or even overlap. In each subarea, the differences of the color values of the pixels are determined. If the difference in a subarea is greater than a predefined tolerance threshold, then the Structure indicator is assigned to the subarea, and if the differences in the subarea are less than a specified tolerance threshold, the color area is assigned to the subarea. The actual image is compared with the target color values in subregions to which the color code is assigned on the basis of the actual color values. For subareas to which the Structure indicator is assigned, the mean values or the sum of the amplitudes of all gray levels are determined and compared.

Dieses Verfahren hat sich in der Praxis sehr bewährt. Es gibt jedoch grundsätzlich Nachteile. Einzelne Pixel des IST-Bildes werden mit den Parametern eines Teilbereiches verglichen, die beim Kennzeichen Struktur die Farbeigenschaft nicht präzise beschreiben. Die Qualität dieses Überwachungsverfahrens hängt sehr davon ab, ob die Morphologie des gedruckten Bildes mit der Einteilung der Teilbereiche zufällig übereinstimmt. Da die einzelnen Bereiche fest vorgegeben sind, werden insbesondere lange, schmale oder kurze und breite Ausschnitte eines Bildes, welche eine bestimmte Farbeigenschaft besitzen, nicht präzise überwacht, da sie sich über mehrere Teilbereiche erstrecken und in jedem Teilbereich die zu ermittelnden Überwachungsparameter lediglich nur zu einem Bruchteil beeinflussen.This method has proven very successful in practice. However, there are basically disadvantages. Individual pixels of the actual image are compared with the parameters of a subarea that do not precisely describe the color property of the Structure indicator. The quality of this monitoring method depends very much on whether the morphology of the printed image coincides with the division of the subregions randomly. Since the individual areas are fixed, especially long, narrow or short and wide sections of an image, which have a certain color property, not precisely monitored because they extend over several sub-areas and in each sub-area to be determined monitoring parameters only to one Influence fraction.

Aus dem Dokument DE-A-199 40 879 ist ein Verfahren zum Vergleichen von Druckbildern bekannt, bei dem aktuelle erfasste Bilder mit einem Referenzbild verglichen werden. Die zu vergleichenden Bilder sind in Pixeldaten gespeichert. Aus dem Dokument US-A-6,024,018 ist ein System zum Überwachen von Farben von Druckbildern bekannt, bei denen das zu überwachende Bild in Bereiche zerlegt wird, die dann ausgewertet werden.From the document DE-A-199 40 879 a method for comparing printed images is known in which current captured images are compared with a reference image. The to be compared Images are stored in pixel data. From the document US-A-6,024,018 a system for monitoring colors of printed images is known, in which the image to be monitored is divided into areas, which are then evaluated.

Der Erfindung liegt deshalb die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zur Kontrolle von Druckbildern zu schaffen, mit denen die Zuverlässigkeit und Qualität der Kontrolle gegenüber herkömmlichen Verfahren bzw. Vorrichtungen wesentlich gesteigert wird.The invention is therefore based on the object to provide a method and apparatus for controlling printed images, with which the reliability and quality of control over conventional methods or devices is substantially increased.

Die Aufgabe wird durch die in den unabhängigen Ansprüchen beschriebene Erfindung gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.The object is achieved by the invention described in the independent claims. Advantageous embodiments of the invention are specified in the subclaims.

Das erfindungsgemäße Verfahren zur Kontrolle von Druckbildern umfasst folgende Schritte:

  • elektrooptisches Erfassen und Digitalisieren eines IST-Bildes in einzelne Pixel,
  • Verwenden eines Referenzbildes, das in mehrere Segmente derart segmentiert ist, dass die Segmente jeweils eine bestimmte Farbeigenschaft aufweisen, wobei ein die Farbeigenschaft beschreibender Referenzwert den in dem jeweiligen Segment angeordneten Pixeln zugeordnet wird,
  • Vergleichen der Farbeigenschaft der Pixel des IST-Bildes mit den korrespondierenden Referenzwerten des Referenzbildes, wobei bei einer Abweichung über einen vorbestimmten Schwellwert ein korrespondierendes Pixel in einem Ergebnisbild als Fehler markiert wird, und wobei Randbereiche der Segmente beim Vergleichen nicht berücksichtigt werden.
The method according to the invention for controlling printed images comprises the following steps:
  • electro-optical capture and digitization of an actual image into individual pixels,
  • Using a reference image which is segmented into a plurality of segments such that the segments each have a certain color property, wherein a reference value describing the color property is assigned to the pixels arranged in the respective segment,
  • Comparing the color characteristic of the pixels of the ACTUAL image with the corresponding reference values of the reference image, wherein a deviation above a predetermined threshold marks a corresponding pixel in a result image as an error, and edge regions of the segments are not taken into account in the comparison.

Bei der Erfindung wird ein Referenzbild verwendet, das in mehrere Segmente derart segmentiert ist, dass die Segmente jeweils eine bestimmte Farbeigenschaft aufweisen. Es werden somit keine willkürlich vorher festgelegten Teilbereiche verwendet, sondern Segmente, die jeweils im Referenzbild einen Bereich mit im wesentlichen gleicher Farbeigenschaft umfassen. Die Segmente geben somit die Morphologie des Bildes wieder. Durch diese spezielle Ausgestaltung der Segmente können wesentlich präzisere Referenzwerte verwendet werden, als dies bei herkömmlichen Verfahren der Fall ist, bei welchen die Teilbereiche willkürlich festgelegt worden sind.In the invention, a reference image is used which is segmented into a plurality of segments such that the segments each have a specific color property. Thus, no arbitrarily predetermined sections are used, but segments each comprising in the reference image an area with substantially the same color property. The segments thus reflect the morphology of the image. By means of this special embodiment of the segments, substantially more precise reference values can be used than is the case with conventional methods in which the subregions have been determined arbitrarily.

Farbeigenschaften im Sinne der folgenden Erfindung können zum Beispiel Graustufen und/oder Farbwerte sein.Color properties in the sense of the following invention can be, for example, gray levels and / or color values.

Mit der Erfindung ist insbesondere eine Echtzeit-Kontrolle von Druckbildern möglich.With the invention, in particular a real-time control of printed images is possible.

Nach einem bevorzugten Verfahren werden Randbereiche der Segmente beim Vergleichen der Pixel des IST-Bildes mit den korrespondierenden Referenzwerten des Referenzbildes nicht berücksichtigt, wodurch kleine Passerverschiebungen, die oftmals nicht vermeidbar und von einem Betrachter nicht als Fehler erkannt werden, nicht zu unerwünschten Fehlerdaten führen.According to a preferred method edge regions of the segments are not taken into account when comparing the pixels of the actual image with the corresponding reference values of the reference image, whereby small Passerverschiebungen, which are often unavoidable and not recognized by a viewer as an error, do not lead to unwanted error data.

Mit dem erfindungsgemäßen Verfahren wird ein Ergebnisbild erzeugt, in dem die Fehlerdaten binär den einzelnen Pixel des Ergebnisbildes zuordenbar sind. Das Ergebnisbild kann somit als Binärbild dargestellt werden, in dem die Bereiche markiert sind, in welchen Fehler auftreten. Ein solches Binärbild kann einfach an einer Anzeigeeinrichtung dargestellt werden und zeigt einem Operator die Fehlerstellen eines bedruckten Bildes an. Hierdurch kann der Operator schnell und einfach die Fehler entdecken und falls es notwendig ist, entsprechende Korrekturmaßnahmen ergreifen.With the method according to the invention, a result image is generated in which the error data can be assigned to the individual pixels of the resulting image in binary form. The result image can thus be represented as a binary image in which the areas are marked in which errors occur. Such a binary image can be easily displayed on a display device and displays to an operator the defects of a printed image. This allows the operator to quickly and easily discover the errors and, if necessary, take corrective action.

Ein solches binäres Ergebnisbild kann auch mit an sich bekannten Kompressionsverfahren sehr stark komprimiert werden, da es lediglich großflächige binäre (weiße/schwarze) Bereiche aufweist. Dies erlaubt es, dass die Ergebnisbilder in Echtzeit über eine Datenleitung mit begrenzter Übertragungskapazität an eine Überwachungsstation übermittelt werden können. An der Überwachungsstation können die komprimierten Ergebnisbilder wieder entkomprimiert und an einer Anzeigeeinrichtung dargestellt werden.Such a binary result image can also be compressed very strongly with compression methods known per se, since it only has large-area binary (white / black) regions. This allows the result images to be transmitted in real time to a monitoring station via a data line with limited transmission capacity. At the monitoring station, the compressed result images can be decompressed again and displayed on a display device.

Die Erfindung sieht auch ein Verfahren zum Segmentieren eines Referenzbildes vor, bei dem Bereiche mit gleicher Farbeigenschaft ermittelt werden, wobei diese Bereiche jeweils ein Segment bilden. Diesen Segmenten ist jeweils ein Referenzwert zugeordnet, der die Farbeigenschaft des jeweiligen Segmentes beschreibt.The invention also provides a method for segmenting a reference image, in which regions with the same color characteristic are determined, wherein these regions each form a segment. Each of these segments is assigned a reference value which describes the color property of the respective segment.

Die Erfindung wird nachfolgend beispielhaft näher anhand der Zeichnungen erläutert. In den Zeichnungen zeigen:

Figur 1
schematisch in einem Flussdiagramm ein Verfahren zur Echtzeitkontrolle von Druckbildern,
Figur 2
schematisch in einem Flussdiagramm ein Verfahren zum Segmentieren eines Referenzbildes,
Figur 3
ein Verfahren zum Segmentieren eines Referenzbildes anhand einiger weniger Pixel,
Figur 4
ein Drucksystem, bei welchem das erfindungsgemäße Verfahren eingesetzt wird,
Figur 5
ein Referenzbild,
Figur 6
die Segmente des Referenzbildes aus Figur 5,
Figur 7
ein IST-Bild,
Figur 8
ein Ergebnisbild,
Figur 9
ein weiteres Referenzbild,
Figur 10
das Bild aus Figur 9 nach dem Segmentieren,
Figur 11
das Bild aus Figur 10 nach dem Verbinden einzelnen Segmente, und
Figur 12
die Ränder der Segmente der Bilder aus Figur 9 bis 11.
The invention will be explained in more detail by way of example with reference to the drawings. In the drawings show:
FIG. 1
schematically a flowchart of a method for the real-time control of printed images,
FIG. 2
1 is a schematic diagram of a method for segmenting a reference image;
FIG. 3
a method for segmenting a reference image based on a few pixels,
FIG. 4
a printing system in which the method according to the invention is used,
FIG. 5
a reference picture,
FIG. 6
the segments of the reference image from FIG. 5,
FIG. 7
an actual picture,
FIG. 8
a result picture,
FIG. 9
another reference picture,
FIG. 10
the image from FIG. 9 after segmentation,
FIG. 11
the image of Figure 10 after connecting individual segments, and
FIG. 12
the edges of the segments of the images from FIGS. 9 to 11.

Das erfindungsgemäße Verfahren zur Echtzeitkontrolle von Druckbildern wird in einem Drucksystem eingesetzt (Figur 4). Ein solches Drucksystem umfasst eine Druckeinrichtung 1. Typischerweise wird das erfindungsgemäße Verfahren bei Hochleistungsdruckern und insbesondere auf Endlospapier druckenden Druckern eingesetzt. Ein solches Endlospapier wird von einer Papierrolle 2 abgezogen und der Druckeinrichtung 1 zugeführt. Der Druckeinrichtung 1 ist üblicherweise eine Nachbearbeitungseinrichtung 3 nachgeschaltet, in der zum Beispiel das Endlospapier zu einzelnen Bögen geschnitten wird. Das Papier wird von der Druckeinrichtung 1 zur Nachbearbeitungseinrichtung 3 entlang einer Papierlaufbahn (in Figur 3 schematisch durch zwei Walzenpaare 4 dargestellt) geführt.The inventive method for real-time control of printed images is used in a printing system (Figure 4). Such a printing system comprises a printing device 1. Typically, the method according to the invention is used in high-performance printers and in particular on continuous-paper printing printers. Such a continuous paper is withdrawn from a paper roll 2 and fed to the printing device 1. The printing device 1 is usually followed by a post-processing device 3, in which, for example, the continuous paper is cut into individual sheets. The paper is guided by the printing device 1 to the post-processing device 3 along a paper path (shown schematically in Figure 3 by two pairs of rollers 4).

An der Papierlaufbahn ist eine Zeilenkamera 5 angeordnet, die mit ihrem Objektiv auf die bedruckte Papierbahn gerichtet ist. Mit einer solchen Zeilenkamera können das daran vorbeigeführte Papier elektrooptisch erfasst und diese digitalen Bilder einzeln auf die Papierbahn gedruckter Seiten erstellt werden. Diese digitalen Bilder stellen jeweils ein IST-Bild dar.At the paper career, a line camera 5 is arranged, which is directed with its lens on the printed paper web. With such a line camera, the paper passed by can be detected electro-optically and these digital images can be created individually on the paper web of printed pages. These digital images each represent an actual image.

Anstelle einer Zeilenkamera kann auch eine andere elektrooptische Detektionseinrichtung verwendet werden, wie zum Beispiel eine Kamera zur Aufnahme eines flächigen Bildes in Kombination mit einem Stroboskop, wobei die Papierbahn mit vom Stroboskop abgegebenen Lichtblitzen beleuchtet wird, so das jeweils einzelne Seiten von der bewegten Papierbahn erfasst werden.Instead of a line scan camera, it is also possible to use another electro-optical detection device, such as a camera for recording a two-dimensional image in combination with a stroboscope, wherein the paper web is illuminated with light flashes emitted by the stroboscope, so that the respective individual sides are detected by the moving paper web ,

Die Kamera 5 ist mit einer Auswerteeinrichtung 6 verbunden, die üblicherweise ein Computer mit einer Speichereinrichtung und einer zentralen Recheneinrichtung ist. Die Auswerteeinrichtung 6 ist mit einer Anzeigeneinrichtung 7 verbunden.The camera 5 is connected to an evaluation device 6, which is usually a computer with a memory device and a central computing device. The evaluation device 6 is connected to a display device 7.

Das von der Kamera 5 erzeugte IST-Bild wird in einem Bildspeicher in der Auswerteeinrichtung 6 gespeichert (Schritt S2).The actual image generated by the camera 5 is stored in an image memory in the evaluation device 6 (step S2).

Es wird die Lage des gespeicherten IST-Bildes gegenüber einer Soll-Lage bestimmt. Dies kann anhand von Passermarken oder von bestimmten Kennzeichen im Bild selbst erfolgen. Hierzu sind im Stand der Technik diverse Korrelationsverfahren bekannt. Anhand dieser Lagebestimmung wird eine affine Transformation ermittelt (Schritt S3), mit welcher die einzelnen Pixel des IST-Bildes auf die Soll-Lage abgebildet werden können.The position of the stored ACTUAL image relative to a desired position is determined. This can be done using registration marks or specific markings in the image itself. For this purpose, various correlation methods are known in the prior art. On the basis of this position determination, an affine transformation is determined (step S3) with which the individual pixels of the actual image can be mapped to the desired position.

Danach werden in einer Schleife die einzelnen Pixel des Soll-Bildes bzw, deren Farbeigenschaften mit den Referenzwerten eines Referenzbildes verglichen (Schritt S4). Bei diesem Vergleich wird zunächst das Pixel, das mit dem Referenzbild verglichen werden soll, mittels der affinen Transformationen auf den korrespondierenden Ort im Referenzbild abgebildet. Das Referenzbild ist in Segmente unterteilt. Diese Unterteilung wird unten näher erläutert. Jedem Segment ist ein Referenzwert zugeordnet. Bei diesem Vergleich wird festgestellt, in welchem Segment das affin transformierte Pixel liegt, wobei dann für den Vergleich der dem Segment zugeordnete Referenzwert verwendet wird. Weicht die Farbeigenschaft des Pixels des IST-Bildes von dem entsprechend ausgewählten Referenzwert um einen vorbestimmten Schwellenwert ab (Ergebnis des Vergleichs: nein), so bedeutet dies, dass das Pixel nicht die gewünschte Farbeigenschaft besitzt. In einem solchen Fall wird in einem Ergebnisbild ein Pixel an der korrespondierenden Position im Bild mit einem Wert belegt, der den Fehler darstellt (Schritt S5). Liegt die Farbeigenschaft des Pixels des IST-Bildes innerhalb des durch den Schwellenwert vorgegebenen Bereiches um den Referenzwert (Ergebnis des Vergleichs: ja), so bedeutet dies, dass dieser Pixel die gewünschte Farbeigenschaft besitzt und das korrespondierende Pixel im Ergebnisbild wird mit einem Wert belegt, der die Korrektheit dieses Pixels bezeichnet. Im Ergebnisbild werden beispielsweise die Fehlerwerte mit einem "1" und die korrekten Werte mit einem "0" gesetzt.Thereafter, the individual pixels of the desired image or their color properties are compared with the reference values of a reference image in a loop (step S4). In this comparison, the pixel to be compared with the reference image is first mapped to the corresponding location in the reference image by means of the affine transformations. The reference image is divided into segments. This subdivision will be explained below. Each segment is assigned a reference value. In this comparison it is determined in which segment the affine transformed pixel lies, in which case the comparison value assigned to the segment is used. If the color characteristic of the pixel of the ACTUAL image deviates from the correspondingly selected reference value by a predetermined threshold (result of the comparison: no), this means that the pixel does not have the desired color characteristic. In such a case, in a result image, a pixel at the corresponding position in the image is given a value representing the error (step S5). If the color characteristic of the pixel of the ACTUAL image within the range specified by the threshold lies around the reference value (result of the comparison: yes), this means that this pixel has the desired color characteristic and the corresponding pixel in the resulting image is assigned a value indicating the correctness of this pixel. In the result image, for example, the error values are set with a "1" and the correct values with a "0".

Danach wird geprüft, ob alle Pixel des Soll-Bildes mit entsprechenden Referenzwerten verglichen worden sind (Schritt S7).Thereafter, it is checked whether all pixels of the target image have been compared with corresponding reference values (step S7).

Im Schritt S8 wird das Ergebnisbild aufbereitet. Hierbei werden einzelne oder wenige zusammenhängende und als fehlerhaft markierte Pixel auf den korrekten Wert zurückgesetzt. Ein einzelnes oder wenige zusammenhängende Pixel, wobei deren Anzahl von der Auflösung des Bildes abhängt, werden von einem Betrachter eines gedruckten Bildes nicht erkannt und werden deshalb bei dem vorliegenden Verfahren nicht berücksichtigt.In step S8, the result image is prepared. Hereby, single or few connected pixels marked as defective are reset to the correct value. A single or a few contiguous pixels, the number of which depends on the resolution of the image, are not recognized by a viewer of a printed image and are therefore not considered in the present method.

Das Ergebnisbild wird an der Anzeigeeinrichtung 7 dargestellt (Schritt S9), so dass das Ergebnisbild vom Operator des Drucksystems betrachtet werden kann.The result image is displayed on the display device 7 (step S9), so that the result image can be viewed by the operator of the printing system.

Als Option kann es vorgesehen sein, das Ergebnisbild nach deren Aufbereitung zu komprimieren, um es beispielsweise über ein lokales Netzwerk an eine Kontrollstation zu übertragen, an welcher das Ergebnisbild dekomprimiert und an einer Anzeigeeinrichtung dargestellt wird. Es hat sich gezeigt, dass das binäre Ergebnisbild, das üblicherweise aus großflächigen Bereichen mit Fehlerwerten bzw. Korrekturwerten besteht, sehr stark komprimieren lässt und deshalb als kleine Datenmenge schnell und einfach auch über Datenleitungen geringerer Datenkapazität übertragen werden kann.As an option, it may be provided to compress the result image after its preparation, for example, to transmit it via a local network to a control station, where the result image is decompressed and displayed on a display device. It has been shown that the binary result image, which usually consists of large areas with error values or correction values, can be compressed very strongly and therefore can be transmitted quickly and simply via data lines of lesser data capacity as a small amount of data.

Im oben beschriebenen Verfahren können die Farbeigenschaften durch Grauwerte und/oder durch Farbwerte dargestellt werden. Werden Farbwerte verwendet, so kann eine Farbeigenschaft durch mehrere Werte beschrieben werden. Wird die Farbeigenschaft zum Beispiel im RGB-Raum dargestellt, so sind für jede Farbeigenschaft ein Farbwert für rot, grün und blau anzugeben. Bei derartigen mehrdimensionalen Farbeigenschaften wird als Schwellwert ein Abstandswert verwendet. Dies kann beispielsweise ein bestimmter euklidischer Abstand im Farbraum sein. Es kann jedoch auch zweckmäßig sein, den Abstand gemäß der menschlichen Wahrnehmung, die bei unterschiedlichen Farben unterschiedlich stark ausgebildet ist, entsprechend zu variieren. Dazu werden bspw. die RGB-Daten des IST-Bildes in einen Farbraum überführt der die Eigenschaften der menschlichen Farbabstandswahrnehmung berücksichtigt (z.B. CIELa*b*).In the method described above, the color properties can be represented by gray values and / or by color values. If color values are used, a color property can be described by several values. For example, if the color property is displayed in RGB space, then for each Color property to specify a color value for red, green and blue. In such multi-dimensional color properties, a distance value is used as the threshold value. This can be, for example, a specific Euclidean distance in the color space. However, it may also be expedient to vary the distance according to the human perception, which is designed differently with different colors, according to. For this purpose, for example, the RGB data of the actual image is converted into a color space which takes into account the properties of the human color space perception (eg CIELa * b *).

Die Soll-Werte werden dann ebenfalls in einem solchen Farbraum bereitgestellt, so dass auch hier der euklidische Abstand verwendet werden kann.The desired values are then also provided in such a color space, so that here too the Euclidean distance can be used.

Es gibt aber auch Farbabstandsmaße, die nicht euklidisch berechnet werden können. Es ist hier dann eine komplexere Berechnung notwendig. Die Bestimmung dieser Abstandsmaße ist in Normschriften festgelegt. Basis sind aber dennoch speziell gewählte Farbräume.But there are also color distance measures that can not be calculated Euclidean. Here then a more complex calculation is necessary. The determination of these distance dimensions is specified in standard documents. However, the basis is still specially selected color spaces.

Bei der Erfindung werden die Randbereiche der Segmente bei dem Vergleich der Pixel des IST-Bildes im Schritt S4 mit den entsprechenden Referenzwerten nicht berücksichtigt. Dies ist zweckmäßig, da trotz der affinen Transformationen restliche Deckungsfehler entstehen können. Diese können durch Unsicherheiten der Ortsbestimmung oder nichtlineare Veränderungen der IST- und Soll-Bilder gegeneinander z.B. durch Feuchtedehnung oder Durchhängung entstehen. Das heißt, dass im Randbereich einzelne Pixel fälschlicherweise einem benachbarten Segment zugeordnet werden könnten, wodurch sich eine Fehlbewertung des Pixels ergeben würde. Diese Probleme im Randbereich werden somit durch die Nicht-Berücksichtigung des Randbereiches behoben. Die Breite des Randbereiches hängt von der Auflösung des Referenzbildes ab. Geeignete Breiten des Randbereiches liegen im Bereich von 1 bis 10 Pixel vorzugsweise im Bereich von 1 bis 4 Pixel.In the invention, the edge regions of the segments are not taken into account in the comparison of the pixels of the actual image in step S4 with the corresponding reference values. This is expedient because, despite the affine transformations, residual cover errors can arise. These can arise due to uncertainties of localization or non-linear changes of the actual and target images against each other, eg due to moisture expansion or sagging. That is, in the edge region, individual pixels could be mistakenly assigned to an adjacent segment, which would result in a misjudgment of the pixel. These problems in the edge area are thus eliminated by the non-consideration of the edge area. The width of the border area depends on the resolution of the reference image. Suitable widths of the edge region are in the range of 1 to 10 pixels, preferably in the range of 1 to 4 pixels.

Programmtechnisch wird die Zuordnung der Referenzwerte dadurch gelöst, dass jedem Segment ein Label zugeordnet wird und dass jedem Label die Farbeigenschaft zugeordnet wird. Ist die Farbeigenschaft eine Graustufe, so kann diese Zuordnung zum Beispiel gemäß folgender Tabelle dargestellt werden: Label Graustufe 0 nop 1 100 2 130 3 215 4 190 5 160 6 235 7 80 8 55 9 30 10 255 Programmatically, the assignment of the reference values is achieved by assigning a label to each segment and assigning the color property to each label. If the color property is a gray level, this assignment can be shown, for example, according to the following table: label Grayscale 0 nop 1 100 2 130 3 215 4 190 5 160 6 235 7 80 8th 55 9 30 10 255

Der Label 0 wird den Randbereichen zugeordnet und anstelle einer Graustufe ist dem Label 0 ein Code "nop" zugeordnet, der "no operation" bedeutet. Liegt ein Pixel im Randbereich, so wird hierdurch beim Vergleich der Code für "no operation" aufgerufen, wodurch der Vergleich nicht ausgeführt wird. Für die weiteren Label 1 - 10 werden jeweils im Vergleich die entsprechenden Graustufen aufgerufen. Beim Vergleich selbst wird der Absolutwert zwischen der Graustufe des Referenzwertes und der Graustufe des zu vergleichenden Pixels gebildet und geprüft, ob dieser Absolutwert kleiner als der Schwellwert ist. Ist dies der Fall, so liegt die Graustufe des Pixels im gewünschten Bereich und im Ergebnisbild wird der korrekte Wert gesetzt. Ansonsten wird im Ergebnisbild der Fehlerwert gesetzt.The label 0 is assigned to the border areas and instead of a gray level the label 0 is assigned a code "nop" which means "no operation". If a pixel is in the edge area, then the code is called for "no operation" during the comparison, whereby the comparison is not executed. For the other labels 1-10, the respective gray levels are called in comparison. In the comparison itself, the absolute value between the gray level of the reference value and the gray level of the pixel to be compared is formed and it is checked whether this absolute value is smaller than the threshold value. If this is the case, the gray level of the pixel lies within the desired range and the correct value is set in the result image. Otherwise, the error value is set in the result image.

Werden anstelle der Graustufen Farbwerte verwendet, so sind jedem Label jeweils ein Satz Farbwerte zugeordnet, die die jeweilige Farbe beschreiben.If color values are used instead of gray levels, each label is assigned a set of color values that describe the respective color.

Nachfolgend wird ein Verfahren zum Segmentieren eines Referenzbildes erläutert (Figur 2). Zunächst muss ein Referenzbild bereit gestellt werden (Schritt S10). Das Bereitstellen bzw. Erzeugen eines Referenzbildes kann dadurch erfolgen, dass ein fehlerloser Ausdruck des Bildes mit der optischen Erfassungseinrichtung 5, die auch zum Erfassen des IST-Bildes verwendet wird, erfasst wird, um von dem Bild eine digitale Bilddatei zu erzeugen.In the following, a method for segmenting a reference image will be explained (FIG. 2). First, a reference image must be provided (step S10). The provision or generation of a reference image can take place in that a flawless printout of the image with the optical detection device 5, which is also used to acquire the ACTUAL image, is detected in order to generate a digital image file from the image.

Andererseits ist es auch möglich, falls das zu druckende Bild bereits als digitale Bilddatei vorliegt, diese Bilddatei unmittelbar zu verwenden. Hierbei ist es jedoch zweckmäßig, die Auflösung, d.h. die Anzahl der Pixel pro Längeneinheit in jeder Reihe und Spalte, dieser Bilddatei an die Auflösung des IST-Bildes anzupassen. In der Regel dürfte die Auflösung des IST-Bildes etwas gröber sein, als die der als Druckvorlage dienenden Bilddatei, weshalb mittels geeigneter und bekannter Interpolationsverfahren die Auflösung in entsprechender Weise verringert wird.On the other hand, if the image to be printed already exists as a digital image file, it is also possible to use this image file directly. However, it is useful to have the resolution, i. the number of pixels per unit length in each row and column to match this image file to the resolution of the actual image. As a rule, the resolution of the actual image should be somewhat coarser than that of the image file serving as a print template, which is why the resolution is correspondingly reduced by means of suitable and known interpolation methods.

Danach werden zusammenhängende Bereiche im Referenzbild ermittelt, die etwa die gleiche Farbeigenschaften besitzen, wobei ein solcher Bereich jeweils ein Segment bildet (Schritt S11). Dies kann beispielsweise folgendermaßen ausgeführt werden:

  • die Pixel werden einzeln jeweils einem Segment zugeordnet, wobei die Pixel in jeder Reihe j (Fig. 3) von links nach rechts die einzelnen Reihen aufeinanderfolgend von oben nach unten abgearbeitet werden.
  • Von einem einem Segment zuzuordnenden Pixel werden die Referenzwerte der drei benachbarten Pixel in der Reihe oberhalb dieses Pixels und der Referenzwert des links von dem zuzuordnenden Pixel benachbarten Pixel ausgelesen. Sind die Pixel in Reihen j und Spalten i angeordnet (Fig. 3), dann werden zu dem zuzuordnenden Pixel mit den Koordinaten (i, j) die Referenzwerte der Pixel mit den Koordinaten (i-1, j-1), (i, j-1), (i+1, j-1) und (i-1, j) ausgelesen.
  • Danach wird ermittelt, welche der vier Referenzwerte am ähnlichsten der Farbeigenschaft des zuzuordnenden Pixels ist.
  • Ist die Differenz dieses Referenzwertes und die Farbeigenschaft des zuzuordnenden Pixels geringer als ein vorbestimmter Schwellwert, so wird das zuzuordnende Pixel dem Segment zugeordnet, das das Pixel enthält, dessen Referenzwert am nächsten der Farbeigenschaft des zuzuordnenden Pixels ist.
  • Diese Zuordnung erfolgt, indem dem zuzuordnenden Pixel der Label dieses Segmentes im Referenzbild eingetragen wird.
Thereafter, contiguous regions in the reference image are determined that have approximately the same color properties, such a region forming one segment each (step S11). This can be done, for example, as follows:
  • the pixels are each individually assigned to a segment, with the pixels in each row j (FIG. 3) being processed from top to bottom from left to right, successively from top to bottom.
  • From a pixel to be assigned to a segment, the reference values of the three adjacent pixels in the row above this pixel and the reference value of the pixel adjacent to the left of the pixel to be assigned are read out. If the pixels are arranged in rows j and columns i (FIG. 3), the reference values of the pixels with the coordinates (i-1, j-1), (i, i) are assigned to the pixel to be assigned with the coordinates (i, j). j-1), (i + 1, j-1) and (i-1, j) are read out.
  • It is then determined which of the four reference values is most similar to the color characteristic of the pixel to be assigned.
  • If the difference of this reference value and the color characteristic of the pixel to be assigned is less than a predetermined threshold value, the pixel to be assigned is assigned to the segment containing the pixel whose reference value is closest to the color characteristic of the pixel to be assigned.
  • This assignment is made by the label of this segment is entered in the reference image to the pixel to be assigned.

Unterscheiden sich die Farbeigenschaft des zuzuordnenden Pixels von dem nächstliegenden Referenzwert um mehr als den Schwellwert, so kann dieses Pixel keinem der benachbarten Segmente zugeordnet werden. Dieses Pixel bildet den Kern für ein neues Segment, wobei ein neuer Label der Zuordnungstabelle erzeugt wird und dieser neue Label im Referenzbild an der Stelle des Pixels eingetragen wird.If the color characteristic of the pixel to be assigned differs from the closest reference value by more than the threshold value, then this pixel can not be assigned to any of the adjacent segments. This pixel forms the core for a new segment, creating a new label of the mapping table and entering that new label in the reference image at the pixel's location.

Dem neuen Label wird in der Zuordnungstabelle zunächst die Farbeigenschaft des einen Pixels zugeordnet, das die Bildung des neuen Segmentes ausgelöst hat. Diese Farbeigenschaft kann als Referenzwert diesem Label zugeordnet werden (Schritt S12). Alternativ ist es möglich, als Referenzwert den Mittelwert der Farbeigenschaften der einzelnen Pixel eines Segmentes zu verwenden. Hierbei wird beim Hinzufügen eines neuen Pixels zu einem Segment dessen Farbeigenschaft mit' der entsprechenden Gewichtung mit dem bisher ermittelten Referenzwert des Segmentes gemittelt.The new label is first assigned the color property of the one pixel in the allocation table, which triggered the formation of the new segment. This color property can be assigned as a reference value to this label (step S12). Alternatively, it is possible to use as a reference value the mean value of the color properties of the individual pixels of a segment. In this case, when adding a new pixel to a segment, its color property with 'the corresponding weighting is averaged with the previously determined reference value of the segment.

Ist das Referenzbild vollständig segmentiert, besteht das Referenzbild aus zusammenhängenden Bereichen, deren Pixel jeweils ein bestimmter Label zugeordnet ist. Den Pixeln der Randbereiche der Segmente wird nun der Label für den Randbereich, nämlich der Label "0" zugeordnet (Schritt S13).If the reference image is completely segmented, the reference image consists of contiguous areas whose pixels are each assigned a specific label. The pixels of the edge regions of the segments are now assigned the label for the edge region, namely the label "0" (step S13).

Nach einer bevorzugten Ausführungsform der Erfindung wird untersucht, ob Segmente bestehen, die weniger als eine vorbestimmte Anzahl von Pixel aufweisen und damit kleiner als eine vorbestimmte Größe sind. Sind derartige Segmente vorhanden, wird geprüft, ob die Farbeigenschaften benachbarter Segmente sich von der Farbeigenschaft dieses kleinen Segmentes nicht um einen vorbestimmten zweiten Schwellwert unterscheidet. Ist dies der Fall, so werden diese beiden Segmente zu einem einzigen Segment vereint, wobei diesem neuen Segment ein neuer Label zugeordnet wird. Diesem neuen Label wird als Referenzwert der gewichtete Mittelwert aus den Referenzwerten der beiden ursprünglichen Label zugeordnet. Mit dieser Vereinigung von kleinen Segmenten mit weiteren Segmenten wird die Unterteilung in sehr kleine Segmente vermieden, soweit es möglich ist, da derart kleine Segmente, insbesondere wenn ein Randbereich vorgesehen wird, der nicht geprüft wird, für die Kontrolle des Druckbildes nicht zweckmäßig ist.According to a preferred embodiment of the invention, it is examined whether there are segments which have less than a predetermined number of pixels and are thus smaller than a predetermined size. If such segments are present, it is checked whether the color properties of adjacent segments do not differ from the color characteristic of this small segment by a predetermined second threshold. If so, these two segments are combined into a single segment, with a new label being assigned to this new segment. The weighted average of the reference values of the two original labels is assigned to this new label as the reference value. With this union of small segments with further segments, the subdivision into very small segments is avoided, as far as possible, since such small segments, especially if an edge region is provided which is not tested, is not appropriate for the control of the printed image.

Figur 5 zeigt ein Referenzbild, das zwei Rechtecke aufweist. Das obere Rechteck ist vollständig schwarz und das untere Rechteck weist einen Farbverlauf von schwarz/weiß in Richtung von unten nach oben auf. Figur 6 zeigt die Grenzen der Segmente des in Figur 5 gezeigten Referenzbildes. Das schwarze Rechteck bildet ein einziges Segment 9. Das untere Rechteck mit dem linearen Farbverlauf ist in mehrere streifenförmige Segmente 9 unterteilt, deren Referenzwert die mittlere Farbeigenschaft des jeweiligen Streifens, d.h. die mittlere Helligkeit bzw. die Graustufe dieses Streifens beschreibt. Figur 8 zeigt ein IST-Bild, in dem gewisse Bereiche 8 nicht korrekt gedruckt sind. Das Ergebnisbild (Figur 8), das gemäß dem oben erläuterten Verfahren ermittelt worden ist, sind diese nicht korrekt gedruckten Bereiche 8 schwarz dargestellt und der übrige Bereich des Ergebnisbildes ist weiß. Ein Operator des Drucksystems, der die schwarzen Bereiche des Ergebnisbildes sieht, erkennt sofort, dass ein Fehldruck vorliegt und kann geeignete Maßnahmen zum Beheben des Fehldruckes einleiten.FIG. 5 shows a reference image which has two rectangles. The top rectangle is completely black and the bottom rectangle has a black-and-white gradient from bottom to top. FIG. 6 shows the boundaries of the segments of the reference image shown in FIG. The black rectangle forms a single segment 9. The lower rectangle with the linear color gradient is subdivided into a plurality of strip-shaped segments 9 whose reference value describes the mean color characteristic of the respective strip, ie the average brightness or gray level of this strip. FIG. 8 shows an actual image in which certain regions 8 are not printed correctly. The result image (Figure 8), which has been determined according to the method explained above, these are not Correctly printed areas 8 are shown in black and the remaining area of the result image is white. An operator of the printing system who sees the black areas of the result image immediately recognizes that there is a misprint and can initiate appropriate action to correct the misprint.

Figur 9 zeigt ein weiteres Referenzbild. Figur 10 zeigt das Referenzbild aus Figur 9 nach dem Segmentieren gemäß dem Schritt S11. Jedem Segment ist eine bestimmte Farbeigenschaft zugeordnet. Die einzelnen Segmente sind hier jeweils durch die Farbeigenschaft , die in dem vorliegenden Fall eine Graustufe ist, dargestellt. Die Darstellung der Farbeigenschaften erfolgt hier jedoch mit Falschfarben, das heißt, das die Helligkeit der einzelnen Segmente in Figur 10 keine Aussage über die tatsächliche Graustufe des jeweiligen Segmentes erlaubt. In Figur 10 erkennt man viele kleine "Flecken", die jeweils ein Segment bilden.FIG. 9 shows another reference image. FIG. 10 shows the reference image from FIG. 9 after the segmentation according to step S11. Each segment is assigned a specific color property. The individual segments are here represented in each case by the color property, which in the present case is a gray level. However, the color properties are displayed here with false colors, that is, the brightness of the individual segments in FIG. 10 does not permit any statement about the actual gray level of the respective segment. In Figure 10 one recognizes many small "spots", each forming a segment.

Figur 11 zeigt das gemäß Figur 10 segmentierte Bild nach der Vereinigung von Segmenten gemäß dem Schritt S14. Hier ist deutlich zu erkennen, dass viele Bereiche mit kleinen unterschiedlichen Flecken zu großflächigen einheitlichen Bereichen verbunden worden sind.FIG. 11 shows the image segmented according to FIG. 10 after the union of segments according to step S14. Here it can be clearly seen that many areas with small different spots have been connected to large uniform areas.

Das Bild nach Figur 11 wurde weiter verarbeitet, indem den Randbereichen, die detektiert worden sind, der Label 0 gemäß dem Schritt S13 zugeordnet worden ist. Die Randbereiche sind in Figur 12 weiß dargestellt. Die übrigen Bereiche sind schwarz dargestellt. An Hand von Figur 12 kann man gut erkennen, dass die Segmentierung der ursprünglichen Morphologie (Figur 9) des Bildes entspricht, Hierdurch wird, wie es oben erläutert ist, eine wesentlich bessere Qualität und Zuverlässigkeit bei der automatischen Überwachung von Druckerzeugnissen erzielt.The image of FIG. 11 has been further processed by assigning the label 0 according to step S13 to the edge regions which have been detected. The edge regions are shown in white in FIG. The remaining areas are shown in black. With reference to Figure 12, it can be clearly seen that the segmentation corresponds to the original morphology (Figure 9) of the image. As a result, as explained above, substantially better quality and reliability are achieved in the automatic monitoring of printed matter.

Das erfindungsgemäße Verfahren wird auf dem in Figur 4 gezeigten Drucksystem ausgeführt. Das Verfahren kann als Computerprogramm, das am Computer der Auswerteeinrichtung ausführbar gespeichert ist, realisiert sein. Dieses Computerprogramm kann auf einem Datenträger gespeichert sein und auf anderen Drucksystemen zur Ausführung gebracht werden.The method according to the invention is carried out on the printing system shown in FIG. The method can be used as a computer program, which is stored executable on the computer of the evaluation, be realized. This computer program can be stored on a data medium and executed on other printing systems.

Die Erfindung kann folgendermaßen kurz zusammengefasst werden:The invention can be briefly summarized as follows:

Mit der Erfindung wird die Qualität bei der automatischen Überwachung von Druckbildern in Echtzeit dadurch verbessert, das ein Referenzbild verwendet wird, das derart segmentiert ist, dass die Pixel der Segmente etwa die gleiche Farbeigenschaft besitzen. Hierdurch geben die Segmente des Referenzbildes etwa die Morphologie des Referenzbildes wieder, wobei jedem Segment ein die Farbeigenschaft des Segmentes sehr gut beschreibender Referenzwert zugeordnet ist. Die Pixel des IST-Bildes werden jeweils mit dem Referenzwert des entsprechenden Segments verglichen. Dieser Vergleich ist aufgrund der hohen Qualität des Referenzwertes sehr zuverlässig.With the invention, the quality in the automatic monitoring of printed images in real time is improved by using a reference image which is segmented such that the pixels of the segments have approximately the same color characteristic. As a result, the segments of the reference image approximately reproduce the morphology of the reference image, wherein each segment is associated with a color property of the segment very well descriptive reference value. The pixels of the actual image are each compared with the reference value of the corresponding segment. This comparison is very reliable due to the high quality of the reference value.

Randbereiche der Segmente werden bei dem Vergleich nicht berücksichtigt.Edge areas of the segments are not taken into account in the comparison.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Druckeinrichtungprint Setup
22
Papierrollepaper roll
33
Nachbearbeitungseinrichtungpostprocessor
44
Walzeroller
55
Zeilenkameraline camera
66
Auswerteeinrichtungevaluation
77
Anzeigeeinrichtungdisplay
88th
FehldruckbereichMisprint area
99
Segmentesegments
Verfahrensschrittesteps

S1S1
Aufnehmen des IST-BildesTaking the actual picture
S2S2
Speichern des IST-BildesSave the actual image
S3S3
Lagebestimmung des IST-BildesOrientation of the actual image
S4S4
Vergleich der Pixel des IST-Bildes mit den ReferenzwertenComparison of the pixels of the actual image with the reference values
S5S5
Setzen des FehlerwertesSet the error value
S6S6
Setzen des korrekten WertesSet the correct value
S7S7
Sind alle Pixel verglichen?Are all pixels compared?
S8S8
Aufbereitung des ErgebnisbildesPreparation of the result image
S9S9
Darstellung des ErgebnisbildesPresentation of the result image
S10S10
Bereitstellen eines ReferenzbildesProviding a reference image
S11S11
Segmentierensegmenting
S12S12
Zuordnen des ReferenzwertesAssign the reference value
S13S13
Randbereiche bestimmenDetermine marginal areas
S14S14
Vereinigung von SegmentenUnion of segments

Claims (13)

  1. A method for controlling, in particular for real-time controling print images, comprising the following steps:
    - electro-optical detection and digitization of an actual image in individual pixels,
    - use of a reference image that is segmented into a plurality of segments (9) such that the pixels exhibit approximately the same colour property as the segments (9), wherein a reference value describing this colour property is associated with the pixels arranged in the respective segment,
    - comparison of the colour properties of the pixels of the actual image with the corresponding reference values of the reference image, wherein given a deviation above a predetermined threshold value a corresponding pixel is marked as an error in a result image, and wherein the boundary regions of the segments (9) are not considered in the comparison.
  2. The method according to claim 1,
    characterized in that
    the colour properties associated with the segments are grey levels and/or colour values.
  3. The method according to claim 1 or 2,
    characterized in that
    the pixels of the actual image are mapped to corresponding pixels of the reference image via an affine mapping before the comparison.
  4. The method according to claim 1 to 3,
    characterized in that
    the boundary regions exhibit a width in the range of 1 to 10 pixels and preferably in the range of 1 to 4 pixels.
  5. The method according to claims 1 to 4,
    characterized in that
    the result image is prepared in that individual pixels or a few pixels that are contiguous and marked as erroneous are reset in the result image so that these are not marked as erroneous in the prepared result image.
  6. The method according to one of the claims 1 to 5,
    characterized in that
    the result image is compressed for transfer to a control station.
  7. A method for segmentation of a reference image for a method according to one of the claims 1 to 6, comprising the following steps:
    - provision of a digital reference image with a plurality of pixels,
    - determination of contiguous regions with approximately the same colour property, wherein such a region respectively forms a segment (9),
    - association of a reference value with the pixels of a segment (9), wherein the reference value is a measurement for the colour property of the respective segment (9).
  8. The method according to claim 7,
    characterized in that
    a non-reference value is associated with the pixels at the boundary region of the segments (9), which means that these pixels are not to be compared with the pixels of the actual image.
  9. The method according to claim 7 or 8,
    characterized in that
    in the determination of the contiguous regions with the same colour property, all pixels are selected for such a region whose colour property values lie within a certain range around the value of this colour property.
  10. The method according to one of the claims 7 to 9,
    characterized in that
    the segments that are smaller than a predetermined size and that exhibit an adjacent segment whose colour property is less remote than a predetermined colour interval from the colour property of this segment is joined with the adjacent segment, wherein a colour property averaged from the colour properties of both segments is used as a colour property of the joined segment.
  11. A device for real-time controlling print images, comprising
    - a printing device (1) for printing a medium,
    - an optical scanning device (5) for scanning the printed material for creation of the actual image,
    - an evaluation device (6) that is connected with the optical scanning device (5), wherein the evaluation device (6) comprises a computer with a storage and a central processing unit, and
    - a program for execution of a method according to one or more of the claims 1 to 10 is stored in the evaluation device (6) such that it can be executed.
  12. Software product for the execution of a method according to one or more of the claims 1 to 10.
  13. Software product according to claim 12,
    characterized in that
    it is stored on a machine-readable data medium.
EP03795939A 2002-12-20 2003-12-19 Method and device for the real time control of print images Expired - Fee Related EP1578609B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10261221A DE10261221A1 (en) 2002-12-20 2002-12-20 Method and device for real-time control of printed images
DE10261221 2002-12-20
PCT/EP2003/014630 WO2004056570A1 (en) 2002-12-20 2003-12-19 Method and device for the real time control of print images

Publications (2)

Publication Number Publication Date
EP1578609A1 EP1578609A1 (en) 2005-09-28
EP1578609B1 true EP1578609B1 (en) 2006-08-30

Family

ID=32519411

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03795939A Expired - Fee Related EP1578609B1 (en) 2002-12-20 2003-12-19 Method and device for the real time control of print images

Country Status (4)

Country Link
US (1) US20060124012A1 (en)
EP (1) EP1578609B1 (en)
DE (2) DE10261221A1 (en)
WO (1) WO2004056570A1 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005060893C5 (en) * 2005-12-20 2019-02-28 Manroland Goss Web Systems Gmbh Method for determining a printing-technical measured value
DE102006010180A1 (en) * 2006-03-06 2007-09-13 Man Roland Druckmaschinen Ag Print quality relevant parameter testing method for printing machine, involves determining actual value of parameter from macro-detecting image by image processing method for testing whether analyzing field is printed in effective manner
DE102007025910B4 (en) * 2007-06-01 2013-08-29 Windmöller & Hölscher Kg Backlight
DE102007043034A1 (en) * 2007-09-11 2009-03-12 Falk, Heinz, Prof. Dr. Inline-quality control method for controlling printing process on movable print web in inkjet technology based printing machine, involves providing resulting aberrations as information for assessing printing quality
JP5383416B2 (en) * 2009-10-06 2014-01-08 キヤノン株式会社 Image processing apparatus, control method therefor, and program
CN102501591B (en) * 2011-10-21 2013-12-18 中国电子科技集团公司第十三研究所 Method for detecting performance of multi-layer ceramic packaged and printed image
JP6241121B2 (en) * 2012-09-14 2017-12-06 株式会社リコー Image inspection apparatus, image inspection system, and image inspection method
EP2905136B1 (en) * 2014-02-07 2018-03-28 Müller Martini Holding AG Method and apparatus for monitoring a print processing machine
CN111630834B (en) 2018-01-25 2022-08-09 惠普发展公司，有限责任合伙企业 Printing device colorant depletion predicted from fade
DE102019120938B4 (en) * 2019-08-02 2023-12-21 Bundesdruckerei Gmbh Print inspection device and method for optically inspecting a printed image of a printed object
WO2021086481A1 (en) * 2019-10-31 2021-05-06 Hewlett-Packard Development Company, L.P. Print settings determination
EP3875273A1 (en) * 2020-03-02 2021-09-08 BST eltromat International GmbH Method for recording inspection data of printed products

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19516352A1 (en) * 1995-05-04 1996-11-07 Heidelberger Druckmasch Ag Image inspection device
EP0872810A4 (en) * 1996-10-09 2000-04-19 Dainippon Printing Co Ltd METHOD AND APPARATUS FOR DETECTING STRIPE DEFECTS On PRINTED MATTER
US6832002B2 (en) * 1997-02-10 2004-12-14 Definiens Ag Method of iterative segmentation of a digital picture
DE19705017A1 (en) * 1997-02-10 1998-08-13 Delphi Systemsimulation Gmbh Method of segmenting a digital image
US6024018A (en) * 1997-04-03 2000-02-15 Intex Israel Technologies Corp., Ltd On press color control system
JP3748164B2 (en) * 1998-02-06 2006-02-22 富士通株式会社 Pattern extraction device
US6421458B2 (en) * 1998-08-28 2002-07-16 Cognex Corporation Automated inspection of objects undergoing general affine transformation
DE19940879A1 (en) * 1999-08-27 2001-03-08 Innomess Elektronik Gmbh Device and procedure for comparison of a digitized print image with a reference image for automatic quality control so that if error values exceed a threshold value an alarm is generated to inform print machine operators

Also Published As

Publication number Publication date
EP1578609A1 (en) 2005-09-28
DE10261221A1 (en) 2004-07-15
WO2004056570A1 (en) 2004-07-08
US20060124012A1 (en) 2006-06-15
DE50304902D1 (en) 2006-10-12

Similar Documents

Publication Publication Date Title
EP2702757B1 (en) Scanning method for a large-size scanner system using a stitching process
EP1728380B1 (en) Method for the early identification of a deviation in the printed images that have been created by a printing press during continuous production
EP1578609B1 (en) Method and device for the real time control of print images
DE4201514A1 (en) METHOD FOR DETERMINING DEFECTIVE SITES
EP2787485B1 (en) Method and device for automatic detection of defects in flexible bodies
DE19926120C2 (en) Image recognition device
EP3656561B1 (en) Fast image restoration for image inspection
DE3312050A1 (en) METHOD FOR PRODUCING A PHOTOGRAPHIC MASK
DE60300565T2 (en) Image processing apparatus and method for accelerated image overlay
EP0012723B1 (en) Process for mechanically assessing the print quality of a printed product and device for performing the same
DE19940879A1 (en) Device and procedure for comparison of a digitized print image with a reference image for automatic quality control so that if error values exceed a threshold value an alarm is generated to inform print machine operators
DE3009907C2 (en) Memory address signal generator for an automatic adjustment device of a television camera
DE60319784T2 (en) reading device
EP3628489B1 (en) Register measurement without register marks
WO2008077680A1 (en) Method and device for optically testing objects
EP3783302B1 (en) Object measuring system for a packaging machine for determining the dimensions of a base surface and a height of a packaging tray to be wrapped
DE19700318A1 (en) Method for determining the geometry data of scanning templates
AT408377B (en) METHOD AND DEVICE FOR TESTING OR EXAMINATION OF OBJECTS
DE19644793C2 (en) Shading correction method in an image reader
EP3316216B1 (en) Method for checking an object
DE60115028T2 (en) Method and device for identifying identical images
DE102008033171A1 (en) Method and device for inline quality assurance on printing machines
EP3783300B1 (en) Packaging machine with object measuring system for determining the dimensions of a base surface and a height of a packaging tray to be wrapped
WO2004066186A2 (en) Method and device for identifying and compensating a perspectivistic deformation
EP3783301B1 (en) Object measuring system for a packaging machine for determining the dimensions of a base surface and optionally a height of a packaging tray to be wrapped

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050718

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RBV Designated contracting states (corrected)

Designated state(s): BE DE FR GB

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): BE DE FR GB

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REF Corresponds to:

Ref document number: 50304902

Country of ref document: DE

Date of ref document: 20061012

Kind code of ref document: P

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20061101

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20061231

ET Fr: translation filed
PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20070531

BERE Be: lapsed

Owner name: OCE DOCUMENT TECHNOLOGIES G.M.B.H.

Effective date: 20061231

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 50304902

Country of ref document: DE

Owner name: OCE PRINTING SYSTEMS GMBH, DE

Free format text: FORMER OWNER: OC DOCUMENT TECHNOLOGIES GMBH, 78467 KONSTANZ, DE

Effective date: 20110222

REG Reference to a national code

Ref country code: FR

Ref legal event code: TP

Owner name: OCE PRINTING SYSTEMS GMBH, DE

Effective date: 20111212

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20130110 AND 20130116

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50304902

Country of ref document: DE

Representative=s name: SCHAUMBURG UND PARTNER PATENTANWAELTE MBB, DE

Ref country code: DE

Ref legal event code: R082

Ref document number: 50304902

Country of ref document: DE

Representative=s name: SCHAUMBURG & PARTNER PATENTANWAELTE GBR, DE

Ref country code: DE

Ref legal event code: R082

Ref document number: 50304902

Country of ref document: DE

Representative=s name: SCHAUMBURG & PARTNER PATENTANWAELTE MBB, DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20161222

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20161221

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20170125

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50304902

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20171219

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20180831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180102

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180703

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20171219